帮助与文档 > 产品文档 > 智能语音服务 > API文档 > 实时语音识别
实时语音识别

实时语音识别 API 简介

概念解释

实时语音识别:可实现对连续音频流的实时识别,转换成文本信息并返对应文字流。

说明

Hi,您好,欢迎使用有道智云实时语音识别API接口服务。

如果您想快速体验服务,建议您前往 语音识别体验中心 或者在体验中心右下侧找到小程序二维码,扫描进行体验。

本文档主要针对需要集成API的技术开发工程师,详细描述实时语音识别能力相关的技术内容。

如果您有与我们商务合作的需求,可以通过以下方式联系我们:

商务邮箱: AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

客服QQ:1906538062

智云语音技术交流QQ群:861723255

联系邮箱: zhiyun@corp.youdao.com

温馨提示:

  • 本文档主要针对开发人员,接入测试前需要在后台创建API应用,获取应用ID应用密钥;如果您还没有,请按照 新手指南 获取。
  • 平台向每个账户赠送50元的体验金,供用户集成前测试所用,具体资费规则详见 实时语音识别服务报价

接口说明

接口地址:

wss://openapi.youdao.com/stream_asropenapi?{请求参数}

语音支持:

格式支持:wav(不压缩、pcm编码)

采样率:推荐16k。

编码:16bit位深的单声道

格式 代码
wav wav

注: 发送时,第一帧需要为WAV HEADER 信息。

接口调用参数

服务接口的调用分为认证、实时通信两阶段。

1. 认证阶段

请求参数格式: key1=value1&key2=value2&key3=value3&key4=value4

参数说明:

参数 类型 必填 说明 示例
appKey String 已申请的应用ID ID
salt String UUID uuid,唯一通用识别码
curtime String 时间戳(秒) TimeStamp
sign String 加密数字签名。 sha256
signType String 数字签名类型 v4
langType String 语言选择,参考支持语言列表 zh-CHS
format String 音频格式,支持wav wav
channel String 声道,支持1(单声道) 1
version String api版本 v1
rate String 采样率 16000

签名sign生成方法如下: signType=v4; sign=sha256(应用ID+salt+curtime+应用密钥)。

服务端通过 text message 返回 json字符串的认证结果,参数示例:

成功:

{
	"result": [],
	"action": "started",
	"errorCode": "0"
}

失败:

{
	"result": "[]",
	"action": "error",
	"errorCode": "202"
}

参数说明:

参数 类型 说明
errorCode String 状态码,详见 错误代码列表
action String 状态标识。started:握手;recognition:识别;error:错误,若输出为sensitive:包含不合时宜词汇,请根据实际返回结果按需处理
result String 识别结果数据

2 实时通信阶段

认证成功之后,进入实时通信阶段,此阶段客户端发送音频流和结束标识,并接收转写结果或错误。

2.1 发送音频流

此阶段客户端通过 binary message 发送音频流,内容为音频的二进制数据,此过程的发送频率将影响文字结果展示的实时性。

建议以 200ms 间隔发送音频数据,若间隔超时 15s 以上,服务端将停止识别。

2.2 发送结束标识

客户端完成所有音频数据的发送后,需发送一个特殊的 binary message 到服务端作为音频流发送结束的标识,内容为:

{"end": "true"}

注:该标识大小写敏感。 2.3 接收转写结果

交互过程中,服务端不断通过 text message 返回实时识别结果到客户端,响应结果是以json形式输出(为text message)。 识别结果示例:

{
	"result": [{
		"st": [{
			"bg": 30,
			"ed": 480,
			"ws": [{
				"w": "Have",
				"wb": 30,
				"we": 240
			}, {
				"w": "a",
				"wb": 240,
				"we": 270
			}, {
				"w": "good",
				"wb": 270,
				"we": 480
			}, {
				"w": "day.",
				"wb": 480,
				"we": 480
			}]
		}],
		"seg_id": 0
	}],
	"errorCode": "0",
	"action": "recognition"
}

识别结果 result 参数说明:

参数 含义 说明
bg 分句开始时间 单位毫秒/ms
ed 分句结束时间 单位毫秒/ms
w 词(字)识别结果
wb 词(字)开始时间 单位毫秒/ms
we 词(字)结束时间 单位毫秒/ms
type 识别结果类型 0:最终结果,1:中间结果
seg_id 分句 id 从 0 开始递增

支持语言

language 语种(中文) 语言代码
Arabic (United Arab Emirates) 阿拉伯语(阿拉伯联合酋长国) ar-AE
Arabic (Bahrain) 阿拉伯语(巴林) ar-BH
Arabic (Algeria) 阿拉伯语(阿尔及利亚) ar-DZ
Arabic (Egypt) 阿拉伯语(埃及) ar-EG
Arabic (Israel) 阿拉伯语(以色列) ar-IL
Arabic (Iraq) 阿拉伯语(伊拉克) ar-IQ
Arabic (Jordan) 阿拉伯语(约旦) ar-JO
Arabic (Kuwait) 阿拉伯语(科威特) ar-KW
Arabic (Lebanon) 阿拉伯语(黎巴嫩) ar-LB
Arabic (Morocco) 阿拉伯语(摩洛哥) ar-MA
Arabic (Oman) 阿拉伯语(阿曼) ar-OM
Arabic (State of Palestine) 阿拉伯语(巴勒斯坦国) ar-PS
Arabic (Qatar) 阿拉伯语(卡塔尔) ar-QA
Arabic (Saudi Arabia) 阿拉伯语(沙特阿拉伯) ar
Arabic (Tunisia) 阿拉伯语(突尼斯) ar-TN
German (Germany) 德国(德国) de
English (Australia) 英语(澳大利亚) en-AUS
English (Canada) 英语(加拿大) en-CA
English (United Kingdom) 英语(英国) en-GBR
English (Ghana) 英语(加纳) en-GH
English (Ireland) 英语(爱尔兰) en-IE
English (India) 英语(印度) en-IND
English (Kenya) 英语(肯尼亚) en-KE
English (Nigeria) 英语(尼日利亚) en-NG
English (New Zealand) 英语(新西兰) en-NZ
English (Philippines) 英语(菲律宾) en-PH
English (Singapore) 英语(新加坡) en-SG
English (Tanzania) 英语(坦桑尼亚) en-TZ
English (United States) 英语(美国) en
English (South Africa) 英语(南非) en-ZAF
Spanish (Argentina) 西班牙语(阿根廷) es-AR
Spanish (Bolivia) 西班牙语(玻利维亚) es-BO
Spanish (Chile) 西班牙语(智利) es-CL
Spanish (Colombia) 西班牙语(哥伦比亚) es-COL
Spanish (Costa Rica) 西班牙语(哥斯达黎加) es-CR
Spanish (Dominican Republic) 西班牙语(多米尼加共和国) es-DO
Spanish (Ecuador) 西班牙语(厄瓜多尔) es-EC
Spanish (Spain) 西班牙语(西班牙) es
Spanish (Guatemala) 西班牙语(危地马拉) es-GT
Spanish (Honduras) 西班牙语(洪都拉斯) es-HN
Spanish (Mexico) 西班牙语(墨西哥) es-MEX
Spanish (Nicaragua) 西班牙语(尼加拉瓜) es-NI
Spanish (Panama) 西班牙语(巴拿马) es-PA
Spanish (Peru) 西班牙语(秘鲁) es-PE
Spanish (Puerto Rico) 西班牙语(波多黎各) es-PR
Spanish (Paraguay) 西班牙语(巴拉圭) es-PY
Spanish (El Salvador) 西班牙语(萨尔瓦多) es-SV
Spanish (United States) 西班牙语(美国) es-US
Spanish (Uruguay) 西班牙语(乌拉圭) es-UY
Spanish (Venezuela) 西班牙语(委内瑞拉) es-VE
French (Canada) 法语(加拿大) fr-CA
French (Canada) 法语(加拿大) fr-CAN
French (France) 法国(法国) fr
Italian (Italy) 意大利(意大利) it
Japanese (Japan) 日本(日本) ja
Korean (South Korea) 朝鲜(韩国) ko
Dutch (Netherlands) 荷兰(荷兰) nl
Polish (Poland) 波兰(波兰) pl
Portuguese (Brazil) 葡萄牙语(巴西) pt-BRA
Russian (Russia) 俄罗斯(俄罗斯) ru
Thai (Thailand) 泰国(泰国) th
Turkish (Turkey) 土耳其(土耳其) tr
Chinese, Mandarin (Simplified, China) 中文、普通话(简体、中国) zh-CHS
Chinese, Mandarin (Simplified, Hong Kong) 中文、普通话(简体,香港) zh-HK
Chinese, Mandarin (Simplified, Taiwan) 中文、普通话(简体、台湾) zh-TWN
Bulgarian (Bulgaria) 保加利亚(保加利亚) bg
Catalan (Spain) 加泰罗尼亚语(西班牙) ca
Czech (Czech Republic) 捷克(捷克) cs
Danish (Denmark) 丹麦(丹麦) da
Greek (Greece) 希腊(希腊) el
Finnish (Finland) 芬兰(芬兰) fi
Hebrew (Israel) 希伯来语(以色列) he
Hindi (India) 印地语(印度) hi
Croatian (Croatia) 克罗地亚(克罗地亚) hr
Hungarian (Hungary) 匈牙利(匈牙利) hu
Indonesian (Indonesia) 印尼(印度尼西亚) id
Lithuanian (Lithuania) 立陶宛(立陶宛) lt-LT
Latvian (Latvia) 拉脱维亚(拉脱维亚) lv-LV
Norwegian Bokmål (Norway) 挪威书面挪威语(挪威) no
Portuguese (Portugal) 葡萄牙语(葡萄牙) pt
Romanian (Romania) 罗马尼亚(罗马尼亚) ro
Slovak (Slovakia) 斯洛伐克(斯洛伐克) sk
Slovenian (Slovenia) 斯洛文尼亚(斯洛文尼亚) sl
Serbian (Serbia) 塞尔维亚(塞尔维亚) sr-RS
Swedish (Sweden) 瑞典(瑞典) sv
Ukrainian (Ukraine) 乌克兰(乌克兰) uk
Vietnamese (Vietnam) 越南(越南) vi
Afrikaans (South Africa) 布尔语(南非) af-ZA
Amharic (Ethiopia) 阿姆哈拉语(埃塞俄比亚) am-ET
Azerbaijani (Azerbaijan) 阿塞拜疆(阿塞拜疆) az-AZ
Bengali (Bangladesh) 孟加拉(孟加拉) bn-BD
Bengali (India) 孟加拉语(印度) bn-IN
Estonian (Estonia) 爱沙尼亚(爱沙尼亚) et-EE
Basque (Spain) 巴斯克(西班牙) eu-ES
Persian (Iran) 波斯(伊朗) fa-IR
Filipino (Philippines) 菲律宾(菲律宾) tl
Galician (Spain) 加利西亚(西班牙) gl-ES
Gujarati (India) 古吉拉特语(印度) gu-IN
Armenian (Armenia) 亚美尼亚(亚美尼亚) hy-AM
Icelandic (Iceland) 冰岛(冰岛) is-IS
Javanese (Indonesia) 爪哇(印度尼西亚) jv-ID
Georgian (Georgia) 格鲁吉亚(Georgia) ka-GE
Khmer (Cambodia) 红色(高棉语) km-KH
Kannada (India) 埃纳德语(印度) kn-IN
Lao (Laos) 老挝(老挝) lo
Macedonian (North Macedonia) 马其顿(北马其顿) mk-MK
Malayalam (India) 马拉雅拉姆语(印度) ml-IN
Mongolian (Mongolia) 蒙古(蒙古) mn-MN
Marathi (India) 马拉地语(印度) mr-IN
Malay (Malaysia) 马来语(马来西亚) ms
Burmese (Myanmar) 缅甸(缅甸) my-MM
Nepali (Nepal) 尼泊尔(尼泊尔) ne-NP
Punjabi (Gurmukhi, India) 旁遮普(果鲁穆奇语、印度) pa-guru-IN
Sinhala (Sri Lanka) 僧伽罗语(斯里兰卡) si-LK
Albanian (Albania) 阿尔巴尼亚(阿尔巴尼亚) sq-AL
Sundanese (Indonesia) 巽他语(印度尼西亚) su-ID
Swahili (Kenya) 斯瓦希里语(肯尼亚) sw-KE
Swahili (Tanzania) 斯瓦希里语(坦桑尼亚) sw-TZ
Tamil (India) 泰米尔语(印度) ta
Tamil (Sri Lanka) 泰米尔语(斯里兰卡) ta-LK
Tamil (Malaysia) 泰米尔语(马来西亚) ta-MY
Tamil (Singapore) 泰米尔语(新加坡) ta-SG
Telugu (India) 泰卢固语(印度) te
Urdu (India) 乌尔都语(印度) ur-IN
Urdu (Pakistan) 乌尔都语(巴基斯坦) ur-PK
Uzbek (Uzbekistan) 乌兹别克斯坦(乌兹别克斯坦) uz-UZ
Chinese, Cantonese (Traditional, Hong Kong) 中文、粤语(繁体、香港) yue
Zulu (South Africa) 祖鲁语(南非) zu-ZA

服务配置

支持格式 免费用户最大支持并发 单次最大请求时长(s) 每小时最大音频时长(s) 每小时最大连接次数 支持语言
wav 10 3600 60000 3000 中/英等,参考详细语言列表

注意:如需上调调用量请联系技术人员咨询。

错误代码列表

错误码 含义
101 缺少必填的参数,首先确保必填参数齐全,然后,确认参数书写是否正确
102 不支持的语言类型
103 翻译文本过长
104 不支持的API类型
105 不支持的签名类型
106 不支持的响应类型
107 不支持的传输加密类型
108 应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息
109 batchLog格式不正确
110 无相关服务的有效实例,应用没有绑定服务实例,可以新建服务实例,绑定服务实例。注:某些服务的结果发音需要tts实例,需要在控制台创建语音合成实例绑定应用后方能使用。
111 开发者账号无效
112 请求服务无效
113 q不能为空
114 不支持的图片传输方式
201 解密失败,可能为DES,BASE64,URLDecode的错误
202 签名检验失败,请确认应用ID和应用密钥的正确性。
203 访问IP地址不在可访问IP列表
205 请求的接口与应用的平台类型不一致,确保接入方式(Android SDK、IOS SDK、API)与创建的应用平台类型一致。如有疑问请参考入门指南
206 因为时间戳无效导致签名校验失败
207 重放请求
301 辞典查询失败
302 翻译查询失败
303 服务端的其它异常
304 会话闲置太久超时
401 账户已经欠费停
402 offlinesdk不可用
411 访问频率受限,请稍后访问
412 长请求过于频繁,请稍后访问
1001 无效的OCR类型
1002 不支持的OCR image类型
1003 不支持的OCR Language类型
1004 识别图片过大
1201 图片base64解密失败
1301 OCR段落识别失败
1411 访问频率受限
1412 超过最大识别字节数
2003 不支持的语言识别Language类型
2004 合成字符过长
2005 不支持的音频文件类型
2006 不支持的发音类型
2201 解密失败
2301 服务的异常
2411 访问频率受限,请稍后访问
2412 超过最大请求字符数
3001 不支持的语音格式
3002 不支持的语音采样率
3003 不支持的语音声道
3004 不支持的语音上传类型
3005 不支持的语言类型
3006 不支持的识别类型
3007 识别音频文件过大
3008 识别音频时长过长
3009 不支持的音频文件类型
3010 不支持的发音类型
3201 解密失败
3301 语音识别失败
3302 语音翻译失败
3303 服务的异常
3411 访问频率受限,请稍后访问
3412 超过最大请求字符数
4001 不支持的语音识别格式
4002 不支持的语音识别采样率
4003 不支持的语音识别声道
4004 不支持的语音上传类型
4005 不支持的语言类型
4006 识别音频文件过大
4007 识别音频时长过长
4201 解密失败
4301 语音识别失败
4303 服务的异常
4411 访问频率受限,请稍后访问
4412 超过最大请求时长
5001 无效的OCR类型
5002 不支持的OCR image类型
5003 不支持的语言类型
5004 识别图片过大
5005 不支持的图片类型
5006 文件为空
5201 解密错误,图片base64解密失败
5301 OCR段落识别失败
5411 访问频率受限
5412 超过最大识别流量
9001 不支持的语音格式
9002 不支持的语音采样率
9003 不支持的语音声道
9004 不支持的语音上传类型
9005 不支持的语音识别 Language类型
9301 ASR识别失败
9303 服务器内部错误
9411 访问频率受限(超过最大调用次数)
9412 超过最大处理语音长度
10001 无效的OCR类型
10002 不支持的OCR image类型
10004 识别图片过大
10201 图片base64解密失败
10301 OCR段落识别失败
10411 访问频率受限
10412 超过最大识别流量
11001 不支持的语音识别格式
11002 不支持的语音识别采样率
11003 不支持的语音识别声道
11004 不支持的语音上传类型
11005 不支持的语言类型
11006 识别音频文件过大
11007 识别音频时长过长,
11201 解密失败
11301 语音识别失败
11303 服务的异常
11411 访问频率受限,请稍后访问
11412 超过最大请求时长
12001 图片尺寸过大
12002 图片base64解密失败
12003 引擎服务器返回错误
12004 图片为空
12005 不支持的识别图片类型
12006 图片无匹配结果
13001 不支持的角度类型
13002 不支持的文件类型
13003 表格识别图片过大
13004 文件为空
13301 表格识别失败
15001 需要图片
15002 图片过大(1M)
15003 服务调用失败
17001 需要图片
17002 图片过大(1M)
17003 识别类型未找到
17004 不支持的识别类型
17005 服务调用失败

版本记录

上线日期 版本号 更新内容
2018.11.07 v1.0.0 有道智云实时语音识别API上线
2023.06.13 v2.0.0 更新多语言示例 demo及下载链接

常见语言Demo

Java 示例

实时语音识别 java demo

Python 示例

实时语音识别 python3 demo

C# 示例

实时语音识别 c# demo

Php 示例

实时语音识别 php demo

go 示例

实时语音识别 go demo