实时语音识别:可实现对连续音频流的实时识别,转换成文本信息并返对应文字流。
Hi,您好,欢迎使用有道智云实时语音识别API接口服务。
如果您想快速体验服务,建议您前往 语音识别体验中心 或者在体验中心右下侧找到小程序二维码,扫描进行体验。
本文档主要针对需要集成API的技术开发工程师,详细描述实时语音识别能力相关的技术内容。
如果您有与我们商务合作的需求,可以通过以下方式联系我们:
商务邮箱: AIcloud_Business@corp.youdao.com
如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:
客服QQ:1906538062
智云语音技术交流QQ群:861723255
联系邮箱: zhiyun@corp.youdao.com
温馨提示:
应用ID
和应用密钥
;如果您还没有,请按照 新手指南 获取。接口地址:
wss://openapi.youdao.com/stream_asropenapi?{请求参数}
语音支持:
格式支持:wav(不压缩、pcm编码)
采样率:推荐16k。
编码:16bit位深的单声道
格式 | 代码 |
---|---|
wav | wav |
注:
发送时,第一帧需要为WAV HEADER 信息。
服务接口的调用分为认证、实时通信两阶段。
1. 认证阶段
请求参数格式:
key1=value1&key2=value2&key3=value3&key4=value4
参数说明:
参数 | 类型 | 必填 | 说明 | 示例 |
---|---|---|---|---|
appKey | String | 是 | 已申请的应用ID | ID |
salt | String | 是 | UUID | uuid,唯一通用识别码 |
curtime | String | 是 | 时间戳(秒) | TimeStamp |
sign | String | 是 | 加密数字签名。 | sha256 |
signType | String | 是 | 数字签名类型 | v4 |
langType | String | 是 | 语言选择,参考支持语言列表 | zh-CHS |
format | String | 是 | 音频格式,支持wav | wav |
channel | String | 是 | 声道,支持1(单声道) | 1 |
version | String | 是 | api版本 | v1 |
rate | String | 是 | 采样率 | 16000 |
签名
sign
生成方法如下:
signType=v4;
sign=sha256(应用ID
+salt
+curtime
+应用密钥
)。
服务端通过 text message 返回 json字符串的认证结果,参数示例:
成功:
{
"result": [],
"action": "started",
"errorCode": "0"
}
失败:
{
"result": "[]",
"action": "error",
"errorCode": "202"
}
参数说明:
参数 | 类型 | 说明 |
---|---|---|
errorCode | String | 状态码,详见 错误代码列表 |
action | String | 状态标识。started:握手;recognition:识别;error:错误,若输出为sensitive:包含不合时宜词汇,请根据实际返回结果按需处理 |
result | String | 识别结果数据 |
2 实时通信阶段
认证成功之后,进入实时通信阶段,此阶段客户端发送音频流和结束标识,并接收转写结果或错误。
2.1 发送音频流
此阶段客户端通过 binary message 发送音频流,内容为音频的二进制数据,此过程的发送频率将影响文字结果展示的实时性。
建议以 200ms 间隔发送音频数据,若间隔超时 15s 以上,服务端将停止识别。
2.2 发送结束标识
客户端完成所有音频数据的发送后,需发送一个特殊的 binary message 到服务端作为音频流发送结束的标识,内容为:
{"end": "true"}
注:该标识大小写敏感。
2.3 接收转写结果
交互过程中,服务端不断通过 text message 返回实时识别结果到客户端,响应结果是以json形式输出(为text message)。
识别结果示例:
{
"result": [{
"st": [{
"bg": 30,
"ed": 480,
"ws": [{
"w": "Have",
"wb": 30,
"we": 240
}, {
"w": "a",
"wb": 240,
"we": 270
}, {
"w": "good",
"wb": 270,
"we": 480
}, {
"w": "day.",
"wb": 480,
"we": 480
}]
}],
"seg_id": 0
}],
"errorCode": "0",
"action": "recognition"
}
识别结果 result 参数说明:
参数 | 含义 | 说明 |
---|---|---|
bg | 分句开始时间 | 单位毫秒/ms |
ed | 分句结束时间 | 单位毫秒/ms |
w | 词(字)识别结果 | |
wb | 词(字)开始时间 | 单位毫秒/ms |
we | 词(字)结束时间 | 单位毫秒/ms |
type | 识别结果类型 | 0:最终结果,1:中间结果 |
seg_id | 分句 id | 从 0 开始递增 |
language | 语种(中文) | 语言代码 |
---|---|---|
Arabic (United Arab Emirates) | 阿拉伯语(阿拉伯联合酋长国) | ar-AE |
Arabic (Bahrain) | 阿拉伯语(巴林) | ar-BH |
Arabic (Algeria) | 阿拉伯语(阿尔及利亚) | ar-DZ |
Arabic (Egypt) | 阿拉伯语(埃及) | ar-EG |
Arabic (Israel) | 阿拉伯语(以色列) | ar-IL |
Arabic (Iraq) | 阿拉伯语(伊拉克) | ar-IQ |
Arabic (Jordan) | 阿拉伯语(约旦) | ar-JO |
Arabic (Kuwait) | 阿拉伯语(科威特) | ar-KW |
Arabic (Lebanon) | 阿拉伯语(黎巴嫩) | ar-LB |
Arabic (Morocco) | 阿拉伯语(摩洛哥) | ar-MA |
Arabic (Oman) | 阿拉伯语(阿曼) | ar-OM |
Arabic (State of Palestine) | 阿拉伯语(巴勒斯坦国) | ar-PS |
Arabic (Qatar) | 阿拉伯语(卡塔尔) | ar-QA |
Arabic (Saudi Arabia) | 阿拉伯语(沙特阿拉伯) | ar |
Arabic (Tunisia) | 阿拉伯语(突尼斯) | ar-TN |
German (Germany) | 德国(德国) | de |
English (Australia) | 英语(澳大利亚) | en-AUS |
English (Canada) | 英语(加拿大) | en-CA |
English (United Kingdom) | 英语(英国) | en-GBR |
English (Ghana) | 英语(加纳) | en-GH |
English (Ireland) | 英语(爱尔兰) | en-IE |
English (India) | 英语(印度) | en-IND |
English (Kenya) | 英语(肯尼亚) | en-KE |
English (Nigeria) | 英语(尼日利亚) | en-NG |
English (New Zealand) | 英语(新西兰) | en-NZ |
English (Philippines) | 英语(菲律宾) | en-PH |
English (Singapore) | 英语(新加坡) | en-SG |
English (Tanzania) | 英语(坦桑尼亚) | en-TZ |
English (United States) | 英语(美国) | en |
English (South Africa) | 英语(南非) | en-ZAF |
Spanish (Argentina) | 西班牙语(阿根廷) | es-AR |
Spanish (Bolivia) | 西班牙语(玻利维亚) | es-BO |
Spanish (Chile) | 西班牙语(智利) | es-CL |
Spanish (Colombia) | 西班牙语(哥伦比亚) | es-COL |
Spanish (Costa Rica) | 西班牙语(哥斯达黎加) | es-CR |
Spanish (Dominican Republic) | 西班牙语(多米尼加共和国) | es-DO |
Spanish (Ecuador) | 西班牙语(厄瓜多尔) | es-EC |
Spanish (Spain) | 西班牙语(西班牙) | es |
Spanish (Guatemala) | 西班牙语(危地马拉) | es-GT |
Spanish (Honduras) | 西班牙语(洪都拉斯) | es-HN |
Spanish (Mexico) | 西班牙语(墨西哥) | es-MEX |
Spanish (Nicaragua) | 西班牙语(尼加拉瓜) | es-NI |
Spanish (Panama) | 西班牙语(巴拿马) | es-PA |
Spanish (Peru) | 西班牙语(秘鲁) | es-PE |
Spanish (Puerto Rico) | 西班牙语(波多黎各) | es-PR |
Spanish (Paraguay) | 西班牙语(巴拉圭) | es-PY |
Spanish (El Salvador) | 西班牙语(萨尔瓦多) | es-SV |
Spanish (United States) | 西班牙语(美国) | es-US |
Spanish (Uruguay) | 西班牙语(乌拉圭) | es-UY |
Spanish (Venezuela) | 西班牙语(委内瑞拉) | es-VE |
French (Canada) | 法语(加拿大) | fr-CA |
French (Canada) | 法语(加拿大) | fr-CAN |
French (France) | 法国(法国) | fr |
Italian (Italy) | 意大利(意大利) | it |
Japanese (Japan) | 日本(日本) | ja |
Korean (South Korea) | 朝鲜(韩国) | ko |
Dutch (Netherlands) | 荷兰(荷兰) | nl |
Polish (Poland) | 波兰(波兰) | pl |
Portuguese (Brazil) | 葡萄牙语(巴西) | pt-BRA |
Russian (Russia) | 俄罗斯(俄罗斯) | ru |
Thai (Thailand) | 泰国(泰国) | th |
Turkish (Turkey) | 土耳其(土耳其) | tr |
Chinese, Mandarin (Simplified, China) | 中文、普通话(简体、中国) | zh-CHS |
Chinese, Mandarin (Simplified, Hong Kong) | 中文、普通话(简体,香港) | zh-HK |
Chinese, Mandarin (Simplified, Taiwan) | 中文、普通话(简体、台湾) | zh-TWN |
Bulgarian (Bulgaria) | 保加利亚(保加利亚) | bg |
Catalan (Spain) | 加泰罗尼亚语(西班牙) | ca |
Czech (Czech Republic) | 捷克(捷克) | cs |
Danish (Denmark) | 丹麦(丹麦) | da |
Greek (Greece) | 希腊(希腊) | el |
Finnish (Finland) | 芬兰(芬兰) | fi |
Hebrew (Israel) | 希伯来语(以色列) | he |
Hindi (India) | 印地语(印度) | hi |
Croatian (Croatia) | 克罗地亚(克罗地亚) | hr |
Hungarian (Hungary) | 匈牙利(匈牙利) | hu |
Indonesian (Indonesia) | 印尼(印度尼西亚) | id |
Lithuanian (Lithuania) | 立陶宛(立陶宛) | lt-LT |
Latvian (Latvia) | 拉脱维亚(拉脱维亚) | lv-LV |
Norwegian Bokmål (Norway) | 挪威书面挪威语(挪威) | no |
Portuguese (Portugal) | 葡萄牙语(葡萄牙) | pt |
Romanian (Romania) | 罗马尼亚(罗马尼亚) | ro |
Slovak (Slovakia) | 斯洛伐克(斯洛伐克) | sk |
Slovenian (Slovenia) | 斯洛文尼亚(斯洛文尼亚) | sl |
Serbian (Serbia) | 塞尔维亚(塞尔维亚) | sr-RS |
Swedish (Sweden) | 瑞典(瑞典) | sv |
Ukrainian (Ukraine) | 乌克兰(乌克兰) | uk |
Vietnamese (Vietnam) | 越南(越南) | vi |
Afrikaans (South Africa) | 布尔语(南非) | af-ZA |
Amharic (Ethiopia) | 阿姆哈拉语(埃塞俄比亚) | am-ET |
Azerbaijani (Azerbaijan) | 阿塞拜疆(阿塞拜疆) | az-AZ |
Bengali (Bangladesh) | 孟加拉(孟加拉) | bn-BD |
Bengali (India) | 孟加拉语(印度) | bn-IN |
Estonian (Estonia) | 爱沙尼亚(爱沙尼亚) | et-EE |
Basque (Spain) | 巴斯克(西班牙) | eu-ES |
Persian (Iran) | 波斯(伊朗) | fa-IR |
Filipino (Philippines) | 菲律宾(菲律宾) | tl |
Galician (Spain) | 加利西亚(西班牙) | gl-ES |
Gujarati (India) | 古吉拉特语(印度) | gu-IN |
Armenian (Armenia) | 亚美尼亚(亚美尼亚) | hy-AM |
Icelandic (Iceland) | 冰岛(冰岛) | is-IS |
Javanese (Indonesia) | 爪哇(印度尼西亚) | jv-ID |
Georgian (Georgia) | 格鲁吉亚(Georgia) | ka-GE |
Khmer (Cambodia) | 红色(高棉语) | km-KH |
Kannada (India) | 埃纳德语(印度) | kn-IN |
Lao (Laos) | 老挝(老挝) | lo |
Macedonian (North Macedonia) | 马其顿(北马其顿) | mk-MK |
Malayalam (India) | 马拉雅拉姆语(印度) | ml-IN |
Mongolian (Mongolia) | 蒙古(蒙古) | mn-MN |
Marathi (India) | 马拉地语(印度) | mr-IN |
Malay (Malaysia) | 马来语(马来西亚) | ms |
Burmese (Myanmar) | 缅甸(缅甸) | my-MM |
Nepali (Nepal) | 尼泊尔(尼泊尔) | ne-NP |
Punjabi (Gurmukhi, India) | 旁遮普(果鲁穆奇语、印度) | pa-guru-IN |
Sinhala (Sri Lanka) | 僧伽罗语(斯里兰卡) | si-LK |
Albanian (Albania) | 阿尔巴尼亚(阿尔巴尼亚) | sq-AL |
Sundanese (Indonesia) | 巽他语(印度尼西亚) | su-ID |
Swahili (Kenya) | 斯瓦希里语(肯尼亚) | sw-KE |
Swahili (Tanzania) | 斯瓦希里语(坦桑尼亚) | sw-TZ |
Tamil (India) | 泰米尔语(印度) | ta |
Tamil (Sri Lanka) | 泰米尔语(斯里兰卡) | ta-LK |
Tamil (Malaysia) | 泰米尔语(马来西亚) | ta-MY |
Tamil (Singapore) | 泰米尔语(新加坡) | ta-SG |
Telugu (India) | 泰卢固语(印度) | te |
Urdu (India) | 乌尔都语(印度) | ur-IN |
Urdu (Pakistan) | 乌尔都语(巴基斯坦) | ur-PK |
Uzbek (Uzbekistan) | 乌兹别克斯坦(乌兹别克斯坦) | uz-UZ |
Chinese, Cantonese (Traditional, Hong Kong) | 中文、粤语(繁体、香港) | yue |
Zulu (South Africa) | 祖鲁语(南非) | zu-ZA |
支持格式 | 免费用户最大支持并发 | 单次最大请求时长(s) | 每小时最大音频时长(s) | 每小时最大连接次数 | 支持语言 |
---|---|---|---|---|---|
wav | 10 | 3600 | 60000 | 3000 | 中/英等,参考详细语言列表 |
注意:如需上调调用量请联系技术人员咨询。
错误码 | 含义 |
---|---|
101 | 缺少必填的参数,首先确保必填参数齐全,然后,确认参数书写是否正确 |
102 | 不支持的语言类型 |
103 | 翻译文本过长 |
104 | 不支持的API类型 |
105 | 不支持的签名类型 |
106 | 不支持的响应类型 |
107 | 不支持的传输加密类型 |
108 | 应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息 |
109 | batchLog格式不正确 |
110 | 无相关服务的有效实例,应用没有绑定服务实例,可以新建服务实例,绑定服务实例。注:某些服务的结果发音需要tts实例,需要在控制台创建语音合成实例绑定应用后方能使用。 |
111 | 开发者账号无效 |
112 | 请求服务无效 |
113 | q不能为空 |
114 | 不支持的图片传输方式 |
201 | 解密失败,可能为DES,BASE64,URLDecode的错误 |
202 | 签名检验失败,请确认应用ID和应用密钥的正确性。 |
203 | 访问IP地址不在可访问IP列表 |
205 | 请求的接口与应用的平台类型不一致,确保接入方式(Android SDK、IOS SDK、API)与创建的应用平台类型一致。如有疑问请参考入门指南 |
206 | 因为时间戳无效导致签名校验失败 |
207 | 重放请求 |
301 | 辞典查询失败 |
302 | 翻译查询失败 |
303 | 服务端的其它异常 |
304 | 会话闲置太久超时 |
401 | 账户已经欠费停 |
402 | offlinesdk不可用 |
411 | 访问频率受限,请稍后访问 |
412 | 长请求过于频繁,请稍后访问 |
1001 | 无效的OCR类型 |
1002 | 不支持的OCR image类型 |
1003 | 不支持的OCR Language类型 |
1004 | 识别图片过大 |
1201 | 图片base64解密失败 |
1301 | OCR段落识别失败 |
1411 | 访问频率受限 |
1412 | 超过最大识别字节数 |
2003 | 不支持的语言识别Language类型 |
2004 | 合成字符过长 |
2005 | 不支持的音频文件类型 |
2006 | 不支持的发音类型 |
2201 | 解密失败 |
2301 | 服务的异常 |
2411 | 访问频率受限,请稍后访问 |
2412 | 超过最大请求字符数 |
3001 | 不支持的语音格式 |
3002 | 不支持的语音采样率 |
3003 | 不支持的语音声道 |
3004 | 不支持的语音上传类型 |
3005 | 不支持的语言类型 |
3006 | 不支持的识别类型 |
3007 | 识别音频文件过大 |
3008 | 识别音频时长过长 |
3009 | 不支持的音频文件类型 |
3010 | 不支持的发音类型 |
3201 | 解密失败 |
3301 | 语音识别失败 |
3302 | 语音翻译失败 |
3303 | 服务的异常 |
3411 | 访问频率受限,请稍后访问 |
3412 | 超过最大请求字符数 |
4001 | 不支持的语音识别格式 |
4002 | 不支持的语音识别采样率 |
4003 | 不支持的语音识别声道 |
4004 | 不支持的语音上传类型 |
4005 | 不支持的语言类型 |
4006 | 识别音频文件过大 |
4007 | 识别音频时长过长 |
4201 | 解密失败 |
4301 | 语音识别失败 |
4303 | 服务的异常 |
4411 | 访问频率受限,请稍后访问 |
4412 | 超过最大请求时长 |
5001 | 无效的OCR类型 |
5002 | 不支持的OCR image类型 |
5003 | 不支持的语言类型 |
5004 | 识别图片过大 |
5005 | 不支持的图片类型 |
5006 | 文件为空 |
5201 | 解密错误,图片base64解密失败 |
5301 | OCR段落识别失败 |
5411 | 访问频率受限 |
5412 | 超过最大识别流量 |
9001 | 不支持的语音格式 |
9002 | 不支持的语音采样率 |
9003 | 不支持的语音声道 |
9004 | 不支持的语音上传类型 |
9005 | 不支持的语音识别 Language类型 |
9301 | ASR识别失败 |
9303 | 服务器内部错误 |
9411 | 访问频率受限(超过最大调用次数) |
9412 | 超过最大处理语音长度 |
10001 | 无效的OCR类型 |
10002 | 不支持的OCR image类型 |
10004 | 识别图片过大 |
10201 | 图片base64解密失败 |
10301 | OCR段落识别失败 |
10411 | 访问频率受限 |
10412 | 超过最大识别流量 |
11001 | 不支持的语音识别格式 |
11002 | 不支持的语音识别采样率 |
11003 | 不支持的语音识别声道 |
11004 | 不支持的语音上传类型 |
11005 | 不支持的语言类型 |
11006 | 识别音频文件过大 |
11007 | 识别音频时长过长, |
11201 | 解密失败 |
11301 | 语音识别失败 |
11303 | 服务的异常 |
11411 | 访问频率受限,请稍后访问 |
11412 | 超过最大请求时长 |
12001 | 图片尺寸过大 |
12002 | 图片base64解密失败 |
12003 | 引擎服务器返回错误 |
12004 | 图片为空 |
12005 | 不支持的识别图片类型 |
12006 | 图片无匹配结果 |
13001 | 不支持的角度类型 |
13002 | 不支持的文件类型 |
13003 | 表格识别图片过大 |
13004 | 文件为空 |
13301 | 表格识别失败 |
15001 | 需要图片 |
15002 | 图片过大(1M) |
15003 | 服务调用失败 |
17001 | 需要图片 |
17002 | 图片过大(1M) |
17003 | 识别类型未找到 |
17004 | 不支持的识别类型 |
17005 | 服务调用失败 |
上线日期 | 版本号 | 更新内容 |
---|---|---|
2018.11.07 | v1.0.0 | 有道智云实时语音识别API上线 |
2023.06.13 | v2.0.0 | 更新多语言示例 demo及下载链接 |