API文档
产品定价
实时语音识别:可实现对连续音频流的实时识别,转换成文本信息并返对应文字流。
Hi,您好,欢迎使用有道智云实时语音识别API接口服务。
如果您想快速体验服务,建议您前往 语音识别体验中心 或者在体验中心右下侧找到小程序二维码,扫描进行体验。
本文档主要针对需要集成API的技术开发工程师,详细描述实时语音识别能力相关的技术内容。
如果您有与我们商务合作的需求,可以通过以下方式联系我们:
商务邮箱: AIcloud_Business@corp.youdao.com
如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:
客服QQ:1906538062
智云语音技术交流QQ群:861723255
联系邮箱: zhiyun@corp.youdao.com
温馨提示:
应用ID和应用密钥;如果您还没有,请按照 新手指南 获取。接口地址:
wss://openapi.youdao.com/stream_asropenapi?{请求参数}
语音支持:
格式支持:wav(不压缩、pcm编码)
采样率:推荐16k。
编码:16bit位深的单声道
| 格式 | 代码 |
|---|---|
| wav | wav |
注: 发送时,第一帧需要为WAV HEADER 信息。
服务接口的调用分为认证、实时通信两阶段。
1. 认证阶段
请求参数格式: key1=value1&key2=value2&key3=value3&key4=value4
参数说明:
| 参数 | 类型 | 必填 | 说明 | 示例 |
|---|---|---|---|---|
| appKey | String | 是 | 已申请的应用ID | ID |
| salt | String | 是 | UUID | uuid,唯一通用识别码 |
| curtime | String | 是 | 时间戳(秒) | TimeStamp |
| sign | String | 是 | 加密数字签名。 | sha256 |
| signType | String | 是 | 数字签名类型 | v4 |
| langType | String | 是 | 语言选择,参考支持语言列表 | zh-CHS |
| format | String | 是 | 音频格式,支持wav | wav |
| channel | String | 是 | 声道,支持1(单声道) | 1 |
| version | String | 是 | api版本 | v1 |
| rate | String | 是 | 采样率 | 16000 |
签名
sign生成方法如下: signType=v4; sign=sha256(应用ID+salt+curtime+应用密钥)。
服务端通过 text message 返回 json字符串的认证结果,参数示例:
成功:
{
"result": [],
"action": "started",
"errorCode": "0"
}
失败:
{
"result": "[]",
"action": "error",
"errorCode": "202"
}
参数说明:
| 参数 | 类型 | 说明 |
|---|---|---|
| errorCode | String | 状态码,详见 错误代码列表 |
| action | String | 状态标识。started:握手;recognition:识别;error:错误,若输出为sensitive:包含不合时宜词汇,请根据实际返回结果按需处理 |
| result | String | 识别结果数据 |
2 实时通信阶段
认证成功之后,进入实时通信阶段,此阶段客户端发送音频流和结束标识,并接收转写结果或错误。
2.1 发送音频流
此阶段客户端通过 binary message 发送音频流,内容为音频的二进制数据,此过程的发送频率将影响文字结果展示的实时性。
建议以 200ms 间隔发送音频数据,若间隔超时 15s 以上,服务端将停止识别。
2.2 发送结束标识
客户端完成所有音频数据的发送后,需发送一个特殊的 binary message 到服务端作为音频流发送结束的标识,内容为:
{"end": "true"}
注:该标识大小写敏感。
2.3 接收转写结果
交互过程中,服务端不断通过 text message 返回实时识别结果到客户端,响应结果是以json形式输出(为text message)。 识别结果示例:
{
"result": [{
"st": [{
"bg": 30,
"ed": 480,
"ws": [{
"w": "Have",
"wb": 30,
"we": 240
}, {
"w": "a",
"wb": 240,
"we": 270
}, {
"w": "good",
"wb": 270,
"we": 480
}, {
"w": "day.",
"wb": 480,
"we": 480
}]
}],
"seg_id": 0
}],
"errorCode": "0",
"action": "recognition"
}
识别结果 result 参数说明:
| 参数 | 含义 | 说明 |
|---|---|---|
| bg | 分句开始时间 | 单位毫秒/ms |
| ed | 分句结束时间 | 单位毫秒/ms |
| w | 词(字)识别结果 | |
| wb | 词(字)开始时间 | 单位毫秒/ms |
| we | 词(字)结束时间 | 单位毫秒/ms |
| type | 识别结果类型 | 0:最终结果,1:中间结果 |
| seg_id | 分句 id | 从 0 开始递增 |
| language | 语种(中文) | 语言代码 |
|---|---|---|
| Arabic (United Arab Emirates) | 阿拉伯语(阿拉伯联合酋长国) | ar-AE |
| Arabic (Bahrain) | 阿拉伯语(巴林) | ar-BH |
| Arabic (Algeria) | 阿拉伯语(阿尔及利亚) | ar-DZ |
| Arabic (Egypt) | 阿拉伯语(埃及) | ar-EG |
| Arabic (Israel) | 阿拉伯语(以色列) | ar-IL |
| Arabic (Iraq) | 阿拉伯语(伊拉克) | ar-IQ |
| Arabic (Jordan) | 阿拉伯语(约旦) | ar-JO |
| Arabic (Kuwait) | 阿拉伯语(科威特) | ar-KW |
| Arabic (Lebanon) | 阿拉伯语(黎巴嫩) | ar-LB |
| Arabic (Morocco) | 阿拉伯语(摩洛哥) | ar-MA |
| Arabic (Oman) | 阿拉伯语(阿曼) | ar-OM |
| Arabic (State of Palestine) | 阿拉伯语(巴勒斯坦国) | ar-PS |
| Arabic (Qatar) | 阿拉伯语(卡塔尔) | ar-QA |
| Arabic (Saudi Arabia) | 阿拉伯语(沙特阿拉伯) | ar |
| Arabic (Tunisia) | 阿拉伯语(突尼斯) | ar-TN |
| German (Germany) | 德国(德国) | de |
| English (Australia) | 英语(澳大利亚) | en-AUS |
| English (Canada) | 英语(加拿大) | en-CA |
| English (United Kingdom) | 英语(英国) | en-GBR |
| English (Ghana) | 英语(加纳) | en-GH |
| English (Ireland) | 英语(爱尔兰) | en-IE |
| English (India) | 英语(印度) | en-IND |
| English (Kenya) | 英语(肯尼亚) | en-KE |
| English (Nigeria) | 英语(尼日利亚) | en-NG |
| English (New Zealand) | 英语(新西兰) | en-NZ |
| English (Philippines) | 英语(菲律宾) | en-PH |
| English (Singapore) | 英语(新加坡) | en-SG |
| English (Tanzania) | 英语(坦桑尼亚) | en-TZ |
| English (United States) | 英语(美国) | en-class |
| English (South Africa) | 英语(南非) | en-ZAF |
| Spanish (Argentina) | 西班牙语(阿根廷) | es-AR |
| Spanish (Bolivia) | 西班牙语(玻利维亚) | es-BO |
| Spanish (Chile) | 西班牙语(智利) | es-CL |
| Spanish (Colombia) | 西班牙语(哥伦比亚) | es-COL |
| Spanish (Costa Rica) | 西班牙语(哥斯达黎加) | es-CR |
| Spanish (Dominican Republic) | 西班牙语(多米尼加共和国) | es-DO |
| Spanish (Ecuador) | 西班牙语(厄瓜多尔) | es-EC |
| Spanish (Spain) | 西班牙语(西班牙) | es |
| Spanish (Guatemala) | 西班牙语(危地马拉) | es-GT |
| Spanish (Honduras) | 西班牙语(洪都拉斯) | es-HN |
| Spanish (Mexico) | 西班牙语(墨西哥) | es-MEX |
| Spanish (Nicaragua) | 西班牙语(尼加拉瓜) | es-NI |
| Spanish (Panama) | 西班牙语(巴拿马) | es-PA |
| Spanish (Peru) | 西班牙语(秘鲁) | es-PE |
| Spanish (Puerto Rico) | 西班牙语(波多黎各) | es-PR |
| Spanish (Paraguay) | 西班牙语(巴拉圭) | es-PY |
| Spanish (El Salvador) | 西班牙语(萨尔瓦多) | es-SV |
| Spanish (United States) | 西班牙语(美国) | es-US |
| Spanish (Uruguay) | 西班牙语(乌拉圭) | es-UY |
| Spanish (Venezuela) | 西班牙语(委内瑞拉) | es-VE |
| French (Canada) | 法语(加拿大) | fr-CA |
| French (Canada) | 法语(加拿大) | fr-CAN |
| French (France) | 法国(法国) | fr |
| Italian (Italy) | 意大利(意大利) | it |
| Japanese (Japan) | 日本(日本) | ja |
| Korean (South Korea) | 朝鲜(韩国) | ko |
| Dutch (Netherlands) | 荷兰(荷兰) | nl |
| Polish (Poland) | 波兰(波兰) | pl |
| Portuguese (Brazil) | 葡萄牙语(巴西) | pt-BRA |
| Russian (Russia) | 俄罗斯(俄罗斯) | ru |
| Thai (Thailand) | 泰国(泰国) | th |
| Turkish (Turkey) | 土耳其(土耳其) | tr |
| Chinese, Mandarin (Simplified, China) | 中文、普通话(简体、中国) | zh-CHS2 |
| Chinese, Mandarin (Simplified, Hong Kong) | 中文、普通话(简体,香港) | zh-HK |
| Chinese, Mandarin (Simplified, Taiwan) | 中文、普通话(简体、台湾) | zh-TWN |
| Chinese, English | 中英文混合(带情绪参数) | enzh8 |
| Bulgarian (Bulgaria) | 保加利亚(保加利亚) | bg |
| Catalan (Spain) | 加泰罗尼亚语(西班牙) | ca |
| Czech (Czech Republic) | 捷克(捷克) | cs |
| Danish (Denmark) | 丹麦(丹麦) | da |
| Greek (Greece) | 希腊(希腊) | el |
| Finnish (Finland) | 芬兰(芬兰) | fi |
| Hebrew (Israel) | 希伯来语(以色列) | he |
| Hindi (India) | 印地语(印度) | hi |
| Croatian (Croatia) | 克罗地亚(克罗地亚) | hr |
| Hungarian (Hungary) | 匈牙利(匈牙利) | hu |
| Indonesian (Indonesia) | 印尼(印度尼西亚) | id |
| Lithuanian (Lithuania) | 立陶宛(立陶宛) | lt-LT |
| Latvian (Latvia) | 拉脱维亚(拉脱维亚) | lv-LV |
| Norwegian Bokmål (Norway) | 挪威书面挪威语(挪威) | no |
| Portuguese (Portugal) | 葡萄牙语(葡萄牙) | pt |
| Romanian (Romania) | 罗马尼亚(罗马尼亚) | ro |
| Slovak (Slovakia) | 斯洛伐克(斯洛伐克) | sk |
| Slovenian (Slovenia) | 斯洛文尼亚(斯洛文尼亚) | sl |
| Serbian (Serbia) | 塞尔维亚(塞尔维亚) | sr-RS |
| Swedish (Sweden) | 瑞典(瑞典) | sv |
| Ukrainian (Ukraine) | 乌克兰(乌克兰) | uk |
| Vietnamese (Vietnam) | 越南(越南) | vi |
| Afrikaans (South Africa) | 布尔语(南非) | af-ZA |
| Amharic (Ethiopia) | 阿姆哈拉语(埃塞俄比亚) | am-ET |
| Azerbaijani (Azerbaijan) | 阿塞拜疆(阿塞拜疆) | az-AZ |
| Bengali (Bangladesh) | 孟加拉(孟加拉) | bn-BD |
| Bengali (India) | 孟加拉语(印度) | bn-IN |
| Estonian (Estonia) | 爱沙尼亚(爱沙尼亚) | et-EE |
| Basque (Spain) | 巴斯克(西班牙) | eu-ES |
| Persian (Iran) | 波斯(伊朗) | fa-IR |
| Filipino (Philippines) | 菲律宾(菲律宾) | tl |
| Galician (Spain) | 加利西亚(西班牙) | gl-ES |
| Gujarati (India) | 古吉拉特语(印度) | gu-IN |
| Armenian (Armenia) | 亚美尼亚(亚美尼亚) | hy-AM |
| Icelandic (Iceland) | 冰岛(冰岛) | is-IS |
| Javanese (Indonesia) | 爪哇(印度尼西亚) | jv-ID |
| Georgian (Georgia) | 格鲁吉亚(Georgia) | ka-GE |
| Khmer (Cambodia) | 红色(高棉语) | km-KH |
| Kannada (India) | 埃纳德语(印度) | kn-IN |
| Lao (Laos) | 老挝(老挝) | lo |
| Macedonian (North Macedonia) | 马其顿(北马其顿) | mk-MK |
| Malayalam (India) | 马拉雅拉姆语(印度) | ml-IN |
| Mongolian (Mongolia) | 蒙古(蒙古) | mn-MN |
| Marathi (India) | 马拉地语(印度) | mr-IN |
| Malay (Malaysia) | 马来语(马来西亚) | ms |
| Burmese (Myanmar) | 缅甸(缅甸) | my-MM |
| Nepali (Nepal) | 尼泊尔(尼泊尔) | ne-NP |
| Punjabi (Gurmukhi, India) | 旁遮普(果鲁穆奇语、印度) | pa-guru-IN |
| Sinhala (Sri Lanka) | 僧伽罗语(斯里兰卡) | si-LK |
| Albanian (Albania) | 阿尔巴尼亚(阿尔巴尼亚) | sq-AL |
| Sundanese (Indonesia) | 巽他语(印度尼西亚) | su-ID |
| Swahili (Kenya) | 斯瓦希里语(肯尼亚) | sw-KE |
| Swahili (Tanzania) | 斯瓦希里语(坦桑尼亚) | sw-TZ |
| Tamil (India) | 泰米尔语(印度) | ta |
| Tamil (Sri Lanka) | 泰米尔语(斯里兰卡) | ta-LK |
| Tamil (Malaysia) | 泰米尔语(马来西亚) | ta-MY |
| Tamil (Singapore) | 泰米尔语(新加坡) | ta-SG |
| Telugu (India) | 泰卢固语(印度) | te |
| Urdu (India) | 乌尔都语(印度) | ur-IN |
| Urdu (Pakistan) | 乌尔都语(巴基斯坦) | ur-PK |
| Uzbek (Uzbekistan) | 乌兹别克斯坦(乌兹别克斯坦) | uz-UZ |
| Chinese, Cantonese (Traditional, Hong Kong) | 中文、粤语(繁体、香港) | yue |
| Zulu (South Africa) | 祖鲁语(南非) | zu-ZA |
| Arabic (Saudi Arabia) | 阿拉伯语(沙特阿拉伯) | s-ar |
| Russian (Russia) | 俄罗斯(俄罗斯) | s-ru |
| Turkish (Turkey) | 土耳其(土耳其) | s-tr |
| Polish (Poland) | 波兰(波兰) | s-pl |
| Catalan (Spain) | 加泰罗尼亚语(西班牙) | s-ca |
| Dutch (Netherlands) | 荷兰(荷兰) | s-nl |
| Swedish (Sweden) | 瑞典(瑞典) | s-sv |
| Italian (Italy) | 意大利(意大利) | s-it |
| Indonesian (Indonesia) | 印尼(印度尼西亚) | s-id |
| Finnish (Finland) | 芬兰(芬兰) | s-fi |
| Persian | 波斯 | s-fa |
| French (France) | 法国(法国) | s-fr |
| German (Germany) | 德国(德国) | s-de |
| Chinese, Mandarin (Simplified, China) | 普通话(简体、中国) | zh-PURE8 |
注意:s-开头的语种为更高质量的模型。
| 支持格式 | 免费用户最大支持并发 | 单次最大请求时长(s) | 每小时最大音频时长(s) | 每小时最大连接次数 | 支持语言 |
|---|---|---|---|---|---|
| wav | 10 | 3600 | 60000 | 3000 | 中/英等,参考详细语言列表 |
注意:如需上调调用量请联系技术人员咨询。
| 错误码 | 含义 |
|---|---|
| 101 | 缺少必填的参数,首先确保必填参数齐全,然后,确认参数书写是否正确 |
| 102 | 不支持的语言类型 |
| 103 | 翻译文本过长 |
| 104 | 不支持的API类型 |
| 105 | 不支持的签名类型 |
| 106 | 不支持的响应类型 |
| 107 | 不支持的传输加密类型 |
| 108 | 应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息 |
| 109 | batchLog格式不正确 |
| 110 | 无相关服务的有效实例,应用没有绑定服务实例,可以新建服务实例,绑定服务实例。注:某些服务的结果发音需要tts实例,需要在控制台创建语音合成实例绑定应用后方能使用。 |
| 111 | 开发者账号无效 |
| 112 | 请求服务无效 |
| 113 | q不能为空 |
| 114 | 不支持的图片传输方式 |
| 201 | 解密失败,可能为DES,BASE64,URLDecode的错误 |
| 202 | 签名检验失败,请确认应用ID和应用密钥的正确性。 |
| 203 | 访问IP地址不在可访问IP列表 |
| 205 | 请求的接口与应用的平台类型不一致,确保接入方式(Android SDK、IOS SDK、API)与创建的应用平台类型一致。如有疑问请参考入门指南 |
| 206 | 因为时间戳无效导致签名校验失败 |
| 207 | 重放请求 |
| 301 | 辞典查询失败 |
| 302 | 翻译查询失败 |
| 303 | 服务端的其它异常 |
| 304 | 会话闲置太久超时 |
| 401 | 账户已经欠费停 |
| 402 | offlinesdk不可用 |
| 411 | 访问频率受限,请稍后访问 |
| 412 | 长请求过于频繁,请稍后访问 |
| 1001 | 无效的OCR类型 |
| 1002 | 不支持的OCR image类型 |
| 1003 | 不支持的OCR Language类型 |
| 1004 | 识别图片过大 |
| 1201 | 图片base64解密失败 |
| 1301 | OCR段落识别失败 |
| 1411 | 访问频率受限 |
| 1412 | 超过最大识别字节数 |
| 2003 | 不支持的语言识别Language类型 |
| 2004 | 合成字符过长 |
| 2005 | 不支持的音频文件类型 |
| 2006 | 不支持的发音类型 |
| 2201 | 解密失败 |
| 2301 | 服务的异常 |
| 2411 | 访问频率受限,请稍后访问 |
| 2412 | 超过最大请求字符数 |
| 3001 | 不支持的语音格式 |
| 3002 | 不支持的语音采样率 |
| 3003 | 不支持的语音声道 |
| 3004 | 不支持的语音上传类型 |
| 3005 | 不支持的语言类型 |
| 3006 | 不支持的识别类型 |
| 3007 | 识别音频文件过大 |
| 3008 | 识别音频时长过长 |
| 3009 | 不支持的音频文件类型 |
| 3010 | 不支持的发音类型 |
| 3201 | 解密失败 |
| 3301 | 语音识别失败 |
| 3302 | 语音翻译失败 |
| 3303 | 服务的异常 |
| 3411 | 访问频率受限,请稍后访问 |
| 3412 | 超过最大请求字符数 |
| 4001 | 不支持的语音识别格式 |
| 4002 | 不支持的语音识别采样率 |
| 4003 | 不支持的语音识别声道 |
| 4004 | 不支持的语音上传类型 |
| 4005 | 不支持的语言类型 |
| 4006 | 识别音频文件过大 |
| 4007 | 识别音频时长过长 |
| 4201 | 解密失败 |
| 4301 | 语音识别失败 |
| 4303 | 服务的异常 |
| 4411 | 访问频率受限,请稍后访问 |
| 4412 | 超过最大请求时长 |
| 5001 | 无效的OCR类型 |
| 5002 | 不支持的OCR image类型 |
| 5003 | 不支持的语言类型 |
| 5004 | 识别图片过大 |
| 5005 | 不支持的图片类型 |
| 5006 | 文件为空 |
| 5201 | 解密错误,图片base64解密失败 |
| 5301 | OCR段落识别失败 |
| 5411 | 访问频率受限 |
| 5412 | 超过最大识别流量 |
| 9001 | 不支持的语音格式 |
| 9002 | 不支持的语音采样率 |
| 9003 | 不支持的语音声道 |
| 9004 | 不支持的语音上传类型 |
| 9005 | 不支持的语音识别 Language类型 |
| 9301 | ASR识别失败 |
| 9303 | 服务器内部错误 |
| 9411 | 访问频率受限(超过最大调用次数) |
| 9412 | 超过最大处理语音长度 |
| 10001 | 无效的OCR类型 |
| 10002 | 不支持的OCR image类型 |
| 10004 | 识别图片过大 |
| 10201 | 图片base64解密失败 |
| 10301 | OCR段落识别失败 |
| 10411 | 访问频率受限 |
| 10412 | 超过最大识别流量 |
| 11001 | 不支持的语音识别格式 |
| 11002 | 不支持的语音识别采样率 |
| 11003 | 不支持的语音识别声道 |
| 11004 | 不支持的语音上传类型 |
| 11005 | 不支持的语言类型 |
| 11006 | 识别音频文件过大 |
| 11007 | 识别音频时长过长, |
| 11201 | 解密失败 |
| 11301 | 语音识别失败 |
| 11303 | 服务的异常 |
| 11411 | 访问频率受限,请稍后访问 |
| 11412 | 超过最大请求时长 |
| 12001 | 图片尺寸过大 |
| 12002 | 图片base64解密失败 |
| 12003 | 引擎服务器返回错误 |
| 12004 | 图片为空 |
| 12005 | 不支持的识别图片类型 |
| 12006 | 图片无匹配结果 |
| 13001 | 不支持的角度类型 |
| 13002 | 不支持的文件类型 |
| 13003 | 表格识别图片过大 |
| 13004 | 文件为空 |
| 13301 | 表格识别失败 |
| 15001 | 需要图片 |
| 15002 | 图片过大(1M) |
| 15003 | 服务调用失败 |
| 17001 | 需要图片 |
| 17002 | 图片过大(1M) |
| 17003 | 识别类型未找到 |
| 17004 | 不支持的识别类型 |
| 17005 | 服务调用失败 |
| 上线日期 | 版本号 | 更新内容 |
|---|---|---|
| 2018.11.07 | v1.0.0 | 有道智云实时语音识别API上线 |
| 2023.06.13 | v2.0.0 | 更新多语言示例 demo及下载链接 |