实时语音翻译:可实现对连续音频流的实时翻译和整句翻译,转换成识别后文本信息并返翻译后文字流。
Hi,您好,欢迎使用有道智云实时语音翻译API接口服务。
如果您想快速体验服务,建议您前往实时语音翻译体验中心 或者在体验中心右下侧找到小程序二维码,扫描进行体验。
如果您有与我们商务合作的需求,可以通过以下方式联系我们:
商务邮箱: AIcloud_Business@corp.youdao.com
如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:
客服QQ:1906538062
智云翻译技术交流QQ 1群: 652880659
智云翻译技术交流QQ 2群: 669384425
智云翻译技术交流QQ 3群: 807539209
智云翻译技术交流QQ 4群: 936752411
联系邮箱: zhiyun@corp.youdao.com
温馨提示:
本文档主要针对开发人员,接入测试前需要获取应用ID和应用密钥;如果您还没有,请按照新手指南操作。
平台向每个账户赠送50元的体验金,供用户集成前测试所用,具体资费规则详见 实时语音翻译服务报价 。
接口地址:
wss://openapi.youdao.com/stream_speech_trans?{请求参数}
调用方在集成实时语音翻译API时,请遵循以下规则。
| 规则 | 描述 |
|---|---|
| 传输方式 | WSS |
| 字符编码 | 统一使用UTF-8编码 |
| 响应格式 | JSON |
| 语音格式 | wav(不压缩、pcm编码) |
| 语音采样率 | 16k |
| 语音编码 | 16bit位深的单声道 |
服务接口的调用分为认证、实时通信两阶段。
1 .认证阶段
请求参数格式: key1=value1&key2=value2&key3=value3&key4=value4
参数说明:
| 参数 | 类型 | 必填 | 说明 | 示例 |
|---|---|---|---|---|
| appKey | String | 是 | 已申请的应用ID | 应用ID |
| salt | String | 是 | UUID | uuid,唯一通用识别码 |
| curtime | String | 是 | 时间戳(秒) | 1522292849 |
| sign | String | 是 | 签名 | sha256(应用ID + salt + curtime + 应用密钥) |
| signType | String | 是 | 数字签名类型 | v4 |
| from | String | 是 | 源语言选择 | 参照下方语言表 |
| to | String | 是 | 目标语言选择 | 参照下方语言表 |
| format | String | 是 | 音频格式,支持wav | wav |
| channel | String | 是 | 声道,支持单声道,值为1 | 1 |
| version | String | 是 | api版本 | v1 |
| rate | String | 是 | 采样率 | 16000 |
| streamEpType | String | 否 | 静音检测阈值降低,实现更短的断句处理和更快的服务请求响应 | short |
| transPattern | String | 否 | 支持的翻译模式: 实时语音识别(stream) 整句翻译(sentence) |
sentence |
| noitn | String | 否 | 强制把阿拉伯数字转为英文单词 (0/1),默认值为0 表示不强制 | 0 |
签名生成方法如下: sign=sha256(
应用ID+salt+curtime+应用密钥)。(仅API接入方式的应用有应用密钥)
2. 实时通信阶段
认证成功之后,进入实时通信阶段,此阶段客户端发送音频流和结束标识,并接收转写结果。
2. 2. 1 发送音频流
此阶段客户端通过 binary message 发送音频流,内容为音频的二进制数据,此过程的发送频率将影响文字结果展示的实时性。
建议以 200ms 间隔发送音频数据,若间隔超时 15s 以上,服务端将停止识别。
2. 2. 2 发送结束标识
客户端完成所有音频数据的发送后,需发送一个特殊的 binary message 到服务端作为音频流 发送结束的标识,内容为:
{"end": "true"}
认证结果说明
服务端通过 text message 返回 json字符串的认证结果,参数示例:
| 参数 | 类型 | 说明 |
|---|---|---|
| errorCode | String | 错误码,详见 错误代码列表 |
| action | String | 状态标识,started:握手,recognition:识别,error:错误 |
| result | String | 识别结果数据 |
成功:
{
"result": {},
"action": "started",
"errorCode": "0"
}
失败:
{
"result": "{}",
"action": "error",
"errorCode": "202"
}
识别结果说明
交互过程中,服务端不断通过 text message 返回实时识别结果到客户端,响应结果是以json形式输出(为text message)。
识别结果 result 参数说明:
| 参数 | 含义 | 说明 |
|---|---|---|
| bg | 分句开始时间 | 单位毫秒/ms (仅简体中文、通用英文、中英混合包括此字段) |
| ed | 分句结束时间 | 单位毫秒/ms (仅简体中文、通用英文、中英混合包括此字段) |
| partial | 是否是中间结果 | true:中间结果;false:完整句子 |
| segId | 分句 id | 从 1 开始递增 |
| context | 识别结果 | |
| tranContent | 翻译结果 |
识别结果示例:
{
"result": {
"transPattern": "stream",
"segId": 0,
"bg": 60,
"context": "Have a good day.",
"tranContent": "祝你今天愉快。",
"partial": true,
"ed": 840
},
"errorCode": "0",
"action": "recognition"
}
| 代码 | 语言 |
|---|---|
| zh-CHS | 简体中文 |
| zh-PURE7 | 普通话(简体、中国) |
| en-class | 通用英文 |
| enzh | 中英混合 |
| ar-IL | 阿拉伯语(以色列) |
| ar-JO | 阿拉伯语(约旦) |
| ar-AE | 阿拉伯语(阿拉伯联合酋长国) |
| ar-BH | 阿拉伯语(巴林) |
| ar-DZ | 阿拉伯语(阿尔及利亚) |
| ar-SA | 阿拉伯语(沙特阿拉伯) |
| ar-IQ | 阿拉伯语(伊拉克) |
| ar-KW | 阿拉伯语(科威特) |
| ar-MA | 阿拉伯语(摩洛哥) |
| ar-TN | 阿拉伯语(突尼斯) |
| ar-OM | 阿拉伯语(阿曼) |
| ar-PS | 阿拉伯语(巴勒斯坦国) |
| ar-QA | 阿拉伯语(卡塔尔) |
| ar-LB | 阿拉伯语(黎巴嫩) |
| ar-EG | 阿拉伯语(埃及) |
| pl | 波兰语(波兰) |
| da | 丹麦语(丹麦) |
| de | 德语(德国) |
| ru | 俄语 |
| fr | 法语(法国) |
| fr-CA | 法语(加拿大) |
| fi | 芬兰语(芬兰) |
| ko | 韩语(韩国) |
| nl | 荷兰语(荷兰) |
| cs | 捷克语(捷克共和国) |
| hr | 克罗地亚语(克罗地亚) |
| lv | 拉脱维亚语(拉脱维亚) |
| ro | 罗马尼亚语(罗马尼亚) |
| ms | 马来语(马来西亚) |
| pt-BRA | 葡萄牙语(巴西) |
| pt | 葡萄牙语(葡萄牙) |
| ja | 日语(日本) |
| sv | 瑞典语(瑞典) |
| te | 泰卢固语(印度) |
| ta | 泰米尔语(印度) |
| ta-SG | 泰米尔语(新加坡) |
| ta-LK | 泰米尔语(斯里兰卡) |
| ta-MY | 泰米尔语(马来西亚) |
| th | 泰语(泰国) |
| tr | 土耳其语(土耳其) |
| es | 西班牙语(西班牙) |
| es-AR | 西班牙语(阿根廷) |
| es-BO | 西班牙语(玻利维亚) |
| es-CL | 西班牙语(智利) |
| es-COL | 西班牙语(哥伦比亚) |
| es-CR | 西班牙语(哥斯达黎加) |
| es-EC | 西班牙语(厄瓜多尔) |
| es-SV | 西班牙语(萨尔瓦多) |
| es-US | 西班牙语(美国) |
| es-GT | 西班牙语(危地马拉) |
| es-HN | 西班牙语(洪都拉斯) |
| es-MEX | 西班牙语(墨西哥) |
| es-NI | 西班牙语(尼加拉瓜) |
| es-PA | 西班牙语(巴拿马) |
| es-PY | 西班牙语(巴拉圭) |
| es-PE | 西班牙语(秘鲁) |
| es-PR | 西班牙语(波多黎各) |
| es-DO | 西班牙语(多米尼加共和国) |
| es-UY | 西班牙语(乌拉圭) |
| es-VE | 西班牙语(委内瑞拉) |
| it | 意大利语(意大利) |
| hi | 印地语(印度) |
| en-AUS | 英语(澳大利亚) |
| en-CA | 英语(加拿大) |
| en-GH | 英语(加纳) |
| en-GBR | 英语(英国) |
| en-IND | 英语(印度) |
| en-IE | 英语(爱尔兰) |
| en-KE | 英语(肯尼亚) |
| en-NZ | 英语(新西兰) |
| en-NG | 英语(尼日利亚) |
| en-PH | 英语(菲律宾) |
| en-SG | 英语(新加坡) |
| en-ZAF | 英语(南非) |
| en-TZ | 英语(坦桑尼亚) |
| en-US | 英语(美国) |
| vi | 越南语(越南) |
| zh-TWN | 台湾普通话(中国台湾) |
| lo | 老挝语(老挝) |
| bn | 孟加拉语(孟加拉) |
| bn-IN | 孟加拉语(印度) |
| tl | 菲律宾语 |
| 语言 | 代码 |
|---|---|
| s-ar | 阿拉伯语(沙特阿拉伯) |
| s-ru | 俄罗斯(俄罗斯) |
| s-tr | 土耳其(土耳其) |
| s-pl | 波兰(波兰) |
| s-ca | 加泰罗尼亚语(西班牙) |
| s-nl | 荷兰(荷兰) |
| s-sv | 瑞典(瑞典) |
| s-it | 意大利(意大利) |
| s-id | 印尼(印度尼西亚) |
| s-fi | 芬兰(芬兰) |
| s-fa | 波斯 |
| s-fr | 法国(法国) |
| s-de | 德国(德国) |
| 支持格式 | 免费用户最大支持并发 | 单次最大请求时长(s) | 支持语言 |
|---|---|---|---|
| wav | 10 | 3600 | 参考支持的语言列表 |
| 错误码 | 含义 |
|---|---|
| 101 | 缺少必填的参数,首先确保必填参数齐全,然后,确认参数书写是否正确。 |
| 102 | 不支持的语言类型 |
| 103 | 翻译文本过长 |
| 104 | 不支持的API类型 |
| 105 | 不支持的签名类型 |
| 106 | 不支持的响应类型 |
| 107 | 不支持的传输加密类型 |
| 108 | 应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息 |
| 109 | batchLog格式不正确 |
| 110 | 无相关服务的有效实例,应用没有绑定服务实例,可以新建服务实例,绑定服务实例。注:某些服务的翻译结果发音需要tts实例,需要在控制台创建语音合成实例绑定应用后方能使用。 |
| 111 | 开发者账号无效 |
| 112 | 请求服务无效 |
| 113 | q不能为空 |
| 114 | 不支持的图片传输方式 |
| 201 | 解密失败,可能为DES,BASE64,URLDecode的错误 |
| 202 | 签名检验失败 |
| 203 | 访问IP地址不在可访问IP列表 |
| 205 | 请求的接口与应用的平台类型不一致,确保接入方式(Android SDK、IOS SDK、API)与创建的应用平台类型一致。如有疑问请参考入门指南 |
| 206 | 因为时间戳无效导致签名校验失败 |
| 207 | 重放请求 |
| 301 | 辞典查询失败 |
| 302 | 翻译查询失败 |
| 303 | 服务端的其它异常 |
| 304 | 会话闲置太久超时 |
| 401 | 账户已经欠费停 |
| 402 | offlinesdk不可用 |
| 411 | 访问频率受限,请稍后访问 |
| 412 | 长请求过于频繁,请稍后访问 |
| 1001 | 无效的OCR类型 |
| 1002 | 不支持的OCR image类型 |
| 1003 | 不支持的OCR Language类型 |
| 1004 | 识别图片过大 |
| 1201 | 图片base64解密失败 |
| 1301 | OCR段落识别失败 |
| 1411 | 访问频率受限 |
| 1412 | 超过最大识别字节数 |
| 2003 | 不支持的语言识别Language类型 |
| 2004 | 合成字符过长 |
| 2005 | 不支持的音频文件类型 |
| 2006 | 不支持的发音类型 |
| 2201 | 解密失败 |
| 2301 | 服务的异常 |
| 2411 | 访问频率受限,请稍后访问 |
| 2412 | 超过最大请求字符数 |
| 3001 | 不支持的语音格式 |
| 3002 | 不支持的语音采样率 |
| 3003 | 不支持的语音声道 |
| 3004 | 不支持的语音上传类型 |
| 3005 | 不支持的语言类型 |
| 3006 | 不支持的识别类型 |
| 3007 | 识别音频文件过大 |
| 3008 | 识别音频时长过长 |
| 3009 | 不支持的音频文件类型 |
| 3010 | 不支持的发音类型 |
| 3201 | 解密失败 |
| 3301 | 语音识别失败 |
| 3302 | 语音翻译失败 |
| 3303 | 服务的异常 |
| 3411 | 访问频率受限,请稍后访问 |
| 3412 | 超过最大请求字符数 |
| 4001 | 不支持的语音识别格式 |
| 4002 | 不支持的语音识别采样率 |
| 4003 | 不支持的语音识别声道 |
| 4004 | 不支持的语音上传类型 |
| 4005 | 不支持的语言类型 |
| 4006 | 识别音频文件过大 |
| 4007 | 识别音频时长过长 |
| 4201 | 解密失败 |
| 4301 | 语音识别失败 |
| 4303 | 服务的异常 |
| 4411 | 访问频率受限,请稍后访问 |
| 4412 | 超过最大请求时长 |
| 5001 | 无效的OCR类型 |
| 5002 | 不支持的OCR image类型 |
| 5003 | 不支持的语言类型 |
| 5004 | 识别图片过大 |
| 5005 | 不支持的图片类型 |
| 5006 | 文件为空 |
| 5201 | 解密错误,图片base64解密失败 |
| 5301 | OCR段落识别失败 |
| 5411 | 访问频率受限 |
| 5412 | 超过最大识别流量 |
| 9001 | 不支持的语音格式 |
| 9002 | 不支持的语音采样率 |
| 9003 | 不支持的语音声道 |
| 9004 | 不支持的语音上传类型 |
| 9005 | 不支持的语音识别 Language类型 |
| 9301 | ASR识别失败 |
| 9303 | 服务器内部错误 |
| 9411 | 访问频率受限(超过最大调用次数) |
| 9412 | 超过最大处理语音长度 |
| 10001 | 无效的OCR类型 |
| 10002 | 不支持的OCR image类型 |
| 10004 | 识别图片过大 |
| 10201 | 图片base64解密失败 |
| 10301 | OCR段落识别失败 |
| 10411 | 访问频率受限 |
| 10412 | 超过最大识别流量 |
| 11001 | 不支持的语音识别格式 |
| 11002 | 不支持的语音识别采样率 |
| 11003 | 不支持的语音识别声道 |
| 11004 | 不支持的语音上传类型 |
| 11005 | 不支持的语言类型 |
| 11006 | 识别音频文件过大 |
| 11007 | 识别音频时长过长,最大支持30s |
| 11201 | 解密失败 |
| 11301 | 语音识别失败 |
| 11303 | 服务的异常 |
| 11411 | 访问频率受限,请稍后访问 |
| 11412 | 超过最大请求时长 |
| 12001 | 图片尺寸过大 |
| 12002 | 图片base64解密失败 |
| 12003 | 引擎服务器返回错误 |
| 12004 | 图片为空 |
| 12005 | 不支持的识别图片类型 |
| 12006 | 图片无匹配结果 |
| 13001 | 不支持的角度类型 |
| 13002 | 不支持的文件类型 |
| 13003 | 表格识别图片过大 |
| 13004 | 文件为空 |
| 13301 | 表格识别失败 |
| 15001 | 需要图片 |
| 15002 | 图片过大(1M) |
| 15003 | 服务调用失败 |
| 17001 | 需要图片 |
| 17002 | 图片过大(1M) |
| 17003 | 识别类型未找到 |
| 17004 | 不支持的识别类型 |
| 17005 | 服务调用失败 |
| 上线日期 | 版本号 | 更新内容 |
|---|---|---|
| 2019.07.09 | v1.0.0 | 有道智云实时语音翻译API上线 |
| 2019.08.20 | v1.1.0 | 实时语音翻译API所支持语种扩充至86个 |
注:其他开发语言请参照 接口API文档 进行开发,也欢迎企业咨询来提出你们需要的demo。