语音翻译:将一段源语言音频文件转换成目标语言文本/语音,大大减轻传统文本翻译的读写成本,翻译更轻松
Hi,您好,欢迎使用有道智云语音翻译API接口服务。
本文档主要针对需要集成HTTP API的技术开发工程师,详细描述语音翻译能力相关的技术内容。
如果您有与我们商务合作的需求,可以通过以下方式联系我们:
商务邮箱: AIcloud_Business@corp.youdao.com
如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:
客服QQ:1906538062
智云翻译技术交流QQ 1群: 652880659
智云翻译技术交流QQ 2群: 669384425
智云翻译技术交流QQ 3群: 807539209
智云翻译技术交流QQ 4群: 936752411
联系邮箱: zhiyun@corp.youdao.com
温馨提示:
语音翻译API接口提供有道的语音翻译服务,包含了中文和其他有道自有语种的互译功能。您只需要通过调用有道语音翻译API,传入待翻译的音频文件,并指定要翻译的源语言(支持源语言语种自动检测)和目标语言种类,以POST方式请求就可以得到相应的翻译结果。
有道语音翻译API HTTPS地址:
https://openapi.youdao.com/speechtransapi
注:上传的语音文件时长不能超过15s,文件大小不能超过2M。
调用方在集成语音翻译API时,请遵循以下规则。
规则 | 描述 |
---|---|
传输方式 | HTTPS |
请求方式 | POST |
字符编码 | 统一使用 UTF-8 编码 |
请求格式 | 表单 |
响应格式 | JSON |
调用API需要向接口发送以下字段来访问服务。
字段名 | 类型 | 含义 | 必填 | 备注 |
---|---|---|---|---|
q | text | 要翻译的音频文件的Base64编码字符串 | True | 必须是UTF-8编码 |
from | text | 源语言 | True | 参考下方的 支持语言 |
to | text | 目标语言 | True | 参考下方的 支持语言 |
appKey | text | 应用ID | True | 可在应用管理 查看 |
salt | text | UUID | True | uuid,唯一通用识别码 |
sign | text | 签名 | True | sha256(应用ID+input+salt+curtime+应用密钥) |
signType | text | 签名类型 | True | v3 |
format | text | 语音文件的格式, 目前只支持wav,不区分大小写 | true | wav |
rate | text | 采样率,推荐 16000 采用率 | true | 16000 |
channel | text | 声道数, 仅支持单声道,请填写固定值1 | true | 1 |
type | text | 上传类型, 仅支持Base64上传,请填写固定值1 | true | 1 |
ext | text | 翻译结果音频格式,支持mp3,默认mp3 | false | mp3 |
voice | text | 翻译结果发音选择 | false | 0为女声,1为男声。默认为女声 |
version | text | 接口版本 | false | v1 |
签名生成方法如下:
signType=v3;
sign=sha256(应用ID
+input
+salt
+curtime
+应用密钥
);
其中,input的计算方式为:input
=q前10个字符
+q长度
+q后10个字符
(当q长度大于20)或input
=q字符串
(当q长度小于等于20);
注意:
应用ID+q+salt+应用密钥
字符串时,q
不需要做 URL encode,在生成签名之后,发送 HTTP 请求之前才需要对要发送的 q
做URL encode。返回的结果是json格式,包含字段与FROM和TO的值有关,具体说明如下:
字段 | 含义 |
---|---|
tSpeakUrl | 翻译结果发音地址,翻译成功一定存在 |
errorCode | 翻译结果错误码,一定存在 |
query | 源语言文本,翻译成功一定存在 |
translation | 翻译结果,翻译成功一定存在 |
dict | text,词典deeplink |
webdict | text,词典web deeplink |
speakUrl | 源语言发音地址,翻译成功一定存在 |
使用good单词查询作为示例进行说明:
发送请求,调用接口:
{
"q":"xxx", //xxx为音频的base64编码
"salt":123,
"docType":"json",
"format":"wav",
"channel":1,
"sign":"ACE8373C54C82A9C793A480B55138F3E",
"type":1,
"version":"v1",
"rate":16000,
"signType":"v1",
"appKey":"test",
"from":"zh-CHS",
"to":"en"
}
输出结果与FROM和TO的值有关:
如果源语言和目标语言一致,直接返回识别结果。
若不一致,按如下格式返回如下结果:
{
"tSpeakUrl": "https://openapi.youdao.com/ttsapi?q=北京科技馆&langType=en&sign=40133A29285AD7F85D62DC9EBFE36955&salt=1512458805233&appKey=apiTest", //翻译结果发音地址,翻译成功一定存在
"query": "北京科技馆", //识别结果,翻译成功一定存在
"translation": [
"Beijing science and technology museum"
], //翻译结果
"errorCode": "0", //错误码。一定存在
"dict": {
"url": "yddict://m.youdao.com/dict?le=eng&q=%E5%8C%97%E4%BA%AC%E7%A7%91%E6%8A%80%E9%A6%86"
}, //词典deeplink
"webdict": {
"url": "http://m.youdao.com/dict?le=eng&q=%E5%8C%97%E4%BA%AC%E7%A7%91%E6%8A%80%E9%A6%86"
}, //webdict deeplink
"speakUrl": "https://openapi.youdao.com/ttsapi?q=%E5%8C%97%E4%BA%AC%E7%A7%91%E6%8A%80%E9%A6%86&langType=zh-CHS&sign=25FA4EFF0F453867B8D5EAD9C0EF5D07&salt=1512458805232&appKey=zhudytest123" //源语言发音地址
}
英文名 | 中文名 | 代码 | |
---|---|---|---|
Mandarin (China) | 中文 | zh-CHS | |
English (US) | 英文 | en | |
English (Australia) | 英文(澳大利亚) | en-AUS | |
English (GB) | 英文(英国) | en-GBR | |
English (India) | 英文(印度) | en-IND | |
Japanese | 日文 | ja | |
Korean | 韩文 | ko | |
French | 法文 | fr | |
Spanish | 西班牙文 | es | |
Portuguese (Portugal) | 葡萄牙文 | pt | |
Russian | 俄文 | ru | |
German | 德文 | de | |
Arabic | 阿拉伯文 | ar | |
Indonesian | 印尼文 | id | |
Catalan | 加泰隆语 | ca | |
Czech | 捷克语 | cs | |
Danish | 丹麦语 | da | |
Greek | 希腊语 | el | |
Finnish | 芬兰语 | fi | |
French (Canada) | 法语(加拿大) | fr-CAN | |
Hebrew | 希伯来语 | he | |
Hindi | 印地语 | hi | |
Hungarian | 匈牙利语 | hu | |
Italian | 意大利语 | it | |
Dutch | 荷兰语 | nl | |
Norwegian | 挪威语 | no | |
Polish | 波兰语 | pl | |
Portuguese (Brazil) | 葡萄牙语(巴西) | pt-BRA | |
Romanian | 罗马尼亚语 | ro | |
Slovak | 斯洛伐克语 | sk | |
Swedish | 瑞典语 | sv | |
Thai | 泰语 | th | |
Turkish | 土耳其语 | tr | |
Cantonese | 粤语 | yue | |
Mandarin (Taiwan) | 普通话(中国台湾) | zh-TWN |
注意
格式支持:wav格式(不压缩、pcm编码)。
采样率:推荐16k。
编码:16bit位深的单声道
格式 | 代码 |
---|---|
wav | wav |
支持格式 | 音频大小上限 | 单次最大请求时长(s) | 每小时最大查询次数 | 支持语言 |
---|---|---|---|---|
wav | 2M(编码后) | 15 | 3000 | 中/英/日/韩等,详见支持的语言列表 |
错误码 | 含义 |
---|---|
101 | 缺少必填的参数,首先确保必填参数齐全,然后,确认参数书写是否正确。 |
102 | 不支持的语言类型 |
103 | 翻译文本过长 |
104 | 不支持的API类型 |
105 | 不支持的签名类型 |
106 | 不支持的响应类型 |
107 | 不支持的传输加密类型 |
108 | 应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息 |
109 | batchLog格式不正确 |
110 | 无相关服务的有效实例,应用没有绑定服务实例,可以新建服务实例,绑定服务实例。注:某些服务的翻译结果发音需要tts实例,需要在控制台创建语音合成实例绑定应用后方能使用。 |
111 | 开发者账号无效 |
112 | 请求服务无效 |
113 | q不能为空 |
114 | 不支持的图片传输方式 |
201 | 解密失败,可能为DES,BASE64,URLDecode的错误 |
202 | 签名检验失败,如果确认应用ID和应用密钥的正确性,仍返回202,一般是编码问题。请确保翻译文本 q 为UTF-8编码. |
203 | 访问IP地址不在可访问IP列表 |
205 | 请求的接口与应用的平台类型不一致,确保接入方式(Android SDK、IOS SDK、API)与创建的应用平台类型一致。如有疑问请参考入门指南 |
206 | 因为时间戳无效导致签名校验失败 |
207 | 重放请求 |
301 | 辞典查询失败 |
302 | 翻译查询失败 |
303 | 服务端的其它异常 |
304 | 会话闲置太久超时 |
401 | 账户已经欠费停 |
402 | offlinesdk不可用 |
411 | 访问频率受限,请稍后访问 |
412 | 长请求过于频繁,请稍后访问 |
1001 | 无效的OCR类型 |
1002 | 不支持的OCR image类型 |
1003 | 不支持的OCR Language类型 |
1004 | 识别图片过大 |
1201 | 图片base64解密失败 |
1301 | OCR段落识别失败 |
1411 | 访问频率受限 |
1412 | 超过最大识别字节数 |
2003 | 不支持的语言识别Language类型 |
2004 | 合成字符过长 |
2005 | 不支持的音频文件类型 |
2006 | 不支持的发音类型 |
2201 | 解密失败 |
2301 | 服务的异常 |
2411 | 访问频率受限,请稍后访问 |
2412 | 超过最大请求字符数 |
3001 | 不支持的语音格式 |
3002 | 不支持的语音采样率 |
3003 | 不支持的语音声道 |
3004 | 不支持的语音上传类型 |
3005 | 不支持的语言类型 |
3006 | 不支持的识别类型 |
3007 | 识别音频文件过大 |
3008 | 识别音频时长过长 |
3009 | 不支持的音频文件类型 |
3010 | 不支持的发音类型 |
3201 | 解密失败 |
3301 | 语音识别失败 |
3302 | 语音翻译失败 |
3303 | 服务的异常 |
3411 | 访问频率受限,请稍后访问 |
3412 | 超过最大请求字符数 |
4001 | 不支持的语音识别格式 |
4002 | 不支持的语音识别采样率 |
4003 | 不支持的语音识别声道 |
4004 | 不支持的语音上传类型 |
4005 | 不支持的语言类型 |
4006 | 识别音频文件过大 |
4007 | 识别音频时长过长 |
4201 | 解密失败 |
4301 | 语音识别失败 |
4303 | 服务的异常 |
4411 | 访问频率受限,请稍后访问 |
4412 | 超过最大请求时长 |
5001 | 无效的OCR类型 |
5002 | 不支持的OCR image类型 |
5003 | 不支持的语言类型 |
5004 | 识别图片过大 |
5005 | 不支持的图片类型 |
5006 | 文件为空 |
5201 | 解密错误,图片base64解密失败 |
5301 | OCR段落识别失败 |
5411 | 访问频率受限 |
5412 | 超过最大识别流量 |
9001 | 不支持的语音格式 |
9002 | 不支持的语音采样率 |
9003 | 不支持的语音声道 |
9004 | 不支持的语音上传类型 |
9005 | 不支持的语音识别 Language类型 |
9301 | ASR识别失败 |
9303 | 服务器内部错误 |
9411 | 访问频率受限(超过最大调用次数) |
9412 | 超过最大处理语音长度 |
10001 | 无效的OCR类型 |
10002 | 不支持的OCR image类型 |
10004 | 识别图片过大 |
10201 | 图片base64解密失败 |
10301 | OCR段落识别失败 |
10411 | 访问频率受限 |
10412 | 超过最大识别流量 |
11001 | 不支持的语音识别格式 |
11002 | 不支持的语音识别采样率 |
11003 | 不支持的语音识别声道 |
11004 | 不支持的语音上传类型 |
11005 | 不支持的语言类型 |
11006 | 识别音频文件过大 |
11007 | 识别音频时长过长,最大支持30s |
11201 | 解密失败 |
11301 | 语音识别失败 |
11303 | 服务的异常 |
11411 | 访问频率受限,请稍后访问 |
11412 | 超过最大请求时长 |
12001 | 图片尺寸过大 |
12002 | 图片base64解密失败 |
12003 | 引擎服务器返回错误 |
12004 | 图片为空 |
12005 | 不支持的识别图片类型 |
12006 | 图片无匹配结果 |
13001 | 不支持的角度类型 |
13002 | 不支持的文件类型 |
13003 | 表格识别图片过大 |
13004 | 文件为空 |
13301 | 表格识别失败 |
15001 | 需要图片 |
15002 | 图片过大(1M) |
15003 | 服务调用失败 |
17001 | 需要图片 |
17002 | 图片过大(1M) |
17003 | 识别类型未找到 |
17004 | 不支持的识别类型 |
17005 | 服务调用失败 |
本部分描述如何把其他格式的音频转成符合语音识别输入要求的格式文件。
语音识别底层使用的是wav格式,因此推荐使用wav格式音频。音频格式转换推荐使用ffmpeg。
pcm保存的是未压缩的音频信息,没有头文件
16bits编码是指每次采样信息用2个字节保存。
16000采样率,是指1秒采样16000次,常见的音频是44100HZ,即一秒采样44100次。
单声道: 只有一个声道。
根据这些信息,可以得出:
1ms的16采样率音频文件大小是 2*16 = 32字节 。
1ms的8采样率音频文件大小是 2*8 = 16字节,由此即可得到音频的长度。
ffmpeg是一个自由软件,可以运行音频、视频多种格式的录影、转换、流功能,包含libavcodec--这是一个用于多个项目中的音频、视频的解码器库,以及libavformat--一个音频和视频格式转换库。
ffmpeg官网:https://www.ffmpeg.org/
ffmpeg的github地址:https://github.com/FFmpeg/FFmpeg
ffmpeg默认支持pcm和wav(pcm编码)格式,额外的编译参数如下:
—enable-libopencore-amrnb 支持amr-nb(8000 采样率) 读写
—enable-libopencore-amrwb 支持amr-wb(16000 采样率) 读取
—enable-libvo-amrwbenc 支持amr-wb(16000 采样率) 写入
—enable-libmp3lame 支持mp3 写入
ffmpeg -codecs 可以查看所有的格式:
D..... = Decoding supported # 读取
.E.... = Encoding supported # 写入
..A... = Audio codec # 音频编码
....L. = Lossy compression # 有损
.....S = Lossless compression # 无损
DEA..S pcm_s16le PCM signed 16-bit little-endian
DEA.LS wavpack WavPack
DEA.L. mp3 MP3 (MPEG audio layer 3)
DEA.L. amr_nb AMR-NB (Adaptive Multi-Rate NarrowBand)
DEA.L. amr_wb AMR-WB (Adaptive Multi-Rate WideBand)
-i 设定输入流
-f 设定格式
-ss 开始时间
wav、mp3、amr格式都自带头部,包含采样率、编码、多声道等信息。而pcm为原始音频信息,没有头部信息。wav(pcm编码)就是pcm文件加了wav的头部信息。
输入wav、mp3、amr:
-i audio.wav/audio.mp3/audio.amr
输入pcm格式:pcm需要额外告知编码格式,采样率,单声道信息
-f s16le -ac 1 -ar 16000 -i 16k.pcm //单声道、16000采样率、16bits编码的pcm文件
-ar 设定采样率
-ac 设定声音的channel数
-acodec 设定声音编解码器,未设定时则使用与输入流相同的编解码器
-an 不处理音频
-ab 设置比特率(单位:bit/s,也许老版是kb/s),前面ac设置为立体声时要以一半的比特率来设置,比如192kbps的就设置为96,转换默认比特率都较小,要听到高品质声音的话建议设到160kbps(80)以上。
在原始采样率 大于或者接近16000的时候,推荐使用16000,8000采样率会降低识别效果。
输出wav和amr时,如果没有指定声音编解码器,则会选择默认的编码器。
输出pcm:
-f s16le -ac 1 -ar 16000 16k.pcm // 单声道 16000 采样率 16bits编码 pcm文件
输出wav:
-ar 1 -ar 16000 16k.wav //单声道 16000 采样率 16bits编码 pcm编码的wav文件
amr-nb:全称是:Adaptive Multi-Rate,自适应多速率,是一种音频编码文件格式,专用于有效地压缩语音频率。amr-nb格式只能选 8000采样率。bit rates越高音质越好,但是文件越大
bit rates 4.75k, 5.15k, 5.9k, 6.7k, 7.4k, 7.95k, 10.2k or 12.2k
输出 amr-wb 格式,采样率 16000。 bit rates越高音质越好,但是文件越大。
6600 8850 12650 14250 15850 18250 19850 23050 23850
-y 覆盖同名文件
-v 日志输出 基本如-v ERROR -v quiet等
ffmpeg {常用参数} {输入音频参数} {输出音频参数}
ffmpeg -y -i 16k.wav -acodec pcm_s16le -f s16le -ac 1 -ar 16000 16k.pcm
ffmpeg -y -f s16le -ar 16000 -ac 1 -acodec pcm_s16le 16k.pcm 16k.wav
D:ffmpegbin>ffmpeg -y -i test.m4a -acodec pcm_s16le -f s16le -ac 1 -ar 16000 16k.pcm