帮助与文档 > 产品文档 > 自然语言翻译服务 > API文档 > 语音翻译
语音翻译

语音翻译 API 简介

概念解释

语音翻译:将一段源语言音频文件转换成目标语言文本/语音,大大减轻传统文本翻译的读写成本,翻译更轻松

说明

Hi,您好,欢迎使用有道智云语音翻译API接口服务。

本文档主要针对需要集成HTTP API的技术开发工程师,详细描述语音翻译能力相关的技术内容。

如果您有与我们商务合作的需求,可以通过以下方式联系我们:

商务邮箱: AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

客服QQ:1906538062

智云翻译技术交流QQ 1群: 652880659

智云翻译技术交流QQ 2群: 669384425

智云翻译技术交流QQ 3群: 807539209

智云翻译技术交流QQ 4群: 936752411

联系邮箱: zhiyun@corp.youdao.com

温馨提示:

  • 本文档主要针对开发人员,接入测试前需要获取应用ID和应用密钥;如果您还没有,请按照新手指南获取。
  • 平台向每个账户赠送50元的体验金,供用户集成前测试所用,具体资费规则详见 语音翻译服务报价

接口说明

语音翻译API接口提供有道的语音翻译服务,包含了中文和其他有道自有语种的互译功能。您只需要通过调用有道语音翻译API,传入待翻译的音频文件,并指定要翻译的源语言(支持源语言语种自动检测)和目标语言种类,以POST方式请求就可以得到相应的翻译结果。

有道语音翻译API HTTPS地址:

https://openapi.youdao.com/speechtransapi

注:上传的语音文件时长不能超过15s,文件大小不能超过2M。

协议须知

调用方在集成语音翻译API时,请遵循以下规则。

规则描述
传输方式HTTPS
请求方式POST
字符编码统一使用 UTF-8 编码
请求格式表单
响应格式JSON

接口调用参数

调用API需要向接口发送以下字段来访问服务。

字段名类型含义必填备注
qtext要翻译的音频文件的Base64编码字符串True必须是UTF-8编码
fromtext源语言True参考下方的 支持语言
totext目标语言True参考下方的 支持语言
appKeytext应用IDTrue可在应用管理 查看
salttextUUIDTrueuuid,唯一通用识别码
signtext签名Truesha256(应用ID+input+salt+curtime+应用密钥)
signTypetext签名类型Truev3
formattext语音文件的格式, 目前只支持wav,不区分大小写truewav
ratetext采样率,推荐 16000 采用率true16000
channeltext声道数, 仅支持单声道,请填写固定值1true1
typetext上传类型, 仅支持Base64上传,请填写固定值1true1
exttext翻译结果音频格式,支持mp3,默认mp3falsemp3
voicetext翻译结果发音选择false0为女声,1为男声。默认为女声
versiontext接口版本falsev1

签名生成方法如下:
signType=v3;
sign=sha256(应用ID+input+salt+curtime+应用密钥);
其中,input的计算方式为:input=q前10个字符 + q长度 + q后10个字符(当q长度大于20)或 input=q字符串(当q长度小于等于20);

注意:

  1. 请先将需要识别的音频文件转换为 Base64 编码。
  2. 在发送HTTP请求之前需要对各字段做 URL encode。
  3. 在生成签名拼接 应用ID+q+salt+应用密钥 字符串时,q 不需要做 URL encode,在生成签名之后,发送 HTTP 请求之前才需要对要发送的 q 做URL encode。
  4. 签名和请求有疑问,可以参考文档最后的常用语言demo。

输出结果

返回的结果是json格式,包含字段与FROM和TO的值有关,具体说明如下:

字段含义
tSpeakUrl翻译结果发音地址,翻译成功一定存在
errorCode翻译结果错误码,一定存在
query源语言文本,翻译成功一定存在
translation翻译结果,翻译成功一定存在
dicttext,词典deeplink
webdicttext,词典web deeplink
speakUrl源语言发音地址,翻译成功一定存在

示例

使用good单词查询作为示例进行说明:

发送请求,调用接口:

{
    "q":"xxx",    //xxx为音频的base64编码
    "salt":123,
    "docType":"json",
    "format":"wav",
    "channel":1,
    "sign":"ACE8373C54C82A9C793A480B55138F3E",
    "type":1,
    "version":"v1",
    "rate":16000,
    "signType":"v1",
    "appKey":"test",
    "from":"zh-CHS",
    "to":"en"
}

输出结果与FROM和TO的值有关:

如果源语言和目标语言一致,直接返回识别结果。

若不一致,按如下格式返回如下结果:

{
    "tSpeakUrl": "https://openapi.youdao.com/ttsapi?q=北京科技馆&langType=en&sign=40133A29285AD7F85D62DC9EBFE36955&salt=1512458805233&appKey=apiTest",    //翻译结果发音地址,翻译成功一定存在
    "query": "北京科技馆",    //识别结果,翻译成功一定存在
    "translation": [
        "Beijing science and technology museum"
    ],    //翻译结果
    "errorCode": "0",    //错误码。一定存在
    "dict": {
        "url": "yddict://m.youdao.com/dict?le=eng&q=%E5%8C%97%E4%BA%AC%E7%A7%91%E6%8A%80%E9%A6%86"
    },    //词典deeplink
    "webdict": {
        "url": "http://m.youdao.com/dict?le=eng&q=%E5%8C%97%E4%BA%AC%E7%A7%91%E6%8A%80%E9%A6%86"
    },    //webdict deeplink
    "speakUrl": "https://openapi.youdao.com/ttsapi?q=%E5%8C%97%E4%BA%AC%E7%A7%91%E6%8A%80%E9%A6%86&langType=zh-CHS&sign=25FA4EFF0F453867B8D5EAD9C0EF5D07&salt=1512458805232&appKey=zhudytest123"    //源语言发音地址
}

支持语言

英文名中文名代码
Mandarin (China)中文zh-CHS
English (US)英文en
English (Australia)英文(澳大利亚)en-AUS
English (GB)英文(英国)en-GBR
English (India)英文(印度)en-IND
Japanese日文ja
Korean韩文ko
French法文fr
Spanish西班牙文es
Portuguese (Portugal)葡萄牙文pt
Russian俄文ru
German德文de
Arabic阿拉伯文ar
Indonesian印尼文id
Catalan加泰隆语ca
Czech捷克语cs
Danish丹麦语da
Greek希腊语el
Finnish芬兰语fi
French (Canada)法语(加拿大)fr-CAN
Hebrew希伯来语he
Hindi印地语hi
Hungarian匈牙利语hu
Italian意大利语it
Dutch荷兰语nl
Norwegian挪威语no
Polish波兰语pl
Portuguese (Brazil)葡萄牙语(巴西)pt-BRA
Romanian罗马尼亚语ro
Slovak斯洛伐克语sk
Swedish瑞典语sv
Thai泰语th
Turkish土耳其语tr
Cantonese粤语yue
Mandarin (Taiwan)普通话(中国台湾)zh-TWN

注意

  1. 越南语和印尼语目前只支持和中文的互译。
  2. 支持自动识别的语种包括:中文、英文。
  3. 若列表语言出现不支持的问题,请参考产品定价列表语种互译的限制

语音支持

格式支持:wav格式(不压缩、pcm编码)。

采样率:推荐16k。

编码:16bit位深的单声道

格式代码
wavwav

服务配置

支持格式音频大小上限单次最大请求时长(s)每小时最大查询次数支持语言
wav2M(编码后)153000中/英/日/韩等,详见支持的语言列表

错误代码列表

错误码含义
101缺少必填的参数,首先确保必填参数齐全,然后,确认参数书写是否正确。
102不支持的语言类型
103翻译文本过长
104不支持的API类型
105不支持的签名类型
106不支持的响应类型
107不支持的传输加密类型
108应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息
109batchLog格式不正确
110无相关服务的有效实例,应用没有绑定服务实例,可以新建服务实例,绑定服务实例。注:某些服务的翻译结果发音需要tts实例,需要在控制台创建语音合成实例绑定应用后方能使用。
111开发者账号无效
112请求服务无效
113q不能为空
114不支持的图片传输方式
201解密失败,可能为DES,BASE64,URLDecode的错误
202签名检验失败,如果确认应用ID和应用密钥的正确性,仍返回202,一般是编码问题。请确保翻译文本 q 为UTF-8编码.
203访问IP地址不在可访问IP列表
205请求的接口与应用的平台类型不一致,确保接入方式(Android SDK、IOS SDK、API)与创建的应用平台类型一致。如有疑问请参考入门指南
206因为时间戳无效导致签名校验失败
207重放请求
301辞典查询失败
302翻译查询失败
303服务端的其它异常
304会话闲置太久超时
401账户已经欠费停
402offlinesdk不可用
411访问频率受限,请稍后访问
412长请求过于频繁,请稍后访问
1001无效的OCR类型
1002不支持的OCR image类型
1003不支持的OCR Language类型
1004识别图片过大
1201图片base64解密失败
1301OCR段落识别失败
1411访问频率受限
1412超过最大识别字节数
2003不支持的语言识别Language类型
2004合成字符过长
2005不支持的音频文件类型
2006不支持的发音类型
2201解密失败
2301服务的异常
2411访问频率受限,请稍后访问
2412超过最大请求字符数
3001不支持的语音格式
3002不支持的语音采样率
3003不支持的语音声道
3004不支持的语音上传类型
3005不支持的语言类型
3006不支持的识别类型
3007识别音频文件过大
3008识别音频时长过长
3009不支持的音频文件类型
3010不支持的发音类型
3201解密失败
3301语音识别失败
3302语音翻译失败
3303服务的异常
3411访问频率受限,请稍后访问
3412超过最大请求字符数
4001不支持的语音识别格式
4002不支持的语音识别采样率
4003不支持的语音识别声道
4004不支持的语音上传类型
4005不支持的语言类型
4006识别音频文件过大
4007识别音频时长过长
4201解密失败
4301语音识别失败
4303服务的异常
4411访问频率受限,请稍后访问
4412超过最大请求时长
5001无效的OCR类型
5002不支持的OCR image类型
5003不支持的语言类型
5004识别图片过大
5005不支持的图片类型
5006文件为空
5201解密错误,图片base64解密失败
5301OCR段落识别失败
5411访问频率受限
5412超过最大识别流量
9001不支持的语音格式
9002不支持的语音采样率
9003不支持的语音声道
9004不支持的语音上传类型
9005不支持的语音识别 Language类型
9301ASR识别失败
9303服务器内部错误
9411访问频率受限(超过最大调用次数)
9412超过最大处理语音长度
10001无效的OCR类型
10002不支持的OCR image类型
10004识别图片过大
10201图片base64解密失败
10301OCR段落识别失败
10411访问频率受限
10412超过最大识别流量
11001不支持的语音识别格式
11002不支持的语音识别采样率
11003不支持的语音识别声道
11004不支持的语音上传类型
11005不支持的语言类型
11006识别音频文件过大
11007识别音频时长过长,最大支持30s
11201解密失败
11301语音识别失败
11303服务的异常
11411访问频率受限,请稍后访问
11412超过最大请求时长
12001图片尺寸过大
12002图片base64解密失败
12003引擎服务器返回错误
12004图片为空
12005不支持的识别图片类型
12006图片无匹配结果
13001不支持的角度类型
13002不支持的文件类型
13003表格识别图片过大
13004文件为空
13301表格识别失败
15001需要图片
15002图片过大(1M)
15003服务调用失败
17001需要图片
17002图片过大(1M)
17003识别类型未找到
17004不支持的识别类型
17005服务调用失败

音频切换

本部分描述如何把其他格式的音频转成符合语音识别输入要求的格式文件。

语音识别底层使用的是wav格式,因此推荐使用wav格式音频。音频格式转换推荐使用ffmpeg。

PCM文件音频介绍

pcm保存的是未压缩的音频信息,没有头文件

16bits编码是指每次采样信息用2个字节保存。

16000采样率,是指1秒采样16000次,常见的音频是44100HZ,即一秒采样44100次。

单声道: 只有一个声道。

根据这些信息,可以得出:

1ms的16采样率音频文件大小是 2*16 = 32字节 。

1ms的8采样率音频文件大小是 2*8 = 16字节,由此即可得到音频的长度。

ffmpeg简介

ffmpeg是一个自由软件,可以运行音频、视频多种格式的录影、转换、流功能,包含libavcodec--这是一个用于多个项目中的音频、视频的解码器库,以及libavformat--一个音频和视频格式转换库。

ffmpeg官网:https://www.ffmpeg.org/

ffmpeg的github地址:https://github.com/FFmpeg/FFmpeg

ffmpeg编译参数

ffmpeg默认支持pcm和wav(pcm编码)格式,额外的编译参数如下:

—enable-libopencore-amrnb 支持amr-nb(8000 采样率) 读写

—enable-libopencore-amrwb 支持amr-wb(16000 采样率) 读取

—enable-libvo-amrwbenc 支持amr-wb(16000 采样率) 写入

—enable-libmp3lame 支持mp3 写入

ffmpeg -codecs 可以查看所有的格式:

    D..... = Decoding supported  # 读取
    .E.... = Encoding supported  # 写入
    ..A... = Audio codec      # 音频编码
    ....L. = Lossy compression # 有损
    .....S = Lossless compression # 无损
    DEA..S pcm_s16le    PCM signed 16-bit little-endian
    DEA.LS wavpack      WavPack
    DEA.L. mp3          MP3 (MPEG audio layer 3)
    DEA.L. amr_nb       AMR-NB (Adaptive Multi-Rate NarrowBand)
    DEA.L. amr_wb       AMR-WB (Adaptive Multi-Rate WideBand)

主要参数

-i 设定输入流

-f 设定格式

-ss 开始时间

wav、mp3、amr格式都自带头部,包含采样率、编码、多声道等信息。而pcm为原始音频信息,没有头部信息。wav(pcm编码)就是pcm文件加了wav的头部信息。

输入wav、mp3、amr:

-i audio.wav/audio.mp3/audio.amr

输入pcm格式:pcm需要额外告知编码格式,采样率,单声道信息

-f s16le -ac 1 -ar 16000 -i 16k.pcm //单声道、16000采样率、16bits编码的pcm文件

音频参数

-ar 设定采样率

-ac 设定声音的channel数

-acodec 设定声音编解码器,未设定时则使用与输入流相同的编解码器

-an 不处理音频

-ab 设置比特率(单位:bit/s,也许老版是kb/s),前面ac设置为立体声时要以一半的比特率来设置,比如192kbps的就设置为96,转换默认比特率都较小,要听到高品质声音的话建议设到160kbps(80)以上。

在原始采样率 大于或者接近16000的时候,推荐使用16000,8000采样率会降低识别效果。

输出wav和amr时,如果没有指定声音编解码器,则会选择默认的编码器。

输出pcm:

-f s16le -ac 1 -ar 16000 16k.pcm // 单声道 16000 采样率 16bits编码 pcm文件

输出wav:

-ar 1 -ar 16000 16k.wav //单声道 16000 采样率 16bits编码 pcm编码的wav文件

amr-nb:全称是:Adaptive Multi-Rate,自适应多速率,是一种音频编码文件格式,专用于有效地压缩语音频率。amr-nb格式只能选 8000采样率。bit rates越高音质越好,但是文件越大

bit rates 4.75k, 5.15k, 5.9k, 6.7k, 7.4k, 7.95k, 10.2k or 12.2k

输出 amr-wb 格式,采样率 16000。 bit rates越高音质越好,但是文件越大。

6600 8850 12650 14250 15850 18250 19850 23050 23850

常用参数

-y 覆盖同名文件

-v 日志输出 基本如-v ERROR -v quiet等

转换命令示例

ffmpeg {常用参数} {输入音频参数} {输出音频参数}

  • wav 文件转 16k 16bits 位深的单声道pcm文件

ffmpeg -y -i 16k.wav -acodec pcm_s16le -f s16le -ac 1 -ar 16000 16k.pcm

  • pcm文件转wav:

ffmpeg -y -f s16le -ar 16000 -ac 1 -acodec pcm_s16le 16k.pcm 16k.wav

  • m4a文件转16k 16bits 位深的单声道pcm文件

D:ffmpegbin>ffmpeg -y -i test.m4a -acodec pcm_s16le -f s16le -ac 1 -ar 16000 16k.pcm

常用语言 Demo

Java 示例

语音翻译 Java demo

Python3 示例

语音翻译 python demo

C#示例

语音翻译 c# demo

PHP 示例

语音翻译 php demo

go 示例

语音翻译 go demo