帮助与文档 > 产品文档 > 语音识别ASR > API文档 > 实时语音识别服务
实时语音识别服务

实时语音识别 API 简介

概念解释

实时语音识别:可实现对连续音频流的实时识别,转换成文本信息并返对应文字流。

说明

Hi,您好,欢迎使用有道智云实时语音识别API接口服务。

如果您想快速体验服务,建议您前往 语音识别体验中心 或者在体验中心右下侧找到小程序二维码,扫描进行体验。

本文档主要针对需要集成API的技术开发工程师,详细描述实时语音识别能力相关的技术内容。

如果您有与我们商务合作的需求,可以通过以下方式联系我们:

商务邮箱: AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

客服QQ:1906538062

智云翻译技术交流QQ 1群: 652880659(已满)

智云翻译技术交流QQ 2群: 669384425

智云OCR技术交流QQ 1群: 654064748(已满)

智云OCR技术交流QQ 2群: 471638046

智云语音技术交流QQ群:861723255

联系邮箱: zyservice@corp.youdao.com

温馨提示:

  • 本文档主要针对开发人员,接入测试前需要在后台创建API应用,获取应用ID应用密钥,并绑定实例;如果您还没有,请按照 新手指南 获取。
  • 平台向每个账户赠送50元的体验金,供用户集成前测试所用,具体资费规则详见 实时语音识别服务报价

接口说明

接口地址:

wss://openapi.youdao.com/stream_asropenapi?{请求参数}

语音支持:

格式支持:wav(不压缩、pcm编码)

采样率:推荐16k。

编码:16bit位深的单声道

格式代码
wavwav

注:
发送时,第一帧需要为WAV HEADER 信息。

接口调用参数

服务接口的调用分为认证、实时通信两阶段。

1. 认证阶段

请求参数格式:
key1=value1&key2=value2&key3=value3&key4=value4

参数说明:

参数类型必填说明示例
appKeyString已申请的应用IDID
saltStringUUIDUUID
curtimeString时间戳(秒)TimeStamp
signString加密数字签名。sha256
signTypeString数字签名类型v4
langTypeString语言选择,接口目前支持中文和英文zh-CHS
formatString音频格式,支持wavwav
channelString声道,支持11
versionStringapi版本v1
rateString采样率16000

签名sign生成方法如下:
signType=v4;
sign=sha256(应用ID+salt+curtime+应用密钥)。

服务端通过 text message 返回 json字符串的认证结果,参数示例:

成功:

{
    "result": [],
    "action": "started",
    "errorCode": "0"
}

失败:

{
    "result": "[]",
    "action": "error",
    "errorCode": "202"
}

参数说明:

参数类型说明
errorCodeString状态码,详见 错误代码列表
actionString状态标识。started:握手;recognition:识别;error:错误
resultString识别结果数据

2 实时通信阶段

认证成功之后,进入实时通信阶段,此阶段客户端发送音频流和结束标识,并接收转写结果或错误。

2.1 发送音频流

此阶段客户端通过 binary message 发送音频流,内容为音频的二进制数据,此过程的发送频率将影响文字结果展示的实时性。

建议以 200ms 间隔发送音频数据,若间隔超时 15s 以上,服务端将停止识别。

2.2 发送结束标识

客户端完成所有音频数据的发送后,需发送一个特殊的 binary message 到服务端作为音频流发送结束的标识,内容为:

{"end": "true"}

注:该标识大小写敏感。
2.3 接收转写结果

交互过程中,服务端不断通过 text message 返回实时识别结果到客户端,响应结果是以json形式输出(为text message)。
识别结果示例:

{
    "result": [{
        "st": [{
            "bg": 30,
            "ed": 480,
            "ws": [{
                "w": "Have",
                "wb": 30,
                "we": 240
            }, {
                "w": "a",
                "wb": 240,
                "we": 270
            }, {
                "w": "good",
                "wb": 270,
                "we": 480
            }, {
                "w": "day.",
                "wb": 480,
                "we": 480
            }]
        }],
        "seg_id": 0
    }],
    "errorCode": "0",
    "action": "recognition"
}

识别结果 result 参数说明:

参数含义说明
bg分句开始时间单位毫秒/ms
ed分句结束时间单位毫秒/ms
w词(字)识别结果
wb词(字)开始时间单位毫秒/ms
we词(字)结束时间单位毫秒/ms
type识别结果类型0:最终结果,1:中间结果
seg_id分句 id从 0 开始递增

支持语言

支持中文和其他几种语言的互译。

语言代码
中文zh-CHS
英文en

错误代码列表

错误码含义
101缺少必填的参数
102不支持的语言类型
103翻译文本过长
104不支持的API类型
105不支持的签名类型
106不支持的响应类型
107不支持的传输加密类型
108应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息
109batchLog格式不正确
110无相关服务的有效实例
111开发者账号无效
113q不能为空
114不支持的图片传输方式
201解密失败,可能为DES,BASE64,URLDecode的错误
202签名检验失败
203访问IP地址不在可访问IP列表
205请求的接口与应用的平台类型不一致,如有疑问请参考入门指南
206因为时间戳无效导致签名校验失败
207重放请求
301辞典查询失败
302翻译查询失败
303服务端的其它异常
304会话闲置太久超时
401账户已经欠费停
402offlinesdk不可用
411访问频率受限,请稍后访问
412长请求过于频繁,请稍后访问
1001无效的OCR类型
1002不支持的OCR image类型
1003不支持的OCR Language类型
1004识别图片过大
1201图片base64解密失败
1301OCR段落识别失败
1411访问频率受限
1412超过最大识别字节数
2003不支持的语音声道
2004不支持的语音上传类型
2005不支持的语言类型
2006不支持的识别类型
2201识别音频文件过大
2301识别音频时长过长
2411不支持的音频文件类型
2412不支持的发音类型
3001不支持的语音格式
3002不支持的语音采样率
3003不支持的语音声道
3004不支持的语音上传类型
3005不支持的语言类型
3006不支持的识别类型
3007识别音频文件过大
3008识别音频时长过长
3009不支持的音频文件类型
3010不支持的发音类型
3201解密失败
3301语音识别失败
3302语音翻译失败
3303服务的异常
3411访问频率受限,请稍后访问
3412超过最大请求字符数
4001不支持的语音识别格式
4002不支持的语音识别采样率
4003不支持的语音识别声道
4004不支持的语音上传类型
4005不支持的语言类型
4006识别音频文件过大
4007识别音频时长过长
4201解密失败
4301语音识别失败
4303服务的异常
4411访问频率受限,请稍后访问
4412超过最大请求时长
5001无效的OCR类型
5002不支持的OCR image类型
5003不支持的语言类型
5004识别图片过大
5005不支持的图片类型
5006文件为空
5201解密错误,图片base64解密失败
5301OCR段落识别失败
5411访问频率受限
5412超过最大识别流量
9001不支持的语音格式
9002不支持的语音采样率
9003不支持的语音声道
9004不支持的语音上传类型
9005不支持的语音识别 Language类型
9301ASR识别失败
9303服务器内部错误
9411访问频率受限(超过最大调用次数)
9412超过最大处理语音长度
10001无效的OCR类型
10002不支持的OCR image类型
10004识别图片过大
10201图片base64解密失败
10301OCR段落识别失败
10411访问频率受限
10412超过最大识别流量
13001不支持的角度类型
13002不支持的文件类型
13003表格识别图片过大
13004文件为空
13301表格识别失败
17001需要图片
17002图片过大(1M)
17003识别类型未找到
17004不支持的识别类型
17005服务调用失败
-1000未知错误
-2000查询输入为空

常见问题

  • 返回101

        首先确保必填参数齐全,然后,确认参数书写是否正确。
    
  • 返回108

        应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息。
    
  • 返回110

        应用没有绑定服务实例,可以新建服务实例,绑定服务实例。
        注:某些服务的结果发音需要tts实例,需要在控制台创建语音合成实例绑定应用后方能使用。
    
  • 返回202

        请确认应用ID和应用密钥的正确性。
    
  • 返回205

        确保接入方式(Android SDK、IOS SDK、API)与创建的应用平台类型一致。
    

版本记录

上线日期版本号更新内容
2018.11.07v1.0.0有道智云实时语音识别API上线

常见语言Demo

Java 示例


import javax.websocket.ContainerProvider;
import javax.websocket.Session;
import javax.websocket.WebSocketContainer;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;
import java.nio.ByteBuffer;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.UUID;

public class AsrliteDemo {

    public Session session;

    public static void main(String[] args) throws Exception {

        String filePath = "D:\\en.wav";
        String langType = "en";
        String appKey = "您的应用ID";
        String appSecret = "您的应用密钥";

        asrlite(appKey,appSecret,filePath,langType);
    }

    protected void start(String uri) {
        WebSocketContainer container = ContainerProvider.getWebSocketContainer();

        try {
            session = container.connectToServer(Websocket.class, URI.create(uri));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public void doAsrWebSocketClient(String filePath, String uri, Integer step) {
        AsrliteDemo asrliteWebSocketClientApp = new AsrliteDemo();
        asrliteWebSocketClientApp.start(uri);
        try {
            InputStream inputStream = new FileInputStream(filePath);
            int read = 0;
            byte[] bytes = new byte[step];
            while ((read = inputStream.read(bytes)) != -1) {
                asrliteWebSocketClientApp.session.getBasicRemote().sendBinary(ByteBuffer.wrap(bytes));
                Thread.sleep(100);
            }
            byte[] closebytes = "{\"end\": \"true\"}".getBytes();
            asrliteWebSocketClientApp.session.getBasicRemote().sendBinary(ByteBuffer.wrap(closebytes));


        } catch (Exception e) {
            e.printStackTrace();
        }
    }


    private static void asrlite(String appKey,String appSecret,String filePath,String langType) throws NoSuchAlgorithmException {
        AsrliteDemo asrWebSocketClient = new AsrliteDemo();
        String nonce = UUID.randomUUID().toString();
        String curtime = String.valueOf(System.currentTimeMillis()/1000);
        String signStr = appKey + nonce +curtime + appSecret;
        String sign =  encrypt(signStr,null);

        String uri = "wss://openapi.youdao.com/stream_asropenapi?appKey="+appKey+"&salt="+nonce+"&curtime="+curtime+"&sign="+sign+"&version=v1&channel=1&format=wav&signType=v4&rate=16000&langType="+langType;
        asrWebSocketClient.doAsrWebSocketClient(filePath,uri,1600);
    }

    /**
     * 获取MessageDigest的加密结果
     * @param strSrc
     * @param encName
     * @return
     * @throws NoSuchAlgorithmException
     */
    public static String encrypt(String strSrc, String encName) throws NoSuchAlgorithmException {
        byte[] bt = strSrc.getBytes();
        if (encName == null || "".equals(encName)) {
            encName = "SHA-256";
        }
        MessageDigest md = MessageDigest.getInstance(encName);
        md.update(bt);
        // to HexString
        return bytes2Hex(md.digest());
    }
    public static String bytes2Hex(byte[] bts) {
        String des = "";
        String tmp;
        for (int i = 0; i < bts.length; i++) {
            tmp = (Integer.toHexString(bts[i] & 0xFF));
            if (tmp.length() == 1) {
                des += "0";
            }
            des += tmp;
        }
        return des;
    }

}

import javax.websocket.*;
import java.io.IOException;

@ClientEndpoint
public class Websocket {

    private void print(Object obj) {
        System.out.println(obj.toString());
    }

    Session session;

    @OnOpen
    public void onOpen(Session session) {
        print("Connect to endpoint: " + session.getBasicRemote());
        this.session = session;
    }

    @OnMessage
    public void onMessage(String message) throws IOException {
        print(message);
        if (message.contains("\"errorCode\":\"304\"")) {
            onClose();
        }

    }

    @OnError
    public void onError(Throwable throwable) {
        throwable.printStackTrace();
    }

    @OnClose
    public void onClose() throws IOException {
        if(this.session.isOpen()){
            this.session.close();
        }
        print("session close");
        System.exit(0);
    }

}

Python 示例

# -*- coding: utf-8 -*-
import uuid
import time
import websocket
import hashlib

file_path = 'D:\\en.wav'
lang_type = 'en'
app_key = '您的应用ID'
app_secret = '您的应用密钥'


def initialize():
    nonce = str(uuid.uuid1())
    curtime = str(int(time.time()))
    signStr = app_key + nonce + curtime + app_secret
    print(signStr)
    sign = encrypt(signStr)

    uri = "wss://openapi.youdao.com/stream_asropenapi?appKey=" + app_key + "&salt=" + nonce + "&curtime=" + curtime + \
          "&sign=" + sign + "&version=v1&channel=1&format=wav&signType=v4&rate=16000&langType=" + lang_type
    print(uri)
    start(uri, 1600)


def encrypt(signStr):
    hash = hashlib.sha256()
    hash.update(signStr.encode('utf-8'))
    return hash.hexdigest()



def on_message(ws, message):
    print(message)


def on_error(ws, error):
    print(error)


def on_close(ws):
    print("### closed ###")


def on_open(ws):
    count = 0
    file_object = open(file_path, 'rb')
    while True:
        chunk_data = file_object.read(1600)
        ws.send(chunk_data, websocket.ABNF.OPCODE_BINARY)
        count = count + 1
        if not chunk_data:
            break
    print(count)
    ws.send('{\"end\": \"true\"}', websocket.ABNF.OPCODE_BINARY)



def start(uri, step):
    websocket.enableTrace(True)
    ws = websocket.WebSocketApp(uri,
                                on_message=on_message,
                                on_error=on_error,
                                on_close=on_close)
    ws.on_open = on_open
    ws.run_forever()


if __name__ == '__main__':
    initialize()

C# 示例

using System;
using System.IO;
using System.Net.WebSockets;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using System.Security.Cryptography;

namespace asrliteclient
{
    public class AsrDemoWebSocketClient
    {
        public void start(String filePath, String uri, int step)
        {
            var client = new ClientWebSocket();
            client.ConnectAsync(new Uri(uri), CancellationToken.None).Wait();
            startReceiving(client);
            int bufferSize = step; //每次读取的字节数
            byte[] buffer = new byte[bufferSize];
            FileStream stream = null;
            try
            {
                stream = new FileStream(filePath, FileMode.Open);
                long fileLength = stream.Length; //文件流的长度
                int readCount = (int) Math.Ceiling((double) (fileLength / bufferSize)); //需要对文件读取的次数
                int tempCount = 0; //当前已经读取的次数
                do
                {
                    stream.Read(buffer, 0,
                        bufferSize); //分readCount次读取这个文件流,每次从上次读取的结束位置开始读取bufferSize个字节
                    //这里加入接收和处理数据的逻辑-
                    var array = new ArraySegment<byte>(buffer);
                    client.SendAsync(array, WebSocketMessageType.Binary, true, CancellationToken.None);
                    tempCount++;
                } while (tempCount < readCount);
            }
            catch (Exception e)
            {
                Console.WriteLine(e);
            }
            finally
            {
                if (stream != null)
                    stream.Dispose();
            }

            try
            {
                byte[] closeBytes = Encoding.UTF8.GetBytes("{\"end\": \"true\"}");
                var closeArray = new ArraySegment<byte>(closeBytes);
                client.SendAsync(closeArray, WebSocketMessageType.Binary, true, CancellationToken.None);
            }
            catch (Exception e)
            {
                Console.WriteLine(e);
                throw;
            }

            while (true)
            {
                Thread.Sleep(3000);
                break;
            }

            client.Dispose();
        }

        public async Task startReceiving(ClientWebSocket client)
        {
            while (true)
            {
                var array = new byte[4096];
                var result = await client.ReceiveAsync(new ArraySegment<byte>(array), CancellationToken.None);
                if (result.MessageType == WebSocketMessageType.Text)
                {
                    string msg = Encoding.UTF8.GetString(array, 0, result.Count);
                    Console.ForegroundColor = ConsoleColor.DarkBlue;
                    Console.WriteLine("--> {0}", msg);
                    Console.ForegroundColor = ConsoleColor.DarkGray;
                }
            }
        }

        public void doAscWebSocketClient(String filePath, String uri, int step)
        {
           start(filePath, uri, step);
        }

        public void init()
        {
            String filePath = "D:\\en.wav";
            String langType = "en";
            String appKey = "您的应用ID";
            String appSecret = "您的应用密钥";
            String nonce = Guid.NewGuid().ToString();
            TimeSpan ts = (DateTime.UtcNow - new DateTime(1970, 1, 1, 0, 0, 0, DateTimeKind.Utc));
            long millis = (long) ts.TotalMilliseconds;
            String curtime = Convert.ToString(millis / 1000);
            String signStr = appKey + nonce + curtime + appSecret;
            String sign = encrypt(signStr, null);

            String uri = "wss://openapi.youdao.com/stream_asropenapi?appKey=" + appKey + "&salt=" + nonce +
                         "&curtime=" + curtime + "&sign=" + sign +
                         "&version=v1&channel=1&format=wav&signType=v4&rate=16000&langType=" + langType;

            Console.WriteLine(uri);
            doAscWebSocketClient(filePath, uri, 1600);
        }

        //加密
        private String encrypt(String strSrc, String encName)
        {
            byte[] bt = Encoding.UTF8.GetBytes(strSrc);
            SHA256 sha256 = SHA256.Create();
            //暂时固定为SHA—256
            //暂时没发现内置的不同hash加密构造方法
            //可以自行编写代替
            if (encName == null || "".Equals(encName))
            {
                encName = "SHA-256";
            }

            byte[] HashData = sha256.ComputeHash(bt);
            StringBuilder oSb = new StringBuilder();

            for (int x = 0; x < HashData.Length; x++)
            {
                //hexadecimal string value
                oSb.Append(HashData[x].ToString("x2"));
            }

            return oSb.ToString();
        }

        public static void Main(string[] args)
        {

            AsrDemoWebSocketClient asrDemoWebSocketClient = new AsrDemoWebSocketClient();
            asrDemoWebSocketClient.init();
        }
    }
}

Php 示例

<?php
/**
 * Created by PhpStorm.
 * User: 谭上鸥
 * Date: 2018/11/2
 * Time: 11:58
 */

# 需要安装Workerman库或用其他websocket第三方库代替

use Workerman\Worker;
use Workerman\Connection\AsyncTcpConnection;
use Workerman\Protocols\Websocket;
require_once 'C:\Users\谭上鸥\PhpstormProjects\Workerman-master\Autoloader.php';

function start($filePath,$uri,$step){
                     $worker = new Worker();

                     $worker->onWorkerStart = function($worker) use($uri,$filePath,$step){

                     $con = new AsyncTcpConnection($uri);

                     $con->websocketType = Websocket::BINARY_TYPE_ARRAYBUFFER;

                     $con->onConnect = function($con) {
        };

                     $con->onMessage = function($con, $data) {
            echo $data."\n";
        };

                     $con->connect();

                     $handle = fopen($filePath, "rb");
        // 每次读取一定大小的文件
                     $readTime = ceil(filesize($filePath)/$step);
                     $read = 0;
        while($read<$readTime){
                     $content = stream_get_contents($handle,$step,0);
                     $con->send($content);
                     $read++;
        }
                     $con->send("{\"end\": \"true\"}");
    };

    Worker::runAll();
}

//uuid generator
function create_guid(){
                     $microTime = microtime();
    list($a_dec, $a_sec) = explode(" ", $microTime);
                     $dec_hex = dechex($a_dec* 1000000);
                     $sec_hex = dechex($a_sec);
    ensure_length($dec_hex, 5);
    ensure_length($sec_hex, 6);
                     $guid = "";
                     $guid .= $dec_hex;
                     $guid .= create_guid_section(3);
                     $guid .= '-';
                     $guid .= create_guid_section(4);
                     $guid .= '-';
                     $guid .= create_guid_section(4);
                     $guid .= '-';
                     $guid .= create_guid_section(4);
                     $guid .= '-';
                     $guid .= $sec_hex;
                     $guid .= create_guid_section(6);
    return $guid;
}
function ensure_length(&$string, $length){
                     $strlen = strlen($string);
    if($strlen < $length)
    {
                     $string = str_pad($string,$length,"0");
    }
    else if($strlen > $length)
    {
                     $string = substr($string, 0, $length);
    }
}
function create_guid_section($characters){
                     $return = "";
    for($i=0; $i<$characters; $i++)
    {
                     $return .= dechex(mt_rand(0,15));
    }
    return $return;
}

function init(){
                     $filePath = "D:\\en.wav";
                     $langType = "en";
                     $appKey = "您的应用ID";
                     $appSecret = "您的应用密钥";

                     $nonce = create_guid();
                     $curtime = strtotime("now");
                     $signStr = $appKey.$nonce.$curtime.$appSecret;
                     $sign = hash("sha256",$signStr);

                     $uri = "wss://openapi.youdao.com/stream_asropenapi?appKey=".$appKey."&salt=".$nonce."&curtime=".$curtime."&sign=".$sign."&version=v1&channel=1&format=wav&signType=v4&rate=16000&langType=".$langType;

    echo $uri;

    start($filePath,$uri,1600);
}

init();