实时语音识别 Android SDK简介

概述

(1) 概念解释

实时语音识别：可实现对连续音频流的实时识别，转换成文本信息并返对应文字流

(2) 说明

Hi，您好，欢迎使用有道智云实时语音识别Android SDK。

本文档主要针对需要集成实时语音识别的Android开发工程师，详细描述实时语音识别能力相关的技术内容。

如果您想快速体验服务，建议您前往 语音识别体验中心 或者在体验中心右下侧找到小程序二维码，扫描进行体验。

如果您有与我们商务合作的需求，可以通过以下方式联系我们：

商务邮箱： AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问，可以通过以下几种方式联系我们：

客服QQ：1906538062

智云语音技术交流QQ群：861723255

联系邮箱： zhiyun@corp.youdao.com

温馨提示：

本文档主要针对开发人员，接入测试前需要在后台创建 Android 应用，并绑定实例；如果您还没有，请按照 新手指南 操作。 平台向每个账户赠送50元的体验金，供用户集成前测试所用，具体资费规则详见 实时语音识别服务报价 。

功能介绍

实时语音识别SDK是对有道实时语音识别接口服务进行封装。提供快速的接入方式；同时提供数据统计能力，方便了解用户使用情况。

兼容性

支持设备：运行了 Android 4.0.3以及以上系统的 Android 设备

实时语音识别SDK集成指南

集成前提

开始集成SDK之前开发者需要登录 有道智云平台 ，创建应用获取应用ID（或者通过运营人员获取应用ID），以便使用实时语音识别服务。

集成步骤

(1) SDK包导入

请在工程文件根目录下创建一个名为 libs 的子目录(有的话则不需要创建)，并将ydasrsdk-v2.0.2.jar拷贝到 libs 目录下，并将以下代码添加到app的build.gradle中：

dependencies {
    ...
    implementation "android.arch.lifecycle:extensions:1.1.1"
    implementation "android.arch.lifecycle:common-java8:1.1.1"
    implementation "com.squareup.okhttp3:okhttp:3.11.0"
    implementation "com.google.code.gson:gson:2.8.5"
    implementation "org.jetbrains.kotlin:kotlin-stdlib:1.3.0"

    implementation files('libs/ydasrsdk-v2.0.2.jar')
}

(2) AndroidManifest配置

<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
<uses-permission android:name="android.permission.BROADCAST_STICKY" />
<uses-permission android:name="android.permission.BLUETOOTH" />

其中 RECORD_AUDIO、WRITE_EXTERNAL_STORAGE和READ_EXTERNAL_STORAGE 权限需要动态申请，申请权限代码可见demo代码所示。

(3) 代码混淆配置

代码混淆文件proguard-project.txt，添加如下内容：

# Gson
-keepattributes Signature
-keepattributes *Annotation*
-keep class sun.misc.Unsafe { *; }
-keep class com.google.gson.stream.** { *; }

#okhttp3
-dontwarn com.squareup.okhttp3.**
-keep class com.squareup.okhttp3.** { *;}
-dontwarn okhttp3.**
-dontwarn okio.**
-dontwarn javax.annotation.**
-dontwarn org.conscrypt.**

#lifecycle
-keep public class android.arch.lifecycle.** {
    public protected *;
}
-keepclassmembers class ** {
    @android.arch.lifecycle.OnLifecycleEvent public *;
}

#kotlin
-dontwarn kotlin.**

#AsrSdk
-keep class com.youdao.ydasr.** { *; }
-keep interface com.youdao.ydasr.** { *; }
-keep class com.youdao.audio.** { *; }
-keep interface com.youdao.audio.** { *; }

功能集成

(1) 创建asr返回接口

private AsrListener mAsrListener = new AsrListener() {
    // 开始识别回调
    @Override
    public void onAsrStart() {}

    // 重连后再次连接成功回调
    @Override
    public void onAsrRestart() {}

    // 结束识别回调
    @Override
    public void onAsrStop() {}

    // 正在重连提示
    @Override
    public void onAsrReconnecting() {}

    // 错误回调
    @Override
    public void onAsrError(@NotNull AsrResultCode error) {

    // ASR结果回调， isSentence当前一句是否结束，是否是完整的句子
    @Override
    public void onAsrNext(@NotNull AsrResult result, boolean isSentence) {}

    // 音量变化回调
    @Override
    public void onAsrVolumeChange(float volume) {}

    // 后端点静音回调
    @Override
    public void onAsrSilentEnd() {}

    // 前端点静音回调
    @Override
    public void onAsrSilentStart() {}

    // 连接上蓝牙麦克风提示
    @Override
    public void onBluetoothAudioConnected() {}

    // 蓝牙麦克风断开提示
    @Override
    public void onBluetoothAudioDisconnected() {}
};

(2) 创建AsrManager

在activity中创建AsrManager，初始化的参数包含appKey(如何获取见集成前提)并注册生命周期观察

mAsrManager = AsrManager.getInstance(this, Consts.AsrAppKey, mAsrListener);
getLifecycle().addObserver(mAsrManager);

(3) 开始识别

Map<String, Object> params = new HashMap<>();
params.put(AsrParams.LANG, mLang);
params.put(AsrParams.SILENT_TIMEOUT_START, 5000L);
params.put(AsrParams.SILENT_TIMEOUT_END, 10000L);
params.put(AsrParams.SENTENCE_TIMEOUT, 3000L);
params.put(AsrParams.CONNECT_TIMEOUT, 10000L);
params.put(AsrParams.WAIT_SERVER_DISCONNECT, true);
mAsrManager.start(params);

注：音频文件仅支持16k采样的wav音频

(4) 停止识别

mAsrManager.stop();

(5) 插入本地数据

Map<String, Object> params = new HashMap<>();
        params.put(AsrParams.LANG, mLang);
        params.put(AsrParams.SILENT_TIMEOUT_START, 5000L);
        params.put(AsrParams.SILENT_TIMEOUT_END, 10000L);
        params.put(AsrParams.SENTENCE_TIMEOUT, 3000L);
        params.put(AsrParams.CONNECT_TIMEOUT, 10000L);
        params.put(AsrParams.WAIT_SERVER_DISCONNECT, true);
mAsrManager.startConnect(params);

然后在asr回掉的onAsrStart中插入本地文件流

mAsrManager.insertAudioBytes(bytes);

识别结果

• 识别结果示例

{
    "result": [{
        "st": [{
            "bg": 30,
            "ed": 480,
            "ws": [{
                "w": "Have",
                "wb": 30,
                "we": 240
            }, {
                "w": "a",
                "wb": 240,
                "we": 270
            }, {
                "w": "good",
                "wb": 270,
                "we": 480
            }, {
                "w": "day.",
                "wb": 480,
                "we": 480
            }]
        }],
        "seg_id": 0
    }],
    "errorCode": "0",
    "action": "recognition"
}

• 识别结果说明

支持语言

错误代码列表

常见问题

错误1

• 错误说明

null
C:/Users/liuyanyan/.gradle/caches/transforms-1/files-1.1/appcompat-v7-28.0.0.aar/7cbab2e2b4c7701e76fa4d46215a4687/res/values-v28/values-v28.xml
D:/workdir/ydasrDemo
C:/Users/liuyanyan/.gradle/caches/transforms-1/files-1.1/appcompat-v7-28.0.0.aar/7cbab2e2b4c7701e76fa4d46215a4687/res/values/values.xml
null
failed linking references. 

• 解决方案

targetSdkVersion 28
...
dependencies {
    ...
    implementation 'com.android.support:appcompat-v7:28.0.0'
}

错误2

• 错误说明

null
Default interface methods are only supported starting with Android N (--min-api 24): void android.arch.lifecycle.DefaultLifecycleObserver.onCreate(android.arch.lifecycle.LifecycleOwner)
Stripped invalid locals information from 1 method.
null
com.android.builder.dexing.DexArchiveBuilderException: Failed to process C:\Users\liuyanyan\.gradle\caches\modules-2\files-2.1\android.arch.lifecycle\common-java8\1.1.1\795d68cd761d093ccb235d1d91b8fd17c2ae25ff\common-java8-1.1.1.jar
com.android.builder.dexing.DexArchiveBuilderException: Error while dexing.
com.android.tools.r8.CompilationFailedException: Compilation failed to complete
com.android.tools.r8.utils.AbortException

• 解决方案：gradle中增加如下配置

compileOptions {
    sourceCompatibility JavaVersion.VERSION_1_8
    targetCompatibility JavaVersion.VERSION_1_8
}

其他注意事项

• asr回调方法非主线程的，如果需要在回调中更新UI，需放到主线程中，代码可见demo.
• 权限及动态权限一定要添加否则可能导致无反应
• 依赖包也必须都添加，否则可能导致无反应或崩溃问题

版本更新记录