实时语音翻译 SDK 简介

概述

(1) 概念解释

实时语音翻译：可实现对连续音频流的实时识别，实时识别和翻译语音输入的内容，转换成文本信息并返回对应文字流。

(2) 说明

Hi，您好，欢迎使用有道智云实时语音翻译 Android SDK。如果您想快速体验服务，建议您前往实时语音翻译体验中心 或者在体验中心右下侧找到小程序二维码，扫描进行体验。

本文档主要针对需要集成实时语音翻译服务 Android SDK 的开发工程师，详细描述有道智云实时语音能力及集成过程。

如果您有与我们商务合作的需求，可以通过一下方式联系我们：

商务邮箱： AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问，可以通过以下几种方式联系我们：

客服 QQ：1906538062

智云翻译技术交流 QQ 1 群: 652880659

智云翻译技术交流 QQ 2 群: 669384425

智云翻译技术交流 QQ 3 群: 807539209

智云翻译技术交流 QQ 4 群: 936752411

联系邮箱： zhiyun@corp.youdao.com

温馨提示： 本文档主要针对开发人员，接入测试前需要在后台创建 Android 应用，并绑定实时语音翻译实例；如果您还没有，请按照新手指南 操作。 平台向每个账户赠送 50 元的体验金，供用户集成前测试所用，具体资费规则详见 实时语音翻译服务报价 。

###功能介绍

有道智云实时语音翻译 SDK 是有道智云开放平台提供的云服务之一，是有道在线实时语音翻译接口的一种实现，支持实时语音翻译和整句翻译。

###兼容性

支持设备：运行了 Android 4.0.3 及以上系统的 Android 设备

实时语音翻译 SDK 集成指南

集成前提

开始集成 SDK 之前开发者需要登录有道智云平台 ， 创建应用获取应用 ID（或者通过运营人员获取应用 ID），以便使用实时语音翻译。

集成步骤

1. SDK 包导入

请将 ydasr-release.aar 拷贝到 libs 目录下，并将以下代码添加到 app 的 build.gradle 中：

apply plugin: 'kotlin-android'
apply plugin: 'kotlin-android-extensions'

android {
    ...
    repositories {
        flatDir {
            dirs 'libs'
        }
    }

    compileOptions {
        sourceCompatibility JavaVersion.VERSION_1_8
        targetCompatibility JavaVersion.VERSION_1_8
    }
}
dependencies {
    ...
    implementation "android.arch.lifecycle:extensions:$lifecycleVersion"
    implementation "android.arch.lifecycle:common-java8:$lifecycleVersion"
    implementation "com.squareup.okhttp3:okhttp:$okHttpVersion"
    implementation "com.google.code.gson:gson:$gsonVersion"
    implementation "org.jetbrains.kotlin:kotlin-stdlib:$kotlinVersion"

    implementation (name:'ydasr-release', ext:'aar')

    kapt "android.arch.lifecycle:compiler:$lifecycleVersion"
}

buildscript {
    ext {
        // App dependencies
        gsonVersion = '2.8.5'
        kotlinVersion = '1.3.0'
        lifecycleVersion = '1.1.1'
        okHttpVersion = '3.11.0'
    }
    dependencies {
        ...
        classpath "org.jetbrains.kotlin:kotlin-gradle-plugin:$kotlinVersion"
    }
}

2.AndroidManifest 配置

添加权限

<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
<uses-permission android:name="android.permission.BROADCAST_STICKY" />
<uses-permission android:name="android.permission.BLUETOOTH" />

其中 RECORD_AUDIO 和 WRITE_EXTERNAL_STORAGE 权限需要动态申请

3. 代码混淆配置

代码混淆文件 proguard-project.txt，添加如下内容

# Gson
-keepattributes Signature
-keepattributes *Annotation*
-keep class sun.misc.Unsafe { *; }
-keep class com.google.gson.stream.** { *; }

#okhttp3
-dontwarn com.squareup.okhttp3.**
-keep class com.squareup.okhttp3.** { *;}
-dontwarn okhttp3.**
-dontwarn okio.**
-dontwarn javax.annotation.**
-dontwarn org.conscrypt.**

#lifecycle
-keep public class android.arch.lifecycle.** {
    public protected *;
}
-keepclassmembers class ** {
    @android.arch.lifecycle.OnLifecycleEvent public *;
}

#kotlin
-dontwarn kotlin.**

#AsrSdk
-keep class com.youdao.ydasr.** { *; }
-keep interface com.youdao.ydasr.** { *; }
-keep class com.youdao.audio.** { *; }
-keep interface com.youdao.audio.** { *; }

使用说明

// 创建asr返回接口，如果不想实现所有接口，可以使用实现 OptionalAsrListener
private AsrListener mAsrListener = new AsrListener() {
    // 开始识别回调
    @Override
    public void onAsrStart() {}

    // 重连后再次连接成功回调
    @Override
    public void onAsrRestart() {}

    // 结束识别回调
    @Override
    public void onAsrStop() {}

    // 正在重连提示
    @Override
    public void onAsrReconnecting() {}

    // 错误回调
    @Override
    public void onAsrError(@NotNull AsrResultCode error) {

    // ASR结果回调 识别结果：result.getResult().getContext()
    // 翻译结果：result.getResult().getTranContent()
    @Override
    public void onAsrNext(@NotNull AsrResult result, boolean isPartial) {}

    // 音量变化回调
    @Override
    public void onAsrVolumeChange(float volume) {}

    // 后端点静音回调
    @Override
    public void onAsrSilentEnd() {}

    // 前端点静音回调
    @Override
    public void onAsrSilentStart() {}

    // 连接上蓝牙麦克风提示
    @Override
    public void onBluetoothAudioConnected() {}

    // 蓝牙麦克风断开提示
    @Override
    public void onBluetoothAudioDisconnected() {}
};

// 在onCreate中调用，创建AsrManager，并注册生命周期观察
asrParams = new ASRParams.Builder()
        .transPattern(transPattern) //翻译模式 支持实时(stream)和整句(sentence)翻译
        .timeoutStart(5000L)
        .timeoutEnd(10000L)
        .sentenceTimeout(3000L)
        .connectTimeout(10000L)
        .isWaitServerDisconnect(true)
        .build();
mAsrManager = AsrManager.getInstance(this, "your appKey", asrParams, mAsrListener);
getLifecycle().addObserver(mAsrManager);

//设置是否添加头文件
mAsrManager.addWavHead = true;

//设置源语言和目标语言 FROM源语言，TO目标语言,当前已支持多达80余种语言的互译
mAsrManager.setASRLanguage(from, to);

//如果是本地已经录制好的文件不需要加头，其余情况需要添加头文件
mAsrManager.addWavHead = true;

// 开始连接（注：先连接，后插入数据流）
mAsrManager.startConnect();

// 停止识别
mAsrManager.stop();

// 数据实时翻译
mAsrManager.insertAudioBytes(bytes);

注：音频目前仅支持 16k 采样率，通过手机录音获取的音频需要添加头文件，本地文件不需要头文件

support library 26.1.0 以下处理办法

针对 support library 26.1.0 以下，请使用这个版本去除 lifecycle 依赖版本

同时需要去除 lifecycle 依赖：

dependencies {
    ...
    // implementation "android.arch.lifecycle:extensions:$lifecycleVersion"
    // implementation "android.arch.lifecycle:common-java8:$lifecycleVersion"
    implementation "com.squareup.okhttp3:okhttp:$okHttpVersion"
    implementation "com.google.code.gson:gson:$gsonVersion"
    implementation "org.jetbrains.kotlin:kotlin-stdlib:$kotlinVersion"
    // implementation (name:'ydaudiosdk-release', ext:'aar')
    implementation (name:'ydasrsdk-release', ext:'aar')
    // kapt "android.arch.lifecycle:compiler:$lifecycleVersion"
}

并在调用过程中去除

// getLifecycle().addObserver(mAsrManager);

并添加：

@Override
protected void onDestroy() {
    mAsrManager.destroy();
    super.onDestroy();
}

识别结果说明

支持语言

错误代码列表

关于 Demo 中本地文件识别命名规则说明

将 wav 后缀文件储存至手机存储的 ydasrDemo/temp 目录下，将文件名改成对应 from 语言的对应参数时，可自动根据所选 from 语言种类自动选择相对应的音频文件。

例如：该目录下存在 da.wav 的音频文件。当选择 from 语言为丹麦语（丹麦）时，点击翻译本地文件按钮后，自动开始翻译 da.wav 文件。

版本更新记录