整题识别（含公式）Android SDK简介

概述

(1) 概念解释

整题识别（含公式）服务：基于有道机器学习团队业界领先的深度学习技术，将自然场景下图片上的题目文字、数字及公式信息，通过定位和检测，智能识别为可编辑的文本信息，轻松实现题目电子化。

(2) 说明

Hi，您好，欢迎使用有道智云整题识别（含公式） Android SDK。如果您想快速体验服务，建议您前往 体验中心 或者在体验中心右下侧找到小程序二维码，扫描进行体验。

本文档主要针对需要集成整题识别（含公式） Android SDK的开发工程师，详细描述有道整题识别能力及集成过程。

如果您有与我们商务合作的需求，可以通过以下方式联系我们：

商务邮箱： AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问，可以通过以下几种方式联系我们：

客服QQ：1906538062

智云OCR技术交流QQ 1群: 654064748

智云OCR技术交流QQ 2群: 471638046

智云语音技术交流QQ群：861723255

联系邮箱： zhiyun@corp.youdao.com

温馨提示：

本文档主要针对开发人员，接入测试前需要在后台创建Android应用，并绑定实例；如果您还没有，请按照 新手指南 操作。

平台向每个账户赠送50元的体验金，供用户集成前测试所用，具体资费规则详见 整题识别OCR服务报价 。

功能介绍

整题识别（含公式）Android SDK是有道整题识别（含公式）服务进行封装，支持在题目识别。提供快速的接入方式；同时提供数据统计能力，方便了解用户使用情况。

兼容性

支持设备：运行了 Android 4.0.3以及以上系统的 Android 设备

整题识别（含公式）Android SDK集成指南

集成前提

开始集成SDK之前开发者需要登录 有道智云平台 ，创建应用获取应用ID（或者通过运营人员获取应用ID），以便使用整题识别（含公式）服务。

集成步骤

(1) SDK包导入

请在工程文件根目录下创建一个名为 libs 的子目录(有的话则不需要创建)，并将YoudaoBase.jar和YoudaoTableRecognize.jar拷贝到 libs 目录下，并将以下代码添加到app的build.gradle中：

android {
    sourceSets.main.jniLibs.srcDirs = ['libs']
    ...
}
dependencies {
    compile files('libs/YoudaoBase_v2.0.0.jar')
    compile files('libs/YoudaoLatexRecognize_v2.0.0.jar')
}

(2) AndroidManifest配置

<uses-permission android:name="android.permission.INTERNET" />
<!-- 获取WiFi状态 -->
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<!-- 获取网络信息状态，如当前的网络连接是否有效 -->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

<!-- 往SDCard读写数据权限   storage group -->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />

(3) 代码混淆配置

代码混淆文件proguard-project.txt，添加如下内容：

-ignorewarnings
-libraryjars libs/YoudaoBase_v2.0.0.jar
-libraryjars libs/YoudaoLatexRecognize_v2.0.0.jar
-keep class com.youdao.sdk.ydtranslate.** { ;} 
-keep class com.youdao.yd_table_recognize.* { *;}

(4) SDK初始化

使用之前请在程序的Application中调用SDK初始化代码，可以参考demo中DemoApplication。
注：appkey即应用ID。

//appkey即应用ID
YouDaoApplication.init(this, appkey);

功能集成

说明：请参考 yd_latex_demo 中 LatexDemoActivity 的使用

(1) 参数说明

detectType：识别类型，10011:识别结果公式完美还原；10012：识别结果适合搜题，默认为10011

输入图片格式支持：jpg/png

输入图片尺寸限制：2MB以下

输入图片数据：需要转换为Base64编码。

(2) 构造整题识别SDK参数对象

//识别对象
LatexParameters tps = new LatexParameters.Builder().source("youdaolatex").timeout(100000)
                .detectType(LatexConstants.DETECT_TYPE).build();

(3) 设置回调和开始识别

通过ImageLatexRecognizer，设置上一步构造的参数对象，调用recognize方法传入图片base64编码的数据和回调接口开始查询

识别回调接口包含两个方法：onResult表示识别成功，结果LatexResult对象形式给用户，onError表示失败，失败信息已错误码的形式给用户。

注意：整个识别是异步的，回调在子线程进行，若涉及到界面操作，请切回主线程。

//开始识别
ImageLatexRecognizer.getInstance(tps).recognize(base64Data, new LatexListener() {
            @Override
            public void onError(final LatexErrorCode error) {
                runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        // TODO Auto-generated method stub
                        resultText.setText("识别失败" + error.name());
                    }
                });
            }

            @Override
            public void onResult(final LatexResult result, String input) {
                //若有更新界面操作，请切换到主线程
                runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        YouDaoLog.d("latex end");
                        mResultView.setVisibility(View.VISIBLE);
                        mResultView.setText(getResult(result));
                        resultText.setText("识别完成");
                    }
                });
            }
        });

整题识别结果说明

其中LatexResult是对json结果的封装。result中json字段如下所示:

{
    "errorCode": "0",
    "Result": {
        "orientation": "",
        "regions": [{
            "boundingBox": "13,15,584,15,584,83,13,83",
            "dir": "h",
            "lang": "",
            "lines": [
                [{
                    "boundingBox": "13,22,110,22,110,76,13,76",
                    "text_height": 53,
                    "words": [{
                        "boundingBox": "13,23,74,22,74,75,13,76",
                        "word": "13."
                    }, {
                        "boundingBox": "86,22,110,22,110,75,86,75",
                        "word": "若"
                    }],
                    "text": "13.若",
                    "type": "text"
                }, {
                    "boundingBox": "111,15,326,15,326,82,111,82",
                    "text_height": 67,
                    "words": [{
                        "boundingBox": "111,15,326,15,326,82,111,82",
                        "word": " x = ( \\sqrt { 3 } { - 5 } ) ^ { 3 }"
                    }],
                    "text": "x = ( \\sqrt { 3 } { - 5 } ) ^ { 3 }",
                    "type": "formula"
                }, {
                    "boundingBox": "327,22,384,22,384,76,327,76",
                    "text_height": 53,
                    "words": [{
                        "boundingBox": "327,22,338,22,338,75,327,75",
                        "word": "，"
                    }, {
                        "boundingBox": "350,23,384,23,384,76,350,76",
                        "word": "则"
                    }],
                    "text": "，则",
                    "type": "text"
                }, {
                    "boundingBox": "385,15,584,15,584,83,385,83",
                    "text_height": 67,
                    "words": [{
                        "boundingBox": "385,16,584,15,584,82,385,83",
                        "word": " \\sqrt { - x - 1 } ="
                    }],
                    "text": "\\sqrt { - x - 1 } =",
                    "type": "formula"
                }]
            ]
        }],
        "exif": "UP"
    }
}

错误代码列表

常见问题及注意事项

1.运行程序崩溃？
检查下是否对应的 so 是否放到当前工程目录下。

2.识别没结果？
检查下识别接口回调的错误信息，保证申请的应用ID是有效且提前绑定了。

3.如何获得应用ID
注册账号， 登录后台创建应用和实例并完成绑定， 可获得应用ID和应用密钥等信息。

4.出现错误HTTP_REQUEST_ERROR("Http requesterror.",1)
在确保有网情况下，若调用过程中出现这个错误，HTTP_REQUEST_ERROR("Http requesterror.",1) ,请检查是否是在主线程中调用的翻译识别方法，请确保在主线程调用。

版本更新记录