有道智云 OCR Android SDK 文档

有道智云 OCR SDK 简介

有道 OCR SDK 是有道智云开放平台提供的云服务之一，是有道在线 OCR 接口的一种实现，支持在线文本识别。

通过SDK接入优势：

1. 接入简单，不用实现整个OCR协议
2. 方便进行数据统计，了解用户OCR使用情况

集成前提

开始集成SDK之前开发者需要登录有道开放平台（http://ai.youdao.com），创建应用获取应用ID（或者通过运营人员获取应用ID），以便使用翻译服务。

OCR SDK 如下几个 SDK 组成，用户可根据需要组合使用：

1. YoudaoBase.jar：OCR相关sdk基础库、跟翻译基础库相同（必选）
2. YoudaoOCROnline.jar：在线OCRsdk（可选，使用在线OCR时使用）
3. yd-ocr-demo：sdk使用demo

SDK 集成步骤

1. 添加相应jar包

在工程目录下，创建一个名为libs的子目录，将相应包拷贝到此目录下。

对于Android Studio 工程，请参照下面的步骤添加JAR 包：

1. 右击你的工程并选择“Open Module Settings”
2. 在左侧面板中选择你的app
3. 在主窗口中选择“Dependencies”页签
4. 点击“+”按钮
5. 选择“File Depndency”
6. 选择您拷贝到 libs 目录下的 jar
7. 添加so文件：在模块的配置文件中增加jni配置 sourceSets.main.jniLibs.srcDirs = ['libs']
8. 添加代码混淆文件，避免jar的二次混淆
9. 代码混淆文件proguard-project.txt，添加如下内容：

-ignorewarnings
-libraryjars libs/ YoudaoBase.jar
-libraryjars libs/ YoudaoOCROnline.jar
-keep class com.youdao.sdk.ydtranslate.** { ;} -keep class com.youdao.ocr.online.* { *;}

2. 权限添加

<uses-permission android:name="android.permission.INTERNET" />
<!-- 获取WiFi状态 -->
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<!-- 获取网络信息状态，如当前的网络连接是否有效 -->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

<!-- 读取手机状态 phone group -->
<uses-permission android:name="android.permission.READ_PHONE_STATE" />

<!-- 往SDCard读写数据权限   storage group -->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />

3. 功能集成说明

说明：请参考 demo 中 OcrDemoActivity 的使用

1. 使用的jar: YoudaoBase.jar 和 YoudaoOCROnline.jar
2. 代码添加：

//注册应用ID ，建议在应用启动时，初始化，所有功能的使用都需要该初始化，调用一次即可，demo中在MainActivity类中
YouDaoApplication.init(this, appkey);


//OCR识别
OCRParameters tps = new OCRParameters.Builder()
                              .source("youdaoocr").timeout(100000)
                              .type("10011").langType("zh-en ").build();
// type识别类型，目前仅支持10011，表示片段识别
// lanType支持"zh-en"和"en"，其中"zh-en"为中英识别，"en"参数表示只识别英文。
// 若为纯英文识别，"zh-en"的识别效果不如"en"，请妥善选择

ImageOCRecognizer.getInstance(tps).recognize(base64,
                              new OCRListener() {

                                  @Override
                                  public void onResult(OCRResult result,
                                          String input) {
                                      //识别成功
                                  }

                                  @Override
                                  public void onError(OcrErrorCode error) {
                                      //识别失败
                                  }
                              });

识别结果说明

对于中英在线 OCR，查询结果比较详细，服务器返回数据如下所示：

{
   "errorCode": "0",
   "Result": {
       "orientation": "Up",//方向
       "regions": [
           {
               "boundingBox": "28,257,4086,150",
               "lines": [
                   {
                       "boundingBox": "31,257,4083,73",
                       "words": [
                           {
                               "boundingBox": "354,257,347,50",
                               "text": "translation"
                           }
                       ]
                   },
       ],
       "textAngle": 0,//偏移量
       "language": "en"
   }

服务器是按照区域，行，字的格式返回的，即，一张图片，会识别出图片对应的 OCRResult，其上可能有多个有效区域 Region ，每个区域会包含一行或几行 Line ，每个行又包含一个或多个字 Word ，每个区域和行或者字符，都通过 boundingBox 字段返回坐标和大小 Rect。

sdk将上述 json 值封装成 OCRResutlt 对象，其数据结构如下：

public class OCRResult {

   private String json;

   private int errorCode;

   private String language;

   private int textAngle;

   private String orientation;

   private List<Region> regions;
}

public class Region {

   private Rect boundingBox;

   private List<Line> lines = new ArrayList<Line>();
}

public class Rect {

   private int left;

   private int top;

   private int width;

   private int height;
}

public class Line {

   private Rect boundingBox;

   private List<Word> words = new ArrayList<Word>();
}

public class Word {

   private String text;

   private Rect boundingBox;
}

支持语种

auto支持所有语种的自动识别

常见问题及注意事项

1. 参数错误 108
   appKey无效，注册账号， 登录后台创建应用和实例并完成绑定， 可获得应用ID和密钥等信息，其中应用ID就是appKey（ 注意不是应用密钥）
2. 在确保有网情况下，若调用过程中出现这个错误，HTTP_REQUEST_ERROR("Http requesterror.",1) ,请检查是否是在主线程中调用 ocr 识别方法，请确保在主线程调用。

错误代码列表

版本更新记录

表格识别OCR SDK简介

概述

(1) 概念解释

表格识别：基于深度学习技术，自动定位并识别图片中表格的位置、结构及文字内容，结构化返回可编辑的表格结果。支持用户上传报表、带有表格的图片等。

(2) 说明

Hi，您好，欢迎使用有道智云表格识别OCR Android SDK。如果您想快速体验服务，建议您前往官网体验中心或者搜索小程序（有道智云体验中心）进行试用。

本文档主要针对需要集成表格识别服务OCR Android SDK的开发工程师，详细描述有道表格识别能力及集成过程。

如果您有与我们商务合作的需求，可以通过一下方式联系我们：

商务邮箱： AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问，可以通过以下几种方式联系我们：

客服QQ：1906538062

智云OCR技术交流QQ 1群: 654064748（已满）

智云OCR技术交流QQ 2群: 471638046

联系邮箱： zyservice@corp.youdao.com

温馨提示：

本文档主要针对开发人员，接入测试前需要在后台创建Android应用，并绑定文字识别OCR实例；如果您还没有，请按照新手指南操作。

平台向每个账户赠送100元的体验金，供用户集成前测试所用，具体资费规则详见表格识别OCR报价。

功能介绍

表格识别OCR SDK是有道在线表格识别OCR 接口服务进行封装，支持在线表格识别。提供快速的接入方式；同时提供数据统计能力，方便了解用户使用情况。

兼容性

支持设备：运行了 Android 4.0.3以及以上系统的 Android 设备

集成前提

开始集成SDK之前开发者需要登录有道智云平台（http://ai.youdao.com），创建应用获取应用ID（或者通过运营人员获取应用ID），以便使用表格识别OCR服务。

集成步骤

(1) SDK包导入

请在工程文件根目录下创建一个名为 libs 的子目录(有的话则不需要创建)，并将YoudaoBase.jar和YoudaoTableRecognize.jar拷贝到 libs 目录下，并将以下代码添加到app的build.gradle中：

dependencies {
    compile files('libs/YoudaoBase.jar')
    compile files('YoudaoTableRecognize.jar')
}

(2) AndroidManifest配置

<uses-permission android:name="android.permission.INTERNET" />
<!-- 获取WiFi状态 -->
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<!-- 获取网络信息状态，如当前的网络连接是否有效 -->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

<!-- 往SDCard读写数据权限   storage group -->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />

(3) 代码混淆配置

代码混淆文件proguard-project.txt，添加如下内容：

-ignorewarnings
-libraryjars libs/ YoudaoBase.jar
-libraryjars libs/ YoudaoTableRecognize.jar
-keep class com.youdao.sdk.ydtranslate.** { ;}
-keep class com.youdao.yd_table_recognize.* { *;}

(4) SDK初始化

使用之前请在程序的Application中调用SDK初始化代码，可以参考demo中DemoApplication。

YouDaoApplication.init(this, appkey);

功能集成

说明：请参考 yd_table_recognize_demo 中 TableDemoActivity 的使用

(1) 参数说明

type：上传类型， 仅支持base64上传（1）和文件上传（2），请按需填写

lanType：服务器响应类型，可选字段，默认为json。目前只支持json和excel

angle：是否检测图片角度，可选字段，默认检测。0表示不检测；1表示检测

输入图片格式支持：jpg/png

输入图片尺寸限制：2MB以下

输入图片数据：需要转换为Base64编码。

(2) 构造表格OCR识别参数对象

//表格OCR识别
TableRecognizeParameters tps = new TableRecognizeParameters.Builder()
                .type(TableRecognizeParameters.TYPE_BASE64)
                .build())

(3) 设置回调和开始识别

通过TableRecognize，设置上一步构造的参数对象，调用recognize方法传入图片base64编码的数据和回调接口开始查询

识别回调接口包含两个方法：onResult表示识别成功，结果json字符串形式给用户，onError表示失败，失败信息已错误码的形式给用户。

注意：整个识别是异步的，回调在子线程进行，若涉及到界面操作，请切回主线程。

//OCR表格识别
TableRecognize.getInstance(tps)
                .recognize(base64, new TableRecognizeListener() {

                    @Override
                    public void onError(final int errorCode) {
                        handler.post(new Runnable() {
                            @Override
                            public void run() {
                                resultText.setText("识别失败 " + TableRecognizeErrorCode.getErrorString(errorCode));
                                YouDaoLog.w("TableRecognize onError,errorCode = " + errorCode);
                            }
                        });
                    }

                    @Override
                    public void onResult(final String resultJson, final String input) {
                        handler.post(new Runnable() {
                            @Override
                            public void run() {
                                resultText.setText("识别完成");
                                YouDaoLog.w("TableRecognize onResult,result = " + resultJson + "\n" + ",input = " + input);
                                showResult(resultJson);
                            }
                        });
                    }
                });

表格识别OCR结果说明

查询结果以json形式给用户格式如下所示，表格渲染可参考demo中h5表格渲染方式。

{
        "orientation": "UP",
        "tables": [{
            "boundingBox": "2106,2076,3927,2107,3912,2997,2091,2966",
            "cells": [{
                "boundingBox": "2477,2264,2602,2266,2599,2407,2474,2405",
                "rowRange": "0,0",
                "colRange": "0,0",
                "dir": "h",
                "lang": "fr",
                "lines": [{
                    "boundingBox": "2477,2264,2602,2266,2599,2407,2474,2405",
                    "words": [{
                        "boundingBox": "2508,2264,2602,2266,2599,2407,2505,2405",
                        "word": "11"
                    }],
                    "text": "11"
                }]
            }, {
                "boundingBox": "3352,2252,3482,2254,3480,2400,3350,2398",
                "rowRange": "0,0",
                "colRange": "1,1",
                "dir": "h",
                "lang": "en",
                "lines": [{
                    "boundingBox": "3352,2252,3482,2254,3480,2400,3350,2398",
                    "words": [{
                        "boundingBox": "3384,2253,3482,2254,3480,2400,3382,2399",
                        "word": "12"
                    }],
                    "text": "12"
                }]
            }, {
                "boundingBox": "2432,2700,2594,2703,2592,2849,2430,2846",
                "rowRange": "1,1",
                "colRange": "0,0",
                "dir": "h",
                "lang": "en",
                "lines": [{
                    "boundingBox": "2432,2700,2594,2703,2592,2849,2430,2846",
                    "words": [{
                        "boundingBox": "2464,2700,2594,2703,2592,2849,2462,2846",
                        "word": "21"
                    }],
                    "text": "21"
                }]
            }, {
                "boundingBox": "3303,2656,3641,2661,3637,2926,3299,2920",
                "rowRange": "1,1",
                "colRange": "1,1",
                "dir": "h",
                "lang": "fr",
                "lines": [{
                    "boundingBox": "3303,2656,3640,2754,3637,2926,3300,2827",
                    "words": [{
                        "boundingBox": "3345,2668,3640,2754,3637,2926,3342,2840",
                        "word": "224"
                    }],
                    "text": "224"
                }]
            }],
            "rowNum": "2",
            "colNum": "2"
        }],
        "regions": []
}

其中json字段说明如下表所示：

错误代码列表

常见问题及注意事项

(1) 参数错误 108

appKey无效，注册账号， 登录后台创建应用和实例并完成绑定， 可获得应用ID和密钥等信息，其中应用ID就是appKey（ 注意不是应用密钥）

版本更新记录

有道整题识别（含公式） Android SDK 文档

整题识别（含公式） SDK简介

一. 概述

(1) 概念解释

整题识别（含公式）服务：基于有道机器学习团队业界领先的深度学习技术，将自然场景下图片上的题目文字、数字及公式信息，通过定位和检测，智能识别为可编辑的文本信息，轻松实现题目电子化。

(2) 说明

Hi，您好，欢迎使用有道智云整题识别（含公式） Android SDK。如果您想快速体验服务，建议您前往官网体验中心或者搜索小程序（有道智云体验中心）进行试用。

本文档主要针对需要集成整题识别（含公式） Android SDK的开发工程师，详细描述有道整题识别（含公式）能力及集成过程。

如果您有与我们商务合作的需求，可以通过一下方式联系我们：

商务邮箱： AIcloud_Business@corp.youdao.com

如果您对文档内容有任何疑问，可以通过以下几种方式联系我们：

客服QQ：1906538062

智云OCR技术交流QQ群: 471638046

联系邮箱： zyservice@corp.youdao.com

温馨提示：

本文档主要针对开发人员，接入测试前需要在后台创建Android应用，并绑定文字识别OCR实例；如果您还没有，请按照新手指南操作。

平台向每个账户赠送100元的体验金，供用户集成前测试所用，具体资费规则详见整体（含公式）OCR报价。

二. 功能介绍

整题识别（含公式） SDK是有道整题识别（含公式）服务进行封装，支持在题目识别。提供快速的接入方式；同时提供数据统计能力，方便了解用户使用情况。

三. 兼容性

支持设备：运行了 Android 4.0.3以及以上系统的 Android 设备

整题识别（含公式）SDK集成指南

集成前提

开始集成SDK之前开发者需要登录有道智云平台（http://ai.youdao.com），创建应用获取应用ID（或者通过运营人员获取应用ID），以便使用整题识别（含公式）服务。

集成步骤

(1) SDK包导入

请在工程文件根目录下创建一个名为 libs 的子目录(有的话则不需要创建)，并将YoudaoBase.jar和YoudaoTableRecognize.jar拷贝到 libs 目录下，并将以下代码添加到app的build.gradle中：

dependencies {
    compile files('libs/YoudaoBase.jar')
    compile files('YoudaoLatexRecognize.jar')
}

(2) AndroidManifest配置

<uses-permission android:name="android.permission.INTERNET" />
<!-- 获取WiFi状态 -->
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<!-- 获取网络信息状态，如当前的网络连接是否有效 -->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

<!-- 往SDCard读写数据权限   storage group -->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />

(3) 代码混淆配置

代码混淆文件proguard-project.txt，添加如下内容：

-ignorewarnings
-libraryjars libs/ YoudaoBase.jar
-libraryjars libs/ YoudaoLatexRecognize.jar
-keep class com.youdao.sdk.ydtranslate.** { ;} 
-keep class com.youdao.yd_table_recognize.* { *;}

(4) SDK初始化

使用之前请在程序的Application中调用SDK初始化代码，可以参考demo中DemoApplication。

YouDaoApplication.init(this, appkey);

功能集成

说明：请参考 yd_latex_demo 中 LatexDemoActivity 的使用

(1) 参数说明

detectType：识别类型，10011:识别结果公式完美还原；10012：识别结果适合搜题，默认为10011

输入图片格式支持：jpg/png

输入图片尺寸限制：2MB以下

输入图片数据：需要转换为Base64编码。

(2) 构造整题识别SDK参数对象

//识别对象
LatexParameters tps = new LatexParameters.Builder().source("youdaolatex").timeout(100000)
                .detectType(LatexConstants.DETECT_TYPE).build();

(3) 设置回调和开始识别

通过ImageLatexRecognizer，设置上一步构造的参数对象，调用recognize方法传入图片base64编码的数据和回调接口开始查询

识别回调接口包含两个方法：onResult表示识别成功，结果LatexResult对象形式给用户，onError表示失败，失败信息已错误码的形式给用户。

注意：整个识别是异步的，回调在子线程进行，若涉及到界面操作，请切回主线程。

//开始识别
ImageLatexRecognizer.getInstance(tps).recognize(base64Data, new LatexListener() {
            @Override
            public void onError(final LatexErrorCode error) {
                runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        // TODO Auto-generated method stub
                        resultText.setText("识别失败" + error.name());
                    }
                });
            }

            @Override
            public void onResult(final LatexResult result, String input) {
                //若有更新界面操作，请切换到主线程
                runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        YouDaoLog.d("latex end");
                        mResultView.setVisibility(View.VISIBLE);
                        mResultView.setText(getResult(result));
                        resultText.setText("识别完成");
                    }
                });
            }
        });

整题识别结果说明

其中LatexResult是对json结果的封装。result中json字段如下所示:

{
    "errorCode": "0",
    "Result": {
        "orientation": "",
        "regions": [{
            "boundingBox": "13,15,584,15,584,83,13,83",
            "dir": "h",
            "lang": "",
            "lines": [
                [{
                    "boundingBox": "13,22,110,22,110,76,13,76",
                    "text_height": 53,
                    "words": [{
                        "boundingBox": "13,23,74,22,74,75,13,76",
                        "word": "13."
                    }, {
                        "boundingBox": "86,22,110,22,110,75,86,75",
                        "word": "若"
                    }],
                    "text": "13.若",
                    "type": "text"
                }, {
                    "boundingBox": "111,15,326,15,326,82,111,82",
                    "text_height": 67,
                    "words": [{
                        "boundingBox": "111,15,326,15,326,82,111,82",
                        "word": " x = ( \\sqrt { 3 } { - 5 } ) ^ { 3 }"
                    }],
                    "text": "x = ( \\sqrt { 3 } { - 5 } ) ^ { 3 }",
                    "type": "formula"
                }, {
                    "boundingBox": "327,22,384,22,384,76,327,76",
                    "text_height": 53,
                    "words": [{
                        "boundingBox": "327,22,338,22,338,75,327,75",
                        "word": "，"
                    }, {
                        "boundingBox": "350,23,384,23,384,76,350,76",
                        "word": "则"
                    }],
                    "text": "，则",
                    "type": "text"
                }, {
                    "boundingBox": "385,15,584,15,584,83,385,83",
                    "text_height": 67,
                    "words": [{
                        "boundingBox": "385,16,584,15,584,82,385,83",
                        "word": " \\sqrt { - x - 1 } ="
                    }],
                    "text": "\\sqrt { - x - 1 } =",
                    "type": "formula"
                }]
            ]
        }],
        "exif": "UP"
    }
}

错误代码列表

常见问题及注意事项

(1) 参数错误 108

appKey无效，注册账号， 登录后台创建应用和实例并完成绑定， 可获得应用ID和密钥等信息，其中应用ID就是appKey（ 注意不是应用密钥）

版本更新记录