(57)【要約】【課題】紙文書に対して接近して画像を取り込み光学式文字認識（ＯＣＲ）による文字認識を行う際に、傾斜角補正を高速に行うことができる情報処理装置を提供すること。【解決手段】全体画像の紙面検出結果から全体画像の紙面方向を検出する紙面方向検出手段と、処理対象の文書の局所部の画像を取得する局所画像取得手段と、画像から特徴量を算出する特徴量算出手段と、全体画像と局所画像から特徴量を算出し、両者の特徴量を比較することにより全体画像内の局所画像の位置を特定する位置特定手段と、を有し、全体画像と処理対象である局所画像の特徴量から前記位置特定手段により特定した位置情報と、前記局所座標変換手段を用いて局所画像の紙面に対する傾き角度を算出する局所画像傾斜判定手段と、局所画像傾斜判定手段から局所画像の傾斜補正が必要と判定された場合に、局所画像の傾斜補正を実行する傾斜補正手段と、傾斜補正の実行後にＯＣＲを実行することを特徴とする。【選択図】図３
2017120455.tif 000002
【特許請求の範囲】
【請求項１】
文書の全体画像（５００）を取得する全体画像取得手段（Ｓ８０１）と、
全体画像の紙面検出結果から全体画像の紙面方向を検出する紙面方向検出手段（３０８、Ｓ８０２）と、
全体画像内の領域座標を保存する座標保存手段と、
処理対象の文書の局所部の画像（５０１）を取得する局所画像取得手段（Ｓ８０４）と、
画像から特徴量を算出する特徴量算出手段（３１２、Ｓ８０３）と、
全体画像と局所画像から特徴量を算出し、両者の特徴量を比較することにより全体画像内の局所画像の位置を特定する位置特定手段（３１３、Ｓ８０５）と、を有し、
全体画像と処理対象である局所画像の特徴量から前記位置特定手段により特定した位置情報と、
前記座標情報保存手段により保存されていた座標情報を用いて、局所画像の座標を特定する局所座標変換手段と、
前記局所座標変換手段を用いて局所画像の紙面に対する傾き角度を算出する局所画像傾斜判定手段（３１４、Ｓ８０６）と、
局所画像傾斜判定手段から局所画像の傾斜補正が必要と判定された場合に、局所画像の傾斜補正を実行する傾斜補正手段（３１５、Ｓ８０７）と、傾斜補正の実行後にＯＣＲを実行することを特徴とする情報処理装置（１００）。
【請求項２】
前記局所画像傾斜判定手段は、前記全体画像（５００）と前記局所部の画像（５０１）から特徴量算出手段（３１２、Ｓ８０３）によって算出された両者の特徴量を利用し、前記特徴量を基に複数の対応候補との仮説を試行し、最も誤差が少ない仮説を採択する方法により全体画像内の局所画像の位置を特定する位置特定手段（３１３、Ｓ８０５）と、を有することを特徴とする請求項１に記載の情報処理装置（１００）。
【請求項３】
文書の全体画像（５００）を取得する全体画像取得工程（Ｓ８０１）と、
全体画像の紙面検出結果から全体画像の紙面方向を検出する紙面方向検出工程（Ｓ８０２）と、
全体画像内の領域座標を保存する座標保存工程と、
処理対象の文書の局所部の画像（５０１）を取得する局所画像取得工程（Ｓ８０４）と、
画像から特徴量を算出する特徴量算出工程（Ｓ８０３）と、
全体画像と局所画像から特徴量を算出し、両者の特徴量を比較することにより全体画像内の局所画像の位置を特定する位置特定工程（Ｓ８０５）と、を有し、
全体画像と処理対象である局所画像の特徴量から前記位置特定工程により特定した位置情報と、
前記座標情報保存工程により保存されていた座標情報を用いて、局所画像の座標を特定する局所座標変換工程と、
前記局所座標変換工程を用いて局所画像の紙面に対する傾き角度を算出する局所画像傾斜判定工程（Ｓ８０６）と、
局所画像傾斜判定工程から局所画像の傾斜補正が必要と判定された場合に、局所画像の傾斜補正を実行する傾斜補正工程（Ｓ８０７）と、傾斜補正の実行後にＯＣＲを実行することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、プログラム及び制御方法に関する。
【背景技術】
【０００２】
カメラから取り込んだ文書画像から光学式文字認識（ＯＣＲ）により識別したテキスト情報を利用するためにはＯＣＲ精度が非常に重要である。ＯＣＲによる文字認識の前処理で最も重要なプロセスは、取得された文書画像の傾斜補正である。即ち、画像の入力文字が傾くなどして本来の形状から回転変形してしまうと、その文字の認識率は大幅に低下してしまう。そのため、文書画像の傾斜角補正を効率的に実行することできる文字認識方法の提案がなされている。特許文献１は、ＯＣＲを実施するための画像の傾斜角補正技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−９６２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特にカメラの動画像から取り込まれる画像をリアルタイムでテキスト情報に変換する場合は、傾斜角補正を高速に行う必要がある。
【０００５】
動画像ではフレームレートにＯＣＲ処理が間に合わない、または、傾斜角補正が適切に行えないためにＯＣＲ精度が低下する。高速に傾斜角補正を行う方法として、文書画像の紙面方向から傾斜角補正を行う方法がある。
【０００６】
しかし、傾斜角補正を行うために紙面全体をとらえようとすると、カメラから対象物との距離が離れることにより識別しようとするテキストの１文字当たりの解像度が低下することに加え、画像細部のピントのボケが発生しやすくなるためにＯＣＲ精度が低下する。
【０００７】
そこで、Ａ４やＡ３のような比較的大きなサイズの紙文書であっても、対象のテキスト領域に接近した画像からのＯＣＲ精度向上には必須となる。よって紙文書全体の画像を取り込んだ後に、ＯＣＲ処理を行いたいテキスト領域に接近して画像を取り込むことで、文書全体画像から傾斜角補正を実行し精度の良いテキスト情報を取得することが出来る。
【０００８】
そこで、本発明は、紙文書全体の画像の光学式文字認識（ＯＣＲ）による文字認識の処理において、４辺６０１を含まない局所画像５０１における傾斜角補正を高速に行うことができる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る情報処理装置は、
文書の全体画像を取得する全体画像取得手段と、
全体画像の紙面検出結果から全体画像の紙面方向を検出する紙面方向検出手段と、
全体画像内の領域座標を保存する座標保存手段と、
処理対象の文書の局所部の画像を取得する局所画像取得手段と、
画像から特徴量を算出する特徴量算出手段と、
全体画像と局所画像から特徴量を算出し、両者の特徴量を比較することにより全体画像内の局所画像の位置を特定する位置特定手段と、を有し、
全体画像と処理対象である局所画像の特徴量から前記位置特定手段により特定した位置情報と、
前記座標情報保存手段により保存されていた座標情報を用いて、局所画像の座標を特定する局所座標変換手段と、
前記局所座標変換手段を用いて局所画像の紙面に対する傾き角度を算出する局所画像傾斜判定手段と、
局所画像傾斜判定手段から局所画像の傾斜補正が必要と判定された場合に、局所画像の傾斜補正を実行する傾斜補正手段と、傾斜補正の実行後にＯＣＲを実行することを特徴とする。
【発明の効果】
【００１０】
本発明に係る情報処理装置によれば、画像の光学式文字認識（ＯＣＲ）による文字認識の前処理の際に、傾斜角補正を高速に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】モバイル端末の外観の一例を示す図である。
【図２】モバイル端末のハードウェア構成の一例を示す図である。
【図３】モバイル端末のソフトウェア構成の一例を示す図である。
【図４】モバイルアプリのＵＩの一例を示す図である。
【図５】全体画像と局所画像の一例を示す図である。
【図６】紙面検知処理の一例を示す図である。
【図７】座標処理の一例を示す図である。
【図８】本提案の処理フローを示す図である。
【図９】モバイルアプリのＵＩの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面などを参照して説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。
【００１３】
（第１実施形態）
［外観］
本実施形態に係る情報処理装置の一例として、モバイル端末を例に説明する。モバイル端末は、携帯端末の一例であり、無線通信機能などの装備によって自由な場所で利用できる端末である。
【００１４】
図１はモバイル端末の外観の一例を示す図である。
【００１５】
モバイル端末１００は、各種のユニット（１０１〜１０４）を含んで構成される。モバイル端末１００の表側がモバイル端末前面部１０１である。タッチパネル１０２は、ディスプレイ等の表示部の一例であり、出力（表示）と入力との２つの機能を備えている。さらに、モバイル端末１００の裏側がモバイル端末背面部１０３である。モバイル端末背面部１０３は画像を取り込むためのカメラ１０４を含む。本実施形態では、モバイル端末１００のユーザーは、被写体１０５の画像を後述のモバイルアプリで撮ることによって処理を開始することができる。
【００１６】
被写体１０５は、Ａ４サイズの紙文書の注文書である。被写体１０５は、紙文書だけに限らず、名刺、写真、ホワイトボードなどを含むことができる。後述のモバイルアプリは、被写体１０５の画像を取り込み、タッチパネル１０２にその画像を出力することができる。
【００１７】
［ハードウェア構成］
図２はモバイル端末１００のハードウェアの構成の一例を示す図である。
【００１８】
モバイル端末１００は、各種のユニット（２０１〜２０７）を含んで構成される。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、各種の情報を記憶するユニットである。また、ＲＡＭ２０２は、ＣＰＵ２０１の一時的な作業記憶領域としても利用されるユニットである。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３は、各種のプログラム等を記憶するユニットである。例えば、ＣＰＵ２０１は、ＲＯＭ２０３に記憶されているプログラムをＲＡＭ２０２にロードしてプログラムを実行する。
【００１９】
加えて、ＣＰＵ２０１がフラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｉｓｋ）といった外部記憶装置に記憶されているプログラムに基づき処理を実行する。これにより、図３に示されるようなモバイル端末１００を構成するソフトウェア構成及び後述するシーケンスの各ステップの処理が実現される。
【００２０】
なお、モバイル端末１００の機能及び後述するシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現してもよい。
【００２１】
Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０４は、タッチパネル１０２とデータを送受信する。
【００２２】
ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）２０５は、モバイル端末１００をネットワーク（不図示）に接続するためのユニットである。
【００２３】
カメラモユニット２０６は、カメラ１０４と接続し被写体１０５の画像をモバイル端末１００に取り込む。上述したユニットは、バス２０７を介してデータの送受信を行うことが可能に構成されている。
【００２４】
［ソフトウェア構成（モバイル端末）］
次に、モバイル端末１００におけるソフトウェアの構成について説明する。
【００２５】
図３はモバイル端末１００のソフトウェア構成の一例を示す図である。
【００２６】
図３に示される各ソフトウェア（アプリケーション）における機能（モジュール部）を実現するプログラムは、各装置のＲＯＭ２０３等に記憶されている。
【００２７】
モバイル端末１００のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）（不図示）は、データ管理部３０１を有する。
【００２８】
データ管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  ＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）を提供している。各アプリはその制御ＡＰＩを利用することでデータ管理部３０１が管理する画像やアプリケーションデータの取得や保存を行う。
【００２９】
モバイルアプリ（モバイルアプリケーション）３０２は、モバイル端末１００のＯＳのインストール機能を利用して、ダウンロードしインストールすることにより実行可能なアプリケーションである。モバイルアプリ３０２は、カメラモユニット２０６を介して取り込んだ被写体１０５の画像に対する各種のデータ処理を行う。
【００３０】
メイン制御部３０３は、モバイル端末１００用のアプリケーション（モバイルアプリ）３０２を制御し、後述する各モジュール部（３０３〜３１５）に対する指示、及び管理を行う。
【００３１】
情報表示部３０４は、メイン制御部３０３からの指示に従い、モバイルアプリ３０２のユーザインタフェース（ＵＩ）をユーザーに提供する。
【００３２】
図４はモバイルアプリ３０２のＵＩ（携帯端末用のＵＩ）を提供する画面の一例（モバイル端末画面４００）を示す図である。
【００３３】
モバイル端末画面４００は、モバイル端末１００のタッチパネル１０２に表示される。また、モバイル端末画面４００では、表示および操作領域４０１にカメラ１０４を介して取り込んだ画像が表示され、画像等に対するユーザーによる操作（ユーザ操作）を、表示されたＵＩを介して受け付ける。
【００３４】
なお、モバイルアプリ３０２のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、図に示す形態に限定されるものではなく、モバイル端末１００の機能を実現することができる適宜の構成を採用することができる。
【００３５】
再び図３に戻ってモバイルアプリ３０２の各モジュールの説明を行う。
【００３６】
操作情報取得部３０５は、情報表示部３０４により表示されたモバイルアプリ３０２のＵＩがユーザー操作された情報を取得し、取得した情報をメイン制御部３０３に通知する。例えば、表示および操作領域４０１をユーザーが手で触れると、操作情報取得部３０５は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０３に送信する。
【００３７】
画像解析部３０６は、カメラモユニット２０６を介して取得したカメラ入力画像を解析して、レイアウト情報を生成する。レイアウト情報には、画像から算出された矩形領域とその種別（文字、図形、線、表など）とが含まれる。さらに画像解析部３０６は、カメラ入力画像に対して紙面検出処理や歪み補正処理を行う。
【００３８】
ＯＣＲ部３０７は、画像解析部３０６で算出した矩形領域に対して、ＯＣＲ（光学文字認識）処理を行う。
【００３９】
紙面検出部３０８は、紙面検出処理により、紙面の４辺６０１、および、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３を決定する。紙面検出部３０８は、カメラモユニット２０６を介して取り込んだ被写体１０５の画像に対する紙面検出を行い、紙面検出により検出された４辺６０１により、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３を決定する。
【００４０】
記憶部３０９は、操作情報取得部３０５を介して、換言するならばモバイルアプリ３０２のＵＩを介して、ユーザーにより入力された設定値を保存（永続化）する。
【００４１】
ＤＢ部３１０はデータベース機能を有し、座標情報、画像の特徴量、画像の特徴点座標などを管理する。ＤＢ部３１０のデータは、記憶部３０９に保存される。
【００４２】
座標処理部３１１は、データベースへ座標情報を登録する際の座標変換処理や画像の位置特定処理を行う。
【００４３】
画像特徴量算出部３１２は、カメラ入力画像に対して、画像の特徴量の算出処理を行う。
【００４４】
局所画像座標特定部３１３は、紙面検出部３０８によって決定された、紙面の縦方向であるＹ座標６０２と紙面の横方向であるＸ座標６０３および、全体画像５００および、局所画像５０１における画像間の座標変換結果から、
全体画像座標７０４における局所画像座標７０３のＸ座標７１４および、
全体画像座標７０４における局所画像座標７０３のＹ座標７１５を決定する。
【００４５】
局所画像傾斜判定部３１４は、傾斜角度基準線７１６に対して、局所画像座標７０３のＸ座標７１４の角度を求めることで、全体画像座標７０４における局所画像座標７０３の傾斜角度７１７を算出する。
【００４６】
傾斜補正部３１５は、局所画像傾斜判定部３１４が算出した傾斜角度７１７から、ＯＣＲに不適切な傾斜した局所画像５０１を、ＯＣＲ処理に適した局所画像５０１に傾斜角補正を実行する。
【００４７】
［全体画像と局所画像］
次に、全体画像と局所画像について図５を用いて説明する。
【００４８】
被写体１０５のＡ４サイズからなる注文書全体を、カメラ１０４を介して取得する。その入力画像に対して、被写体以外の領域を除外する紙面検出処理、歪み部分を補正する歪み補正処理を施し整形する。この整形した画像を全体画像５００と呼ぶ。全体画像５００は、全体画像の一例である。
【００４９】
また、被写体１０５に対してカメラ１０４を接近して取得した被写体１０５の一部（あるいは全体）の画像を局所画像と呼ぶ。局所画像５０１は、局所画像の一例である。さらに位置５０２は、全体画像における局所画像の位置を示している。
【００５０】
［紙面検出処理］
次に、紙面検出部３０８が行うカメラ入力画像の紙面検出について図６を用いて説明する。
【００５１】
カメラから取り込んだ文書画像から光学式文字認識により識別したテキスト情報を利用するためには文字認識の前処理で取得された文書画像の傾斜補正を行う必要がある。
【００５２】
一般に、文書画像の傾斜補正の方法としては、各文字の特徴から縦方向、横方向を決定する方法がある。また、文字列のベースラインや行頭、行末のから縦方向、横方向を決定する方法なども考えられるが、文書画像全体の画像処理結果から判定を行う必要があるため高速な処理には向かない。
【００５３】
そのため、紙面検出部３０８は、カメラモユニット２０６を介して取り込んだ被写体１０５の画像に対する紙面検出を行い、紙面検出により検出された４辺６０１により、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３を決定する。
【００５４】
紙面検出処理では、カメラで取り込んだ紙の文書画像から適切に４辺検出できたかどうかを判定する。なお、判定方法は問わない。例えば、画像から検出されたエッジが４つ存在し、且つ、その４つの辺により閉領域を構成していればエッジ検出を成功したと紙面検出できたと判定する。
【００５５】
ＯＣＲ文字認識の前処理として、ＯＣＲの対象文字列６０４に対して、ＯＣＲ処理を行うための矩形画像６０５の、紙面方向に対して文書画像の傾斜補正を行うことでＯＣＲの精度の向上することが可能となる。
【００５６】
ＯＣＲ文字認識の前処理として、紙面検出結果から紙面方向に対して文書画像の傾斜補正を行うことでＯＣＲの精度の向上することができる。
【００５７】
しかし、紙面検出を行うためにはカメラからＯＣＲ対象物との距離が離れることにより、識別しようとするテキストの１文字当たりの解像度が低下することに加え、画像細部のピントのボケが発生しやすくなるためにＯＣＲ精度が低下する。
【００５８】
そのため、Ａ４やＡ３のような比較的大きなサイズの紙文書であっても、対象のテキスト領域に接近した画像からのＯＣＲ精度向上を行う。
【００５９】
よって紙文書全体の画像を取り込み、紙面検出結果から傾斜補正を行うための紙面方向を決定した後にＯＣＲ処理を行いたいテキスト領域に接近して局所画像を取り込むことで、高速に局所画像の傾斜補正後にＯＣＲ処理を行う事で精度の良いテキスト情報を取得することが可能となる。
【００６０】
本実施形態では、全体画像５００の紙面検出結果から４辺６０１および、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３を確定する。さらに局所画像５０１におけるＯＣＲ処理において、局所画像座標７０３ではなく、全体画像座標７０４のＸＹ方向の矩形からＯＣＲを実施することで、高速に局所画像の傾斜補正を行う事が可能となる。
【００６１】
［局所座標の傾斜処理］
次に本実施例で扱う局所画像の傾斜補正を行うための処理について説明する。
【００６２】
座標処理部３１１が行う座標変換処理について図７を用いて説明する。
【００６３】
まず座標系には被写体座標（Ａ４注文書のどの位置）７０１、ディスプレイ座標（ディスプレイのどの位置）７０２、局所画像座標（局所画像内のどの位置）７０３、全体画像座標（全体画像のどの位置）７０４がある。座標変換処理とは、これら座標系間を変換する処理である。例えば、ＯＣＲ対象の矩形領域座標処理では、ユーザーによりディスプレイで選択されたディスプレイ座標７０２の文字列領域７０５から全体画像座標７０４に変換してＤＢ部３１０に保存する。ＤＢ部３１０で管理する矩形領域座標は、矩形領域の左上Ｘ座標をｍｉｎＸ、右下Ｘ座標をｍａｘＸ、左上Ｙ座標をｍｉｎＹ、右下Ｙ座標をｍａｘＹとする。
【００６４】
全体画像５００の横が１５００ｐｘ、縦が２０００ｐｘの場合で説明する。
全体画像座標７０４の文字列領域７０６の左上座標７０７が（Ｘ，Ｙ）＝（１２００，７００）、
全体画像座標７０４の文字列領域７０６の右下座標７０８が（１２８０、７５０）となる。
【００６５】
画像特徴量算出部３１２は、全体画像５００および、局所画像５０１における画像特徴量の算出を行う。一般的に画像の特徴を表す画像特徴量データは、多次元のデータで表し、特徴ベクトルと呼ばれる。次元数は特徴の種類が何種類あるかを示している。画像特徴量算出部３１２は、各画像に対して、１００次元の特徴ベクトルを算出する。さらに各画像の特徴ベクトルを元に、１００次元の特徴ベクトルからその分類の中で際立った特徴を有する１０次元の特徴ベクトルを決定する。特徴ベクトルには、各画像の特徴点座標と特徴量が含まれる。
【００６６】
この次元削減処理はフィルタと呼ばれるソフトウェアコンポーネントによって実行される。画像毎に算出した特徴ベクトル（１０次元）及びにフィルタの組みあわせの集合を分類器６０７と呼ぶ。
【００６７】
全体画像特徴量データと局所画像特徴量データは、ＤＢ部３１０で管理する。
【００６８】
局所画像座標特定部３１３は、全体画像５００および、局所画像５０１における画像特徴量から、画像間の同一特徴点を判定する。
【００６９】
一般に、画像間の特徴量データを特定する方法がコンピュータビジョンの分野において提案されている。代表的な検出手法として、Ｈａｒｒｉｓが知られている。Ｈａｒｒｉｓは画像中のエッジ成分の位置を検出するものである。また、検出された特徴量から複数の対応候補との仮説を試行し、最も誤差が少ない仮説を採択する方法（ＲＡＮＳＡＣ）が提案されている。なお、局所画像座標特定部３１３が行う画像間の特徴検出手法は、本形態に限定されるものではなく、本機能を実現することができる適宜の手法を採用することができる。
【００７０】
本実施例において、具体的には、局所画像５０１における特徴点Ａ７０９は、全体画像５００の特徴点Ｂ７１０と一致すると判定される。また、局所画像５０１における特徴点Ｃ７１１は、全体画像５００の特徴点Ｄ７１２と一致すると判定される。座標処理部３１１は、これらの処理を複数次元の特徴ベクトルで行う事で、全体画像５００と局所画像５０１間において、全体画像座標（全体画像のどの位置）７０４と局所画像座標（局所画像内のどの位置）７０３の座標変換を行う事が可能となる。このため、局所画像座標特定部３１３は、全体画像座標７０４における局所画像座標７０３領域７１３が特定できる。
【００７１】
さらに、局所画像座標特定部３１３は、紙面検出部３０８によって決定された、紙面の縦方向であるＹ座標６０２と紙面の横方向であるＸ座標６０３および、全体画像５００および、局所画像５０１における画像間の座標変換結果から、
全体画像座標７０４における局所画像座標７０３のＸ座標７１４および、
全体画像座標７０４における局所画像座標７０３のＹ座標７１５を決定する。
局所画像傾斜判定部３１４は、先ず、全体画像座標７０４のＸ座標と平行な、局所画像座標７０３の傾斜角度基準線７１６を確定する。
【００７２】
局所画像傾斜判定部３１４は、傾斜角度基準線７１６に対して、局所画像座標７０３のＸ座標７１４の角度を求めることで、全体画像座標７０４における局所画像座標７０３の傾斜角度７１７を算出する。傾斜補正部３１５は、局所画像傾斜判定部３１４が算出した傾斜角度７１７から、ＯＣＲに不適切な傾斜した局所画像５０１を、ＯＣＲ処理に適した局所画像５０１に傾斜角補正を実行する。
【００７３】
局所画像傾斜判定部３１４が算出する傾斜角度７１７は、紙面検出部３０８が決定した紙面の４辺６０１を基準にしているため、４辺６０１を含まない局所画像５０１において、ＯＣＲによる文字認識の前処理で最も重要なプロセスである画像の傾斜補正を高速に実行することが可能となる。
【００７４】
メイン制御部３０３は、情報表示部３０４に対して、ＯＣＲ処理を行う矩形の表示指示を行う。情報表示部３０４は、ディスプレイ座標７０２として表示している局所画像座標７０３に対して、局所画像傾斜判定部３１４が算出する傾斜角度７１７で補正を行った、局所画像座標７０３のＯＣＲ対象矩形７１８を表示する。さらに、メイン制御部３０３は、ＯＣＲ対象矩形７１８の画像に対してＯＣＲ部３０７でＯＣＲ処理を行うことで、ＯＣＲ処理に適した局所画像５０１でＯＣＲ処理を行える。
【００７５】
以上により、紙面検出部３０８が紙面検出処理により、紙面の４辺６０１、および、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３を決定し、カメラモユニット２０６を介して取り込んだ被写体１０５の画像に対する紙面検出より検出された４辺６０１により、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３を決定する。さらに、局所画像傾斜判定部３１４は、傾斜角度基準線７１６に対して、局所画像座標７０３のＸ座標７１４の角度を求めることで、全体画像座標７０４における局所画像座標７０３の傾斜角度７１７を算出し、傾斜補正部３１５は、局所画像傾斜判定部３１４が算出した傾斜角度７１７から、ＯＣＲに不適切な傾斜した局所画像５０１を、ＯＣＲ処理に適した局所画像５０１に傾斜角補正を実行する事が可能となる。
【００７６】
なお、座標処理部３１１が行う座標変換処理は、本形態に限定されるものではなく、本機能を実現することができる適宜の手法を採用することができる。
【００７７】
［処理フロー］
次に、モバイル端末１００における処理フローについて図８を用いて説明する。
【００７８】
本フローは、ユーザーによりモバイル端末１００におけるモバイルアプリ３０２でカメラ１０４を介して被写体１０５の画像を取得することをトリガーに開始する。
【００７９】
Ｓ８０１で、モバイルアプリ３０２は、カメラモユニット２０６を介して全体画像５００を取得（撮影）する。
【００８０】
Ｓ８０２で、紙面検出部３０８は、カメラモユニット２０６を介して取り込んだ被写体１０５の全体画像５００に対して紙面検出を行い、紙面検出により検出された４辺６０１により、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３決定する。
【００８１】
Ｓ８０３で、画像特徴量算出部３１２は、全体画像５００における画像特徴量の算出を行う。
【００８２】
Ｓ８０４で、画像特徴量算出部３１２は、局所画像５０１における画像特徴量の算出を行う。
【００８３】
Ｓ８０５で、座標処理部３１１は、全体画像内の局所画像の位置を確定する。座標処理部３１１は、Ｓ８０３およびＳ８０４で算出された、全体画像５００、局所画像５０１における画像特徴量から、全体画像５００と局所画像５０１間において、全体画像座標７０４における局所画像座標７０３の座標変換を行う。
【００８４】
Ｓ８０６で、局所画像傾斜判定部３１４は、傾斜角度基準線７１６に対して、局所画像座標７０３のＸ座標７１４の角度を求めることで、全体画像座標７０４における局所画像座標７０３の傾斜角度７１７を算出する。
【００８５】
Ｓ８０７で、局所画像傾斜判定部３１４は、傾斜角度７１７からＯＣＲ部３０７の傾斜補正が可能な範囲を超えるか判定を行う。
Ｓ８０７の判定でＹｅｓの場合、
Ｓ８０８で、傾斜補正部３１５は、傾斜補正部３１５は、局所画像傾斜判定部３１４が算出した傾斜角度７１７から、ＯＣＲに不適切な傾斜した局所画像５０１を、ＯＣＲ処理に適した局所画像５０１に傾斜角補正を実行する。
【００８６】
Ｓ８０９で、ＯＣＲ部３０７は、局所画像５０１の補正画像からオブジェクト領域を認識する領域分割処理（ブロックセレクション処理）を実行する。ステップＳ８０８にて出力された、傾斜角補正によりＯＣＲ処理に適した局所画像５０１に対して領域分割処理（ブロックセレクション処理）を実行し、局所画像５０１に含まれる文字列を矩形画像（ブロックセレクション領域）に分割する。ステップＳ８０９の領域分割処理は、一般に文字・写真・イラストなど画像属性に分割する処理である。この領域分割処理は周知の技術で可能である。
【００８７】
Ｓ８０７の判定でＮｏの場合、Ｓ８１０で、ＯＣＲ部３０７は、傾斜角補正を行わない局所画像５０１でブロックセレクションを実行する。
【００８８】
Ｓ８１１で、ＯＣＲ部３０７は、ブロックセレクション領域に対してＯＣＲ処理を実行し、テキスト情報を認識する。図９のテキスト領域９０１は、認識されたテキスト領域の一例である。ＯＣＲ部３０７は、ディスプレイ座標７０２のＸ座標、Ｙ座標ではなく、全体画像５００の４辺６０１の縦横座標（６０２、６０３）から、ＯＣＲを実施する矩形のＸＹ座標を決定する。
【００８９】
本処理において、紙面検出部３０８は、カメラモユニット２０６を介して取り込んだ被写体１０５の全体画像５００に対して紙面検出を行い、紙面検出により検出された４辺６０１により、紙面の縦方向であるＹ座標６０２、紙面の横方向であるＸ座標６０３決定する。情報表示部３０４は、座標変換処理により全体画像座標から判定された座標により、局所画像内に高速に傾斜角補正を行ったテキスト領域９０１を表示する。
【００９０】
以上のように、本実施形態によれば、画像の光学式文字認識（ＯＣＲ）による文字認識の前処理の際に、傾斜角補正を高速に行うことができる。
【００９１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９２】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００９３】
１００  モバイル端末、１０１  モバイル端末前面部、１０２  タッチパネル、
１０３  モバイル端末背面部、１０４  カメラ、１０５  被写体
【図１】
2017120455.tif 000003
【図２】
2017120455.tif 000004
【図３】
2017120455.tif 000005
【図４】
2017120455.tif 000006
【図５】
2017120455.tif 000007
【図６】
2017120455.tif 000008
【図７】
2017120455.tif 000009
【図８】
2017120455.tif 000010
【図９】
2017120455.tif 000011