(57)【要約】【課題】被写体に接近して撮影した画像において、所望の情報が含まれる領域を高い精度で特定することができる情報処理装置などを提供する。【解決手段】本発明の情報処理装置は、被写体を撮影する撮影手段と、被写体の全体が撮影された全体画像と、被写体の局所領域が撮影されている動画の１フレームであるフレーム画像と、被写体の局所領域が撮影された中間画像と、を取得する画像取得手段と、全体画像において所定の情報を含む情報領域を特定する特定手段と、全体画像、フレーム画像および中間画像それぞれの特徴点の取得する特徴点取得手段と、を有する。情報処理装置では、全体画像と中間画像との間で、および、中間画像とフレーム画像との間で、類似する特徴量を有する特徴点同士の位置が比較されることにより、中間画像における情報領域に対応するフレーム画像における情報領域の位置が特定される。【選択図】図７
2018055338.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記被写体の全体が撮影された全体画像と、前記被写体の局所領域が撮影されている動画の１フレームであるフレーム画像と、前記被写体の局所領域が撮影された中間画像であって、前記フレーム画像よりも高い解像度の中間画像と、を取得する画像取得手段と、
前記全体画像において所定の情報を含む情報領域を特定する第１の特定手段と、
前記全体画像、前記フレーム画像および前記中間画像それぞれの特徴点の取得する特徴点取得手段と、
前記全体画像と前記中間画像との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、前記全体画像における情報領域に対応する前記中間画像における情報領域の位置を特定し、かつ、前記中間画像と前記フレーム画像との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、前記中間画像における情報領域に対応する前記フレーム画像における情報領域の位置を特定する第２の特定手段と、を備える
ことを特徴とする情報処理装置。
【請求項２】
前記撮影手段と前記被写体との距離が、所定の距離接近したか否かを判定する接近判定手段をさらに備え、前記撮影手段と前記被写体との距離が、所定の距離接近したと判定された場合、前記画像取得手段は前記中間画像を取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記接近判定手段は、前記全体画像における情報領域の面積と、前記フレーム画像における情報領域の面積との割合に基づいて、前記撮影手段と前記被写体との距離が、所定の距離接近したか否かを判定する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記接近判定手段は、前記全体画像における特徴点の数と、前記フレーム画像における特徴点の数との比較に基づいて、前記撮影手段と前記被写体との距離が、所定の距離接近したか否かを判定する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記フレーム画像との間で、類似する特徴量を有する特徴点同士の位置を比較する対象となる比較画像を設定する設定手段をさらに備え、
前記撮影手段と前記被写体との距離が、前回判定されたときよりもさらに所定の距離接近したと判定された場合、前記画像取得手段は、前回取得した前記中間画像よりも前記被写体に接近して撮影された前記中間画像を取得し、
前記設定手段は、今回取得された前記中間画像を前記比較画像に設定する
ことを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記撮影手段と前記被写体との距離が、前回判定されたときよりも所定の距離遠ざかったと判定された場合、前記設定手段は、前回判定されたときに取得された前記中間画像よりも前記被写体からの離れて撮影された前記中間画像を再び前記比較画像に設定する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記フレーム画像における情報領域を特定することができない場合、前記設定手段は、前記全体画像を前記比較画像に設定する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記フレーム画像における情報領域を、前記情報領域以外の領域とは異なる態様で表示する情報表示手段をさらに備える
ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記フレーム画像における情報領域には文字が含まれ、前記情報領域に対して文字認識処理を行う文字認識手段をさらに備える
ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
被写体を撮影する撮影ステップと、
前記被写体の全体が撮影された全体画像と、前記被写体の局所領域が撮影されている動画の１フレームであるフレーム画像と、前記被写体の局所領域が撮影された中間画像であって、前記フレーム画像よりも高い解像度の中間画像と、を取得する画像取得ステップと、
前記全体画像において所定の情報を含む情報領域を特定する第１の特定ステップと、
前記全体画像、前記フレーム画像および前記中間画像それぞれの特徴点の取得する特徴点取得ステップと、
前記全体画像と前記中間画像との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、前記全体画像における情報領域に対応する前記中間画像における情報領域の位置を特定し、かつ、前記中間画像と前記フレーム画像との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、前記中間画像における情報領域に対応する前記フレーム画像における情報領域の位置を特定する第２の特定ステップと、を備える
ことを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１から請求項９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、カメラ付きのスマートフォンやタブレットなどのモバイル端末が普及している。カメラ付きのモバイル端末の中には、帳票などの紙文書を撮影して文書画像を取得し、取得した文書画像から文字を認識する文字認識機能を備えたモバイル端末が知られている（特許文献１）。例えば、ＯＣＲ(Optical Character Recognition：光学文字認識)により、モバイル端末が文書画像の文字認識を行う場合、読み取り対象となる情報を含む情報領域の位置を特定することが必要となる。この点、特許文献１のモバイル端末は、情報領域の位置を文書フォーマットごとに定義した定義ファイルを予め保持し、定義ファイルに従って、読み取り対象となる情報領域を特定している。
【０００３】
ところで、モバイル端末がＡ４やＡ３などの大きなサイズの紙文書を撮影して文書画像を取得した場合、名刺や免許証などを撮影して文書画像を取得した場合と比較して、文字認識の精度が低下してしまう場合があった。これは、モバイル端末が紙文書から遠ざかって文書画像を取得することにより、文書画像における情報領域周辺の解像度が低下するとともに、文書画像細部におけるピントのボケが発生しやすくなるからである。
【０００４】
上記課題に対して、モバイル端末を紙文書に接近させて文書画像を取得することにより、文字認識の精度を向上させる手法が考えられる。この場合、取得した文書画像における情報領域の位置を特定することが必要となるが、特徴点の位置のトラッキング技術（特許文献２）を応用することで実現することができる。すなわち、紙文書全体を撮影した文書画像と、紙文書を接近して撮影した文書画像との間で、類似する特徴量を有する特徴点の位置を比較することにより、紙文書を接近して撮影した文書画像における情報領域の位置を高い精度で特定することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１６１０２号公報
【特許文献２】特開２０１４−０６３３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、モバイル端末を紙文書に接近させるほど、文書画像における特徴点の数が減少してしまう。比較対象となる特徴点の数が減少した場合、特徴点の位置のトラッキングが困難となり、紙文書を接近して撮影した文書画像における情報領域の位置を、高い精度で特定することができなくなる。
【０００７】
さらに、モバイル端末を紙文書に接近させて撮影している動画からフレーム画像を抽出し、当該フレーム画像に対して文字認識処理を行う場合、フレーム画像ごとに特徴点の抽出処理を行うため、フレーム画像の解像度を低く抑える必要がある。フレーム画像の解像度が低く抑えられることも、比較対象となる特徴点の数が減少する要因となる。
【０００８】
この点、特許文献１の手法を適用することも考えられるが、文書画像の局所領域ごとに情報領域の位置が定義された定義ファイルを保持する必要があるため、データ量および定義ファイル登録の手間が増えてしまうという観点から、好ましい手法ではない。
【０００９】
本発明は上記課題に鑑みなされたものであり、被写体に接近させて撮影した文書画像において、読み取り対象となる情報を含む情報領域の位置を、高い精度で特定することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、被写体を撮影する撮影手段と、前記被写体の全体が撮影された全体画像と、前記被写体の局所領域が撮影されている動画の１フレームであるフレーム画像と、前記被写体の局所領域が撮影された中間画像であって、前記フレーム画像よりも高い解像度の中間画像と、を取得する画像取得手段と、前記全体画像において所定の情報を含む情報領域を特定する第１の特定手段と、前記全体画像、前記フレーム画像および前記中間画像それぞれの特徴点の取得する特徴点取得手段と、前記全体画像と前記中間画像との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、前記全体画像における情報領域に対応する前記中間画像における情報領域の位置を特定し、かつ、前記中間画像と前記フレーム画像との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、前記中間画像における情報領域に対応する前記フレーム画像における情報領域の位置を特定する第２の特定手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の情報処理装置は、被写体に接近させて撮影した文書画像において、読み取り対象となる情報を含む情報領域の位置を、高い精度で特定することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態におけるモバイル端末の外観構成例を示す図である。
【図２】実施形態におけるモバイル端末のハードウェア構成例を示す図である。
【図３】実施形態におけるモバイル端末のソフトウェア機能ブロック図である。
【図４】実施形態においてタッチパネルに表示されるＵＩの例を示す図である。
【図５】実施形態における全体画像およびフレーム画像の例を示す図である。
【図６】実施形態において座標系変換処理が行われる例を示す模式図である。
【図７】実施形態における中間画像の例を示す図である。
【図８】実施形態における全体画像、フレーム画像、中間画像それぞれの座標系を説明する模式図である。
【図９】実施形態における座標管理テーブルのデータ構造の一例を示す模式図である。
【図１０】実施形態においてモバイルアプリが実行する処理手順を示すフローチャートである。
【図１１】実施形態においてモバイルアプリが実行する処理手順を示すフローチャートである。
【図１２】実施形態においてモバイルアプリが実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について図面を参照して説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。
【００１４】
［実施形態］
（外観構成）
情報処理装置の一例として、スマートフォン、タブレットなどのモバイル端末による実施形態を説明する。本実施形態のモバイル端末は、無線ＬＡＮを介した通信接続だけではなく、３Ｇ、ＬＴＥ(Long Term Evolution)などの無線通信機能を具備しているため、ユーザが所望の場所でモバイル端末を利用することができる。
【００１５】
図１は、本実施形態におけるモバイル端末の外観構成例を示す図である。モバイル端末１００の表側がモバイル端末前面部１０１である。モバイル端末前面部１０１には、タッチパネル１０２が配置される。タッチパネル１０２は、タッチスクリーンディスプレイ等によって構成される表示部の一例であり、入力と出力（表示）との２つの機能を備えている。モバイル端末１００の裏側がモバイル端末背面部１０３である。モバイル端末背面部１０３には、被写体１０５を撮影するためのカメラ１０４が配置される。
【００１６】
本実施形態において、モバイル端末１００のユーザは、後述のアプリケーションソフトウェア（以下「モバイルアプリ」と記す）を起動し、カメラ１０４で被写体１０５を撮影することによって処理を開始することができる。本実施形態において、被写体１０５はＡ４サイズのカット用紙に印刷された注文書である。被写体１０５は、カット用紙に印刷された注文書だけに限らず、各種帳票、写真などであっても本実施形態を適用することができる。後述のモバイルアプリは、カメラ１０４が撮影した画像を、タッチパネル１０２に表示することができる。
【００１７】
（ハードウェア構成）
図２は、本実施形態におけるモバイル端末１００のハードウェア構成例を示す図である。ＣＰＵ(Central Processing Unit)２０１は、各種のプログラムを実行し、モバイル端末１００の動作を統括制御する。ＲＡＭ(Random Access Memory)２０２は、モバイル端末１００の処理に用いられる各種の情報を記憶する。また、ＲＡＭ２０２は、ＣＰＵ２０１の一時的な作業記憶領域としても利用される。ＲＯＭ(Read Only Memory)２０３は、各種のプログラム等を記憶する。例えば、ＲＯＭ２０３に記憶されているプログラムコードは、ＲＡＭ２０２にロードされＣＰＵ２０１によって実行される。また、ＣＰＵ２０１は、不揮発性メモリなどによって構成される記憶部２０４や、モバイル端末１００と外部接続されるＨＤＤ、ＳＳＤなどの外部記憶装置（不図示）に記憶されているプログラムに基づき処理を実行することもできる。かかる構成により、図３に示されるモバイル端末１００のソフトウェア機能および後述するフローチャートにおける各ステップの処理が実現される。なお、モバイル端末１００のソフトウェア機能および後述するフローチャートにおける各ステップの処理の全部または一部については、ＡＳＩＣなどの専用ハードウェアを用いて実現されてもよい。
【００１８】
入出力Ｉ／Ｆ２０５は、ＣＰＵ２０１、ＲＡＭ２０２と、タッチパネル１０２とのデータを送受信するインターフェースである。ＮＩＣ(Network Interface Card)２０６は、モバイル端末１００を不図示のネットワークに接続するインターフェースである。カメラ制御部２０７は、カメラ１０４と接続し、カメラ１０４が撮影した被写体１０５の撮影画像をモバイル端末１００に取り込む。上述したＣＰＵ２０１〜カメラ制御部２０７は、バス２０８を介して相互にデータを送受信する。
【００１９】
（モバイル端末のソフトウェア機能）
次に、モバイル端末１００におけるソフトウェア機能について説明する。図３は、モバイル端末１００におけるソフトウェアの機能ブロック図である。図３に示される各ソフトウェア（アプリケーション）の機能を実現するプログラムは、モバイル端末１００のＲＯＭ２０３等に記憶されている。
【００２０】
モバイル端末１００のＯＳ(Operating System)は、データ管理部３０１を有する。データ管理部３０１は、画像データやアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ(Application Programming Interface)を提供する。モバイルアプリ３０２の各機能モジュールはその制御ＡＰＩを利用することにより、データ管理部３０１が管理する画像データやアプリケーションデータの取得や保存を行うことができる。
【００２１】
モバイルアプリ３０２は、ＯＳのインストール機能（例えばApple Store（登録商標）やGoogle Play（登録商標）など）を利用して、モバイル端末１００にダウンロードおよびインストールされることにより実行可能となる。モバイルアプリ３０２は、カメラ１０４によって撮影された被写体１０５の画像（以下「撮影画像」と記す）に対する各種のデータ処理を行う。なお、本実施形態において、撮影画像は、カメラ１０４が被写体１０５をリアルタイムで捕捉している画像をいう。
【００２２】
メイン制御部３０３は、モバイルアプリ３０２を統括制御し、後述する各モジュール３０３〜３１３に対する指示および管理を行う。
【００２３】
情報表示部３０４は、メイン制御部３０３の指示に従い、モバイルアプリ３０２のユーザインタフェース（以下「ＵＩ」とも記す）を提供する。ここで、図４を参照し、本実施形態においてタッチパネル１０２に表示されるＵＩの一例を説明する。モバイル端末画面４００の表示・操作領域４０１には、カメラ１０４が被写体１０５をリアルタイムで捕捉している撮影画像が表示される。このように、カメラ１０４が被写体１０５をリアルタイムで捕捉している撮影画像を表示することを、一般的にライブビュー表示とも言われる。モバイルアプリ３０２のＵＩは、表示・操作領域４０１に表示される撮影画像に対するユーザ操作を受け付けることができる。なお、モバイルアプリ３０２のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、図４に示される形態に限定されるものではなく、モバイル端末１００の機能に応じて適宜の形態を採用することができる。
【００２４】
再び図３に戻り、操作情報取得部３０５は、情報表示部３０４により表示されたモバイルアプリ３０２のＵＩにおいて、ユーザによる操作内容を示す操作情報を取得し、取得した操作情報をメイン制御部３０３に通知する。例えば、ユーザが表示・操作領域４０１を手で触れると、操作情報取得部３０５は、表示・操作領域４０１において触れられた位置情報を感知し、感知した位置情報をメイン制御部３０３に送信する。
【００２５】
画像取得部３０６は、タッチパネルに表示されるシャッターボタンＵＩ（不図示）が押下されることに応じて、またはカメラ１０４と被写体１０５とが所定の距離接近したと判定されることに応じて、撮影画像をキャプチャして静止画像を取得する。また、画像取得部３０６は、カメラ１０４が被写体１０５をリアルタイムで捕捉している撮影画像（ライブビュー画像）のうち、所望のフレームをフレーム画像として取得する。さらに、画像取得部３０６は、取得した画像に対して、任意の解像度に変換する解像度変換を行い、解像度変換後の画像を記憶部２０４に格納する。
【００２６】
画像解析部３０７は、撮影画像に対して、紙面検出処理や歪み補正処理を行う。
【００２７】
ここで、本実施形態における全体画像とフレーム画像とについて図５を参照して説明する。全体画像５００は、被写体１０５の全体が撮影されている撮影画像からキャプチャされた静止画像をいう。また、全体画像５００は、単にキャプチャされただけではなく、被写体１０５全体が含まれる静止画像に対して、紙面検出処理および歪み補正処理などの整形が行われた画像であってもよい。
【００２８】
一方、図５に示されるフレーム画像５０１は、カメラ１０４が被写体１０５に接近し、被写体１０５の局所領域をリアルタイムで捕捉している動画の１フレームである。全体画像５００と同様に、フレーム画像５０１に対しても、紙面検出処理および歪み補正処理などの整形が行われてもよい。図５の枠線５０２は、フレーム画像５０１が全体画像５００においてどこに位置するかを示している。
【００２９】
再び図３に戻り、特徴量抽出部３０８は、各画像の特徴量の抽出を行う。一般的に、文字、図形、記号などの端点や交差点などの特徴的なピクセル点を示す特徴量データは、特徴ベクトルと呼ばれる多次元のデータで表される。多次元データにおける次元数は特徴の種類が何種類あるかを示す。本実施形態の特徴量抽出部３０８は、このような特徴量データを抽出する。
【００３０】
特徴点取得部３０９は、各画像の特徴点の取得を行う。本実施形態では、各画像における特徴量が検出された位置を特徴点として取得する。特徴点の位置は、例えば、各画像の左上端を原点とする座標系における座標によって表される。
【００３１】
接近判定部３１０は、モバイル端末１００が被写体１０５に近づいたのかまたは遠ざかったのかを判別し、接近した距離や、モバイル端末画面４００に表示される被写体１０５の拡大率を示す拡大率情報をメイン制御部３０３に送信する。本実施形態において、接近判定部３１０は、全体画像５００における情報領域の面積と、フレーム画像５０１における情報領域の面積とを比較し、両面積の割合に基づいてモバイル端末１００と被写体１０５との接近率を判別することができる。あるいはまた、接近判定部３１０は、全体画像５００における特徴点の数と、フレーム画像５０１における特徴点の数とを比較し、両特徴点の数の増減に基づいてモバイル端末１００と被写体１０５との接近率を判別してもよい。
【００３２】
座標処理部３１１は、ＤＢ部３１３に座標を書き込む際に、座標系変換処理を行う。座標処理部３１１は、全体画像５００とフレーム画像５０１との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、座標系変換処理を行うことができる。
【００３３】
図６は、全体画像５００の左上を原点とした座標系（Ｘ，Ｙ）と、フレーム画像５０１の左上を原点とした座標系（Ｘ’，Ｙ’）との間で、座標系変換処理が行われる例を示す模式図である。線６０１は、全体画像５００から取得した特徴点と、フレーム画像５０１から取得した特徴点とを比較し、類似する特徴量を有することで同一の特徴点と判断された特徴点同士の対応を表している。このように、全体画像５００とフレーム画像５０１との間で、同一の特徴点同士の位置を比較することにより、座標系（Ｘ，Ｙ）と座標系（Ｘ’，Ｙ’）との間で、所定の領域が比較対象となる座標系においてどこに位置するかを特定することができる。
【００３４】
再び図３に戻り、分類特定部３１２は、取得した全体画像５００の特徴点に基づいてＤＢ部３１３を検索することにより、全体画像５００に対応する被写体１０５の文書分類（以下「文書フォーマット」とも記す）を特定する。
【００３５】
ＤＢ部３１３は、データベース機能を有し、被写体１０５をスキャン等することにより得られた文書画像（不図示）の特徴点と、文書分類（文書フォーマット）とが予め対応付けられた文書分類情報を管理する。さらに、文書分類情報では、文書画像においてＯＣＲ処理（文字認識処理）の対象となる情報が含まれる情報領域の座標が、上記文書分類に対応付けられている。つまり、モバイルアプリ３０２は、ＤＢ部３１３を参照することにより、全体画像５００の特徴点に基づいて、対応する被写体１０５の文書フォーマットと、文書フォーマットごとの情報領域の座標とを特定することができる。なお、文書分類情報を参照可能とするためには、文書フォーマットごとに文書画像の特徴点を用いて分類器の生成を行う準備フローが必要となるが、本実施形態においては、これら準備フローは既知とし、分類器の生成を行う処理手順の説明は割愛する。
【００３６】
（中間画像）
次に中間画像について図７を参照して説明する。ユーザがカメラ１０４を被写体１０５に接近させて撮影する場合、座標処理部３１１は、フレーム画像５０１の位置特定処理を行う。フレーム画像５０１が全体画像５００においてどこに位置するかを枠線５０２に示す。前述の通り、座標処理部３１１は、全体画像５００とフレーム画像５０１との間で、類似する特徴量を有する特徴点同士の位置を比較することにより、フレーム画像５０１が全体画像５００においてどこに位置するかを特定することができる。以降本明細書において、フレーム画像５０１の比較対象となる画像を比較画像と記す。本実施形態において、デフォルト設定では全体画像５００が比較画像となる。
【００３７】
しかしながら、カメラ１０４が被写体１０５に接近しすぎると、比較画像の特徴点と比較可能な、フレーム画像５０１の特徴点の数が減少してしまう。比較可能な特徴点の数が減少すると、比較画像とフレーム画像５０１との間で、特徴点同士の対応付けが困難になってしまう。この結果、座標処理部３１１によって行われる、フレーム画像５０１の位置特定処理の精度が低下してしまう。
【００３８】
そこで、本実施形態のモバイルアプリ３０２は、モバイル端末１００と被写体１０５とが一定の距離に接近したことを検知した場合、被写体１０５の局所領域を含む撮影画像をキャプチャして中間画像６００を取得する。
【００３９】
図７に示される通り、本実施形態の中間画像６００は、全体画像５００よりも被写体１０５に接近して撮影され、フレーム画像５０１よりも高い解像度の画像である。図７の枠線７０４は、中間画像６００がフレーム画像５０１においてどこに位置するかを示している。本実施形態において、カメラ制御部２０７は、画像取得部３０６の指示に応じて、撮影画像に対して圧縮処理を行う。このとき、カメラ制御部２０７は、撮影画像からフレーム画像５０１を取得する場合と、撮影画像から中間画像６００を取得する場合とで、それぞれ異なる圧縮率で圧縮処理を行う。例えば、カメラ１０４が、最大画素数１９２０×１０８０で撮影可能である場合、フレーム画像５０１を取得する場合は画素数３００×４００となるように圧縮され、中間画像６００を取得する場合は画素数６００×８００となるように圧縮される。これは、特徴量抽出部３０８が特徴量の抽出を行う際、撮影画像の各フレームに対して特徴量の抽出を行うため、処理対象の画像の解像度が大きいと特徴量の抽出処理に時間がかかってしまうためである。そのため、本実施形態では、取得頻度が少ない全体画像５００および中間画像６００は低い圧縮率で圧縮処理（解像度変換）が行われ、取得頻度が多いフレーム画像５０１は高い圧縮率で圧縮処理が行われる。上記理由により、本実施形態の中間画像６００は、全体画像５００と比較して被写体１０５の局所領域を撮影した画像となるため、ＯＣＲ処理対象となる情報領域の解像度の低下や、細部のピントのボケを軽減することができる。そのため、座標処理部３１１は、全体画像５００とフレーム画像５０１とを比較するよりも、中間画像６００とフレーム画像５０１との間で、類似する特徴点を有する特徴点同士の位置を比較する方が、精度の高い位置特定処理を行うことができる。
【００４０】
次に、座標処理部３１１は、新たに中間画像６００を比較画像に指定し、中間画像６００の位置特定処理を行う。このとき、座標処理部３１１は、中間画像６００が全体画像５００においてどこに位置するかを示す座標を、中間画像座標管理テーブル９２０に書き込む。なお、中間画像座標管理テーブル９２０の詳細については図９（ｂ）で後述する。
【００４１】
（座標系）
次に、本実施形態おける全体画像５００、フレーム画像５０１、中間画像６００それぞれの座標系について図８を参照して説明する。
【００４２】
本実施形態において、全体画像５００における任意の位置は、全体画像５００の左上を原点とする全体画像座標系８１０で特定することができる。同様に、フレーム画像５０１における任意の位置、中間画像６００における任意の位置は、それぞれフレーム画像座標系８２０、中間画像座標系８３０で特定することができる。図８に、横幅が１５００ｐｘ（ピクセル）、縦幅が２０００ｐｘの全体画像５００に対応する全体画像座標系８１０の模式図を示す。例えば、全体画像５００における「機種名：３８０１１２０」が記載されている領域８１１は、左上座標８１２（Ｘ，Ｙ）＝（２００，９００）、右下座標８１３（Ｘ，Ｙ）＝（４００，９６０）で特定することができる。前述の通り、分類特定部３１２は、文書フォーマットごとの情報領域の座標を特定することができる。全体画像５００の文書フォーマットが特定された場合、座標処理部３１１は、ＤＢ部３１３を参照して上記情報領域の座標を参照し、全体画像５００における情報領域７０１（例えば「数量：３」が含まれる領域）の座標と対応付ける。
【００４３】
図８には、さらに横幅が３００ｐｘ、縦幅が４００ｐｘのフレーム画像５０１に対応するフレーム画像座標系８２０と、横幅が６００ｐｘ、縦幅が８００ｐｘの中間画像６００に対応する中間画像座標系８３０と、が示される。全体画像５００における情報領域７０１と同様に、フレーム画像５０１における情報領域７０２と、中間画像６００における情報領域７０３とは、それぞれフレーム画像座標系８２０の座標と、中間画像座標系８３０の座標とで表すことができる。なお、上記各画像のサイズ（ピクセル数）はあくまで例示であり、上記の数値に限定されない。本実施形態では、画像取得部３０６によって解像度変換が行われるため、フレーム画像５０１と、比較画像となる全体画像５００および中間画像６００とのサイズ差がより大きくなる場合がある。
【００４４】
図６で説明した通り、本実施形態では、全体画像５００と、フレーム画像５０１との間で、類似する特徴量を有する特徴点同士の位置が比較されることにより、座標系の変換処理が行われる。フレーム画像５０１と中間画像６００との間においても、中間画像６００と全体画像５００との間においても同様に、座標処理部３１１は、類似する特徴量を有する特徴点同士の位置を比較することにより、座標系の変換処理を行うことができる。このような座標系の変換処理により、全体画像５００における情報領域７０１が、中間画像６００およびフレーム画像５０１のそれぞれにおいてどこに位置するかを特定することができる。
【００４５】
座標処理部３１１は、全体画像５００における情報領域７０１の座標から、中間画像６００における情報領域７０３の座標を、中間画像６００における情報領域７０３の座標から、フレーム画像５０１における情報領域７０２の座標を特定することができる。例えば、座標処理部３１１は、全体画像５００における情報領域７０１（「数量：３」が含まれる領域）の座標から、中間画像６００における情報領域７０３の座標と、フレーム画像５０１における情報領域７０２の座標とを特定することができる。
【００４６】
次に、ＤＢ部３１３が管理する座標管理テーブルについて、図９を参照して説明する。図９は、本実施形態における座標管理テーブル９１０，中間画像座標管理テーブル９２０それぞれのデータ構造の一例を示す模式図である。本実施形態において、各画像における各領域は、左上Ｘ座標をｍｉｎＸ、右下Ｘ座標をｍａｘＸ、左上Ｙ座標をｍｉｎＹ、右下Ｙ座標をｍａｘＹで表され、これらの座標はＤＢ部３１３によって各座標管理テーブルに書き込まれる。以下、（ｍｉｎＸ，ｍｉｎＹ）（ｍａｘＸ，ｍａｘＹ）で表される座標を「領域座標」と記す。
【００４７】
領域座標は、正規化されてＤＢ部３１３に書き込まれる。ここで、本実施形態における正規化とは、画像の大きさに対する座標の割合に１００００を掛け合わせることをいう。例えば、図８の全体画像５００は、横幅が１５００ｐｘ、縦幅が２０００ｐｘの大きさを有し、領域８１１の領域座標は、左上座標８１２（Ｘ，Ｙ）＝（２００，９００）、右下座標８１３（Ｘ，Ｙ）＝（４００，９６０）である。この場合、正規化された領域座標は、左上座標（Ｘ，Ｙ）＝（１３３３、４５００）、右下座標（Ｘ，Ｙ）＝（２６６６，４８００）となる。本実施形態において、ＤＢ部３１３に書き込む領域座標を正規化する理由は、撮影画像の横縦比が異なり、かつＤＰＩが異なる場合でも（カメラ１０４と被写体１０５とが接近して撮影しても、離れて撮影しても）対応可能とするためである。
【００４８】
本実施形態における座標管理テーブル９１０のデータ構造、および座標管理テーブルに保持される領域座標の一例が図９（ａ）に示される。座標管理テーブル９１０は、idカラムと、classificationカラムと、kindカラムと、middleimageカラムと、minXカラムと、maxXカラムと、minYカラムと、maxYカラムとから構成される。idカラムには、座標管理テーブル９１０にレコードが追加されるたびに１つずつ増加する値が格納され、これらの値は座標管理テーブル９１０のプライマリ・キーとして用いられる。classificationカラムには、分類特定部３１２による分類結果が格納される。すなわち、分類特定部３１２によって特定された文書フォーマットの種類が格納される。図９に示される例では、文書フォーマットの１つである「注文書１」がclassificationカラムに格納される。kindカラムには、全体画像５００における領域座標であるか、中間画像６００における領域座標であるかなどの座標系を識別する識別子が格納される。middleimageカラムには、中間画像座標管理テーブル９２０に保持されている、対応する中間画像を識別するmiddleimage idが格納される。minXカラムには、領域座標の左上Ｘ座標が格納される。maxXカラムには、領域座標の右下Ｘ座標が格納される。minYカラムには、領域座標の左上Ｙ座標が格納される。maxYカラムには、領域座標の右下Ｙ座標が格納される。
【００４９】
中間画像座標管理テーブル９２０は、middleimage idカラムと、classificationカラムと、minXカラムと、maxXカラムと、minYカラムと、maxYカラムとから構成される。middleimage idカラムには、中間画像座標管理テーブル９２０にレコードが追加されるたびに１ずつ増加する値が格納され、これらの値は中間画像座標管理テーブル９２０のプライマリ・キーとして用いられる。classificationカラムには、分類特定部３１２による分類結果が格納される。minXカラムには、全体画像５００における中間画像領域９２１’の左上Ｘ座標が格納される。maxXカラムには、全体画像５００における中間画像領域９２１’の右下Ｘ座標が格納される。minYカラムには、全体画像５００における中間画像領域９２１’の左上Ｙ座標が格納される。maxYカラムには、全体画像５００における中間画像領域９２１’の右下Ｙ座標が格納される。
【００５０】
図９（ａ）に示される通り、「電話番号：０８０−１２３４−１２３４」を含む領域９１１’に対応する文書フォーマット、座標系、領域座標は、座標管理テーブル９１０のレコード９１１に格納される。同様に、全体画像５００における「数量：３」を含む領域９１２’、９１３’に対応する文書フォーマット、座標系、領域座標も、座標管理テーブル９１０のレコード９１２、９１３にそれぞれ格納される。また、中間画像６００における「数量：３」を含む領域９１４’、９１５’に対応する文書フォーマット、座標系、領域座標も、座標管理テーブル９１０のレコード９１４、９１５にそれぞれ格納される。
【００５１】
全体画像５００における中間画像領域９２１’については、図９（ｂ）に示される通り、中間画像領域９２１’に対応する文書フォーマット、領域座標が、中間画像座標管理テーブル９２０のレコード９２１に格納される。本実施形態では、画像取得部３０６が中間画像６００を取得するたびに、新たなレコードが中間画像座標管理テーブル９２０に追加される。
【００５２】
（メイン処理）
次に、モバイルアプリ３０２によって実行される処理手順について、図１０のフローチャートを参照して説明する。本フローチャートは、モバイルアプリ３０２が、被写体１０５の撮影をカメラ制御部２０７に指示することをトリガーに開始される。なお、図１０〜図１２に示されるフローチャートによる処理は、記憶部２０４に格納されたモバイルアプリ３０２のプログラムコードがＲＡＭ２０２に展開され、ＣＰＵ２０１によって実行される。また、以降で記す記号Ｓは、フローチャートにおけるステップであることを意味する。
【００５３】
Ｓ１００１において、モバイルアプリ３０２は、カメラ制御部２０７を介して、カメラ１０４に被写体１０５の撮影を指示する。画像取得部３０６は、カメラ１０４によって撮影された撮影画像をキャプチャして静止画像を取得する。さらに、画像解析部３０７は、静止画像に対して紙面検出処理および歪み補正処理を行い、全体画像５００を取得する。
【００５４】
Ｓ１００２において、特徴点取得部３０９は、Ｓ１００１で取得した全体画像５００の特徴点を取得する。すなわち、全体画像５００のうち、特徴量抽出部３０８によって抽出された特徴量が検出された座標が取得される。
【００５５】
Ｓ１００３において、分類特定部３１２はＤＢ部３１３を参照し、Ｓ１００２で取得した特徴点に基づいて全体画像５００の分類を特定する。すなわち、分類特定部３１２は、ＤＢ部３１３に保持されている各文書画像の特徴点と、Ｓ１００２で取得した全体画像５００の特徴点とを比較し、全体画像５００の文書フォーマットを特定する。
【００５６】
Ｓ１００４において、全体画像５００が比較画像に設定される。
【００５７】
Ｓ１００５において、画像取得部３０６は、カメラ１０４が被写体１０５をリアルタイムで捕捉している動画のうち、１フレームをフレーム画像として取得する。
【００５８】
Ｓ１００６において、特徴点取得部３０９は、Ｓ１００５で取得したフレーム画像５０１の特徴点を取得する。
【００５９】
Ｓ１００７において、座標処理部３１１は、Ｓ１００５で取得したフレーム画像５０１と、Ｓ１００４で設定された比較画像（全体画像５００）とを比較して、フレーム画像５０１における情報領域７０２の位置を特定する。すなわち、座標処理部３１１は、フレーム画像５０１と比較画像との間で、類似する特徴量を有する特徴点同士の位置を比較し、比較画像における情報領域が、フレーム画像５０１においてどこに位置するかを特定する。
【００６０】
Ｓ１００８において、情報表示部３０４は、Ｓ１００７で特定した情報領域７０２を囲む枠線を、フレーム画像５０１に重畳してタッチパネル１０２に表示する（図７）。なお、情報領域を囲む枠線は、後述のＯＣＲの対象となる情報領域をユーザに分かりやすく示すためのものであり、タッチパネル１０２への表示態様は、枠線の他、情報領域と情報領域以外の領域とを異なる色で表示するハイライト表示などであってもよい。
【００６１】
Ｓ１００９において、後述の中間画像取得判定のサブルーチンに移行し、中間画像６００を取得するか否かの判定が行われる。
【００６２】
（中間画像取得判定）
ここで、Ｓ１００９の中間画像取得判定の処理手順について、図１１を参照して説明する。本フローチャートは、比較画像の設定後、ユーザがカメラ１０４と被写体１０５との撮影距離を変更することをトリガーに開始される。
【００６３】
Ｓ１１０１において、接近判定部３１０は、カメラ１０４が被写体１０５から遠ざかったか否かを判定する。カメラ１０４が被写体１０５から遠ざかった場合（Ｓ１１０１：ＹＥＳ）、Ｓ１１０２に移行する。カメラ１０４が被写体１０５から遠ざかっていない場合（Ｓ１１０１：ＮＯ）、Ｓ１１０５に移行する。
【００６４】
Ｓ１１０２において、画像取得部３０６は、カメラ１０４が被写体１０５から遠ざかった状態でフレーム画像５０１を取得する。
【００６５】
Ｓ１１０３において、接近判定部３１０は、カメラ１０４が被写体１０５から所定の距離遠ざかったか否かを判定する。カメラ１０４が被写体１０５から所定の距離遠ざかった場合（Ｓ１１０３：ＹＥＳ）、Ｓ１１０４に移行する。カメラ１０４が被写体１０５から所定の距離遠ざかっていない場合（Ｓ１１０３：ＮＯ）、再びＳ１１０１に戻る。
【００６６】
Ｓ１１０４において、比較画像に設定されている中間画像よりも、被写体１０５から離れて撮影された中間画像６００が再び比較画像に設定される。本実施形態では、カメラ１０４と被写体１０５との撮影距離が短くなるごとに、前回取得した中間画像６００よりも被写体１０５に接近して撮影された中間画像６００が段階的に取得される。このとき、撮影距離が短いほどカメラ１０４は被写体１０５を近距離で撮影するため、中間画像６００に含まれる情報領域７０３は段階的に大きくなる。Ｓ１１０４は、カメラ１０４と被写体１０５との撮影距離が離れた場合を考慮した処理である。前回判定されたときよりも撮影距離が離れた場合、前回比較画像に設定された中間画像６００よりも小さな情報領域７０３を含む中間画像６００が記憶部２０４から読み出され、比較画像に設定される。なお、Ｓ１１０４において、全体画像５００が比較画像に設定されていた場合、Ｓ１１０４をスキップして再びＳ１１０１に戻る。
【００６７】
Ｓ１１０５において、画像取得部３０６は、カメラ１０４が被写体１０５から近づいた状態でフレーム画像５０１を取得する。
【００６８】
Ｓ１１０６において、フレーム画像５０１に情報領域７０１が含まれているか否かが判定される。情報領域７０１が含まれている場合（Ｓ１１０６：ＹＥＳ）、Ｓ１１０７に移行する。情報領域７０１が含まれていない場合（Ｓ１１０６：ＮＯ）、すなわち情報領域７０１がフレーム画像５０１からフレームアウトしている場合は、Ｓ１１０８に移行する。
【００６９】
Ｓ１１０７において、接近判定部３１０は、カメラ１０４が被写体１０５に所定の距離近づいたか否かを判定する。カメラ１０４が被写体１０５に所定の距離近づいた場合（Ｓ１１０７：ＹＥＳ）、Ｓ１１０９に移行する。カメラ１０４が被写体１０５に所定の距離近づいていない場合（Ｓ１１０７：ＮＯ）、Ｓ１１１０に移行する。
【００７０】
一方、フレーム画像５０１に情報領域７０１が含まれていない場合（Ｓ１１０６：ＮＯ）、Ｓ１１０８において全体画像５００が比較画像に設定される。
【００７１】
カメラ１０４が被写体１０５に所定の距離近づいた場合（Ｓ１１０７：ＹＥＳ）、Ｓ１１０９において中間画像６００を取得すると判定される。本実施形態では、中間画像６００を取得する／取得しないことを示す情報を、フラグを用いて管理することができる。例えば、中間画像６００を取得する場合はフラグの値を「１」とし、中間画像６００を取得しない場合はフラグの値を「０」とすることにより、中間画像取得判定の結果を保持することができる。
【００７２】
カメラ１０４が被写体１０５に所定の距離近づいていない場合（Ｓ１１０７：ＮＯ）、Ｓ１１１０において中間画像６００を取得しないと判定される。中間画像取得判定が終了すると（Ｓ１１０９、Ｓ１１１０）、本フローチャートによる処理を終了し、再び図１０のメインフローチャートに復帰する。
【００７３】
再び図１０のフローチャートに戻り、Ｓ１０１０において、Ｓ１００９の中間画像取得判定の結果に基づき、中間画像６００を取得するか否かが判定される。中間画像６００を取得する場合（Ｓ１０１０：ＹＥＳ）は中間画像取得処理のサブルーチン（Ｓ１０１１）に移行し、中間画像を取得しない場合（Ｓ１０１０：ＮＯ）は再びＳ１００９に戻る。
【００７４】
（中間画像取得）
ここで、Ｓ１０１１の中間画像取得の処理手順について、図１２を参照して説明する。
【００７５】
Ｓ１２０１において、画像取得部３０６は、カメラ１０４によって撮影された被写体１０５の撮影画像をキャプチャして静止画像を取得する。さらに、画像解析部３０７は、静止画像に対して紙面検出処理および歪み補正処理を行い、中間画像６００を取得する。前述の通り、本実施形態では、画像取得部３０６は低い圧縮率で撮影画像のキャプチャを行い、フレーム画像５０１よりも高い解像度の静止画像（中間画像）を取得する。
【００７６】
Ｓ１２０２において、特徴点取得部３０９は、Ｓ１２０１で取得した中間画像６００の特徴点を取得する。
【００７７】
Ｓ１２０３において、座標処理部３１１は、Ｓ１００１で取得した全体画像５００と、Ｓ１２０２で取得した中間画像６００とを比較して、中間画像６００における情報領域７０３の位置を特定する。すなわち、座標処理部３１１は、全体画像５００と中間画像６００との間で、類似する特徴量を有する特徴点同士の位置を比較し、全体画像５００における情報領域７０１が、中間画像６００においてどこに位置するかを特定する。
【００７８】
Ｓ１２０４において、Ｓ１２０１で取得した中間画像６００が記憶部２０４に保存される。
【００７９】
Ｓ１２０５において、Ｓ１２０２で取得した中間画像６００の特徴点（および特徴点が有する特徴量）と、中間画像６００における情報領域の領域座標と、がＤＢ部３１３に書き込まれる。Ｓ１２０５が終了すると、本フローチャートによる処理を終了し、再び図１０のフローチャートに復帰する。
【００８０】
再び図１０のフローチャートに戻り、Ｓ１０１２において、Ｓ１２０１で今回取得した中間画像６００が比較画像に設定される。
【００８１】
Ｓ１０１３において、座標処理部３１１は、Ｓ１１０２またはＳ１１０５で取得したフレーム画像５０１と、Ｓ１０１２で設定された比較画像（中間画像６００）とを比較して、フレーム画像５０１における情報領域７０２の位置を特定する。すなわち、座標処理部３１１は、フレーム画像５０１と比較画像（中間画像６００）との間で、類似する特徴量を有する特徴点同士の位置を比較し、比較画像における情報領域が、フレーム画像５０１においてどこに位置するかを特定する。
【００８２】
Ｓ１０１４において、情報表示部３０４は、Ｓ１０１３で特定した情報領域を囲む枠線を、フレーム画像５０１に重畳してタッチパネル１０２に表示する（図７）。
【００８３】
Ｓ１０１５において、フレーム画像５０１における情報領域に対してＯＣＲ処理が行われる。
【００８４】
Ｓ１０１６において、情報表示部３０４は、Ｓ１０１５のＯＣＲ結果をタッチパネル１０２に表示する。
【００８５】
Ｓ１０１７において、ＯＣＲ再実行指示の入力を受け付けたか否かが判定される。Ｓ１０１６において、情報表示部３０４は、ＯＣＲ結果と共にＯＣＲ再実行指示の入力を受け付けるＵＩ（不図示）をタッチパネル１０２に表示する。ユーザはＯＣＲ結果を目視で確認し、被写体１０５（本実施形態では「注文書」）に印刷または記入されている文字が正しく認識されていない場合、上記ＵＩを介してＯＣＲ再実行指示を入力する。ＯＣＲ再実行指示が入力された場合（Ｓ１０１７：ＹＥＳ）、再びＳ１００９からＳ１０１７を繰り返す。一方、上記ＵＩを介してＯＣＲ終了指示が入力された場合（Ｓ１０１７：ＮＯ）は、本フローチャートによる処理を終了する。
【００８６】
以上説明した通り、本実施形態のモバイル端末は、全体画像よりも被写体に接近して撮影された中間画像を比較画像とし、フレーム画像と比較画像との間で、類似する特徴点同士の位置を比較することにより、フレーム画像における情報領域を特定する。かかる構成により、本実施形態のモバイル端末は、被写体に接近して撮影したフレーム画像において、所望の情報が含まれる領域を高い精度で特定することができる。
【００８７】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018055338.tif 000003
【図２】
2018055338.tif 000004
【図３】
2018055338.tif 000005
【図４】
2018055338.tif 000006
【図５】
2018055338.tif 000007
【図６】
2018055338.tif 000008
【図７】
2018055338.tif 000009
【図８】
2018055338.tif 000010
【図９】
2018055338.tif 000011
【図１０】
2018055338.tif 000012
【図１１】
2018055338.tif 000013
【図１２】
2018055338.tif 000014