(57)【要約】      （修正有）【課題】撮影サイズやピントの調整が必要なカメラを使いＯＣＲを行う場合の、何度も撮影をやり直す手間を解消する情報処理装置、プログラム及び制御方法を提供する。【解決手段】カメラにより連続撮影されている画像をブロックセレクションし、撮影の中心付近のオブジェクトのみをＯＣＲして、入力部で受け付けた特定のキーワードと一致するテキストがあるかを判定する。一致するテキストがあった場合は、ＯＣＲした画像の該当する領域を第１の方法でハイライト表示し、前記領域の近傍にあるオブジェクトをＯＣＲしてテキスト判定された画像の該当する領域を第２の方法でハイライト表示して、連続撮影を停止するトリガーボタンを表示し、さらに、第２の方法でハイライト表示している部分を選択可能な領域として、第２の方法でハイライト表示している部分の選択の有無を判定し、選択された場合には、該部分のテキストを必要な情報として取り込む。【選択図】図５
2017117027.tif 000002
【特許請求の範囲】
【請求項１】
特定のキーワードを受け付ける入力部を具備しており（Ｓ５０１、４０２）、
さらに、カメラにより連続撮影されている画像をブロックセレクションし（Ｓ５０２）、撮影の中心付近のオブジェクトのみをＯＣＲして（Ｓ５０３）、前記受け付けたキーワードと一致するテキストがあるかを判定する（Ｓ５０４）。
さらに、一致するテキストがあった場合は（Ｓ５０４：Ｙｅｓ）、ＯＣＲした画像の該当する領域を第１の方法でハイライト表示し（Ｓ５０５、６０１）、さらに、前記領域の近傍にあるオブジェクトをＯＣＲしてテキスト判定された画像の該当する領域を第２の方法でハイライト表示し（Ｓ５０６、６０２、６０３）、
さらに、連続撮影を停止するトリガーボタンを表示し（Ｓ５０７、６０４）、
さらに、第２の方法でハイライト表示している部分を選択可能な領域とし（Ｓ５１０）、
さらに、第２の方法でハイライト表示している部分の選択の有無を判定し（Ｓ５１１）、
選択された場合には（Ｓ５１１：Ｙｅｓ）、該部分のテキストを必要な情報として取り込む（Ｓ５１２）ことを特徴とする情報処理装置。
【請求項２】
第二の方法でハイライト表示しているオブジェクトに対して全てＯＣＲし、ＯＣＲした結果のテキストをユーザーが選択可能な方法で一覧表示することを特徴とする（７０１、７０２、７０３、７０４）請求項１に記載の情報処理装置。
【請求項３】
良好な撮影状態が維持され、ＯＣＲ結果として特定閾値以上の認識率を持ったテキストが得られた場合、特定閾値以下の認識率で得ていた一方のテキストを一覧表示から削除することを特徴とする（８０１、８０２）請求項１又は請求項２に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、プログラム及び制御方法に関する。
【背景技術】
【０００２】
カメラを含むモバイル端末は一般的なものになってきた。従来、ユーザーは紙文書を電子的に取り込むためにスキャナなどを利用していたが、モバイル端末のカメラを利用することで簡単に紙文書を電子的に取り込むことが出来るようになった。特許文献１は、カメラを利用して取り込んだ画像に対してＯＣＲを実施するための技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本明細書ではカメラで取り込んだ紙文書の画像からＯＣＲによりテキスト情報を取得し利用する構成について検討する。近年、スマートフォンやスマートタブレットといったモバイル端末を使用し、手軽に紙文書の画像からテキスト情報を入手したいニーズがある。
【０００５】
しかし、撮影サイズやピントの調整が必要なカメラを使う場合において、ＯＣＲを行うのに十分な品質の画像が撮影できるとは限らず、何度も撮影をやり直す手間が課題となっている。
【０００６】
そこで、本発明は、紙文書に対して接近して画像を取り込む際に、必要なテキストを正確に取り込む補助を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る情報処理装置は、
特定のキーワードを受け付ける入力部を具備しており、
さらに、カメラにより連続撮影されている画像をブロックセレクションし、撮影の中心付近のオブジェクトのみをＯＣＲして、前記受け付けたキーワードと一致するテキストがあるかを判定する。
さらに、一致するテキストがあった場合は、ＯＣＲした画像の該当する領域を第１の方法でハイライト表示し、さらに、前記領域の近傍にあるオブジェクトをＯＣＲしてテキスト判定された画像の該当する領域を第２の方法でハイライト表示し、
さらに、連続撮影を停止するトリガーボタンを表示し、
さらに、第２の方法でハイライト表示している部分を選択可能な領域とし、
さらに、第２の方法でハイライト表示している部分の選択の有無を判定し、
選択された場合には、該部分のテキストを必要な情報として取り込むことを特徴とする。
【発明の効果】
【０００８】
本発明の情報処理装置によれば、連続撮影の中でリアルタイムにキーワード部分を判定し、さらにその近傍の候補を選択可能な形式で提示することで、ユーザーは容易に必要なテキストのみを選択して取り込むことができるので、静止画撮影時に発生していた撮影を繰り返す手間を解消することができる。
【図面の簡単な説明】
【０００９】
【図１】モバイル端末の外観の一例を示す図である。
【図２】モバイル端末のハードウェア構成の一例を示す図である。
【図３】モバイル端末のソフトウェア構成の一例を示す図である。
【図４】モバイルアプリで表示可能なＵＩの一例を示す図である。
【図５】モバイルアプリの基本フロー示すフローチャートである。
【図６】画像分類処理の一例を示す図である。
【図７】モバイルアプリで表示可能なＵＩの一例を示す図である。
【図８】モバイルアプリで表示可能なＵＩの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面などを参照して説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。
【００１１】
［実施例１］
［外観］
本実施形態に係る情報処理装置の一例として、モバイル端末を例に説明する。モバイル端末は、携帯端末の一例であり、無線通信機能などの装備によって自由な場所で利用できる端末である。
【００１２】
図１はモバイル端末の外観の一例を示す図である。
【００１３】
モバイル端末１００は、各種のユニット（１０１〜１０４）を含んで構成される。モバイル端末１００の表側がモバイル端末前面部１０１である。タッチパネル１０２は、ディスプレイ等の表示部の一例であり、出力（表示）と入力との２つの機能を備えている。さらに、モバイル端末１００の裏側がモバイル端末背面部１０３である。モバイル端末背面部１０３は画像を取り込むためのカメラ１０４を含む。本実施形態では、モバイル端末１００のユーザーは、被写体１０５の画像を後述のモバイルアプリで撮ることによって処理を開始することができる。被写体１０５は、Ａ４サイズの紙文書の注文書である。被写体１０５は、紙文書だけに限らず、名刺、写真、ホワイトボードなどを含むことができる。後述のモバイルアプリは、被写体１０５の画像を取り込み、タッチパネル１０２にその画像を出力することができる。
【００１４】
［ハードウェア構成］
図２はモバイル端末１００のハードウェアの構成の一例を示す図である。
【００１５】
モバイル端末１００は、各種のユニット（２０１〜２０７）を含んで構成される。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、各種の情報を記憶するユニットである。また、ＲＡＭ２０２は、ＣＰＵ２０１の一時的な作業記憶領域としても利用されるユニットである。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３は、各種のプログラム等を記憶するユニットである。例えば、本発明の実施形態は、ＲＯＭ２０３に記憶されているプログラムをＲＡＭ２０２にロードし、ＣＰＵ２０１で実行することにより実現される。
【００１６】
加えて、ＣＰＵ２０１がフラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｉｓｋ）といった外部記憶装置に記憶されているプログラムに基づき処理を実行する。これにより、図３に示されるようなモバイル端末１００を構成するソフトウェア構成及び後述するシーケンスの各ステップの処理が実現される。
【００１７】
なお、モバイル端末１００の機能及び後述するシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現してもよい。
【００１８】
Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０４は、タッチパネル１０２とデータを送受信する。
【００１９】
ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）２０５は、モバイル端末１００をネットワーク（不図示）に接続するためのユニットである。
カメラモユニット２０６は、カメラ１０４と接続し被写体１０５の画像をモバイル端末１００に取り込む。上述したユニットは、バス２０７を介してデータの送受信を行うことが可能に構成されている。
【００２０】
［ソフトウェア構成（モバイル端末）］
次に、モバイル端末１００におけるソフトウェアの構成について説明する。図３はモバイル端末１００のソフトウェア構成の一例を示す図である。
【００２１】
図３に示される各ソフトウェア（アプリケーション）における機能（モジュール部）を実現するプログラムは、各装置のＲＯＭ２０３等に記憶されている。
【００２２】
モバイル端末１００のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）（不図示）は、データ管理部３０１を有する。
【００２３】
データ管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  ＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）を提供している。各アプリはその制御ＡＰＩを利用することでデータ管理部３０１が管理する画像やアプリケーションデータの取得や保存を行う。
【００２４】
モバイルアプリ（モバイルアプリケーション）３０２は、モバイル端末１００のＯＳのインストール機能（例えばＡｐｐｌｅ  ＳｔｏｒｅやＧｏｏｇｌｅ  Ｐｌａｙ）を利用して、ダウンロードしインストールすることにより実行可能なアプリケーションである。モバイルアプリ３０２は、カメラモユニット２０６を介して取り込んだ被写体１０５の画像に対する各種のデータ処理を行う。
【００２５】
メイン制御部３０３は、モバイル端末１００用のアプリケーション（モバイルアプリ）３０２を制御し、後述する各モジュール部（３０３〜３１３）に対する指示、及び管理を行う。
【００２６】
情報表示部３０４は、メイン制御部３０３からの指示に従い、モバイルアプリ３０２のユーザインタフェース（ＵＩ）をユーザーに提供する。
【００２７】
図４はモバイルアプリ３０２のＵＩ（携帯端末用のＵＩ）を提供する画面の一例（モバイル端末画面４００）を示す図である。
【００２８】
モバイル端末画面４００は、モバイル端末１００のタッチパネル１０２に表示される。また、モバイル端末画面４００では、表示および操作領域４０１にカメラ１０４を介して取り込んだ画像が表示され、画像等に対するユーザーによる操作（ユーザ操作）を、表示されたＵＩを介して受け付ける。
【００２９】
なお、モバイルアプリ３０２のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、図に示す形態に限定されるものではなく、モバイル端末１００の機能を実現することができる適宜の構成を採用することができる。
【００３０】
再び図３に戻ってモバイルアプリ３０２の各モジュールの説明を行う。
【００３１】
操作情報取得部３０５は、情報表示部３０４により表示されたモバイルアプリ３０２のＵＩがユーザー操作された情報を取得し、取得した情報をメイン制御部３０３に通知する。例えば、表示および操作領域４０１をユーザーが手で触れると、操作情報取得部３０５は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０３に送信する。
【００３２】
画像解析部３０６は、カメラモユニット２０６を介して取得したカメラ入力画像を解析して、レイアウト情報を生成する。レイアウト情報には、画像から抽出された矩形領域とその種別（テキスト、図形、線、表など）といったブロックセレクションが含まれる。
【００３３】
ＯＣＲ部３０７は、画像解析部３０６で抽出した矩形領域に対して、ＯＣＲ（光学文字認識）処理を行う。
【００３４】
記憶部３０９は、操作情報取得部３０５を介して、換言するならばモバイルアプリ３０２のＵＩを介して、ユーザーにより入力された設定値を保存（永続化）する。
【００３５】
次に、モバイル端末１００における基本的な処理フローについて図５を用いて説明する。
【００３６】
本フローは、ユーザーによりモバイル端末１００におけるモバイルアプリ３０２で被写体１０５に対してカメラ１０４を接近して画像を取得することをトリガーに開始する。
【００３７】
ステップＳ５００において、モバイルアプリ３０２は、カメラモユニット２０６を介して被写体１０５の連続撮影を開始する。また、モバイルアプリ３０２は、連続撮影した画像を切り替えながらＵＩに表示するため、ユーザーは動画を撮影しているように見ることができる。
【００３８】
ステップＳ５０１において、モバイルアプリ３０２は、４０２に示すようにＵＩ上で設定されたキーワードを取得する。キーワードはユーザーが手動で入力しても良いし、あるいは、モバイルアプリ３０２が帳票認識の結果などから事前に設定されていても良い。
【００３９】
ステップＳ５０２において、モバイルアプリ３０２は、連続撮影している画像に対してブロックセレクションする。さらに、ステップＳ５０３において、モバイルアプリ３０２は、前記ブロックセレクションしたオブジェクトのうち、中心付近にあるテキストのオブジェクトに対してＯＣＲしてテキストを得る。なお、ＯＣＲは処理に時間が掛かるため、撮影の中心付近にあるテキストのオブジェクトに対してのみＯＣＲし、連続撮影の遅延ができる限り発生しないようにしている。
【００４０】
ステップＳ５０４において、モバイルアプリ３０２は、ステップＳ５０３で実施したＯＣＲで得たテキストと、ステップＳ５０１で実施したキーワードのテキストの比較を行い、一致するテキストがあるかを判定する。一致するテキストがある場合（ステップＳ５０４：Ｙｅｓ）、処理をステップＳ５０５に進める。一致するテキストが無い場合（ステップＳ５０４：Ｎｏ）、処理をステップＳ５０２に戻す。
【００４１】
ステップＳ５０５において、モバイルアプリ３０２は、図６の６０１に示すようにＯＣＲした画像の該当する領域を第一の方法でハイライト表示する。さらに、ステップＳ５０６において、モバイルアプリ３０２は、図６の６０２、６０３に示すように、ステップＳ５０５で第一の方法でハイライト表示された領域の近傍にあるオブジェクトのうち、テキスト判定された画像の該当する領域を、第一の方法と区別できる第二の方法でハイライト表示する。
【００４２】
ステップＳ５０７において、モバイルアプリ３０２は、図６の６０４に示すような連続撮影を停止するトリガーボタンを表示する。さらに、ステップＳ５０８において、前記連続撮影を停止するボタンが押下されたかを判定し、押された場合には（ステップＳ５０８：Ｙｅｓ）、処理をステップＳ５０９に進める。ステップＳ５０９では、ステップ５００から続いている連続撮影を停止する。ステップＳ５０８において、前記連続撮影を停止するボタンが押下されなかった場合には、処理をステップＳ５１０に進める。
【００４３】
ステップＳ５１０において、モバイルアプリ３０２は、ステップＳ５０６で実行した第二の方法でハイライト表示している部分（６０２、６０３）をタップ可能な領域に変更する。さらに、ステップＳ５１１において、モバイルアプリ３０２は、前記第二の方法でハイライト表示している領域に対して、モバイルアプリ３０２の操作者からタップがあったかを判定する。モバイルアプリ３０２のユーザーからタップがあった場合（ステップＳ５１１：Ｙｅｓ）、処理をステップＳ５１２に進める。また、モバイルアプリ３０２のユーザーからタップが無い場合（ステップＳ５１１：Ｎｏ）、処理をステップＳ５０２に戻す。
【００４４】
ステップＳ５１２において、モバイルアプリ３０２は、モバイルアプリ３０２のユーザーからタップのあった領域のオブジェクトをＯＣＲし、ユーザーが選択したテキストとしてアプリケーション３０２に取り込む。
【００４５】
以上の処理により、連続撮影の中でリアルタイムにキーワード部分を判定し、さらにその近傍の候補を選択可能な形式で提示することでユーザーは容易に必要なテキストのみを選択して取り込むことができるので、静止画撮影時に発生していた撮影を繰り返す手間を解消することができる。
【００４６】
［実施例２］
実施例１のステップＳ５１１の、第二の方法でハイライト表示している部分に対するタップ操作において、オブジェクトが密集している場合は目的のテキストオブジェクトのタップがしづらく、ユーザーは目的とは異なるテキストを誤って取り込んでしまう場合がある。また、ＯＣＲの精度は常に高いというわけではなく、撮影状態によっては同一オブジェクトに対して結果が異なる場合がある。
【００４７】
そのため、実施例２においてモバイルアプリ３０２は、Ｓ５０６のタイミングにおいて、第二の方法でハイライト表示しているオブジェクトをＯＣＲし、図７の７０１に示すようにユーザーが選択可能な方法で一覧表示する。また、連続撮影の中では、同一オブジェクトに対して複数回のＯＣＲ処理が行われるが、そのＯＣＲの結果として得るテキストは、撮影状態によって異なる場合がある。そのとき、モバイルアプリ３０２は、７０２、７０３に示すように、いずれのテキストも一覧表示に加える。
【００４８】
さらに、良好な撮影状態が維持され、ＯＣＲ結果として特定閾値以上の認識率を持ったテキストが得られた場合、特定閾値以下の認識率で得ていたもう一方のテキストを前記一覧表示から削除し（図７の７０２を削除）、図８の８０１、８０２に示すような表示に更新する。
【００４９】
以上の処理により、オブジェクトが密集している場合に目的のテキストオブジェクトのタップがしづらくなる現象を解消できるので、ユーザーは目的のテキストを容易に取り込むことができる。
【００５０】
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５１】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００５２】
１００  モバイル端末、１０１  モバイル端末前面部、１０２  タッチパネル、
１０３  モバイル端末背面部、１０４  カメラ、１０５  被写体
【図１】
2017117027.tif 000003
【図２】
2017117027.tif 000004
【図３】
2017117027.tif 000005
【図４】
2017117027.tif 000006
【図５】
2017117027.tif 000007
【図６】
2017117027.tif 000008
【図７】
2017117027.tif 000009
【図８】
2017117027.tif 000010