(57)【要約】【課題】  プレートのエッジを検出しにくい被写体を撮影する際にも、文字切れのない適切な認識対象範囲が画像に含まれているか判定できるようにする。【解決手段】  本発明の情報処理装置は、画像から線分を検出し、当該検出された線分に基づいて、プレートの４辺が検出されたか判定する。プレートの４辺が検出されたと判定された場合、当該検出された４辺の縦横比を算出して、縦横比が第１の条件を満たすか判定する。また、プレートの４辺が検出されなかったと判定された場合、当該検出された線分の近傍からオブジェクトを探索し、当該オブジェクトが第２の条件を満たすか判定する。そして、第１の条件もしくは第２の条件を満たすと判定した場合、前記画像に認識対象範囲が含まれると判断する。【選択図】  図１
2017162150.tif 000002
【特許請求の範囲】
【請求項１】
画像から線分を検出する線分検出手段と、
前記線分検出手段で検出された線分に基づいて、プレートの４辺が検出されたか判定する第１の判定手段と、
前記判定手段によりプレートの４辺が検出されたと判定された場合、当該検出された４辺の縦横比を算出する第１の算出手段と、
前記算出手段で算出された縦横比が第１の条件を満たすか判定する第２の判定手段と、
前記判定手段によりプレートの４辺が検出されなかったと判定された場合、当該検出された線分の近傍からオブジェクトを探索し、当該オブジェクトが第２の条件を満たすか判定する第３の判定手段と、
前記第２の判定手段で前記縦横比が第１の条件を満たすと判定した場合、もしくは、前記第３の判定手段で前記オブジェクトが第２の条件を満たすと判定した場合、前記画像に認識対象範囲が含まれると判断する判断手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記判断手段で前記画像に前記認識対象範囲が含まれると判断した場合、所定のフレーム数の動画像に基づいて複数枚の静止画を抽出し、各静止画における前記認識対象範囲のエッジ量を算出する第２の算出手段と、
前記第２の算出手段で算出されたエッジ量が閾値以上となった静止画に対して、文字認識処理を実行する文字認識手段と、
を更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
コンピュータを、請求項１または２に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項４】
画像から線分を検出する線分検出ステップと、
前記線分検出ステップで検出された線分に基づいて、プレートの４辺が検出されたか判定する第１の判定ステップと、
前記判定ステップによりプレートの４辺が検出されたと判定された場合、当該検出された４辺の縦横比を算出する第１の算出ステップと、
前記算出ステップで算出された縦横比が第１の条件を満たすか判定する第２の判定ステップと、
前記判定ステップでプレートの４辺が検出されなかったと判定された場合、当該検出された線分の近傍からオブジェクトを探索し、当該オブジェクトが第２の条件を満たすか判定する第３の判定ステップと、
前記第２の判定ステップで前記縦横比が第１の条件を満たすと判定した場合、もしくは、前記第３の判定ステップで前記オブジェクトが第２の条件を満たすと判定した場合、前記画像に認識対象範囲が含まれると判断する判断ステップと、
を有することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に認識対象範囲が含まれているか判定可能な情報処理装置に関する。
【背景技術】
【０００２】
特許文献１には、カメラ等で撮像された撮像画像内から所定形状のマーカーを検出し、当該検出したマーカーに基づいて、認識対象範囲の位置や大きさなどが望ましい条件で撮像画像内に含まれているか判断する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０１６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、被写体にマーカーが含まれている必要がある。したがって、特許文献１の技術では、明確なマーカーが付与されていない被写体を撮影する場合には、認識対象領域が撮影画像内に含まれているかどうか自動的に判定することはできない。
【０００５】
文字認識対象となる文字列を含むプレートを撮影する際は、プレート全体が全て撮影されていることを認識できれば、そのプレート内の認識対象領域も撮影画像内に含まれていることが特定できる。しかしながら、該プレートとその背景との色が類似していると、プレートのエッジを明確に検出するのが困難となり、プレートの領域を完全に特定できるとは限らない。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の情報処理装置は、画像から線分を検出する線分検出手段と、前記線分検出手段で検出された線分に基づいて、プレートの４辺が検出されたか判定する第１の判定手段と、前記判定手段によりプレートの４辺が検出されたと判定された場合、当該検出された４辺の縦横比を算出する第１の算出手段と、前記算出手段で算出された縦横比が第１の条件を満たすか判定する第２の判定手段と、前記判定手段によりプレートの４辺が検出されなかったと判定された場合、当該検出された線分の近傍からオブジェクトを探索し、当該オブジェクトが第２の条件を満たすか判定する第３の判定手段と、前記第２の判定手段で前記縦横比が第１の条件を満たすと判定した場合、もしくは、前記第３の判定手段で前記オブジェクトが第２の条件を満たすと判定した場合、前記画像に認識対象範囲が含まれると判断する判断手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明の情報処理装置によれば、プレートのエッジを検出しにくい被写体を撮影する際にも、文字切れのない適切な認識対象範囲が画像に含まれているか判定できる。
【図面の簡単な説明】
【０００８】
【図１】モバイル端末の外観の一例
【図２】モバイル端末のハードウェア構成例
【図３】モバイル端末のソフトウェア構成例
【図４】モバイルアプリのＵＩの一例
【図５】カメラ入力画像の例
【図６】カメラ入力画像の例
【図７】カメラ入力画像の例
【図８】カメラ入力画像の例
【図９】処理フローを示す図
【図１０】モバイルアプリの管理する被写体情報管理テーブルの例
【図１１】ＯＣＲ結果を表示するＵＩの例
【発明を実施するための形態】
【０００９】
（第１実施形態）
本実施形態に係る情報処理装置の一例として、モバイル端末（携帯端末）を例に説明する。モバイル端末は、無線通信機能などを用いて外部と通信可能な端末である。
【００１０】
図１は、モバイル端末１００（モバイル端末の前面１０１と背面１０３）の外観と、被写体１０５となるタイヤを示す図である。モバイル端末前面部１０１には、タッチパネルディスプレイ１０２が備えられ、表示とタッチ操作入力との２つの機能を有する。モバイル端末背面部１０３には、被写体を撮影して画像を取り込むためのカメラユニット１０４が備えられる。本実施形態では、モバイル端末１００のユーザは、モバイル端末のＣＰＵにより動作するモバイルアプリ（詳細は後述）を利用して、被写体１０５を撮影し、文字認識処理を実行させることができる。本実施例では、被写体１０５として、タイヤの側面にある文字プレート上に刻印された文字を撮影する例を用いて説明する。なお、被写体１０５は、タイヤに限るものではなく、金属プレート、紙文書、写真、ホワイトボードなどの、他の種類の被写体であっても良い。また、文字は、刻印されたものに限るものではなく、印刷や手書きされたものであってもよい。後述のモバイルアプリは、被写体１０５の画像を取り込み、タッチパネル１０２にその画像を出力することができる。
【００１１】
図２は、モバイル端末１００のハードウェアの構成の一例を示す図である。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各種のプログラムを実行することによって様々な機能を実現する処理ユニットである。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、各種の情報の記憶や、ＣＰＵ２０１の一時的な作業記憶領域として利用されるユニットである。不揮発性メモリ（例えばＲＯＭ）２０３は、各種のプログラムやデータ等を記憶するユニットである。ＣＰＵ２０１は、不揮発性メモリ２０３に記憶されているプログラムをＲＡＭ２０２にロードしてプログラムを実行する。すなわち、モバイル端末のＣＰＵ（コンピュータ）は、該プログラムを実行することにより、図３で説明するような各処理部として機能し、後述するシーケンスの各ステップを実行する。なお、不揮発性メモリ２０３は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｉｓｋ）などであってもよい。なお、モバイル端末１００の各機能ならびに後述するシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現してもよい。Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０４は、タッチパネル１０２とデータを送受信する。ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）２０５は、モバイル端末１００をネットワーク（不図示）に接続するためのユニットである。カメラインターフェース２０６は、カメラユニット１０４と接続し、被写体１０５の画像をモバイル端末１００に取り込む。上述したユニットは、バス２０７を介してデータの送受信を行うことができる。
【００１２】
次に、モバイル端末１００におけるソフトウェア構成について説明する。図３は、モバイル端末１００のソフトウェア構成の一例を示す概念図である。モバイル端末のＣＰＵは、モバイルアプリ（モバイル端末用のアプリケーションプログラム）３０２を実行することにより、各処理部（各処理モジュール）３０３〜３０８として機能する。また、モバイル端末１００のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）（不図示）は、データ管理部３０１として機能する。
【００１３】
データ管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  ＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）を提供している。各アプリケーションは、その制御ＡＰＩを利用することでデータ管理部３０１に対し、画像やアプリケーションデータの取得処理や保存処理を行う。
【００１４】
モバイルアプリ３０２は、モバイル端末１００のＯＳのインストール機能を利用して、ダウンロードしインストールすることにより実行可能なアプリケーションである。モバイルアプリ３０２は、カメラインターフェース２０６を介して取り込んだ被写体１０５の画像に対する各種のデータ処理を行う。
【００１５】
メイン制御部３０３は、後述する各モジュール部（３０３〜３１４）に対する指示及び管理を行う。
【００１６】
情報表示部３０４は、メイン制御部３０３からの指示に従い、図４に示すようなモバイルアプリ３０２のユーザインタフェース（ＵＩ）をタッチパネルに表示するように制御する。
【００１７】
図４は、モバイルアプリ３０２のＵＩ（携帯端末用のＵＩ）を提供する画面の一例（モバイル端末画面４００）を示す図である。モバイル端末画面４００は、モバイル端末１００のタッチパネル１０２に表示される。また、モバイル端末画面４００では、表示および操作領域４０１にカメラ１０４を介して取り込んだ画像が表示され、画像等に対するユーザによる操作（ユーザ操作）を、表示されたＵＩを介して受け付ける。図４の画面の例では、被写体１０５であるタイヤ上の文字プレート４０２が撮影されて表示されている。
【００１８】
線分検出部３１０（後述）は、カメラユニット１０４およびカメラインターフェース２０６を介して取得したカメラ入力画像を解析し、タイヤ上の文字プレート４０２の直線検出処理を実行する。文字プレートの４辺が検出されると、上エッジ４０３、右エッジ４０４、下エッジ４０５、左エッジ４０６の閉領域が形成される。しかし、対象物が黒いタイヤ上の黒い文字プレート４０２の場合、光源の状態やカメラユニット２０６の撮影能力によっては、プレートの４辺のエッジを明確に検出することが困難となり、プレート領域を示す閉領域を抽出できない場合もありうる。
【００１９】
なお、モバイルアプリ３０２のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、図に示す形態に限定されるものではなく、モバイル端末１００の機能を実現することができる適宜の構成を採用することができる。
【００２０】
操作情報取得部３０５は、モバイルアプリのＵＩ上で為されたユーザ操作に関する情報を取得し、当該取得した情報をメイン制御部３０３に通知する。例えば、領域４０１をユーザが手で触れると、操作情報取得部３０５は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０３に送信する。
【００２１】
画像解析部３０６は、カメラユニット１０４およびカメラインターフェース２０６を介して取得したカメラ入力画像に対して、エッジ検出処理やＯＣＲ処理などを実行して解析することにより、被写体１０５の文字プレート４０２上の文字列を抽出する。このため、画像解析部３０６は、各モジュール部（３０７〜３１４）の制御を行う。また、カメラユニット１０４は、単にスチール撮影を行えるだけでなく、高速で静止画を取得出来る動画撮影機能、または連写機能も備えるものとする。
【００２２】
ＯＣＲ部３０７は、画像解析部３０６で抽出した認識対象範囲に対して、ＯＣＲ（光学文字認識）処理を行う。
【００２３】
記憶部３０８は、操作情報取得部３０５を介して（すなわち、モバイルアプリ３０２のＵＩを介して）、ユーザにより入力された設定値を保存する。
【００２４】
ＤＢ部３０９はデータベース機能を有し、モバイルアプリ３０２が利用する各種情報（ｉｄ、ｃｌａｓｓｉｆｉｃａｔｉｏｎ、認識対象縦横比、横認識対象領域比、縦認識対象領域比、入力画像サイズ、認識対象画像サイズ、ｍｉｎＸ、ｍａｘＸ、ｍｉｎＹ、ｍａｘＹなどの情報）を管理する。ＤＢ部３０９のデータは、記憶部３０８に保存される。ＤＢ部で管理される被写体情報管理テーブル７０１の一例を図１０に示す。
【００２５】
線分検出部３１０は、カメラ入力画像を解析し、直線検出を行う。本実施例では直線検出の方法として、エッジ点から座標系変換を行い直線検出するのに用いる特徴抽出方法であるハフ変換を用いるが、他の特徴抽出方法を用いても良い。すなわち、線分検出部３１０は、カメラ入力画像から、被写体１０５の文字プレート４０２の線分検出を行う。しかし、前述したように、対象物が黒いタイヤ上の黒い文字プレートなどの場合、光源の状態やカメラユニット２０６の撮影能力によっては、プレートの４辺のエッジを明確に検出することが困難となり、プレート領域を示す閉領域を抽出できない場合もありうる。
【００２６】
縦横比算出部３１１は、カメラ入力画像を解析し、文字プレート４０２および文字プレート４０２上の文字列の縦横比と座標を算出する。
【００２７】
範囲判定部３１２は、文字プレート４０２のエッジ検出結果、および、オブジェクト検出部３１４のオブジェクト検出結果に基づいて、カメラ入力画像に文字プレート４０２上の文字列が含まれるか判定する。
【００２８】
エッジ算出部３１３は、カメラ入力画像に対して画像のエッジ量を算出する処理を行う。エッジ量の算出は、範囲判定部３１２で判定した認識対象範囲におけるエッジ量を算出する。認識対象範囲におけるエッジ量から画像評価を行う。本実施例において、エッジ量は、カメラユニット２０６から取得した画像の輝度に基づいて各画素におけるエッジ強度を算出し、各画素のエッジ強度から認識対象範囲におけるエッジ量を算出する。なお、輝度の代わりに、他の画像成分を利用しても良い。なお、エッジ強度とは撮影画像の画素ごとに計算される、エッジの強さである。本実施例ではエッジ強度の抽出方法として、隣接するｘ方向とｙ方向の画素の１次微分を取り、その絶対値の合計を取る方法とする。このような方法を用いると、隣接する画素同士の輝度の差が大きい程、強いエッジ強度を得ることが出来る。ただし、後述するエッジ量同士が比較可能であれば、他のエッジ抽出手法であっても良い。例えば、画像空間の１次微分を計算し、輪郭を検出するフィルタであるＳｏｂｅｌフィルタを用いて撮影画像内の各画素のエッジ強度を求めるようにしてもよい。また、エッジ量とは、撮影画像の特定の範囲（認識対象範囲）内のエッジ強度に基づいて算出したものである。エッジ量はオブジェクト領域内の各画素のエッジ強度の和でも良いし、オブジェクト領域内の各画素のエッジ強度の平均値であっても良い。エッジ量の算出は、比較可能な値が算出できるのであれば、他の方法であっても良い。
【００２９】
オブジェクト検出部３１４は、範囲判定部３１２により、線分検出部３１０において線分検出が行えないために文字プレート４０２の４辺（閉領域）が検出できないと判断された場合に、文字プレート４０２上のオブジェクトの検出を行うものである。本実施例におけるオブジェクトは、数字や文字である。このオブジェクトの認識処理は、部分画像データから得られる情報を辞書データと比較し、その比較結果に基づいて認識対象物を特定する処理である。
【００３０】
次に、様々な撮影画像（カメラ入力画像）について図５〜８の例を用いて説明する。モバイルアプリ３０２は、撮影画像内から、文字プレート４０２の検出処理を実行する。しかしながら、エッジの直線で構成される閉領域を検出することができないと、文字プレート４０２の位置を完全に特定することができない。
【００３１】
図５は、カメラ入力画像が、文字プレートの左エッジと文字の一部とが切れている画像（左エッジ無し且つ文字切れ有りの画像）であった場合の例である。図５の画像では、画像解析部３０６と線分検出部３１０によって、タイヤの文字プレート４０２の上エッジ５０１、右エッジ５０２、下エッジ５０３のエッジ検出がなされたが、左エッジは撮影画像に含まれず、４辺で構成される閉領域が検出できない。したがって、エッジだけでは、文字プレート４０２の位置が確定できない。また、このとき、図５の画像に対して、オブジェクト検出部３１４によって、文字列オブジェクトの検出処理を実行する。オブジェクト検出部３１４は、図１０の被写体情報管理テーブル７０１（詳しくは後述する）を参照して、検出されたオブジェクトが処理対象の文字プレートの文字であるか判定する。被写体情報管理テーブル７０１を参照すると、文字プレート１として判定される条件は、オブジェクトタイプ７２５が文字列で、且つ、オブジェクトフォーマット７２６が正規表現「（［Ａ−Ｚ］￥ｄ）｛２｝［Ａ−Ｚ］￥ｄ｛４｝」で表わされるものである。オブジェクトフォーマットの正規表現は、使用されている文字種や各文字種の並び順などを示すものである。この例の文字プレート１の正規表現では、左から１文字目がＡ〜Ｚのアルファベット、２文字目が０〜９の数字、３文字目がアルファベット、４文字目が数字、５文字目がアルファベット、６〜９文字目が数字であることを条件としている。図５の例では、左から１文字目の「Ｂ」の文字が認識できないために、文字プレートの文字列オブジェクトでないと判定される。
【００３２】
図６は、カメラ入力画像が、文字プレートの左エッジが切れているが、文字部分は写っている画像（左エッジ無し且つ文字切れ無しの画像）であった場合の例である。図６の画像では、画像解析部３０６と線分検出部３１０によって、タイヤの文字プレート４０２の上エッジ５０４、右エッジ５０５、下エッジ５０６のエッジ検出がなされたが、左エッジは撮影画像に含まれず、４辺で構成される閉領域が検出できない。したがって、エッジだけでは、文字プレート４０２の位置が確定できない。このとき、オブジェクト検出部３１４によって、文字列オブジェクトの検出処理を実行する。
【００３３】
オブジェクト検出部３１４が、文字プレート４０２上の文字列「Ｂ５Ｌ９Ａ０００１」を検出し、当該検出した文字列が、被写体情報管理テーブル７０１の文字プレート１として判定される条件を満たすか判断する。その結果、オブジェクトタイプ７２５が文字列であり、オブジェクトフォーマット７２６の正規表現「（［Ａ−Ｚ］￥ｄ）｛２｝［Ａ−Ｚ］￥ｄ｛４｝」の条件も満たす、と判断する。したがって、オブジェクト検出部３１４は、オブジェクトが検出できたと判定する。
【００３４】
図７は、文字プレートの左エッジおよび下エッジが検出できなかった画像の例を示す。図７の画像では、画像解析部３０６と線分検出部３１０によって、タイヤの文字プレート４０２の上エッジ５０７、右エッジ５０８のエッジ検出が為されたが、左エッジと下エッジは検出されなかったために、４辺で構成される閉領域が検出できない。しかし、縦横比算出部３１１によって、被写体情報管理テーブルの文字プレート４０２のエッジ縦横比が算出され、文字プレート４０２として検出可能な画像例である。
【００３５】
縦横比算出部３１１は、上エッジ５０７、右エッジ５０８による縦横比と、被写体情報管理テーブル７０１の認識対象縦横比７０４とを比較することで、閉領域（４辺）が検出できない場合の文字プレート検出を行う。具体的には、横エッジである上エッジ５０７、縦エッジである右エッジ５０８の２辺が検出されている。その２辺は、（１）２辺ともプレートの端から端まで検出されている、（２）１辺はプレートの端から端まで検出され、且つもう１辺はプレートの一部のみが検出されている、（３）２辺ともプレートの一部のみが検出されている（すなわち端から端まで検出されていない）、のいずれかのケースとなる。
【００３６】
そこで、ケース（１）の場合、上エッジ５０７の長さと右エッジ５０８の長さの比が、被写体情報管理テーブル７０１の認識対象縦横比７０４とほぼ一致するので、文字プレート４０２が正しく取得でき、文字列検出が可能な画像が取得できたと判定する。
【００３７】
ケース（２）の場合、横エッジである上エッジ５０７、縦エッジである右エッジ５０８を用いて、画像内に文字プレート４０２上の全ての文字列が含まれるか判定する。具体的には、上エッジ５０７がプレートの端から端まで取得されていない場合（横の長さが実際よりも短く、縦方向である右エッジ５０８がプレートの端から端まで検出されている場合）は、右エッジ５０８の長さ（縦）と上エッジ５０７の長さ（横）の比（横÷縦）が、被写体情報管理テーブル７０１の横認識対象領域比７０５（文字列プレート１の場合、５．８４÷１＝５．８４）よりも大きければ、画像内に文字プレート４０２上の全ての文字列が含まれると判定する。また、右エッジ５０８がプレートの端から端まで取得されていない場合（縦の長さが実際よりも短く、横方向である上エッジ５０７がプレートの端から端まで検出されている場合）は、右エッジ５０８の長さ（縦）と上エッジ５０７の長さ（横）の比（縦÷横）が、縦認識対象領域比７０６（文字列プレート１の場合、０．９１７÷６＝０．１５３）よりも大きければ、画像内に文字プレート４０２上の全ての文字列が含まれると判定する。
【００３８】
ケース（３）の場合、ケース（１）（２）の条件のいずれにも一致しないために、正しく文字プレート４０２検出ができないと判断する。なお、２辺ともプレートの端から端まで検出されなかったが、偶然、上エッジ５０７の長さと右エッジ５０８の長さの比が（１）または（２）の条件に一致する場合がありうる。この場合、文字プレート４０２上の文字列が含まれると判定してしまうが、その後のＯＣＲ処理、または、オブジェクト（文字列）検出により、正しい文字列が取得できず、ここでの判断が誤っていたことが分かる。その場合は、ユーザに、再度撮影を行うように指示する。
【００３９】
図８は、文字プレートの左エッジおよび右エッジが検出できなかった画像の例を示す。図８の画像では、画像解析部３０６と線分検出部３１０によって、タイヤの文字プレート４０２の上エッジ５０９、下エッジ５１０が検出されている。しかしながら、左エッジおよび右エッジは検出されなかったので、４辺で構成される閉領域が検出できない。したがって、エッジだけでは、文字プレート４０２の位置が確定できない。このとき、オブジェクト検出部３１４によって、文字列オブジェクトの検出処理を実行する。オブジェクト検出部３１４が、文字プレート４０２上の文字列「Ｂ５Ｌ９Ａ０００１」を検出し、当該検出した文字列が、被写体情報管理テーブル７０１の文字プレート１として判定される条件を満たすか判断する。その結果、オブジェクトタイプ７２５が文字列であり、オブジェクトフォーマット７２６の正規表現「（［Ａ−Ｚ］￥ｄ）｛２｝［Ａ−Ｚ］￥ｄ｛４｝」の条件も満たす、と判断する。したがって、オブジェクト検出部３１４は、オブジェクトが検出できたと判定する。
【００４０】
＜モバイル端末１００における処理フロー＞
図９のフローチャートを用いて、モバイル端末で実行される処理について説明する。本フローは、モバイル端末１００におけるモバイルアプリ３０２が、カメラユニットを介して被写体１０５の画像を取得することをトリガーに開始する。
【００４１】
本実施形態では、モバイル端末を用いて対象物を撮影する際に、文字プレートの文字列が入っているかどうかを判定して自動撮影することで、適切な認識対象範囲を含む画像を容易に撮影できるようにする。また、このとき、プレートのエッジだけで判定可能なものは、文字列オブジェクトの検出をできる限り利用しないことで、短時間、低コストで行えるようにする。
【００４２】
Ｓ６０１で、画像解析部３０６は、カメラユニットで撮影した被写体１０５の画像を取得する。
【００４３】
Ｓ６０２で、画像解析部３０６は、Ｓ６０１で取得した画像のエッジ検出を行う。本実施例ではエッジ検出の方法としてＣａｎｎｙ法を用いるが、他のエッジ検出方法を用いても良い。
【００４４】
Ｓ６０３で、線分検出部３１０は、Ｓ６０２で検出されたエッジ情報に基づいて直線検出を行う。本実施例では直線検出の方法としてハフ変換を用いるが、他の特徴抽出方法を用いても良い。
【００４５】
Ｓ６０４で、画像解析部３０６は、Ｓ６０３で、線分検出部３１０が検出した線分情報から四辺の選択を行う。線分検出部３１０は、線分の座標情報から四辺として成立する直線の選択を行う。各線分は文字プレート４０２の文字プレート左エッジ７１３、文字プレート上エッジ７１４、文字プレート右エッジ７１５、文字プレート下エッジ７１６の判定を行う。各エッジ線で閉領域が形成される場合は、四辺を検出できたと判定する。
【００４６】
Ｓ６０５で、画像解析部３０６は、Ｓ６０４で選択された四辺の線分情報を解析し、文字プレート４０２の四辺が検出されたか判定する。また、線分情報を解析し、文字プレートの二辺以上が検出され、未検出のエッジ線分を補完して閉領域が形成できる場合も四辺が検出できたと判定するようにしてもよい。文字プレートが検出されたと判断された場合はＳ６０６に進み、検出されなかったと判断された場合はＳ６１０に進む。
【００４７】
Ｓ６０６で、縦横比算出部３１１は、カメラユニット２０６を介して取得したカメラ入力画像を解析し、文字プレート４０２および文字プレート４０２上の文字列の縦横比と座標を算出する。
【００４８】
Ｓ６０７で、縦横比算出部３１１は、ＤＢ部３０９に保存されている被写体情報管理テーブル７０１からアスペクト比の情報を取得する。図１０に被写体情報管理テーブル７０１の一例を示す。アスペクト比の情報は、予め特定された文字プレートｉｄに対応する認識対象縦横比７０４、横認識対象領域比７０５、縦認識対象領域比７０６などを被写体情報管理テーブル７０１から取得する。なお、被写体１０５の文字プレートのｉｄ７０２を特定する方法は、モバイルアプリ３０２の情報表示部３０４にｃｌａｓｓｉｆｉｃａｔｉｏｎ７０３の一覧を表示して、ユーザにより選択させるようにすればよい。その他、被写体１０５の撮影画像から自動的に判別する方法、被写体１０５の位置（例えばＧＰＳ情報）から自動的に判別する方法などが考えられるが、いかなる方法でｉｄ７０２を特定してもよい。
【００４９】
Ｓ６０８で、画像解析部３０６は、Ｓ６０６で算出した文字プレート４０２の縦横比と、Ｓ６０７で取得したアスペクト比（縦横比）とに基づいて、対象外の文字プレートを撮影しているか、対象の文字プレートを撮影しているかを判定する。画像解析部３０６は、Ｓ６０６で算出した文字プレート４０２の縦横比が、Ｓ６０７で取得した認識対象縦横比７０４と明らかに異なる場合は、ＯＣＲ処理を行う対象ではない対象外プレートと判定する。Ｓ６０８で対象外プレートと判定された場合は、Ｓ６０１の処理に戻って再撮影する。また、Ｓ６０８で、対象プレートと判定された場合は、Ｓ６０９に進む。
【００５０】
Ｓ６０９で、画像解析部３０６は、Ｓ６０６で算出した値と、Ｓ６０７で取得したアスペクト比の情報（横認識対象領域比７０５、縦認識対象領域比７０６、入力画像サイズ７０７）とに基づいて、文字切れ可能性があるか否か判定を行う。文字切れしていると判定した場合はＳ６１０に進み、文字切れしていないと判定した場合はＳ６１２に進む。
【００５１】
なお、文字プレート４０２の横方向の文字切れ判定は、横認識対象領域比７０５を利用する。横認識対象領域比７０５は、縦横比算出部３１１が文字プレート４０２毎の横の比率を判定するための値である。具体的には、縦方向エッジ長（文字プレート右エッジ７１５、または、文字プレート左エッジ７１３）を基準にした、文字列が切れないために必要な横方向エッジ長（文字プレート上エッジ７１４、または、文字プレート上エッジ７１６）を示す。この比率に含まれる場合は横方向の文字切れがないと判定する。
【００５２】
また、文字プレート４０２の縦方向の文字切れ判定は、縦認識対象領域比７０６を利用する。縦認識対象領域比７０６は、縦横比算出部３１１が文字プレート４０２毎の縦の比率を判定するための値である。具体的には、横方向エッジ長（文字プレート上エッジ７１４、または、文字プレート上エッジ７１６）を基準にした、文字列が切れないために必要な縦方向エッジ長（文字プレート右エッジ７１５、または、文字プレート左エッジ７１３）を示す。この比率に含まれる場合は縦方向の文字切れがないと判定する。
【００５３】
Ｓ６１０で、オブジェクト検出部３１４は、オブジェクトの認識を行う。本実施例でのオブジェクトの認識処理は、部分画像データから得られる情報を辞書データと比較することにより、認識対象物を認識する処理である。なお、認識方法は、数字や文字などの認識を行う処理であれば、特定の処理方法である必要はない。なお、範囲判定部３１２は、オブジェクトの認識空間を減らすことで、オブジェクトの検索コストを下げることができる。このため、文字プレート４０２の閉領域（４辺）が検出できなかったとしても、線分検出部３１０が検出したエッジ線分の近傍からオブジェクトの探索を行う。
【００５４】
Ｓ６１１で、オブジェクト検出部３１４は、Ｓ６１０でのオブジェクト認識結果に基づいて、当該認識された文字列のオブジェクトに、文字切れがあるか判定する。オブジェクト検出部３１４は、被写体１０５である文字プレート４０２のｉｄ７０２に対応する、オブジェクトフォーマット７２６を取得して、文字プレート４０２上の文字列の文字切れがあるかどうかを判定する。本実施例では、文字プレート１に対しては、オブジェクトタイプ７２５が文字列で、且つオブジェクトフォーマット７２６が正規表現「（［Ａ−Ｚ］￥ｄ）｛２｝［Ａ−Ｚ］￥ｄ｛４｝」である情報を取得する。このオブジェクトフォーマットの情報と、オブジェクトのＯＣＲ結果から判定した文字プレート４０２上の文字列の種類と数を比較して判定する。オブジェクト検出部３１４は、このオブジェクトフォーマットに一致した場合に、文字列オブジェクトが検出されたと判定する。
【００５５】
Ｓ６１１で、オブジェクトの文字切れありと判定した場合は、Ｓ６０１の処理に戻って再撮影する。一方、Ｓ６１１で文字切れが無いと判定した場合はＳ６１２に進む。
【００５６】
Ｓ６１２で、エッジ算出部３１３は、当該判定した時点から所定のフレーム数の動画像に基づいて、複数枚の静止画を抽出し、それぞれの画像評価を行う。画像評価の方法は、エッジ強度にもとづいて計算されるエッジ量を用いる。エッジ強度とは撮影画像の画素ごとに計算される、エッジの強さである。本実施例ではエッジ強度の抽出方法として、隣接するｘ方向とｙ方向の画素の１次微分を取り、その絶対値の合計を取る方法とする。このような方法を用いると、隣接する画素同士の輝度の差が大きい程、強いエッジ強度を得ることが出来る。また、エッジ量は、撮影画像の特定の範囲（認識対象範囲）内のエッジ強度に基づいて算出したものである。エッジ量はオブジェクト領域内の各画素のエッジ強度の和でも良いし、オブジェクト領域内の各画素のエッジ強度の平均値であっても良い。エッジ量の算出は、比較可能な値が算出できるのであれば、他の方法であっても良い。
【００５７】
Ｓ６１３で、画像解析部３０６は、Ｓ６１２で算出した画像評価（エッジ量）が予め定義しておいた閾値以上か判定する。Ｓ６１３で、画像評価が閾値以下と判定した場合は、Ｓ６０１の処理に戻って再撮影する。Ｓ６１３で、画像評価が閾値以上と判定した場合は、Ｓ６１４に進む。
【００５８】
Ｓ６１４で、ＯＣＲ部３０７は、画像評価が最も高い静止画像に対して文字に式処理（ＯＣＲ処理）を行い、当該静止画像から文字列情報を取得する。
【００５９】
Ｓ６１５で、情報表示部３０４は、ＯＣＲ結果と、そのＯＣＲ結果を編集するための文字編集画面を表示する。ＯＣＲ結果および文字編集画面ＵＩ例を図１１に示す。
【００６０】
図１１の８０１は、情報表示部３０４により、カメラ入力画像上で、文字プレート４０２の文字列と判定された領域を特定して表示する。また、８０２は、その文字列のＯＣＲ結果を表示する。
【００６１】
以上のように、本実施形態によれば、モバイル端末において、プレートを検出しにくい被写体を撮影する際にも、文字切れのない適切な認識対象範囲を含む画像を撮影することができる。
【００６２】
図１０は、ＤＢ部３０９が保持する被写体情報管理テーブル７０１の一例を示す。被写体情報管理テーブル７０１は、文字プレート毎の判定情報を保存している。被写体情報管理テーブル７０１の値の作成は、事前に撮影した見本の文字プレートから画像解析部３０６により自動生成する方法や、ユーザが文字プレート毎に手動で入力する方法などがあるが、本実施例では入力手段は問わない。
【００６３】
ｉｄ７０２は、モバイルアプリ（モバイルアプリケーション）３０２が文字プレートを一意に特定するためのＩＤである。ｃｌａｓｓｉｆｉｃａｔｉｏｎ７０３は、ユーザが文字プレートを識別するための情報である。認識対象縦横比７０４は、縦横比算出部３１１が文字プレート４０２毎の縦横比を判定するための値である。横認識対象領域比７０５は、縦横比算出部３１１が文字プレート４０２毎の横の比率を判定するための値である。具体的には、縦方向エッジ長（文字プレート右エッジ７１５、または、文字プレート左エッジ７１３）を基準にした、文字列が切れないために必要な横方向エッジ長（文字プレート上エッジ７１４、または、文字プレート上エッジ７１６）を示す。縦認識対象領域比７０６は、縦横比算出部３１１が文字プレート４０２毎の縦の比率を判定するための値である。具体的には、横方向エッジ長（文字プレート上エッジ７１４、または、文字プレート上エッジ７１６）を基準にした、文字列が切れないために必要な縦方向エッジ長（文字プレート右エッジ７１５、または、文字プレート左エッジ７１３）を示す。入力画像サイズ７０７は、モバイルアプリ３０２が取得できるカメラユニット２０６が出力した画像サイズを示す。認識対象画像サイズ７０８は、モバイルアプリ３０２が取得した画像の文字プレート４０２部のサイズを示す。実際に取得する文字プレート４０２の画像サイズは、このサイズよりも大きい場合や小さい場合があるが、画像解析部３０６は本サイズに正規化する。また、撮影状態により画像が変形している場合は、台形補正などを行う事で本サイズに正規化する。ｍｉｎＸ７０９は、文字プレート４０２の左上を基準（０，０）とした、オブジェクトの左端座標（オブジェクト左上７１７、オブジェクト左下７２０）を示す。ｍａｘＸ７１０は、文字プレート４０２の左上を基準（０，０）とした、オブジェクトの右端座標（オブジェクト右上７１８、オブジェクト右下７１９）を示す。ｍｉｎＹ７１１は、文字プレート４０２の左上を基準（０，０）とした、オブジェクトの上端座標（オブジェクト左上７１７。オブジェクト右上７１８）を示す。ｍａｘＹ７１２は、文字プレート４０２の左上を基準（０，０）とした、オブジェクトの下端座標（オブジェクト右下７１９．オブジェクト左下７２０）を示す。
【００６４】
オブジェクトタイプ７２５は、オブジェクト検出部３１４の判定するオブジェクトの種別を示す。具体的には、文字列や画像などの種別が含まれる。オブジェクトフォーマット７２６は、オブジェクト検出部３１４の判定するオブジェクト種別毎のデータ情報が含まれる。具体的には、オブジェクトタイプ７２５が文字列の場合は、文字種の並び順を示す情報が含まれる。また、オブジェクトタイプ７２５が画像の場合は、登録された画像と一致する画像が部分画像認識により検出されるか判定を行う。
【００６５】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【図１】
2017162150.tif 000003
【図２】
2017162150.tif 000004
【図３】
2017162150.tif 000005
【図４】
2017162150.tif 000006
【図５】
2017162150.tif 000007
【図６】
2017162150.tif 000008
【図７】
2017162150.tif 000009
【図８】
2017162150.tif 000010
【図９】
2017162150.tif 000011
【図１０】
2017162150.tif 000012
【図１１】
2017162150.tif 000013