(57)【要約】【課題】撮影した画像において画像認識の対象とする領域を適切に特定することが可能となる携帯端末を提供する。【解決手段】モバイル端末１００は、撮影時のモバイル端末１００と被写体１０５との距離を取得するカメラユニット２０６を有する。モバイル端末１００は、基準画像上で被写体１０５の矩形領域を設定し、設定された基準画像上での矩形領域の縦辺および横辺の長さと、基準距離とを関連付けて記憶し、基準距離および基準画像上での矩形領域の縦辺および横辺の長さと、撮影時のモバイル端末１００と被写体１０５との距離とを用いて、撮影画像上での被写体１０５の矩形領域の縦辺および横辺の長さを算出し、該算出された縦辺および横辺の長さを用いて、撮影画像上での矩形領域を囲む枠の１以上の辺の位置を決定することで、撮影画像上での矩形領域の位置を特定する。【選択図】図５
2018117191.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末であって、
撮影時の前記携帯端末と被写体との距離を取得する取得手段と、
第１の撮影で取得される第１の画像上で前記被写体の矩形領域を設定する設定手段と、
前記設定された第１の画像上での矩形領域の縦辺および横辺の長さと、前記第１の撮影時の前記携帯端末と前記被写体との距離とを関連付けて記憶する記憶手段と、
第２の撮影で取得される第２の画像上での前記被写体の矩形領域の縦辺および横辺の長さを算出する算出手段と、
前記算出された第２の画像上での矩形領域の縦辺および横辺の長さを用いて、前記第２の画像上での前記矩形領域を囲む枠の１以上の辺の位置を決定することで、前記第２の画像上での前記矩形領域の位置を特定する特定手段と、を有し、
前記算出手段は、前記第１の撮影時の前記携帯端末と前記被写体との距離および前記第１の画像上での前記矩形領域の縦辺および横辺の長さと、前記第２の撮影時の前記携帯端末と前記被写体との距離とを用いて、前記第２の画像上での前記矩形領域の縦辺および横辺の長さを算出する、
ことを特徴とする携帯端末。
【請求項２】
前記特定手段は、前記算出された第２の画像上での前記矩形領域の縦辺および横辺の長さを用いて、該矩形領域を囲む枠の頂点を形成する縦辺および横辺の一対の線分を前記第２の画像上での前記矩形領域を囲む枠の辺として決定する、
ことを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記特定手段は、前記算出された第２の画像上での前記矩形領域の縦辺および横辺の長さを用いて、該矩形領域を囲む枠の互いに対向する縦辺または横辺を形成する一対の線分を前記第２の画像上での前記矩形領域を囲む枠の辺として決定する、
ことを特徴とする請求項１または２に記載の携帯端末。
【請求項４】
前記特定手段は、前記算出された第２の画像上での前記矩形領域の縦辺および横辺の長さを用いて、該矩形領域を囲む枠の一辺の長さを有する１つの線分を前記第２の画像上での前記矩形領域を囲む枠の辺として決定する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の携帯端末。
【請求項５】
前記特定手段は、
前記第２の画像上の水平方向に延びる線分のうち、同一直線上にあり、かつ連結させることにより前記算出された第２の画像上の前記矩形領域の横辺の長さと等しくなる複数の線分を連結し１つの線分とし、
前記第２の画像上の垂直方向に延びる線分のうち、同一直線上にあり、かつ連結させることにより前記算出された第２の画像上の前記矩形領域の縦辺の長さと等しくなる複数の線分を連結し１つの線分とする、
ことを特徴とする請求項２乃至４のいずれか１項に記載の携帯端末。
【請求項６】
前記特定手段は、前記第２の画像上の線分のうち所定の長さに満たない線分を、前記第２の画像上での前記被写体の矩形領域を囲む枠の１以上の辺を決定する処理の対象としない、
ことを特徴とする請求項２乃至５のいずれか１項に記載の携帯端末。
【請求項７】
撮影時の前記携帯端末の重力方向に対する傾きを取得する傾き取得手段と、をさらに備え、
前記記憶手段は、さらに、前記第１の撮影時の前記携帯端末の重力方向に対する傾きを、前記設定された第１の画像上での矩形領域の縦辺および横辺の長さと、前記第１の撮影時の前記携帯端末と前記被写体との距離と関連付けて記憶し、
前記算出手段は、前記算出された第２の画像上での矩形領域の縦辺の長さを、前記第１の撮影時の前記携帯端末の重力方向に対する傾きと、前記第２の撮影時の前記携帯端末の重力方向に対する傾きとの差分を用いて補正する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の携帯端末。
【請求項８】
請求項１乃至７のいずれか１項に記載の携帯端末が備える各手段としてコンピュータを機能させるためのプログラム。
【請求項９】
携帯端末の制御方法であって、
第１の撮影時の前記携帯端末と被写体との距離を取得する第１取得工程と、
前記第１の撮影で取得される第１の画像上で前記被写体の矩形領域を設定する設定工程と、
前記設定された第１の画像上での矩形領域の縦辺および横辺の長さと、前記第１の撮影時の前記携帯端末と前記被写体との距離とを関連付けて記憶する記憶工程と、
第２の撮影時の前記携帯端末と被写体との距離を取得する第２取得工程と、
前記第２の撮影で取得される第２の画像上での前記被写体の矩形領域の縦辺および横辺の長さを算出する算出工程と、
前記算出された第２の画像上での矩形領域の縦辺および横辺の長さを用いて、前記第２の画像上での前記矩形領域を囲む枠の１以上の辺の位置を決定することで、前記第２の画像上での前記矩形領域の位置を特定する特定工程と、を有し、
前記算出工程において、前記第１の撮影時の前記携帯端末と前記被写体との距離および前記第１の画像上での前記矩形領域の縦辺および横辺の長さと、前記第２の撮影時の前記携帯端末と前記被写体との距離とを用いて、前記第２の画像上での前記矩形領域の縦辺および横辺の長さは算出される、
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末、プログラム、および携帯端末の制御方法に関する。
【背景技術】
【０００２】
近年、スマートフォンやデジタルカメラなどのカメラ機能を有する携帯端末が普及してきている。このような携帯端末のカメラ機能を用いることで、撮影した画像から文字情報を含む画像情報を手軽に取得できるようになってきた。これによって、より多種多様な観測環境から、文字情報を取り込む大きな市場が開けつつある。撮影画像から画像情報を取得するためには、光学文字認識やバーコード認識といった認識技術が用いられる。高い精度で画像情報を認識するためには、撮影画像内で認識対象とする領域を特定することが重要である。
【０００３】
特許文献１は、被写体までの距離から認識処理の対象となる画像上でのバーコードの大きさを特定し、特定したバーコードの大きさに基づいて探索枠を設定し、探索枠を画像全体でスキャンしながらバーコードを探索する撮像装置を開示している。特許文献２は、撮影画像から垂直エッジを検出し、水平方向の一定範囲内に存在するアップエッジとダウンエッジの対であるペアエッジが一定濃度以上含まれる部分画像をナンバープレートの位置として検出する表示プレート検出装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２１６５４５号公報
【特許文献２】特許０３２６５７５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、被写体までの距離から特定したバーコードの大きさに基づいて探索枠を設定した後、画像全体をスキャンすることでバーコードの位置を特定し、該バーコードを認識する。そのため、スキャンに時間がかかってしまう。また、例えば、被写体に傷や汚れ等がある場合、特許文献２のようにエッジを検出する手法では、認識対象とする領域を特定することは困難である。
【０００６】
本発明は、撮影した画像において画像認識の対象とする領域を適切に特定することが可能となる携帯端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の携帯端末は、撮影時の前記携帯端末と被写体との距離を取得する取得手段と、第１の撮影で取得される第１の画像上で前記被写体の矩形領域を設定する設定手段と、前記設定された第１の画像上での矩形領域の縦辺および横辺の長さと、前記第１の撮影時の前記携帯端末と前記被写体との距離とを関連付けて記憶する記憶手段と、第２の撮影で取得される第２の画像上での前記被写体の矩形領域の縦辺および横辺の長さを算出する算出手段と、前記算出された第２の画像上での矩形領域の縦辺および横辺の長さを用いて、前記第２の画像上での前記矩形領域を囲む枠の１以上の辺の位置を決定することで、前記第２の画像上での前記矩形領域の位置を特定する特定手段と、を有し、前記算出手段は、前記第１の撮影時の前記携帯端末と前記被写体との距離および前記第１の画像上での前記矩形領域の縦辺および横辺の長さと、前記第２の撮影時の前記携帯端末と前記被写体との距離とを用いて、前記第２の画像上での前記矩形領域の縦辺および横辺の長さを算出する。
【発明の効果】
【０００８】
本発明の携帯端末によれば、撮影した画像において画像認識の対象とする領域を適切に特定することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】モバイル端末の外観の一例を示す図である。
【図２】モバイル端末のハードウェア構成例を示す図である。
【図３】モバイル端末のソフトウェア構成例を示す図である。
【図４】モバイルアプリケーションのＵＩの一例を示す図である。
【図５】モバイルアプリケーションの矩形領域を判定する処理を示す図である。
【図６】被写体までの距離と撮影画像上の矩形領域の辺の長さの関係を示す図である。
【図７】互いに垂直な線分画像を用いた矩形領域の判定処理を示す図である。
【図８】互いに垂直な線分画像を用いた矩形領域の判定処理の一例を示す図である。
【図９】破線連結処理を示す図である。
【図１０】互いに平行な線分画像を用いた矩形領域の判定処理を示す図である。
【図１１】互いに平行な線分画像を用いた矩形領域の判定処理の一例を示す図である。
【図１２】撮影画像上の辺の長さを算出する処理の応用例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面などを参照して説明する。
本実施形態では、一例として、鉱山などの採石現場で、ダンプトラックに使用されているタイヤを管理する際に、該タイヤに刻印されたシリアルナンバー（シリアルＩＤ）を用いる場合について説明する。
【００１１】
タイヤに刻印されたシリアルＩＤを、スマートフォンやデジタルカメラなどのモバイル端末で撮影し、撮影画像に対して文字認識処理を行い、文字認識処理を行った結果を用いてタイヤのシリアルＩＤを管理することが考えられる。シリアルＩＤの認識の精度を上げるために、撮影画像内で認識対象の領域を特定することが重要である。そこで、本実施形態では、タイヤに刻印されたシリアルＩＤを囲むように同じくタイヤに刻印された枠を認識して文字認識の対象領域として特定し、認識の精度を上げることを考える。
【００１２】
（第１実施形態）
［外観］
本実施形態に係る情報処理装置の一例として、モバイル端末（携帯端末）を例に説明する。モバイル端末は、無線通信機能などを備えることによって自由な場所で利用できる情報処理装置である。
【００１３】
図１は、モバイル端末の外観の一例を示す図である。
モバイル端末１００は、モバイル端末前面部１０１、タッチパネル１０２、モバイル端末背面部１０３、およびカメラ１０４から構成される。モバイル端末前面部１０１は、モバイル端末１００の表側である。タッチパネル１０２は、ディスプレイ等の表示部の一例であり、出力（表示）と入力との２つの機能を備えている。モバイル端末背面部１０３は、モバイル端末１００の裏側である。モバイル端末背面部１０３は、画像を取り込むためのカメラ１０４を含む。
【００１４】
本実施形態では、モバイル端末１００のユーザは、被写体１０５の画像を後述するモバイルアプリケーションで撮影することによって撮影画像に対する処理を開始する。被写体１０５は、撮影対象の被写体の一例としてのタイヤである。拡大被写体１０６は、被写体１０５の一部を拡大した図である。
【００１５】
シリアルＩＤプレート１０７は、タイヤに刻印されたシリアルＩＤと、該シリアルＩＤを囲むように同じくタイヤに刻印された枠を示す。シリアルＩＤは、タイヤを一意に識別するためのＩＤである。被写体１０５は、タイヤに限られるものではない。後述するモバイルアプリケーションは、被写体１０５の画像を取り込み、タッチパネル１０２に当該画像を出力する。
【００１６】
［ハードウェア構成］
図２は、モバイル端末１００のハードウェア構成例を示す図である。
モバイル端末１００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、Ｉｎｐｕｔ／Ｏｕｔｐｕｔインタフェース、ＮＩＣ２０５、カメラユニット２０６、および加速度センサ２０７を備える。
【００１７】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各種のプログラムを実行し、様々な機能を実現する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、各種の情報を記憶する。また、ＲＡＭ２０２は、ＣＰＵ２０１の一時的な作業記憶領域としても利用される。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３は、各種のプログラム等を記憶する。
【００１８】
例えば、ＣＰＵ２０１は、ＲＯＭ２０３に記憶されているプログラムをＲＡＭ２０２にロードしてプログラムを実行する。また、ＣＰＵ２０１は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、またはＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｉｓｋ）等の外部記憶装置に記憶されているプログラムを実行する。これにより、図３に示すモバイル端末１００を構成するソフトウェア構成、および後述するシーケンス図における処理が実現される。
【００１９】
なお、モバイル端末１００の機能および後述するシーケンス図における処理の全部または一部については専用のハードウェアを用いて実現してもよい。Ｉｎｐｕｔ／Ｏｕｔｐｕｔインタフェース２０４は、タッチパネル１０２とデータを送受信する。ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）２０５は、モバイル端末１００をネットワーク（不図示）に接続する。
【００２０】
カメラユニット２０６は、カメラ１０４と接続し、被写体１０５の画像をモバイル端末１００に取り込む。カメラユニット２０６は、後述するレンズ部やイメージセンサ部を含む。カメラユニット２０６は、撮影時にモバイル端末１００と被写体１０５との間の距離（被写体距離）を測定することができる。
【００２１】
カメラユニット２０６には、オートフォーカス機構が搭載されており、コントラスト比や赤外線の送受信タイミング等によってピントの合った状態を自動的に検出する。これにより、カメラユニット２０６は、焦点距離や被写体距離を測定することができる。なお、本実施形態では、被写体距離を測定することができるのであれば他の方法を用いてもよい。
【００２２】
加速度センサ２０７は、直交座標系のＸ軸、Ｙ軸、Ｚ軸の３軸の３方向の加速度を検出する。加速度センサ２０７は、モバイル端末１００が静止した状態で重力加速度の向きと大きさを測定してモバイル端末１００の重力方向に対する傾きを測定する。上述したモバイル端末１００の各処理部２０１〜２０７は、バス２０８を介してデータの送受信を行う。
【００２３】
［ソフトウェア構成（モバイル端末）］
図３は、モバイル端末１００のソフトウェア構成例を示す図である。
図３に示す各アプリケーションソフトウェアにおけるモジュール部を実現するプログラムは、ＲＯＭ２０３等に記憶されている。モバイル端末１００のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）（不図示）は、データ管理部３０１を有する。
【００２４】
データ管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を提供する。各アプリケーションソフトウェアは、当該制御ＡＰＩを利用することでデータ管理部３０１が管理する画像やアプリケーションデータの取得および保存を行う。
【００２５】
モバイルアプリケーション（モバイルアプリ）３０２は、モバイル端末１００のＯＳのインストール機能、例えば、Ａｐｐｌｅ  ＳｔｏｒｅやＧｏｏｇｌｅ  Ｐｌａｙ等を利用して、ダウンロードしインストールすることにより実行できる。モバイルアプリ３０２は、カメラユニット２０６を介して取り込んだ被写体１０５の画像に対する各種のデータ処理を行う。
【００２６】
メイン制御部３０３は、モバイルアプリ３０２を制御し、後述する各モジュール部３０４〜３０８に対する指示、および管理を行う。情報表示部３０４は、メイン制御部３０３からの指示に従い、モバイルアプリ３０２のユーザインタフェース（ＵＩ）をユーザに提供する。
【００２７】
図４は、モバイルアプリ３０２のＵＩの一例を示す図である。
モバイル端末画面４００は、モバイル端末１００のタッチパネル１０２に表示される。モバイル端末画面４００には、表示および操作領域４０１にカメラ１０４を介して取り込んだ画像が表示され、ＵＩを介して画像等に対するユーザによる操作を受け付ける。シャッターボタン４０２は、カメラ１０４を介して取り込み、モバイル端末画面４００に表示した画像をＲＡＭ２０２またはデータ管理部３０１で保存するためのボタンである。
【００２８】
以下、シャッターボタン４０２の押下により保存された画像を撮影画像と呼ぶ。ズームボタン４０３は、表示および操作領域４０１に表示された画像の拡縮を行うためのボタンである。なお、モバイルアプリ３０２のＵＩの形態、すなわちＵＩの位置、大きさ、範囲、配置、表示内容などは、図４に示した形態に限定されるものではなく、モバイル端末１００の機能を実現することができる適宜の構成を採用することができる。
【００２９】
図３の説明に戻る。操作情報取得部３０５は、情報表示部３０４により表示されたモバイルアプリ３０２のＵＩがユーザにより操作された際の操作情報を取得し、取得した操作情報をメイン制御部３０３に通知する。例えば、表示および操作領域４０１をユーザが手で触れると、操作情報取得部３０５は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０３に送信する。画像解析部３０６は、撮影画像を解析して線分を抽出し、抽出した線分からシリアルＩＤプレート１０７の枠を示す矩形領域を判定する処理を行う。
【００３０】
撮影情報取得部３０７は、撮影時のモバイル端末１００と被写体１０５の間の距離をカメラユニット２０６から取得する。また、撮影情報取得部３０７は、撮影時のモバイル端末１００の重力方向に対する傾きを加速度センサ２０７から取得する。ＯＣＲ部３０８は、画像解析部３０６が判定した矩形領域、すなわちシリアルＩＤプレート１０７のシリアルＩＤを囲む枠に対して、ＯＣＲ（光学文字認識）処理を行う。
【００３１】
［線分抽出と矩形領域判定］
図５は、モバイルアプリ３０２を用いてユーザがタイヤを撮影した際のモバイルアプリ３０２の処理を説明するためのフローチャートである。
詳細には、モバイルアプリ３０２は、撮影時のモバイル端末１００と被写体１０５の間の距離を利用して撮影画像からシリアルＩＤプレート１０７を囲む矩形領域の判定を行う。
【００３２】
図５に示す処理によってモバイルアプリ３０２は、ＯＣＲ部３０８によるＯＣＲ処理の対象となる矩形領域を特定し、精度の高いＯＣＲ処理を実現することができる。なお、モバイルアプリ３０２は、インストール直後やモバイルアプリ３０２のユーザの所望する任意のタイミングにおいて、基準情報の設定をユーザに促すものとする。
【００３３】
基準情報の設定は、ユーザによる被写体１０５の撮影と、ユーザが撮影画像上のシリアルＩＤプレート１０７を示す矩形領域を特定する操作を含む。基準情報の設定において撮影された撮影画像は、基準画像とする。さらに、基準情報の設定では、撮影情報取得部３０７が、カメラユニット２０６から基準画像の撮影時のモバイル端末１００と被写体１０５の間の距離を取得する。取得した距離は、基準距離とする。
【００３４】
また、基準情報の設定では、撮影情報取得部３０７は、加速度センサ２０７から撮影時のモバイル端末１００の重力方向に対する傾きを取得する。これら基準画像から特定された矩形領域、基準距離、傾き等の情報を利用して、以下、ユーザが任意に撮影した被写体のタイヤから矩形領域の判定を行う。なお、本実施形態では、撮影画像から矩形領域を判定する例について説明するが、これに限られるものではなく、基準画像撮影時に判定する領域の形状を特定しておけば、判定する領域はどのような形状でも本発明を適用できる。
【００３５】
ステップＳ５０１で、撮影情報取得部３０７は、カメラユニット２０６から撮影画像の撮影時のモバイル端末１００と被写体１０５の間の距離を取得する。ステップＳ５０２で、画像解析部３０６は、撮影画像上のシリアルＩＤプレートの枠の短辺（縦辺）および長辺（横辺）の長さを算出する。この算出には、基準距離とステップＳ５０１で取得した撮影時の距離の比、基準画像上のシリアルＩＤプレート１０７の枠の縦辺および横辺を用いる。詳細な算出方法については、図６を用いて説明する。
【００３６】
図６は、モバイル端末１００と被写体１０５の間の距離が異なる場合の撮影画像上の横辺の長さを示す模式図である。カメラユニット２０６は、レンズ部６０１、イメージセンサ部６０２を備え、図６ではそれらを模式的に示している。同一のカメラユニット２０６では、レンズ部６０１とイメージセンサ部６０２の間の距離６０５は一定である。画像解析部３０６は、基準情報の設定の際に被写体１０５を撮影した基準画像の横辺の長さ６０６および基準距離６０３を関連付けて予め記憶している。
【００３７】
レンズ部６０１を中心にシリアルＩＤプレート１０７の枠を示す矩形とイメージセンサ部６０２に結像する撮影画像上の矩形とは相似を成す。よって、ステップＳ５０１で取得した撮影時の距離６０４を取得すれば、画像解析部３０６は、撮影画像上の矩形の横辺の長さ６０７を算出することができる。
【００３８】
また、画像解析部３０６は、縦辺の長さについても同様に算出することができる。基準画像の縦辺の長さ（不図示）は、基準情報の設定の際に、該基準画像の横辺の長さ６０６および基準距離６０３と関連付けて予め記憶しておく。なお、基準画像の縦辺の長さおよび横辺の長さ６０６は、両方とも記憶されている必要はなく、例えば、いずれか一方の長さと、縦横比とを記憶しておいてもよい。
【００３９】
図５の説明に戻る。ステップＳ５０３で、画像解析部３０６は、撮影画像を解析して線分を成す画像（線分画像）を抽出する。ステップＳ５０４で、画像解析部３０６は、１以上の線分画像を抽出したか判定する。１以上の線分画像を抽出した場合、処理はステップＳ５０５に進み、線分画像を抽出できなかった場合、処理はステップＳ５１１に進む。
【００４０】
ステップＳ５０５で、画像解析部３０６は、互いに垂直な位置に存在する線分画像を用いた矩形領域の判定処理を行う。この矩形領域の判定処理の詳細は、図７を用いて後述する。ステップＳ５０６で、画像解析部３０６は、矩形領域の判定処理が成功したか判定する。矩形領域の判定処理が成功した場合、処理はステップＳ５１０に進む。矩形領域の判定処理が失敗した場合、処理はステップＳ５０７に進む。
【００４１】
ステップＳ５０７で、画像解析部３０６は、ステップＳ５０３で抽出した２以上の線分画像を連結する破線連結処理を行う。破線連結処理の詳細は、図９を用いて後述する。ステップＳ５０８で、画像解析部３０６は、互いに平行な位置に存在する線分画像を用いた矩形領域の判定処理を行う。この矩形領域の判定処理の詳細は、図１０を用いて後述する。ステップＳ５０９で、画像解析部３０６は、矩形領域の判定処理が成功したか判定する。
【００４２】
矩形領域の判定処理が成功した場合、処理はステップＳ５１０に進む。矩形領域の判定処理が失敗した場合、処理はステップＳ５１１に進む。ステップＳ５１０で、画像解析部３０６は、矩形領域、シリアルＩＤプレートを示す矩形の枠の判定に成功したとして処理を完了する。モバイルアプリ３０２は、ＯＣＲ部３０８によるＯＣＲ処理へ進める。一方、ステップＳ５１１では、画像解析部３０６は、矩形領域の判定に失敗したとして処理を完了する。
【００４３】
図７は、図５に示したステップＳ５０５における、互いに垂直な位置に存在する線分画像を用いた矩形領域の判定処理を説明するフローチャートである。
ステップＳ７０１で、画像解析部３０６は、ステップＳ５０３で抽出した線分画像の中に互いに垂直に交わり、かつ互いに交点をはみ出さない一対の線分画像が存在するか判定する。すなわち、ステップＳ７０１の処理では、矩形の頂点を形成するように交わる一対の線分画像が存在するか判定する。
【００４４】
なお、ステップＳ７０１および図７、図９、図１０の後述するそのほかの処理において、「線分画像が存在するか判定する処理」では、所定の閾値より短い線分画像は処理の対象とはしないこととする。これは、被写体１０５の傷や汚れがシリアルＩＤプレート１０７の枠を構成する線分画像と見なされ、それによって矩形領域判定の精度が下がることを回避するためである。閾値は、画像解析部３０６に予め設定されている値であり、モバイルアプリ３０２のユーザが変更することもできる。
【００４５】
ステップＳ７０１で、互いに垂直に交わり、かつ互いに交点をはみ出さない一対の線分画像が存在すると判定された場合、処理はステップＳ７０４に進み、存在しないと判定された場合、処理はステップＳ７０２に進む。ステップＳ７０２で、画像解析部３０６は、ステップＳ５０３で抽出した線分画像の中に互いに垂直な位置に存在する一対の線分画像が存在するか判定する。すなわち、ステップＳ７０２の処理では、互いに延長することで垂直に交わる一対の線分画像が存在するか判定する。
【００４６】
ステップＳ７０２で、互いに垂直な位置に存在する一対の線分画像が存在すると判定された場合、処理はステップＳ７０３に進み、存在しないと判定された場合、処理は終了する。ステップＳ７０３で、画像解析部３０６は、ステップＳ７０２で抽出した一対の線分画像について、それぞれの線分が交わるまで、すなわち矩形の頂点を形成するように延長する補完を行う。そして、補完後の一対の線分画像を以降の処理において矩形の頂点を形成するように交わる一対の線分画像と見なす。
【００４７】
ステップＳ７０４で、画像解析部３０６は、ステップＳ７０１またはステップＳ７０３で抽出した一対の線分画像のうち撮影画像の水平方向に延びる線分画像の長さが、ステップＳ５０２で算出した横辺の長さと等しいまたは短いか判定する。なお、本実施形態において水平方向に延びるとは、厳密に水平方向に延びる場合に加えて、水平方向に対して所定の角度未満、例えば４５°未満の範囲で傾いた方向に延びる場合も含みうる。以下、垂直方向の場合についても同様とする。
【００４８】
水平方向に延びる線分画像の長さが、ステップＳ５０２で算出した横辺の長さと等しいまたは短い場合、処理はステップＳ７０５に進み、ステップＳ５０２で算出した横辺の長さよりも長い場合、処理は終了する。
【００４９】
ステップＳ７０５で、画像解析部３０６は、ステップＳ７０１またはステップＳ７０３で抽出した一対の線分画像のうち撮影画像の垂直方向に延びる線分画像の長さが、ステップＳ５０２で算出した縦辺の長さと等しいまたは短いか判定する。垂直方向に延びる線分画像の長さが、ステップＳ５０２で算出した縦辺の長さと等しいまたは短い場合、処理はステップＳ７０６に進み、ステップＳ５０２で算出した縦辺の長さよりも長い場合、処理は終了する。
【００５０】
ステップＳ７０６で、画像解析部３０６は、ステップＳ７０１またはステップＳ７０３で抽出した一対の線分画像が撮影画像上のシリアルＩＤプレート１０７を示す矩形領域の枠の一部であると決定する。そして、画像解析部３０６は、ステップＳ５０２で算出した縦辺および横辺の長さで矩形領域を囲む枠を補完する。この補完によって矩形領域が特定される。
【００５１】
図８は、図７に示した互いに垂直な位置に存在する線分画像を用いた矩形領域の判定処理の一例を示す図である。
線分８０１と線分８０２とは、ステップＳ７０１において矩形の頂点を形成する一対の線分画像であると判定される一例である。線分８０１と線分８０２とは、互いに垂直に交わり、かつ互いに交点をはみ出さないことがわかる。
【００５２】
一方、線分８０３と線分８０４とは、ステップＳ７０１において矩形の頂点を形成する一対の線分画像であると判定されない例である。しかし、ステップＳ７０２において、互いに延長することで垂直に交わる一対の線分画像であると判定される一例である。線分８０３と線分８０４とは、延長線上で垂直に交わることがわかる。線分８０５と線分８０６とは、ステップＳ７０３において、線分８０３と線分８０４とを矩形の頂点を形成するように延長する補完を行った一例である。線分８０３に対して線分８０５が、線分８０４に対して線分８０６が、垂直に交わる交点までそれぞれ補完されたことがわかる。
【００５３】
矩形８０７は、ステップＳ５０２で算出した縦辺と横辺の長さを有する矩形を示す。線分８０８と線分８０９とは、ステップＳ７０４において水平方向に延びる線分画像の長さが、ステップＳ５０２で算出した横辺の長さと等しいまたは短いと判定される一対の線分画像の例である。また、線分８０８と線分８０９とは、ステップＳ７０５において垂直方向に延びる線分画像の長さが、ステップＳ５０２で算出した横辺の長さと等しいまたは短いと判定される一対の線分画像の例である。線分８０８と線分８０９とが、それぞれ矩形８０７の縦辺と横辺より短いことがわかる。
【００５４】
一方、線分８１０と線分８１１とは、ステップＳ７０４において水平方向に延びる線分画像、この場合、線分８１１の長さが、ステップＳ５０２で算出した横辺の長さよりも長いと判定される一対の線分画像の例である。線分８１１が、矩形８０７の横辺より長いことがわかる。また、線分８１２と線分８１３とは、ステップＳ７０５において垂直方向に延びる線分画像、この場合、線分８１２の長さが、ステップＳ５０２で算出した縦辺の長さよりも長いと判定される一対の線分画像の例である。線分８１２が、矩形８０７の縦辺より長いことがわかる。
【００５５】
図９は、図５に示したステップＳ５０７における、２以上の線分画像を連結する破線連結処理を説明するフローチャートである。
ステップＳ９０１で、画像解析部３０６は、同一直線上に並ぶ複数の線分画像が存在するか判定する。同一直線上に並ぶ複数の線分画像が存在する場合、処理はステップＳ９０２に進み、同一直線上に並ぶ複数の線分画像が存在しない場合、処理は終了する。ステップＳ９０２で、画像解析部３０６は、ステップＳ９０１で抽出した複数の線分画像について、それぞれの線分画像の間を補完し、以降の処理において一つの線分画像と見なす。
【００５６】
図１０は、図５に示したステップＳ５０８における、互いに平行な位置に存在する線分画像を用いた矩形領域の判定処理を説明するフローチャートである。
ステップＳ１００１で、画像解析部３０６は、ステップＳ５０３で抽出した線分画像の中からステップＳ５０２で算出した横辺の長さと等しい長さの水平方向に延びる線分画像を一つ抽出する。
【００５７】
なお、ステップＳ１００１および図１０の後述するそのほかの処理において、「等しい長さの線分画像を抽出する処理」または「等しい長さの線分画像を判定する処理」では、所定の閾値以内で近似できる長さを等しい長さであると見なす。閾値は、画像解析部３０６に予め設定されている値であり、モバイルアプリ３０２のユーザが変更することもできる。
【００５８】
ステップＳ１００２で、画像解析部３０６は、ステップＳ１００１において、ステップＳ５０２で算出した横辺の長さと等しい長さの水平方向に延びる線分画像が抽出されたか判定する。ステップＳ５０２で算出した横辺の長さと等しい長さの水平方向に延びる線分画像が抽出された場合、処理はステップＳ１００３に進み、抽出されなかった場合、処理はステップＳ１００５に進む。
【００５９】
ステップＳ１００３で、画像解析部３０６は、ステップＳ１００１において抽出された水平方向に延びる線分画像に注目し、該線分画像に対してステップＳ５０２で算出した縦辺の長さと等しい距離に平行な線分画像が存在するか判定する。注目した線分画像に対してステップＳ５０２で算出した縦辺の長さと等しい距離に平行な線分画像が存在する場合、処理はステップＳ１００４に進み、存在しない場合、処理はステップＳ１００９に進む。
【００６０】
ステップＳ１００４で、画像解析部３０６は、ステップＳ１００１において抽出された線分画像とステップＳ１００３において抽出された線分画像とを、撮影画像上のシリアルＩＤプレート１０７を示す矩形領域の枠の一部であると決定する。そして、画像解析部３０６は、ステップＳ５０２で算出した縦辺および横辺の長さで矩形を補完する。この補完によって矩形領域が特定される。
【００６１】
ステップＳ１００５で、画像解析部３０６は、ステップＳ５０３で抽出した線分画像の中からステップＳ５０２で算出した縦辺の長さと等しい長さの垂直方向に延びる線分画像を一つ抽出する。ステップＳ１００６で、画像解析部３０６は、ステップＳ１００５において、ステップＳ５０２で算出した縦辺の長さと等しい長さの垂直方向に延びる線分画像が抽出されたか判定する。
【００６２】
ステップＳ５０２で算出した縦辺の長さと等しい長さの垂直方向に延びる線分画像が抽出された場合、処理はステップＳ１００７に進み、抽出されなかった場合、処理はステップＳ１０１０に進む。
【００６３】
ステップＳ１００７で、画像解析部３０６は、ステップＳ１００５において抽出された垂直方向に延びる線分画像に注目し、該線分画像に対してステップＳ５０２で算出した横辺の長さと等しい距離に平行な線分画像が存在するか判定する。注目した線分画像に対してステップＳ５０２で算出した横辺の長さと等しい距離に平行な線分画像が存在する場合、処理はステップＳ１００８に進み、存在しない場合、処理はステップＳ１００９に進む。
【００６４】
ステップＳ１００８で、画像解析部３０６は、ステップＳ１００５において抽出された線分画像とステップＳ１００７において抽出された線分画像とを、撮影画像上のシリアルＩＤプレート１０７を示す矩形領域の枠の一部であると決定する。そして、画像解析部３０６は、ステップＳ５０２で算出した縦辺および横辺の長さで矩形を補完する。この補完によって矩形領域が特定される。
【００６５】
ステップＳ１００９で、画像解析部３０６は、ステップＳ１００１またはステップＳ１００５において抽出した線分画像を撮影画像上のシリアルＩＤプレート１０７を示す矩形の枠の一辺であると決定する。そして、画像解析部３０６は、該線分画像を軸にそれぞれ線対称の位置に、ステップＳ５０２で算出した縦辺および横辺の長さで２つの矩形を補完する。この補完によって矩形領域が特定される。
【００６６】
ステップＳ１０１０で、画像解析部３０６は、ステップＳ５０３で抽出した線分画像の中から互いに平行かつ互いの距離がステップＳ５０２で算出した縦辺の長さと等しい長さの水平方向に延びる一対の線分画像が存在するか判定する。互いに平行かつ互いの距離がステップＳ５０２で算出した縦辺の長さと等しい長さの水平方向に延びる一対の線分画像が存在する場合、処理はステップＳ１０１２に進み、存在しない場合、処理はステップＳ１０１１に進む。
【００６７】
ステップＳ１０１１で、画像解析部３０６は、ステップＳ５０３で抽出した線分画像の中から互いに平行かつ互いの距離がステップＳ５０２で算出した横辺の長さと等しい長さの垂直方向に延びる一対の線分画像が存在するか判定する。互いに平行かつ互いの距離がステップＳ５０２で算出した横辺の長さと等しい長さの垂直方向に延びる一対の線分画像が存在する場合、処理はステップＳ１０１２に進み、存在しない場合、処理は終了する。
【００６８】
ステップＳ１０１２で、画像解析部３０６は、ステップＳ１０１０またはステップＳ１０１１で抽出した一対の線分画像を撮影画像上のシリアルＩＤプレート１０７を示す矩形領域の枠の一部であると決定する。そして、画像解析部３０６は、一対の線分画像のそれぞれの端点を矩形の頂点であると見なしてステップＳ５０２で算出した縦辺および横辺の長さで１つ以上の矩形を補完する。この補完によって矩形領域が特定される。
【００６９】
図１１は、図１０に示した互いに平行な位置に存在する線分画像を用いた矩形領域の判定処理の一例を示す図である。
矩形１１０１は、ステップＳ５０２で算出した縦辺と横辺の長さを有する矩形を示す。線分１１０２は、ステップＳ１００２において、ステップＳ５０２で算出した横辺の長さと等しい長さの水平方向に延びる線分画像として抽出される線分画像の例である。線分１１０２の長さが、矩形１１０１の横辺の長さと等しいことがわかる。
【００７０】
また、線分１１０３と線分１１０４と線分１１０５とは、ステップＳ１００２において、ステップＳ５０２で算出した横辺の長さと等しい長さの水平方向に延びる線分画像として抽出される線分画像の組み合わせの例である。図９に示した破線連結処理のステップＳ９０２において、複数の線分画像の間を補完し、一つの線分画像と見なした場合、線分１１０３と線分１１０４と線分１１０５との組み合わせが、矩形１１０１の横辺の長さと等しいことがわかる。
【００７１】
線分１１０６は、ステップＳ１００３において、注目した線分画像、この場合、線分１１０２に対して、ステップＳ５０２で算出した縦辺の長さと等しい距離に平行な線分画像が存在すると判定される線分画像の例である。線分１１０２に対して矩形１１０１の縦辺の長さと等しい距離、すなわち矩形１１０１の対向する辺の位置に平行な線分１１０６が存在することがわかる。
【００７２】
矩形１１０７および矩形１１０８は、ステップＳ１００９において、線分１１０２を矩形の枠の一辺として、ステップＳ５０２で算出した縦辺および横辺の長さで２つの矩形が補完された例である。ステップＳ１００３において、線分１１０２に対して線分１１０６に相当する線分画像が抽出されなかった場合に、ステップＳ１００９は実行される。線分１１０２を軸にそれぞれ線対称の位置に、ステップＳ５０２で算出した縦辺および横辺の長さで２つの矩形が補完されたことがわかる。
【００７３】
線分１１０９と線分１１１０とは、ステップＳ１０１０において、互いに平行かつ互いの距離がステップＳ５０２で算出した縦辺の長さと等しい長さの水平方向に延びる一対の線分画像であると判定される例である。矩形１１０１の縦辺の長さと等しい距離、すなわち矩形１１０１の対向する辺の位置に互いに平行な線分１１０９と線分１１１０とが存在することがわかる。
【００７４】
矩形１１１１と矩形１１１２は、ステップＳ１０１２において、一対の線分画像、この場合、線分１１０９と線分１１１０とのそれぞれの端点を矩形の頂点であると見なしてステップＳ５０２で算出した縦辺および横辺の長さで２つの矩形を補完した例である。矩形１１１１は、線分１１０９の右の端点を矩形の頂点と見なして矩形を補完した例であり、矩形１１１２は、線分１１１０の左の端点を矩形の頂点と見なして矩形を補完した例である。
【００７５】
図１２は、ステップＳ５０２においてシリアルＩＤプレート１０７の枠の縦辺の長さを算出する処理の応用例を説明する模式図である。詳細には、ステップＳ５０２において、シリアルＩＤプレート１０７の枠の縦辺の長さを算出する際に加速度センサ２０７が測定したモバイル端末１００の重力方向に対する傾きを用いる。これは、被写体１０５に対するモバイル端末１００の傾きによって撮影画像上のシリアルＩＤプレート１０７の枠の縦辺の長さが基準画像上のシリアルＩＤプレート１０７の枠の縦辺の長さと異なる場合があるためである。
【００７６】
平面１２０１は、撮影対象である被写体１０５の平面を示している。プレート面１２０２は、被写体１０５に含まれる、撮影対象のシリアルＩＤプレート１０７の平面を示している。モバイル端末１２０３は、基準情報の設定におけるモバイル端末１００の位置を示している。モバイル端末１２０４は、撮影時のモバイル端末１００の位置を示している。重力加速度１２０５は、重力加速度の向きを示している。
【００７７】
加速度センサ２０７は、重力加速度１２０５の向きと大きさを測定することにより、モバイル端末１２０３およびモバイル端末１２０４の重力方向に対する傾きを測定することができる。角度１２０６は、モバイル端末１２０３の重力方向に対する傾きを示している。画像解析部３０６は、上述したように、基準情報の設定の際に角度１２０６を予め記憶している。
【００７８】
角度１２０７は、モバイル端末１２０４の重力方向に対する傾きを示している。線分１２０８の長さは、プレート面１２０２とモバイル端末１２０４の間の距離を用いてステップＳ５０２で算出する縦辺の長さを示している。角度１２０９は角度１２０６と角度１２０７との差分を示している。線分１２１０の長さは、モバイル端末１２０４の位置で撮影した際の撮影画像上のシリアルＩＤプレート１０７の枠の縦辺の長さを示している。
【００７９】
図１２に示すように、線分１２１０の長さは、線分１２０８の長さおよび角度１２０９から算出できる。画像解析部３０６は、ステップＳ５０２において加速度センサ２０７から角度１２０７を取得する。そして、取得した角度１２０７と角度１２０６との間に差分がある場合には、線分１２０８の長さを算出してから該差分を用いて線分１２１０の長さを算出する。すなわち、線分１２０８の長さを補正した線分１２１０の長さを、ステップＳ５０２以降の処理において、撮影画像上のシリアルＩＤプレートの縦辺の長さとして用いる。
【００８０】
以上のように、本実施形態によれば、撮影した画像において画像認識の対象とする領域を適切に特定することが可能となるため、該領域に対してＯＣＲ処理を行うことで高い精度の認識が可能となる。
【００８１】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８２】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００８３】
１００    モバイル端末
２０６    カメラユニット
２０７    加速度センサ
３０２    モバイルアプリ
３０６    画像解析部
３０７    撮影情報取得部
３０８    ＯＣＲ部
【図１】
2018117191.tif 000003
【図２】
2018117191.tif 000004
【図３】
2018117191.tif 000005
【図４】
2018117191.tif 000006
【図５】
2018117191.tif 000007
【図６】
2018117191.tif 000008
【図７】
2018117191.tif 000009
【図８】
2018117191.tif 000010
【図９】
2018117191.tif 000011
【図１０】
2018117191.tif 000012
【図１１】
2018117191.tif 000013
【図１２】
2018117191.tif 000014