(57)【要約】【課題】撮影位置の変化により認識対象の画像が変形していても、高速かつ高精度な画像認識を実現することを課題とする。【解決手段】画像処理装置は、入力画像の探索領域に参照画像を重ね合わせて、参照画像内の矩形領域に対応する入力画像内の領域に含まれるエッジ数と、参照画像内の矩形領域に含まれるエッジ数とを比較する。そして、画像処理装置は、エッジ数の比較結果に基づいて、入力画像と参照画像との間の類似度を評価し、評価結果を用いて入力画像の認識結果を導き出す。【選択図】        図２
2010113525.tif 000002
【特許請求の範囲】
【請求項１】
入力画像とのマッチングに用いる参照画像からエッジを抽出するエッジ抽出部と、
前記エッジ抽出部により抽出されたエッジの勾配方向を算出するエッジ方向算出部と、
エッジの勾配方向に関する所定の分類定義に対して、前記エッジ方向算出部により算出された前記勾配方向を当てはめることにより、前記エッジ抽出部により抽出されたエッジを分類して、当該分類されたエッジからなるエッジ画像を作成するエッジ画像作成部と、
前記エッジ画像作成部により作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録する参照画像情報登録部と、
入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価部と
を有する画像処理装置。
【請求項２】
前記参照画像よりもサイズが大きい入力画像の探索領域に対して、前記参照画像を移動させつつ、それぞれ当てはめて、前記探索領域内において前記矩形領域が位置し得る領域内に含まれるエッジ数を算出し、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が前記探索領域内に含まれるか否かを判定するエッジ数判定部と、
前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が前記探索領域内に含まれているものと前記エッジ数判定部により判定された場合には、前記探索領域を所定数に分割する探索領域分割部と
をさらに有し、
前記エッジ数判定部は、前記探索領域分割部により分割された各探索領域に対して前記エッジ数を算出して、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が前記各探索領域に含まれるか否かをそれぞれ判定し、
前記探索領域分割部は、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が含まれているものと前記エッジ数判定部により判定された探索領域のサイズが、前記参照画像のサイズよりも大きい場合には、前記所定割合以上のエッジ数が含まれているものと前記エッジ数判定部により判定された探索領域を所定数に分割し、
前記画像評価部は、前記探索領域分割部により分割された各探索領域が前記参照画像と同一のサイズになった場合に、入力画像と前記参照画像との間の類似度を評価する請求項１に記載の画像処理装置。
【請求項３】
参照画像を所定数に分割した各領域ごとに色ヒストグラムを作成する色ヒストグラム作成部と、
前記色ヒストグラム作成部により作成された色ヒストグラムを前記各領域ごとに記憶部に登録する色ヒストグラム登録部と
をさらに有し、
前記画像評価部は、前記エッジ数の比較により参照画像と所定値以上の類似度を有すると評価された入力画像を前記所定数と同一の個数に分割して、当該分割された各領域ごとに色ヒストグラムを作成し、当該作成された色ヒストグラムと、前記色ヒストグラム登録部により記憶部に登録された色ヒストグラムとを前記各領域ごとに比較して、入力画像と参照画像との間の類似度を色ヒストグラムに基づいて評価する請求項１または２に記載の画像処理装置。
【請求項４】
入力画像とのマッチングに用いる参照画像からエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップにより抽出されたエッジの勾配方向を算出するエッジ方向算出ステップと、
エッジの勾配方向に関する所定の分類定義に対して、前記エッジ方向算出ステップにより算出された前記勾配方向を当てはめることにより、前記エッジ抽出ステップにより抽出されたエッジを分類して、当該分類されたエッジからなるエッジ画像を作成するエッジ画像作成ステップと、
前記エッジ画像作成ステップにより作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録する参照画像情報登録ステップと、
入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録ステップにより記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価ステップと、
入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録ステップにより記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価ステップと
を含む画像処理方法。
【請求項５】
入力画像とのマッチングに用いる参照画像からエッジを抽出するエッジ抽出手順と、
前記エッジ抽出手順により抽出されたエッジの勾配方向を算出するエッジ方向算出手順と、
エッジの勾配方向に関する所定の分類定義に対して、前記エッジ方向算出手順により算出された前記勾配方向を当てはめることにより、前記エッジ抽出手順により抽出されたエッジを分類して、当該分類されたエッジからなるエッジ画像を作成するエッジ画像作成手順と、
前記エッジ画像作成手順により作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録する参照画像情報登録手順と、
入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録手順により記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価手順と
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、テンプレートマッチングや正規化相関を用いて、入力画像の画素値と参照画像の画素値とを比較して画像の類似度を評価し、入力画像から参照画像と同様の形状を抽出して画像認識を行う技術が存在する。
【０００３】
例えば、特許文献１では、色ヒストグラムを用いて、高精度にカラー画像を認識する技術が提案されている。具体的には、カラー入力画像を小領域に分割し、濃度差から色、方向別エッジ強度を算出して小領域ごとに集計されたエッジ強度データにより色別にエッジ方向を求める。そして、エッジ方向のヒストグラムを特徴量として抽出し、抽出された特徴量のデータ（色ヒストグラム）と、予め有する辞書内の特徴量のデータとのマッチングを実行することによって特定の画像を認識する。
【０００４】
【特許文献１】特開平８−１４７４６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記した従来の技術は、撮影位置の変化によって入力画像に変形が生じると、参照画像が入力画像の変形を考慮したものではないので、認識精度が大幅に低下するという問題点があった。また、上記した特許文献１に提案されている従来技術では、撮影位置の変化による画像の変化に対応した認識を行うことも可能であるが、色のカテゴリが複数存在するので、マッチングの計算処理に時間を要するという問題点がある。
【０００６】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、撮影位置の変化により認識対象の画像が変形していても、高速かつ高精度に画像認識を行うことが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、開示の装置は、入力画像とのマッチングに用いる参照画像からエッジを抽出するエッジ抽出部と、前記エッジ抽出部により抽出されたエッジの勾配方向を算出するエッジ方向算出部と、エッジの勾配方向に関する所定の分類定義に対して、前記エッジ方向算出部により算出された前記勾配方向を当てはめることにより、前記エッジ抽出部により抽出されたエッジを分類して、当該分類されたエッジからなるエッジ画像を作成するエッジ画像作成部と、前記エッジ画像作成部により作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録する参照画像情報登録部と、入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価部と、を有する。
【発明の効果】
【０００８】
開示の装置によれば、撮影位置の変化により認識対象の画像が変形していても、高速かつ高精度な画像認識を実現できる。
【発明を実施するための最良の形態】
【０００９】
以下に、画像処理装置、画像処理方法および画像処理プログラムの一実施形態を詳細に説明する。
【実施例１】
【００１０】
図１および図２は、実施例１に係る画像処理装置を説明するための図である。実施例１に係る画像処理装置は、入力画像に参照画像を当てはめることにより、入力画像から参照画像と同様の形状を抽出して画像認識を行うことを概要とする。そして、実施例１に係る画像処理装置は、撮影位置の変化により認識対象の画像が変形していても、高速かつ高精度な画像認識を実現できる。
【００１１】
まず、実施例１に係る画像処理装置は、図１に示すように、参照画像に含まれるエッジを抽出し、エッジの勾配方向（画素値が暗から明になる方向）が類似しているエッジ同士をまとめたエッジ画像を生成する。エッジ画像の生成後、実施例１に係る画像処理装置は、勾配方向が類似していて近い位置関係にあるエッジ画像内のエッジを取り囲む最小の矩形領域を求め、求められた最小の矩形領域内含まれるエッジ数等を予め登録しておく。
【００１２】
次に、実施例１に係る画像処理装置は、図２に示すように、入力画像の探索領域に参照画像を重ね合わせて、参照画像内の矩形領域に対応する入力画像内の領域に含まれるエッジ数と、参照画像内の矩形領域に含まれるエッジ数とを比較する（すなわち、参照画像内のエッジと勾配方向の類似するエッジが、入力画像内の探索領域にどれだけ含まれるか判定する）。そして、実施例１に係る画像処理装置は、エッジ数の比較結果に基づいて、入力画像と参照画像との間の類似度を評価し、評価結果を用いて入力画像の認識結果を導き出す。
【００１３】
実施例１に係る画像処理装置は、参照画像からエッジを抽出し、エッジの勾配方向が類似しているエッジ同士をまとめたエッジ画像についてエッジを囲む最小の矩形領域を求め、矩形領域内のエッジ数に関する情報を予め登録しておく。そして、入力画像の探索領域に参照画像を当てはめて、矩形領域内のエッジ数を互いに比較して入力画像と参照画像との間の類似度を評価し、画像認識結果を導き出す。このように、撮影位置の変化により影響を受けないエッジの情報を使って入力画像の認識を行うので、撮影位置の変化により認識対象の画像が変形していても、高速かつ高精度に画像認識できる。
【００１４】
［画像処理装置の構成（実施例１）］
図３は、実施例１に係る画像処理装置の構成を示す図である。同図に示すように、実施例１に係る画像処理装置１００は、入力部１１０と、出力部１２０と、記憶部１３０と、制御部１４０とを有する。
【００１５】
入力部１１０は、例えば、ユーザから参照画像や入力画像の入力を受け付けて、制御部１４０に出力する。また、出力部１２０は、例えば、入力画像の認識結果を制御部１４０から受け付け、ユーザに向けて出力する。
【００１６】
記憶部１３０は、制御部１４０による各種処理に必要なデータ等を記憶し、特に、参照画像情報記憶部１３１および色ヒストグラム情報記憶部１３２を有する。
【００１７】
参照画像情報記憶部１３１は、入力画像内のエッジとマッチングするための参照画像内のエッジ等に関する各種の情報を記憶する。具体的には、図４に例示するように、参照画像内に含まれるエッジの勾配方向ごとに、参照画像内の矩形領域に含まれるエッジ数、および矩形領域の四隅の座標を記憶する。なお、参照画像は、後に詳述するが、エッジの勾配方向について予め定められている分類定義（「−π/４〜π/４」、「−３π/４〜−π/４」、「３π/４〜π，−π〜−３π/４」、「π/４〜π/２」）に基づいて、４つのエッジ画像に分類される。なお、図４は、実施例１に係る参照画像情報記憶部に記憶される情報の構成例を示す図である。
【００１８】
色ヒストグラム情報記憶部１３２は、入力画像内の色ヒストグラムとマッチングするための参照画像内の色ヒストグラムに関する情報を記憶する。具体的には、図６に例示するように、参照画像を分割した領域１〜１６の各領域（図５参照）ごとに、色ヒストグラムデータを記憶する。なお、図５は、実施例１に係る参照画像の分割例を示す図である。図６は、実施例１に係る色ヒストグラム情報記憶部に記憶される情報の構成例を示す図である。
【００１９】
制御部１４０は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、画像処理装置１００における処理を主導して実行する処理部である。そして、制御部１４０は、特に、エッジ画像作成部１４１と、参照画像情報登録部１４２と、色ヒストグラム情報登録部１４３と、画像認識部１４４とを有する。
【００２０】
エッジ画像作成部１４１は、入力部１１０を介して受け付けた各参照画像からエッジ画像をそれぞれ作成する。具体的には、エッジ画像作成部１４１は、参照画像からエッジを抽出して、抽出されたエッジの勾配方向を既存技術（例えば、ソーベルオペレータ、特開平５−４６７６３号公報）により算出する。勾配方向の算出後、エッジ画像作成部１４１は、エッジの勾配方向に関して予め定められている分類定義に対して、先に算出された勾配方向を当てはめることにより、抽出されたエッジを９０度範囲で分類して、エッジの勾配方向で分類されたエッジからなるエッジ画像をそれぞれ作成する（図７の（１）参照）。エッジ画像作成部１４１は、作成したエッジ画像を参照画像情報登録部１４２に出力する。
【００２１】
参照画像情報登録部１４２は、入力画像内のエッジとマッチングするための参照画像内のエッジ等に関する各種の情報を取得して、参照画像情報登録部１３１に登録する。具体的には、参照画像情報登録部１４２は、エッジ画像作成部１４１からエッジ画像を受け付けると、エッジ画像内のエッジを膨張させて、各エッジにラベリングを行った後、面積の小さい領域を除去する（図７の（２）参照）。すなわち、参照画像情報登録部１４２は、エッジ画像内のエッジを、勾配方向が類似していて近い位置関係にあるもの同士まとめて、ノイズとみなせる部分を除去する。参照画像情報登録部１４２は、各参照画像について作成された各エッジ画像について同様に処理を行う。
【００２２】
次に、参照画像情報登録部１４２は、各エッジ画像について、膨張させたエッジを囲む最小の矩形領域を求め（図７の（３）参照）、矩形領域に含まれるエッジ数（膨張前）、および矩形領域の四隅の座標に関する情報を取得する。そして、参照画像情報登録部１４２は、参照画像に含まれるエッジの勾配方向ごとに、矩形領域に含まれるエッジ数（膨張前）、および矩形領域の四隅の座標に関する情報を参照画像情報登録部１３１に登録する。なお、図７は、実施例１に係る参照画像情報の生成を説明するための図である。
【００２３】
色ヒストグラム情報登録部１４３は、入力部１１０を介して受け付けた各参照画像について、入力画像内の色ヒストグラムとマッチングするための参照画像内の色ヒストグラムに関する情報を求め、色ヒストグラム情報記憶部１３２に登録する。具体的には、色ヒストグラム情報登録部１４３は、例えば、図８に示すように、参照画像を１６の領域に分割し、分割された各領域の色ヒストグラムを既存技術（例えば、M.J.Swain,D.H.Ballard: "Color Indexing", IJCV,Vol.7,No.1,pp.11-32,1991等参照）により求める。そして、色ヒストグラム情報登録部１４３は、求められた色ヒストグラムのデータを各領域ごとに登録する。なお、図８は、実施例１に係る色ヒストグラム情報の生成を説明するための図である。
【００２４】
画像認識部１４４は、参照画像情報記憶部１３１および色ヒストグラム情報記憶部１３２に記憶されている情報を用いて入力画像の認識処理を行う。具体的には、画像認識部１４４は、入力部１１０を介して入力画像を受け付けると、参照画像からエッジ画像を生成したときと同じ要領（例えば、図７の（１）参照）で入力画像のエッジ画像を生成し、入力画像の全てを探索領域として登録する。
【００２５】
次に、画像認識部１４４は、入力画像について探索領域が一つ以上登録されているか否かの確認を行い、探索領域が一つ以上登録されている場合には、登録されている探索領域の中から、探索領域を一つ選択する。
【００２６】
そして、画像認識部１４４は、選択した探索領域内に十分な数のエッジ数が存在するか否かの見込み判定を行う。すなわち、画像認識部１４４は、参照画像の類似領域がそもそも現在の探索領域内に存在するのか否かの見込みを判定する。具体的には、まず、画像認識部１４４は、図９に示すように、探索領域に対して参照画像を少しずつずらしながらあてはめた場合に、参照画像について予め求められている矩形領域Ｒｉ（例えば、図７の（３）参照）が探索領域において位置し得る領域（図９の斜線部）を特定する。
【００２７】
次に、画像認識部１４４は、矩形領域Ｒｉ（例えば、図７の（３）参照）が探索領域において位置し得る領域内に含まれるエッジ数を算出する。例えば、図１０に示すように、「ａ」、「ｂ」、「ｃ」、「ｄ」を右隅上部の頂点とする領域内に含まれるエッジ数を各頂点「ａ」、「ｂ」、「ｃ」、「ｄ」に対応付けおく。このとき、画像認識部１４４は、「ａ−（ｂ＋ｄ）＋ｃ」を計算することにより、図９に示す斜線部の領域内に含まれるエッジ数を簡便に算出する。なお、図９は、実施例１に係る参照画像の類似領域が存在するか否かの見込み判定を説明するための図である。図１０は、実施例１に係るエッジ数の計算例を示す図である。
【００２８】
続いて、画像認識部１４４は、参照画像の矩形領域Ｒｉに含まれるエッジ数を参照画像情報記憶部１３１から読込む。そして、画像認識部１４４は、矩形領域Ｒｉが探索領域において位置し得る領域内に含まれるエッジ数が、参照画像の矩形領域Ｒｉに対して所定割合以上含まれるかどうかを判定することにより見込み判定を行う。判定の結果、所定割合以上のエッジ数が含まれない場合には、参照画像の類似領域がそもそも探索領域内に存在する可能性が低いものとして、現在の探索領域に関する処理を終了し、次の探索領域の処理に移行する。
【００２９】
一方、画像認識部１４４は、判定の結果、所定割合以上のエッジ数が含まれる場合には、参照画像の類似領域が現在の探索領域内に存在する見込みがあるものとして、探索領域の幅（サイズ）と参照画像の幅（サイズ）とが同じであるか否かを判定する。判定の結果、探索領域の幅と参照画像の幅とが同じでない場合（すなわち、探索領域の幅の方が参照画像の幅よりも大きいことを意味する）には、画像認識部１４４は、図１１に示すように、現在の探索領域を４分割して、分割した各領域を探索領域として登録し、改めて探索領域の選択を行う。画像認識部１４４は、探索領域の幅と参照画像の幅とが同じになるまで、上述した見込みの判定および探索領域の分割を繰り返し実行する。なお、図１１は、実施例１に係る参照画像の類似領域が存在するか否かの見込み判定に応じた入力画像の分割を説明するための図である。
【００３０】
一方、画像認識部１４４は、判定の結果、探索領域の幅と参照画像の幅とが同じである場合には、入力画像の探索領域に参照画像を重ね合わせて、参照画像内の各矩形領域に対応する入力画像内の各領域に含まれるエッジ数をそれぞれ算出する。そして、画像認識部１４４は、参照画像内の各矩形領域に含まれるエッジ数と、入力画像内の各領域に含まれるエッジ数とを比較する（すなわち、参照画像内のエッジと勾配方向の類似するエッジが、入力画像内の探索領域にどれだけ含まれるか判定する）。なお、画像認識部１４４は、エッジの勾配方向に関する分類定義によって、４つに分類された各参照画像（例えば、図７の（３）参照）について、上述したエッジ数の算出および比較をそれぞれ実行する。
【００３１】
そして、画像認識部１４４は、エッジ数の比較結果を総合的に判断して、入力画像と参照画像が類似度を評価する。画像認識部１４４は、エッジ数の比較結果を総合的に判断した結果、入力画像と参照画像とが良く類似するという結果が得られなかった場合には、現在の探索領域に関する処理を終了し、次の探索領域の処理に移行する。
【００３２】
一方、画像認識部１４４は、評価の結果、入力画像と参照画像とが良く類似するという結果が得られた場合には、参照画像と同じ要領（例えば、図８参照）で、入力画像を１６分割して、分割された各領域内の色ヒストグラムを求める。そして、画像認識部１４４は、色ヒストグラム情報記憶部１３２から参照画像の色ヒストグラムデータを読込んで、入力画像について求めた色ヒストグラムとの比較を行う。比較の結果、入力画像の色ヒストグラムと参照画像の色ヒストグラムとが互いに類似しているという結果が得られた場合には、画像認識部１４４は、出力部１２０を介して、入力画像の認識結果を出力する。
【００３３】
そして、画像認識部１４４は、現在の探索領域に関する処理を終了し、次の探索領域の処理に移行する。そして、画像認識部１４４は、次の探索領域が登録されているか否かを判定し、探索領域の登録がない場合には、処理を終了する。
【００３４】
［画像処理装置による処理（実施例１）］
図１２は、実施例１に係る参照画像情報登録時の処理の流れを示す図である。図１３は、実施例１に係る画像認識処理の流れを示す図である。
【００３５】
［参照画像登録時の処理］
図１２に示すように、エッジ画像作成部１４１は、参照画像からエッジを抽出して（ステップＳ１）、抽出されたエッジの勾配方向を既存技術により算出する。勾配方向の算出後、エッジ画像作成部１４１は、エッジの勾配方向に関して予め定められている分類定義に対して、先に算出された勾配方向を当てはめることにより、抽出されたエッジを９０度範囲で分類して（ステップＳ２）、分類されたエッジからなるエッジ画像をそれぞれ作成する（ステップＳ３）。
【００３６】
参照画像情報登録部１４２は、エッジ画像作成部１４１からエッジ画像を受け付けると、エッジ画像内のエッジを膨張させて、各エッジにラベリングを行った後（ステップＳ４）、面積の小さい領域を除去する（ステップＳ５）。参照画像情報登録部１４２は、各参照画像について作成された各エッジ画像について同様に処理を行う。
【００３７】
参照画像情報登録部１４２は、各エッジ画像について、膨張させたエッジを囲む最小の矩形領域を求め（ステップＳ６）、矩形領域に含まれるエッジ数（膨張前）、および矩形領域の四隅の座標に関する情報を取得する。そして、参照画像情報登録部１４２は、参照画像に含まれるエッジの勾配方向ごとに、矩形領域に含まれるエッジ数（膨張前）、および矩形領域の四隅の座標に関する情報を参照画像情報登録部１３１に登録する（ステップＳ７）。
【００３８】
［画像認識処理］
図１３に示すように、画像認識部１４４は、入力部１１０を介して入力画像を受け付けると、参照画像からエッジ画像を生成したときと同じ要領（例えば、図７の（１）参照）で入力画像のエッジ画像を生成し、入力画像の全てを探索領域として登録する（ステップＳ１）。
【００３９】
次に、画像認識部１４４は、入力画像について探索領域が一つ以上登録されているか否かの確認を行い（ステップＳ２）、探索領域が一つ以上登録されている場合には（ステップＳ２肯定）、登録されている探索領域の中から、探索領域を一つ選択する（ステップＳ３）。
【００４０】
そして、画像認識部１４４は、選択した探索領域内に十分な数のエッジ数が存在するか否かの見込み判定を行う（ステップＳ４）。すなわち、画像認識部１４４は、参照画像の類似領域がそもそも現在の探索領域内に存在するのか否かの見込みを判定する。具体的には、まず、画像認識部１４４は、図９に示すように、探索領域に対して参照画像を少しずつずらしながらあてはめた場合に、参照画像について予め求められている矩形領域Ｒｉ（例えば、図７の（３）参照）が探索領域において位置し得る領域（図９の斜線部）を特定する。
【００４１】
次に、画像認識部１４４は、矩形領域Ｒｉ（例えば、図７の（３）参照）が探索領域において位置し得る領域内に含まれるエッジ数を算出する。例えば、図１０に示すように、「ａ」、「ｂ」、「ｃ」、「ｄ」を右隅上部の頂点とする領域内に含まれるエッジ数を各頂点「ａ」、「ｂ」、「ｃ」、「ｄ」に対応付けおく。このとき、画像認識部１４４は、「ａ−（ｂ＋ｄ）＋ｃ」を計算することにより、図９に示す斜線部の領域内に含まれるエッジ数を簡便に算出する。
【００４２】
続いて、画像認識部１４４は、参照画像の矩形領域Ｒｉに含まれるエッジ数を参照画像情報記憶部１３１から読込む。そして、画像認識部１４４は、矩形領域Ｒｉが探索領域において位置し得る領域内に含まれるエッジ数が、参照画像の矩形領域Ｒｉに対して所定割合以上含まれるかどうかを判定することにより見込み判定を行う。
【００４３】
判定の結果、所定割合以上のエッジ数が含まれない場合には（ステップＳ４否定）、参照画像の類似領域がそもそも探索領域内に存在する可能性が低いものとして、現在の探索領域に関する処理を終了し（ステップＳ５）、上述したステップＳ２に戻って、改めて探索領域の選択を行う。
【００４４】
一方、画像認識部１４４は、判定の結果、所定割合以上のエッジ数が含まれる場合には（ステップＳ４肯定）、参照画像の類似領域が現在の探索領域内に存在する見込みがあるものとして、探索領域の幅（サイズ）と参照画像の幅（サイズ）とが同じであるか否かを判定する（ステップＳ６）。
【００４５】
判定の結果、探索領域の幅と参照画像の幅とが同じでない場合（すなわち、探索領域の幅の方が参照画像の幅よりも大きいことを意味する）には（ステップＳ６否定）、画像認識部１４４は、図１１に示すように、現在の探索領域を４分割して、分割した各領域を探索領域として登録し（ステップＳ７）、上述したステップＳ２に戻って、改めて探索領域の選択を行う。なお、画像認識部１４４は、探索領域の幅と参照画像の幅とが同じになるまで、上述したステップＳ２からステップＳ７までの処理を繰り返し実行する。
【００４６】
再び、ステップＳ６の説明に戻ると、画像認識部１４４は、判定の結果、探索領域の幅と参照画像の幅とが同じである場合には（ステップＳ６肯定）、入力画像の探索領域に参照画像を重ね合わせて（ステップＳ８）、参照画像内の各矩形領域に対応する入力画像内の各領域に含まれるエッジ数をそれぞれ算出する（ステップＳ９）。そして、画像認識部１４４は、参照画像内の各矩形領域に含まれるエッジ数と、入力画像内の各領域に含まれるエッジ数とを比較する（ステップＳ１０）。なお、画像認識部１４４は、エッジの勾配方向に関する分類定義によって、４つに分類された各参照画像（例えば、図７の（３）参照）について、上述したステップＳ８からステップＳ１０までの処理をそれぞれ実行する。
【００４７】
そして、画像認識部１４４は、エッジ数の比較結果を総合的に判断して、入力画像と参照画像が類似度を評価する（ステップＳ１１）。画像認識部１４４は、エッジ数の比較結果を総合的に判断した結果、入力画像と参照画像とが良く類似するという結果が得られなかった場合には（ステップＳ１１否定）、現在の探索領域に関する処理を終了し、上述したステップＳ２に戻って、改めて探索領域の選択を行う。
【００４８】
一方、画像認識部１４４は、入力画像と参照画像とが良く類似するという結果が得られた場合には（ステップＳ１１肯定）、参照画像と同じ要領（例えば、図８参照）で、入力画像を１６分割して、分割された各領域内の色ヒストグラムを求める（ステップＳ１２）。そして、画像認識部１４４は、色ヒストグラム情報記憶部１３２から参照画像の色ヒストグラムデータを読込んで、入力画像について求めた色ヒストグラムとの比較を行い、入力画像の色ヒストグラムと参照画像の色ヒストグラムとが互いに類似しているという結果が得られた場合には、この結果を認識結果として（ステップＳ１３）、出力部１２０を介して出力する。
【００４９】
認識結果の出力後、画像認識部１４４は、現在の探索領域に関する処理を終了し、次の探索領域の処理に移行する。そして、画像認識部１４４は、上述したステップＳ２に戻って、次の探索領域が登録されているか否かを判定し、探索領域の登録がない場合には（ステップＳ２否定）、画像認識処理を終了する。
【００５０】
［実施例１による効果］
上述してきたように、実施例１によれば、参照画像からエッジを抽出し、エッジの勾配方向が類似しているエッジ同士をまとめたエッジ画像についてエッジを囲む最小の矩形領域を求め、矩形領域内のエッジ数に関する情報を予め登録しておく。そして、入力画像の探索領域に参照画像を当てはめて、矩形領域内のエッジ数を互いに比較して入力画像と参照画像との間の類似度を評価し、画像認識結果を導き出す。このように、撮影位置の変化により影響を受けないエッジの情報を使って入力画像の認識を行うので、撮影位置の変化により認識対象の画像が変形していても、高速かつ高精度に画像認識できる。
【００５１】
また、実施例１によれば、入力画像の探索領域から、参照画像に類似する可能性が高い見込みのある領域を絞り込むので、入力画像の探索領域の全てについて画像認識処理を実行する場合に比較して、より高速に画像認識できる。
【実施例２】
【００５２】
以下に、画像処理装置、画像処理方法および画像処理プログラムに含まれる他の実施形態を説明する。
【００５３】
（１）装置構成等
図３に示した画像処理装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１００の分散・統合の具体的形態は図示のものに限られず、例えば、エッジ画像作成部１４１と画像認識部１４４とを統合することもできる。このように、画像処理装置１００の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、画像処理装置１００にて行なわれる各処理機能（例えば、図１２および図１３等参照）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５４】
（２）画像処理プログラム
また、上記の実施例１で説明した画像処理装置１００の各種の処理（例えば、図１２および図１３等参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、図１４を用いて、上記の実施例１と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図１４は、画像処理プログラムを実行するコンピュータを示す図である。
【００５５】
同図に示すように、画像処理装置としてコンピュータ２００は、入力部２１０、出力部２２０、ＨＤＤ２３０、ＲＡＭ２４０およびＣＰＵ２５０をバス３００で接続して構成される。
【００５６】
ここで、入力部２１０は、ユーザから各種データの入力を受け付ける。出力部２２０は、各種情報を表示する。ＨＤＤ２３０は、ＣＰＵ２５０による各種処理の実行に必要な情報を記憶する。ＲＡＭ２４０は、各種情報を一時的に記憶する。ＣＰＵ２５０は、各種演算処理を実行する。
【００５７】
そして、ＨＤＤ２３０には、図１４に示すように、上記の実施例１に示した画像処理装置１００の各処理部と同様の機能を発揮する画像処理プログラム２３１と、画像処理用データ２３２とがあらかじめ記憶されている。なお、この画像処理プログラム２３１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【００５８】
そして、ＣＰＵ２５０が、この画像処理プログラム２３１をＨＤＤ２３０から読み出してＲＡＭ２４０に展開することにより、図１４に示すように、画像処理プログラム２３１は画像処理プロセス２４１として機能するようになる。すなわち、画像処理プロセス２４１は、画像処理用データ２３２等をＨＤＤ２３０から読み出して、ＲＡＭ２４０において自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種処理を実行する。なお、画像処理プロセス２４１は、図３に示した画像処理装置１００の制御部１４０（エッジ画像作成部１４１、参照画像情報登録部１４２、色ヒストグラム情報登録部１４３および画像認識部１４４）において実行される処理にそれぞれ対応する。
【００５９】
なお、上記した画像処理プログラム２３１については、必ずしも最初からＨＤＤ２３０に記憶させておく必要はない。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に記憶させておき、コンピュータ２００がこれらから各プログラムを読み出して実行するようにしてもよい。さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ２００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ２００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００６０】
（３）画像処理方法
上記の実施例１で説明した画像処理装置１００により、以下のような画像処理方法が実現される。
【００６１】
すなわち、上記画像処理方法は、入力画像とのマッチングに用いる参照画像からエッジを抽出するステップ（例えば、図１２のステップＳ１）を含む。さらに、エッジの勾配方向に関する所定の分類定義に対して、先に抽出されたエッジの勾配方向を当てはめて分類し、当該分類されたエッジからなるエッジ画像を作成するステップ（例えば、図１２のステップＳ２およびステップＳ３参照）を含む。さらに、先に作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録するステップ（例えば、図１２のステップＳ７参照）を含む。さらに、入力画像の探索領域に対して参照画像をそれぞれ当てはめて、探索領域内において矩形領域に対応する領域内に含まれるエッジ数と、参照画像の矩形領域内に含まれるエッジ数とを比較して、入力画像と参照画像との間の類似度を評価するステップ（例えば、図１３のステップＳ１１参照）を含む。
【００６２】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００６３】
（付記１）入力画像とのマッチングに用いる参照画像からエッジを抽出するエッジ抽出部と、
前記エッジ抽出部により抽出されたエッジの勾配方向を算出するエッジ方向算出部と、
エッジの勾配方向に関する所定の分類定義に対して、前記エッジ方向算出部により算出された前記勾配方向を当てはめることにより、前記エッジ抽出部により抽出されたエッジを分類して、当該分類されたエッジからなるエッジ画像を作成するエッジ画像作成部と、
前記エッジ画像作成部により作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録する参照画像情報登録部と、
入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価部と、
を有する画像処理装置。
【００６４】
（付記２）前記参照画像よりもサイズが大きい入力画像の探索領域に対して、前記参照画像を移動させつつ、それぞれ当てはめて、前記探索領域内において前記矩形領域が位置し得る領域内に含まれるエッジ数を算出し、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が前記探索領域内に含まれるか否かを判定するエッジ数判定部と、
前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が前記探索領域内に含まれているものと前記エッジ数判定部により判定された場合には、前記探索領域を所定数に分割する探索領域分割部と、
をさらに有し、
前記エッジ数判定部は、前記探索領域分割部により分割された各探索領域に対して前記エッジ数を算出して、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が前記各探索領域に含まれるか否かをそれぞれ判定し、
前記探索領域分割部は、前記参照画像情報登録部により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が含まれているものと前記エッジ数判定部により判定された探索領域のサイズが、前記参照画像のサイズよりも大きい場合には、前記所定割合以上のエッジ数が含まれているものと前記エッジ数判定部により判定された探索領域を所定数に分割し、
前記画像評価部は、前記探索領域分割部により分割された各探索領域が前記参照画像と同一のサイズになった場合に、入力画像と前記参照画像との間の類似度を評価する付記１に記載の画像処理装置。
【００６５】
（付記３）参照画像を所定数に分割した各領域ごとに色ヒストグラムを作成する色ヒストグラム作成部と、
前記色ヒストグラム作成部により作成された色ヒストグラムを前記各領域ごとに記憶部に登録する色ヒストグラム登録部と、
をさらに有し、
前記画像評価部は、前記エッジ数の比較により参照画像と所定値以上の類似度を有すると評価された入力画像を前記所定数と同一の個数に分割して、当該分割された各領域ごとに色ヒストグラムを作成し、当該作成された色ヒストグラムと、前記色ヒストグラム登録部により記憶部に登録された色ヒストグラムとを前記各領域ごとに比較して、入力画像と参照画像との間の類似度を色ヒストグラムに基づいて評価する付記１または２に記載の画像処理装置。
【００６６】
（付記４）入力画像とのマッチングに用いる参照画像からエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップにより抽出されたエッジの勾配方向を算出するエッジ方向算出ステップと、
エッジの勾配方向に関する所定の分類定義に対して、前記エッジ方向算出ステップにより算出された前記勾配方向を当てはめることにより、前記エッジ抽出ステップにより抽出されたエッジを分類して、当該分類されたエッジからなるエッジ画像を作成するエッジ画像作成ステップと、
前記エッジ画像作成ステップにより作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録する参照画像情報登録ステップと、
入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録ステップにより記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価ステップと
を含む画像処理方法。
【００６７】
（付記５）入力画像とのマッチングに用いる参照画像からエッジを抽出するエッジ抽出手順と、
前記エッジ抽出手順により抽出されたエッジの勾配方向を算出するエッジ方向算出手順と、
エッジの勾配方向に関する所定の分類定義に対して、前記エッジ方向算出手順により算出された前記勾配方向を当てはめることにより、前記エッジ抽出手順により抽出されたエッジを分類して、当該分類されたエッジからなるエッジ画像を作成するエッジ画像作成手順と、
前記エッジ画像作成手順により作成されたエッジ画像ごとに、当該エッジ画像内のエッジを囲む最小の矩形領域を求め、矩形領域の位置および矩形領域内に含まれるエッジ数を記憶部にそれぞれ登録する参照画像情報登録手順と、
入力画像の探索領域に対して前記参照画像をそれぞれ当てはめて、前記探索領域内において前記矩形領域に対応した画像領域内に含まれるエッジ数と、前記参照画像情報登録手順により記憶部に登録されている前記矩形領域内に含まれるエッジ数とをそれぞれ比較することにより、入力画像と前記参照画像との間の類似度を評価する画像評価手順と
をコンピュータに実行させる画像処理プログラム。
【００６８】
（付記６）前記参照画像よりもサイズが大きい入力画像の探索領域に対して、前記参照画像を移動させつつ、それぞれ当てはめて、前記探索領域内において前記矩形領域が位置し得る領域内に含まれるエッジ数を算出し、当該算出された各エッジ数が、前記参照画像情報登録ステップにより記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上含まれるか否かを判定するエッジ数判定手順と、
前記参照画像情報登録手順により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上含まれるものと前記エッジ数判定手順により判定された場合に、前記探索領域を所定数に分割する探索領域分割手順と、
をさらにコンピュータに実行させ、
前記エッジ数判定手順は、前記探索領域分割手順により分割された各探索領域に対して前記エッジ数を算出して、各探索領域について算出されたエッジ数が、前記参照画像情報登録手順により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上含まれるか否かをそれぞれ判定し、
前記探索領域分割手順は、前記参照画像情報登録手順により記憶部に登録されている前記矩形領域内に含まれるエッジ数に対して、所定割合以上のエッジ数が含まれているものと前記エッジ数判定部により判定された探索領域のサイズが、前記参照画像のサイズよりも大きい場合には、前記所定割合以上のエッジ数が含まれているものと前記エッジ数判定手順により判定された探索領域を所定数に分割し、
前記画像評価手順は、前記探索領域分割手順により分割された各探索領域が前記参照画像と同一のサイズになった場合に、入力画像と前記参照画像との間の類似度を評価する付記５に記載の画像処理プログラム。
【００６９】
（付記７）参照画像を所定数に分割した各領域ごとに色ヒストグラムを作成する色ヒストグラム作成手順と、
前記色ヒストグラム作成手順により作成された色ヒストグラムを前記各領域ごとに記憶部に登録する色ヒストグラム登録手順と
をさらにコンピュータに実行させ、
前記画像評価手順は、前記エッジ数の比較により参照画像と所定の閾値以上の類似度を有すると評価された入力画像を前記所定数と同一の個数に分割して、当該分割された各領域ごとに色ヒストグラムを作成し、当該作成された色ヒストグラムと、前記色ヒストグラム登録手順により記憶部に登録された色ヒストグラムとを前記各領域ごとに比較して、入力画像と参照画像との間の類似度を色ヒストグラムに基づいて評価する付記５または６に記載の画像処理プログラム。
【図面の簡単な説明】
【００７０】
【図１】実施例１に係る画像処理装置を説明するための図である。
【図２】実施例１に係る画像処理装置を説明するための図である。
【図３】実施例１に係る画像処理装置の構成を示す図である。
【図４】実施例１に係る参照画像情報記憶部に記憶される情報の構成例を示す図である。
【図５】実施例１に係る参照画像の分割例を示す図である。
【図６】実施例１に係る色ヒストグラム情報記憶部に記憶される情報の構成例を示す図である。
【図７】実施例１に係る参照画像情報の生成を説明するための図である。
【図８】実施例１に係る色ヒストグラム情報の生成を説明するための図である。
【図９】実施例１に係る参照画像の類似領域が存在するか否かの見込み判定を説明するための図である。
【図１０】実施例１に係るエッジ数の計算例を示す図である。
【図１１】実施例１に係る参照画像の類似領域が存在するか否かの見込み判定に応じた入力画像の分割を説明するための図である。
【図１２】実施例１に係る参照画像情報登録時の処理の流れを示す図である。
【図１３】実施例１に係る画像認識処理の流れを示す図である。
【図１４】画像処理プログラムを実行するコンピュータを示す図である。
【符号の説明】
【００７１】
１００  画像処理装置
１１０  入力部
１２０  出力部
１３０  記憶部
１３１  参照画像情報記憶部
１３２  色ヒストグラム情報記憶部
１４０  制御部
１４１  エッジ画像作成部
１４２  参照画像情報登録部
１４３  色ヒストグラム情報登録部
１４４  画像認識部
２００  コンピュータ
２１０  入力部
２２０  出力部
２３０  ＨＤＤ（Hard Disk Drive）
２３１  画像処理プログラム
２３２  画像処理用データ
２４０  ＲＡＭ（Random Access Memory）
２４１  画像処理プロセス
２５０  ＣＰＵ（Central Processing Unit）
３００  バス
【図１】
2010113525.tif 000003
【図２】
2010113525.tif 000004
【図３】
2010113525.tif 000005
【図４】
2010113525.tif 000006
【図５】
2010113525.tif 000007
【図６】
2010113525.tif 000008
【図７】
2010113525.tif 000009
【図８】
2010113525.tif 000010
【図９】
2010113525.tif 000011
【図１０】
2010113525.tif 000012
【図１１】
2010113525.tif 000013
【図１２】
2010113525.tif 000014
【図１３】
2010113525.tif 000015
【図１４】
2010113525.tif 000016