(57)【要約】【課題】  処理負荷を軽減する画像認識装置及び画像認識方法を提供することを課題とする。【解決手段】  撮像画像から対象物を認識する画像認識装置１であって、撮像手段２と、認識対象物の複数の特徴部分の参照画像を保持する参照画像保持手段１０と、参照画像に対応して当該参照画像の画像全体における位置と画像中の任意の点との位置関係を保持する位置関係保持手段１１と、撮像手段で撮像した撮像画像と参照画像保持手段で保持している複数の参照画像とをそれぞれ比較する比較手段１３と、位置関係保持手段で保持している位置関係に基づいて比較手段による複数の比較結果をそれぞれ移動させ、当該移動させた複数の比較結果に基づいて認識対象物か否かを判定する判定する判定手段１４とを備えることを特徴とする。【選択図】  図１
2005275915.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
認識対象物の複数の特徴部分の参照画像を保持する参照画像保持手段と、
参照画像に対応して当該参照画像の画像全体における位置と画像中の任意の点との位置関係を保持する位置関係保持手段と、
前記撮像手段で撮像した撮像画像と前記参照画像保持手段で保持している複数の参照画像とをそれぞれ比較する比較手段と、
前記位置関係保持手段で保持している位置関係に基づいて前記比較手段による複数の比較結果をそれぞれ移動させ、当該移動させた複数の比較結果に基づいて認識対象物か否かを判定する判定手段と
を備えることを特徴とする画像認識装置。
【請求項２】
前記撮像手段で撮像した撮像画像のサイズを変換する画像サイズ変換手段を備え、
前記比較手段では、前記画像サイズ変換手段でサイズ変換した撮像画像と前記参照画像保持手段で保持している複数の参照画像とをそれぞれ比較することを特徴とする請求項１に記載する画像認識装置。
【請求項３】
撮像画像から認識対象物を認識する画像認識方法であって、
認識対象物の複数の特徴部分の参照画像及び参照画像に対応して当該参照画像の画像全体における位置と画像中の任意の点との位置関係を予め保持し、
撮像画像と前記保持している複数の参照画像とをそれぞれ比較する比較ステップと、
前記保持している位置関係に基づいて前記比較ステップによる複数の比較結果をそれぞれ移動させ、当該移動させた複数の比較結果に基づいて認識対象物か否かを判定する判定ステップと
を含むことを特徴とする画像認識方法。
【請求項４】
撮像画像のサイズを変換する画像サイズ変換ステップを含み、
前記比較ステップでは、前記画像サイズ変換ステップでサイズ変換した撮像画像と前記保持している複数の参照画像とをそれぞれ比較することを特徴とする請求項３に記載する画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から認識対象物を認識する画像認識装置及び画像認識方法に関する。
【背景技術】
【０００２】
個人認証等に利用するために、人物の顔を撮像し、その撮像画像からの人物の顔を認識する装置が開発されている。顔認識装置としては、例えば、顔の複数の特徴となる部分（目、鼻、口等）の参照画像を用意し、参照画像を用いて撮像画像から特徴部分と類似する部分を探索し、類似度の高い位置を各特徴部分の候補位置として検出し、その相対的な位置関係についてそれぞれパターンマッチングすることによって顔を認識するものがある（特許文献１参照）。
【特許文献１】特開２０００−９９７２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記顔認識装置では、類似度の高い位置が少しでもずれると、相対的な位置のパターンの組み合せが増加し、特に、複数の特徴部分の位置がずれると、パターンの組み合せは膨大となる。そのため、処理負荷が増加し、処理時間が長くなる。
【０００４】
そこで、本発明は、処理負荷を軽減する画像認識装置及び画像認識方法を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像認識装置は、撮像手段と、認識対象物の複数の特徴部分の参照画像を保持する参照画像保持手段と、参照画像に対応して当該参照画像の画像全体における位置と画像中の任意の点との位置関係を保持する位置関係保持手段と、撮像手段で撮像した撮像画像と参照画像保持手段で保持している複数の参照画像とをそれぞれ比較する比較手段と、位置関係保持手段で保持している位置関係に基づいて比較手段による複数の比較結果をそれぞれ移動させ、当該移動させた複数の比較結果に基づいて認識対象物か否かを判定する判定手段とを備えることを特徴とする。
【０００６】
この画像認識装置では、参照画像保持手段に認識対象物の特徴となる部分（例えば、認識対象物が人物の顔の場合には目、鼻、口等）の参照画像を複数保持するとともに、位置関係保持手段に保持している参照画像毎にその参照画像が画像全体における位置と画像中の任意の点（例えば、中心点、左上点、右下点）との位置関係を保持している。画像認識装置では、撮像手段によりある対象物を撮像し、撮像画像を取得する。そして、画像認識装置では、比較手段により撮像画像と複数の参照画像とをそれぞれ比較し、各参照画像に対する比較結果を取得する。この比較では、撮像画像から各参照画像のサイズの領域を縦方向及び横方向にずらしながら画像全体にわたって順次切り出し、その切り出した多数の領域と参照画像とをそれぞれ比較する。したがって、比較結果としては、各参照画像に対して、撮像画像から切り出した領域の数分の各領域の位置に対する結果がそれぞれ得られる。撮像画像において参照画像（特徴部分）と類似している領域がある場合にはその領域の位置に対する類似度が高くなり、撮像画像において参照画像と類似していない領域ではその領域の位置に対する類似度が低くなる。さらに、画像認識装置では、判定手段により参照画像毎に比較結果をその参照画像に対応する位置関係に基づいて移動させ、この移動させた複数の比較結果に基づいて認識対象物か否かを判定する。撮像されたある対象物が各参照画像に類似する特徴部分を有している場合、各参照画像の比較結果では、参照画像が画像全体における位置（参照画像となっている特徴部分が撮像画像において存在する位置）周辺の類似度がそれぞれ高くなっている。この場合、その各比較結果を画像の任意の点を基準として移動させると、各比較結果における類似度が高い位置がその任意の点に集まる。そのため、その移動させた複数の比較結果において任意の点に類似度が高いことを示す結果が得られる場合、複数の参照画像の特徴部分を有しているので、その撮像されたある対象物が認識対象物であると判断できる。このように、この画像認識装置では、複数の特徴部分の参照画像と撮像画像をそれぞれ比較し、その複数の比較結果を移動させて統合するだけなので、各撮像画像に対する処理負荷（処理時間）が一定となる。そのため、従来より、処理負荷が軽減され、処理時間が短くなる。ちなみに、従来のように複数の特徴部分を探索し、その探索した特徴部分の相対的な位置関係についてパターンマッチングを行わないので、パターンの組み合せが増加して処理負荷が増加するようなことはない。また、この画像認識装置では、各参照画像に対する比較を行うことにより撮像画像において特徴部分に類似している部分が存在しているか否かを検出でき、その求めた比較結果を幾何学的な位置関係を元にして統合することにより撮像画像において特徴部分と類似している部分の位置が合っているか否かを検出できるので、認識精度も高い。また、この画像認識装置では、各比較結果にノイズがあった場合（例えば、撮像画像において参照画像との類似度が高くなる領域が他にも存在した場合）でも、複数の比較結果を移動させて統合しているのでそのノイズが抑制される。また、この画像認識装置では、参照画像の数（すなわち、比較する特徴部分の数）を増やすほど、認識精度が高くなる。
【０００７】
本発明の上記画像認識装置では、撮像手段で撮像した撮像画像のサイズを変換する画像サイズ変換手段を備え、比較手段では、画像サイズ変換手段でサイズ変換した撮像画像と参照画像保持手段で保持している複数の参照画像とをそれぞれ比較する構成としてもよい。
【０００８】
この画像認識装置では、画像サイズ変換手段により撮像画像のサイズを変換し、比較手段においてその変換したサイズの撮像画像を用いて比較を行う。そのため、撮像画像上での対象物のサイズ変化に対応でき、撮像画像と参照画像との比較を可能とする。また、撮像画像のサイズを小さくする場合、処理負荷が更に軽減され、ノイズも低減することができる。
【０００９】
本発明に係る画像認識方法は、撮像画像から認識対象物を認識する画像認識方法であって、認識対象物の複数の特徴部分の参照画像及び参照画像に対応して当該参照画像の画像全体における位置と画像中の任意の点との位置関係を予め保持し、撮像画像と保持している複数の参照画像とをそれぞれ比較する比較ステップと、保持している位置関係に基づいて比較ステップによる複数の比較結果をそれぞれ移動させ、当該移動させた複数の比較結果に基づいて認識対象物か否かを判定する判定ステップとを含むことを特徴とする。
【００１０】
本発明の上記画像認識方法では、撮像画像のサイズを変換する画像サイズ変換ステップを含み、比較ステップでは、画像サイズ変換ステップでサイズ変換した撮像画像と保持している複数の参照画像とをそれぞれ比較する構成としてもよい。
【００１１】
上記した各画像認識方法では、上記した画像認識装置と同様の作用効果を奏する。
【発明の効果】
【００１２】
本発明によれば、認識対象物を認識するための処理負荷を軽減できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明に係る画像認識装置及び画像認識方法の実施の形態を説明する。
【００１４】
本実施の形態では、本発明を、人物又は自動車を対象とした画像認識装置に適用する。本実施の形態に係る画像認識装置では、人物を対象とした場合には認識対象が顔であり、人物の顔であるか否かを判別し、自動車を対象とした場合には認識対象がバックスタイルであり、ある車種であるか否かを判別する。本実施の形態に係る画像認識装置は、人物及び自動車のいずれを対象とした場合も同様の構成及び動作であるが、特徴部分の参照画像と参照画像と画像の重心との距離（オフセット量）を対象に応じてそれぞれ保持している。本実施の形態では、まず、人物の顔認識に適用した場合の画像認識装置の構成について説明し、次に、その自動車の車種認識に適用した場合の構成について説明し、最後に、画像認識装置１の動作について説明する。
【００１５】
図１〜図７を参照して、人物の顔認識に適用した場合の画像認識装置１の構成について説明する。図１は、本実施の形態に係る画像認識装置の構成図である。図２は、図１の画像間類似度評価部の説明図である。図３は、認識対象を人物の顔とした場合の参照画像の一例であり、（ａ）が参照画像を作成するための人物の顔画像であり、（ｂ）が（ａ）図の顔画像における両目、鼻、口を特徴部分とした参照画像である。図４は、ある人物の顔を正面から撮像した撮像画像の一例であり、（ａ）が撮像画像であり、（ｂ）が顔を認識した結果を示す撮像画像である。図５は、図３の参照画像に基づいて図４の撮像画像から顔を認識する際の類似度評価マップであり、（ａ）が両目の参照画像に対する類似度評価マップであり、（ｂ）が鼻の参照画像に対する類似度評価マップであり、（ｃ）が口の参照画像に対する類似度評価マップである。図６は、図５の類似度評価マップを重心にオフセットしたオフセット類似度評価マップであり、（ａ）が両目の参照画像に対するオフセット類似度評価マップであり、（ｂ）が鼻の参照画像に対するオフセット類似度評価マップであり、（ｃ）が口の参照画像に対するオフセット類似度評価マップである。図７は、図６の３つのオフセット類似度評価マップを統合させた統合マップである。
【００１６】
画像認識装置１は、対象物を撮像した撮像画像から人物の顔であるか否かを判定する顔認識装置である。画像認識装置１では、人物の顔の両目部分、鼻部分、口部分の参照画像及び顔全体の画像の重心から各参照画像の中心までのオフセット量を保持している。そして、画像認識装置１では、ある対象物を撮像した撮像画像において３つの参照画像にそれぞれ類似する両目、鼻、口が正しい位置に存在するか否かを判定する。そのために、画像認識装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備え、画像ＥＣＵ３に参照画像データベース１０、オフセットデータベース１１、画像解像度変換部１２、画像間類似度評価部１３及び統合処理部１４が構成される。なお、本実施の形態では、各画像のデータを画素単位で取り扱い、座標系としては画素単位の（ｘ，ｙ）とする。
【００１７】
なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、参照画像データベース１０が特許請求の範囲に記載する参照画像保持手段に相当し、オフセットデータベース１１が特許請求の範囲に記載する位置関係保持手段に相当し、画像解像度変換部１２が特許請求の範囲に記載する画像サイズ変換手段に相当し、画像間類似度評価部１３が特許請求の範囲に記載する比較手段に相当し、統合処理部１４が特許請求の範囲に記載する判定手段に相当する。
【００１８】
カメラ２は、例えば、ＣＣＤ[Charge Coupled Device]カメラである。カメラ２では、ある対象物を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）を取得する。人物の顔を認識する場合、カメラ２では、人物の顔を真正面から撮像する。例えば、図４（ａ）に示すような、撮像画像である。カメラ２では、その撮像画像のデータを画像ＥＣＵ３に送信する。なお、カメラ２はカラーであるが、少なくとも輝度情報が得られればよいので、白黒のカメラでもよい。
【００１９】
画像ＥＣＵ３は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなり、画像認識装置１の各処理部及び各データベースが構成される。画像ＥＣＵ３では、認識対象物の複数の特徴部分の参照画像と各参照画像のオフセット量を保持している。画像ＥＣＵ３では、カメラ２から撮像画像のデータを取り入れ、参照画像毎に撮像画像全体にわたって各参照画像と同一の領域を切り出し、その多数の切り出した領域と参照画像との類似度を示した類似度評価マップを生成する。さらに、画像ＥＣＵ３では、参照画像毎の類似度評価マップをオフセット量分オフセットさせたオフセット類似度評価マップを生成し、複数のオフセット類似度評価マップを統合した統合マップから認識対象物であるか否かを判定する。
【００２０】
参照画像データベース１０は、ＲＯＭ内に構築され、複数個の参照画像のデータを格納している。参照画像は、認識対象物の特徴となる部分の画像であり、認識対象物が顔なので両目、鼻、口の画像である。これ以外でも、耳、眉毛等の他の特徴部分の参照画像を用いてもよい。本実施の形態では、特定の人物の顔を認識するのではなく、人物の顔か否かを判別するので、参照画像を作成するための顔画像としては、一般的な人物の顔を撮像した撮像画像でもよいし、あるいは、多数の人物の顔の画像を収集し、その平均的な形や大きさをした両目、鼻、口からなる人物の顔画像を作成してもよい。なお、カメラ２で必ずしも正面を向いている顔を撮像できない場合、様々な向きをした顔の平均的な顔画像を作成し、その平均的な顔画像から参照画像を作成してもよい。また、顔は様々な表情するので、様々な表情をした顔の平均的な顔の画像を作成し、その平均的な顔画像から参照画像を作成してもよい。
【００２１】
参照画像を作成するために、例えば、図３（ａ）に示すような、顔画像を用意する。この顔画像において、両目、鼻、口を含む顔に接する最小の長方形であり、この長方形の４辺が画像の縦軸又は横軸に平行な顔領域を設定する（図３（ａ）の破線で示す長方形の領域）。さらに、この顔領域の中心を、重心Ｃｅｎ＿Ｂ（＝（０，０））とする（図３（ａ）の○印）。さらに、この顔画像から、両目を含む長方形、鼻を含む長方形及び口を含む長方形であり、この各長方形の４辺が画像の縦軸又は横軸に平行な領域を切り出す（図３（ｂ）の破線で示す３つの長方形の領域）。この各領域の中心を、特徴点Ｐ＿Ｂ＿ｉ（ｉ＝０，１，２）とする（図３（ｂ）の３つの十印）。この切り出した長方形の領域で区画される各画像が参照画像であり、この参照画像のデータが参照画像データベース１０に格納されている。参照画像のデータは、画素毎の輝度値である。なお、参照画像のサイズは、このサイズが小さいと類似度評価マップでノイズが増加するので、ある程度の大きさを有していたほうが望ましい。
【００２２】
オフセットデータベース１１は、ＲＯＭ内に構築され、参照画像毎のオフセット量を格納している。オフセット量は、顔領域の重心Ｃｅｎ＿Ｂと各特徴点Ｐ＿Ｂ＿ｉとの偏差であり、ΔＰ＿Ｂ＿ｉ（ｘ，ｙ）で表される。このオフセット量は、顔領域の重心Ｃｅｎ＿Ｂと各特徴点Ｐ＿Ｂ＿ｉ間の距離の平均的な値が設定される。つまり、多数の人物の顔の特徴点の存在する位置を収集し、その位置の平均値を用いて各距離を求めている。オフセットデータベース１１には、各参照画像に対応付けてオフセット量ΔＰ＿Ｂ＿ｉ（ｉ＝０，１，２）が格納される。
【数１】
2005275915.tif 000003
【００２３】
式（１）に示すように、オフセット量ΔＰ＿Ｂ＿ｉが既知とすると、各特徴点Ｐ＿Ｂ＿ｉが決まれば、重心Ｃｅｎ＿Ｂを求めることができる。
【００２４】
画像解像度変換部１２では、撮像画像上での対象物の解像度を参照画像の解像度に合わせるために、撮像画像のサイズ（解像度）を任意のサイズに変換する。本実施の形態では輝度値を用いて類似度の計算等を行うので、画像解像度変換部１２では撮像画像のデータから各画素の輝度値を抽出し、画素毎の輝度値からなるサイズを変換した撮像画像を生成する。サイズの変換方法としては、例えば、線形補間により変換後の画像上の各画素の輝度値を決定したり、あるいは、画像サイズを小さくする場合には画素を間引く。
【００２５】
画像間類似度評価部１３では、参照画像データベース１０から参照画像を順次抽出する。そして、画像間類似度評価部１３では、参照画像毎に、切り出す領域の中心点（ｘｃ，ｙｃ）をｘ方向又はｙ方向に１画素ずつずらしながら、サイズ変換した撮像画像からその参照画像と同一のサイズの領域を切り出す（図２参照）。さらに、画像間類似度評価部１３では、切り出し各領域の画像と参照画像との間で、式（２）により、対応する位置の画素毎に輝度値の差分の絶対値を計算し、全ての画素分の絶対値差分の総和を計算する。
【数２】
2005275915.tif 000004
【００２６】
式（２）において、Ｔ（ｘ，ｙ）は撮像画像の（ｘ，ｙ）の位置の画素の輝度値であり、Ｓ（ｘ，ｙ）は参照画像の（ｘ，ｙ）の位置の画素の輝度値である。参照画像のサイズをｘ方向をｍ画素、ｙ方向をｎ画素とすると、ｍ×ｎ個の差分の絶対値が計算され、ｍ×ｎ個の絶対値差分が積算される。したがって、切り出し領域の画像と参照画像との類似度が高いほど（相関があるほど）、絶対値差分総和値は小さくなり、切り出し領域の画像と参照画像とが一致する場合には絶対値差分総和値は０になる。なお、輝度値を用いたが、画像の他の値も用いて計算してもよい。例えば、彩度値、色合を用いてもよいし、あるいは、ＲＧＢ画像のＲ値、Ｇ値、Ｂ値を用いてもよい。輝度値以外を用いる場合、その用いる値に応じて、参照画像を作成し、画像解像度変換部１２でもサイズ変換した撮像画像を生成する。
【００２７】
さらに、画像間類似度評価部１３では、輝度値の最大値からその絶対値差分総和値を減算し、切り出し各領域の画像と参照画像との類似度を示す輝度値を求める。したがって、切り出し領域の画像と参照画像との類似度が高いほど、輝度値は大きくなり、切り出し領域の画像と参照画像とが一致する場合には輝度値の最大値となる。そして、画像間類似度評価部１３では、切り出した領域の中心である座標（ｘｃ，ｙｃ）にその輝度値をそれぞれ設定していき、類似度評価マップＭａｐ＿Ｂ＿ｉを生成する（図２参照）。類似度評価マップＭａｐ＿Ｂ＿ｉは、参照画像毎に生成され、全ての切り出し領域の中心点（ｘｃ，ｙｃ）の各画素に参照画像との類似度である輝度値を配列させたマップである。類似度評価マップＭａｐ＿Ｂ＿ｉは、画面に表示すると、類似度が高いほど輝度値が大きくなるので、その箇所が白くなる。また、類似度評価マップＭａｐ＿Ｂ＿ｉでは、撮像画像に参照画像と類似する特徴部分が存在する場合、その特徴部分が位置する周辺で類似度がピークとなるので、特徴点Ｐ＿Ｂ＿ｉ周辺の輝度値が大きくなる。
【００２８】
画像間類似度評価部１３では、例えば、図５に示すような類似度評価マップＭａｐ＿Ｂ＿ｉ（ｉ＝０，１，２）を生成する。図５（ａ）は、両目の参照画像の類似度評価マップＭａｐ＿Ｂ＿０が表示されたものであり、特徴点Ｐ＿Ｂ＿０周辺の輝度値が大きくなっている。図５（ｂ）は、鼻の参照画像の類似度評価マップＭａｐ＿Ｂ＿１が表示されたものであり、特徴点Ｐ＿Ｂ＿１周辺の輝度値が大きくなっている。図５（ｃ）は、口の参照画像の類似度評価マップＭａｐ＿Ｂ＿２が表示されたものであり、特徴点Ｐ＿Ｂ＿２周辺の輝度値が大きくなっている。図５（ａ）〜（ｃ）では、特徴点以外でも、輝度値が大きくなる（白くなっている）箇所があるが、これらの箇所はノイズである。ちなみに、顔の場合、背景や肌等の画像は輝度値が一様であるが、顔の特徴部分や背景と顔の境界部分等では輝度値が変化するので、参照画像との間で類似度を計算すると類似性が出る場合あり、これがノイズとなる。
【００２９】
統合処理部１４では、オフセットデータベース１１から参照画像に対応するオフセット量ΔＰ＿Ｂ＿ｉを取り出す。そして、統合処理部１４では、類似度評価マップＭａｐ＿Ｂ＿ｉの各画素をそのオフセット量ΔＰ＿Ｂ＿ｉによってオフセットし、オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉを生成する。オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉは、参照画像毎に生成され、各参照画像の特徴点Ｐ＿Ｂ＿ｉが重心Ｃｅｎ＿Ｂの位置になるように類似度評価マップΔＭａｐ＿Ｂ＿ｉを移動させたマップである。オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉでは、撮像画像に参照画像と類似する特徴部分が存在する場合、類似度のピークが各特徴点Ｐ＿Ｂ＿ｉからオフセット量ΔＰ＿Ｂ＿ｉ分移動するので、重心Ｃｅｎ＿Ｂ周辺の輝度値が大きくなる。なお、オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉは、類似度評価マップＭａｐ＿Ｂ＿ｉと同一のサイズであり、類似度評価マップＭａｐ＿Ｂ＿ｉからの輝度値が設定されない画素には輝度値として０が設定される。
【００３０】
統合処理部１４では、例えば、図６に示すようなオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉ（ｉ＝０，１，２）を生成する。図６（ａ）〜（ｃ）は、図５に示す参照画像毎の類似度評価マップＭａｐ＿Ｂ＿ｉが矢印で示すオフセット量ΔＰ＿Ｂ＿ｉ分それぞれオフセットされた各オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉが表示されたものであり、重心Ｃｅｎ＿Ｂ周辺の輝度値が大きくなっている。オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉでは、類似度評価マップＭａｐ＿Ｂ＿０をオフセットさせただけなので、ノイズが残っている。
【数３】
2005275915.tif 000005
【００３１】
さらに、統合処理部１４では、式（３）により、全てのオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉの輝度値を対応する画素毎に加算し、統合マップＴ＿Ｍａｐを生成する。統合マップＴ＿Ｍａｐは、全てのオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉを統合したマップである。統合マップＴ＿Ｍａｐでは、全てのオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉにおいて輝度値が大きい箇所が一致している場合、その箇所の輝度値が大きくなる。そのため、統合マップＴ＿Ｍａｐでは、撮像画像に複数の参照画像とそれぞれ類似する特徴部分が全て存在する場合、重心Ｃｅｎ＿Ｂ周辺の類似度のピークが統合されるので、重心Ｃｅｎ＿Ｂ周辺の輝度値が最も大きくなる。また、統合マップＴ＿Ｍａｐでは、各オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉに異なる箇所にそれぞれノイズ（輝度値が大きい箇所）が存在していても、統合することによって相殺され、ノイズが低減される。統合処理部１４では、例えば、図７に示すような統合マップＴ＿Ｍａｐを生成する。図７は、図６に示す３つのオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉが統合された統合マップＴ＿Ｍａｐが表示されたものであり、重心Ｃｅｎ＿Ｂ周辺の輝度値だけが大きくなっており、ノイズが無くなっている。
【００３２】
そして、統合処理部１４では、統合マップＴ＿Ｍａｐの重心Ｃｅｎ＿Ｂ周辺の各画素の輝度値を閾値と比較し、輝度値が閾値より大きい場合には撮像画像に顔が存在すると判定し、輝度値が閾値以下の場合には撮像画像に顔が存在しないと判定する。図４（ｂ）では、図４（ａ）の撮像画像に顔が存在したとする判定結果を示しており、特徴部分を含む顔の領域を実線の長方形で描いている。
【００３３】
次に、図１及び図８〜図１２を参照して、自動車の車種認識に適用した場合の画像認識装置１の構成について説明する。図８は、認識対象を自動車のバックスタイルとした場合の参照画像の一例である。図９は、ある自動車を後方から撮像した撮像画像の一例である。図１０は、図８の参照画像に基づいて図９の撮像画像から自動車を認識する際の類似度評価マップであり、（ａ）が右側テールランプの参照画像に対する類似度評価マップであり、（ｂ）が右側タイヤの参照画像に対する類似度評価マップであり、（ｃ）がナンバプレートの参照画像に対する類似度評価マップであり、（ｄ）が左側テールランプの参照画像に対する類似度評価マップであり、（ｅ）が左側タイヤの参照画像に対する類似度評価マップである。図１１は、図１０の類似度評価マップを重心にオフセットしたオフセット類似度評価マップであり、（ａ）が右側テールランプの参照画像に対するオフセット類似度評価マップであり、（ｂ）が右側タイヤの参照画像に対するオフセット類似度評価マップであり、（ｃ）がナンバプレートの参照画像に対するオフセット類似度評価マップであり、（ｄ）が左側テールランプの参照画像に対するオフセット類似度評価マップであり、（ｅ）が左側タイヤの参照画像に対するオフセット類似度評価マップである。図１２は、図１１の５つのオフセット類似度評価マップを統合させた統合マップである。
【００３４】
画像認識装置１は、対象物を撮像した撮像画像から認識対象の車種であるか否かを判定する車種認識装置である。画像認識装置１では、自動車のバックスタイルの左右のテールランプ部分、左右のタイヤ部分、ナンバプレート部分の参照画像及び自動車のバックスタイル画像の重心から各参照画像の中心までのオフセット量を保持している。そして、画像認識装置１では、ある自動車を後方から撮像した撮像画像において５つの参照画像にそれぞれ類似する左右のテールランプ、左右のタイヤ、ナンバプレートが正しい位置に存在するか否かを判定する。ここでは、画像認識装置１の構成において、人物の顔認識する場合と異なる点のみ以下で説明する。
【００３５】
カメラ２では、自動車を真後ろから撮像し、その撮像画像のデータを画像ＥＣＵ３に送信する。例えば、図９に示すような、撮像画像である。
【００３６】
参照画像データベース１０に格納する参照画像は、車種を判別するので、左右のテールランプ、左右のタイヤ、ナンバプレートの画像である。自動車の場合、車種により、テールランプ、タイヤ、ナンバプレートの位置が異なり、テールランプやタイヤについては大きさや形状も異なるので、車種を見分けるには有効な特徴部分となる。これ以外でも、バンパ、リヤウイング等の他の特徴部分の参照画像を用いてもよい。本実施の形態では、特定の車種を判別するので、参照画像を作成するための自動車のバックスタイルの画像としては、その車種の自動車を真後ろから撮像した画像とする。なお、カメラ２で必ずしも真後ろから自動車を撮像できない場合、様々な向きからのバックスタイルの平均的なバックスタイル画像を作成し、その平均的なバックスタイル画像から参照画像を作成してもよい。
【００３７】
参照画像を作成するために、例えば、図８に示すような、自動車のバックスタイル画像を用意する。この画像において、左右のテールランプ、左右のタイヤ、ナンバプレートを含む最小の長方形であり、この長方形の４辺が画像の縦軸又は横軸に平行なバックスタイル領域を設定する（図８の一点鎖線で示す長方形の領域）。さらに、このバックスタイル領域の中心を、重心Ｃｅｎ＿Ｂ（＝（０，０））とする（図８の○印）。さらに、この画像から、右側テールランプを含む長方形、右側タイヤを含む長方形、ナンバプレートを含む長方形、左側テールランプを含む長方形及び左側テールランプを含む長方形であり、この各長方形の４辺が画像の縦軸又は横軸に平行な領域を切り出す（図８の破線で示す５つの長方形の領域）。この各領域の中心を、特徴点Ｐ＿Ｂ＿ｉ（ｉ＝０，１，２，３，４）とする（図８の５つの十印）。この切り出した長方形の領域で区画される各画像が参照画像であり、この参照画像のデータが参照画像データベース１０に格納されている。
【００３８】
オフセットデータベース１１に格納するオフセット量ΔＰ＿Ｂ＿ｉ（ｉ＝０，１，２，３，４）は、バックスタイル領域の重心Ｃｅｎ＿Ｂと各特徴点Ｐ＿Ｂ＿ｉ（ｉ＝０，１，２，３，４）との偏差である。
【００３９】
画像間類似度評価部１３では、例えば、図１０に示すような類似度評価マップＭａｐ＿Ｂ＿ｉ（ｉ＝０，１，２，３，４）を生成する。図８（ａ）は、右側テールランプの参照画像の類似度評価マップＭａｐ＿Ｂ＿０が表示されたものであり、特徴点Ｐ＿Ｂ＿０周辺及び左側テールランプの特徴点Ｐ＿Ｂ＿３周辺の輝度値が大きくなっている。図８（ｂ）は、右側タイヤの参照画像の類似度評価マップＭａｐ＿Ｂ＿１が表示されたものであり、特徴点Ｐ＿Ｂ＿１周辺及び左側タイヤの特徴点Ｐ＿Ｂ＿４の輝度値周辺が大きくなっている。図８（ｃ）は、ナンバプレートの参照画像の類似度評価マップＭａｐ＿Ｂ＿２が表示されたものであり、特徴点Ｐ＿Ｂ＿２周辺の輝度値が大きくなっている。図８（ｄ）は、左側テールランプの参照画像の類似度評価マップＭａｐ＿Ｂ＿３が表示されたものであり、特徴点Ｐ＿Ｂ＿３周辺及び右側テールランプの特徴点Ｐ＿Ｂ＿０周辺の輝度値が大きくなっている。図８（ｅ）は、左側タイヤの参照画像の類似度評価マップＭａｐ＿Ｂ＿４が表示されたものであり、特徴点Ｐ＿Ｂ＿４周辺及び右側タイヤの特徴点Ｐ＿Ｂ＿１周辺の輝度値が大きくなっている。図８（ａ）〜（ｅ）では、特徴点以外でも、輝度値が大きくなる（白くなっている）箇所があるが、これらの箇所はノイズである。
【００４０】
統合処理部１４では、例えば、図１１に示すようなオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉ（ｉ＝０，１，２，３，４）を生成する。図１１（ａ）〜（ｅ）は、図１０に示す参照画像毎の類似度評価マップが矢印で示すオフセット量ΔＰ＿Ｂ＿ｉ分それぞれオフセットされた各オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉが表示されたものであり、全て重心Ｃｅｎ＿Ｂ周辺の輝度値が大きくなっている。また、オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉでは、ノイズが残っている。さらに、統合処理部１４では、例えば、図１２に示すような統合マップＴ＿Ｍａｐを生成する。図１２は、図１１に示す５つのオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉが統合された統合マップＴ＿Ｍａｐが表示されたものであり、重心Ｃｅｎ＿Ｂ周辺の輝度値だけが大きくなっており、ノイズが無くなっている。
【００４１】
統合処理部１４では、統合マップＴ＿Ｍａｐの重心Ｃｅｎ＿Ｂ周辺の各画素の輝度値を閾値と比較し、輝度値が閾値より大きい場合には撮像画像の自動車が認識対象の車種と判定し、輝度値が閾値以下の場合には撮像画像の自動車が認識対象の車種でないと判定する。
【００４２】
図１を参照して、画像認識装置１における動作を説明する。認識を行う前に、認識対象物（任意の人物の顔又は自動車の特定の車種）に応じて、その特徴となる部分（両目、鼻、口又は左右のテールランプ、左右のタイヤ、ナンバプレート）を複数抽出する。そして、その複数の特徴部分の参照画像を作成し、その参照画像のデータ（画素毎の輝度値）を参照画像データベース１０に格納しておく。また、各特徴部分の中心である特徴点Ｐ＿Ｂ＿ｉと画像の中心である重心Ｃｅｎ＿Ｂとのオフセット量ΔＰ＿Ｂ＿ｉを求め、そのオフセット量ΔＰ＿Ｂ＿ｉを参照画像に対応付けてオフセットデータベース１１に格納しておく。
【００４３】
カメラ２により、対象物（人物の顔又は自動車のバックスタイル）を撮像し、その撮像画像データを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、参照画像とサイズ（解像度）を合わせるために、撮像画像のサイズを変換する。このサイズ変換した撮像画像のデータは、輝度値である。次に、画像ＥＣＵ３では、参照画像データベース１０から参照画像を取り出す。そして、画像ＥＣＵ３では、サイズ変換した撮像画像からその取り出した参照画像と同一のサイズの領域を順次切り出し、その切り出した領域と参照画像との類似度を示す輝度値を計算する。さらに、画像ＥＣＵ３では、その計算した輝度値を切り出した領域の中心座標（ｘｃ，ｙｃ）に設定し、類似度評価マップＭａｐ＿Ｂ＿ｉを生成する。画像ＥＣＵ３では、複数の参照画像に対してそれぞれ類似度評価マップＭａｐ＿Ｂ＿ｉを生成する。撮像画像において参照画像と類似する特徴部分が存在する場合、類似度評価マップＭａｐ＿Ｂ＿ｉでは、特徴点Ｐ＿Ｂ＿ｉ周辺での輝度値が大きくなっている。
【００４４】
続いて、画像ＥＣＵ３では、オフセットデータベース１１から参照画像に対応したオフセット量ΔＰ＿Ｂ＿ｉを取り出す。そして、画像ＥＣＵ３では、特徴点Ｐ＿Ｂ＿ｉを重心Ｃｅｎ＿Ｂに位置させるために、そのオフセット量ΔＰ＿Ｂ＿ｉにより類似度評価マップＭａｐ＿Ｂ＿ｉをオフセットする。画像ＥＣＵ３では、複数の参照画像に対してそれぞれオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉを生成する。撮像画像において参照画像と類似する特徴部分が存在する場合、オフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉでは、重心Ｃｅｎ＿Ｂ周辺での輝度値が大きくなっている。
【００４５】
さらに、画像ＥＣＵ３では、全てのオフセット類似度評価マップΔＭａｐ＿Ｂ＿ｉの輝度値を画素毎に積算し、統合マップＴ＿Ｍａｐを生成する。撮像画像において複数の参照画像と類似する特徴部分が全て存在する場合、統合マップＴ＿Ｍａｐでは、重心Ｃｅｎ＿Ｂ周辺での輝度値が最も大きくなっている。そこで、画像ＥＣＵ３では、統合マップＴ＿Ｍａｐの重心Ｃｅｎ＿Ｂ周辺の各画素の輝度値を閾値と比較し、閾値より大きい場合には認識対象物（任意の人物の顔又は特定の車種）であると判定し、閾値以下の場合には認識対象物でないと判定する。
【００４６】
この画像認識装置１によれば、特徴部分（両目、鼻、口又はテールランプ、タイヤ、ナンバプレート）の位置、形や大きさに関係なく、処理負荷（処理速度）が一定となので、処理負荷が軽く、処理速度も速くなる。ちなみに、画像認識装置１では、パターンマッチングを行わないので、参照画像に対して撮像画像における対象物の特徴部分の位置、形や大きさが多少違っていても処理量は変わらない。
【００４７】
また、画像認識装置１では、参照画像に対する類似度を求めることにより撮像画像において特徴部分に類似している部分が存在しているか否かを検出でき、求めた複数の類似度評価マップＭａｐ＿Ｂ＿ｉを重心Ｃｅｎ＿Ｂを基準として統合することにより撮像画像において特徴部分と類似している部分の位置が合っているか否かを検出できるので、認識精度が高い。さらに、画像認識装置１では、参照画像として用いる特徴部分の数を増加することにより、認識精度が向上する。また、画像認識装置１では、各類似度評価マップＭａｐ＿Ｂ＿ｉでノイズがでても、それらを統合することにより、ノイズを抑制できる。
【００４８】
また、画像認識装置１では、撮像画像のサイズを変換により小さくした場合、処理負荷を更に削減でき、撮像画像におけるノイズも抑制できる。さらに、画像認識装置１では、輝度値により類似度を示しているので、視覚的に類似度を判断できる。
【００４９】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００５０】
例えば、本実施の形態では人物や自動車の認識に適用したが、これら以外の様々のものの認識に適用可能である。人物を認識する場合、特定の個人を認証する個人認証にも適用可能であり、その場合にはその認識する個人の顔を撮像した顔画像から特徴部分の参照画像を作成する。また、ある特定の人種、ある特定の年齢層、男性と女性等の様々な認識にも適用可能であり、各認識に応じて参照画像を用意する。例えば、ある特定の人種を認識する場合、その人種の平均的な顔画像から参照画像を作成する。自動車を認識する場合、小型車、中型車、大型車等の大きな枠組みでの認識にも適用可能である。この場合には、参照画像やオフセット量については各大きさの自動車の平均的な値を用いる。
【００５１】
また、本実施の形態ではオフセット量の基準となる点を画像の重心（中心）に設定したが、画像の左上端や右下端等の画像中ならどの位置に設定してもよい。この場合、オフセット量は、設定した位置に対して求められる。ちなみに、オフセット類似度評価マップや統合マップにおける類似度が高くなるのはその設定した位置周辺となるので、閾値と比較する画素もその設定した位置周辺の画素とする必要がある。
【００５２】
また、本実施の形態では撮像画像の解像度（サイズ）を変換する構成としたが、撮像画像における対象物と参照画像との解像度に整合がとれる場合、撮像画像の解像度を変換しない構成としてもよい。
【００５３】
また、本実施の形態では参照画像に対する類似度を輝度値としたが、輝度値ではなく、絶対値差分総和値自体を類似度としてもよいし、あるいは、他の手法により参照画像に対する類似度を求めてもよい。
【図面の簡単な説明】
【００５４】
【図１】本実施の形態に係る画像認識装置の構成図である。
【図２】図１の画像間類似度評価部の説明図である。
【図３】認識対象を人物の顔とした場合の参照画像の一例であり、（ａ）が参照画像を作成するための人物の顔画像であり、（ｂ）が（ａ）図の顔画像における両目、鼻、口を特徴部分とした参照画像である。
【図４】ある人物の顔を正面から撮像した撮像画像の一例であり、（ａ）が撮像画像であり、（ｂ）が顔を認識した結果を示す撮像画像である。
【図５】図３の参照画像に基づいて図４の撮像画像から顔を認識する際の類似度評価マップであり、（ａ）が両目の参照画像に対する類似度評価マップであり、（ｂ）が鼻の参照画像に対する類似度評価マップであり、（ｃ）が口の参照画像に対する類似度評価マップである。
【図６】図５の類似度評価マップを重心にオフセットしたオフセット類似度評価マップであり、（ａ）が両目の参照画像に対するオフセット類似度評価マップであり、（ｂ）が鼻の参照画像に対するオフセット類似度評価マップであり、（ｃ）が口の参照画像に対するオフセット類似度評価マップである。
【図７】図６の３つのオフセット類似度評価マップを統合させた統合マップである。
【図８】認識対象を自動車のバックスタイルとした場合の参照画像の一例である。
【図９】ある自動車を後方から撮像した撮像画像の一例である。
【図１０】図８の参照画像に基づいて図９の撮像画像から自動車を認識する際の類似度評価マップであり、（ａ）が右側テールランプの参照画像に対する類似度評価マップであり、（ｂ）が右側タイヤの参照画像に対する類似度評価マップであり、（ｃ）がナンバプレートの参照画像に対する類似度評価マップであり、（ｄ）が左側テールランプの参照画像に対する類似度評価マップであり、（ｅ）が左側タイヤの参照画像に対する類似度評価マップである。
【図１１】図１０の類似度評価マップを重心にオフセットしたオフセット類似度評価マップであり、（ａ）が右側テールランプの参照画像に対するオフセット類似度評価マップであり、（ｂ）が右側タイヤの参照画像に対するオフセット類似度評価マップであり、（ｃ）がナンバプレートの参照画像に対するオフセット類似度評価マップであり、（ｄ）が左側テールランプの参照画像に対するオフセット類似度評価マップであり、（ｅ）が左側タイヤの参照画像に対するオフセット類似度評価マップである。
【図１２】図１１の５つのオフセット類似度評価マップを統合させた統合マップである。
【符号の説明】
【００５５】
１…画像認識装置、２…カメラ、３…画像ＥＣＵ、１０…参照画像データベース、１１…オフセットデータベース、１２…画像解像度変換部、１３…画像間類似度評価部、１４…統合処理部
【図１】
2005275915.tif 000006
【図２】
2005275915.tif 000007
【図３】
2005275915.tif 000008
【図４】
2005275915.tif 000009
【図５】
2005275915.tif 000010
【図６】
2005275915.tif 000011
【図７】
2005275915.tif 000012
【図８】
2005275915.tif 000013
【図９】
2005275915.tif 000014
【図１０】
2005275915.tif 000015
【図１１】
2005275915.tif 000016
【図１２】
2005275915.tif 000017