(57)【要約】【課題】画像内の物体認識を適切に行うことができる物体認識装置、物体認識方法及び物体認識プログラムを提供する。【解決手段】物体認識装置１は、事前に用意したテンプレート画像の部分領域（参照点）と、撮影した画像の部分領域（参照点）のマッチングを行うことにより物体認識を行う。このとき、撮影画像内の各画素のエッジ強度値及びエッジ勾配値を求め、撮影画像内のある画素（参照点Ｒ）を含む参照領域ＲＴを対象として、エッジ強度値及びエッジ勾配値から構成される２次元度数分布（又は１次元度数分布）を作成し、これを局所特徴量とする。そして、抽出した局所特徴量と事前に用意したテンプレート画像の局所特徴量とを比較し、両者の類似度を演算する。【選択図】      図１
2011170554.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う物体認識装置であって、
前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する画素情報演算手段と、
前記撮影画像内の任意の参照点を含む参照領域を選択する参照領域選択手段と、
前記画素情報演算手段で演算した、前記参照領域選択手段で選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段で抽出した局所特徴量と、前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する類似度演算手段と、を備えることを特徴とする物体認識装置。
【請求項２】
前記局所特徴量抽出手段は、前記局所特徴量として、前記参照領域におけるエッジ強度値及びエッジ勾配値の２次元度数分布を作成することを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記局所特徴量抽出手段は、前記局所特徴量として、前記参照領域におけるエッジ強度値及びエッジ勾配値の１次元度数分布を作成することを特徴とする請求項１に記載の物体認識装置。
【請求項４】
前記参照領域選択手段は、前記参照点を中心点とした一定領域を、前記参照領域として選択することを特徴とする請求項１〜３の何れか１項に記載の物体認識装置。
【請求項５】
撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う物体認識方法であって、
前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算するステップと、
前記撮影画像内の任意の参照点を含む参照領域を選択するステップと、
選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出するステップと、
抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算するステップと、を備えることを特徴とする物体認識方法。
【請求項６】
撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う機能をコンピュータに実現させる物体認識プログラムであって、
前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する機能と、
前記撮影画像内の任意の参照点を含む参照領域を選択する機能と、
選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する機能と、
抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する機能と、をコンピュータに実現させることを特徴とする物体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の物体を認識する物体認識装置、物体認識方法及び物体認識プログラムに関する。
【背景技術】
【０００２】
従来、山積みやバラ置き状態の物体を撮影した画像内の物体を認識する手法としては、テンプレートマッチングを適用するのが主流であった。しかしながら、物体の一部分が隠れている場合や複雑な背景を含む場合には、テンプレートマッチングを適用するのが困難である。
そこで、物体の局所的な特徴量（局所特徴量）を定義し、画像上の物体の局所特徴量とテンプレートの局所特徴量とをマッチングすることにより、物体を認識する手法が提案されている（例えば、特許文献１参照）。この技術は、内側により多くのテンプレート画像のエッジが含まれるように決められた参照円と、テンプレート画像のエッジとが交差する点を特徴点とし、局所特徴量を構成するものである。
【０００３】
また、エッジ角度（エッジ勾配）を特徴量として、角度マッチングを行う手法も提案されている（例えば、特許文献２参照）。この技術は、所定のエッジ強度に該当するエッジ角度のみを対象として度数分布を作成し、その代表となる角度値を用いて角度のマッチングを行うものである。
さらに、エッジ方向（エッジ勾配）及びエッジ強度の何れか一方を特徴量として分類を行う手法も提案されている（例えば、特許文献３参照）。この技術は、与えられた画像に対して、あるエッジ方向を有する画素のエッジ強度度数分布、或いは、ある強度を有する画素のエッジ方向度数分布を作成し、事前に定義した複数の群の度数分布の特徴と比較を行うことで最も合致する群を抽出し、与えられた画像が該当する群に属するものと判断するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４３１７５号公報
【特許文献２】特開２００２−１７５５２８号公報
【特許文献３】特開２００７−１５６６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の従来例にあっては、上述した参照円とエッジとが交差する点に基づいて局所特徴量を構成しているため、当該局所特徴量の物体の幾何学的な構成への依存性が高い。そのため、背景等の影響により幾何学的な特徴の強い部位が隠れた場合には、物体認識が困難になる。
また、上記特許文献２に記載の従来例にあっては、所定のエッジ強度に該当するエッジ画素のみを対象とし、１次元数である角度値を用いて角度のマッチングを行うものであり、多次元数を用いた文様のマッチングを行うことはできない。
さらに、上記特許文献３に記載の従来例にあっては、エッジ方向だけ、或いはエッジ強度だけから度数分布を作成しているため、文様の比較を十分に行うことができない。
そこで、本発明は、画像内の物体認識を適切に行うことができる物体認識装置、物体認識方法及び物体認識プログラムを提供することを課題としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に係る物体認識装置は、撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う物体認識装置であって、前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する画素情報演算手段と、前記撮影画像内の任意の参照点を含む参照領域を選択する参照領域選択手段と、前記画素情報演算手段で演算した、前記参照領域選択手段で選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段で抽出した局所特徴量と、前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する類似度演算手段と、を備えることを特徴としている。
【０００７】
このように、参照点を任意に選択し、その近傍の領域を対象としてエッジ強度値とエッジ勾配値とから構成される度数分布を作成し、これを局所特徴量とするので、幾何学的な構成への依存性が弱い特徴量を用いた物体認識を行うことができる。その結果、幾何学的な関係が崩れることによる局所特徴量への影響を抑制して、よりロバストな物体認識が可能となる。
さらに、エッジ強度値とエッジ勾配値の両者を組み合わせて局所特徴量を構成するので、文様の比較を十分に行うことができる。
【０００８】
また、請求項２に係る物体認識装置は、請求項１に係る発明において、前記局所特徴量抽出手段は、前記局所特徴量として、前記参照領域におけるエッジ強度値及びエッジ勾配値の２次元度数分布を作成することを特徴としている。
このように、エッジ強度とエッジ勾配とを組み合わせ、両者の相関関係を考慮した局所特徴量とすることができる。そのため、文様の比較を十分に行うことができる。
【０００９】
さらに、請求項３に係る物体認識装置は、請求項１に係る発明において、前記局所特徴量抽出手段は、前記局所特徴量として、前記参照領域におけるエッジ強度値及びエッジ勾配値の１次元度数分布を作成することを特徴としている。
これにより、エッジ強度とエッジ勾配とを組み合わせ、両者の相関関係を考慮した局所特徴量とすることができる。また、局所特徴量を１次元の度数分布とするので、類似度の演算を簡易化することができる。
【００１０】
また、請求項４に係る物体認識装置は、請求項１〜３の何れかに係る発明において、前記参照領域選択手段は、前記参照点を中心点とした一定領域を、前記参照領域として選択することを特徴としている。
これにより、所定のエッジ強度以外のエッジ画素も含めて、参照点近傍の全体の情報を度数分布として表現することができるので、近傍の文様の特徴と表す多次元数を用いて文様のマッチングを行うことができる。
【００１１】
さらにまた、請求項５に係る物体認識方法は、撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う物体認識方法であって、前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算するステップと、前記撮影画像内の任意の参照点を含む参照領域を選択するステップと、選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出するステップと、抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算するステップと、を備えることを特徴としている。
これにより、幾何学的な構成への依存性が弱い局所特徴量を用いた物体認識を行うことができ、部分的な隠れや複雑な背景を含む画像に適切に対応できる物体認識方法とすることができる。
【００１２】
また、請求項６に係る物体認識プログラムは、撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う機能をコンピュータに実現させる物体認識プログラムであって、前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する機能と、前記撮影画像内の任意の参照点を含む参照領域を選択する機能と、選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する機能と、抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する機能と、をコンピュータに実現させることを特徴としている。
これにより、幾何学的な構成への依存性が弱い局所特徴量を用いた物体認識処理を実現させることができ、部分的な隠れや複雑な背景を含む画像に適切に対応できる。
【発明の効果】
【００１３】
本発明によれば、任意の参照点を含む参照領域において、エッジ強度とエッジ勾配の両方を用いて度数分布を作成し、これを局所特徴量として物体認識を行う。これにより、幾何学的な構成への依存性が弱い特徴量を用いた物体認識を行うことができる。そのため、幾何学的な関係が崩れることによる局所特徴量への影響を少なくすることができ、よりロバストな物体認識が可能となる。また、エッジ強度とエッジ勾配とを組み合わせ、両者の相関関係を考慮した局所特徴量を構成することができるので、文様の比較を十分に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る物体認識装置の構成を示すブロック図である。
【図２】物体認識処理手順の一例を示すフローチャートである。
【図３】参照領域の選択方法を説明する図である。
【図４】２次元度数分布の例を示す図である。
【図５】１次元度数分布の作成方法を示す図である。
【図６】本発明の適用例（ステレオマッチング）を説明するための図である。
【図７】本発明の別の適用例（セグメンテーション）を説明するための図である。
【図８】本発明の別の適用例（テンプレートマッチング）を説明するための図である。
【図９】テンプレートマッチングにおける特徴量の比較を示す図である。
【図１０】参照領域の選択方法の別の例を説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
（構成）
図１は、本発明に係る物体認識装置の構成を示すブロック図である。
この図１に示すように、物体認識装置１は、画像撮影部１１と、画像記憶部１２と、エッジ勾配・強度演算部１３と、エッジ強度画像記憶部１４と、エッジ勾配画像記憶部１５と、度数分布作成部１６と、度数分布記憶部１７と、度数分布比較演算部１８と、比較対照度数分布記憶部１９と、比較結果記憶部２０と、を備える。
画像撮影部１１は、カメラ等で構成され、対象物を含む画像を撮影する。撮影した画像は画像記憶部１２へ記憶する。撮影する画像は、グレー画像であっても、カラー画像であってもよい。なお、本実施形態では、グレー画像を例に説明する。
【００１６】
また、撮影する画像は、静止画像であっても動画像であってもよい。撮影した画像が静止画像である場合には、その静止画像をそのまま画像記憶部１２へ記憶する。一方、撮影した画像が動画像である場合には、その動画像をフレーム毎に記憶する。
エッジ勾配・強度演算部１３は、画像記憶部１２に記憶された画像をもとに、各画素の濃淡の変化の急激さを示すエッジ強度値と、濃淡の変化の方向を示すエッジ勾配値とを演算し、これらをそれぞれエッジ強度画像記憶部１４とエッジ勾配画像記憶部１５とに記憶する。
【００１７】
度数分布作成部１６は、画像内の所定の参照領域について度数分布を作成する。本実施形態では、エッジ勾配・強度演算部１３で演算したエッジ強度値及びエッジ勾配値に基づいて、参照領域におけるエッジ強度値及びエッジ勾配値の２次元度数分布あるいは１次元度数分布を作成する。作成した度数分布は、度数分布記憶部１７に記憶する。
度数分布比較演算部１８は、度数分布記憶部１７に記憶された度数分布と、予め比較対照度数分布記憶部１９に記憶された度数分布とを比較し、両者の類似度を演算する。比較対照度数分布記憶部１９には、予め比較対照となるテンプレート画像の度数分布を記憶しておく。度数分布比較演算部１８の演算結果は、比較結果記憶部２０に記憶する。
【００１８】
次に、物体認識装置１で実行する物体認識処理について具体的に説明する。
図２は、物体認識処理手順の一例を示すフローチャートである。
先ず、ステップＳ１で、物体認識装置１は、画像記憶部１２に記憶した画像データを読み込み、ステップＳ２に移行する。
ステップＳ２では、物体認識装置１は、前記ステップＳ１で読み込んだ画像をもとに、各画素のエッジ強度値Ｉとエッジ勾配値Ｇとを演算する。ここでは、先ず、前記ステップＳ１で読み込んだ画像に微分フィルタを適用することで、Ｘ方向成分強度ｄｘとＹ方向成分強度ｄｙとを算出する。そして、Ｘ，Ｙ方向成分強度ｄｘ，ｄｙを用いて、下記（１）及び（２）式をもとにエッジ強度値Ｉ及びエッジ勾配値Ｇを算出する。
Ｉ＝（ｄｘ2＋ｄｙ2）1/2  ………（１）
Ｇ＝ｔａｎ-1（ｄｙ／ｄｘ）  ………（２）
エッジ強度値Ｉ及びエッジ勾配値Ｇは、撮影画像の全画素について算出する。
【００１９】
次に、ステップＳ３では、物体認識装置１は、物体の局所的な特徴（局所特徴量）を抽出する参照領域ＲＴを選択する。参照領域ＲＴは、図３に示すように、画像内の任意の参照点Ｒを基準に選択するものとし、参照点Ｒを中心として事前に定めた辺の長さ（２Ｌ＋１）を持つ矩形領域（正方形）とする。本実施形態では、参照点Ｒは、画像内において格子状に一定間隔で選択する。
なお、参照点Ｒの間隔や参照領域ＲＴの辺の長さなどは、対象物に応じて適宜設定可能である。
【００２０】
次に、ステップＳ４では、物体認識装置１は、前記ステップＳ３で選択した参照領域ＲＴにおいて、エッジ強度値Ｉとエッジ勾配値Ｇとから構成される２次元度数分布を作成する。
ここでは、画素（Ｉ，Ｊ）を参照点Ｒとしたとき、参照点Ｒ（Ｉ，Ｊ）を中心点とした参照領域ＲＴにおける２次元度数分布を、Ｆ（Ｉ，Ｊ）（ｍ，ｎ）と記す。２次元度数分布Ｆ（Ｉ，Ｊ）（ｍ，ｎ）は、画像のＸ方向がＩ−ＬからＩ＋Ｌ、画像のＹ方向がＪ−ＬからＪ＋Ｌの範囲内における、エッジ勾配値Ｇ＝ｍ、エッジ強度値Ｉ＝ｎの画素数を示すものである。なお、エッジ勾配値とエッジ強度値の度数分布における区分幅は予め定義しておく。
【００２１】
図４は、２次元度数分布Ｆ（Ｉ，Ｊ）（ｍ，ｎ）の例を示す図である。図４において、色が暗い部分ほど度数が高いことを示している。本実施形態では、この２次元度数分布を局所特徴量とする。
なお、ここでは２次元の度数分布を局所特徴量とする場合について説明したが、１次元の度数分布を局所特徴量とするようにしてもよい。
図５は、１次元度数分布の作成方法を示す図である。
この図５に示すように、２次元度数分布を、１次元の度数分布（シグネチャとも称する）に圧縮し、１次元ヒストグラムを作成する。ここでは、参照点Ｒ（Ｉ，Ｊ）における１次元度数分布をＳ（Ｉ，Ｊ）（ｍ）と記す。１次元度数分布Ｓ（Ｉ，Ｊ）（ｍ）は、エッジ強度をＩｎｔｅｎｓｉｔｙ（ｎ）とすると、下記（３）式で表される。
【００２２】
【数１】
2011170554.tif 000003
【００２３】
次に、ステップＳ５では、物体認識装置１は、局所特徴量Ｆ１（＝Ｆ（Ｉ１，Ｊ１）（ｍ，ｎ））と局所特徴量Ｆ２（＝Ｆ（Ｉ２，Ｊ２）（ｍ，ｎ））との比較を行い、両参照点の類似度を判定する。ここで、局所特徴量Ｆ１は、前記ステップＳ４で作成し、度数分布記憶手段１７に記憶された２次元度数分布であり、局所特徴量Ｆ２は、予め比較対照度数分布記憶部１９に記憶された２次元度数分布である。先ず、比較の方法について説明する。
２次元度数分布の比較には、相関（Correlation）、カイ２乗（Chi-square）、重なり率（Intersection）などの手法を用いる。
具体的には、比較する２つの２次元度数分布から２次元ヒストグラムＨ1（ｉ，ｊ）とＨ2（ｉ，ｊ）とを求め、以下の一般式を用いて類似度を演算する。下記（４）式は相関ｄ１、下記（５）式はカイ２乗ｄ２、下記（６）式は重なり率ｄ３を求める式である。
【００２４】
【数２】
2011170554.tif 000004
【００２５】
上記（４）式において、Ｈave1はＨ1（ｉ，ｊ）の平均値、Ｈave2はＨ2（ｉ，ｊ）の平均値である。
本実施形態では、上記（４）〜（６）式を用いて、２次元度数分布Ｆ（Ｉ１，Ｊ１）（ｍ，ｎ）と、２次元度数分布Ｆ（Ｉ２，Ｊ２）（ｍ，ｎ）との類似度を演算する。
相関ｄ１は、類似度が高いほど大きい値となり、カイ２乗ｄ２は、類似度が高いほど小さい値となり、重なり率ｄ３は、類似度が高いほど大きい値となる。したがって、これらの値に基づいて、撮影画像とテンプレート画像の参照点間の類似度を求めることができる。
【００２６】
また、１次元度数分布を用いて類似度を演算するようにしてもよい。この場合、局所特徴量Ｓ１（＝Ｓ（Ｉ１，Ｊ１）（ｍ））と局所特徴量Ｓ２（＝Ｓ（Ｉ２，Ｊ２）（ｍ））との比較を行い、両参照点の類似度を判定する。ここで、局所特徴量Ｓ１は、度数分布記憶手段１７に記憶された１次元度数分布であり、局所特徴量Ｓ２は、予め比較対照度数分布記憶手段１９に記憶された１次元度数分布である。
具体的には、比較する２つの１次元度数分布から１次元ヒストグラムＨ1（ｉ）とＨ2（ｉ）とを求め、下記（７）〜（９）式に示す一般式を用いて相関ｄ１、カイ２乗ｄ２及び重なり率ｄ３を求める。
【００２７】
【数３】
2011170554.tif 000005
【００２８】
上記（７）式において、Ｈave1はＨ1（ｉ）の平均値、Ｈave2はＨ2（ｉ）の平均値である。
ステップＳ６では、物体認識装置１は、前記ステップＳ５の比較結果を比較結果記憶部２０に記憶し、ステップＳ７に移行する。
ステップＳ７では、物体認識装置１は、比較対照を終了するか否かを判定する。そして、比較対照を継続する場合には前記ステップＳ３に移行し、異なる参照点Ｒを選択して比較対照を行う。一方、比較対照を終了する場合には、そのまま物体認識処理を終了する。
なお、図１の画像撮影部１１が撮影手段に対応している。また、図２のステップＳ２が画像情報演算手段に対応し、ステップＳ３が参照領域選択手段に対応し、ステップＳ４が局所特徴量抽出手段に対応し、ステップＳ５が類似度演算手段に対応している。
【００２９】
（動作）
次に、本実施形態の動作について説明する。
ここでは、物体認識装置１をステレオマッチングに適用した場合について説明する。
ステレオマッチングでは、左右の平行化された画像（左右画像の対応するエピポーラ線を水平かつ同じＹ方向位置へ変換された画像）において、一方の画像のある点に対応する他方の画像の点を探索する処理を行う。
画像撮影部１１で、図６（ａ）に示すような画像ＩｍａｇｅＬ（ｉ，ｊ）が撮影されると、その撮影画像ＩｍａｇｅＬ（ｉ，ｊ）は、画像記憶部１２に記憶される。そして、ステレオマッチングでは、図６（ｂ）に示す対照画像ＩｍａｇｅＲ（ｉ，ｊ）の同じエピポーラ線上に存在する対応点候補α´の中から、撮影画像ＩｍａｇｅＬ（ｉ，ｊ）内の任意の（或いは特定の）特徴点αの対応点を探索する。
【００３０】
これは、ＩｍａｇｅＬにおける特徴点α（Ｉ，Ｊ）に対して「等しい点」となるような点（Ｉ’，Ｊ）をＩｍａｇｅＲ内で決定する処理にあたる。本実施形態では、特徴点αにおける局所特徴量と、対応点候補α´における局所特徴量とをそれぞれ比較することで、類似度を演算し、類似度が最も高い対応点候補α´を特徴点αと「等しい点」であるとする。
すなわち、ＩｍａｇｅＬ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける２次元度数分布をＦＬ（ｉ，ｊ）（ｍ，ｎ）、ＩｍａｇｅＲ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける２次元度数分布をＦＲ（ｉ，ｊ）（ｍ，ｎ）とするとき、ＦＬ（Ｉ，Ｊ）（ｍ，ｎ）とＦＲ（ｉ，Ｊ）（ｍ，ｎ）との類似度が最も高くなるような点（ｉ，Ｊ）を対応点として選択する。
【００３１】
なお、２次元度数分布に代えて１次元度数分布を利用してもよい。すなわち、ＩｍａｇｅＬ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける１次元度数分布をＦＬ（ｉ，ｊ）（ｍ）、ＩｍａｇｅＲ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける１次元度数分布をＦＲ（ｉ，ｊ）（ｍ）とするとき、ＦＬ（Ｉ，Ｊ）（ｍ）とＦＲ（ｉ，Ｊ）（ｍ）の類似度が最も高くなるような点（ｉ，Ｊ）を対応点として選択することもできる。
【００３２】
物体認識装置１は、具体的には以下の物体認識処理を行う。
先ず、物体認識装置１は、画像記憶部１２に記憶された図６（ａ）に示す画像ＩｍａｇｅＬを読み込み（図２のステップＳ１）、画像ＩｍａｇｅＬにおける各画素について、上記（１）及び（２）式をもとにエッジ強度値Ｉ及びエッジ勾配値Ｇを算出する（ステップＳ２）。算出したエッジ強度値Ｉ及びエッジ勾配値Ｇは、それぞれエッジ強度画像記憶部１及びエッジ勾配画像記憶部１５に記憶する。次に、画像ＩｍａｇｅＬ内で参照点Ｒを選択する。ここでは、図６（ａ）に示す特徴点αを参照点Ｒとして選択する。そして、参照点Ｒ（特徴点α）を中心点とした所定の参照領域ＲＴを選択する（ステップＳ３）。
【００３３】
次に、選択した参照領域ＲＴにおいて、図４に示すような、エッジ強度値Ｉ及びエッジ勾配値Ｇから構成される２次元度数分布を作成し、これを参照領域ＲＴの局所特徴量とする（ステップＳ４）。
作成した特徴点αにおける局所特徴量は、予め比較対照度数分布記憶部１９に記憶された対照画像ＩｍａｇｅＲの局所特徴量と比較される（ステップＳ５）。このとき、特徴点αにおける局所特徴量は、対照画像ＩｍａｇｅＲ内の各対応点候補α´における局所特徴量とそれぞれ比較される。比較対照には、上述したように相関、カイ２乗、重なり率などから類似度を演算する手法を用いる。そして、各対応点候補α´における局所特徴量の中から、特徴点αにおける局所特徴量との類似度が最も高い局所特徴量を選択し、その局所特徴量に対応する対応点候補α´を特徴点αの対応点とする。
【００３４】
対応点が得られれば、あとは共線条件に従って、２つの視線ベクトルを計算することができるので、それらの２つの視線ベクトルの交点の座標が求められ、標高が求められる。
ところで、撮影画像内の物体に部分的な隠れがある場合や、複雑な背景を含む場合、物体の局所特徴量を定義し、画像上の物体の局所特徴量とテンプレートの局所特徴量とをマッチングすることにより物体を認識する手法が一般的であるが、このような手法として、内側により多くのテンプレート画像のエッジが含まれるように決められた参照円と、テンプレート画像のエッジとが交差する点を特徴点とし、局所特徴量を構成するものがある。
【００３５】
しかしながら、この場合、部分領域（参照点）から参照円を描きエッジと交差する点に基づいた局所特徴量を構成するため、物体の幾何学的な構成への依存性が高く、背景等の影響により幾何学的な特徴の強い部位が隠れた場合には、物体認識が困難になる。
これに対して、本実施形態では、任意の画素を参照点とし、その近傍の領域を対象としてエッジ強度とエッジ勾配から構成される２次元度数分布を作成し、これを局所特徴量とするので、幾何学的な構成への依存性が低い局所特徴量により物体を認識することができる。そのため、幾何学的な関係が崩れることによる局所特徴量への影響を少なくすることができ、よりロバストな物体認識が可能になる。
【００３６】
また、所定のエッジ強度に該当するエッジ角度のみを抽出して度数分布を作成し、その代表となる角度値を用いて角度のマッチングを行うものもある。しかしながら、この場合、１次元数である角度値を用いて角度のマッチングを行うため、多次元数を用いた文様のマッチングを行うことができない。
これに対して、本実施形態では、所定のエッジ強度以外のエッジ画素も含めて、参照点近傍の全体の情報を度数分布として表現し、近傍の文様の特徴を表す多次元数を用いて文様のマッチングを行うことができる。
【００３７】
さらに、エッジ勾配及びエッジ強度の何れか一方を特徴量とし、あるエッジ勾配を有する画素のエッジ強度度数分布、或いは、ある強度を有する画素のエッジ勾配度数分布を作成し、事前に定義した複数の群の度数分布の特徴と比較を行うものもある。しかしながら、この場合、エッジ勾配だけ、或いはエッジ強度だけから度数分布を作成しているため、文様の比較を十分に行うことができない。
【００３８】
これに対して、本実施形態では、エッジ勾配とエッジ強度とを組合せ、両者の相関関係を考慮した特徴量を用いて物体認識を行う。そのため、エッジ方向だけ、あるいはエッジ強度だけでは、文様の比較には不十分であるが、両者を組み合せることにより、十分な比較を行うことができる。また、本実施形態は、近傍の文様の特徴を表す多次元数を用いて、他の文様と比較を行うものであり、当該他の文様は、所定の特徴を定義しておく必要はなく、任意の比較が可能である。
【００３９】
（効果）
このように、上記実施形態では、撮影画像における各画素のエッジ勾配値とエッジ強度値を求め、ある画素（参照点）の近傍の領域を対象としてエッジ勾配値とエッジ強度値から構成される２次元度数分布、或いは１次元度数分布を作成し、これを局所特徴量とする。そして、作成した局所特徴量とテンプレート画像の局所特徴量との間でマッチングを行い、２つの画像の参照点間の類似度を比較することで物体認識を行う。
【００４０】
このとき、参照点は、撮影画像内において格子状に一定間隔で選択するなど、任意の点とするので、幾何学的な構成への依存性が弱い特徴量を用いた物体認識を行うことができる。したがって、幾何学的な関係が崩れることによる局所特徴量への影響を少なくすることができ、よりロバストな物体認識を行うことができる。
また、エッジ強度とエッジ勾配の両方を用いて度数分布を作成し、これを局所特徴量とするので、両者の相関関係を考慮した特徴量を用いて適切な物体認識を行うことができる。ここで、局所特徴量を２次元の度数分布とすれば、エッジ強度とエッジ勾配との相関関係を適切に反映した特徴量とすることができ、局所特徴量を１次元の度数分布とすれば、類似度の演算を簡易化することができる。
【００４１】
（応用例）
なお、上記実施形態においては、物体認識装置１をステレオマッチングに適用する例について説明したが、物体認識装値１をセグメンテーション処理へ適用することもできる。以下、セグメンテーション処理への適用例について、図７を参照しながら説明する。
セグメンテーションでは、１画像のある１点に対して、近傍の類似した情報を有する領域を結合する。先ず、図７（ａ）に示す撮影画像Ｉｍａｇｅ（ｉ，ｊ）に対して、図７（ｂ）に示すように、一定間隔の参照点を設けて矩形領域を設定する。次に、各矩形領域ごとに上述した２次元度数分布あるいは１次元度数分布を作成する。そして、任意の矩形領域に対して左右上下の４つの矩形領域、あるいは右斜め上、右斜め下、左斜め上、左斜め下を含めた８つの矩形領域に対して、類似度を演算する。最終的に隣接する矩形領域との類似度が高い矩形領域の集合を作成する。その結果、図７（ｃ）に示すように、類似した文様を有する矩形領域の集合が抽出される。このように、本特徴量を用いたセグメンテーションは、規則的な文様を有する対象物を切り出す処理に有効である。
【００４２】
また、物体認識装置１をテンプレートマッチングに適用することもできる。以下、テンプレートマッチングへの適用例について、図８及び図９を参照しながら説明する。
テンプレートマッチングでは、ある画像の中に、予め用意したテンプレート画像と等しい文様を類する領域を探索する。ここでは、図８（ａ）に示す撮影画像の中から図８（ｂ）に示すテンプレート画像を探索する例について説明する。先ず、図８（ａ）に示すように、撮影画像を任意に、あるいは何らかの特徴を有する部分を矩形領域（矩形領域［１］〜［４］）に分割する。次に、撮影画像の各矩形領域［１］〜［４］とテンプレート画像とにおいて、それぞれ２次元度数分布および１次元度数分布を作成する（図９）。そして、テンプレート画像と各矩形領域［１］〜［４］との間で２次元度数分布あるいは１次元度数分布を比較することで、類似度を演算し、類似度がある域値以下となるものをテンプレート画像に等しい領域と判断する。このように、本特徴量を用いることで適切にテンプレートマッチングを行うことができる。
【００４３】
（変形例）
なお、上記実施形態においては、参照領域ＲＴを図３に示すように選択する場合について説明したが、例えば、図１０に示すように、各参照領域ＲＴで重複する領域を有するように設定することもできる。
また、上記実施形態においては、参照点Ｒを画像内において格子状に一定間隔で選択する場合について説明したが、画像内のエッジ画素を一定間隔、或いは無作為に選択したり、エッジ強度が最大な点などエッジ特徴の強い点を選択したりしてもよい。
【００４４】
さらに、上記実施形態においては、参照領域ＲＴを参照点Ｒを中心点とした矩形領域とする場合について説明したが、参照点Ｒを中心点とした領域であれば、円やその他の多角形など、対象物に応じて適宜設定可能である。
さらにまた、上記実施形態においては、１次元度数分布を上記（３）式で示すシグネチャＳ（Ｉ，Ｊ）（ｍ）とする場合について説明したが、シグネチャＳ（Ｉ，Ｊ）（ｎ）とすることもできる。この場合、シグネチャＳ（Ｉ，Ｊ）（ｎ）は、エッジ勾配をＧｒａｄｉｅｎｔ（ｍ）として次式で表される。
【００４５】
【数４】
2011170554.tif 000006
【００４６】
この場合にも、上記（７）〜（９）式を用いることで、撮影画像の参照点における１次元度数分布とテンプレート画像の参照点における１次元度数分布とを比較し、両者の類似度を演算することができる。
【符号の説明】
【００４７】
１…物体認識装置、１１…画像撮影部、１２…画像記憶部、１３…エッジ勾配・強度演算部、１４…エッジ強度画像記憶部、１５…エッジ勾配画像記憶部、１６…度数分布作成部、１７…度数分布記憶部、１８…度数分布比較演算部、１９…比較対照度数分布記憶部、２０…比較結果記憶部
【図１】
2011170554.tif 000007
【図２】
2011170554.tif 000008
【図３】
2011170554.tif 000009
【図４】
2011170554.tif 000010
【図５】
2011170554.tif 000011
【図６】
2011170554.tif 000012
【図７】
2011170554.tif 000013
【図８】
2011170554.tif 000014
【図９】
2011170554.tif 000015
【図１０】
2011170554.tif 000016