(57)【要約】【課題】視点や照明の変化に対してロバストであり、かつ計算コストが低く、簡易に利用できる特徴量を画像から検出する。【解決手段】画像処理装置は、入力画像上の特徴点位置Ｃ１１を中心とする領域Ｒ１１内の各画素の輝度勾配ベクトルの分布を示す輝度勾配ヒストグラムを生成する。また、画像処理装置は、特徴点位置Ｃ１１近傍の領域Ｒ１２乃至領域Ｒ１５の各画素の輝度勾配ベクトルの分布を示す輝度勾配ヒストグラムを生成する。そして、画像処理装置は、領域Ｒ１２乃至領域Ｒ１５の輝度勾配ヒストグラムのうち、領域Ｒ１１の輝度勾配ヒストグラムと最も輝度勾配ベクトルの分布の異なる輝度勾配ヒストグラムと、領域Ｒ１１の輝度勾配ヒストグラムとを用いて、特徴点位置Ｃ１１における特徴量を生成する。本発明は、画像処理装置に適用することができる。【選択図】図５
2010055195.tif 000002
【特許請求の範囲】
【請求項１】
画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求める第１の分布算出手段と、
前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求める第２の分布算出手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択する選択手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記選択手段により選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する特徴量算出手段と
を備える画像処理装置。
【請求項２】
前記複数の前記第２の局所領域の中心位置のそれぞれは、前記特徴点を中心とする円の円周上に位置する
請求項１に記載の画像処理装置。
【請求項３】
前記中心位置のそれぞれは、複数の前記中心位置により、前記円周が等分割される位置とされる
請求項２に記載の画像処理装置。
【請求項４】
前記輝度勾配ベクトルの分布として、前記輝度勾配ベクトルの方向ごとに求められた、前記方向を有する前記輝度勾配ベクトルの出現頻度を示す輝度勾配ヒストグラムが求められ、
前記選択手段は、前記第２の局所領域の前記輝度勾配ヒストグラムについて、前記第１の局所領域の前記輝度勾配ヒストグラムとの類似度を求め、前記複数の前記第２の局所領域の前記輝度勾配ヒストグラムのうち、前記類似度により示される類似の度合いの最も低い前記第２の局所領域の前記輝度勾配ヒストグラムを選択する
請求項１に記載の画像処理装置。
【請求項５】
画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求める第１の分布算出手段と、
前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求める第２の分布算出手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択する選択手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記選択手段により選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する特徴量算出手段と
を備える画像処理装置の画像処理方法であって、
前記第１の分布算出手段が、前記画像を用いて前記第１の局所領域の前記輝度勾配ベクトルの分布を求め、
前記第２の分布算出手段が、前記画像を用いて前記第２の局所領域の前記輝度勾配ベクトルの分布を求め、
前記選択手段が、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択し、
前記特徴量算出手段が、前記特徴点における特徴量を算出する
ステップを含む画像処理方法。
【請求項６】
画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求め、
前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求め、
前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択し、
前記第１の局所領域の前記勾配ベクトルの分布と、選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、計算コストが低く、簡易に利用できる特徴量を画像から抽出できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像中の対象物体を認識する画像認識技術は、広い応用範囲を持つ画像処理技術であり、幅広い画像認識手法が研究されてきた。従来、画像認識に関する技術として、画像における特徴点の位置を検出する技術と、検出された特徴点の位置における特徴量を検出する技術とがある。
【０００３】
例えば、特徴点の位置を検出する技術として、「Harris corner detector」、「SUSAN corner detector」、「KLT corner detector」などの検出方法が提案されている（例えば、非特許文献１、特許文献１、および非特許文献２参照）。
【０００４】
また、特徴量を検出する技術として、「Steerable filters」や「Complex filters」を用いて検出する方法、「SIFT descriptor」、「PCA-SIFT」などの検出方法が提案されている（例えば、非特許文献３、非特許文献４、特許文献２、および非特許文献５参照）。
【０００５】
【非特許文献１】C. Harris and M. Stephens, ”A combined corner and edge detector,” Proc. 4th Alvey Vision Conf., pp.147-151, Manchester, U.K., Aug. 1988
【特許文献１】英国特許第ＧＢ２２７２２８５号明細書
【非特許文献２】C.Tomasi and T.Kanade, ”Detection and Tracking of Point Features” Technical Report CMU-CS-91-132
【非特許文献３】W. Freeman and E. Adelson, ”The Design and Use of Steerable Filters,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 13, no. 9, pp. 891-906, Sept. 1991.
【非特許文献４】F. Schaffalitzky and A. Zisserman, ”Multi-View Matching for Unordered Image Sets,” Proc. Seventh European Conf. Computer Vision, pp. 414-431, 2002.
【特許文献２】米国特許第６７１１２９３号明細書
【非特許文献５】Y. Ke and R. Sukthankar, ”PCA-SIFT: A More Distinctive Representation for Local Image Descriptors”, Computer Vision and Pattern Recognition, 2004
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、画像認識に用いられる特徴量は、異なる画像のそれぞれに、同一の物体が含まれる場合に、その物体の同一性を示すことのできる何らかの記述子であり、この記述子は、通常、ベクトル量とされる。
【０００７】
特徴量を画像認識に用いる場合、特徴量に対しては、物体（特徴点）への視点や照明が変化しても特徴量に変化が生じないという性能上の要求に加え、特徴量が如何に少ないデータ量で簡易に表現されるかという記述上の要求がなされる。
【０００８】
特に、特徴量に対する記述上の要求は、計算能力やデータ容量に制限の多い携帯型の機器や、高速な処理速度が要求されるリアルタイム性の高い機器で、特徴量を用いた処理を行う場合に、より厳しくなる。
【０００９】
しかしながら、上述した技術では、性能上の要求と記述上の要求とを充分に満たす特徴量を抽出することは困難であった。
【００１０】
例えば、従来提案されてきた特徴量は、性能面での向上を目的とするものが多く、上述した「SIFT descriptor」と呼ばれる特徴量の検出方法では、画像から検出される、１つの特徴点における特徴量は１２８次元のベクトルで表される。したがって、２つの画像のそれぞれから検出された特徴点における特徴量間の類似度を求めて比較する場合、特徴量は、次元の大きなベクトルであるため、計算コストが高くなってしまう。なお、特徴量間の類似度は、ベクトル間のユークリッド距離で表される。
【００１１】
また、「PCA-SIFT」と呼ばれる特徴量の検出方法では、「SIFT descriptor」により検出された特徴量に対して、主成分分析を行うことによって、特徴量の次元数が削減されるが、この次元の削減のための主成分分析の計算コストが高くなってしまう。つまり、最終的に利用する特徴量を算出する段階での処理量が多くなってしまう。このように、特徴量の検出における計算コストを考える場合、特徴量の検出そのものに必要な処理量と、検出された特徴量を利用して画像認識を行うのに必要な処理の処理量との２つの側面に対する考慮が必要となる。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、視点や照明の変化に対してロバストであり、かつ計算コストが低く、簡易に利用できる特徴量を画像から検出することができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像処理装置は、画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求める第１の分布算出手段と、前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求める第２の分布算出手段と、前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択する選択手段と、前記第１の局所領域の前記勾配ベクトルの分布と、前記選択手段により選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する特徴量算出手段とを備える。
【００１４】
前記輝度勾配ベクトルの分布として、前記輝度勾配ベクトルの方向ごとに求められた、前記方向を有する前記輝度勾配ベクトルの出現頻度を示す輝度勾配ヒストグラムが求められるようにし、前記選択手段には、前記第２の局所領域の前記輝度勾配ヒストグラムについて、前記第１の局所領域の前記輝度勾配ヒストグラムとの類似度を求めさせ、前記複数の前記第２の局所領域の前記輝度勾配ヒストグラムのうち、前記類似度により示される類似の度合いの最も低い前記第２の局所領域の前記輝度勾配ヒストグラムを選択させることができる。
【００１５】
本発明の一側面の画像処理方法またはプログラムは、画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求め、前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求め、前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択し、前記第１の局所領域の前記勾配ベクトルの分布と、選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出するステップを含む。
【００１６】
本発明の一側面においては、画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布が求められ、前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布が求められ、前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とが比較されて、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布が選択され、前記第１の局所領域の前記勾配ベクトルの分布と、選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量が算出される。
【発明の効果】
【００１７】
本発明の一側面によれば、画像から特徴量を検出することができる。特に、本発明の一側面によれば、視点や照明の変化に対してロバストであり、かつ計算コストが低く、簡易に利用できる特徴量を画像から検出することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００１９】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２０】
画像処理装置１１は、特徴点検出部２１、輝度勾配ヒストグラム生成部２２、輝度勾配ヒストグラム生成部２３、輝度勾配ヒストグラム選択部２４、および特徴量生成部２５から構成される。
【００２１】
特徴点検出部２１には、特徴量の検出対象となる入力画像が供給される。特徴点検出部２１は、供給された入力画像から、入力画像の特徴的な画素である特徴点の位置を検出し、入力画像と、検出した特徴点位置とを輝度勾配ヒストグラム生成部２２に供給する。
【００２２】
輝度勾配ヒストグラム生成部２２は、特徴点検出部２１からの入力画像および特徴点位置に基づいて、特徴点位置ごとに輝度勾配ヒストグラムを生成する。この輝度勾配ヒストグラムは、特徴点を含む局所領域における、各画素の輝度勾配ベクトルの分布を示す情報、すなわち輝度勾配ベクトルの方向ごとに求められた、各方向を有する輝度勾配ベクトルの出現頻度を示す情報である。
【００２３】
輝度勾配ヒストグラム生成部２２は、輝度勾配ベクトル算出部４１、輝度勾配ヒストグラム更新部４２、代表方向算出部４３、および画像回転部４４から構成される。
【００２４】
輝度勾配ベクトル算出部４１は、特徴点検出部２１から供給された入力画像および特徴点位置、または画像回転部４４から供給された入力画像に基づいて、入力画像における特徴点位置を含む局所領域内の各画素の輝度勾配ベクトルを算出し、輝度勾配ヒストグラム更新部４２に供給する。
【００２５】
輝度勾配ヒストグラム更新部４２は、輝度勾配ベクトル算出部４１から供給された輝度勾配ベクトルを用いて、保持している輝度勾配ヒストグラムを更新し、最終的な輝度勾配ヒストグラムを生成する。輝度勾配ヒストグラム更新部４２は、生成した輝度勾配ヒストグラムを代表方向算出部４３または輝度勾配ヒストグラム選択部２４に供給する。
【００２６】
代表方向算出部４３は、輝度勾配ヒストグラム更新部４２から供給された輝度勾配ヒストグラムに基づいて、特徴点位置を含む局所領域内の画素の代表的な輝度勾配ベクトルの方向を代表方向として求め、画像回転部４４に供給する。画像回転部４４は、特徴点検出部２１から供給された入力画像および特徴点位置と、代表方向算出部４３から供給された代表方向とに基づいて入力画像を回転させ、回転された入力画像を輝度勾配ベクトル算出部４１および輝度勾配ヒストグラム生成部２３に供給する。
【００２７】
なお、以下、画像回転部４４により回転された入力画像を、回転入力画像とも称する。また、輝度勾配ヒストグラム更新部４２から輝度勾配ヒストグラム選択部２４には、特徴点検出部２１から供給された入力画像に基づいて生成された輝度勾配ヒストグラムではなく、回転入力画像から生成された輝度勾配ヒストグラムが供給される。
【００２８】
輝度勾配ヒストグラム生成部２３は、画像回転部４４から供給された回転入力画像に基づいて、各特徴点位置について、回転入力画像における特徴点近傍の位置を含む局所領域の輝度勾配ヒストグラムを生成する。輝度勾配ヒストグラム生成部２３は、近傍位置選択部４５、輝度勾配ベクトル算出部４６、輝度勾配ヒストグラム更新部４７から構成される。
【００２９】
近傍位置選択部４５は、画像回転部４４から供給された回転入力画像における特徴点について、回転入力画像の特徴点近傍にある位置をいくつか選択し、選択された位置である近傍位置と、回転入力画像とを輝度勾配ベクトル算出部４６に供給する。例えば、１つの特徴点に対して、その特徴点近傍の４つの近傍位置が選択される。
【００３０】
輝度勾配ベクトル算出部４６は、近傍位置選択部４５から供給された特徴点の近傍位置、および回転入力画像を用いて、各近傍位置を含む局所領域内の各画素の輝度勾配ベクトルを算出し、輝度勾配ヒストグラム更新部４７に供給する。
【００３１】
輝度勾配ヒストグラム更新部４７は、輝度勾配ベクトル算出部４６から供給された輝度勾配ベクトルを用いて、保持している輝度勾配ヒストグラムを更新し、最終的な輝度勾配ヒストグラムを生成する。輝度勾配ヒストグラム更新部４７では、近傍位置を含む局所領域ごとに輝度勾配ヒストグラムが生成されて、輝度勾配ヒストグラム更新部４７から輝度勾配ヒストグラム選択部２４に供給される。
【００３２】
輝度勾配ヒストグラム選択部２４は、輝度勾配ヒストグラム更新部４２から供給された輝度勾配ヒストグラムと、輝度勾配ヒストグラム更新部４７から供給された輝度勾配ヒストグラムとを比較する。すなわち、輝度勾配ヒストグラム選択部２４は、１つの特徴点の近傍に位置する複数の近傍位置の輝度勾配ヒストグラムのうち、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる輝度勾配ヒストグラムを選択する。そして、輝度勾配ヒストグラム選択部２４は、特徴点の輝度勾配ヒストグラムと、その特徴点に対して選択された１つの近傍位置の輝度勾配ヒストグラムとを特徴量生成部２５に供給する。
【００３３】
特徴量生成部２５は、輝度勾配ヒストグラム選択部２４から供給された、特徴点の輝度勾配ヒストグラムと、その特徴点の近傍にある近傍位置の輝度勾配ヒストグラムとを用いて、特徴点における特徴量を生成し、出力する。
【００３４】
このようにして入力画像から検出された特徴量は、例えば、複数の画像から同一の被写体を検出する画像認識に用いられる。画像認識は、例えば、視差を持った画像群において、同一の被写体が映っている領域を認識し、その結果得られた情報に基づいて奥行き情報を算出するステレオビジョン技術に用いられる。また、画像認識は、事前に撮影しておいた対象物、例えば、人物や交通標識を所定の画像から検出する技術や、動画像において、特定の物体を追跡し続けるトラッキング技術にも用いられる。
【００３５】
ところで、画像処理装置１１は、入力画像が供給されて、入力画像からの特徴量の検出が指示されると、入力画像から特徴量を検出（抽出）して出力する処理である特徴量生成処理を開始する。以下、図２のフローチャートを参照して、画像処理装置１１による特徴量生成処理について説明する。
【００３６】
ステップＳ１１において、特徴点検出部２１は、供給された入力画像から特徴点の位置を検出し、検出した特徴点の位置である特徴点位置および入力画像を、輝度勾配ベクトル算出部４１および画像回転部４４に供給する。例えば、特徴点検出部２１は、「Harris corner detector」と呼ばれる検出方法により入力画像から特徴点を検出する。
【００３７】
ステップＳ１２において、輝度勾配ベクトル算出部４１は、特徴点検出部２１から供給された入力画像上の複数の特徴点のうちの１つを選択する。
【００３８】
ステップＳ１３において、輝度勾配ヒストグラム生成部２２は、特徴点位置における輝度勾配ヒストグラム生成処理を行って、ステップＳ１２の処理において選択した特徴点を含む局所領域の輝度勾配ヒストグラムを生成する。
【００３９】
ここで、図３のフローチャートを参照して、ステップＳ１３の処理に対応する、特徴点位置における輝度勾配ヒストグラム生成処理について説明する。
【００４０】
ステップＳ５１において、輝度勾配ベクトル算出部４１は、注目している特徴点、つまりステップＳ１２の処理において選択された特徴点（以下、注目特徴点とも称する）に対して、局所領域を設定する。具体的には、輝度勾配ベクトル算出部４１は、入力画像上において、注目特徴点を中心とし、半径をｒ画素とする円内に含まれる領域を、注目特徴点の局所領域とする。
【００４１】
以下では、局所領域に含まれる画素の数はｍ個（但し、ｍは自然数）であるとし、局所領域内の画素Ｇi（但し、１≦ｉ≦ｍ）の位置が、画素位置（ｘi，ｙi）で表されるものとする。ここで、画素位置（ｘi，ｙi）における「ｘi」および「ｙi」は、入力画像上において、互いに直交する所定の方向をｘ方向およびｙ方向としたｘｙ座標系における、画素Ｇiの画素位置のｘ座標およびｙ座標を示している。
【００４２】
また、より詳細には、輝度勾配ベクトル算出部４１により、入力画像全体の領域のうちの、注目特徴点を中心とする所定の大きさの領域が切り出されて、その切り出された入力画像の領域が用いられて、輝度勾配ヒストグラムを生成する処理が行われる。
【００４３】
ステップＳ５２において、輝度勾配ベクトル算出部４１は、局所領域内の処理対象となっている画素Ｇiを特定するためのループカウンタｉを初期化し、ｉ＝１とする。
【００４４】
ステップＳ５３において、輝度勾配ベクトル算出部４１は、画素位置（ｘi，ｙi）における画素Ｇiの輝度勾配ベクトルを算出して、輝度勾配ヒストグラム更新部４２に供給する。具体的には、輝度勾配ベクトル算出部４１は、次式（１）および式（２）を計算することにより、画素Ｇiの画素値のｘ方向の一次微分Ｉｘ（ｘi，ｙi）と、画素値のｙ方向の一次微分Ｉｙ（ｘi，ｙi）とを求める。
【００４５】
Ｉｘ（ｘi，ｙi）＝Ｉ（ｘi＋１，ｙi）−Ｉ（ｘi−１，ｙi）      ・・・（１）
【００４６】
Ｉｙ（ｘi，ｙi）＝Ｉ（ｘi，ｙi＋１）−Ｉ（ｘi，ｙi−１）      ・・・（２）
【００４７】
なお、式（１）および式（２）において、Ｉ（ｘ，ｙ）は、画素位置が（ｘ，ｙ）である画素の画素値を示している。したがって、画素Ｇiにｘ方向に隣接する画素の画素値と、画素Ｇiにｘ方向とは反対方向に隣接する画素の画素値との差分が、画素Ｇiのｘ方向の一次微分Ｉｘ（ｘi，ｙi）とされる。同様に、画素Ｇiにｙ方向に隣接する画素の画素値と、画素Ｇiにｙ方向とは反対方向に隣接する画素の画素値との差分が、画素Ｇiのｙ方向の一次微分Ｉｙ（ｘi，ｙi）とされる。
【００４８】
この一次微分Ｉｘ（ｘi，ｙi）および一次微分Ｉｙ（ｘi，ｙi）は、画素Ｇiにおける所定の方向の輝度の勾配、つまり画素値の変化量を示している。輝度勾配ベクトル算出部４１は、このようにして得られた、一次微分Ｉｘ（ｘi，ｙi）、および一次微分Ｉｙ（ｘi，ｙi）からなるベクトルを、画素Ｇiの輝度勾配ベクトルとする。なお、この輝度勾配ベクトルの大きさｎ（ｘi，ｙi）および方向θ（ｘi，ｙi）は、次式（３）および式（４）により表される。
【００４９】
ｎ（ｘi，ｙi）＝（（Ｉｘ（ｘi，ｙi））2＋（Ｉｙ（ｘi，ｙi））2）1/2    ・・・（３）
【００５０】
θ（ｘi，ｙi）＝ｔａｎ-1（Ｉｙ（ｘi，ｙi）／Ｉｘ（ｘi，ｙi））    ・・・（４）
【００５１】
ステップＳ５４において、輝度勾配ヒストグラム更新部４２は、輝度勾配ベクトル算出部４１から供給された輝度勾配ベクトルに基づいて、保持している局所領域の輝度勾配ヒストグラムを更新する。
【００５２】
具体的には、輝度勾配ヒストグラム更新部４２は、処理対象となっている局所領域の輝度勾配ヒストグラムを保持している。この輝度勾配ヒストグラムは、縦軸に度数（輝度勾配ベクトルの出現頻度）、横軸に、画素における輝度勾配ベクトルの角度を取ったヒストグラムであり、輝度勾配ベクトルの方向からヒストグラムのビンが決定され、そのビンに追加される度数として、輝度勾配ベクトルの大きさが用いられる。
【００５３】
ここで、ビンとは、輝度勾配ヒストグラムの横軸により示される輝度勾配ベクトルの方向の取り得る値の範囲を、いくつかの数に分割したときの、分割された１つの方向の範囲をいう。例えば、輝度勾配ヒストグラムの横軸の範囲が［０，２π）、つまり０から２πまでの範囲（但し、２πは含まれない）であり、ビンの数がＰ個であるとすると、輝度勾配ベクトルの方向θ（ｘi，ｙi）に対して、ビンは、次式（５）により定められる。
【００５４】
【数１】
2010055195.tif 000003
【００５５】
すなわち、輝度勾配ベクトルの方向θ（ｘi，ｙi）を（２π／Ｐ）で除算して得られる数を超えない最大の整数が、方向がθ（ｘi，ｙi）である輝度勾配ベクトルのビンとされる。このようにして、各輝度勾配ベクトルに対して、Ｐ個のビンのうちの何れかが定められる。輝度勾配ヒストグラム更新部４２は、保持している局所領域の輝度勾配ヒストグラムのビンのうち、輝度勾配ベクトル算出部４１から供給された輝度勾配ベクトルの方向により定まるビンの度数に、その輝度勾配ベクトルの大きさｎ（ｘi，ｙi）を加算して、保持している輝度勾配ヒストグラムを更新する。
【００５６】
つまり、輝度勾配ヒストグラム更新部４２は、Ｐ個の各ビンの度数からなるベクトルを、輝度勾配ヒストグラムとして保持しており、輝度勾配ベクトル算出部４１から輝度勾配ベクトルが供給されるたびに、その輝度勾配ベクトルに対応するビンの度数に輝度勾配ベクトルの大きさを加算する。
【００５７】
輝度勾配ヒストグラムの更新時においては、各ビンの度数に、輝度勾配ベクトルの出現頻度ではなく、輝度勾配ベクトルの大きさが加算されることにより、輝度勾配ベクトルの大きさに応じた輝度勾配ヒストグラムの度数への重み付けが行われる。このような重み付けが行われるのは、輝度勾配ベクトルの大きさが小さい画素よりも、輝度勾配ベクトルの大きさが大きい画素の方が、より入力画像の特徴を表しているからである。
【００５８】
このようにして、処理対象の局所領域の輝度勾配ヒストグラムが更新されると、ステップＳ５５において、輝度勾配ベクトル算出部４１は、ループカウンタｉの値がｍであるか否かを判定する。
【００５９】
ステップＳ５５において、ループカウンタｉの値がｍでないと判定された場合、まだ局所領域内のｍ個の画素全てが処理対象とされていないので、輝度勾配ベクトル算出部４１は、ループカウンタｉの値をインクリメントする。その後、処理はステップＳ５３に戻り、局所領域内の次の画素が選択されて、その画素の輝度勾配ベクトルが求められる。
【００６０】
これに対して、ステップＳ５５において、ループカウンタｉの値がｍであると判定された場合、局所領域内の画素が全て処理対象とされて、輝度勾配ヒストグラムの更新が行われたので、輝度勾配ヒストグラム更新部４２は、保持している輝度勾配ヒストグラムを、局所領域の輝度勾配ヒストグラムとして代表方向算出部４３に供給する。
【００６１】
このようにして、１つの特徴点を含む局所領域の輝度勾配ヒストグラムが生成されると、特徴点位置における輝度勾配ヒストグラム生成処理は終了し、その後、処理は、図２のステップＳ１４に進む。
【００６２】
図２のフローチャートの説明に戻り、ステップＳ１４において、代表方向算出部４３は、輝度勾配ヒストグラム更新部４２から供給された輝度勾配ヒストグラムを用いて、処理対象となっている局所領域における、輝度勾配ベクトルの代表方向を求める。
【００６３】
例えば、代表方向算出部４３は、供給された輝度勾配ヒストグラムのビンのうち、度数の最も大きいビンを選択し、その選択したビンにより示される輝度勾配ベクトルの方向の範囲の中央値を、特徴点を含む局所領域の輝度勾配ベクトルの代表方向θ０とする。そして、代表方向算出部４３は、求めた代表方向θ０を画像回転部４４に供給する。
【００６４】
ステップＳ１５において、画像回転部４４は、特徴点検出部２１から供給された入力画像および特徴点位置と、代表方向算出部４３から供給された代表方向とに基づいて入力画像を回転させる。
【００６５】
具体的には、画像回転部４４は、入力画像全体の領域のうちの注目特徴点を中心とする所定の大きさの領域を切り出し、切り出した領域を、注目特徴点を中心として局所領域の代表方向θ０とは反対方向に、代表方向θ０の大きさの角度だけ回転させる。そして、画像回転部４４は、回転により得られた入力画像を回転入力画像として、輝度勾配ベクトル算出部４１および近傍位置選択部４５に供給する。
【００６６】
ここで、各画素の輝度勾配ベクトルの方向は、入力画像における所定の基準となる方向（以下、基準方向とも称する）に対する回転角度、つまり、基準方向と、輝度勾配ベクトルとのなす角度を示している。また、代表方向θ０は、局所領域内の画素の輝度勾配ベクトルの方向のうち、最も多い方向ということができる。
【００６７】
例えば、入力画像上の被写体が回転した場合、被写体上の特徴点を含む局所領域の代表方向θ０も、被写体の回転方向に、その回転角度と同じ角度だけ変化することになる。そのため、特徴点を中心として、代表方向θ０に示される角度だけ入力画像を回転させて回転入力画像とすると、回転入力画像の特徴点における代表方向θ０は、常に基準方向となる。したがって、その回転入力画像から再度、特徴点を含む局所領域の輝度勾配ヒストグラムを求めると、被写体の回転に対して不変な輝度勾配ヒストグラムを得ることができる。
【００６８】
なお、入力画像の回転時において、ｘｙ座標系は回転せずにそのままとされる。また、入力画像上における被写体が並進移動しても、輝度勾配ベクトルは変化しないので、輝度勾配ヒストグラムは、被写体の並進移動に対して不変である。さらに、局所領域は半径ｒ画素の円形の領域であり、入力画像の回転中心は特徴点であるため、局所領域は入力画像の回転に対して不変である。
【００６９】
画像回転部４４は、入力画像を代表方向θ０に基づいて回転させ、これにより得られた回転入力画像から輝度勾配ヒストグラムを生成させる。
【００７０】
なお、特徴点近傍の近傍位置における輝度勾配ヒストグラムの生成時には、特徴点の局所領域における代表方向が、近傍位置の局所領域における代表方向として用いられる。すなわち、近傍位置の輝度勾配ヒストグラムの生成には、代表方向に基づいて入力画像を回転させて得られた回転入力画像が用いられる。
【００７１】
ステップＳ１６において、輝度勾配ヒストグラム生成部２２は、回転入力画像を処理対象として、特徴点位置における輝度勾配ヒストグラム生成処理を行い、輝度勾配ヒストグラムを生成する。なお、この特徴点位置における輝度勾配ヒストグラム生成処理は、図３を参照して説明した処理と同様の処理であるため、その説明は、省略する。
【００７２】
但し、処理対象の画像が回転入力画像とされる。すなわち、輝度勾配ベクトル算出部４１は、画像回転部４４からの回転入力画像を用いて輝度勾配ベクトルを算出する。そして、輝度勾配ヒストグラム更新部４２は、回転入力画像から得られた輝度勾配ベクトルの大きさを度数とし、輝度勾配ベクトルの方向を角度として、輝度勾配ベクトルの大きさを輝度勾配ヒストグラムの各ビンに振り分ける。これにより、局所領域内での輝度勾配ベクトルの分布を示す輝度勾配ヒストグラムが得られる。
【００７３】
ステップＳ１７において、輝度勾配ヒストグラム更新部４２は、ステップＳ１６の処理により生成された輝度勾配ヒストグラムを正規化して、輝度勾配ヒストグラム選択部２４に供給する。具体的には、輝度勾配ヒストグラム更新部４２は、輝度勾配ヒストグラムを構成する各ビンの度数の総和が１となるように、輝度勾配ヒストグラムを正規化する。
【００７４】
例えば、輝度勾配ヒストグラムが、ビンＢ１乃至ビンＢＰ（但し、Ｐは自然数）のＰ個のビンから構成され、ビンＢｐ（但し、１≦ｐ≦Ｐ）の度数がＨ（ｐ）であるものとすると、正規化されたビンＢｐの度数Ｈ’（ｐ）は、次式（６）により表される。
【００７５】
【数２】
2010055195.tif 000004
【００７６】
すなわち、ビンＢｐの度数Ｈ（ｐ）を、各ビンの度数Ｈ（１）乃至度数Ｈ（Ｐ）の総和で除算して得られる値が、正規化されたビンＢｐの度数Ｈ’（ｐ）とされる。このように、輝度勾配ヒストグラムを正規化することにより、輝度勾配ヒストグラムを、入力画像上の被写体に照射される照明の強度に対して不変なものとすることができる。これは、輝度勾配ベクトルの大きさが、被写体を照らす照明の強度の変化に応じて変化するため、各ビンの度数を正規化すれば、各ビンの度数が、他のビンの度数に対する相対的な大きさを示すものとなり、照明強度の変化に対して不変量となるからである。
【００７７】
ステップＳ１８において、輝度勾配ヒストグラム生成部２３は、画像回転部４４から供給された回転入力画像を用いて、特徴点の近傍位置における、輝度勾配ヒストグラム生成処理を行い、近傍位置の輝度勾配ヒストグラムを生成する。
【００７８】
ここで、図４のフローチャートを参照して、ステップＳ１８の処理に対応する、特徴点の近傍位置における輝度勾配ヒストグラム生成処理について説明する。
【００７９】
ステップＳ８１において、近傍位置選択部４５は、画像回転部４４から供給された回転入力画像に基づいて、回転入力画像上の注目特徴点の近傍の複数の近傍位置のうちの１つを選択し、その選択結果および回転入力画像を輝度勾配ベクトル算出部４６に供給する。
【００８０】
例えば、近傍位置選択部４５は、図５に示すように、回転入力画像８１の中心に位置する特徴点位置Ｃ１１の近傍にある４つの近傍位置Ａ１１乃至近傍位置Ａ１４のうちの１つを選択する。図５では、特徴点位置Ｃ１１の画素（特徴点）を始点とする矢印Ｂ１１は、特徴点の輝度勾配ベクトルの代表方向を示しており、特徴点位置Ｃ１１を中心とする円形の領域Ｒ１１は、特徴点の局所領域を示している。
【００８１】
また、近傍位置Ａ１１乃至近傍位置Ａ１４のそれぞれは、特徴点位置Ｃ１１を中心とする同一円周上の画素の位置であって、その円周を等分割する位置とされる。つまり、近傍位置Ａ１１乃至近傍位置Ａ１４のそれぞれは、特徴点位置Ｃ１１から互いに等距離にある位置とされる。
【００８２】
図５の例では、特徴点位置Ｃ１１の図中、上下左右の各方向に近傍位置Ａ１１乃至近傍位置Ａ１４が位置し、それらの近傍位置によって、特徴点位置Ｃ１１を中心とする円の円周が４つに等分割されている。そして、近傍位置Ａ１１乃至近傍位置Ａ１４のそれぞれを中心とする半径ｒ画素の円内の領域Ｒ１２乃至領域Ｒ１５のそれぞれが、近傍位置Ａ１１乃至近傍位置Ａ１４の局所領域とされる。なお、特徴点位置Ｃ１１および近傍位置Ａ１１乃至近傍位置Ａ１４の局所領域である、領域Ｒ１１乃至領域Ｒ１５のそれぞれは、同じ大きさ（面積）の領域とされる。
【００８３】
回転入力画像では、いくつかの画素位置が近傍位置とされ、これらの近傍位置の輝度勾配ヒストグラムが生成される。そして、これらの近傍位置の輝度勾配ヒストグラムのうち、最も特徴点の輝度勾配ヒストグラムと分布が異なるものと、特徴点の輝度勾配ヒストグラムとから特徴点における特徴量が生成されることになる。
【００８４】
ここで、特徴点の近傍の局所領域の輝度勾配ヒストグラムを生成するにあたり、特徴点近傍の画素は複数あるが、それら全ての画素位置で輝度勾配ヒストグラムを生成するのは無駄である。なぜなら、特徴点の近傍位置が特徴点と近すぎると、これら２点の輝度勾配ヒストグラムは、ほぼ同じものとなるため、特徴点に近すぎる画素位置の輝度勾配ヒストグラムは、特徴量の生成に用いるのには不適切だからである。
【００８５】
そこで、特徴点から充分に離れた距離をｒ画素として、特徴点を中心とし、半径ｒ画素の円の円周上の画素の位置を近傍位置とすることで、特徴量を求めるのに適した位置を近傍位置とすることができる。また、近傍位置が、特徴点を中心とする円の円周を等分割する位置とされるのは、円周上の全ての画素位置の輝度勾配ヒストグラムを求めるのは無駄であり、近傍位置とされる位置は、適当な間隔を空けて選ばれるべきだからである。
【００８６】
このように、近傍位置選択部４５は、画像回転部４４から、例えば、図５の回転入力画像８１が供給されると、近傍位置Ａ１１乃至近傍位置Ａ１４のうちの１つを選択する。
【００８７】
図４のフローチャートの説明に戻り、ステップＳ８２において、輝度勾配ベクトル算出部４６は、近傍位置選択部４５からの選択結果および回転入力画像を用いて、選択された近傍位置の局所領域を設定する。これにより、例えば、選択された図５の近傍位置Ａ１１に対して、局所領域Ｒ１２が設定される。
【００８８】
近傍位置の局所領域が設定されると、その後、ステップＳ８３乃至ステップＳ８６の処理が行われるが、これらの処理は、図３のステップＳ５２乃至ステップＳ５５の処理のそれぞれと同様であるので、その説明は省略する。
【００８９】
すなわち、設定された近傍位置の局所領域内の各画素について、輝度勾配ベクトル算出部４６により、上述した式（１）および式（２）が計算されて輝度勾配ベクトルが求められる。そして、輝度勾配ヒストグラム更新部４７により、局所領域内の各画素の輝度勾配ベクトルから輝度勾配ヒストグラムが更新されて、選択された近傍位置の輝度勾配ヒストグラムが生成される。
【００９０】
ステップＳ８６において、ループカウンタｉの値がｍであると判定された場合、つまり選択された近傍位置の局所領域内の全ての画素の輝度勾配ベクトルにより、輝度勾配ヒストグラムが更新された場合、処理はステップＳ８７に進む。
【００９１】
ステップＳ８７において、輝度勾配ヒストグラム更新部４７は、ステップＳ８１乃至ステップＳ８６の処理により得られた輝度勾配ヒストグラムを正規化して、輝度勾配ヒストグラム選択部２４に供給する。
【００９２】
具体的には、輝度勾配ヒストグラム更新部４７は、上述した式（６）を計算して、輝度勾配ヒストグラムを構成する各ビンの度数の総和が１となるように、輝度勾配ヒストグラムを正規化する。なお、この場合、式（６）において、近傍位置の輝度勾配ヒストグラムのビンの度数がＨ（ｐ）とされる。この正規化により、選択された近傍位置の輝度勾配ヒストグラムは、被写体の回転や照明強度の変化に対して不変の値となる。
【００９３】
ステップＳ８８において、近傍位置選択部４５は、注目特徴点の近傍にある全ての近傍位置を選択したか否かを判定する。例えば、図５の近傍位置Ａ１１乃至近傍位置Ａ１４の全てが選択されて、それらの近傍位置の輝度勾配ヒストグラムが求められた場合、全ての近傍位置を選択したと判定される。
【００９４】
ステップＳ８８において、まだ全ての近傍位置が選択されていないと判定された場合、処理はステップＳ８１に戻り、上述した処理が繰り返される。すなわち、新たな近傍位置が選択され、その近傍位置の輝度勾配ヒストグラムが求められる。
【００９５】
これに対して、ステップＳ８８において、全ての近傍位置を選択したと判定された場合、特徴点の近傍位置における輝度勾配ヒストグラム生成処理は終了し、処理は図２のステップＳ１９に進む。特徴点の近傍位置における輝度勾配ヒストグラム生成処理が行われると、注目特徴点近傍にある複数の近傍位置の輝度勾配ヒストグラムのそれぞれが、輝度勾配ヒストグラム更新部４７から輝度勾配ヒストグラム選択部２４に供給される。
【００９６】
図２のフローチャートの説明に戻り、ステップＳ１９において、輝度勾配ヒストグラム選択部２４は、輝度勾配ヒストグラム更新部４７から供給された複数の近傍位置の輝度勾配ヒストグラムのうち、輝度勾配ヒストグラム更新部４２から供給された、特徴点の輝度勾配ヒストグラムと最も分布の異なるものを選択する。
【００９７】
例えば、特徴点の近傍のＫ箇所の近傍位置Ａ1乃至近傍位置ＡKのそれぞれの輝度勾配ヒストグラムが得られたとする。また、各輝度勾配ヒストグラムがＰ個のビンから構成され、特徴点の輝度勾配ヒストグラムの各ビンの度数がＨｃ（ｊ）（但し、１≦ｊ≦Ｐ）とされ、近傍位置Ａk（但し、１≦ｋ≦Ｋ）の輝度勾配ヒストグラムの各ビンの度数がＨｋ（ｊ）（但し、１≦ｊ≦Ｐ）とされるとする。
【００９８】
そのような場合、輝度勾配ヒストグラム選択部２４は、次式（７）を計算することにより、特徴点の輝度勾配ヒストグラムと、近傍位置Ａkの輝度勾配ヒストグラムとの類似度Ｓｋを求める。
【００９９】
【数３】
2010055195.tif 000005
【０１００】
すなわち、特徴点の輝度勾配ヒストグラムと、近傍位置の輝度勾配ヒストグラムとの対応するビンの度数Ｈｃ（ｊ）および度数Ｈｋ（ｊ）の差分の自乗和が類似度Ｓｋとされる。
【０１０１】
この類似度Ｓｋは、その値が大きいほど、特徴点の輝度勾配ヒストグラムと、近傍位置の輝度勾配ヒストグラムとの輝度勾配ベクトルの分布がより異なることを示している。つまり、類似度Ｓｋは、近傍位置の輝度勾配ヒストグラムの、特徴点の輝度勾配ヒストグラムとの類似の度合いを示しており、類似度Ｓｋの値が大きいほど、より特徴点の輝度勾配ヒストグラムとの類似の度合いが低いことを示している。
【０１０２】
輝度勾配ヒストグラム選択部２４は、Ｋ個の近傍位置の輝度勾配ヒストグラムのうち、類似度Ｓｋが最大のものを、特徴点の輝度勾配ヒストグラムと最も輝度勾配ベクトルの分布が異なる輝度勾配ヒストグラムとして選択する。そして、輝度勾配ヒストグラム選択部２４は、選択した近傍位置の輝度勾配ヒストグラムと、特徴点の輝度勾配ヒストグラムとを特徴量生成部２５に供給する。
【０１０３】
ステップＳ２０において、特徴量生成部２５は、輝度勾配ヒストグラム選択部２４から供給された、特徴点の輝度勾配ヒストグラムと、近傍位置の輝度勾配ヒストグラムとを用いて、特徴点における特徴量を生成し、出力する。
【０１０４】
輝度勾配ヒストグラムは、各ビンの度数をベクトルの要素と考えることができ、それらの複数の度数を並べることで、輝度勾配ヒストグラムをベクトル表現することができる。そこで、特徴量生成部２５は、特徴点の輝度勾配ヒストグラムおよび近傍位置の輝度勾配ヒストグラムから得られた２つのベクトルを連結し、その結果得られた１つのベクトルを特徴点における特徴量とする。
【０１０５】
このようにして生成された特徴点の特徴量は、特徴点の輝度勾配ヒストグラムおよび近傍位置の輝度勾配ヒストグラムから生成されたものであるから、被写体の回転、つまり視点の変化や、被写体への照明強度の変化に対してロバストなものとなる。
【０１０６】
また、生成された特徴量は、後段において、複数の画像から同一の被写体を検出する画像認識処理などに用いられる。例えば、被写体の検出は、異なる画像上の特徴点のそれぞれにおける特徴量同士を比較することにより行われる。この特徴量の比較は、特徴量としてのベクトル間のユークリッド距離などにより類似度が求められ、その類似度により、特徴点同士が類似しているか否かが評価される。そして、特徴点同士が類似していると判定された場合には、それらの特徴点は、同じ被写体の同じ部位であるとの認識がなされる。
【０１０７】
１つの特徴点の特徴量が生成されて出力されると、処理はステップＳ２０からステップＳ２１に進む。
【０１０８】
ステップＳ２１において、画像処理装置１１は、入力画像から検出された全ての特徴点について特徴量を生成したか否かを判定する。ステップＳ２１において、まだ全ての特徴点の特徴量が生成されていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、入力画像上の新たな特徴点が選択されて、選択された特徴点における特徴量が生成される。
【０１０９】
一方、ステップＳ２１において、全ての特徴点について特徴量を生成したと判定された場合、特徴量生成処理は終了する。
【０１１０】
以上のようにして、画像処理装置１１は、入力画像から特徴点を検出し、特徴点の輝度勾配ヒストグラムと、特徴点近傍の複数の近傍位置の輝度勾配ヒストグラムとを生成する。そして、画像処理装置１１は、生成した複数の近傍位置の輝度勾配ヒストグラムのうち、特徴点の輝度勾配ヒストグラムと最も輝度勾配ベクトルの分布の異なるものを選択し、選択した輝度勾配ヒストグラムと、特徴点の輝度勾配ヒストグラムとから特徴点の特徴量を生成する。
【０１１１】
このように、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる近傍位置の輝度勾配ヒストグラムとを連結して特徴量とすることにより、視点や照明の変化に対してロバストであり、かつ検出に必要な計算コストが低く、簡易に利用できる特徴量を画像から検出することができる。
【０１１２】
すなわち、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる近傍位置の輝度勾配ヒストグラムとを用いて特徴量を生成することで、単に特徴点における輝度勾配ヒストグラムのみを特徴量とする場合よりも、特徴量の性能の向上を図ることができる。
【０１１３】
具体的には、局所領域内における輝度勾配ベクトルの分布をヒストグラムで表すと、輝度勾配ベクトルの空間的な情報が失われることになる。つまり、複数の輝度勾配ベクトルが与えられた場合、どのような順番で輝度勾配ヒストグラムのビンに輝度勾配ベクトルを振り分けても、結果として得られる輝度勾配ヒストグラムは同一のものになる。逆に言えば、同一の輝度勾配ヒストグラムであっても、その輝度勾配ヒストグラムが得られた局所領域における空間的な輝度勾配ベクトルの分布には、様々な可能性があり得る。
【０１１４】
そのため、特徴点における輝度勾配ヒストグラムのみを特徴量とした場合、異なる被写体を同一のものであると誤認識する可能性が大きい。そこで、誤認識の可能性を下げる一つの方法として、特徴点近傍の複数の画素位置で輝度勾配ヒストグラムを算出し、画素位置の空間的な配置順と同じ順序で輝度勾配ヒストグラムを並べることにより、特徴量の性能を上げる方法が考えられる。
【０１１５】
このような方法は、「SIFT descriptor」と呼ばれる特徴量の検出方法で用いられているが、特徴量の次元数が大きく増えてしまうという問題がある。この特徴量の次元数を下げるために主成分分析が有効であるということは「PCA-SIFT」と呼ばれる検出方法で示されている。つまり、単に複数の輝度勾配ヒストグラムを並べるだけでは、特徴量の記述法としては冗長であることが分かる。
【０１１６】
そこで、画像処理装置１１では、特徴点近傍の複数の画素位置（近傍位置）で得られた輝度勾配ヒストグラムのうちの１つを選び、特徴点における輝度勾配ヒストグラムと合わせたものが、冗長性を減らした特徴量とされる。
【０１１７】
ここで、特徴点における輝度勾配ヒストグラムをＨｃとし、複数の近傍位置のうちの選択された近傍位置の輝度勾配ヒストグラムをＨｎとし、最終的に生成された特徴量を（Ｈｃ，Ｈｎ）とする。
【０１１８】
画像処理装置１１では、特徴点の近傍から近傍位置が選択されることから、それらの近傍位置から得られる輝度勾配ヒストグラムには、特徴点の輝度勾配ヒストグラムＨｃと類似しているものが多いことが予想される。
【０１１９】
特徴量（Ｈｃ，Ｈｎ）を生成する場合に、輝度勾配ヒストグラムＨｃと、その輝度勾配ヒストグラムＨｃと類似した、近傍位置の輝度勾配ヒストグラムとを組み合わせて特徴量を生成しても、殆ど情報量が増えない。そのため、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと最も似ていないものが選択されることが妥当である。
【０１２０】
輝度勾配ヒストグラムは、正規化されており、自然数をＮとしてＮ次元のベクトルで表すことができるので、幾何学的に考えれば輝度勾配ヒストグラムＨｃはＮ次元空間の超球上の１点となり、輝度勾配ヒストグラムＨｎも同様に、Ｎ次元空間の超球上の１点となる。
【０１２１】
仮に、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似したものが選択されたとすると、これらの輝度勾配ヒストグラムを示す超球上の２点は、超球上で近傍に位置する。逆に、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似していないものが選択されたとすると、これらの輝度勾配ヒストグラムを示す超球上の２点は、互いに超球上において離れて位置することになる。
【０１２２】
ここで、互いに異なる画像から検出された２つの特徴量（Ｈｃ０，Ｈｎ０）および特徴量（Ｈｃ１，Ｈｎ１）が与えられたとする。この場合、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似したものが選択されると、例え２つの特徴量が異なる被写体から得られたものであっても、超球上において、Ｈｃ０，Ｈｎ０，Ｈｃ１，Ｈｎ１の４つの点は、一箇所に集中して存在することになる。そのような場合、２つの特徴量を比較しても、それらの特徴量が得られた特徴点が、同じ被写体上から検出されたか否かを判定することは困難である。
【０１２３】
これに対して、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似していないものが選択されたとする。この場合、２つの特徴量が異なる被写体から得られたものであれば、超球上において、Ｈｃ０とＨｃ１が互いに近い位置に存在していたとしても、Ｈｎ０およびＨｎ１は、Ｈｃ０およびＨｃ１から離れた位置に存在することが期待される。そのため、それらの特徴量が得られた特徴点が、同じ被写体上から検出されたか否かを容易に判定することができるようになる。
【０１２４】
したがって、画像処理装置１１において、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる近傍位置の輝度勾配ヒストグラムと組み合わせることで、より少ない次元数で簡単に利用することができ、かつより確実に被写体を検出できる特徴量を提供することができる。しかも、特徴点における輝度勾配ヒストグラムと、その特徴点近傍のいくつかの画素位置における輝度勾配ヒストグラムとを求めるだけという簡単な処理で、つまり低い計算コストで特徴量を得ることができる。
【０１２５】
画像処理装置１１により得られる特徴量は、簡単な処理で求めることができ、かつ求めた特徴量を用いて画像認識を行えば、簡易に安定した認識結果を得ることができるので、このような特徴量は、特に、携帯型の機器においての利用に好適である。
【０１２６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１２７】
図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２８】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１２９】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１３０】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３１】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３２】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１３３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１３５】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。
【図２】特徴量生成処理を説明するフローチャートである。
【図３】特徴点位置における輝度勾配ヒストグラム生成処理を説明するフローチャートである。
【図４】特徴点の近傍位置における輝度勾配ヒストグラム生成処理を説明するフローチャートである。
【図５】特徴点の近傍位置について説明する図である。
【図６】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１３６】
１１  画像処理装置，  ２２  輝度勾配ヒストグラム生成部，  ２３  輝度勾配ヒストグラム生成部，  ２４  輝度勾配ヒストグラム選択部，  ２５  特徴量生成部，  ４１  輝度勾配ベクトル算出部，  ４２  輝度勾配ヒストグラム更新部，  ４３  代表方向算出部，  ４４  画像回転部，  ４５  近傍位置選択部，  ４６  輝度勾配ベクトル算出部，  ４７  輝度勾配ヒストグラム更新部
【図１】
2010055195.tif 000006
【図２】
2010055195.tif 000007
【図３】
2010055195.tif 000008
【図４】
2010055195.tif 000009
【図５】
2010055195.tif 000010
【図６】
2010055195.tif 000011