(57)【要約】【課題】回転に敏感かつ照明変化に頑強な物体の識別に有効な特徴量を少ない計算量で得る。【解決手段】実施形態の特徴量抽出装置１０は、画像データの輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成する勾配画像算出部２と、前記輝度勾配データに基づいて、前記画像データを複数に分割する部分領域毎に共分散行列を算出する勾配集計部３を備える。実施形態の特徴量抽出装置１０は、前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、前記部分領域毎に、前記パラメータの対数の値域を所定の分割数で量子化し、量子化した値に対応する次元のみ他の次元と値が異なる特徴ベクトルを出力する特徴量出力部４をさらに備える。【選択図】図１
2014186534.tif 000002
【特許請求の範囲】
【請求項１】
画像データの輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成する勾配画像算出部と、
前記輝度勾配データに基づいて、前記画像データを複数に分割する部分領域毎に共分散行列を算出する勾配集計部と、
前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、前記部分領域毎に、前記パラメータの対数の値域を所定の分割数で量子化し、量子化した値に対応する次元のみ他の次元と値が異なる特徴ベクトルを出力する特徴量出力部と、
を備える
ことを特徴とする特徴量抽出装置。
【請求項２】
前記パラメータは、前記共分散行列の固有値である
ことを特徴とする請求項１に記載の特徴量抽出装置。
【請求項３】
前記パラメータは、前記共分散行列のトレース（対角和）の絶対値および前記共分散行列の行列式である
ことを特徴とする請求項１に記載の特徴量抽出装置。
【請求項４】
前記特徴量出力部は、さらに前記楕円の回転量に係るパラメータを算出し、前記部分領域毎に、前記回転量に基づく前記特徴ベクトルを出力する
ことを特徴とする請求項１乃至３のいずれかに記載の特徴量抽出装置。
【請求項５】
２次元平面の輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成し、
前記異なる２つの方向についての前記輝度勾配データに基づいて、前記２次元平面を複数に分割する部分領域毎に共分散行列を算出し、
前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、
前記パラメータの対数の値域をそれぞれ複数の領域に分割する分割数の次元を有する２値ベクトルであって前記対数を含む前記領域に対応する次元のみ他の次元と値が異なるようなベクトルとして、２つの前記パラメータの対数のそれぞれを表現して前記部分領域毎に出力する
ことを特徴とする特徴量抽出方法。
【請求項６】
取得した画像データから輝度データを得て出力する画像データ入力部と、
前記輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成する勾配画像算出部と、
前記異なる２つの方向についての前記輝度勾配データに基づいて、前記２次元平面を複数に分割する部分領域毎に共分散行列を算出する勾配集計部と、
前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、前記パラメータの対数の値域をそれぞれ複数の領域に分割する分割数の次元を有する２値ベクトルであって前記対数を含む前記領域に対応する次元のみ他の次元と値が異なるような特徴ベクトルとして、２つの前記パラメータの対数のそれぞれを表現して前記部分領域毎に出力する特徴量出力部と、
前記特徴ベクトルに基づいて画像を識別する画像識別部と、
を備える
ことを特徴とする画像識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、特徴量抽出装置、特徴量抽出方法、および画像識別装置に関する。
【背景技術】
【０００２】
従来、撮像された物体の識別処理を行う画像識別装置は、画像からの特徴量抽出処理と、抽出された特徴を用いた識別処理の２つの段階で構成されている。識別精度の向上のためには前段階である特徴量抽出処理において、識別したい物体とそれ以外とを統計的に有意に分離できる情報を含めることが重要である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−４４４３９号公報
【特許文献２】ＵＳ２００９／２３８４６０,Ryuji Funayama, Hiromichi Yanagihara, Luc Van Gool, Tinne Tuytelaars, Herbert Bay,"ROBUST INTEREST POINT DETECTOR AND DESCRIPTOR", published 2009-09-24
【非特許文献】
【０００４】
【非特許文献１】Navneet Dalal,and Bill Triggs, "Histograms of oriented gradients for human detection, " CVPR2005, vol.1, pp. 886-893, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態は、回転に敏感かつ照明変化に頑強な物体の識別に有効な特徴量を少ない計算量で得ることが可能な特徴量抽出装置、特徴量抽出方法、および画像識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態の特徴量抽出装置は、画像データの輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成する勾配画像算出部と、前記輝度勾配データに基づいて、前記画像データを複数に分割する部分領域毎に共分散行列を算出する勾配集計部を備える。実施形態の特徴量抽出装置は、前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、前記部分領域毎に、前記パラメータの対数の値域を所定の分割数で量子化し、量子化した値に対応する次元のみ他の次元と値が異なる特徴ベクトルを出力する特徴量出力部をさらに備える。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態にかかる画像識別装置１００の構成を示すブロック図である。
【図２】図２は、本実施形態にかかるソーベルフィルタを示す図である。
【図３】図３は、本実施形態にかかるロバーツフィルタを示す図である。
【図４】図４は、本実施形態にかかる部分領域Ｉ1・・・Ｉnの例を示す図である。
【図５】図５は、本実施形態にかかる対角行列Λと直交行列Ｐから得られる楕円の方程式が示す楕円を示す図である。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかる特徴量抽出装置、特徴量抽出方法、および画像識別装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００９】
（第１の実施形態）
図１は、本実施形態にかかる画像識別装置１００の構成を示すブロック図である。画像識別装置１００は、画像データ入力部１、特徴量抽出装置１０、および画像識別部５を備える。画像データ入力部１は、取得した画像データから２次元平面の輝度データを得て出力する、例えばカメラ、センサー等である。特徴量抽出装置１０は、画像データの画素ごとに、勾配画像を算出する勾配画像算出部２、勾配画像を複数の領域に分割し領域ごとに複数の画素の勾配関数によって値を集計する勾配集計部３、および集計結果から特徴量(特徴ベクトル)を出力する特徴量出力部４を備える。画像識別部５は既存の機械学習手法に基づいて画像を識別する。
【００１０】
画像データ入力部１に入力されるデータは画面全体のデータでもよいし、画面の一部をアフィン変換によって写像の上、切り出した画像でもよい。また、画像データは、輝度情報、色(色差)情報の可視光情報、距離情報(深さ)、赤外線画像等、２次元平面（２次元配列）の輝度データで表現される数値データに変換できるものならいずれでもよい。
【００１１】
勾配画像算出部２は、２次元平面の輝度データから勾配画像を算出する。勾配画像は、画素位置ごとに異なる２つの方向、例えば直交する２つの方向について勾配（一階微分）が算出できれば、どのような方法を用いて計算してもよい。例えば図２（ａ）及び（ｂ）に示されるような１組の３×３のソーベルフィルタを通した出力を、勾配画像として用いることができる。他のフィルタとしては、図３（ａ）及び（ｂ）に示されるようなロバーツフィルタを用いてもよい。
【００１２】
勾配集計部３では、勾配画像算出部２が生成した勾配画像の中のある矩形領域を、複数の部分領域Ｉ0・・・Ｉ15に区分けし、部分領域Ｉk（ｋ＝０，・・・，１５）ごとに共分散行列を算出する。各部分領域Ｉkは、複数の画素を有している。図４では、矩形領域を１６の部分領域Ｉkに区分けした例を示しているが、部分領域の数はこれに限定されない。なお、勾配画像算出部２が生成した勾配画像は複数の矩形領域に分割されており、それぞれの矩形領域全てについて以下の演算を実行する。
【００１３】
部分領域Ｉkに含まれる画素位置（ｉ，ｊ）のｘ方向の勾配画像をｇｘij、ｙ方向の勾配画像をｇｙijとしたとき、ｇｘij及びｇｙijから部分領域Ｉkごとの共分散行列Ｈkの成分としてσk0(Ｉk),σk1(Ｉk),σk2(Ｉk)の３つのスカラー値を得る。ここで部分画像Ｉkの幅方向の画素数をｃｗ、高さ方向の画素数をｃｈとすると、各σk0(Ｉk),σk1(Ｉk),σk2(Ｉk)は以下のように示せる。
【数１】
2014186534.tif 000003
【数２】
2014186534.tif 000004
【数３】
2014186534.tif 000005
σk0(Ｉk),σk1(Ｉk),σk2(Ｉk)を行列で表現すると式（４）の共分散行列Ｈkが得られる。
【数４】
2014186534.tif 000006
【００１４】
共分散行列Ｈkは正定値のエルミート行列であることから、実数かつ非負の固有値をもつ。そこで、特徴量出力部４は、この行列Ｈkを固有値分解して、Ｈk＝ＰΛＰ-1を満たす対角行列Λおよび直交行列Ｐを求める。この対角行列Λと直交行列Ｐにより、αを媒介変数として式（５）の楕円方程式を得ることができる。
【数５】
2014186534.tif 000007
図５は、本実施形態にかかる対角行列Λと直交行列Ｐから得られる楕円方程式が示す楕円を示す図である。このとき、楕円の長軸λ1と短軸λ2の長さは式（６）に示す対角行列Λより求まる。
【数６】
2014186534.tif 000008
λ1,λ2は、自然画像において対数分布をすることが経験的に知られているので、これらの対数をとって、それぞれlogλ1,logλ2を特徴量として得る。
【００１５】
一方、楕円の長軸の軸角θは式（７）で示される直交行列Ｐから求まる（式（８））。
【数７】
2014186534.tif 000009
【数８】
2014186534.tif 000010
【００１６】
得られたパラメータθ,logλ1,logλ2を、さらに量子化およびベクトル化し、特徴ベクトルｖk0,ｖk1,ｖk2を求める。例えば、変数ｘの値域が［−ｒ，＋ｒ）（［ａ，ｂ）は、左閉右開区間｛ｘ｜ａ≦ｘ＜ｂ｝を示す）であるとすると、ｎビット即ち２n階調（０，・・・２n−１）となるように以下の式により量子化する。
［２n×（ｘ−（−ｒ））／（ｒ−（−ｒ））］
（ここで、［Ｙ］は、Ｙを超えない最大の整数を表記するガウス記号である）
【００１７】
そして、等間隔の値域ごとに量子化した値が得られたら、２n次元の２値（バイナリ）ベクトルであって、量子化した値に対応する次元（（量子化した値＋１）次元）のみ１で、他は０となるようなベクトルに変換する。
【００１８】
例えば、値域［−π，＋π）、変数θ＝π／４である場合に、ｎ＝４で量子化すると、
［２4×（π／４−（−π））／（π−（−π））］＝１０
となるので、２4（＝１６）次元のベクトルであって、第１１次元だけ１で他は０となる２値ベクトル、即ち、
｛０，０，０，０，０，０，０，０，０，０，１，０，０，０，０，０｝
を得る。
【００１９】
値域が［０，＋∞）のように∞を含む場合は、実験的にパラメータの分布を調べて、累積度数が相対的に（２n−１）／２nとなるようなｃを値域の上限値として選ぶ。値域［０，ｃ）は、（２n−１）次元として設定する。そして、値域［ｃ，＋∞）は２n次元目として設定する。２n次元の２値ベクトルへの変換は上記と同様である。
【００２０】
なお、値域の分割数を２nとして説明したが、分割数は２のべき乗に限定はされない。例えば分割数がｍの場合、パラメータｘの値域が［−ｒ，＋ｒ）のときは
［ｍ×（ｘ−（−ｒ））／（ｒ−（−ｒ））］
として量子化すればよい。また、値域が［０，＋∞）の場合は、累積度数が相対的に（ｍ−１）／ｍとなるようなｃを値域の上限値として選ぶ。値域［０，ｃ）は、（ｍ−１）次元として設定し、値域［ｃ，＋∞）はｍ次元目として設定すればよい。
【００２１】
このようにして、各部分領域Ｉkに対してパラメータθ,logλ1,logλ2から量子化および２値ベクトルへの変換を経て特徴ベクトルｖk0,ｖk1,ｖk2を得る。本実施形態によれば、少ない計算量で特徴ベクトルを求めることができる。
【００２２】
特徴量出力部４は、すべての部分領域Ｉkから得られた特徴ベクトルを出力して画像識別部５に入力する。なお、すべての部分領域Ｉkから得られた特徴ベクトルを連結し、（（θの値域の分割数）＋（logλ1の値域の分割数）＋（logλ2の値域の分割数））×（部分領域の数）次元の特徴ベクトルとして画像識別部５に入力するようにしてもよい。この特徴ベクトルを、画像識別部５が実行する、例えば、サポートベクターマシン、ブースティング、ランダムフォレストなどの既存の機械学習手法の入力とすることで、高い精度の識別能力を得ることができる。特徴ベクトルを次元数の高い２値ベクトルとすることにより、より複雑な線形モデルを学習することができるようになるからである。
【００２３】
（第２の実施形態）
第１の実施形態においては、θ,λ1,λ2の算出において固有値分解を行うため、λ1,λ2の計算時に平方根の計算が必要になる。第２の実施形態は、これを省いて更に計算量を削減した手法である。共分散行列Ｈkにおいて、
|trace(Ｈk)|＝|(λ1＋λ2)|
det(Ｈk)＝λ1λ2
となる関係を利用して、λ1,λ2の代わりに、例えば、ｔ＝|trace(Ｈk)|およびｄ＝det(Ｈk)を使用する。
【００２４】
ここで、ｔおよびｄは共分散行列Ｈkの成分を用いて計算することができる。
【数９】
2014186534.tif 000011
【数１０】
2014186534.tif 000012
また、直交行列Ｐおよび対角行列Λを解析的に解くと、θを、直接、共分散行列Ｈkの成分から求めることができる。
【数１１】
2014186534.tif 000013
【００２５】
従って、共分散行列Ｈkから四則演算および対数関数（log）,逆正接関数（tan-1）のみで、θ,logｔ,logｄの特徴量を得ることができる。これら特徴量についても、第１の実施形態と同様に量子化および２値ベクトル化して、特徴ベクトルに変換することができる。
【００２６】
第１および第２の実施形態にかかる特徴量抽出装置においては、局所領域の勾配分布を特徴量として使用することで回転方向に滑らかに特徴を記述できる。したがって、繰り返し模様が乏しく向きが重要な物体の識別に有効である。また、第１および第２の実施形態にかかる特徴量抽出装置においては、勾配の分布に対してロバストな特徴量の抽出を少ない計算量で実現することができる。
【００２７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００２８】
１  画像データ入力部、２  勾配画像算出部、３  勾配集計部、４  特徴量出力部、５  画像識別部、１０  特徴量抽出装置、１００  画像識別装置。
【図１】
2014186534.tif 000014
【図２】
2014186534.tif 000015
【図３】
2014186534.tif 000016
【図４】
2014186534.tif 000017
【図５】
2014186534.tif 000018