(57)【要約】【課題】高い識別性能を有する特徴量を抽出する。【解決手段】複数の画像間で相互に対応する部分画像を検出する検出部１１３と、複数の部分画像ごとおよび部分画像に含まれる画素ごとに画素特徴量を算出する画素特徴算出部１０４と、部分画像ごとに、部分画像内の複数の画素それぞれに対して算出された複数の画素特徴量の共起頻度を算出し、算出した共起頻度を含む特徴量を表す画像内特徴量を算出する画像内特徴算出部１０５と、複数の部分画像それぞれに対して算出された複数の画像内特徴量を含む特徴量を表す画像特徴量を生成する生成部１０７と、を備える。【選択図】図１
2010225107.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像間で相互に対応する部分画像を検出する検出部と、
複数の前記部分画像ごと、および、前記部分画像に含まれる画素ごとに画素特徴量を算出する画素特徴算出部と、
前記部分画像ごとに、前記部分画像内の複数の画素それぞれに対して算出された複数の画素特徴量の共起頻度を算出し、算出した前記共起頻度を含む特徴量を表す画像内特徴量を算出する画像内特徴算出部と、
複数の前記部分画像それぞれに対して算出された複数の前記画像内特徴量を含む特徴量を表す画像特徴量を生成する生成部と、
を備えることを特徴とする特徴抽出装置。
【請求項２】
複数の前記部分画像のうち第１部分画像に含まれる画素に対して算出された画素特徴量と、複数の前記部分画像のうち第２部分画像に含まれる画素に対して算出された画素特徴量との共起頻度を算出し、算出した前記共起頻度を含む特徴量を表す画像間特徴量を算出する画像間特徴算出部をさらに備え、
前記生成部は、複数の前記部分画像それぞれに対して算出された複数の前記画像内特徴量と、前記画像間特徴量とを含む前記画像特徴量を生成すること、
を特徴とする請求項１に記載の特徴抽出装置。
【請求項３】
前記画像内特徴算出部は、前記部分画像ごとに、前記部分画像に含まれる画素それぞれについて、算出された画素特徴量と、前記画素と予め定められた距離だけ離れた他の画素に対して算出された画素特徴量との共起頻度を算出し、前記画素ごとに算出した前記共起頻度それぞれを要素として含む前記画像内特徴量を算出すること、
を特徴とする請求項１に記載の特徴抽出装置。
【請求項４】
前記生成部は、複数の前記部分画像それぞれに対して算出された複数の前記画像内特徴量それぞれに含まれる前記共起頻度を、対応する画素ごとに１つに統合した要素を含む前記画像特徴量を生成すること、
を特徴とする請求項３に記載の特徴抽出装置。
【請求項５】
前記複数の画像間の視差を算出する視差算出部をさらに備え、
前記検出部は、前記複数の画像に含まれる部分画像であって、前記部分画像に含まれる各点の前記視差の均一度が予め定められた閾値より大きい前記部分画像を検出すること、
を特徴とする請求項１に記載の特徴抽出装置。
【請求項６】
コンピュータを、
複数の画像間で相互に対応する部分画像を検出する検出部と、
複数の前記部分画像ごと、および、前記部分画像に含まれる画素ごとに画素特徴量を算出する画素特徴算出部と、
前記部分画像ごとに、前記部分画像内の複数の画素それぞれに対して算出された複数の画素特徴量の共起頻度を算出し、算出した前記共起頻度を含む特徴量を表す画像内特徴量を算出する画像内特徴算出部と、
複数の前記部分画像それぞれに対して算出された複数の前記画像内特徴量を含む特徴量を表す画像特徴量を生成する生成部
として機能させるための特徴抽出プログラム。
【請求項７】
検出部が、複数の画像間で相互に対応する部分画像を検出する検出ステップと、
画素特徴算出部が、複数の前記部分画像ごと、および、前記部分画像に含まれる画素ごとに画素特徴量を算出する画素特徴算出ステップと、
画像内特徴算出部が、前記部分画像ごとに、前記部分画像内の複数の画素それぞれに対して算出された複数の画素特徴量の共起頻度を算出し、算出した前記共起頻度を含む特徴量を表す画像内特徴量を算出する画像内特徴算出ステップと、
生成部が、複数の前記部分画像それぞれに対して算出された複数の前記画像内特徴量を含む特徴量を表す画像特徴量を生成する生成ステップと、
を備えることを特徴とする特徴抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴を抽出する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
入力画像に含まれる特定のパターンを検出する技術や、複数のパターンを既知のクラスに分類する技術はパターン認識（パターン識別）技術と呼ばれる。パターン認識は、画像から識別に有効な特徴のみを抽出する特徴抽出処理と、抽出された特徴を用いた識別処理の２段階で構成される。前段の特徴抽出処理は、少ない演算量で高い識別性能を実現する上で極めて重要な処理である。非特許文献１では、ＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients、輝度勾配方向共起ヒストグラム）と呼ばれる分析手法により抽出される特徴量が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】T. Watanabe et al., “Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection”, T. Wada, F. Huang, and S. Lin （Eds.）: PSIVT 2009, LNCS 5414, Springer-Verlag Berlin Heidelberg, pp. 37-47, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、一般に単一の画像に基づいて特徴量を算出するため、識別処理で高い識別性能を実現できない場合があった。すなわち、ある特定の対象物体を検出したり認識したりする際には、異なる画像間の情報を利用することが望ましいが、例えば非特許文献１の方法では、このように異なる複数の画像から特徴量を算出することが考慮されていなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、高い識別性能を有する特徴量を抽出することができる装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の一態様は、複数の画像間で相互に対応する部分画像を検出する検出部と、複数の前記部分画像ごと、および、前記部分画像に含まれる画素ごとに画素特徴量を算出する画素特徴算出部と、前記部分画像ごとに、前記部分画像内の複数の画素それぞれに対して算出された複数の画素特徴量の共起頻度を算出し、算出した前記共起頻度を含む特徴量を表す画像内特徴量を算出する画像内特徴算出部と、複数の前記部分画像それぞれに対して算出された複数の前記画像内特徴量を含む特徴量を表す画像特徴量を生成する生成部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、高い識別性能を有する特徴量を抽出することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態に係る特徴抽出装置の構成の一例を示すブロック図である。
【図２】特徴抽出装置と検出する物体との関係を示す図である。
【図３】本実施の形態で使用するステレオカメラ座標系の一例を示す図である。
【図４】領域設定部が検出して設定する領域の一例を示す図である。
【図５】視差の算出方法の一例を説明するための模式図である。
【図６】ステレオ処理領域に生成される矩形の一例を示す図である。
【図７】矩形の評価方法を説明するための模式図である。
【図８】輝度勾配方向を量子化する方法の一例を説明する図である。
【図９】候補領域の分割方法の一例を示す図である。
【図１０】図９のメッシュを拡大表示した図である。
【図１１】共起ヒストグラムを表す行列の一例を示す図である。
【図１２】注目画素からチェビシェフ距離が１である複数の変位ベクトルの一例を示す図である。
【図１３】画像間特徴ベクトルを算出する場合の注目画素の一例を示す図である。
【図１４】画像間特徴ベクトルを算出する場合の参照画素の一例を示す図である。
【図１５】画像間特徴ベクトルを算出する場合の共起ヒストグラムを表す行列の一例を示す図である。
【図１６】算出された特徴ベクトルの関係を示す図である。
【図１７】本実施の形態における特徴抽出処理の全体の流れを示すフローチャートである。
【図１８】本実施の形態に係る特徴抽出装置の各機能を実現する装置の構成を例示的に説明する図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明にかかる特徴抽出装置、特徴抽出方法、および特徴抽出プログラムの最良な実施の形態を詳細に説明する。
【００１０】
本実施の形態に係る特徴抽出装置は、物体を検出する領域の候補として複数の画像データそれぞれから検出した、対応する複数の部分画像に対し、同一部分画像内の画素の画素特徴量の組み合わせの共起頻度を表す画像内特徴量をそれぞれ算出する。そして、対応する複数の部分画像それぞれで算出した複数の画像内特徴量を統合した画像特徴量を生成する。これにより、複数の画像を考慮した高い識別能力を有する特徴量を得ることができる。
【００１１】
さらに、本実施の形態に係る特徴抽出装置は、対応する複数の部分画像のうち１の部分画像内の画素の画素特徴量と、他の部分画像内の画素の画素特徴量との組み合わせの共起頻度を表す画像間特徴量を算出する。そして、この画像間特徴量を結合した画像特徴量を生成する。これにより、複数の画像を考慮し、より高い識別能力を有する特徴量を得ることができる。
【００１２】
図１は、本実施の形態に係る特徴抽出装置１００の構成の一例を示すブロック図である。図１に示すように、特徴抽出装置１００は、画像入力部１０１ａ、１０１ｂと、画像記憶部１０２ａ、１０２ｂと、領域設定部１１０と、正規化部１０３と、画素特徴算出部１０４と、画像内特徴算出部１０５と、画像間特徴算出部１０６と、生成部１０７と、出力部１０８と、を備えている。なお、画像入力部１０１ａ、１０１ｂ、および、画像記憶部１０２ａ、１０２ｂは、特徴抽出装置１００の外部に配置されて特徴抽出装置１００に接続されてもよい。
【００１３】
なお、本実施の形態では、図２に示すように、移動体２０１（自動車）の前方に搭載した画像入力部１０１ａ、１０１ｂとして機能する２台のカメラ１１ａ、１１ｂを用いて、自動車の進行方向の道路面２１０上に存在する歩行者２１１を検出する場合に用いる特徴量を抽出することを想定する。
【００１４】
図１に戻り、画像入力部１０１ａ、１０１ｂは、少なくとも２台のカメラを用いて撮影視点が異なる複数の画像を入力する。視野に重なりが存在すれば複数のカメラの互いの位置や方向は任意に設定できる。本実施の形態では、同一の２台のカメラ１１ａ、１１ｂを左右平行に配置してステレオ画像を撮影するものとする。
【００１５】
図３は、本実施の形態で使用するステレオカメラ座標系の一例を示す図である。本実施の形態では、ステレオカメラ座標系の原点Ｏを右カメラ（カメラ１１ｂ）の視点（レンズ中心）にとる。また、左右カメラの視点を結ぶ直線をＸ軸とし、鉛直下向きにＹ軸、カメラの光軸方向にＺ軸を設定する。
【００１６】
カメラ間の距離（基線長）をＢとすると、左カメラの位置は（−Ｂ，０，０）と表せる。簡単のため、道路面を平面でモデル化し、かつ、水平方向の傾斜が微小であるとして無視すると、道路面（道路平面）の方程式は以下の（１）式で表される。
Ｙ＝αＺ＋β  ・・・（１）
【００１７】
α及びβは、それぞれステレオカメラから観察した道路平面の傾斜、及び、ステレオカメラの道路面からの高さを表す。以下では、α及びβを合わせて面パラメータと呼ぶ。一般に道路面の傾斜は場所ごとに異なり、かつ、移動体走行時にはカメラが振動するため、面パラメータは移動体の移動に伴って時々刻々変化する。
【００１８】
ここで、ステレオ画像の各画像に対する座標系について説明する。ステレオ画像を構成する各画像に対しては、それぞれ画像座標系が設定される。右カメラ（カメラ１１ｂ）で撮像された画像（以下「右画像」という。）には、水平方向及び垂直方向にそれぞれｘ軸及びｙ軸が設定される。同様に、左カメラ（カメラ１１ａ）で撮像された画像（以下「左画像」という。）には、水平方向及び垂直方向にそれぞれｘ’軸及びｙ’軸が設定される。各画像の水平方向（ｘ軸及びｘ’軸）は、ステレオカメラ座標系のＸ軸方向と一致するものとする。
【００１９】
このような場合、右画像上の点（ｘ，ｙ）の左画像上の対応点を（ｘ’，ｙ’）とすると、ｙ＝ｙ’となる。したがって、水平方向の位置の違いのみを考えればよい。以下では右画像と左画像での対応点の水平位置の違いを視差と呼ぶ。また、以下では、右画像を基準画像として、視差をｄ＝ｘ−ｘ’と表記する。
【００２０】
図１に戻り、画像記憶部１０２ａ、１０２ｂは、画像入力部１０１ａ、１０１ｂが取得した画像データをそれぞれ記憶する。なお、画像記憶部１０２ａ、１０２ｂは、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００２１】
領域設定部１１０は、道路上に存在する立体物を検出するための候補となる領域（候補領域）を設定する。図４は、領域設定部１１０が検出して設定する領域の一例を示す図である。同図に示すように、領域設定部１１０は、ステレオ画像（左画像および右画像）間で対応する領域をペアとして抽出する。同図では、点線で示した右画像の矩形Ｒ１〜Ｒ３と、対応する左画像の矩形Ｒ’１〜Ｒ’３が候補領域として設定された例が示されている。
【００２２】
図１に示すように、領域設定部１１０は、詳細な構成として、視差算出部１１１と、パラメータ算出部１１２と、検出部１１３とを備えている。
【００２３】
視差算出部１１１は、画像入力部１０１ａ、１０１ｂで取得し、画像記憶部１０２ａ、１０２ｂに記憶されたステレオ画像間の視差を計算する。具体的には、視差算出部１１１は、ステレオ画像を構成する複数の画像間で対応する点（対応点）を求め、求めた対応点それぞれについて、複数の画像上での位置の差を表す視差を算出する。
【００２４】
次に、図５を参照して、視差算出部１１１による視差の算出方法について説明する。図５は、視差の算出方法の一例を説明するための模式図である。視差算出部１１１は、基準画像である右画像の任意の点（ｘ，ｙ）に対し、左画像上の同一走査線上を探索して対応点（ｘ’，ｙ）＝（ｘ＋ｄ，ｙ）を求める。
【００２５】
ｄ≧０となるため、探索の際には、視差算出部１１１は、同図（ａ）のように左画像上の同一座標より右側の点のみを調べればよい。より具体的には、視差算出部１１１は、同図（ｂ）のように右画像上の点（ｘ，ｙ）の周囲にウィンドウを設定し、その内部の輝度パターンと最も類似した輝度パターンを周囲に持つ点を左画像の同一走査線から求める。
【００２６】
輝度パターンの類似性の評価尺度としては、例えば、正規化相互相関Ｃを用いることができる。探索ウィンドウのサイズを（２ｗ＋１）×（２ｗ＋１）画素とし、左右画像に設定したウィンドウ内の輝度をそれぞれｆ（ξ，η），ｇ（ξ，η）と表現すると、正規化相互相関Ｃは以下の（２）式で与えられる。
【数１】
2010225107.tif 000003
【００２７】
基準画像上の任意の点に対して、正規化相互相関Ｃを用いて対応点を探索すれば、全ての点に対する視差を含む視差マップが得られる。
【００２８】
図１に戻り、パラメータ算出部１１２は、視差算出部１１１によって算出された視差マップを用いて、面パラメータα及びβを算出する。まず、基準画像上の点（ｘ，ｙ）の視差ｄから、その点の３次元空間上での位置（Ｘ，Ｙ，Ｚ）を求める方法について説明する。空間中の点（Ｘ，Ｙ，Ｚ）と、その左右画像への投影像である（ｘ’、ｙ）及び（ｘ，ｙ）の間には以下の（５）式の関係式が成り立つ。
【数２】
2010225107.tif 000004
【００２９】
（５）式をＸ，Ｙ，Ｚについて解くと、以下の（６）式が得られる。
【数３】
2010225107.tif 000005
【００３０】
パラメータ算出部１１２は、上記の各式を用いて、視差算出部１１１により視差が得られた基準画像上の点の３次元空間上での位置（３次元位置）を求める。そして、パラメータ算出部１１２は、求めた３次元位置のうち、道路面との距離が近い点を選択して、道路面の方程式である上記（１）式（Ｙ＝αＺ＋β）に代入することにより、面パラメータであるα及びβを算出する。
【００３１】
パラメータ算出部１１２は、道路面との距離が近い点を、以下の（７）式の条件を満たす点として抽出する。
【数４】
2010225107.tif 000006
【００３２】
ここで、ΔＹは閾値であり、適当な値を予め設定しておく。Ｙｐは、点（Ｘ，Ｙ，Ｚ）を通ってＹ軸に平行な直線と基準道路面との交点のＹ座標を表す。基準道路面とは、例えば平坦な道路などのように予め定められた基準となる道路面をいう。基準道路面のパラメータは、例えば、移動体が静止しているときに平坦な道路で計測する。基準道路面のパラメータをα’、β’とすると、Ｙｐは、以下の（８）式により与えられる。
Ｙｐ＝α’Ｚ＋β’  ・・・（８）
【００３３】
検出部１１３は、算出されたパラメータを用いて、物体を検出するための領域として、複数の画像間で相互に対応する部分画像（候補領域）を検出する。検出部１１３は、以下の手順に従って候補領域を検出する。
【００３４】
検出部１１３は、まず、ステレオ処理領域の任意の点（ｘ，ｙ）に対し、その点を下辺の中点とする矩形を設定する。図６は、ステレオ処理領域に生成される矩形の一例を示す図である。検出部１１３は、面パラメータα及びβを用いることにより、下辺が道路面と接しており、大きさが人間の縦横のサイズを考慮して決定した矩形を設定する。
【００３５】
例えば、人間の身長及び人間の横幅の代表値をそれぞれＨ及びＷとした場合、矩形の画像上の高さｈ及び幅ｗは以下のように求めることができる。すなわち、道路面の方程式である（１）式（Ｙ＝αＺ＋β）及び（５）式から、以下の（９）式が成り立つため、以下の（１０）式が得られる。
【数５】
2010225107.tif 000007
【００３６】
このように画像上の縦方向の位置、すなわちｙ座標によって、検出部１１３が生成する矩形の画像上のサイズは変化する。また、検出部１１３は、人間の様々な大きさに対応するため、同図のように画像上の各点（ｘ，ｙ）に対して、複数種類の矩形を生成する。同図では３種類の矩形を設定する例が示されている。
【００３７】
次に、検出部１１３は、このようにして各点に設定した矩形内の視差から、矩形内に人物（歩行者）が含まれる可能性を評価し、可能性が高い矩形を候補領域として検出する。具体的には、検出部１１３は、矩形に含まれる視差の均一の度合いを表す均一度が所定の閾値より大きい矩形を、人物が含まれる可能性が高い矩形であると評価する。図７は、矩形の評価方法を説明するための模式図である。
【００３８】
図７（ａ）に示すように、矩形９０１内に人物が含まれる場合、矩形内の奥行きがほぼ一様となるので、対応する視差も一様となる。また、点（ｘ，ｙ）が道路面と接するため、この点の視差は以下の（１１）式により与えられる。
【数６】
2010225107.tif 000008
【００３９】
したがって、矩形内の任意の点の視差をｄｉとすると、検出部１１３は、視差の均一度を以下の（１２）式を満たす点の個数Ｎで評価することができる。ここで、Δｄは予め定められた視差の差分の閾値（差分閾値）を表す。
【数７】
2010225107.tif 000009
【００４０】
検出部１１３は、矩形の大きさによる影響を考慮するため、矩形の面積Ｓ＝ｗ×ｈで個数Ｎを正規化し、正規化した個数Ｎが以下の（１３）式を満たす矩形を候補領域として登録する。
【数８】
2010225107.tif 000010
【００４１】
ここで、Ｎｍｉｎは閾値であり、予め適切な値を設定しておく。なお、図７（ｂ）に示すように、検出対象となる物体（歩行者等の人物）よりも小さい矩形９０２でも矩形内の視差が均一となり、上記（１３）式を満たす場合がある。このような矩形が候補となることを防ぐため、検出部１１３が、ある点に対して複数サイズの矩形が上記（１３）式を満たす場合に、面積が最も大きな矩形だけを候補領域として選択するように構成してもよい。例えば、図７（ｂ）に示すように矩形９０１と矩形９０２とが候補領域となる場合、矩形９０１のみを候補領域として選択してもよい。
【００４２】
また、上記均一度の評価方法は一例であり、矩形内の視差の均一度を評価できるものであればあらゆる評価方法を適用できる。また、値が小さいほど均一の度合いが大きいことを表す均一度を用いるように構成してもよい。
【００４３】
検出部１１３は、上記の処理によって、Ｎ個（Ｎ≧０）の候補領域Ｒ１〜ＲＮを検出する。上述の図４は、３個の候補領域Ｒ１、Ｒ２、Ｒ３が検出された例を示している。検出部１１３は、さらに、右画像で検出されたこれらの候補領域に対応する左画像での候補領域Ｒ’１〜Ｒ’Ｎを抽出する。各矩形の下辺は道路面と接しており、その視差が（１１）式より与えられるため、各矩形の下辺のｙ座標から候補領域Ｒ’１〜Ｒ’Ｎを検出する。以下では、右画像で検出された候補領域Ｒ１〜ＲＮと、これらに対応する左画像の候補領域Ｒ’１〜Ｒ’Ｎとを対応づけたＮ（≧０）組の対応領域を（Ｒ１，Ｒ’１）〜（ＲＮ，Ｒ’Ｎ）と表記する。
【００４４】
正規化部１０３は、領域設定部１１０によって設定されたＮ組の対応領域に含まれる候補領域それぞれを予め定めたサイズに正規化する。正規化のサイズは任意であるが、本実施の形態では４８×２４画素の縦長の矩形にそろえるものとする。
【００４５】
画素特徴算出部１０４は、正規化部１０３によって正規化された候補領域の画像データの特徴量を画素毎に算出する。画素特徴算出部１０４は、例えば、輝度の勾配方向を画素特徴量として算出する。輝度の勾配方向は照明変動等に対してロバストな特徴量であり、明るさの変化が大きい環境下でも有効な特徴量である。明るさの変化が比較的小さい場合には、輝度値自身を特徴量として用いても良い。以下では画素特徴量として輝度勾配方向を用いた場合について説明する。また、画素特徴算出部１０４は、算出した輝度勾配方向を適当な範囲の離散値に量子化する。図８は、輝度勾配方向を量子化する方法の一例を説明する図である。同図では、０〜７の８方向に量子化する場合が例示されている。
【００４６】
画像内特徴算出部１０５は、正規化された領域ごとに画像内特徴ベクトルを算出する。画像内特徴ベクトルとは、領域内の複数の画素に対して算出された画素特徴量の共起頻度を要素とするベクトル形式で表された特徴量（画像内特徴量）である。
【００４７】
画像内特徴算出部１０５は、１つの候補領域に対して１つの特徴ベクトルを算出する。正規化候補領域は２Ｎ個抽出されているので、画像内特徴算出部１０５は、２Ｎ個の特徴ベクトルを算出する。画像内特徴算出部１０５は、まず、正規化部１０３によって正規化された各候補領域をさらに複数の部分領域に分割する。図９は、候補領域の分割方法の一例を示す図である。図９は、候補領域をメッシュ状に区切ることにより、複数の正方形の部分領域（正方領域）に分割する例を示している。
【００４８】
この例では、画像内特徴算出部１０５は、次にメッシュ状に区切りられた各メッシュ（正方領域）ごとに共起ヒストグラムを算出する。メッシュ数は任意であるが、例えば同図に示すように８×４個に分割する。領域全体が４８×２４画素であるから１区画（１つの部分領域）は６×６画素の正方領域となる。
【００４９】
以下に共起ヒストグラムについて説明する。図１０は、図９のメッシュを拡大表示した図である。同図では、１つの矩形がメッシュ内の１つの画素を表している。また、矢印は、その画素で算出された輝度勾配方向を示す。まず、ある注目画素ｒ＝（ｘ，ｙ）と、その注目画素から変位（変位ベクトル）δ＝（δｘ，δｙ）だけ離れた画素ｒ＋δを考える。なお、図１０は、δ＝（１，０）の場合を示している。
【００５０】
次に、ｒおよびｒ＋δの画素特徴量をそれぞれｉおよびｊとして、図１１に示すような行列を定義する。図１０の場合、ｒの画素特徴量ｉとｒ＋δの画素特徴量ｊとの組み合わせが（ｉ，ｊ）＝（０，１）であるから、行列の要素ｈ０１に対応する。一般に行列ｈｉｊを以下の（１４）式のように定義する。
【数９】
2010225107.tif 000011
ここで「＃」は括弧内の集合の要素数を示す。また、Ｉ（ｘ）等は画像上の点ｘでの画素特徴量を示す。行列ｈｉｊは、ある変位ベクトルδによって定義される２つの画素における画素特徴量の組み合わせのメッシュ内での分布を示す２次元のヒストグラム（共起ヒストグラム）である。行列ｈｉｊは１つの変位ベクトルに対して定義されるため、Ｄ種類の変位ベクトルを用いた場合にはＤ個の２次元ヒストグラム（共起ヒストグラム）が生成される。
【００５１】
図１２は、注目画素からチェビシェフ距離が１である複数の変位ベクトルの一例を示す図である。なお、例えば、δ＝（−１，０）は、注目画素と参照画素とを入れ替えればδ＝（１，０）で代用可能である。なお、参照画素とは、注目画素から変位ベクトルだけ離れた画素を表す。このため、同図に示すようにチェビシェフ距離が１の変位ベクトルはδ１〜δ４の４種類存在する。
【００５２】
画像内特徴算出部１０５は、例えば同図に示すような４種類の変位ベクトルそれぞれを用いて４個の共起ヒストグラムを算出する。なお、変位ベクトルの生成方法や個数はこれに限られるものではない。例えば、マンハッタン距離やユークリッド距離を用いて変位ベクトルを生成してもよい。
【００５３】
輝度勾配方向が８段階であり（図８参照）、４種類の変位ベクトルを用いた場合、図９の各メッシュに対して、画像内特徴算出部１０５は、８×８×４＝２５６次元の特徴ベクトルを算出する。この例では、メッシュ総数が８×４＝３２個であるため、１つの候補領域から２５６×３２＝８１９２次元の特徴ベクトルが生成される。この８１９２次元の特徴ベクトルが画像内特徴ベクトルに相当する。
【００５４】
上述のように左右の画像から１対の候補領域が抽出されるため、画像内特徴算出部１０５は、候補領域それぞれについて１個の画像内特徴ベクトルを算出する。以下では、左画像の候補領域から算出される画像内特徴ベクトルをλ、右画像の候補領域から算出される画像内特徴ベクトルをμと表記する。
【００５５】
画像間特徴算出部１０６は、対応領域ごとに画像間特徴ベクトルを算出する。画像間特徴ベクトルとは、異なる画像にそれぞれ含まれる複数の画素に対して算出された画素特徴量の共起頻度を要素とするベクトル形式で表された特徴量（画像間特徴量）である。具体的には、画像間特徴算出部１０６は、注目画素ｒ＝（ｘ，ｙ）と参照画素ｒ＋δとを、互いに異なる画像から抽出し、画像内特徴算出部１０５と同様の手法により共起ヒストグラムを生成し、特徴ベクトルの要素とする。上述の例と同様に、輝度勾配方向が８段階であり、変位ベクトルが４種類であり、３２個のメッシュに分割する場合は、画像間特徴算出部１０６は、８１９２次元の特徴ベクトルを画像間特徴ベクトルとして算出する。以下では、画像間特徴ベクトルをψと表記する。
【００５６】
図１３および図１４は、それぞれ画像間特徴ベクトルを算出する場合の注目画素および参照画素の一例を示す図である。図１３は、右画像から検出された候補領域Ｒ内の注目画素を示している。また、図１４は、図１３の候補領域Ｒに対応する候補領域Ｒ’内の参照画素を示している。なお、図１３および図１４は、変位ベクトルδ＝（１，０）の場合を示している。
【００５７】
図１５は、画像間特徴ベクトルを算出する場合の共起ヒストグラムを表す行列の一例を示す図である。図１３および図１４の例では、ｒの画素特徴量とｒ＋δの画素特徴量との組み合わせが（ｉ，ｊ）＝（０，１）であるため、図１５に示す行列の要素ｇ０１が対応する。一般に画像間の共起ヒストグラムを表す行列ｇｉｊは以下の（１５）式のように定義される。
【数１０】
2010225107.tif 000012
【００５８】
図１６は、算出された特徴ベクトルの関係を示す図である。図１６に示すように、左画像の候補領域Ｒ’および右画像の候補領域Ｒからは、それぞれ画像内特徴ベクトルλおよびμが算出される。また、候補領域Ｒ’および候補領域Ｒから、画像間特徴ベクトルψが算出される。
【００５９】
生成部１０７は、候補パターンごとの画像特徴量として、図１６に示すような３個の特徴ベクトルから新たな特徴ベクトルΨを生成する。生成部１０７は、例えば、３つのベクトルを以下の（１６）式のように結合して特徴ベクトルΨを生成する。ここで、｜λ｜、｜μ｜、および｜ψ｜、は、それぞれ特徴ベクトルλ、μ、およびψの次元数を表す。
【数１１】
2010225107.tif 000013
【００６０】
なお、生成部１０７が、２つの画像内特徴ベクトルλおよびμを統合した後、画像間特徴ベクトルψと結合しても良い。λとμとを統合したベクトルをΛとすると、ベクトルΛは以下の（１７）式で表される。また、特徴ベクトルΨは以下の（１８）式のような｜Λ｜＋｜ψ｜次元の特徴ベクトルとなる。
【数１２】
2010225107.tif 000014
【００６１】
生成部１０７は、例えば、画像内特徴ベクトルλおよびμを、要素ごとに相加平均または相乗平均を算出することにより統合することができる。なお、画像内特徴ベクトルの統合方法はこれらに限られるものではない。このように画像内特徴ベクトルを統合することにより、最終的に算出される特徴ベクトルΨのサイズを減少させることができる。
【００６２】
出力部１０８は、生成部１０７が生成した特徴ベクトルΨを候補パターンごとに出力する。
【００６３】
次に、このように構成された本実施の形態に係る特徴抽出装置１００による特徴抽出処理について図１７を用いて説明する。図１７は、本実施の形態における特徴抽出処理の全体の流れを示すフローチャートである。
【００６４】
まず、画像入力部１０１ａ、１０１ｂが、ステレオカメラを構成するカメラ１１ａ及び１１ｂにより撮像された左右画像を入力する（ステップＳ１７０１）。入力された左右画像は画像記憶部１０２ａ、１０２ｂに記憶される。
【００６５】
次に、視差算出部１１１が、入力した左画像と右画像の対応点を求め各点に対する視差を算出して視差マップを作成する（ステップＳ１７０２）。次に、パラメータ算出部１１２が、視差マップを用いて道路平面の面パラメータα及びβを算出する（ステップＳ１７０３）。
【００６６】
次に、検出部１１３が、ステレオ処理領域に対して候補領域を生成し、生成した候補領域のうち、視差の均一度が閾値より大きい候補領域を検出する（ステップＳ１７０４）。この結果、右画像で検出された候補領域Ｒ１〜ＲＮと、対応する左画像の候補領域Ｒ’１〜Ｒ’Ｎとを対応づけたＮ組の対応領域（Ｒ１，Ｒ’１）〜（ＲＮ，Ｒ’Ｎ）が得られる。
【００６７】
次に、正規化部１０３が、各対応領域に含まれる候補領域それぞれを正規化する（ステップＳ１７０５）。
【００６８】
次に、画素特徴算出部１０４が、正規化された候補領域の画像データの画素特徴量を画素ごとに算出する（ステップＳ１７０６）。また、画像内特徴算出部１０５が、算出された画素特徴量を用いて、正規化された候補領域ごとに画像内特徴量（画像内特徴ベクトル）を算出する（ステップＳ１７０７）。さらに、画像間特徴算出部１０６が、算出された画素特徴量を用いて、正規化された候補領域ごとに画像間特徴量（画像間特徴ベクトル）を算出する（ステップＳ１７０８）。
【００６９】
次に、生成部１０７が、右画像の候補領域から算出された画像内特徴量と、対応する左画像の候補領域から算出された画像内特徴量とを統合し、統合した特徴量と画像間特徴量とを結合することにより、候補パターンごとの画像特徴量を生成する(ステップＳ１７０９)。そして、出力部１０８が、生成された画像特徴量を出力し（ステップＳ１７１０）、特徴抽出処理を終了する。
【００７０】
以上のようにして、同一画像内で抽出される画像内特徴量と、互いに異なる画像間で抽出される画像間特徴量とを算出し、両者を記述した画像特徴量を算出することができる。これにより、パターン識別に用いた場合に極めて高い識別性能を実現できる特徴量を算出可能となる。
【００７１】
なお、本実施の形態では、移動体の前方に設置したカメラを用いて進行方向に存在する歩行者を検出する場合について説明したが、移動体の側方や後方にカメラを設置してもよい。また、例えば移動ロボットなどのような移動体以外の移動体にカメラを搭載する場合にも適用可能である。また、移動体にカメラを設置する場合に限定されるものではなく、固定位置に設置される監視カメラで撮像した画像から物体を検出する場合にも適用できる。
【００７２】
また、人物（歩行者）を検出する場合について説明したが、検出対象物はこれに限定されるものではなく、他の検出対象であっても適用可能である。また、人物と移動体の同時検出といった多クラスの物体を検出する場合にも適用できる。
【００７３】
また、２台のカメラを左右平行に並べた場合のステレオ視について説明したが、２台以上であればカメラの台数は任意であり、また、視野に重なりが存在すればそれら複数のカメラをどのように配置してもよい。
【００７４】
また、領域設定部１１０が、ステレオ視差に基づいて候補領域を生成する場合について説明したが、１台の固定カメラを用いて得られる時系列画像上の各点の動きを計算し、動き情報から候補領域を抽出するように構成してもよい。上記の例では道路上に存在する立体物（高さを有する物体）が候補領域として抽出されるが、この場合には、動いている物体が候補として抽出される。
【００７５】
また、画素特徴算出部１０４によって算出する画素特徴量として、輝度勾配方向を８段階に量子化した場合を説明したが、量子化の個数はこれに限られるものではない。例えば、上下（図８の２および６）、左右（図８の０および４）等を同一視した４方向に量子化しても良い。また、輝度勾配の方向ではなく、輝度勾配の大きさを用いても良い。また、画素特徴量として、ガウシアンフィルタ、ソーベルフィルタ、およびラプラシアンフィルタ等のフィルタの出力値を用いても良い。さらに、これらの内のいくつかを組み合わせ、各画素について複数種類の画素特徴量を算出しても良い。
【００７６】
このように、本実施の形態に係る特徴抽出装置では、複数の画像データそれぞれから検出した部分画像に対し、同一部分画像内の画素の画素特徴量の組み合わせの共起頻度を表す画像内特徴量を算出し複数の画像内特徴量を統合した画像特徴量を生成することができる。さらに、本実施の形態に係る特徴抽出装置では、ある部分画像内の画素の画素特徴量と、他の部分画像内の画素の画素特徴量との組み合わせの共起頻度を表す画像間特徴量を算出し、この画像間特徴量を結合した画像特徴量を生成することができる。これにより、複数の画像を考慮し、より高い識別能力を有する特徴量を得ることができる。
【００７７】
また、本実施の形態に係る特徴抽出装置では、比較的少ない演算量で識別に有効な特徴量を抽出することができるため、例えば、物体認識や物体検出に適用した場合には、その識別性能を大幅に改善することが可能となる。
【００７８】
図１８は、本実施の形態に係る特徴抽出装置１００の各機能を実現するコンピュータなどの装置の構成を例示的に説明する図である。図１８のコンピュータは、例えば、主処理部４００、入力部４１０、表示部４２０、記憶部４９０、画像入力部１０１、入力Ｉ／Ｆ４１９、表示Ｉ／Ｆ４２９、画像入力Ｉ／Ｆ４８９、及び、メモリＩ／Ｆ４９９を有する。
【００７９】
主処理部４００は、図１７の各手順を実行するプログラムを実行させて特徴抽出装置１００の各機能を実現する。主処理部４００は、例えば、ＣＰＵ４０１、ＲＯＭ４０８、及び、ＲＡＭ４０９を有する。ＣＰＵ４０１は、プログラムを実行することにより、コンピュータが有する各デバイス等の制御を行う。ＲＯＭ４０８は、例えば、プログラムやパラメータ等が格納され、ＣＰＵ４０１にそれらが供せられる。ＲＡＭ４０９は、例えば、ＣＰＵ４０１がプログラムを実行する際のワークメモリとして供せられ、図１の画像記憶部１０２としても機能しうる。
【００８０】
入力部４１０は、例えば、キーボードやマウス等の入力手段であり、コンピュータに対する指示が入力される。表示部４２０は、ＣＰＵ４０１の処理結果等を表示する。
【００８１】
入力Ｉ／Ｆ４１９、表示Ｉ／Ｆ４２９、メモリＩ／Ｆ４９９、及び、画像入力Ｉ／Ｆ４８９は、それぞれ、入力部４１０、表示部４２０、記憶部４９０、画像入力部１０１がバスを介して主処理部４００と接続される際のインタフェースである。
【００８２】
本実施の形態に係る特徴抽出装置１００によって処理される画像データは、例えば、画像入力部１０１で取得するか、又は、ネットワークを経由して外部から入力される。従って、本実施の形態に係る特徴抽出装置１００は、画像入力部１０１を内部に備えてもよいし、外部の画像入力部と通信可能に接続されてもよい。本実施の形態に係る特徴抽出装置１００によって処理される画像データはまた、例えば、不図示の駆動装置に挿入された記録媒体から読み出されてもよい。
【００８３】
本実施の形態に係る特徴抽出装置１００によって抽出される画像データの特徴量は、例えば、表示部４２０、又は、ネットワークから出力される。本実施の形態に係る特徴抽出装置１００によって抽出される画像データの特徴量はまた、例えば、駆動部に挿入された記録媒体、又は、記憶部４９０に記録されてもよい。
【００８４】
図１の特徴抽出装置１００のプログラムは、ＲＯＭ４０８、及び、記憶部４９０等の不揮発性の記憶装置に格納される他に、ＣＤ，ＤＶＤ等の記録媒体に記録され、駆動部に挿入されることにより、コンピュータがそのプログラムを読み取って実行されてもよい。
【００８５】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００８６】
１０４  画素特徴算出部
１０５  画像内特徴算出部
１０７  生成部
１１３  検出部
【図１】
2010225107.tif 000015
【図２】
2010225107.tif 000016
【図３】
2010225107.tif 000017
【図４】
2010225107.tif 000018
【図５】
2010225107.tif 000019
【図６】
2010225107.tif 000020
【図７】
2010225107.tif 000021
【図８】
2010225107.tif 000022
【図９】
2010225107.tif 000023
【図１０】
2010225107.tif 000024
【図１１】
2010225107.tif 000025
【図１２】
2010225107.tif 000026
【図１３】
2010225107.tif 000027
【図１４】
2010225107.tif 000028
【図１５】
2010225107.tif 000029
【図１６】
2010225107.tif 000030
【図１７】
2010225107.tif 000031
【図１８】
2010225107.tif 000032