(57)【要約】【課題】対象物が他の物体の近くにいたり、遠くにいたりするような状況においても候補領域として検出が可能な画像処理装置を提供する。【解決手段】距離分布取得部１０１は、対象空間の距離分布情報を取得する。平面算出部１０２は、得られた距離分布情報から対象空間を３次元平面の集合に分割する。選択部１０３は、平面算出部１０２で得られた平面集合に対し、平面の実サイズを算出し、対象物のモデルと比較を行う。モデルとの類似度が高い平面は、画像取り込み部１０５に送られ、類似度が低いと判定された平面は、抽出部１０７に送られる。撮像部１０４は、車両前方の対象空間を撮像する。撮像部１０４で得られた画像は、画像取り込み部１０５を介して、輝度分布取得部１０６で取得される。【選択図】      図３
2010020404.tif 000002
【特許請求の範囲】
【請求項１】
対象空間中にある対象物を、撮像部によって撮像した画像から検出する画像処理装置であって、
前記撮像部から前記対象空間中に存在する複数の立体物までの距離分布情報を取得する距離分布取得部と、
前記画像から輝度分布情報を取得する輝度分布取得部と、
前記撮像部から見た前記対象空間の２次元撮像面に対し前記複数の立体物をそれぞれ射影した射影平面領域を、前記距離分布情報から算出する平面算出部と、
前記各射影平面領域のサイズのそれぞれを、予め定めた実空間におけるサイズである換算サイズに換算し、前記各換算サイズのそれぞれと、前記対象物に基づいて予め定めた対象物サイズとの比率をそれぞれ算出し、前記比率が予め定めた一定の範囲内にあると判定された前記射影平面領域を、前記対象物が存在する候補領域として選択する選択部と、
前記比率が前記一定の範囲より大きいと判定された前記射影平面領域について、前記射影平面領域に対応した前記輝度分布情報におけるエッジ特徴量に基づいて、前記射影領域の中から前記候補領域を抽出する抽出部と、
前記選択部と前記抽出部によってそれぞれ選択及び抽出された前記候補領域を出力する出力部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出部は、
前記射影平面領域内の前記エッジを前記輝度分布情報から求め、
前記対象物サイズを前記画像中のサイズに換算したウインドウを、前記射影平面領域内に順番にずらしながら設定し、
前記各ウインドウ内における前記エッジ特徴量をそれぞれ算出し、
前記エッジ特徴量が閾値よりも高い前記ウインドウを、前記候補領域として切り出すことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記比率算出部は、前記射影平面領域の幅及び高さの少なくとも一方を前記対象物サイズと比較することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記平面算出部は、
前記距離分布情報を水平１ライン毎に分割し、
前記各水平ラインの視差を線分の集合に分割し、
前記線分の集合の類似度をそれぞれ求め、
前記各類似度に基づいて、前記線分集合をクラスタリングしてクラスタ集合を形成し、
前記各クラスタ集合を前記射影平面領域に設定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記出力部は、類似性のある前記クラスタ集合に同一のラベル情報を付与して出力することを特徴とする請求項１記載の画像処理装置。
【請求項６】
対象空間中にある対象物を、撮像部によって撮像した画像から検出する画像処理方法であって、
前記撮像部から前記対象空間中に存在する複数の立体物までの距離分布情報を取得する距離分布取得ステップと、
前記画像から輝度分布情報を取得する輝度分布取得ステップと、
前記撮像部から見た前記対象空間の２次元撮像面に対し前記複数の立体物をそれぞれ射影した射影平面領域を、前記距離分布情報から算出する平面算出ステップと、
前記各射影平面領域のサイズのそれぞれを、予め定めた実空間におけるサイズである換算サイズに換算し、前記各換算サイズのそれぞれと、前記対象物に基づいて予め定めた対象物サイズとの比率をそれぞれ算出し、前記比率が予め定めた一定の範囲内にあると判定された前記射影平面領域を、前記対象物が存在する候補領域として選択する選択ステップと、
前記比率が前記一定の範囲より大きいと判定された前記射影平面領域について、前記射影平面領域に対応した前記輝度分布情報におけるエッジ特徴量に基づいて、前記射影領域の中から前記候補領域を抽出する抽出ステップと、
それぞれ前記選択及び前記抽出された前記候補領域を出力する出力ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
対象空間中にある対象物を、撮像部によって撮像した画像から検出する画像処理プログラムであって、
前記撮像部から前記対象空間中に存在する複数の立体物までの距離分布情報を取得する距離分布取得機能と、
前記画像から輝度分布情報を取得する輝度分布取得機能と、
前記撮像部から見た前記対象空間の２次元撮像面に対し前記複数の立体物をそれぞれ射影した射影平面領域を、前記距離分布情報から算出する平面算出機能と、
前記各射影平面領域のサイズのそれぞれを、予め定めた実空間におけるサイズである換算サイズに換算し、前記各換算サイズのそれぞれと、前記対象物に基づいて予め定めた対象物サイズとの比率をそれぞれ算出し、前記比率が予め定めた一定の範囲内にあると判定された前記射影平面領域を、前記対象物が存在する候補領域として選択する選択機能と、
前記比率が前記一定の範囲より大きいと判定された前記射影平面領域について、前記射影平面領域に対応した前記輝度分布情報におけるエッジ特徴量に基づいて、前記射影領域の中から前記候補領域を抽出する抽出機能と、
それぞれ前記選択及び前記抽出された前記候補領域を出力する出力機能と、
をコンピュータに実現させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部で撮像された画像から対象物の候補となる候補領域を検出する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
カメラなどの撮像部で撮像された画像から、人物、自転車、バイクなどの対象物を検出する技術は、自動車などの移動物体における環境認識と安全確保にとって重要な役割を果たす。対象物であるか否かの判定には、多くの場合、画像パターンに基づく識別器が用いられる。
【０００３】
このように識別器により対象物を検出する場合であって、計算量の削減、及び、誤検出の防止の目的で、ステレオ視で得られる視差分布情報を使って立体物候補領域を抽出し、立体物候補領域のみに対して識別器による判定を実施するという方法がある。
【０００４】
特許文献１では、一対のステレオ画像から視差画像を生成し、画像全体を視差の連続性に基づいてグループ分けする。これらのグループそれぞれに対し、周囲と比べてカメラ側に突出している度合いを評価し、突出している領域を立体物候補領域と判定している。
【特許文献１】特開２００６−７２４９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１のような視差の相対的な差だけに基づいて立体物候補領域を抽出する方法では、歩行者や自転車などの対象物が大きな立体物のすぐ前にいた場合に、相対的な視差の差が小さいため、立体物候補領域から取りこぼしてしまうという問題点がある。
【０００６】
また、遠くにある物体ほど周りとの視差の差は小さくなっていくため、視差だけでは抽出が困難になるという問題点がある。
【０００７】
すなわち、視差の差が有効であるのは、対象物が周りの立体物から十分に離れているか、撮像部の近くに対象物が存在する場合であるため、結果的に早い段階での検出が上手くいかないことになる。
【０００８】
そこで、本発明では、対象物が立物体の近くにいたり、撮像部の遠くにいたりするような状況においても、対象物の候補領域の抽出が可能な画像処理装置及びその方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明は、対象空間中にある対象物を、撮像部によって撮像した画像から検出する画像処理装置であって、前記撮像部から前記対象空間中に存在する複数の立体物までの距離分布情報を取得する距離分布取得部と、前記画像から輝度分布情報を取得する輝度分布取得部と、前記撮像部から見た前記対象空間の２次元撮像面に対し前記複数の立体物をそれぞれ射影した射影平面領域を、前記距離分布情報から算出する平面算出部と、前記各射影平面領域のサイズのそれぞれを、予め定めた実空間におけるサイズである換算サイズに換算し、前記各換算サイズのそれぞれと、前記対象物に基づいて予め定めた対象物サイズとの比率をそれぞれ算出する比率算出部と、前記比率が予め定めた一定の範囲内にあると判定された前記射影平面領域を、前記対象物が存在する候補領域として選択する選択部と、前記比率が前記一定の範囲より大きいと判定された前記射影平面領域について、前記射影平面領域に対応した前記輝度分布情報におけるエッジ特徴量に基づいて、前記射影領域の中から前記候補領域を抽出する抽出部と、前記選択部と前記抽出部によってそれぞれ選択及び抽出された前記候補領域を出力する出力部と、を有する画像処理装置である。
【発明の効果】
【００１０】
本発明によれば、対象物が立物体の近くにいたり、撮像部の遠くにいたりするような状況においても、対象物の候補領域の抽出することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態の画像処理装置を図面を参照して説明する。本実施形態では、画像処理装置が車両に搭載されており、車両前方の歩行者を検出する場合を例示的に示すが、本発明はこれに限定されない。なお、歩行者を検出するための車両前方の空間を、以下の実施形態では「対象空間」という。
【００１２】
画像処理装置の構成のブロック図を図１に示す。図１に示すように。画像処理装置は、距離分布取得部１０１、平面算出部１０２、選択部１０３、撮像部１０４、画像取り込み部１０５、輝度分布取得部１０６、抽出部１０７、出力部１０８からなる。これら各部１０１〜１０３、１０５〜１０８の各機能は、コンピュータに記憶又は伝送されたコンピュータ読み取り可能なプログラムによって、コンピュータに実現させることが可能である。
【００１３】
距離分布取得部１０１は、後述する複数の撮像部で撮像された対象空間の画像データから距離分布情報を取得する。平面算出部１０２は、距離分布取得部１０１で得られた距離分布情報から対象空間を３次元平面の集合に分割する。選択部１０３では、平面算出部１０２で得られた平面集合に対し、平面の実サイズを算出し、対象物のモデルと比較を行う。選択部１０３は、この比較結果に基づいてモデルとの類似度が高い平面を選別する。選択部１０３により選別された平面は、出力部１０８に送られる。一方、選択部１０３により類似度が低いと判定された平面は、抽出部１０７に送られる。撮像部１０４は、車両前方の対象空間を撮像する。撮像部１０４で得られた画像データは、画像取り込み部１０５でディジタル画像データに変換され、計算機により処理可能となる。輝度分布取得部１０６は、画像取り込み部１０５から輝度分布情報を取得する。
【００１４】
まず、距離分布取得部１０１について詳しく説明する。距離分布取得部１０１は、輝度分布取得部１０６の計測範囲に対応する距離分布情報を取得し、平面算出部１０２に出力する。ここでは例としてステレオ画像処理で距離分布情報を取得する場合について説明する。このときの距離分布取得部１０１の構成を、図２に示す。
【００１５】
図２に示すように、第１の撮像部２０１及び第２の撮像部２０２は、車両前方の対象空間を撮像する。撮像部は最低２台必要であり、さらに台数を増やすことで距離情報の信頼性を向上させることができる。図２では図示を簡略化するために２つの撮像部を示しているが、３つ以上であってもよい。画像取り込み部２０３は、撮像された情報をディジタル画像データに変換し、各種処理を行う。第１の撮像部２０１、第２の撮像部２０２及び画像取り込み部２０３の役割は、輝度分布取得部１０６と同様である。第１の撮像部２０１及び第２の撮像部２０２のうち１台と、画像取り込み部２０３とは、輝度分布取得部１０６の撮像部１０４、画像取り込み部１０５を共通して利用することができる。視差推定処理部２０４は、第１の撮像部２０１及び第２の撮像部２０２から得られた画像データのステレオマッチングを行うことで画像間の視差値分布を推定する。画像中の各画素の視差値と第１の撮像部２０１及び第２の撮像部２０２の焦点距離、撮像部間のベースライン長などのパラメータ値を用いることで距離分布情報が得られる。
【００１６】
ここでは最も簡単な、カメラ２台でのステレオ画像装置における視差推定処理を説明する。まず、前提として２台の第１の撮像部２０１及び第２の撮像部２０２は、車両前方向きに平行に設置されているものとする。このような平行カメラの場合、左右画像で対応点の垂直座標が一致する。視差を求めるには一方の撮像部の画像のある画素に対応する点をもう一方の撮像部の画像から探索する必要がある。この場合、対応点の垂直座標は元の画素と同じであることが分かっているので、水平座標だけを変化させながら探索を行えばよい。対応点の探索は、図４に示すように一方の撮像部の画像４０１の注目画素４０３の周辺４０４を切り出し、もう一方の撮像部の画像４０２で同じサイズの部分画像４０５を切り出して類似度を評価する。類似度は、下記の（１）式の正規化相互相関を用いて評価できる。
【数１】
2010020404.tif 000003
【００１７】
そして、（１）式のＲＮＣＣが大きい程、すなわち、１に近いほど類似度が高い。この（１）式の類似度計算を部分画像４０５の位置を移動させながら行い、類似度が最も高くなる点を探索する。次に、対応点が見つかったら、部分領域４０５を固定して画像４０１に対してマッチングを行い、注目画素周辺で類似度が最大になればマッチングが成功したとみなして、部分画像の水平座標の差を注目画素４０３の視差値とする。以上の処理を画像全体に渡って繰り返すことで視差値分布が得られる。
【００１８】
視差値分布から距離分布情報を得るにはもう一つ処理が必要である。平行に設置された２台の第１の撮像部２０１及び第２の撮像部２０２の場合、視差値ｄに対する奥行き距離Ｚは以下の（２）式で求められる。
【００１９】
Ｚ＝ｆＢ／ｄ  ・・・（２）
この（２）式において、ｆはカメラの焦点距離、Ｂは第１の撮像部２０１及び第２の撮像部２０２間のベースライン距離である。したがってこれらの値を事前にキャリブレーションにより求めておく必要がある。これを画像全体に渡って繰り返せば距離分布情報が得られる。但し、距離は視差値から一意に求まるものであるから、以下の処理について視差値をそのまま用いて説明している箇所がある。これらの箇所については距離に置き換えても同様に処理ができる。
【００２０】
なお、距離分布取得部１０１は、ここで述べたステレオ画像処理を行う装置に限られず、レーザーレンジファインダやミリ波レーダー装置などを用いてもよい。その場合は分布の解像度、距離の精度が異なってくるが、距離分布取得部１０１以降についてはステレオ画像処理と同様に処理することが可能である。
【００２１】
次に、図５に示すような路面５０１、側壁５０２、５０３及び歩行者５０４、５０５が存在する車両前方の対象空間から、歩行者５０４、５０５を検出する本実施形態の画像処理装置の動作について図３のフローチャートを用いて説明する。
【００２２】
ステップＳＴ３０１において、距離分布取得部１０１は、対象空間の距離分布情報を取得する。距離分布取得部１０１の動作については上述したとおりである。ここでは距離分布情報の代わりにステレオ処理を行った場合の視差分布情報が得られたとして説明を続けるが、距離分布情報であっても同様である。以後の説明では、図５のような路面５０１、側壁５０２、５０３、歩行者５０４、５０５が存在する車両前方の対象空間の２次元撮像面に対応する視差分布情報が得られるものとして話を進める。但し、ステレオ画像処理の場合、視差が求まらない箇所が発生するが、その場合の視差は無効を表す値が入っており、以下では処理対象から除外できるものとする。
【００２３】
ステップＳＴ３０２からステップＳＴ３０５は、平面算出部１０２の処理手順に対応し、距離分布情報から対象空間を３次元平面の集合、すなわち、２次元撮像面に立体物が射影された射影平面領域として解釈するための処理方法である。
【００２４】
まず、ステップＳＴ３０２とステップＳＴ３０３の手順により、視差分布情報から非立体物に対応する視差分布情報を除去し、立体物候補領域のみを残す。図５の例では路面５０１が非立体物になる。
【００２５】
ステップＳＴ３０２において、平面算出部１０２は、個々の視差分布情報をｕ（水平座標）−ｄ（視差）空間に投票する。すなわち、ある水平座標ｕ１、視差ｄ１を持ったデータの個数を算出し、その分布を取得する。距離分布取得部１０１のステレオの第１の撮像部２０１及び第２の撮像部２０２は、車両前方を向き、ほぼ水平を保って設置されている。そのため、ｕ−ｄ空間で投票数の多い箇所は、地面に対し垂直に立った立体物であると考えることができる。したがって、投票結果に基づきｕ−ｄ空間を閾値処理で２値化することで立体物−非立体物に分けることができる。閾値の決定方法には、次の２通りの方法がある。第１の方法では、ｕ−ｄ空間全体に対して一定の値Ｔｕｄを用いる。第２の方法では、ステレオカメラの場合には視差が大きい、つまり近くにある物体ほど大きく映る傾向にあるため、視差ｄに比例するように、（３）式のようにｄの関数により閾値を決定する。
【００２６】
Ｔｕｄ（ｄ）＝αｄ＋ｔ０  ・・・（３）
（３）式でα、ｔ０は予め設定された定数である。ステレオカメラの場合は、視差ｄに応じて閾値を設定する方が、誤った視差などのノイズに対して頑健になる。
【００２７】
ステップＳＴ３０３において、平面算出部１０２は、ステップＳＴ３０２の立体物−非立体物判定の結果に基づいて、距離分布情報のうち立体物に対応する箇所のみを射影平面領域として残す処理を行う。この処理の手順は、次の通りである。まず、平面算出部１０２は、視差推定処理部２０４で推定された視差分布情報を読み込む。次に、１つの視差分布情報につきｕ（水平座標）、ｖ（垂直座標）及びｄ（視差）のデータが得られるため、ステップＳＴ３０２で２値化したｕ−ｄ空間から座標（ｕ、ｄ）のデータを読み込む。次に、読み込んだデータが立体物であれば視差分布情報を残し、非立体物であれば視差分布情報を無効にする。以上の処理を視差分布情報全体に繰り返すことで立体物候補領域だけの視差分布情報が得られることになる。平面算出部１０２は、残るステップＳＴ３０４とステップＳＴ３０５において、立体物候補領域の視差分布情報を実際に射影平面領域集合に分割する。
【００２８】
ステップＳＴ３０４において、平面算出部１０２は、視差分布情報を水平１ライン毎に分割し、１次元の視差分布情報を線分の集合に分割する。図６は視差分布情報を水平ライン毎に分割した状態を示す図である。水平ライン６０２、６０３及び６０４に対応する１次元視差分布がそれぞれ分布６０５、分布６０６及び分布６０７になる。この図６において視差が無効値となる箇所についてはデータが存在しないものとして図示している。この１次元視差分布情報を線分の集合に分割する処理の手順を図７に示す。
【００２９】
まず、ステップＳＴ７０１において、平面算出部１０２は、視差分布情報を読み出す座標ｕを０にリセットする。すなわち、１次元視差集合データの端から順に処理していく。
【００３０】
次に、ステップＳＴ７０２において、平面算出部１０２は、座標ｕでの視差値ｄを読み出す。
【００３１】
次に、ステップＳＴ７０３において、平面算出部１０２は、視差値ｄが有効な値か否かを判定する。非立体物で視差分布情報が無効にされたりして、視差値ｄが無効な値であれば（ステップＳＴ７０３で「Ｎｏ」）、ステップＳＴ７１２に進む。視差値ｄが有効な値であれば（ステップＳＴ７０３で「Ｙｅｓ」）、ステップＳＴ７０４に進む。
【００３２】
平面算出部１０２は、要素集合にデータ（ｕ、ｄ）を追加する。したがって、要素集合には水平座
標−視差の座標が複数含まれていることになる。新たに追加した要素をｐとしておく。
【００３３】
次に、ステップＳＴ７０５において、平面算出部１０２は、その要素集合に対し、最小２乗法を適用して、ｕ−ｄ空間を通る直線を求める。これは分布６０５、分布６０６、分布６０７のようなｕ−ｄ空間のデータ分布の一部分に対して直線当てはめを行っていることになる。このときの直線の傾きａ、切片ｃは、
【数２】
2010020404.tif 000004
【００３４】
（４）、（５）式により直線を求めたら、直線の式を
ａｘ＋ｂｙ＋ｃ＝０  ・・・（６）
の形にしておき、かつ、ａ２＋ｂ２＝１となるように係数を正規化しておく。
【００３５】
次に、ステップＳＴ７０６において、平面算出部１０２は、求めた直線と要素集合の各要素との距離を測定する。要素（ｕ、ｄ）と直線ａｘ＋ｂｙ＋ｃ＝０との距離は
｜ａｕ＋ｂｄ＋ｃ｜  ・・・（７）
により求められる。この計算を集合内の各要素に対して行い、最大距離Ｄを求める。
【００３６】
次に、ステップＳＴ７０７において、平面算出部１０２は、距離の最大値Ｄが予め決めた最大値Ｔよりも大きいか否かを判定する。Ｄ＜＝Ｔであれば、ｐを含めた要素集合と求めた直線の適合度は高いとみなし、ステップＳＴ７１２に進む。一方、Ｄ＞Ｔが成立する場合、ステップＳＴ７０８、７０９において、平面算出部１０２は、ｐを要素集合に含めた時点で直線から外れたことになるため、今の要素集合からｐを除いた集合に対してもう一度最小２乗法で直線当てはめを行う。同時に要素集合の始点、終点のｕ座標が確定するため、出力されるデータは直線の方程式＋始点＋終点で線分データとなる。
【００３７】
次に、ステップＳＴ７１０において、平面算出部１０２は、こうして求まった線分Ｌを最終的な線分集合に追加する。要素ｐは線分Ｌには含まれないことが判明しているため、次の線分の最初の要素はｐとなる。
【００３８】
そこで、ステップＳＴ７１１において、平面算出部１０２は、いったん要素集合の要素を全て削除したあと、ｐを追加する。こうした処理が終わったらステップＳＴ７１２に進む。
【００３９】
次に、ステップＳＴ７１２において、平面算出部１０２は、ｕをインクリメントする。すなわち、対象を次の点に移す。
【００４０】
次に、ステップＳＴ７１３において、平面算出部１０２は、データの最後に到達したかをチェックして到達していなければステップＳＴ７０２に戻り、これまでの処理を繰り返す。
【００４１】
最後のデータまで到達していれば、ステップＳＴ７１４〜７１６において、平面算出部１０２は、要素集合に残っているデータに対して線分とみなしてそのパラメータを求め、線分集合に追加する。
【００４２】
最後に線分集合を出力して終了となる。
【００４３】
以上が平面算出部１０２におけるステップＳＴ３０４の処理手順である。この手順を全ての水平ラインで繰り返す。
【００４４】
以上のように処理を行うとステップＳＴ３０４の後、大量の線分を含む線分集合が生成される。これらの線分は射影平面領域の一部を切り出したものと考えることができる。そのため、ステップＳＴ３０５において、平面算出部１０２は、類似する線分をクラスタリングすることにより射影平面領域を復元する。この平面分割処理の手順を図８に示す。
【００４５】
ステップＳＴ８０１において、平面算出部１０２は、垂直座標ｖの値を０にセットし、上から順に処理を行っていく。同時に、要素の追加の可能性がある未確定クラスタ集合及び線分の追加をしない確定クラスタ集合を空集合に初期化する。未確定クラスタには寿命を表すカウンタを持っており、この値が０になると確定クラスタに遷移する。クラスタは線分の集合であるから、集合を代表する線分パラメータを属性として持っているものとする。
【００４６】
次に、ステップＳＴ８０２において、平面算出部１０２は、全ての未確定クラスタに対し、そのカウンタの値を１減らす。
【００４７】
次に、ステップＳＴ８０３において、平面算出部１０２は、垂直座標ｖに存在する線分を全てに対し処理を行ったかをチェックする。処理が終わっていればステップＳＴ８０９に進む。未処理の線分が残っている場合はステップＳＴ８０４に進む。
【００４８】
次に、ステップＳＴ８０４において、平面算出部１０２は、線分の中から１つを選び出び、選んだ線分をＬとする。
【００４９】
次に、ステップＳＴ８０５において、平面算出部１０２は、全ての未確定クラスタと線分Ｌとの類似性をチェックする。類似の条件は、次の通りである、（第１の条件）始点−終点のｕ座標のうち、重なる部分が存在する、（第２の条件）線分の傾きの差が予め決めた閾値以下である、（第３の条件）線分の傾きの差が予め決めた閾値以下であるの３つの条件を全て満たせば類似していると判定する。場合によっては、線分Ｌは複数の未確定クラスタと類似していると判定されることもある。
【００５０】
次に、ステップＳＴ８０６において、平面算出部１０２は、線分Ｌに類似した未確定クラスタが存在するかをチェックし、存在する場合はステップＳＴ８０７に進む。
【００５１】
次に、ステップＳＴ８０７において、平面算出部１０２は、線分Ｌと類似性が確認された全ての未確定クラスタとの結合処理を行う。結合処理は、線分Ｌと対象の未確定クラスタに含まれる線分に対し、同一のラベル情報を付与し、クラスタを代表する線分パラメータを更新する。パラメータの更新は、線分Ｌと未確定クラスタに含まれる線分の数に応じた重み付け和で行う。結合処理を行った場合、その未確定クラスタのカウントを初期値ｃ（予め決めた値）に戻す。すなわち、結合処理が続く限りクラスタは成長し続け、逆に類似性を持った線分が近くにない場合は成長が打ち切られる。結合処理が終わったらステップＳＴ８０３に戻る。一方、Ｌと類似の未確定クラスタが存在しなかった場合、ステップＳＴ８０８において、新たな未確定クラスタを生成する。このときの要素は線分Ｌのみである。カウンタは初期値ｃにセットして未確定クラスタ集合に加えステップＳＴ８０３に戻る。
【００５２】
ステップＳＴ８０３で平面算出部１０２は、全ての線分を処理し終えたらステップＳＴ８０９に進む。
【００５３】
次に、ステップＳＴ８０９において、平面算出部１０２は、未確定クラスタのカウントをチェックして０のものがないかを確認する。
【００５４】
次に、ステップＳＴ８１０において、平面算出部１０２は、カウント０未確定クラスタが存在した場合、そのクラスタを確定クラスタ集合に追加してこれ以上の成長を打ち切る。
【００５５】
次に、ステップＳＴ８１１において、平面算出部１０２は、クラスタの状態遷移処理が終わったら垂直座標ｖの値をインクリメントする。
【００５６】
次に、ステップＳＴ８１２において、平面算出部１０２は、データ全てをチェックしたかを確認し、まだ残りがあればステップＳＴ８０２に戻り、これまでの処理を繰り返す。
【００５７】
次に、ステップＳＴ８１３において、平面算出部１０２は、データの最後まで到達しているので、残っている未確定クラスタを確定クラスタ集合に追加する。
【００５８】
最後に、平面算出部１０２は、確定クラスタ集合、すなわち、射影平面領域を平面分割結果として出力する。
【００５９】
以上が平面算出部１０２におけるステップＳＴ３０５の平面集合取得のための処理内容である。
【００６０】
最終的に出力されるクラスタ集合の要素がそれぞれの対象空間中の１つの射影平面領域を表していることになる。クラスタの要素の内容から、それぞれの射影平面領域が実空間中でどのように広がっているか、ステレオ画像中でどの領域を占めているかといった情報を得ることができる。これらの情報を用いて以降のステップでは対象物の候補領域か否かの判定を行う。
【００６１】
例として、ここまでの処理で図９の斜線パターンで表される射影平面領域９０１、９０２、９０３が得られたとする。射影平面領域９０３は歩行者５０５と側壁５０３が一体化して出てきたものとする。それぞれの射影平面領域に関して、（１）画像内で射影平面領域を表すマスクパターン（図９の斜線部に相当）、（２）ｕ（水平座標）−ｄ（視差）空間での射影平面領域を表す線分パラメータ、といった情報がステップＳＴ３０５の結果から得られる。これらの情報から（ａ）図１０の１００１、１００２、１００３のような射影平面領域全体を含む矩形、（ｂ）矩形の左端の視差値ｄＬ、及び右端の視差値ｄＲといった簡略化された射影平面領域の情報を得ることも可能である。
【００６２】
ステップＳＴ３０６からステップＳＴ３０８は、選択部１０３で行われる処理手順に相当する。
【００６３】
まず、ステップＳＴ３０６において、選択部１０３は、射影平面領域を実空間（実世界）中のサイズに換算して対象物のモデルと比較し、類似性を検証する。つまり、対象物と同じようなサイズの立体物は対象物の可能性があると判定する。ここでいう「対象物モデル」とは単に対象物の平均的なサイズ（幅及び高さの少なくとも一方）のことであり、歩行者の場合であれば幅６５ｃｍ、高さ１６５ｃｍといったような数値である。実際の歩行者のサイズは平均サイズと一致するわけではないので、ある程度の幅を持たせた類似性判定を行う。対象物モデルとの比較を行うには平面情報からその実サイズを算出する必要がある。これは簡易的に次の（８）、（９）式で計算できる。
【数３】
2010020404.tif 000005
【００６４】
これらの（８）、（９）式でＷ、Ｈは実空間の換算サイズに換算された射影平面領域の高さと幅、ｗ、ｈはステレオ画像中の射影平面領域を含む矩形の幅と高さである。ｄＬ、ｄＲはそれぞれ矩形の左端、右端における視差値である。Ｂはステレオカメラ間のベースライン長であり、事前にキャリブレーションにより取得しておく。
【００６５】
ステップＳＴ３０７において、選択部１０３は、次の検証を行う。射影平面領域の実サイズが求まれば、対象物モデルとの比較は２つのサイズ間の比率
Ｗ／ＷＭ  ・・・（１０）
Ｈ／ＨＭ  ・・・（１１）
を求めてそれぞれが下限値、上限値の範囲内に収まっていることを検証すればよい。ここで、ＷＭ、ＨＭはそれぞれ対象物モデルの幅と高さである。判定に必要な上限値、下限値は事前に設定しておく。類似性があると認められればステップＳＴ３１１に進む。ステップＳＴ３１１において、選択部１０３は、類似性のある射影平面領域を候補領域集合に追加し、別の射影平面領域でも同様の検証を行う。一方、対象物モデルとの類似性が低いと判定された場合はステップＳＴ３０８に進む。
【００６６】
ステップＳＴ３０８において、選択部１０３は、射影平面領域の実サイズと対象物モデルの比が下限値よりも小さかったか否かを検証する。幅、高さのうち一方が下限値を下回っていた場合、この射影平面領域の中に対象物が含まれることはないと判断してステップＳＴ３１２に進む。そうでなければ対象物よりも大きな射影平面領域であるということになり、ステップＳＴ３０９に進んで射影平面領域内部に対象物が含まれる可能性があるか否かを検証する。
【００６７】
ステップＳＴ３０９とステップＳＴ３１０は、輝度分布取得部１０６で得られた車両前方の対象空間の輝度分布情報と射影平面領域の情報を合わせて処理する抽出部１０７の処理手順に対応する。この処理のフローチャートを図１１に示す。
【００６８】
まず、ステップＳＴ１１０１において、抽出部１０７は、輝度分布情報の射影平面領域からエッジを抽出する。抽出方法は、次の通りである。第１の方法は、図１２の係数で構成される縦エッジ検出用Ｓｏｂｅｌフィルタを適用する。第２の方法は、図１３の横エッジ検出用Ｓｏｂｅｌフィルタを輝度分布情報（つまり普通の画像データ）の射影平面領域に適用する。第３の方法は、図１４のラプラシアンフィルタを適用する。第４の方法は、Ｃａｎｎｙのエッジ検出法を適用する。Ｓｏｂｅｌフィルタやラプラシアンフィルタの場合、対応するエッジ近辺ではフィルタの出力の絶対値が大きくなるため、この値を適当な閾値で２値化することで画像中の各画素がエッジかそうでないか否かを判定できる。Ｃａｎｎｙのエッジ検出法も最終的には閾値処理により各画素がエッジかそうでないか否かをの２値化された情報が得られる。対象物を考慮して、縦エッジ又は横エッジが特徴的であればＳｏｂｅｌフィルタ、エッジ方向を問わないのであればラプラシアンフィルタ、連続したエッジを取得したいのであればＣａｎｎｙの方法、というように対象物に応じてエッジ抽出方法を切り替えても良い。
【００６９】
次に、ステップＳＴ１１０２において、抽出部１０７は、対象物におけるエッジ特徴量モデルを予め算出しておく。このエッジ特徴量に類似した部分領域を探索するのがこの一連の処理の目的である。エッジ特徴量の具体例については後述する。すなわち、エッジ特徴量モデルが、エッジ特徴量と類似した部分領域を探索する。っ射影平面領域の左端のｕ座標（水平座標）をｕ１、右端をｕ２とする。
【００７０】
次に、ステップＳＴ１１０３において、抽出部１０７は、変数ｕの値をｕ１に初期化する。
【００７１】
次に、ステップＳＴ１１０４において、抽出部１０７は、変数ｕの値に応じてウインドウの幅ｗ、高さｈの大きさを決定する。この値は対象物モデルがその位置にあったときの画像上での大きさで決定する。そのためにはまず、水平座標がｕのときの射影平面領域上の視差値を補完により求める。ｕ＝ｕ１のときの視差値がｄＬ、ｕ＝ｕ２のときの視差値がｄＲであることから任意のｕにおける視差値ｄは線形補間により、
【数４】
2010020404.tif 000006
【００７２】
で求めることができる。視差値ｄが求められたら画像中の対象物モデルの幅と高さは、
ｗ＝ＷＭｄ／Ｂ  ・・・（１３）
ｈ＝ＨＭｄ／Ｂ  ・・・（１４）
で得られる。ＷＭ、ＨＭはそれぞれ対象物モデルの幅と高さ、Ｂはステレオカメラのベースライン長である。
【００７３】
抽出部１０７によるステップＳＴ１１０５、１１０６について詳しく説明する。
【００７４】
ウインドウサイズが決まったので、次にステップＳＴ１１０５において、抽出部１０７は、ｕ−エッジ量分布から水平座標の範囲が［ｕ−ｗ／２、ｕ＋ｗ／２］、高さｈのウインドウ内のエッジ特徴量を算出する。
【００７５】
エッジ特徴量の第１の具体例としては、ウインドウ内でエッジと判定されたピクセルの数の総計又
はウインドウ内でエッジと判定されたピクセルの面積とウインドウの面積との比がある。大きな壁面の前に歩行者など他の物体が存在する場合、二つの物体の境界には輝度の不連続が発生するため、そこにはエッジが存在するはずである。このような想定に基づき、ステップＳＴ１１０６において、抽出部１０７は、候補領域であるかどうかの判定を行う。この第１の具体例における判定方法は、エッジ量又はエッジ量の面積比で行う。この場合にエッジ特徴量モデルとはエッジ量又は面積との比の一定の範囲となる。したがって、ステップＳＴ１１０６におけるエッジ特徴量モデルとの比較とは、予め決めた範囲内にエッジ量又は面積比が入っているかを判定することになる。対象が歩行者の場合であれば縦エッジが特徴的であるから、Ｓｏｂｅｌフィルタで縦エッジのみを抽出して判定する、といったことが可能である。ステレオカメラを使っている場合、一方の画像内のウインドウに対応した、もう一方の画像での対応領域は、カメラパラメータと２つのカメラ間の位置関係が分かっていれば算出可能である。対応する領域が分かればもう一方の画像でも同じ判定が行える。これにより、歩行者とは異なる距離にあるエッジの影響を除去できる。
【００７６】
エッジ特徴量の第２の具体例としては、エッジの形状そのものを用いる場合である。
【００７７】
この場合のエッジ特徴量モデルは、図１５のような検出対象のエッジの典型例を示したエッジモデルとなる。なお、図１５は対象が歩行者の場合の例である。この第２の具体例における判定方法は、このエッジ特徴量モデルとウインドウ内のエッジパターンがどれだけ類似しているかで判定する。エッジパターン同士の類似度比較には、一方のパターンのエッジ点からもう一方のパターンの最近傍にあるエッジ点までの距離を全てのエッジ点で総計して得られるＣｈａｍｆｅｒ  Ｄｉｓｔａｎｃｅなどが使える。Ｃｈａｍｆｅｒ  Ｄｉｓｔａｎｃｅが予め決めた閾値以下であればウインドウ内のパターンは、エッジ特徴量モデルとの類似度が高いと判断する。エッジ形状を評価する場合もステレオ画像対の両方でＣｈａｍｆｅｒ  Ｄｉｓｔａｎｃｅを算出することで判定をより安定して行えるようになる。
【００７８】
エッジ特徴量の第１の具体例における他の判定方法としては、図１６のように、ウインドウ１６０１とその上の領域１６０２の中のエッジ量又は面積との割合を求めて、ウインドウ１６０１のエッジ量が閾値よりも高く、領域１６０２のエッジ量が閾値よりも低いことを確認するという方法もある。このような特徴を利用すれば、電柱のような背の高い物体を候補領域から除去することができる。
【００７９】
抽出部１０７は、ステップＳＴ１１０６の判定が成立した場合、ステップＳＴ１１０７に進む。
【００８０】
次に、ステップＳＴ１１０７において、抽出部１０７は、射影平面領域の中から部分平面を切り出し、部分平面集合に追加する。部分平面のサイズはステップＳＴ１１０４で決めたｗとｈ、水平位置の中心はこの時点のｕである。垂直位置は図１７に示すように、矩形の最下部から探索を開始して初めて射影平面領域に当たった点１７０１が部分平面領域の最下部となるように矩形１７０２を設定する。この矩形が部分平面となる。
【００８１】
次に、ステップＳＴ１１０８において、抽出部１０７は、変数ｕが右端まで到達したかを判定する。
【００８２】
次に、ステップＳＴ１１０９において、抽出部１０７は、到達していない場合はｕの値をインクリメントして、ステップＳＴ１１０４に戻る。
【００８３】
最後まで到達していたら部分平面集合を出力して終わる。
【００８４】
ここまでの処理で部分平面が１つ以上出力された場合、ステップＳＴ３１０からステップＳＴ３１１に進む。ステップＳＴ３１１において、出力部１０８は、ステップＳＴ３０９で出力された部分平面集合の要素を候補領域集合に加える。最後において、出力部１０８は、これまでの処理の結果得られた対象物候補領域を出力する。出力部１０８は、最低限出力すべき情報としては画像中での候補領域の位置、サイズがあるが、合わせて領域の視差・距離情報、それぞれの候補領域が選択部１０３と抽出部１０７のどちらで生成されたものかを表す情報を追加することもできる。
【００８５】
本実施形態によれば、以上の処理手順により、視差分布情報だけでは対象物候補として検出できないような複雑な対象空間であっても、輝度値情報をあわせて利用することにより、より安定して候補領域を検出できる。
【００８６】
本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００８７】
例えば、前記実施形態では、検出する対象物を歩行者として説明を行っている。しかし、歩行者以外の自転車、バイク（及びそれに乗っている人）、自動車などの他の対象物であっても対象物が異なるだけで同じ処理で候補領域検出が実現できる。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態の画像処理装置のブロック図である。
【図２】距離分布取得部の構成の一例を示す図である。
【図３】対象物候補領域検出処理のフローチャートを示す図である。
【図４】ステレオ画像処理における対応点探索の説明図である。
【図５】車両前方の対象空間の一例を示す図である。
【図６】視差分布情報の水平ライン毎の分割を示す図である。
【図７】線分分割処理のフローチャートを示す図である。
【図８】平面分割処理のフローチャートを示す図である。
【図９】平面分割処理結果の一例を示す図である。
【図１０】平面を簡略化して得られる情報の説明図である。
【図１１】部分平面の抽出処理のフローチャートを示す図である。
【図１２】縦エッジ抽出のためのＳｏｂｅｌフィルタの係数を示す図である。
【図１３】横エッジ抽出のためのＳｏｂｅｌフィルタの係数を示す図である。
【図１４】エッジ抽出のためのラプラシアンフィルタの係数を示す図である。
【図１５】歩行者のエッジ形状モデルの一例を示す図である。
【図１６】２つの領域のエッジ量評価の説明図である。
【図１７】部分平面切り出し位置の決定方法の説明図である。
【符号の説明】
【００８９】
１０１    距離分布取得部
１０２    平面算出部
１０３    選択部
１０４    撮像部
１０５    画像取り込み部
１０６    輝度分布取得部
１０７    抽出部
１０８    出力部
【図１】
2010020404.tif 000007
【図２】
2010020404.tif 000008
【図３】
2010020404.tif 000009
【図４】
2010020404.tif 000010
【図５】
2010020404.tif 000011
【図６】
2010020404.tif 000012
【図７】
2010020404.tif 000013
【図８】
2010020404.tif 000014
【図９】
2010020404.tif 000015
【図１０】
2010020404.tif 000016
【図１１】
2010020404.tif 000017
【図１２】
2010020404.tif 000018
【図１３】
2010020404.tif 000019
【図１４】
2010020404.tif 000020
【図１５】
2010020404.tif 000021
【図１６】
2010020404.tif 000022
【図１７】
2010020404.tif 000023