(57)【要約】【課題】路面上に存在する立体物の認識の誤検出を低減した立体物検出装置を提供する。【解決手段】レーザレーダ１５で計測した３次元距離データ点群を蓄積したグリッドマップ３３を生成して路面と立体物を判定する。路面と立体物の判定は、グリッドマップ３３上のセルに投影された点群の高さ方向の分散に基づいて行う。その際、画像の各方位に対して最近距離に存在する物体までの距離を抽出し、グリッドマップ３３上で物体の手前に存在する路面領域を探索して、その路面領域に含まれる点群から路面高さを推定する。それをもとに、画像中における路面と立体物の接地点を算出する。【選択図】図２
2013140515.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺環境の画像を撮影する撮影手段と、
自車両周辺環境の３次元距離情報を取得する距離情報取得手段と、
前記撮影手段で撮影された画像、及び前記距離情報取得手段で取得した３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段と、
前記３次元距離情報を、前記立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段と、
前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段と、
前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段と、
を備える立体物検出装置。
【請求項２】
前記接地点位置抽出手段は、前記３次元距離情報を２次元グリッドマップに展開して前記立体物情報と前記平面情報とを取得する
請求項１に記載の立体物検出装置。
【請求項３】
前記３次元距離情報の分布に基づいて前記立体物の高さ情報を抽出する高さ情報抽出手段をさらに備え、
前記探索範囲決定手段は、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置と、前記高さ情報抽出手段で抽出された高さ情報とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する
請求項１又は請求項２に記載の立体物検出装置。
【請求項４】
自車両の移動に伴う運動成分を取得する運動成分取得手段と、
前記運動成分取得手段で取得した運動成分を考慮しながら、前記距離情報取得手段で取得した３次元距離情報を時間的に蓄積する３次元距離情報蓄積手段と、をさらに備え、
前記距離情報抽出手段は、前記３次元距離情報蓄積手段で蓄積された３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出し、前記接地点位置抽出手段は、該蓄積された３次元距離情報に基づいて前記立体物が平面に接する接地点位置を抽出し、前記高さ情報抽出手段は、該蓄積された３次元距離情報の分布に基づいて前記立体物の高さ情報を抽出する
請求項３に記載の立体物検出装置。
【請求項５】
前記探索範囲決定手段は、前記立体物の探索範囲を該立体物の種類に合わせて変える
請求項１から請求項４のいずれか１項に記載の立体物検出装置。
【請求項６】
前記立体物は歩行者であり、前記探索範囲決定手段は、該歩行者の頭部位置を推定して前記探索範囲を決定する
請求項５に記載の立体物検出装置。
【請求項７】
前記距離情報抽出手段により抽出された距離情報は、前記距離情報取得手段による各走査位置における所定の矩形領域に存在する最近傍の立体物までの距離を示す
請求項１から請求項６のいずれか１項に記載の立体物検出装置。
【請求項８】
コンピュータを、
撮影手段で撮影された画像、及び距離情報取得手段で取得した３次元距離情報に基づいて自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段、
前記３次元距離情報を、立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段、
前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段、
前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段、
として機能させるための立体物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体物検出装置及びプログラムに係り、特に路面上の立体物を検出する立体物検出装置及びプログラムに関する。
【背景技術】
【０００２】
近年において、道路整備の進展や車両側の安全対策の向上等により、交通事故による死者数は減少の傾向にあるものの、毎年、５，０００人あまりの人命が奪われているという事実がある。特に、歩行者の死亡事故が全体の約３５％を占めており、車両側から歩行者を認識して歩行者を保護するため、車載センサを用いた歩行者の認識技術の開発が急がれている。
【０００３】
従来より、撮影した画像の中から歩行者を検索するための試みがなされ、例えば、道路上を撮影した画像から「人」らしい形の部分を探索し、画像中の空（そら）に相当する部分は検索しない等の制約を設けた手法がとられていた。しかし、検索対象である人が大人と子供とでは身長差があり、道路上に位置するときの奥行きも異なることに加えて、カメラを搭載した車両のピッチ変動に対応するため、検索領域を広げることで空の部分まで探すことになり、計算量の増大と誤検出が生じるという問題があった。
【０００４】
例えば、特許文献１には、車載カメラによって車両前方の画像を撮影し、車両前方に存在する障害物を検出する技術（車両用画像処理装置）が開示されている。特許文献１では、レーダで検出された前方物体までの距離、横位置及び反射強度の情報に基づき、カメラにより撮影された撮影画像における前方物体の存在する領域を処理領域として特定し、特定した処理領域の画像から検出されるエッジに基づき前方物体が立体物であるか否かを判定している。
【０００５】
また、特許文献２には、車載レーダにより車両周囲の第１監視範囲内に所在する物体と車両との距離を検出し、車両に搭載された撮像手段により、上記第１監視範囲と重複する第２監視範囲を撮像し、上記レーダで検出した距離情報と、上記撮像手段で撮影した撮像画像とに基づいて車両周辺を監視する車両周辺監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２５９０８６号公報
【特許文献２】国際公開第２００８／１３９５２９号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１に記載の車両用画像処理装置では、レーダによって検出された物体を基準に、カメラで撮影した画像中における処理領域（前方物体の存在する領域）を決定している。そのため、レーダが物体を見落とした場合には、システム全体として、画像による立体物判定の修復（リカバリー）ができないという問題がある。
【０００８】
特許文献２に記載の車両周辺監視装置は、撮像画像内で、監視対象物の画像部分が含まれる可能性のある画像処理対象領域を設定しているが、レーダによる距離情報で探索範囲を限定するとともに、監視対象物の特定部位（頭や脚）に応じて設定された特徴量を有する特徴領域を抽出し、探索範囲を特定部位に合わせて設定し直している。また、特許文献２には、物体と路面との接触部に対応する撮像画像上の位置を検知するとあるが、位置検知の具体的方法が開示されておらず、画像の中から部分特徴として、その画像パターンから当該位置を推定することは、画像の中で設定した枠内から当該部分のパターン領域をさらに検索する必要がある。すなわち、設定範囲内で頭部に対応する特徴量や脚に対応する特徴量があれば、探索範囲を頭や脚に合わせて設定し直す必要がある。そのため、検索そのものが困難となり、そのための演算量も膨大になるという問題がある。
【０００９】
本発明は、上述した課題を解決するために提案されたものであり、車両周辺に存在する立体物の誤検出を減らすとともに、立体物検出のための演算量を削減できる立体物検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明に係る立体物検出装置は、自車両周辺環境の画像を撮影する撮影手段と、自車両周辺環境の３次元距離情報を取得する距離情報取得手段と、前記撮影手段で撮影された画像、及び前記距離情報取得手段で取得した３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段と、前記３次元距離情報を、前記立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段と、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段と、前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段と、を備えることを特徴とする。
【００１１】
このような構成とすることで、検出対象である立体物までの距離と接地点とによって立体物の探索枠の大きさが制限され、立体物検出装置における車両周辺に存在する立体物の誤検出を低減することができる。
【００１２】
本発明において、前記接地点位置抽出手段は、前記３次元距離情報を２次元グリッドマップに展開して、前記立体物情報と前記平面情報とを取得することを特徴とする。
【００１３】
本発明の立体物検出装置は、前記３次元距離情報の分布に基づいて前記立体物の高さ情報を抽出する高さ情報抽出手段をさらに備え、前記探索範囲決定手段は、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置と、前記高さ情報抽出手段で抽出された高さ情報とに基づいて、前記撮影手段で撮影された画像内における前記立体物の探索範囲を決定する。
【００１４】
また、本発明の立体物検出装置は、自車両の移動に伴う運動成分を取得する運動成分取得手段と、前記運動成分取得手段で取得した運動成分を考慮しながら、前記距離情報取得手段で取得した３次元距離情報を時間的に蓄積する３次元距離情報蓄積手段と、をさらに備え、前記距離情報抽出手段は、前記３次元距離情報蓄積手段で蓄積された３次元距離情報に基づいて前記自車両周辺環境に存在する立体物までの距離情報を抽出し、前記接地点位置抽出手段は、該蓄積された３次元距離情報に基づいて前記立体物が平面に接する接地点位置を抽出し、前記高さ情報抽出手段は、該蓄積された３次元距離情報の分布に基づいて前記立体物の高さ情報を抽出する。
【００１５】
本発明において、前記探索範囲決定手段は、前記立体物の探索範囲を該立体物の種類に合わせて変える。また、前記立体物は歩行者であり、前記探索範囲決定手段は、該歩行者の頭部位置を推定して前記探索範囲を決定する。
【００１６】
また、本発明において、前記距離情報抽出手段により抽出された距離情報は、前記距離情報取得手段による各走査位置における所定の矩形領域に存在する最近傍の立体物までの距離を示す。
【００１７】
本発明の立体物検出プログラムは、コンピュータを、撮影手段で撮影された画像、及び距離情報取得手段で取得した３次元距離情報に基づいて自車両周辺環境に存在する立体物までの距離情報を抽出する距離情報抽出手段、前記３次元距離情報を、立体物を示す３次元距離情報である立体物情報と、平面を示す３次元距離情報である平面情報とに分割し、前記立体物情報、及び注目する立体物周辺の所定領域に対応する前記平面情報に基づいて該立体物が該平面に接する接地点位置を抽出する接地点位置抽出手段、前記距離情報抽出手段で抽出された距離情報と、前記接地点位置抽出手段で抽出された接地点位置とに基づいて、撮影手段で撮影された画像内における前記立体物の探索範囲を決定する探索範囲決定手段、前記探索範囲決定手段で決定された探索範囲から路面上の立体物を検出する立体物検出手段、として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明に係る立体物検出装置は、車両周辺に存在する立体物認識の検出性能を落とすことなく立体物認識のための演算量を効果的に削減し、誤検出をなくすことができる、という優れた効果を有する。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る立体物検出装置の全体構成を示すブロック図である。
【図２】第１の実施形態に係る立体物検出装置における立体物の検出手順を示すフローチャートである。
【図３】（ａ）は、車載カメラで撮影した映像の一例を示し、（ｂ）は、その映像に対する高解像度レーザレーダで取得された点群データ（３次元点群）の例を示す。
【図４】（ａ）は、車載カメラで撮影した映像の他の例を示し、（ｂ）は、その映像に対する高解像度レーザレーダで取得された点群データ（３次元点群）の他の例を示す。
【図５】立体物と路面の分割方法の例を示す図である。
【図６】立体物に属する点群を画像に投影した例を示す図である。
【図７】抽出された距離情報をもとに歩行者の画像中での高さを求める方法を説明するための図である。
【図８】レーダで計測された３次元点群を投影した２次元グリッドマップの模式図である。
【図９】算出した接地点を画像に重畳した例を示す図である。
【図１０】歩行者の探索範囲を説明するための図である。
【図１１】画像探索の効率化による画像認識の性能改善を示すグラフである。
【図１２】画像探索の効率化による画像認識の誤検出除去の結果の一例（全検索）を示す画像である。
【図１３】画像探索の効率化による画像認識の誤検出除去の結果の一例（距離による効率化）を示す画像である。
【図１４】画像探索の効率化による画像認識の誤検出除去の結果の一例（接地点による効率化）を示す画像である。
【図１５】それぞれの効率化方法に対して画像探索に要する計算時間を比較して示す図である。
【図１６】本発明の第２の実施形態に係る立体物検出装置全体の構成を示すブロック図である。
【図１７】第２の実施形態に係る立体物検出装置における立体物の検出手順を示すフローチャートである。
【図１８】立体物の高さとレーザレーダの解像度との関係を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して本発明の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る立体物検出装置の全体構成を示すブロック図である。図１に示す立体物検出装置１０は、測距データ取得部１５で取得された測距データと、画像取得部１７で取得された画像をもとに、立体物検出部として機能する中央制御部２０において立体物を検出し、その検出結果、例えば、立体物の位置、大きさ等を出力部１９に出力する。
【００２１】
中央制御部２０は、例えばマイクロプロセッサからなるＣＰＵ(Central Processing Unit)であり、立体物を検出するための機能部として、測距データ取得部１５より測距データが入力される距離情報抽出部２１と、同じく測距データが入力される接地点情報抽出部２３と、これら距離情報抽出部２１及び接地点情報抽出部２３からの出力と画像取得部１７からの画像をもとに、立体物を検出するため撮影画像中における探索範囲を決定する探索範囲決定部２７と、決定された探索範囲から立体物を識別するための特徴量を算出する画像探索部２９と、を含んで構成される。
【００２２】
中央制御部２０は、データバスＢを介して接続された、読み取り専用メモリ（ＲＯＭ）である記憶部１１に格納された、立体物の検出制御手順を示す立体物検出プログラム１１ａ、オペレーティングシステム（ＯＳ）等の基本プログラム等により、立体物検出装置１０全体の制御を司るとともに、後述する立体物の検出処理を実行する。同様に、データバスＢを介して中央制御部２０に接続されたメモリ１２は、立体物の検出制御等に用いる各種データを一時的に記憶する記憶媒体である随時読出し／書込みメモリ（ＲＡＭ）である。また、識別情報記憶部２５には、事前に学習した識別情報が格納される。
【００２３】
次に、本実施形態に係る立体物検出装置における立体物検出手順について説明する。図２は、本実施形態に係る立体物検出装置の立体物検出プログラムによって立体物を検出する手順を示すフローチャートである。なお、ここでは、立体物として歩行者を想定しているが、対象は歩行者に限定されず、平面（路面）から屹立している立体物すべてが検出対象となる。
【００２４】
図２のステップＳ１１で、立体物検出装置１０の中央制御部２０は、自車両に搭載した測距データ取得部１５を制御して、検出対象を含む周辺環境（立体物のみならず、路面も含む）の３次元距離データ（３次元距離情報ともいう）を取得する。ここでは、測距データ取得部１５として、レーザビームの走査ラインを複数備え、高解像度のレンジデータ（距離データ）を取得できるレーザレーダを使用する。なお、距離データについては、その計測手段、計測性能、及びデータの出力形式等は、特に限定されない。例えば、計測手段としてステレオカメラを用いてもよい。また、距離データを測距データ取得部１５からの距離と方位で表わしてもよいし、測距データ取得部１５を中心とする座標系での３次元位置座標を持つデータとして表現されるようにしてもよい。
【００２５】
また、立体物検出装置１０の中央制御部２０は、ステップＳ１１において、上記レーザレーダによる距離データの取得と同期させて、画像取得部１７（例えば、ＳＸＧＡ解像度のモノクロの車載カメラ等）で、自車両の周辺環境の検出対象を含む画像を撮影し、それを画像データとして取り込む。測距データ取得部１５と画像取得部１７の車両への取付け位置の相互関係については、所定の座標変換をして対応づけることができる。
【００２６】
図３（ａ）と図４（ａ）は、画像取得部１７（車載カメラ）で撮影した映像の一例であり、図３（ｂ）と図４（ｂ）は、測距データ取得部１５としての高解像度レーザレーダで取得された点群データ（３次元点群）の例を示している。図３は、自車両前方の近傍に立体物がない場合の例であり、図４は、自車両前方の近傍に立体物（歩行者）がある場合の例である。
【００２７】
さらに、中央制御部２０は、ステップＳ１３において、上記のステップＳ１１で取得した３次元点群を立体物と路面とに振り分ける（分割する）処理をする。ここでは、図５に示すように、路面に平行な平面を格子状に分割したグリッドマップ（２次元グリッドマップ）３３をメモリ１２内に用意し、そのグリッドマップ３３上に、計測データである計測点群３１を投影する。各セルに投影された３次元点群は、撮像画像中の立体物と路面の存在に従って、高さ方向（グリッドマップ３３に垂直な方向）にばらつく。その結果、複数のセルが、このばらつきに基づいて立体物セルと路面セルとに分割される。
【００２８】
中央制御部２０は、図５において符号３９で示すように、セル内における点群の高さの分布が予め定めた閾値を超える場合、そのセルは、高さ方向に分布がある領域に対応するとして、立体物に属すると判定する。また、中央制御部２０は、セル内の点群の高さの分布が予め定めた閾値以下の場合には、そのセルが、高さ方向に分布がない領域に対応するとして、路面に属すると判定する。
【００２９】
このように、グリッドマップ３３上における点群の高さの分布をもとに、計測データから、３次元距離情報である立体物情報３５と、同じく３次元距離情報である路面情報３７とが得られる。すなわち、距離データが、立体物を示す３次元距離データと、路面を示す３次元距離データとに分割される。中央制御部２０は、各セル内における点群の高さの分布状態の相違（ばらつき）に基づいて立体物と路面を判別する。なお、本実施形態では、測距にレーザレーダを使用しているため、レーザレーダの受信パルスの幅をもとに路面を判定することも可能である。
【００３０】
中央制御部２０は、ステップＳ１５で、距離情報抽出部２１における動作により、自車両の周辺に存在する立体物までの距離情報を抽出する。ここでは最初に、上記ステップＳ１３で求められ、測距データ取得部１５より入力された、立体物に属する点群を、画像取得部１７で取得した画像に投影する。図６は、画像取得部１７で取得した画像に、立体物に属する点群を投影したときの様子を示す画像である。
【００３１】
中央制御部２０は、さらに、図６において画像４１の上端から下端へ向かってｙ方向に延びるとともに、例えば、ｘ方向に所定画素単位の幅を有する矩形領域４３を設定する。そして、点群が投影された画像４１に対して、矩形領域４３を画像４１の左端から右端へ順次、ずらして、画像４１全体を走査する。この走査に伴って、各走査位置において矩形領域４３内、すなわち、車載カメラ（画像取得部１７）で撮影した画像４１を縦方向（図６のｙ方向）に複数に分割したときの各列の領域で最近傍に存在する立体物までの距離情報ｒｊ（ただし、ｊ＝０，１，２…ｗ）を抽出する処理を行う。
【００３２】
画像４１を縦方向に複数に分割したときの各列から抽出された距離情報ｒ０〜ｒＷは、カメラの各方位に存在する最近傍の立体物までの距離を示す情報である。このようにして生成された距離情報を、レンジプロファイルｒという。距離情報ｒ０〜ｒＷの抽出処理の結果、車載カメラの視野角全体での立体物探索が可能となる。なお、ここでは、画像認識の検出対象を隠蔽のない歩行者としているため、最近傍点までの距離を抽出したが、隠蔽を考慮する場合には、最遠点までの距離も抽出するようにしてもよい。
【００３３】
次に、抽出された距離情報ｒｊをもとに、歩行者の画像中での高さを求める方法について説明する。図７に示すように、実空間における歩行者の身長をＨ（例えば、０．８〜２．０ｍと設定する）、画像４１の垂直方向の解像度（画素数）をＲｖ、車載カメラの垂直画角をθｖとすると、画像平面上での歩行者の高さｈは、次式によって求めることができる。
【数１】
2013140515.tif 000003
【００３４】
次に、中央制御部２０は、ステップＳ１７において、立体物の接地点位置を検知する。画像中の歩行者を検出するためには、後述するように、画像中の歩行者の探索範囲（探索枠）を決定する必要がある。一般的には、立体物（歩行者）の距離情報により探索枠の大きさを限定できるが、路面上に存在する歩行者に関しては、探索枠の下端位置（図９、図１０参照）は、カメラのピッチ変動に依存するため確定できない。そこで、本実施形態に係る立体物検出装置では、上述したレンジプロファイルに対応した立体物の接地点位置を抽出する。
【００３５】
ここで、レンジプロファイルに対応した立体物の接地点を算出する方法を説明する。図８は、レーダで計測された３次元点群を投影した２次元グリッドマップの模式図である。上述したステップＳ１３における処理によって、撮影画像における立体物と路面領域が分っているので、図８に示すように、２次元グリッドマップ４５は、立体物セル４７と路面セル４９に分割される。ただし、単にレーザの計測点が得られていない領域、立体物の後方にあって立体物の影となるため計測できない領域等は、立体物と路面とに分割できず、不観測セル４８となる。
【００３６】
図８の２次元グリッドマップ４５において、レンジプロファイルに対応する立体物セル４７の手前（カメラ５５寄り）に位置するセルは、路面点を含むセルである。そこで、立体物の接地位置を算出するため、注目しているその立体物に対応する領域（図８における注目セル５０の位置）の手前にある領域で点群情報を探索する。ここでは、図８において符号５３で示す、注目セル５０の手前にある６個のセルからなる領域（路面セル領域ともいう）を探索する。なお、路面セル領域５３は、上記のように６セルからなる広さに限定されず、可能な限り広くとることで誤検出等を防止できる。
【００３７】
このように、注目する立体物セル４７（ここでは、注目セル５０）の手前にある路面点を含むセル（路面セル領域５３）を探索して、その領域に含まれる点群の平均高さを算出し、算出された高さを立体物（歩行者）の接地点とする。画像中における歩行者の足元の位置（接地点）が決まれば、後述する探索の範囲をより制限できる。なお、探索する路面セル領域５３に含まれる点群の平均高さに代えて、高さ方向の最小値あるいは最大値を算出して、接地点を決めてもよい。
【００３８】
図９は、上記のようにして算出した接地点を画像に重畳した例を示している。レンジプロファイルに対応した立体物の接地点を算出することによって、図９に示すように、画像の中央部付近にいる横断歩行者や路側物の接地点６１を良好に検出できることが分る。
【００３９】
続くステップＳ１９で、中央制御部２０は、探索範囲決定部２７の動作により、立体物を走査する探索枠の位置と大きさを設定する。ここでは、探索範囲決定部２７が、距離情報抽出部２１及び接地点情報抽出部２３からの情報と、画像取得部１７からの画像をもとに、撮影画像中における歩行者の探索範囲を決定する。上述した画像を複数に分割した各列における探索枠の大きさは、上記の式（１）により示されるように、距離情報ｒｊに基づいて決めることができる。また、検出対象である歩行者は、必ず路面に接しているため、図１０に示すように、歩行者の探索枠６５ａ（最大枠）、及び探索枠６５ｂ（最小枠）は、枠の下端中央が接地点６１と一致する位置に限定することができる。なお、画像内での探索枠の位置は、所定の計算によって求めることができる。
【００４０】
上述したように、検出対象とする歩行者の身長Ｈを０．８〜２．０ｍと仮定することで、仮定された身長と距離情報とから探索枠の大きさが決まる。図１０に示す例では、最大の探索枠６５ａを大人の歩行者に対応させ、最小の探索枠６５ｂを子供の歩行者に対応させている。このようにして決定した探索枠をもとに、その枠の範囲内だけを探索することで、効率的に歩行者を検出できる。
【００４１】
なお、探索範囲決定部２７における立体物走査のための探索枠については、検出対象とする立体物の種類に応じて、その大きさを変えるようにしてもよい。ここでは、検出対象を歩行者としているが、歩行者以外の立体物を検出する場合、その立体物の種類により探索枠の大きさを可変にすることは、検出効率の向上のためにも有効な方法である。
【００４２】
中央制御部２０は、ステップＳ２１において、画像探索部２９の動作により、探索範囲決定部２７で限定された歩行者の探索枠から歩行者を識別するため、その探索枠に対して画像特徴量を算出し、その画像特徴量と、予め識別情報記憶部２５に格納された事前の学習で得た識別情報とを比較評価する。ここでは、画像の特徴を抽出する方法として、例えば、Histograms of Oriented Gradients(HOG)を使用して入力画像の勾配を求め、局所領域でエッジ方向ごとにその強度をヒストグラム化した特徴量、あるいは、Haar-like Featuresを使用して輝度に着目した特徴量を算出する。また、画像探索部２９で使用する識別器として、例えば、ＳＶＭ（Support Vector Machine）、Ada-Boost識別器、Decision Tree等を利用する。なお、特徴量や識別器はこれらに限定されず、適宜、最適な特徴量や識別器を使用できることは言うまでもない。
【００４３】
ステップＳ２３では、中央制御部２０は、上記ステップＳ２１における比較評価によって得られた評価値と、所定の閾値とを比較し、評価値が閾値以上であれば、ステップＳ２５において、ステップＳ１９で設定した、立体物走査のための探索枠の位置と大きさを所定のリストに登録する。そして、中央制御部２０は、ステップＳ２７で、すべての候補（歩行者の検出対象として抽出された画像）について、比較評価が終了したか否かを判定する。なお、ステップＳ２３で、評価値が閾値よりも小さいと判断された場合は、立体物走査のための探索枠の位置と大きさのリスト登録をせずに、処理をステップＳ２７へ進める。
【００４４】
ステップＳ２７において、すべての候補についての比較評価が終了したと判定された場合、中央制御部２０は、ステップＳ２９で、出力部１９より、上記ステップＳ２５で登録された歩行者リストを出力する。すべての候補についての比較評価が終了していなければ、再度、ステップＳ２１に戻り、中央制御部２０は、算出された画像特徴量と、識別情報記憶部２５に格納された識別情報とを比較評価する処理を繰り返す。
【００４５】
次に、本実施形態に係る立体物検出装置におけるレーザ情報に基づく画像探索の効率化について、その有効性を確認した結果について説明する。図１１は、画像探索の効率化による画像認識の性能改善（性能曲線）を示すグラフであり、図１２〜図１４は、画像探索の効率化による画像認識の誤検出除去の結果の一例を示す画像である。図１１において、横軸は誤検出の数（誤検出頻度）、縦軸は検出率（％）であり、性能曲線が図の左上に位置するほど、対象物の認識性能が高いことを意味する。
【００４６】
図１１中の性能曲線Ａは、従来の全検索、すなわち、検索枠の大きさ及び距離に制限を設けず、すべての範囲で検索したときの検出率である。また、図１２は、従来の全検索を行ったときの誤検出除去に対応する画像である。図１２に示す例では、対象の検索にレーザ情報を使用していないため、歩行者以外の対象物や歩行者の存在しない空の部分にも探索枠が設定されていることが分かる。
【００４７】
図１１中の性能曲線Ｂ、及び図１３は、対象の検索にレーザ情報を使用し、距離のみによる効率化を図るとともに、枠の大きさにだけ制限をかけたときの例を示している。この場合も、図１３に示すように、歩行者の存在しない空の部分にも探索枠が設定されることが分かる。一方、図１１中の性能曲線Ｃ、及び図１４は、対象の検索にレーザ情報を使用し、かつ距離と接地点とによる効率化を行って画像探索をしたときの例を示している。図１４に示すように、接地点による効率化により、歩行者のみに探索枠が設定され、歩行者の存在しない空の部分には探索枠が設定されないことが分かる。
【００４８】
図１１に示す性能曲線について、例えば、検出率が９０％のとき、全探索の場合、その性能曲線Ａからは誤検出頻度が３．５付近にあることが分かる。また、距離の制約をした場合、その性能曲線Ｂから誤検出頻度が約１．３となるが、距離に加えて接地点の制約をしたときは、その性能曲線Ｃより、誤検出頻度が約０．５と顕著に減少することが分かる。
【００４９】
図１５は、上記の全検索の場合、距離のみによる効率化を図った場合、距離と接地点とによる効率化を行った場合のそれぞれにおける、画像探索に要する計算時間（処理時間）を比較して示す図である。図１５に示すように、距離の制約を用いた場合は、全探索に比べて評価される歩行者の探索枠が小さくなるため、処理時間が大幅に削減できる。また、距離に加えて接地位置に制約を加えた場合には、距離のみの制約時に比べて、処理時間を約１／２にすることができる。
【００５０】
以上説明したように、本実施形態によれば、画像中における立体物（歩行者）の探索範囲（探索枠）が歩行者の存在する範囲に限定されるので、通常、歩行者の存在しない空の部分を探索したり、あるいは歩行者に該当しない大きさの画像を探索する等の誤検出を確実に防止できる。すなわち、歩行者までの距離と接地点とによって探索枠の大きさと位置を制限することで、歩行者までの距離だけで探索枠の大きさを制限する場合に比べて、歩行者の誤検出を大幅に削減することができる。
【００５１】
より詳細には、検出対象を含む画像を撮影するカメラの各方位（図６のｘ方向の画素単位）に存在する最近傍の歩行者までの距離情報であるレンジプロファイルを生成し、それを用いることで撮影画像の各列において適切な大きさの探索枠を設定できる。その結果、近傍から遠方まで手当たり次第に探索する従来の全探索よりも効率的に歩行者を探索でき、検出対象からみて存在しない大きさ、位置の探索枠を評価しないので、宙に浮いた状態の誤検出、歩行者以外の背景や路面のパターンに起因する誤検出等を大幅に削減できる。また、レーザを用いた効率化により、検出精度（検出率）を維持したまま、誤検出を効果的に減らすことができる。
【００５２】
さらに、立体物（歩行者）探索の際、路面（平面）全体を推定しないため演算量が少なく、平面仮定からずれる場所、例えば、車道脇の段差のある歩道や、勾配変化のある道路に対しても精度よく立体物の接地点位置を検知して、確実な立体物認識が可能となる。言い換えれば、立体物が存在する付近の局所的な領域の路面点をピックアップするので、立体物の検出が勾配や段差に影響されない。
【００５３】
＜第２の実施形態＞
以下、本発明の第２の実施形態に係る立体物検出装置について説明する。図１６は、第２の実施形態に係る立体物検出装置全体の構成を示すブロック図である。また、図１７は、本実施形態に係る立体物検出装置における立体物の検出手順を示すフローチャートである。なお、図１６において、図１に示す第１の実施形態に係る立体物検出装置と同一構成要素には同一の符号を付して、ここでは、それらの説明を省略する。同様に、図１７に示す立体物の検出手順において、図２に示す第１の実施形態に係る立体物検出装置における立体物の検出手順と同一処理には同一の符号を付して、それらの説明を省略する。
【００５４】
立体物検出装置１１０において立体物検出部として機能する中央制御部１２０は、例えばマイクロプロセッサからなるＣＰＵ(Central Processing Unit)であり、データバスＢを介して接続された、読み取り専用メモリ（ＲＯＭ）である記憶部１１に格納された、立体物の検出制御手順を示す立体物検出プログラム、オペレーティングシステム（ＯＳ）等の基本プログラム等により、装置全体の制御を司るとともに立体物の検出処理を実行する。
【００５５】
図１６に示す立体物検出装置１１０では、画像取得部１７（例えば、カメラ）を搭載した自車両の計測間における移動、すなわち、前回の計測から今回の計測の間に自車両が移動した運動成分を考慮する。そこで、立体物検出装置１１０の中央制御部１２０は、車両運動取得部１３の動作により、例えば、ジャイロ等の車両運動センサから自車両の運動成分を取得する。なお、運動成分は、ＩＣＰ(Iterative Closest Point)アルゴリズム等を用いて時刻の異なる距離データを照合することで推定してもよい。
【００５６】
また、中央制御部１２０は、環境マップ生成部２４の動作により、測距データ取得部１５としての高解像度レーザレーダで取得された計測点群（３次元点群）を、不図示の記憶領域に用意したグリッドマップ上に随時、蓄積する。具体的には、レーザによる１回の走査（スキャン）では、走査されない隙間ができて、グリッドマップ上に３次元点群の存在しないセルも出てくる。そこで、立体物検出装置１１０における立体物（歩行者）の検出処理（図１７のステップＳ１４）では、時間的に連続して３次元情報をグリッドマップ上に溜め込むため、車両運動取得部１３から入力される運動成分をもとに、自車両の動きを考慮しながら３次元点群を蓄積する。こうすることで、グリッドマップ上における３次元点群の密度が増し、検出対象である歩行者に対して点群のぬけをなくすことができる。
【００５７】
中央制御部１２０は、高さ情報抽出部２２の動作により、上述したレンジプロファイルに対応した立体物（歩行者）の高さを抽出する。より具体的には、図１７のステップＳ１８において、中央制御部２０は、図８に示す、上述した第１の実施形態に係る立体物検出装置における注目セル５０のように、レンジプロファイルに対応した立体物セルに含まれる点群の高さ方向の分布幅を算出する。なお、レーザレーダで抽出される計測点群は、図１８に示すように垂直方向に離散的である。そのため、必ずしも検出対象である歩行者の足元から頭部までの正確な高さを計測できない。つまり、レーザレーダと歩行者との距離が離れるほど、計測点群の幅と立体物の高さとの差が大きくなる。
【００５８】
そこで、高さ情報抽出部２２では、図１８に示すように、歩行者の足元側と頭部側に、レーザレーダのスキャンラインの垂直方向の間隔を加味したマージンΔｈを付ける。この場合、垂直方向の解像度と歩行者までの距離とに基づいて、マージンΔｈを算出する。そして、中央制御部１２０は、探索範囲決定部２７の動作により、距離情報抽出部２１、及び接地点情報抽出部２３からの情報、画像取得部１７からの画像、さらに、高さ情報抽出部２２からの高さ情報をもとに、歩行者を走査する探索枠の位置と大きさを設定し、撮影画像中における歩行者の探索範囲の上限を制限する。
【００５９】
高さ情報抽出部２２で抽出した歩行者の高さ情報（図１８のｈ）から、歩行者の頭部の位置を推定することも可能である。歩行者の頭部位置が分かれば、探索枠をさらに小さくすることができ、画像探索に要する計算時間も短縮できる。
【００６０】
このように第２の実施形態に係る立体物検出装置は、レーザレーダで取得された計測点群を、グリッドマップ上に随時、蓄積することで、１回の計測ではレーザのスキャンラインが当たらない領域に対しても情報が得られ、歩行者の推定精度を向上できる。また、数ラインのスキャンラインを持つレーザレーダであっても、解像度の高いレーダを使用したときと同様の立体物検出結果を生成できる。
【００６１】
また、高さ情報抽出部において、レンジプロファイルに対応した立体物セルに含まれる点群の高さ方向の分布幅を算出して、歩行者の高さ情報を抽出することで、距離と接地点に加えて、高さも加味して探索領域を効率的に絞り込むことができ、歩行者検出の精度をさらに向上できる。
【符号の説明】
【００６２】
１０，１１０  立体物検出装置
１１  記憶部
１１ａ  立体物検出プログラム
１２  メモリ
１３  車両運動取得部
１５  測距データ取得部
１７  画像取得部
１９  出力部
２０，１２０  中央制御部（ＣＰＵ）
２１  距離情報抽出部
２２  高さ情報抽出部
２３  接地点情報抽出部
２４  環境マップ生成部
２５  識別情報記憶部
２７  探索範囲決定部
２９  画像探索部
【図１】
2013140515.tif 000004
【図２】
2013140515.tif 000005
【図３】
2013140515.tif 000006
【図４】
2013140515.tif 000007
【図５】
2013140515.tif 000008
【図６】
2013140515.tif 000009
【図７】
2013140515.tif 000010
【図８】
2013140515.tif 000011
【図９】
2013140515.tif 000012
【図１０】
2013140515.tif 000013
【図１１】
2013140515.tif 000014
【図１２】
2013140515.tif 000015
【図１３】
2013140515.tif 000016
【図１４】
2013140515.tif 000017
【図１５】
2013140515.tif 000018
【図１６】
2013140515.tif 000019
【図１７】
2013140515.tif 000020
【図１８】
2013140515.tif 000021