(57)【要約】【課題】対象物の存在領域を簡易に推定できる対象物領域推定方法および対象物領域推定装置を提供する。【解決手段】  前方の画像を撮影するステレオカメラ３と、ステレオ画像を基に視差画像を作成する視差画像作成部１９と、視差画像を基に距離情報を抽出する距離情報抽出部２１と、視差画像において予め定められた横ライン上の距離情報を基に、横ライン上の画素を複数のクラスタに分割するクラスタ分割部２５と、クラスタの中からクラスタの大きさを基に対象物の存在領域を判定する対象物領域判定部２７とを備えた対象物領域推定装置１３により対象物領域を推定する。【選択図】図３
2014164564.tif 000002
【特許請求の範囲】
【請求項１】
前方の画像を撮影する撮影ステップと、
前記画像を基に視差画像を作成する視差画像作成ステップと、
前記視差画像を基に距離情報を抽出する距離情報抽出ステップと、
前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割ステップと、
前記クラスタの中から前記クラスタの大きさを基に対象物の存在領域を判定する対象物領域判定ステップと
を備える対象物領域推定方法。
【請求項２】
前方の画像を撮影する画像センサと、
前記画像を基に視差画像を作成する視差画像作成部と、
前記視差画像を基に距離情報を抽出する距離情報抽出部と、
前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割部と、
前記クラスタの中から前記クラスタの大きさを基に対象物の存在領域を判定する対象物領域判定部と
を備えた対象物領域推定装置。
【請求項３】
請求項２に記載の対象物領域推定装置において、
前記クラスタの大きさは前記クラスタの幅である
対象物領域推定装置。
【請求項４】
請求項２に記載の対象物領域推定装置において、
前記クラスタ分割部は、前記画像または前記視差画像において予め定められた縦ライン上の前記距離情報を基に、前記縦ライン上の画素を複数のクラスタに分割し、
前記対象物領域判定部は、前記クラスタの中から前記横ライン上の前記クラスタの幅と前記縦ライン上の前記クラスタの高さとを基に対象物の存在領域を判定する
対象物領域推定装置。
【請求項５】
請求項２に記載の対象物領域推定装置において、
前記横ラインを複数個有し、
前記対象物領域判定部は、前記視差画像上における予め定められた範囲内の大きさのクラスタを有する横ラインの座標および予め定められた範囲内の大きさのクラスタを有さない横ラインの座標を基に対象物の存在領域を判定する
対象物領域推定装置。
【請求項６】
請求項２から５のいずれか１つに記載の対象物領域推定装置と、
前記対象物領域推定装置により推定された対象物領域において対象物を検出する対象物検出部とを
備えた対象物検出装置。
【請求項７】
請求項６に記載の対象物検出装置において、
前記対象物は人である対象物検出装置。
【請求項８】
請求項６または７に記載の対象物検出装置を備えた車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサを用いて対象物の存在領域を推定する対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両に関する。
【背景技術】
【０００２】
従来、ゴルフ場内の走路を走行するゴルフカートには自動走行機能を有しているものがある。自動走行は電磁誘導線から発生する磁界を検出することで行われる。また、ゴルフカートの前面に超音波センサを設けて、ゴルフカート前方の障害物を検出する障害物検出装置を備えるものもある。超音波センサにより障害物が検出されると、ゴルフカートは減速または停止の制御が実施される（特許文献１参照）。
【０００３】
また、障害物として特に人を検出する場合、画像処理にて人を検出する方法がある。人を検出する場合、検出対象となる人は画像の様々な位置に様々な大きさで存在するので、画像内を様々な位置にて様々な大きさで人の存在を判定する必要がある。そこで、画像モデルとして抽象化された矩形領域を用いて画像全体をスキャンすることで、人が存在しそうな領域を検出する。この矩形領域は様々な大きさのものを用いる。これにより、人が存在しそうな領域を検出することができる。
【０００４】
図１７および図１８は、障害物や人などの対象物の領域を検出する方法を示す説明図である。画像Ｉｍに対して検出窓Ｗ１、Ｗ２をそれぞれスキャンすることで対象物が存在しそうな領域を検出する。検出窓において直接ＨＯＧ（Histograms of Oriented Gradients）特徴を求めて対象物を検出する方法と、検出窓をテンプレートマッチングとして用いて対象物の存在領域を推定した後に、該当する領域にてＨＯＧ（Histograms of Oriented Gradients）特徴を求めて対象物を検出する方法とがある（特許文献２参照）。
【０００５】
（１）特許文献１の技術
特許文献１に記載のゴルフカートには自動走行装置が搭載されている。これにより、走路上に設けられた誘導線に沿って走路を自動走行することができる。また、超音波センサを用いて障害物までの距離を計測し、その距離に応じて障害物の有無を判定することが記載されている。
【０００６】
（２）特許文献２の技術
特許文献２には物体の検出装置および検出方法が記載されている。画像フレームの左から右に向けて、しかも上から下へ、画像モデルである矩形領域を順次スキャンすることで、人が存在しそうな領域を検出する。この検出領域のＨＯＧ特徴量を計算することで、人であるかどうかの判定をすることが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−５８３２号公報
【特許文献２】特開２０１１−２４８５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、画像全体を様々な大きさの矩形領域でスキャンすることは大きな演算負荷であり、多くの演算時間を必要とする。特に、処理能力が低い演算装置で判定処理を実施する場合、より多くの処理時間を必要とする。この結果、障害物や人などの対象物を検出するのに多大な時間が経過してしまい、対象物を検出した後の処理に支障をきたし、システム全体としての機能が損なわれる問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたものであって、対象物の存在領域を簡易に推定できる対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る第１の発明は、前方の画像を撮影する撮影ステップと、前記画像を基に視差画像を作成する視差画像作成ステップと、前記視差画像を基に距離情報を抽出する距離情報抽出ステップと、前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割ステップと、前記クラスタの中から前記クラスタの大きさを基に対象物の存在領域を判定する対象物領域判定ステップとを備える対象物領域推定方法である。
【００１１】
第１の発明によれば、撮影ステップにより前方の画像を撮影する。視差画像作成ステップでは、撮影された画像を基に視差画像を作成する。距離情報抽出ステップでは、作成された視差画像を基に距離情報を抽出する。クラスタ分割ステップでは、画像または視差画像において予め定められた横ライン上の距離情報を基に、横ライン上の画素を複数のクラスタに分割する。対象物領域判定ステップでは、クラスタの中からクラスタの大きさを基に対象物の存在領域を判定する。
【００１２】
対象物領域を推定するのに、予め定められたライン上の距離情報だけを用いるので、演算負荷の軽減および演算速度の向上をすることができる。また、クラスタ分割することで画素のグルーピングを簡易に行うことができ、対象物の大きさとの比較を容易にすることができる。
【００１３】
また、本発明に係る第２の発明は、前方の画像を撮影する画像センサと、前記画像を基に視差画像を作成する視差画像作成部と、前記視差画像を基に距離情報を抽出する距離情報抽出部と、前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割部と、前記クラスタの中から前記クラスタの大きさを基に対象物の存在領域を判定する対象物領域判定部とを備えた対象物領域推定装置である。
【００１４】
第２の発明によれば、画像センサにより前方の画像を撮影する。視差画像作成部は、撮影された画像を基に視差画像を作成する。距離情報抽出部は、作成された視差画像を基に距離情報を抽出する。クラスタ分割部は、画像または視差画像において予め定められた横ライン上の距離情報を基に、横ライン上の画素を複数のクラスタに分割する。対象物領域判定部は、クラスタの中からクラスタの大きさを基に対象物の存在領域を判定する。
【００１５】
対象物領域を推定するのに、予め定められたライン上の距離情報だけを用いるので、演算負荷の軽減および演算速度の向上をすることができる。また、クラスタ分割することで画素のグルーピングを簡易に行うことができ、対象物の大きさとの比較を容易にすることができる。
【００１６】
また、前記クラスタの大きさは前記クラスタの幅であることが好ましい。対象物の幅の大きさはある程度決められた上限を有するので、クラスタの幅を基準とすることで精度良く対象物の存在領域を推定することができる。
【００１７】
また、前記クラスタ分割部は、前記画像または前記視差画像において予め定められた縦ライン上の前記距離情報を基に、前記縦ライン上の画素を複数のクラスタに分割し、前記対象物領域判定部は、前記クラスタの中から前記横ライン上の前記クラスタの幅と前記縦ライン上の前記クラスタの高さとを基に対象物の存在領域を判定することが好ましい。
【００１８】
クラスタ分割部は、予め定められた横ライン上の画素のクラスタ分割に加えて、予め定められた縦ライン上の距離情報を基に、縦ライン上の画素のクラスタ分割も行う。対象物領域判定部は、分割されたクラスタの中から、横ライン上のクラスタの幅と縦ライン上のクラスタの高さとを基に対象物の存在領域を判定する。横ラインにおけるクラスタの幅に加えて、縦ラインにおけるクラスタの高さによっても対象物領域を推定するので、推定精度を向上させることができる。また、横ライン単独の場合に比べて、対象物がライン上に有る頻度が上がるので、対象物との距離が離れていても対象物領域を推定しやすくなる。
【００１９】
また、前記横ラインを複数個有し、前記対象物領域判定部は、前記視差画像上における予め定められた範囲内の大きさのクラスタを有する横ラインの座標および予め定められた範囲内の大きさのクラスタを有さない横ラインの座標を基に対象物の存在領域を判定してもよい。横ラインを複数個備えることで、より対象物の存在領域の推定範囲を制限することができる。視差画像上における予め定められた範囲内の大きさのクラスタを有する横ラインと予め定められた範囲内の大きさのクラスタを有さない横ラインとの位置関係により、横方向および縦方向の対象物領域を推定することができる。
【００２０】
また、本発明に係る対象物検出装置は、上記対象物領域推定装置と、対象物領域推定装置により推定された対象物領域において対象物を検出する対象物検出部とを備える。上記対象物領域推定装置を備えるので、対象物領域を推定することができる。この推定された対象物領域内だけで対象物を検出すればよいので、スキャン領域を制限することができ、対象物の検出時間を短縮することができる。
【００２１】
また、前記対象物は人でもよい。人のように形状のバラツキや動きのある対象物に対しても、精度良く領域を推定することができ検出することができる。
【００２２】
また、本発明に係る車両は、上記対象物検出装置を備える車両である。上記対象物検出装置を備えるので、対象物を高速に検出することができるので、対象物との接触回避を向上することができる。
【発明の効果】
【００２３】
本発明によれば、対象物の存在領域の簡易に推定できる対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】実施例１に係る車両の前面図である。
【図２】実施例１に係る車両の構成を示すブロック図である。
【図３】実施例１に係る対象物検出装置の構成を示すブロック図である。
【図４】実施例１に係るステレオカメラと距離情報の向きとの関係を示す説明図である。
【図５】実施例１に係る視差画像と予め設定されたラインとの関係を示す説明図である。
【図６】実施例１に係る前方距離情報の可視化グラフである。
【図７】実施例１に係るクラスタ分割された前方距離情報の可視化グラフである。
【図８】実施例１に係る保管されている距離情報を示す説明図である。
【図９】実施例１に係る対象物検出の流れを示すフローチャートである。
【図１０】実施例１に係る制限されたスキャン領域を示す説明図である。
【図１１】実施例２に係る対象物検出装置の構成を示すブロック図である。
【図１２】実施例２に係る縦方向のスキャン領域制限を示す説明図である。
【図１３】実施例２に係る縦方向のスキャン領域制限を示す説明図である。
【図１４】実施例２に係る対象物検出の流れを示すフローチャートである。
【図１５】実施例２に係る制限されたスキャン領域を示す説明図である。
【図１６】変形例に係る縦および横方向のスキャン領域制限を示す説明図である。
【図１７】従来例に係る対象物領域の検出方法を示す説明図である。
【図１８】従来例に係る対象物領域の検出方法を示す説明図である。
【発明を実施するための形態】
【実施例１】
【００２５】
以下、図面を参照して本発明の実施例１を説明する。本発明における車両の実施形態として、自動走行するゴルフカートを挙げる。車両はゴルフカートに限られず、工場や果樹園で走行する無人搬送車も含まれる。また、車両は４輪車に限られず、３輪車でもよいし、モノレール型でもよい。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。
【００２６】
１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自動走行することができる。車両１の前面中央部にステレオカメラ３が設けられている。
【００２７】
また、車両１には、車両１の前方の対象物を検出する対象物検出装置５と、車両１が誘導線に沿って自動走行するのを制御する自動走行制御部７と、対象物検出装置５が対象物を検出すると運転者および周囲に警告を発生する警告出力部８と、対象物の検出により減速または停止の制御をする車速制御部９と、車輪を駆動し、車速制御部９により回転数が制御される駆動モータ１１とが設けられている。本実施例において、車両１は駆動モータ１１で駆動されるがこれに限らず、エンジンにより駆動されてもよい。
【００２８】
２．対象物検出装置の構成
次に図３を参照して車両１に備えられた対象物検出装置５の構成を説明する。図３は、対象物検出装置の構成を示すブロック図である。
【００２９】
対象物検出装置５は、対象物領域推定装置１３と対象物を検出する対象物検出部１５とを備える。対象物領域推定装置１３は、撮影した画像に対して対象物が存在すると推定される領域を検出する。これにより、対象物の検出のためのスキャン領域を制限することができる。対象物検出部１５は、画像中の制限された領域をスキャンして対象物を検出する。
【００３０】
対象物領域推定装置１３は、車両１の前方の画像を撮影するステレオカメラ３と、ステレオカメラ３により撮影された画像を一時的に保管する画像バッファ１７と、ステレオカメラ３により撮影された画像を基に視差画像を作成する視差画像作成部１９と、作成された視差画像から各画素の距離情報を抽出する距離情報抽出部２１と、抽出された距離情報を保管する距離情報バッファ２３と、抽出された距離情報を基に視差画像における画素をクラスタ分割するクラスタ分割部２５と、分割された各クラスタを基に、対象物が存在する領域を判定する対象物領域判定部２７と、対象物が存在すると判定された領域をスキャン領域として設定するスキャン領域設定部２９とを備える。視差画像作成部１９、距離情報抽出部２１、クラスタ分割部２５、対象物領域判定部２７、スキャン領域設定部２９、および、対象物検出部１５はマイクロプロセッサまたはＦＰＧＡ（Field Programmable Gate Array;再構成可能なゲートアレイ）で構成される。次にそれぞれの構成部について順に説明する。
【００３１】
ステレオカメラ３は、２個の画像センサ３ａ、３ｂで構成される。なお、ステレオカメラ３は、２個以上の画像センサで構成されてもよい。左画像センサ３ａおよび右画像センサ３ｂはＣＣＤやＣＭＯＳなど一般的な可視光センサである。左画像センサ３ａ、右画像センサ３ｂは予め定められた幾何条件の下で設置されている。実施例１では、左画像センサ３ａ、右画像センサ３ｂは水平方向に一定距離を保たれて設置されている。すなわち、左画像センサ３ａおよび右画像センサ３ｂはそれぞれ平行ステレオの位置関係で配置されている。左画像センサ３ａ、右画像センサ３ｂは、それぞれ撮影された画像の各行の位置が一致するように、すなわち、エピポーラ線が一致するように、予めカメラキャリブレーションが実施されている。左画像センサ３ａで撮影された画像を左眼画像とし、右画像センサ３ｂで撮影された画像を右眼画像とする。実施例１では左画像センサ３ａを基準カメラとし、左眼画像を基準画像とする。なお、右眼画像を基準画像としてもよい。
【００３２】
画像バッファ１７は、ステレオカメラ３から送られる画像、すなわち、画像センサ３ａ、３ｂから送られる各画像を一時的に保管する。画像センサ３ａ、３ｂの保管された各画像は順に視差画像作成部１９へ出力される。画像バッファ１７は、メモリ、フラッシュメモリ、ハードディスク（ＨＤＤ）などを用いる。
【００３３】
視差画像作成部１９は、入力される各画像から視差画像を作成する。実施例１では、画像バッファ１７に保管されている左眼画像および右眼画像を基に視差画像を作成する。視差画像は例えば、ステレオマッチングにより作成することができる。ステレオマッチングとして面積相関法を用いる。面積相関法は、注目画素を中心に一定の大きさのウィンドウ単位で各画像の一致度を計算し、最も一致度が高くなるようにステレオマッチングする。さらに、一致度が最も高い状態における注目画素の視差を算出する。ここでの視差は複数画像間の画素のズレ量を示す。実施例１において、視差は、左眼画像に対する右眼画像の横方向の画素のズレ量である。ステレオマッチングの方法は、他にも、ＳＡＤ（Sum of absolute differences）や、Census transformが挙げられる。なお、視差画像上のＸ座標およびＹ座標は基準画像上のＸ座標およびＹ座標と同じである。
【００３４】
距離情報抽出部２１は、視差画像を基に、予め設定された横ライン上の各画素が表示する被写体までの実空間上の距離を抽出する。視差画像から距離を抽出する方法は、従来から利用されている平行ステレオ法を用いる。すなわち、２台の画像センサ３ａ、３ｂ間の距離（ステレオカメラ３の基線長）Ｔ、および、２台の画像センサ３ａ、３ｂの焦点距離ｆと視差画像を用いることで、視差画像および基準画像の各画素に対応した距離情報を算出することができる。
【００３５】
視差画像上の座標（ＸＣ、ＹＣ）に対する距離情報は以下の式にて求めることができる。
ｄ＝ｎｐ  ・・・（１）
ＺＤ＝ｆＴ／ｄ  ・・・（２）
ＸＤ＝ＺＤ（ＸＣ−ｎｐ）ｆ  ・・・（３）
ＹＤ＝ＺＤ・ＹＣ／ｆ  ・・・（４）
ここで、（ＸＣ、ＹＣ）は視差画像の中央を原点とした視差画像における座標であり、（ＸＤ，ＹＤ，ＺＤ）は、視差画像の座標（ＸＣ、ＹＣ）に対応する距離情報である。また、ｄは視差距離であり、ｎは視差画素数であり、ｐは画像センサ３ａ、３ｂの画素ピッチである。ステレオカメラ３と距離情報（ＸＤ，ＹＤ，ＺＤ）の方向が図４に図示されている。ステレオカメラ３の横方向にＸＤ軸が設けられ、ステレオカメラ３の縦方向にＹＤ軸が設けられ、ステレオカメラ３の前方向（奥行き方向）にＺＤ軸が設けられている。演算された各距離情報は視差画像および基準画像の各画素に対応して距離情報バッファ２３に保管される。
【００３６】
図５を参照して説明する。図５は視差画像と予め設定されたラインとの関係を示す説明図である。ラインＬ１は視差画像上においてＹＣＬ１のＹ座標を有し、ラインＬ２は視差画像上においてＹＣＬ２のＹ座標を有し、ラインＬ３は視差画像上においてＹＣＬ３のＹ座標を有する。このように、各ラインＬ１〜Ｌ３のＹ座標は予め設定されている。距離情報抽出部２１はこれら各ラインＬ１〜Ｌ３上の画素に対応する距離情報を抽出する。すなわち、視差画像において、Ｙ座標がＹＣＬ１、ＹＣＬ２、ＹＣＬ３の画素に対応する距離情報を抽出する。例えば、ラインＬ１上の抽出された奥行き方向の可視化された距離情報が図６に示されている。なお、実施例１ではラインを３本設定しているが、ラインは１本でもよいし、その他複数本設定してもよい。なお、距離情報抽出部２１は、各ラインＬ１〜Ｌ３上の画素の距離情報を優先的に抽出し、その後で視差画像における他の画素の距離情報を抽出する。
【００３７】
クラスタ分割部２５は、視差画像において予め定められた横方向のライン上の画素と対応する距離情報を基に、ライン上の各画素を設定された個数のクラスタ（塊）に分割する。クラスタ分割の方法は従来からあるウォード（Ward）法を採用する。ウォード法以外の方法を用いてクラスタ分割してもよい。実施例１では、奥行き方向（ＺＤ軸）の距離情報および横方向（ＸＤ軸）の距離情報を基に、４個のクラスタに分割する。しかしながら、分割するクラスタの個数は４個に限らず適切に設定してもよい。これにより、ライン上の各画素が奥行き距離および横向き距離に応じてクラスタ分割されるので、互いの距離が近い画素群が１個のクラスタとしてグループ化される。
【００３８】
図７には、クラスタ分割された奥行き方向の距離情報のグラフが示されている。ラインＬ１上の各画素がＣＬ１〜ＣＬ４の４個のクラスタに分割されている。なお、実施例１では、車両１に最も近いクラスタにクラスタ番号ＣＬ１が設定され、距離が離れるにつれ、クラスタ番号ＣＬＮＯが順に振り分けられている。分割されたクラスタに対応するクラスタ番号ＣＬＮＯ（ＣＬ１〜ＣＬ４）は、各画素のＸ座標と関連づけて距離情報バッファ２３に格納される。
【００３９】
距離情報バッファ２３は、視差画像および基準画像の画素と対応付けられた各距離情報を保管する。図８には、予め定めらた各ラインＬ１〜Ｌ３のＸ座標と各距離情報との関連が示されている。すなわち、各ラインＬ１〜Ｌ３における、基準画像（視差画像）上のＸ座標値、Ｙ座標値、および、横方向距離ＸＤ、縦方向距離ＹＤ、奥行き方向距離ＺＤ、および、クラスタ番号ＣＬＮＯとが関連付けられて保管されている。距離情報バッファ２３として、例えば、メモリ、フラッシュメモリ、ハードディスク（ＨＤＤ）などが挙げられる。
【００４０】
対象物領域判定部２７は、奥行き距離が最も小さいクラスタから順に各クラスタが対象物であるかどうかを判定する。各クラスタのクラスタ幅が予め定められた閾値の範囲内であれば対象物であると判定する。ここで、クラスタ幅とは、分割された各クラスタが有する実際の横方向の距離情報における最小値と最大値との幅である。例えば、図７のクラスタＣＬ１における最小値はＸＤ１であり最大値はＸＤ２であるので、クラスタＣＬ１の幅は（ＸＤ２−ＸＤ１）である。このように、対象物領域判定部２７は、各クラスタのクラスタ幅を算出し、各クラスタ幅が予め定められた設定範囲内かどうかを判定する。対象物として人を検出する場合、例えば、設定範囲を１ｍ以下に設定すればよい。
【００４１】
スキャン領域設定部２９は、対象物であると判定されたクラスタの横方向の視差画像（基準画像）上の最大値座標および最小値座標をスキャン領域の最大値座標および最小値座標に設定する。これにより、対象物を検出する横方向のスキャン領域が制限される。
【００４２】
対象物検出部１５は、画像バッファ１７から基準画像を取得し、スキャン領域設定部からスキャン領域座標を取得する。対象物検出部１５は、設定されたスキャン領域において、基準画像内を複数の大きさの検出窓をラスタスキャンさせて、対象物を検出する。対象物は、障害物であってもよいし、人であってもよい。人を検出する場合、ＨＯＧ特徴を用いて検出することができる。ＨＯＧ特徴を用いる場合、スキャン領域のみ距離情報を抽出すればよいので、画像全体の距離情報を抽出するのに比べて大幅に演算量を低減することができる。
【００４３】
次に、実施例１における対象物検出の動作を図９を用いて説明する。図９は対象物検出の処理手順を示すフローチャートである。
【００４４】
車両１の前面に設けられたステレオカメラ３により前方の画像を撮影する（ステップＳ０１）。撮影された左眼画像および右眼画像は画像バッファ１７に格納する。次に、画像バッファ１７に格納されている画像を基に、視差画像作成部１９が視差画像を作成する（ステップＳ０２）。次に、距離情報抽出部２１は、作成された視差画像において予め定められた高さ（ＹＣＬ１、ＹＣＬ２、ＹＣＬ３座標）のラインＬ１、Ｌ２、Ｌ３上の画素における横（ＸＤ）方向、縦（ＹＤ）方向、および、奥行き（ＺＤ）方向の距離情報を抽出する（ステップＳ０３）。
【００４５】
抽出された距離情報は距離情報バッファ２３へ格納される。また、抽出された距離情報を基に、クラスタ分割部２５は各ラインＬ１〜Ｌ３上の画素をクラスタ分割する（ステップＳ０４）。クラスタ分割されて振り分けられたクラスタ番号ＣＬＮＯは、対応する視差画像上の画素のＸ座標およびその他の距離情報と関連付けて距離情報バッファ２３に格納される。
【００４６】
次に、対象物領域判定部２７は、分割された各クラスタの横方向の実距離であるクラスタ幅を算出する。（ステップＳ０５）。さらに、対象物領域判定部２７は、予め設定された範囲内の幅のクラスタが有るかどうかを判定する（ステップＳ０６）。設定範囲内の幅のクラスタが無い場合（ステップＳ０６のＮｏ）、この撮影フレームでの処理を終えて、次の撮影フレームの処理に移る。
【００４７】
予め設定された範囲内の幅のクラスタが有る場合（ステップＳ０６のＹｅｓ）、スキャン領域設定部２９は、この設定範囲内の幅であるクラスタの視差画像におけるＸ座標の最小値および最大値をそれぞれ、横方向スキャン領域の最小値および最大値として設定する（ステップＳ０７）。すなわち、設定範囲内の幅であるクラスタが対象物の存在する領域であると推定することができる。なお、複数のクラスタにおいてクラスタ幅が設定範囲内であると判定された場合、これら複数のクラスタの中で、ステレオカメラ３に最も近いクラスタの最小値および最大値を横方向スキャン領域の最小値および最大値として設定する。
【００４８】
次に、対象物検出部１５は、横方向に制限されたスキャン領域Ａｒ１内（図１０参照）で対象物をＨＯＧ特徴量などを用いて対象物を検出する（ステップＳ０８）。ＨＯＧ特徴量を用いる場合、横方向に制限されたスキャン領域Ａｒ１内のみ距離情報抽出部２１にて距離情報を抽出して対象物を検出する。なお、対象物が検出されると、スピーカ等で構成される警告出力部８から操縦者および周囲に対して警報を発する。また、対象物が検出されると、車速制御部９が減速の制御およびブレーキ制動を実施し、駆動モータ１１および車輪の回転が制動され、車両１が減速または停止する。
【００４９】
このように、実施例１によれば、対象物の存在領域を簡易に推定することができる。対象物の存在領域の推定は、距離情報抽出部２１により抽出された実際の距離情報を基に推定されるので、推定精度を向上させることができる。また、予め設定されたライン上だけ距離情報の抽出をすれば対象物の存在領域の有無を判定することができるので、対象物の領域推定を高速にすることができる。
【００５０】
また、対象物を検出するスキャン領域が制限されるので、対象物を検出する時間を短縮することができる。これにより、対象物を検出するフレームレートを上げることができ、より短い時間間隔で対象物を検出することができる。
【実施例２】
【００５１】
次に、図１１を参照して実施例２に係る対象物検出装置について説明する。図１１は実施例２における対象物検出装置の構成を示すブロック図である。実施例２において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。また、以下に記載した以外の車両および対象物検出装置の構成は実施例１と同様である。
【００５２】
実施例２の特徴は、対象物の存在領域の推定を縦方向においても実施する点である。実施例１では対象物の存在領域の推定を横方向にのみ限定していたが、実施例２では横方向に加えて縦方向にも推定する。これにより、縦方向にもスキャン領域を制限することができる。
【００５３】
実施例２における対象物領域推定装置１３’は、実施例１における対象物領域推定装置１３’に縦方向対象物領域判定部２８が追加された構成である。なお、実施例２における横方向対象物領域判定部２７’は実施例１における対象物領域判定部２７と同じ構成であり、同じ機能を有する。また、実施例２においては、視差画像上で距離情報が抽出される予め決められたラインは２本以上設定されている。
【００５４】
縦方向対象物領域判定部２８は、設定範囲内の幅のクラスタを有さないラインのＹ座標をスキャン領域の最大Ｙ座標値または最小Ｙ座標値の候補として判定する。初期設定では、スキャン領域の最大Ｙ座標値は視差画像（基準画像）の最大Ｙ座標であるＹＣｍａｘに設定されている。また、スキャン領域の最小Ｙ座標値は視差画像（基準画像）の最小Ｙ座標であるＹＣｍｉｎに設定されている。
【００５５】
設定範囲内の幅のクラスタを有さないラインのＹ座標値が、設定範囲内の幅のクラスタを有するラインのＹ座標値よりも大きい場合、設定範囲内の幅のクラスタを有さないラインのＹ座標値をスキャン領域の最大Ｙ座標値として更新する。また、設定範囲内の幅のクラスタを有さないラインのＹ座標値が、設定範囲内の幅のクラスタを有するラインのＹ座標値よりも小さい場合、設定範囲内の幅のクラスタを有さないラインのＹ座標値をスキャン領域の最小Ｙ座標値として更新する。
【００５６】
図１２、１３を参照して、縦方向の対象物の領域判定をさらに説明する。図１２は、１本のライン上で設定範囲の幅のクラスタが検出された場合であり、図１３は複数本のラインで設定範囲の幅のクラスタが検出された場合である。視差画像上にラインＬ１〜Ｌ３の３本のラインが設定されている。図１２では、横方向対象物領域判定部２７により、ラインＬ１上のクラスタＣＬ１の幅が設定範囲内であると判定され、他のクラスタは設定範囲内では無いと判定される。この場合、対象物Ｏｂ１は、設定範囲の幅のクラスタが検出されたラインＬ１の１本上に位置するラインＬ２と、ラインＬ１の１本下に位置するラインＬ３の間に存在すると推定することができる。そこで、縦方向のスキャン領域の最大値をラインＬ２のＹ座標であるＹＣＬ２と更新し、縦方向のスキャン領域の最小値をラインＬ３のＹ座標であるＹＣＬ３と更新することで、縦方向のスキャン領域を制限することができる。
【００５７】
図１３では、横方向対象物領域判定部２７により、ラインＬ１上のクラスタＣＬ５およびラインＬ２上のクラスタＣＬ６の幅が設定範囲内であると判定され、他のクラスタは設定範囲内では無いと判定される。この場合、ラインＬ２よりも上方に別のラインは位置していないので、視差画像の上縁の座標であるＹＣｍａｘからラインＬ１の１本下に位置するラインＬ３の間に対象物Ｏｂ２が存在すると推定することができる。そこで、縦方向のスキャン領域の最大値は初期設定値であるＹＣｍａｘとし、縦方向のスキャン領域の最小値をラインＬ３のＹ座標であるＹＣＬ３と更新することで、縦方向のスキャン領域を制限することができる。
【００５８】
なお、ラインＬ１およびラインＬ３上に設定範囲内の幅のクラスタが検出された場合、縦方向のスキャン領域の最大値をラインＬ２のＹ座標であるＹＣＬ２と設定し、縦方向のスキャン領域の最小値を初期設定値であるＹＣｍｉｎとすることで、縦方向のスキャン領域を制限することができる。
【００５９】
スキャン領域設定部２９’は、実施例１と同様にスキャン領域を横方向に制限するのに加えて、縦方向にも制限して設定する。すなわち、クラスタの幅に基づいて横方向の制限が行われ、各ラインのＹ座標、基準画像（視差画像）の最大Ｙ座標ＹＣｍａｘおよび最小Ｙ座標ＹＣｍｉｎに基づいて縦方向の制限が行われる。なお、縦方向対象物領域判定部２８により、縦方向の対象物領域が判定されなかった場合は、初期設定値通り、基準画像の最大Ｙ座標ＹＣｍａｘおよび最小Ｙ座標ＹＣｍｉｎをスキャン領域の最大Ｙ座標値および最小Ｙ座標値とする。
【００６０】
次に、実施例２における対象物検出の動作を図１４を用いて説明する。図１４は対象物検出の処理手順を示すフローチャートである。
【００６１】
ステップＳ０１〜ステップＳ０７まで実施例１と同様であるので、説明を省略する。ステップＳ０７の次に、縦方向対象物領域判定部２８は、全てのラインが設定範囲内の幅のクラスタを有するか否かの判定をする（ステップＳ０９）。全てのラインが設定範囲内の幅のクラスタを有する場合（ステップＳ０９のＹｅｓ）、縦方向のスキャン領域の設定は、基準画像の予め設定されている最大Ｙ座標ＹＣｍａｘと最小Ｙ座標ＹＣｍｉｎを設定する（ステップＳ１０）。すなわち、縦方向のスキャン領域に関して、実質的には制限をかけていない。
【００６２】
また、ステップＳ０９にて、全てのラインが設定範囲内の幅のクラスタを有さない場合（ステップＳ０９のＮｏ）、設定範囲内の幅のクラスタを有さないラインのＹ座標が設定範囲内の幅のクラスタを有するラインのＹ座標よりも大きいか判定する（ステップＳ１１）。
【００６３】
設定範囲内の幅のクラスタを有するラインのＹ座標よりも、設定範囲内の幅のクラスタを有さないラインのＹ座標が大きい場合（ステップＳ１１のＹｅｓ）、さらに、設定範囲内の幅のクラスタの無いラインのＹ座標がスキャン領域のＹ最大値よりも小さいか判定する（ステップＳ１２）。設定範囲内の幅のクラスタの無いラインのＹ座標がスキャン領域のＹ最大値よりも小さい場合（ステップＳ１２のＹｅｓ）、このラインのＹ座標値をスキャン領域のＹ最大値座標として更新する（ステップＳ１３）。設定範囲内のクラスタの無いラインのＹ座標がスキャン領域のＹ最大値以上の場合（ステップＳ１２のＮｏ）、何も処理をすることなく次の処理に移る。
【００６４】
設定範囲内の幅のクラスタを有さないラインのＹ座標が、設定範囲内のクラスタを有するラインのＹ座標よりも小さい場合（ステップＳ１１のＮｏ）、さらに、設定範囲内の幅のクラスタを有さないラインのＹ座標がスキャン領域のＹ最小値よりも大きいか判定する（ステップＳ１４）。設定範囲内の幅のクラスタを有さないラインのＹ座標がスキャン領域のＹ最小値よりも大きい場合（ステップＳ１４のＹｅｓ）、このラインのＹ座標値をスキャン領域のＹ最小値座標として更新する（ステップＳ１５）。
【００６５】
設定範囲内の幅のクラスタを有さないラインのＹ座標が、スキャン領域のＹ最小値以下の場合（ステップＳ１４のＮｏ）、何も処理をすることなく次の処理に移る。このようにして設定されたスキャン領域のＹ最大値座標およびＹ最小値座標を用いて、スキャン領域設定部２９が縦方向のスキャン領域を設定する（ステップＳ１０）。これら、横方向および縦方向において制限されたスキャン領域内で、実施例１と同様に対象物検出部１５が対象物を検出する（ステップＳ０８）。なお、次の撮影フレームの処理に移る際に、スキャン領域のＹ最大値座標およびＹ最小値座標が初期値に戻される。
【００６６】
このように、実施例２によれば、視差画像上において横方向に加えて縦方向にも対象物領域を推定する。これにより、図１５に示すように、対象物検出のスキャン領域を縦方向にも制限することができ、対象物検出の時間をより短縮することができる。
【００６７】
本発明は、上記実施例のものに限らず、次のように変形実施することができる。
【００６８】
（１）上記実施例において、クラスタ分割するラインＬ１〜Ｌ３は横方向のラインであった。これに限られず、横方向のラインに加えて、図１６に示すように、縦方向のラインを有し、縦方向のラインにおいてもクラスタ分割して対象物領域の推定をしてもよい。この場合、クラスタ分割部２５は、視差画像上に予め設定された縦方向のライン上の画素を、各画素の距離情報を基に複数個のクラスタに分割する。対象物領域判定部２７は、分割されたクラスタの中から横ライン上のクラスタの幅と、縦ライン上のクラスタの高さとを基に対象物の存在領域を判定する。例えば、図１６においては、クラスタＣＬ７の実空間での高さが予め設定された縦方向の設定範囲内であれば対象物領域と判定し、設定範囲内でなければ対象物領域ではないと判定する。対象物領域と判定すると、クラスタＣＬ７の最大値座標および最小値座標をそれぞれ、スキャン領域のＹ最大値座標およびＹ最小値座標として設定する。これにより、スキャン領域を縦方向にも制限することができる。
【００６９】
（２）上記実施例において、対象物の領域を推定するのに、クラスタ幅を基準としていた。これに限られず、クラスタ幅に加えて、クラスタの奥行き方向の長さも基準として対象物の領域を推定してもよい。
【００７０】
（３）上記実施例において、ステレオカメラ３を採用して視差画像を作成し、ステレオマッチングを実施することで距離情報を取得していた。これに限られず、距離情報を、例えば、レーダースキャナにより取得してもよい。この場合、単眼の画像センサにより取得された画像とレーダースキャナにより取得された距離情報とを予め対応づけされている必要がある。
【００７１】
（４）上記実施例において、対象物検出装置は車両に備えられていたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。
【符号の説明】
【００７２】
１  …  車両
３  …  ステレオカメラ
３ａ  …  左画像センサ
３ｂ  …  右画像センサ
５、５’  …  対象物検出装置
１３、１３’  …  対象物領域推定装置
１５  …  対象物検出部
１９  …  視差画像作成部
２１  …  距離情報抽出部
２５  …  クラスタ分割部
２７  …  対象物領域判定部
２９  …  スキャン領域設定部
【図１】
2014164564.tif 000003
【図２】
2014164564.tif 000004
【図３】
2014164564.tif 000005
【図４】
2014164564.tif 000006
【図５】
2014164564.tif 000007
【図６】
2014164564.tif 000008
【図７】
2014164564.tif 000009
【図８】
2014164564.tif 000010
【図９】
2014164564.tif 000011
【図１０】
2014164564.tif 000012
【図１１】
2014164564.tif 000013
【図１２】
2014164564.tif 000014
【図１３】
2014164564.tif 000015
【図１４】
2014164564.tif 000016
【図１５】
2014164564.tif 000017
【図１６】
2014164564.tif 000018
【図１７】
2014164564.tif 000019
【図１８】
2014164564.tif 000020