(57)【要約】【課題】移動物体の各部位の速度ベクトルが異なる場合であっても、移動物体領域を高い精度で判断する。【解決手段】カメラ１０の撮像画像から抽出された移動物体候補領域の進行方向側の下端からさらに下方向の最下端の画素を路面領域との境界として検出する路面境界検出機能と、路面領域との境界から進行方向側に速度情報が検出されない移動可能領域が存在する場合は移動物体候補領域を第一移動物体領域と判定する第一移動物体領域判定機能と、路面領域と移動可能領域との境界を先端として検出する移動物体先端検出機能と、先端から進行方向反対側の後端を検出する移動物体後端検出機能と、第一移動物体領域の下端、先端、後端を含む第二移動物体領域を判定する第二移動物体領域判定機能と、第一移動物体領域と第二移動物体領域を含む移動物体領域を判定する移動物体判定機能とを実行させる制御装置１０を備える。【選択図】  図１
2010211578.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両の前方の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から特徴点を抽出し、前記特徴点の移動速度及び／又は移動方向を含む速度情報を算出する速度情報算出手段と、
前記速度情報が予め設定された所定値未満である特徴点が含まれる領域を、移動物体候補の少なくとも一部を含む移動物体候補領域として抽出する移動物体候補領域抽出手段と、
前記移動物体候補領域における前記移動物体候補の進行方向側の下端からさらに下方向の速度情報を走査し、前記速度情報が画像の下方向の隣接画素において検出されない場合の最下端の画素を前記移動物体候補と路面領域との境界として検出する路面境界検出手段と、
前記路面領域との境界から前記移動物体候補の進行方向に前記速度情報の有無を走査し、前記速度情報が検出されない移動可能領域が存在する場合は、前記移動物体候補領域を第一移動物体領域と判定する第一移動物体領域判定手段と、
前記路面領域と前記移動可能領域との境界に位置する画素を前記移動物体候補の進行方向側の先端として検出する移動物体先端検出手段と、
前記先端から前記移動物体候補の進行方向とは反対方向に前記速度情報を走査し、予め求められた所定域値内の速度情報が前記進行方向とは反対方向の隣接画素において検出されない場合の画素を前記移動物体候補の進行方向側の後端として検出する移動物体後端検出手段と、
前記第一移動物体領域の下端、前記先端、前記後端を含む領域を第二移動物体領域として判定する第二移動物体領域判定手段と、
前記第一移動物体領域と前記第二移動物体領域を含む領域を、移動物体領域として判定する移動物体判定手段と、を有する移動物体検出装置。
【請求項２】
請求項１に記載の移動物体検出装置において、
前記移動物体候補領域抽出手段は、さらに、時系列に連続して検出される特徴点を含む領域の下端に位置する特徴点の移動方向が画像の下方向である場合は、前記領域を前記移動物体候補領域として抽出する移動物体検出装置。
【請求項３】
請求項１又は２に記載の移動物体検出装置において、
前記路面境界検出手段は、前記移動物体候補領域における前記移動物体候補の進行方向側の下端からさらに下方向の速度情報を走査し、前記移動物体候補の進行方向側の下端に対応する画素の速度情報との差が所定値未満の速度情報が下方向に検出されない場合の最下端の画素を前記移動物体候補と路面領域との境界として検出する移動物体検出装置。
【請求項４】
請求項１〜３の何れか一項に記載の移動物体検出装置において、
前記移動物体先端検出手段は、前記路面境界検出手段により検出された路面領域との境界と前記第一移動物体領域判定手段により検出された移動可能領域との間の領域にある、前記画像の縦方向に共通する速度情報が連続する立体物領域を抽出し、前記立体物領域の最下端の画素が前記路面境界検出手段により検出された最下端の画素と所定の位置関係に位置するとともに、前記立体物領域の最下端の画素の速度情報との差が所定値未満である場合は、前記最下端の画素と前記立体物領域とをグループ化し、前記グループ化された領域の前記移動物体候補の進行方向側の下端の画素を、前記移動物体候補の進行方向側の先端として検出する移動物体検出装置。
【請求項５】
請求項１〜４の何れか一項に記載の移動物体検出装置において、
前記移動物体後端検出手段は、前記検出された先端から前記移動物体候補の進行方向とは反対方向の速度情報を走査し、前記先端の速度情報に対する所定域値内の速度情報の画素を前記先端の画素とグループ化し、前記グループ化された領域の前記移動物体候補の進行方向と反対方向側の下端の画素を、前記移動物体候補の後端として検出する移動物体検出装置。
【請求項６】
請求項５に記載の移動物体検出装置において、
前記移動物体後端検出手段は、さらに、前記検出された先端の画素よりも画像上方向の所定高さ未満に位置する画素を前記先端の画素とグループ化する移動物体検出装置。
【請求項７】
請求項６に記載の移動物体検出装置において、
前記移動物体後端検出手段は、さらに、前記検出された先端の画素から前記移動物体候補の進行方向と反対方向の所定距離未満に位置する画素を前記先端の画素とグループ化する移動物体検出装置。
【請求項８】
請求項１〜７の何れか一項に記載の移動物体検出装置において、
前記移動物体後端検出手段は、前記先端の画素とグループ化する際に用いる所定値域を、前記画像に含まれる静止物の推定速度と、前記判定された第一移動物体領域に属する画素の速度情報の代表値との差の絶対値に基づいて求める移動物体検出装置。
【請求項９】
請求項１〜８の何れか一項に記載の移動物体検出装置において、
前記移動物体後端検出手段は、前記後端を検出した後、当該後端から前記移動物体候補の進行方向と反対方向に前記速度情報の有無を走査し、前記速度情報が検出されない移動可能領域が存在する場合は、先に検出した後端を確定する移動物体検出装置。
【請求項１０】
前記請求項１〜９の何れかに記載の移動物体検出装置において、
前記速度情報算出手段は、前記抽出された特徴部の位置に対応する画素のカウント値を所定周期でカウントアップし、前記カウント値の傾きに基づいて、前記特徴部に対応する画素の速度情報を算出する移動物体検出装置。
【請求項１１】
車両前方の撮像画像から抽出された特徴点の移動速度及び／又は移動方向を含む速度情報が予め設定された所定値未満である領域を、移動物体候補の少なくとも一部を含む移動物体候補領域として抽出し、
前記移動物体候補領域における前記移動物体候補の進行方向側の下端からさらに下方向の前記速度情報を走査し、前記速度情報が下方向の隣接画素において検出されない場合の最下端の画素を前記移動物体候補と路面領域との境界として検出し、
前記路面領域との境界から前記移動物体候補の進行方向に前記速度情報が検出されない移動可能領域と前記路面領域との境界に位置する画素を前記移動物体候補の進行方向側における先端として検出し、
前記先端から前記移動物体候補の進行方向とは反対方向に前記速度情報を走査し、予め求められた所定域値の速度情報が検出されない場合の画素を前記移動物体候補の進行方向側の後端として検出し、
前記第一移動物体領域と、前記第一移動物体領域の下端、前記先端、前記後端を含む領域を第二移動物体領域が同一物体に対応する領域であると判定する移動物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像に基づいて移動物体を検出する移動物体検出装置及び移動物体検出方法に関する。
【背景技術】
【０００２】
撮影画像のオプティカルフローを算出し、判定対象画素の鉛直方向又は水平方向に存在する比較対象画素を静止物体の点であると仮定し、判定対象画素の予測速度ベクトルを算出し、該判定対象画素の速度ベクトルの水平成分と予測速度ベクトルの水平成分との差が自車の進路方向に向かい、その速度差が所定しきい値以上の場合は、移動物体上の点と判断するとともに、位置の差と速度ベクトルの差が所定しきい値以下の点をグループ化して移動物体を抽出する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０９０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、移動物体の各部位の速度ベクトル（オプティカルフロー）の値が異なる場合、移動物体に対応する領域の判定精度が低下するという問題がある。
【課題を解決するための手段】
【０００５】
本発明は、画像から移動物体候補の少なくとも一部を含む移動物体候補領域の進行方向側の下端と、この下端よりも下方向に存在する移動物体候補の進行方向側の先端と、この先端から進行方向反対側に存在する移動物体候補の後端を検出し、この下端、先端及び後端が属する領域と移動物体候補領域とを含む領域を一の移動物体領域として判定することにより上記課題を解決する。
【発明の効果】
【０００６】
本発明によれば、同一の移動物体でありながら、部位によって異なる速度ベクトルが検出された場合であっても、移動物体の先端と後端を検出できるので、移動物体の存在領域を高い精度で判定することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態の移動物体検出システム１００を含む車載装置１０００のブロック構成の一例を示す図である。
【図２】図２（Ａ）及び（Ｂ）は、カメラ２０の搭載例を示す図である。図２（Ａ）はカメラを搭載する自車両を側面から見た図、図２（Ｂ）はカメラを搭載する自車両を上方から見た図である。
【図３】図３は、カメラ２０により撮像された自車両前方の画像例である。
【図４】図４（ａ）〜（ｆ）は移動速度の算出処理を説明するための図である。つまり、抽出されたエッジを正規化したエッジ画像を取得し、エッジのカウンタ値（滞留時間）から移動方向と移動速度を算出する手法を説明するための図である。
【図５】図５は、移動画像の一例を示す図である。
【図６】図６は、速度情報から立体物を抽出し、時間的に前後する立体物を比較して移動物体候補を抽出する処理を説明するための図である。図６（Ａ）は時刻ｔにおける立体物抽出結果を示し、図６（Ｂ）は時刻ｔ＋１における立体物抽出結果を示す図である。
【図７Ａ】図７Ａは、移動物体が歩行者である場合であって、移動物体候補領域から移動物体の最下端位置を検出し、最下端位置の進行方向側に移動可能な空間が存在するか判定し、存在すれば移動物体の先端位置を検出する処理を説明するための図である。
【図７Ｂ】図７Ｂは、移動物体が歩行者である場合であって、検出した先端位置から領域のグループ化を行い、後端位置を検出する処理を説明するための図である。
【図７Ｃ】図７Ｃは、移動物体が歩行者である場合であって、後端位置の確定処理を説明するための図である。
【図８Ａ】図８Ａは、移動物体が二輪車である場合であって、移動物体候補領域から移動物体の最下端位置を検出し、最下端位置の進行方向側に移動可能な空間が存在するか判定し、存在すれば移動物体の先端位置を検出する処理を説明するための図である。
【図８Ｂ】図８Ｂは、移動物体が二輪車である場合であって、検出した先端位置から領域のグループ化を行い、後端位置を検出する処理を説明するための図である。
【図８Ｃ】図８Ｃは、移動物体が二輪車である場合であって、後端位置の確定処理を説明するための図である。
【図９Ａ】図９Ａは、移動物体が自動車である場合であって、移動物体候補領域から移動物体の最下端位置を検出し、最下端位置の進行方向側に移動可能な空間が存在するか判定し、存在すれば移動物体の先端位置を検出する処理を説明するための図である。
【図９Ｂ】図９Ｂは、移動物体が自動車である場合であって、検出した先端位置から領域のグループ化を行い、後端位置を検出する処理を説明するための図である。
【図９Ｃ】図９Ｃは、移動物体が自動車である場合であって、後端位置の確定処理を説明するための図である。
【図１０】図１０は、本実施形態の移動物体検出処理を説明するためのフローチャート図である。
【発明を実施するための形態】
【０００８】
本実施形態の移動物体検出システム１００は、車両に搭載され、車両前方が撮像された画像情報から車両の走行方向前方に存在する移動物体を検出する装置である。
【０００９】
図面に基づいて、本実施形態に係る移動物体検出システム１００を含む車載装置１０００について説明する。
【００１０】
図１は、本実施形態の移動物体検出システム１００を含む車載装置１０００のブロック構成の一例を示す図である。
【００１１】
図１に示すように、車載装置１０００は、移動物体検出システム１００と、車両コントローラ２００と、警報装置３００と、走行支援装置４００と、出力装置５００とを備える、これらの装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行う。警報装置３００は、移動物体検出システム１００の検出結果に応じて運転者に警報を発する。走行支援装置４００は、移動物体検出システム１００の検出結果に応じた運転支援機能を実行する。また、出力装置５００は、移動物体検出システム１００の検出結果を、ディスプレイ及び／又はスピーカを介して運転者に提示する。
【００１２】
また、図１に示すように、移動物体検出システム１００は、カメラ２０と、画像メモリ２１と、制御装置１０を有する。
【００１３】
以下、移動物体検出システム１００が備える各構成について説明する。
【００１４】
まず、カメラ２０と画像メモリ２１について説明する。カメラ２０は、車両に搭載され、車両前方の画像を撮像する。カメラ２０は、例えばＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を有するカメラである。本実施形態のカメラ２０は、車両の進行方向の前方を所定周期で撮像し、撮像された画像をフレーム毎に画像メモリ２１に順次出力する。画像メモリ２１は、カメラ２０により撮像された画像をアクセス可能な状態で記憶する。
【００１５】
図２は、カメラ２０の設置例を示す。図２（Ａ）はカメラを搭載する自車両を側面から見た図、図２（Ｂ）はカメラを搭載する自車両を上方から見た図である。本実施形態では、カメラ２０を車両前方に向けて車両の室内上部に設置する。そして、カメラ２０の光軸ＬＳが、車両の走行方向（ドライバ正面方向）のＺ方向に向くように調整し、撮像面の水平軸Ｘが路面と平行となるように調整し、さらに、撮像面の垂直軸Ｙが路面と垂直になるように調整する。
【００１６】
図３は、本実施形態のカメラ２０を用いて車両前方を撮像する画像の例である。カメラ２０による撮像画像は、画像左上の頂点を原点とするｘｙ座標系によって表される。そして、原点から右方向へ延在する軸をｘ軸とし、原点から下へ延在する軸をｙ軸とする。なお、図３に示す撮像画像は、立体の静止物である外壁、画像右側から左側へ移動する歩行者、静止物である路上の白線（白色以外の線も含む）を含む。
【００１７】
さらに、図１に示すように、移動物体検出システム１００の制御装置１０は、本実施形態に係る移動物体検出処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory ）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、移動物体検出システム１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。なお、動作回路としては、ＣＰＵ（Central Processing Unit）１１に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。
【００１８】
次に、移動物体検出システム１００の制御装置１０が備える処理機能について説明する。制御装置１０は、速度情報算出機能と、移動物体候補領域抽出機能と、路面境界検出機能と、第一移動物体領域判定機能と、移動物体先端検出機能と、移動物体後端機能と、第二移動物体領域判定機能と移動物体判定機能とを有する。そして、各機能を実現するためのソフトウェアと、上述した制御装置１０を含むハードウェアの協働により各機能を実行する。
【００１９】
以下、上述した移動物体検出システム１００の制御装置１０が実現する機能についてそれぞれ説明する。
【００２０】
まず、移動物体検出システム１００の速度情報算出機能について説明する。
【００２１】
制御装置１０は、カメラ２０により撮像された画像の情報に基づいて、画像中の物体に対応する特徴点を抽出し、この抽出された特徴点の移動方向及び／又は移動速度を含む速度情報を算出する。つまり、この速度情報算出機能は、特徴抽出処理と速度情報の算出処理を実行する。
【００２２】
まず、制御装置１０は、カメラ２０が撮像する各画像データ（フレームデータ）から、撮像された物体の画像上の動きを観測するため、物体の外延、物体の特徴的な部分を含む特徴部を抽出する。本実施形態の制御装置１０は、カメラ２０で撮像された画像を画像メモリ２１から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化し、画像内に存在する物体のエッジを抽出する。
【００２３】
制御装置１０は、抽出されたエッジから求められた特徴部の画素の速度を算出する。制御装置１０は、求めた特徴部の移動速度と移動方向を、撮像タイミング識別子又はフレーム識別子と対応づけてＲＡＭ１３に記憶する。この画素の速度情報は、画素を特定する特定情報とともに、「画素の移動速度」と「画素の移動方向」とを含む。なお、一の画像データ中に複数の特徴部が存在する場合は、すべての特徴部について速度を算出する。
【００２４】
そして、制御装置１０は、カメラ２０により撮像された物体の画像の情報に基づいて、物体の外延に対応するエッジが検出された位置の画素のカウント値をカウントアップし、このカウント値の傾きに基づいて、エッジの移動速度及び移動方向を算出する。
【００２５】
さらに、制御装置１０は、撮像タイミングが異なる画像データについて、各画像データに含まれるエッジに対応する画素の画素カウンタのカウンタ値を所定の手法で更新する。ここで、画素カウンタとは、画素ごとに設定されたカウンタであり、画素がエッジに対応する場合は画素カウンタのカウンタ値を＋１加算し、画素がエッジに対応しない場合は画素カウンタのカウンタ値を０とする（初期化する）カウンタである。このカウンタ値の更新処理を、カメラ２０により所定周期で繰り返し撮像されるフレーム毎に行う。この操作を行うと、エッジに対応する時間が長い画素は、対応する画素カウンタのカウンタ値が大きくなり、他方、エッジに対応する時間が短い画素は、対応する画素カウンタのカウンタ値が小さくなる。
【００２６】
この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表す。制御装置１０は、このカウンタ値に基づいて、撮像画像上におけるエッジの移動方向と移動速度とを算出する。画像の座標系は方位を表しているため、エッジ、及びこのエッジに対応する特徴部の移動方向と移動速度を求めることができる。
【００２７】
以下、図４に基づいて、速度情報の算出手法を具体的に説明する。
【００２８】
図４は速度情報の算出処理を説明するための図であり、抽出されたエッジを正規化したエッジ画像を取得し、エッジのカウンタ値（滞留時間）から移動方向と移動速度を算出する手法を説明するための図である。
【００２９】
制御装置１０は、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を１とし、エッジの検出されなかった位置の画素を０とする処理である。図４（ａ）は抽出された垂直方向のエッジの２値化画像例を示す。
【００３０】
次に、図４（ｂ）に示すように、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。つまり、抽出された各エッジに対して細線化処理を行ってエッジ幅を絞る。本例では、図４（ｂ）に示すように、所定画素幅として１画素になるまでエッジのエッジ幅を細線化する。このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定する。なお、本例では、１画素に細線化する例を示すが、細線化する画素数は特に限定されない。
【００３１】
次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅が一定の幅となるように膨張させるとともに、中心位置からエッジの移動方向と反対方向にもエッジ幅を膨張させる処理である。本例では、細線化されたエッジのエッジ幅が３画素分の幅となるように、エッジを水平方向に膨張させる。この処理により、抽出されたエッジを正規化し、各エッジの幅が均一なエッジ画像を得る。具体的に、図４（ｃ）に示すように、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させるとともに、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させる。
【００３２】
このように細線化処理と膨張処理とを行うことによって、抽出されたエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一し、規格化する。
【００３３】
続いて、速度情報を算出におけるカウントアップ処理について説明する。ここに言うカウントアップ処理とは、エッジが検出された画素の位置に対応するメモリアドレスの値をカウントアップし、エッジが検出されなかった画素の位置に対応するメモリアドレスの値を初期化する処理である。
【００３４】
以下、図４（ｃ）〜（ｆ）に基づいて算出部２２によるエッジのカウントアップ処理について説明する。説明の便宜のため、ここでは、エッジがｘ軸の正方向に移動する場合を例にして説明する。エッジがｘ軸の負方向やｙ軸方向、あるいは２次元的に移動する場合においても、基本的な処理手法は共通する。
【００３５】
図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置がある。そして、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１に膨張され、同様に、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張される。
【００３６】
このようなエッジが検出された位置、「ｘ０−１」、「ｘ０」、「ｘ０＋１」に対応するメモリアドレスのカウント値は、「＋１」カウントアップされる。他方、エッジが検出されなかった位置に対応するメモリアドレスのカウント値は、リセットされる。
【００３７】
例えば、図４（ｄ）に示すように、時刻ｔにおいて、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」にエッジが検出されている。このため、それぞれの位置に対応するメモリアドレスのカウント値が各「１」カウントアップされる。その結果、位置「ｘ０＋１」のカウント値は「１」であり、位置「ｘ０」のカウント値は「３であり」、位置「ｘ０−１」のカウント値は「５」である。
【００３８】
次に、図４（ｅ）に示すように、時刻ｔ＋１になってもエッジが移動していないので、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」の各位置でエッジが検出される。このため、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値をさらに１ずつカウントアップする。その結果、位置「ｘ０＋１」のカウント値は２となり、位置「ｘ０」のカウント値は４となり、位置「ｘ０−１」のカウント値は６となる。
【００３９】
さらに、図４（ｆ）に示すように、時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」の位置でエッジが検出される。このため、エッジが検出された位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」に対応するメモリアドレスのカウント値がカウントアップされる。他方、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「ゼロ」となる。その結果、図４（ｆ）に示すように位置「ｘ０＋２」のカウント値は１となり、位置「ｘ０＋１」のカウント値は３となり、位置「ｘ０」のカウント値は５となる。さらに、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「０」となる。
【００４０】
制御装置１０は、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、エッジの検出されなかった位置に対応するメモリアドレスのカウント値をリセットする処理を繰り返す。  なお、図４に基づく説明においては、カウント値を検出する位置としてエッジの中心位置「ｘ０」と、この中心位置からエッジの移動方向へ１画素の位置「ｘ０＋１」と、中心位置からエッジの移動方向と反対方向に１画素の位置「ｘ０−１」の３箇所でカウント値を検出するが、後述するカウント値の傾きが求められれば、カウント値を検出するポイントの配置、数は限定されない。つまり、エッジの移動方向に対して２箇所以上においてカウント値を検出できれば、カウント値の検出箇所はいくつであってもよい。
【００４１】
そのカウント値はその位置においてエッジが検出されている時間（フレーム数、滞留時間）と相関する。エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。例えば、図４の例では、位置ｘ０において時刻ｔと時刻ｔ＋１の２回エッジが検出されている。したがって、エッジが検出された位置のカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数）と等しくなる。特にエッジのカウント値のうち最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。
【００４２】
次に、本実施形態における、エッジの移動速度、移動方向及び位置の算出手法について説明する。本実施形態では、抽出された特徴部の位置に対応する画素のカウント値を所定周期でカウントアップし、カウント値の傾きに基づいて、特徴部に対応する画素の速度情報を算出する。
【００４３】
例えば、図４（ｅ）の場合では、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値がそれぞれ「６」、「４」、「２」である。位置「ｘ０−１」のカウント値「６」から「ｘ０＋１」のカウント値「２」を引くと、カウント値の傾きＨは、Ｈ＝（６−２）／２＝２と算出できる。
【００４４】
これは、Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動した後の時間）｝／（２画素）を意味する。つまり、傾きＨを算出することにより、エッジが位置ｘ０にある１画素を通過するのに要する時間（フレーム数）を算出することになる。
【００４５】
したがって、カウント値の傾きＨは、エッジが１画素移動するために何フレームを要するかに相当し、このカウント値の傾きＨに基づいてエッジの移動速度１／Ｈを算出する。図４（ｅ）では１画素移動するのに２フレームを要することになるので、エッジの移動速度は１／２（画素／フレーム）と算出する。
【００４６】
続いて、カウント値の大小に基づいて、エッジの移動方向を判断する手法について説明する。エッジの無い位置にエッジが移動し、新たにエッジが検出された位置のカウント値は１となるから、各位置のカウント値の中では最も小さな値となる。したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなる。この傾向を利用して、エッジの移動方向を判断することができる。
【００４７】
現在の位置におけるカウント値の中で最小のカウント値ｈは、エッジがその位置で検出されている時間、すなわちエッジが移動してから何フレームの間、同じ位置にあるかということを表している。このため、エッジの位置は、エッジの中心位置をｘ０とすると、エッジの位置＝ｘ０＋ｈ／Ｈ  により求めることができる。例えば、図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では1フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は、「１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素」だけ位置ｘ０から移動していると算出することができる。
【００４８】
以上のことから、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び移動方向を算出することができる。
【００４９】
なお、本実施形態の速度情報算出部２０は、各エッジに対応する画素のｘ方向（横方向）成分の速度情報を算出する。
【００５０】
また、制御装置１０は、撮像画像上に存在するエッジの速度情報を所定の階級値に分類し、速度情報の特徴を表現する移動画像を生成する。図５に移動画像の一例を示す。図５に示すように、本実施形態の移動画像では、速度情報が検出されたエッジの画素を丸印で表し、移動速度が速い画素ほど点を大きい丸印で表すことにより、画素の速度情報を表現する。また、移動方向が右、すなわち右方向へ移動する画素を塗りつぶした黒印で表し、移動方向が左、すなわち左方向へ移動する画素を色抜きの白印で表すことにより、画素の移動方向を表現する。このように、移動画像は、移動速度と移動方向を含む速度情報を表現する。
【００５１】
すなわち、図５においては、自車両の走行路右側の外壁よび白線に対応する領域では画像の右側へ向かう速度が検出されており、走行路左側の外壁に対応する領域では画像の左側へ向かう速度が検出される。また、走行路右側から左側へ移動する歩行者は、カメラ２０の光軸の右側に衝突の可能性があるとすると、歩行者の胴体付近である中央部分は画像の右側へ向かう速度がされ、脚部は左側へ向かう速度が検出される。
【００５２】
次に、移動物体検出システム１００の移動物体候補領域抽出機能について説明する。制御装置１０は、速度情報が予め設定された所定値未満である特徴点が含まれる領域を、移動物体候補の少なくとも一部を含む移動物体候補領域として抽出する。具体的に、制御装置１０は、撮像画像に含まれる立体物（の画像領域）を抽出し、立体物として抽出された画像領域のうち、速度情報が予め設定された所定値未満である特徴点が含まれる領域を、自車両に接近する可能性の高い移動立体物の移動物体候補領域として抽出する。
【００５３】
制御装置１０は、検出対象となる立体物を抽出する。制御装置１０は、特徴部の各画素の速度情報に基づいて、速度情報の共通する（速度情報の値の差が所定値未満である、以下同じ）画素が縦方向に連続する領域を抽出する。「縦方向に速度情報が共通する画素が連続する」という特徴は、画像上における立体の特徴である。制御装置１０は、立体物が含まれる画像領域を抽出するにあたり、画像中の特徴部において検出された画素のカウント値の傾きに基づいて算出された速度情報を用いる。
【００５４】
図６は、速度情報から立体物を抽出し、時間的に前後する立体物を比較して移動物体候補を抽出する処理を説明するための図である。図６（Ａ）は時刻ｔにおける立体物抽出結果を示し、図６（Ｂ）は時刻ｔ＋１における立体物抽出結果を示す図である。
【００５５】
具体的に、制御装置１０は、図６（Ａ）に示す移動画像を縦方向（ｙ軸方向）に探索する。ただし、縦に連続する速度情報を有する画素列の抽出にあたり、画素列の上端画素と下端画素については、この速度情報の共通性判断の処理の対象としない。移動画像を縦方向に探索し、速度情報を持った画素Ａ（画素の符号は図示しない）が見つかった場合、画素Ａに縦方向に隣接する画素Ｂを探索する。画素Ｂが速度情報を有し、さらに画素Ｂと縦方向に隣接する画素Ｃも速度情報を有する場合、画素Ｂと画素Ｃの移動方向の差（Ｅ３−Ｅ２）が閾値Ｒｅ以内であり、かつ、画素Ｂと画素Ｃの移動速度の大きさの差（Ｖ３−Ｖ２）が閾値Ｔｖ以内であれば、共通する画素が縦に連続すると判断する。次に、画素Ｃに縦方向に隣接する画素Ｄについても同様に速度情報の有無を判断し、画素Ｂと画素Ｄの移動方向（Ｅ４−Ｅ２が閾値Ｔｖ以内か）が閾値Ｒｅ以内か、移動速度の大きさの差（Ｖ４−Ｖ２）が閾値Ｔｖ以内かを判断する。以後、いずれかの条件を満たさなくなるまで繰り返す。
【００５６】
そして、画素Ｎで条件を満たさなくなった場合、たとえば、画素Ｎに移動速度が無かった場合は画素Ａから画素Ｎ−１までの画素の数をカウントする。また、画素Ｎに移動速度はあるが、画素（Ｎ−１）の移動速度との差(Ｖｎ−Ｖｎ−1)が閾値Ｔｖを超える場合は、画素Ａから画素Ｎまでの画素の数をカウントする。さらにまた画素Ｎの速度の方向と画素Ｎ−１の移動方向の差が所定値以内である場合は画素Ａから画素Ｎまでを画素の数をカウントする。このように、速度情報が所定の条件を満たす画素の数をカウントする。そのカウント値が閾値ＴＨ以上であれば、その画素列を縦方向に速度情報が共通するという特徴を備える立体物の一部の画像領域として抽出する。
【００５７】
この手法により、本実施形態の制御装置１０は、図６（Ａ）に示すように、ＯＢ１（ｔ）〜ＯＢ１１（ｔ）の立体物を抽出する。
【００５８】
次に、制御装置１０は、立体物のうち、自車両に接近する可能性のある移動物体を抽出する。
【００５９】
制御装置１０は、撮像タイミングの異なる図６（Ａ）及び（Ｂ）に示す異なるタイミングで得られた、立体物の位置と速度情報を比較する。立体物が自車両に接近する可能性がある場合は、自車両（のカメラ１０）と立体物のなす角が経時的にほぼ一定であるため、その速度情報は比較において（自車両に接近しない対象物の速度情報に比べて）小さい値を示す。つまり、図６に示す移動画像において、接近する立体物の移動速度に対応する丸印の大きさが比較的小さい。したがって、速度情報の小さい画素を含む領域に対応する立体物は、自車両に接近する可能性が高い。
【００６０】
本実施形態の制御装置１０は、異なる時刻で検出された立体物の速度情報と比較し、速度情報が予め設定された所定値Ａ未満である特徴点が含まれる領域を、自車両に接近する可能性がある移動物体候補の少なくとも一部を含む移動物体候補領域として抽出する。自車両に接近する可能性の高い移動物体（立体物）を抽出するための閾値である所定値Ａは、予め実験等により任意に設定する。
【００６１】
さらに、立体物が自車両に接近する可能性がある場合は、画面の水平位置の変化が小さく、また立体物に対応する画像領域の下端が画像の下方向（ｙが大きい値となる方向）に移動する。つまり、立体物に対応する画像領域の下端が画像の下方向に移動し、その速度情報の移動量が小さい領域に対応する立体物は、自車両に接近する立体物である可能性が高い。
【００６２】
本実施形態の制御装置１０は、速度情報が予め設定された所定値Ａ未満であり、さらに、時系列に連続して検出される特徴点を含む領域の下端に位置する特徴点の移動方向が自車両に接近する方向、すなわち画像の下方向（ｙが大きい値となる方向）である場合は、その領域を自車両に接近する可能性がある移動物体候補の少なくとも一部を含む移動物体候補領域として抽出する。
【００６３】
つまり、制御装置１０は、異なる時刻で検出された立体物の水平位置の移動量が小さく、下端位置が下方向に移動した立体物を、自車両に接近する可能性のある移動物体であると判断する。
【００６４】
そして、制御装置１０は、この移動物体に対応する画像領域を、移動物体候補の一部を含む移動物体候補領域として抽出する。
【００６５】
図６に示す例において、制御装置１０は、時刻ｔ１において抽出された立体物ＯＢ１（ｔ）〜ＯＢ１１（ｔ）と時刻ｔ＋１において抽出された立体物ＯＢ１（ｔ＋１）〜ＯＢ９（ｔ＋１）の速度情報を比較し、対応関係にある立体物ＯＢ８（ｔ）とＯＢ６（ｔ＋１）を自車両に接近する可能性がある移動物体候補の少なくとも一部が含まれる移動物体候補領域として抽出する。
【００６６】
次に、移動物体検出システム１００の路面境界検出機能について説明する。制御装置１０は、移動物体候補領域と路面領域との境界を検出する。
【００６７】
具体的に、制御装置１０は、移動物体候補領域における移動物体候補の進行方向側の下端からさらに画像の下方向（ｙが大きい値となる方向）の速度情報を走査し、速度情報が画像の下方向の隣接画素において検出されない場合の最下端の画素を移動物体候補と路面領域との境界として検出する。この処理により、移動物体の最下端を求めることができる。
【００６８】
また、走査方向としての「下方向」とは鉛直下向き方向（画像のＸ座標が同じでＹ座標が増加する方向）場合のほか、斜め下方向（画像のＸ座標が異なり、Ｙ座標が増加する方向）を含む（以下、同じ）。本処理において、制御装置１０は、移動物体候補の進行方向側の下端からの距離が最も近い路面領域との接点（画像の下方向の隣接画素において速度情報が検出されない画素）を、移動物体の最下端として検出する。
【００６９】
また、制御装置１０は、速度情報の有無に代えて、速度情報の値に基づいて、最下端を検出する。つまり、制御装置１０は、移動物体候補の進行方向側の下端からさらに下方向の速度情報を走査し、移動物体候補の進行方向側の下端に対応する画素の速度情報との差が所定値Ｂ未満の速度情報が下方向に検出されない場合の最下端の画素を移動物体候補と路面領域との境界として検出する。この移動物体の最下端を求める処理における所定値Ｂは、異なる領域が共通の物体に属するものであるか否かを判断する観点から予め設定される。
【００７０】
次に、移動物体検出システム１００の第一移動物体領域判定機能について説明する。制御装置１０は、先に求めた移動物体候補と路面領域との境界から移動物体候補の進行方向に速度情報の有無を走査し、速度情報が検出されない移動可能領域が存在する場合は、先に求めた移動物体候補領域（図６Ｂの例ではＯＢ６（ｔ＋１））を第一移動物体領域と判定する。
【００７１】
つまり、本実施形態の移動物体検出システム１００は、移動物体候補の進行方向側に移動可能な移動空間があるか否かを判断し、移動物体候補の進行方向側に移動空間がある場合はその移動物体候補が自車両に接近する可能性が高いことが確認できるため、移動物体候補領域を第一移動物体領域とする。この第一移動物体領域は、本実施形態の移動物体検出システム１００が検出する移動物体の対応領域の一部をなす。
【００７２】
次に、移動物体検出システム１００の移動物体先端検出機能について説明する。制御装置１０は、移動可能領域と路面領域との境界（コーナー部分）に位置する画素を、移動物体候補の進行方向側の先端として検出する。
【００７３】
また、制御装置１０は、この路面領域と移動可能領域との間に特徴点が抽出される場合は、次のようにして先端を検出する。すなわち、制御装置１０は、まず、検出された路面領域との境界と移動可能領域との間の領域にある、画像の縦方向に共通する速度情報が連続する立体物領域を抽出する。そして、制御装置１０は、この抽出された立体物領域の最下端の画素が路面領域との境界として検出された最下端の画素と所定の位置関係に位置するとともに、立体物領域の最下端の画素の速度情報と路面領域との境界として検出された最下端の画素の速度情報との差が所定値Ｃ未満である場合は、立体物領域と移動物体候補と路面領域との境界をグループ化する。さらに、制御装置１０は、グループ化された領域の移動物体候補の進行方向側の下端の画素を、移動物体候補の進行方向側の先端として検出する。なお、この移動物体の先端を求める処理における所定値Ｃは、異なる領域が共通の物体に属するものであるか否かを判断する観点から予め設定される。
【００７４】
具体的に、本実施形態の制御装置１０は、路面領域と移動可能領域との間に検出された立体物の画像領域が、先に検出した先端（路面領域との境界として検出された最下端）から所定距離範囲内に位置し、その立体物の画像領域の速度情報と先に検出した先端（路面領域との境界として検出された最下端）の速度情報との差が小さく、所定値Ｃ未満である場合は、その立体物は先に検出した先端に連なる移動物体候補の一部分であると判断し、この立体物を含めて、最も進行方向側の下端にある画素を、移動物体の先端として検出する。
【００７５】
次に、移動物体検出システム１００の移動物体後端検出機能について説明する。制御装置１０は、進行方向の先端に対応する移動物体の後端を求める。制御装置１０は、先に検出された先端から移動物体候補の進行方向と反対方向（反対方向乃至反対方向、進行方向に対して１８０°±α、以下同じ）に速度情報を走査し、予め求められた所定域値の速度情報が進行方向とは反対方向の隣接画素において検出されない場合の画素を移動物体候補の進行方向側の後端として検出する。
【００７６】
また、制御装置１０は、検出された先端から移動物体候補の進行方向とは反対方向に速度情報を走査し、予め求められた所定値域の速度情報の画素を先端の画素とグループ化し、このグループ化された領域の移動物体候補の進行方向と反対方向側の下端の画素を、移動物体候補の後端として検出する。なお、特に限定されないが、所定値域は先端と後端とが同一移動物体であるか否かを判断する観点から、予め求められる。本実施形態において、この所定値域は先端の速度情報に基づいて算出される。
【００７７】
つまり、制御装置１０は、先端の画素に対して進行方向と反対方向側に位置する画素であって、先端の速度情報に基づいて算出された所定値域の速度情報を有する画素を少なくとも一時的にグループ化し、このグループ化された画素のうち移動物体候補の進行方向と反対方向側の下端の画素を後端とする。
【００７８】
なお、この処理において、グループ化される画素は、必ずしも隣接していなくてもよい。歩行者の両足のように、別々の立体物として検出され、その間には速度情報が無い部分もあるからである。本実施形態の後端検出処理においては、先端とグループ化が許容される画素間隔（歩行者の両足の開きなどに応じた画素間隔）を予め設定する。制御装置１０は、この画素間隔以内であれば、連続していなくても、所定値域の速度情報を後端検出用のグループに属すると判断する。
【００７９】
また、制御装置１０は、先端の画素とグループ化する際に用いられる所定値域を、画像に含まれる静止物の推定速度と、第一移動物体領域に属する画素の速度情報の代表値との差の絶対値に基づいて求める。
【００８０】
まず、制御装置１０は、第一移動物体領域の属する画素の速度情報の代表値として、第一移動物体領域内の速度情報の平均値を求める。また、制御装置１０は、第一移動物体領域（移動物体候補領域）における静止物体の推定速度を算出する。そして、制御装置１０は、第一移動物体領域の速度情報の平均値と静止物体の推定速度との差の絶対値に基づく値域を、グループ化処理における所定値域として設定する。
【００８１】
ちなみに、静止物体の推定速度は、以下のように計算する。車速Ｖ（ｋｍ／ｈ）と、物体Ａの位置ａ（Ｚ，Ｘ（ｍ））が与えられれば、物体Ａが存在する位置ａにおける静止物体の速度情報Ｓ（画素／秒）を式１及び式２から算出することができる。ここで、Ｆはフレームレート（ｆｐｓ）、θは自車両と物体とのなす角（Ｒａｄ）ＰＸｒは横方向の１画素あたりの角度分解能（Ｒａｄ）を示す。自車両の速度、フレームレートその他の必要な情報は車両コントローラ２００から取得する。車両コントローラ２００は、物体検出装置１００の要求に応じて、必要な情報を送出する。
【００８２】
θ＝ＡＴＡＮ（Ｘ／Ｚ）…式１
Ｓ＝Ｆ*（ＡＴＡＮ（Ｘ／（Ｚ＋Ｖ／(３．６*Ｆ)）―θ）／ＰＸｒ）…式２
また、物体Ａの位置Ｚ，Ｘは、後述する式３,４に示すように画像下端でのｘ，ｙ座標から，カメラパラメータを用いて計算することから、物体下端位置、つまり路面上の速度を計算することとなる。
【００８３】
ただし、ｙ座標は、移動物体候補領域の下端ではなく、移動物体候補領域の先端（コーナー部）に位置する画素のｙ座標を用いる。ｘ座標は移動物体候補領域の水平中心座標を用いる。ここで、Ｃｈ（ｍ）はカメラ高さ、Ｔｒ（Ｒａｄ）はカメラ俯角、Ｉｈは画像縦サイズ、Ｉｗは画像横サイズ、ＰＹｒ（Ｒａｄ）は高さ方向の１画素あたりの角度分解能を示す。
【００８４】
Ｚ＝(Ｃｈ)/(ＴＡＮ(Ｔｒ+(ｙ-Ｉｈ／２)*ＰＹｒ))…式３
Ｘ＝ｘ*ＴＡＮ((Ｚ-Ｉｗ／２)* ＰＸｒ)…式４
さらに、上述した後端の検出処理において、制御装置１０は、検出された先端の画素よりも画像上方向の所定高さ未満に位置する画素を、先端の画素とグループ化する。同一移動物体であれば、その後端の画素の位置は、先端の画素の位置よりも画像の上側（ｙが小さくなる方向）に位置する。また、移動物体の高さは、検出対象の大きさに応じて上限を設定することが可能である。例えば、歩行者の脚部の長さには一般的な人間の脚の長さに応じた上限を設定できる。このため、制御装置１０は、検出された先端の画素よりも画像上方向の所定高さ未満に位置する画素のみを後端の候補としてグループ化する。これにより、検出の対象とする移動物体（例えば歩行者の脚部）の後端を高い精度で抽出することができる。
【００８５】
加えて、この後端の検出処理において、制御装置１０は、検出された先端の画素から移動物体候補の進行方向と反対方向の所定距離未満に位置する画素を、先端の画素とグループ化する。移動物体の幅は、検出対処の長さや大きさに応じて上限を設定することが可能である。例えば、歩行者の幅、二輪車の幅、車両の幅には上限を設定できる。このため、制御装置１０は、検出された先端の画素から画像横方向の所定距離未満に位置する画素のみを後端の候補としてグループ化する。これにより、検出の対象とする移動物体（例えば歩行者、二輪車、自動車）の後端を高い精度で抽出することができる。
【００８６】
さらにまた、この後端の検出処理において、制御装置１０は、一度、後端を検出した後、この後端から移動物体候補の進行方向と反対方向に速度情報の有無を走査し、速度情報が検出されない移動可能領域が存在する場合は、先に検出した後端を確定する。先端と同様に、後端が移動可能領域と隣接していれば、後端は、移動物体候補に対応する画像領域の外延上に存在することが確認できる。このため、本実施形態では、後端からさらに移動方向の反対方向に速度情報を走査して、後端と移動可能領域とが隣接していれば、先に検出した後端を確定する。
【００８７】
次に、移動物体検出システム１００の第二移動物体領域判定機能を説明する。制御装置１０は、第一移動物体領域の下端、先端、後端を含む領域を第二移動物体領域として判定する。歩行者を例にすれば、歩行者の脚部を第二移動物体領域として判定する。このように第二移動物体領域を上端位置、右端位置、左端位置の３点により特定することができる。
【００８８】
最後に、移動物体検出システム１００の移動物体判定機能について説明する。制御装置１０は、第一移動物体領域と第二移動物体領域を含む領域を、移動物体領域として判定する。歩行者を例にすれば、歩行者の胴体部に対応する第一移動物体領域と歩行者の脚部に対応する第二移動物体領域を併せて移動物体の領域と判定する。
【００８９】
以上のとおり説明する第一移動物体領域の判定処理、第二移動物体領域の判定処理、及び移動物体の領域の判定処理を、図７Ａ〜図７Ｃ、図８Ａ〜図８Ｃ、図９Ａ〜図９Ｃに基づいて具体的に説明する。
【００９０】
図７Ａは、移動物体が歩行者である場合であって、移動物体候補領域から移動物体の最下端位置を検出し、最下端位置の進行方向側に移動可能な空間が存在するか判定し、存在すれば移動物体の先端位置を検出する処理を説明するための図、図７Ｂは、移動物体が歩行者である場合であって、検出した先端位置から領域のグループ化を行い、後端位置を検出する処理を説明するための図、移動物体が歩行者である場合であって、後端位置の確定処理を説明するための図である。
【００９１】
また、図８Ａ〜Ｃは、移動物体が二輪車である場合であって、図７Ａ〜Ｃにそれぞれ対応する図である。同様に、図９Ａ〜Ｃは、移動物体が自動車である場合であって、図７Ａ〜Ｃにそれぞれ対応する図である。
【００９２】
まず、図７Ａに基づいて、移動物体候補が歩行者である場合を例にして、先端の検出手法の一例を説明する。
【００９３】
図７Ａに示すように、制御装置１０は、移動物体候補の進行方向（図中矢印方向）側の下端（ｘｌ、ｙｌ）からさらに斜め下向き（画像下方向、ｘ座標値が変化せずｙ座標値が増加する方向、乃至ｘ座標値が変化しｙ座標値が増加する方向、以下同じ）に速度情報の有無を走査し、速度情報が画像の斜め下方向の隣接画素において検出されない場合の最下端（ｘｌ−１、ｙｌ＋ｎ）の画素を検出する。この最下端（ｘｌ−１、ｙｌ＋ｎ）は、移動物体候補と路面領域との境界である。
【００９４】
本例において、制御装置１０は、移動物体の進行方向側に立体物の速度情報が無い領域（移動可能領域）が検出される場合は、自車両と接近する可能性が高いので、移動物体候補領域を、検出するべき移動物体候補（自車両に接近する移動物体候補）であると確定する。他方、移動物体の進行方向側に移動可能領域が検出されない場合には、自車両と接近する可能性が低いので、制御装置１０は移動物体候補領域を、検出する必要の無い移動物体候補（自車両に接近しない移動物体候補）であると判断する。
【００９５】
図７Ａに示す例では、制御装置１０は、路面領域との境界（ｘｌ−１、ｙｌ＋ｎ）から移動物体候補の進行方向（図中左側方向）に速度情報が検出されない移動可能領域（図中楕円図形で示す）が存在するため、移動物体候補領域ＯＢ６（ｔ＋１）を第一移動物体領域と判定する。
【００９６】
さらに、制御装置１０は、移動物体候補の最下端（ｘｌ−１、ｙｌ＋ｎ）と移動可能領域との間に存在する立体物を参照し、その立体物の下端位置が移動物体候補の最下端位置より上方の所定範囲内に存在し、移動物体候補の最下端位置を構成する立体物の速度情報との速度差が所定値以内であれば、同一移動物体としてグループ化を行い、グループ化された領域の移動物体候補の進行方向側の下端の画素を、移動物体候補の進行方向側の先端として検出する。
【００９７】
ただし、図７Ａの例では、最下端（ｘｌ−１、ｙｌ＋ｎ）と移動可能領域との間に立体物が存在しないため、先端の位置は変更されず、移動物体候補の最下端（ｘｌ−１、ｙｌ＋ｎ）を先端として検出する。
【００９８】
また、図８Ａに基づいて、移動物体候補が二輪車である場合を例にして、先端の検出手法の一例を説明する。
【００９９】
図８Ａに示す例において、移動物体候補領域はＯＢ７（ｔ＋１）である。そして、移動物体候補領域ＯＢ７（ｔ＋１）の進行方向側の下端は（ｘｌ、ｙｌ）である。この移動物体候補領域の下端は（ｘｌ、ｙｌ）からさらに下方向乃至斜め下方向（本例ではｘ座標値が減少し、ｙ座標値が増加する方向）の速度情報を走査し、速度情報が画像の下方向の隣接画素において検出されない場合の最下端の画素（ｘｌ−５、ｙｌ＋ｎ）を検出する。この最下端の画素（ｘｌ−５、ｙｌ＋ｎ）が移動物体候補と路面領域との境界である。
【０１００】
さらに、図８Ａに示す例では、制御装置１０は、路面領域との境界（ｘｌ−５、ｙｌ＋ｎ）から移動物体候補の進行方向（図中左側方向）に速度情報が検出されない移動可能領域（図中楕円図形で示す）が存在するため、移動物体候補領域ＯＢ７（ｔ＋１）を第一移動物体領域と判定する。なお、図８Ａの例では、最下端（ｘｌ−５、ｙｌ＋ｎ）と移動可能領域との間に立体物が存在しないため、先端の位置は変更されず、移動物体候補の最下端（ｘｌ−５、ｙｌ＋ｎ）を先端として検出する。
【０１０１】
さらに、図９Ａに基づいて、移動物体候補が自動車（四輪車）である場合を例にして、先端の検出手法の一例を説明する。
【０１０２】
図９Ａに示す例において、移動物体候補領域はＯＢ８（ｔ＋１）である。そして、移動物体候補領域ＯＢ８（ｔ＋１）の進行方向側の下端は（ｘｌ、ｙｌ）である。この移動物体候補領域の下端は（ｘｌ、ｙｌ）からさらに下方向乃至斜め下方向（本例ではｘ座標値が減少し、ｙ座標値が増加する方向）の速度情報を走査し、速度情報が画像の下方向の隣接画素において検出されない場合の最下端の画素（ｘｌ−２、ｙｌ＋ｎ）を検出する。この最下端の画素（ｘｌ−２、ｙｌ＋ｎ）が移動物体候補と路面領域との境界である。
【０１０３】
さらに、図９Ａに示す例では、制御装置１０は、路面領域との境界（ｘｌ−２、ｙｌ＋ｎ）から移動物体候補の進行方向（図中左側方向）に速度情報が検出されない移動可能領域（図中楕円図形で示す）が存在するため、移動物体候補領域ＯＢ８（ｔ＋１）を第一移動物体領域と判定する。
【０１０４】
また、図９Ａの例では、移動物体候補の最下端の画素（ｘｌ−２、ｙｌ＋ｎ）と移動可能領域の間に立体物ＯＢ４（ｔ＋１）が存在する。この立体物ＯＢ４（ｔ＋１）の下端位置（ｘｌ−４、ｙｌ＋ｎ-ｍ）は、最下端の画素（ｘｌ−２、ｙｌ＋ｎ）位置よりも上方（ｙが減少する方向）に位置し、最下端の画素（ｘｌ−２、ｙｌ＋ｎ）から所定距離範囲内に存在する。また、移動物体候補の最下端（ｘｌ−２、ｙｌ＋ｎ）が属する立体物ＯＢ６（ｔ＋１）との速度差も所定範囲内である。このため、同一物体としてグループ化を行い、立体物ＯＢ４（ｔ＋１）の進行方向側の下端（ｘｌ−４、ｙｌ＋ｎ-ｍ）を移動物体候補の先端として検出する。
【０１０５】
ところで、図８Ａ〜Ｃに示す移動する二輪車、及び図９Ａ〜Ｃに示す自動車（四輪車）は進行方向に沿う移動物体の長さが長いため、移動物体の長さ方向の位置が異なる各部位において、異なる速度ベクトル（オプティカルフロー）が検出される場合がある。これは、以下の理由による。撮像領域に含まれる自車両の走行道路を移動物体が右から左に横断する場合、移動物体と自車両とが最も接近する最接近位置の速度はゼロである。この最接近位置の左側では左向きの速度が検出され、接近位置の右側では右向きの速度が検出される。このため、移動物体の物体幅（移動方向に沿う長さ）が大きいと、同一物体であるのに、異なる速度ベクトル（オプティカルフロー）の領域が検出され、異なる物体の領域として分割されてしまう場合がある。もっとも、これは画像上の動きであって、自車両（カメラ１０）と移動物体の位置関係、自車両の移動速度及び移動方向、移動物体の移動速度及び移動方向の影響を受けるので、必ず生じるというものではないが、このような状況になった場合、同一の移動物体でありながら、別々の物体に分割されてしまうおそれがある。本実施形態の移動物体検出システム１００によれば、同一の移動物体でありながら異なる速度ベクトル（オプティカルフロー）の領域が検出される移動物体の領域を高い精度で判定することができる。
【０１０６】
ここで、図７Ｂに戻り、図７Ｂに基づいて、移動物体候補が歩行者である場合を例にして、後端の検出手法の一例を説明する。
【０１０７】
図７Ｂに示すように、先端（ｘｌ−１、ｙｌ＋ｎ）から移動物体候補の進行方向とは反対方向に速度情報を走査し、予め求められた所定値域の速度情報の画素を、先端の画素（ｘｌ−１、ｙｌ＋ｎ）と順次グループ化する。そして、グループ化された領域Ｇ７Ｂの移動物体候補の進行方向と反対方向側の下端の画素（ｘｌ−１＋ｍ、ｙｌ＋ｎ）を、移動物体候補の後端として検出する。
【０１０８】
なお、後端の検出処理において用いられる予め設定された所定値域は、先述したように、画像に含まれる静止物の推定速度と、判定された第一移動物体領域の属する画素の速度情報の代表値との差の絶対値に基づいて求める。図７Ｂに示す例において、制御装置１０は、第一移動物体領域としてのＯＢ６（ｔ＋１）領域内の画素の速度情報の平均値を用いて、第一移動物体領域の属する画素の速度情報の代表値を求める。また、制御装置１０は、上述した式１〜式４を用いて画像に含まれる静止物の推定速度を算出する。その際、ｘ座標として、ＯＢ６（ｔ＋１）の水平中心座標ｘｃを用い、ｙ座標として、第一移動物体領域の下端ではなく、さらに下方に走査した体最下端のｙ位置（ｙｌ＋ｎ）をｙ座標として用いて静止物体の推定速度を計算する。
【０１０９】
また、図７Ｂに示すように、制御装置１０は、先端（ｘｌ−１、ｙｌ＋ｎ）の画素から移動物体候補の進行方向と反対方向の所定距離未満（図の物体幅上限未満）に位置する画素のみをグループ化する。所定距離は、予め設定された物体幅の上限とする。本例では、平均的な歩行者の歩幅に基づいて所定距離を決定する。
【０１１０】
このように、本例における後端検出のためのグループ化を行う際に、制御装置１０は、速度情報を先端から進行方向と反対方向に走査し、速度情報が移動可能領域と路面領域とが接するコーナー部よりも鉛直上方でコーナー部からの高さ（ｙ方向の高さ）が所定値以下かつ、代表値との速度差が設定したしきい値以下、かつ先端から物体幅が所定値以下の条件を満たす画素をグループ化する。
【０１１１】
図７Ｂに示す例において、制御装置１０は、立体物ＯＢ５（ｔ＋１）及び立体物ＯＢ７（ｔ＋１）に属する画素をグループ化し、そのグループの進行方向の反対方向の下端（ｘｌ−１＋ｍ、ｙｌ＋ｎ）を、移動物体の後端として検出する。
【０１１２】
次に、図８Ｂに基づいて、移動物体候補が二輪車である場合を例にして、後端の検出手法の一例を説明する。
【０１１３】
図８Ｂに示すように、先端（ｘｌ−５、ｙｌ＋ｎ）から移動物体候補の進行方向とは反対方向に速度情報を走査し、予め求められた所定値域の速度情報の画素を、先端の画素（ｘｌ−５、ｙｌ＋ｎ）と順次グループ化する。そして、グループ化された領域Ｇ８Ｂの移動物体候補の進行方向と反対方向側の下端の画素（ｘｌ−５＋ｍ、ｙｌ＋ｎ）を、移動物体候補の後端として検出する。
【０１１４】
また、図８Ｂに示すように、制御装置１０は、先端（ｘｌ−５、ｙｌ＋ｎ）の画素から移動物体候補の進行方向と反対方向の所定距離未満に位置する画素のみをグループ化する。所定距離は、予め設定された物体幅の上限とする。本例では、平均的な二輪車の長さ（走行方向に沿う幅に基づいて所定距離を決定する。
【０１１５】
本例におけるグループ化の手法は、図７Ｂにおいて説明した手法を用いる。図８Ｂに示す例において、制御装置１０は、立体物ＯＢ４（ｔ＋１）、立体物ＯＢ５（ｔ＋１）及び立体物ＯＢ７（ｔ＋１）に属する画素をグループ化し、そのグループの進行方向の反対方向の下端（ｘｌ−５＋ｍ、ｙｌ＋ｎ）を、移動物体の後端として検出する。
【０１１６】
さらに、図９Ｂに基づいて、移動物体候補が自動車である場合を例にして、後端の検出手法の一例を説明する。
【０１１７】
図９Ｂに示すように、先端（ｘｌ−４、ｙｌ＋ｎ−ｍ）から移動物体候補の進行方向とは反対方向に速度情報を走査し、予め求められた所定値域の速度情報の画素を、先端の画素（ｘｌ−４、ｙｌ＋ｎ−ｍ）と順次グループ化する。そして、グループ化された領域Ｇ８Ｂの移動物体候補の進行方向と反対方向側の下端の画素（ｘｌ−４＋ｐ、ｙｌ＋ｎ−ｓ）を、移動物体候補の後端として検出する。
【０１１８】
また、図９Ｂに示すように、制御装置１０は、先端（ｘｌ−４、ｙｌ＋ｎ−ｍ）の画素から移動物体候補の進行方向と反対方向の所定距離未満に位置する画素のみをグループ化する。所定距離は、予め設定された物体幅の上限とする。本例では、平均的な二輪車の長さ（走行方向に沿う幅に基づいて所定距離を決定する。
【０１１９】
本例におけるグループ化の手法は、図７Ｂにおいて説明した手法を用いる。図９Ｂに示す例において、制御装置１０は、立体物ＯＢ４（ｔ＋１）、立体物ＯＢ６（ｔ＋１）及び立体物ＯＢ８（ｔ＋１）に属する画素をグループ化し、そのグループの進行方向の反対方向の下端（ｘｌ−４＋ｐ、ｙｌ＋ｎ−ｓ）を、移動物体の後端として検出する。
【０１２０】
ここで、図７Ｃに戻り、図７Ｃに基づいて、移動物体候補が歩行者である場合を例にして、後端の確定手法の一例を説明する。
【０１２１】
制御装置１０は、精度向上の観点から、後端から移動物体候補（歩行者）の進行方向と反対方向に速度情報の有無を走査し、速度情報が検出されない移動可能領域が存在する場合は、先に検出した後端を確定する。
【０１２２】
先述したように、移動物体の先端側には移動空間が存在するとし、移動可能領域の存在に基づいて移動物体の境界を検出すれば、精度の高い検出が可能になる。他方、後端は背景と重なり部分が多く、精度の高い検出が難しい。しかし、車両が走行するに従い、後端位置も移動し、移動空間が出現する可能性がある。後端側に移動空間が出現するということは、移動物体を回避できる空間が存在することを示す。したがって、後端側に移動空間が存在し、移動可能領域が検出できれば、その外延を移動物体との境界と判断することができるので、後端も高い精度で検出できる。
【０１２３】
制御装置１０は、後端のさらに進行方向の反対方向側に移動可能領域が検出された場合は、後端から下向き乃至斜め下向き方向に速度情報を走査し、後端の移動速度と速度差が所定範囲内（移動速度が近似する）画素を、移動物体候補の後端として検出する。
【０１２４】
図７Ｃに示す例では、後端（ｘｒ、ｙｒ）から、さらに斜め下向きに移動速度が共通する（近似する）画素を走査し、隣接する画素に速度情報が存在しない位置（ｘｒ＋１、ｙｒ＋ｎ＋ｐ）を探索する。さらに、この位置で進行方向と反対方向に立体物の速度情報が存在しない領域（移動可能領域）が存在すれば、その位置（ｘｒ＋１、ｙｒ＋ｎ＋ｐ）を最終的に後端として確定する。
【０１２５】
制御装置１０は、第一移動物体領域の下端、先端、後端を含む領域Ｇ７Ｃを第二移動物体領域として判定する。そして、制御装置１０は、第一移動物体領域（ＯＢ６（ｔ＋１））と第二移動物体領域（Ｇ７Ｃ）を含む領域を、移動物体領域として判定する。
【０１２６】
以上の処理によれば、歩行者のように、胴体部分が一定に移動するが脚部は開脚動作により速度が変動する移動物体についても、一の移動物体が分割されることなく、一の移動物体として高い精度で検出することができる。
【０１２７】
次に、図８Ｃに基づいて、移動物体候補が二輪車である場合を例にして、後端の確定手法の一例を説明する。
【０１２８】
本例における後端の確定手法は、図７Ｃにおいて説明した手法を用いる。
【０１２９】
図８Ｃに示す例では、後端（ｘｒ、ｙｒ）から、さらに斜め下向きに移動速度が共通する（近似する）画素を走査し、隣接する画素に速度情報が存在しない位置（ｘｒ＋２、ｙｒ＋ｐ）を探索する。さらに、この位置で進行方向と反対方向に立体物の速度情報が存在しない領域（移動可能領域）が存在すれば、その位置（ｘｒ＋２、ｙｒ＋ｐ）を最終的に後端として確定する。
【０１３０】
制御装置１０は、第一移動物体領域の下端、先端、後端を含む領域Ｇ８Ｃを第二移動物体領域として判定する。そして、制御装置１０は、第一移動物体領域（ＯＢ７（ｔ＋１））と第二移動物体領域（Ｇ８Ｃ）を含む領域を、移動物体領域として判定する。
【０１３１】
以上の処理によれば、二輪車のように、移動方向に沿う幅が大きく、部分によって異なる速度ベクトル（オプティカルフロー）が検出される場合がある移動物体についても、一の移動物体が分割されることなく、一の移動物体として高い精度で検出することができる。
【０１３２】
さらに、図９Ｃに基づいて、移動物体候補が自動車である場合を例にして、後端の確定手法の一例を説明する。
【０１３３】
本例における後端の確定手法は、図７Ｃにおいて説明した手法を用いる。
【０１３４】
図９Ｃに示す例では、後端（ｘｒ、ｙｒ）から、さらに斜め下向きに移動速度が共通する（近似する）画素を走査し、隣接する画素に速度情報が存在しない位置（ｘｒ＋ｖ、ｙｒ＋ｕ）を探索する。さらに、この位置で進行方向と反対方向に立体物の速度情報が存在しない領域（移動可能領域）が存在すれば、その位置（ｘｒ＋ｖ、ｙｒ＋ｕ）を最終的に後端として確定する。
【０１３５】
制御装置１０は、第一移動物体領域の下端、先端、後端を含む領域Ｇ９Ｃを第二移動物体領域として判定する。そして、制御装置１０は、第一移動物体領域（ＯＢ８（ｔ＋１））と第二移動物体領域（Ｇ９Ｃ）を含む領域を、移動物体領域として判定する。
【０１３６】
以上の処理によれば、自動車のように、移動方向に沿う幅が大きく、部分によって異なる速度ベクトル（オプティカルフロー）が検出される場合がある移動物体についても、一の移動物体が分割されることなく、一の移動物体として高い精度で検出することができる。
【０１３７】
続いて、図１０のフローチャート図に基づいて、本実施形態の移動物体検出システム１００の制御手順を説明する。
【０１３８】
図１０に示す処理は、不図示のイグニションスイッチがオンに呼応して起動する制御装置１０により実行される。
【０１３９】
まず、ステップＳ１０１において、制御装置１０は、カメラ１０により、所定の周期で撮像され、画像メモリ２１に記憶された自車両前方の画像を取得する。
【０１４０】
次に、ステップＳ１０２において、制御装置１０は、撮像された画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。
【０１４１】
また、ステップＳ１０３において、制御装置１０は、エッジの速度情報を算出し、算出された移動情報を所定の階調で表された移動画像（図５参照）を作成する。
【０１４２】
次に、ステップＳ１０４において、制御装置１０は、算出した移動画像に対して、画像下部から画像上部に順に走査し、速度情報を比較し、画像の縦方向（ｙ方向）に連続して共通乃至近似する速度情報が存在する領域を立体物として抽出する。さらに隣接する立体物で共通乃至近似する速度情報を持つものは同一立体物として抽出する。
【０１４３】
続くステップＳ１０５において、制御装置１０は、時間的に前に検出した立体物の位置情報と速度情報を比較し、速度差と水平位置差が小さく、下端位置が鉛直下方向に移動した立体物を自車両に接近する可能性のある立体物として、その領域を移動物体候補領域として抽出する。
【０１４４】
さらに、ステップＳ１０６において、制御装置１０は、全ての移動物体候補領域が抽出されたか否かを判断する。全ての移動物体候補領域が抽出された場合には、ステップＳ１０７に移行する。全ての移動物体候補領域の抽出されていないと判断された場合には、ステップＳ１０４に戻り、立体物の抽出を継続する。
【０１４５】
続いて、ステップＳ１０７において、制御装置１０は、抽出された移動物体候補の進行方向側の下端位置から下向き乃至斜め下向きに速度情報の共通性を走査する。制御装置１０は、下向き乃至斜め下向きに共通乃至近似する速度情報が存在しない最下端の位置を、画素を移動物体候補と路面領域との境界として検出する。
【０１４６】
さらに続いて、ステップＳ１０８において、制御装置１０は、最下端位置の進行方向側に立体物の速度情報が存在するか否かを判断する。進行方向側に立体物の速度情報が無い移動可能領域が存在すれば、移動物体候補の進行方向側に移動可能な空間が存在すると判断できるので、移動物体候補が移動物体に対応する可能性が高いとして、移動物体候補領域を第一移動物体領域として確定する。他方、移動物体候補の進行方向側に立体物の速度情報が存在すれば、移動可能な空間は存在しないと判断し、移動物体候補から外し、ステップＳ１１６に移行する。
【０１４７】
次に、ステップＳ１０９において、制御装置１０は、最下端位置と移動空間の間の立体物を探索し、立体物の下端位置の速度情報に基づいて、最下端とのグループ化処理を行う。そして、制御装置１０は、グループ化された領域の移動物体候補の進行方向側の下端の画素を、移動物体候補の進行方向側の先端として検出する。
【０１４８】
さらに、ステップＳ１１０において、制御装置１０は、先端位置から進行方向と反対方向側に速度情報を走査し、移動物体候補領域の代表値との速度差及び物体幅、物体高の条件に基づき、同一物体としてのグループ化処理を行う。
【０１４９】
また、ステップＳ１１１において、制御装置１０は、同一物体としてのグループ化処理が行えたか否かを判断する。グループ化処理が完了したと判断する場合にはステップＳ１１２の処理に移行し、グループ化処理が完了していないと判断する場合には、ステップＳ１１０の処理に戻り、グループ化処理を継続する。
【０１５０】
ステップＳ１１２では、同一物体としてのグループ化後の進行方向と反対側の端部を移動物体の後端として検出する。
【０１５１】
また、ステップＳ１１３において、制御装置１０は、後端が確定可能であるか否かを判断する。確定可能と判断された場合にはステップＳ１１４の処理に移行する。確定できない場合は、ステップＳ１１６の処理に移行する。
【０１５２】
そして、ステップＳ１１４において、制御装置１０は、検出された後端位置から画像の下向きに速度情報の共通性を走査し、共通乃至近似する速度情報が下方向に隣接する画素に存在しない画素を検出し、この位置において移動物体の進行方向と反対方向側に立体物の速度情報の存在領域（移動可能領域）が存在する場合は、その位置を最終的に移動物体の後端として確定する。
【０１５３】
最後に、ステップＳ１１５において、制御装置１０は、第一移動物体領域の下端、先端、後端を含む領域を第二移動物体領域として判定する。さらに制御装置１０は、第一移動物体領域と第二移動物体領域を含む領域を、移動物体領域として判定する。
【０１５４】
この後に、フローはステップＳ１１６に移行する。ステップＳ１１６において、制御装置１０は、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、処理を終了する。
【０１５５】
移動物体の検出情報は、警報装置３００、走行支援装置４００、出力装置５００へ送出される。警報装置３００は、移動物体の検出情報に基づく警報情報を出力装置５００を介して運転者に出力する。走行支援装置４００は、移動物体の検出情報に基づく走行支援制御を実行する。
【０１５６】
本実施形態の移動物体検出システム１００は、以上のように構成され、作用するので以下の効果を奏する。
【０１５７】
本実施形態の移動物体検出システム１００によれば、各部位の移動速度が異なる移動物体の領域を高い精度で判定することができる。
【０１５８】
すなわち、本実施形態の移動物体検出システム１００は、画像から移動物体候補の少なくとも一部を含む移動物体候補領域の進行方向側の下端を検出するとともに、この下端からさらに下方向に速度情報の有無を走査し、速度情報が下方向の隣接画素において検出されない場合の最下端を含む路面領域と移動物体候補の進行方向側の速度情報が検出されない移動可能領域との境界に位置する画素を移動物体候補の進行方向側の先端として検出し、この先端から進行方向反対側に速度情報を走査したときに所定域値の速度情報が検出されない場合の画素を移動物体候補の進行方向側の後端として検出し、この下端、先端及び後端が属する領域と移動物体候補領域とを含む領域を移動物体領域として判定するので、同一の移動物体でありながら移動速度の異なる各部位を含む移動物体の領域を高い精度で判定することができる。
【０１５９】
移動物体が歩行者などの部分ごとに速度が異なる場合に、オプティカルフローを算出すると、歩行者の部位に応じてオプティカルフローの値は異なる。歩行者が歩行する場合には、胴体部分が一定速度で移動しても、脚部は開脚動作により速度が小さい範囲で変動する。このように、検出される速度差が小さい場合に、この速度差に基づいて移動物体をグループ化すると、歩行者全体の存在領域を正しくグループ化できないということがあるが、本実施形態では同一の移動物体でありながら異なる速度で移動する他の一部の先端位置と後端位置を検出できるため、各部位の移動速度が異なる移動物体の領域を高い精度で判定することができる。
【０１６０】
また、進行方向に沿う移動物体の長さが比較的長い二輪車及び自動車（四輪車）は、移動物体の長さ方向の位置が異なる各部位において、異なる速度ベクトル（オプティカルフロー）が検出される場合がある。このように、移動物体の物体幅（移動方向に沿う長さ）が大きいと、同一物体であるのに、異なる速度ベクトル（オプティカルフロー）の領域が検出され、異なる物体の領域として分割されてしまう場合がある。本実施形態の移動物体検出システム１００は、下端、先端及び後端を適切に検出し、これらが属する領域と移動物体候補領域とを含む領域を移動物体領域として判定するので、同一の移動物体でありながら異なる速度ベクトル（オプティカルフロー）の領域が検出される移動物体の領域を高い精度で判定することができる。
【０１６１】
また、本実施形態の移動物体検出システム１００は、速度情報が予め設定された所定値未満である特徴点が含まれる領域を、移動物体候補の少なくとも一部を含む移動物体候補領域として抽出することにより、立体物の中から自車両に接近する可能性のある移動物体候補を抽出することができる。自車両に接近する可能性のある移動物体は、背景と同じ移動方向を持つものも存在するが、本実施形態では、背景の移動方向の差に基づいて判断するのではないので、背景と区別して自車両に接近する立体物（移動物体）を確実に検出することができる。
【０１６２】
また、本実施形態の移動物体検出システム１００は、路面領域との境界から移動物体候補の進行方向に速度情報の有無を走査し、速度情報が検出されない移動可能領域が存在する場合は、移動物体候補領域を第一移動物体領域と判定するので、速度情報が有る領域から無い領域に切り替わる位置を検出すれば、速度情報の差によるグループ化の手法を用いることなく、正確に移動物体の進行方向側の物体の端部（先端）を検出することができる。
【０１６３】
さらにまた、本実施形態の移動物体検出システム１００は、第一移動物体領域の下端、先端、後端を含む領域を第二移動物体領域として判定し、第一移動物体領域と第二移動物体領域を含む領域を、移動物体領域として判定するので、各部分で移動速度が異なる移動物体、たとえば、胴体部分が一定に移動するが脚部は開脚動作により速度が変動する歩行者のような移動物体についても、一の移動物体が分割されることなく、一の移動物体として高い精度で検出することができる。
【０１６４】
また、本実施形態の移動物体検出システム１００は、移動物体の最下端から進行方向側に速度情報の有無を走査し、立体物の速度情報が存在しなければ、移動空間が存在すると判断し、移動物体候補を第一移動物体候補として確定する。このように、移動空間の検出を行うことにより、自車に接近する可能性の高い移動物体を確実に検出することができる。他方、移動空間が検出されなければ、移動物体は移動が不可能となり、自車に接近する可能性も低くなると判断できる。
【０１６５】
本実施形態によれば、移動可能空間の存在に基づいて、自車両に接近する可能性のある移動物体を検出することができる。つまり、移動物体候補の先端から進行方向側の領域に速度情報が存在しない移動可能領域の存在を検出することにより、速度情報の比較によって同一物体をグループ化する処理を行うことなく、移動物体の先端を検出することができるため、移動物体の先端の検出精度を向上させることができる。
【０１６６】
また、本発明の実施の形態の移動物体システム１００によれば、先端の画素とグループ化する際に用いられる所定値域を、画像に含まれる静止物の推定速度と、判定された第一移動物体領域の属する画素の速度情報の代表値との差の絶対値に基づいて求めるので、背景から移動物体を識別して、正確に移動物体の後端を検出することができる。
【０１６７】
また、本実施形態の移動物体検出システム１００は、時系列に連続して検出される特徴点を含む領域の下端に位置する特徴点の移動方向が画像の下方向である場合は、領域を移動物体候補領域として抽出するので、自車両に接近する領域を自車両に接近する可能性がある移動物体候補領域として抽出することができる。
【０１６８】
また、本実施形態の移動物体検出システム１００は、移動物体候補領域における移動物体候補の進行方向側の下端からさらに下方向に、速度情報の値が予め設定された所定値未満である速度情報の有無を走査し、下端に対応する画素の速度情報と所定値未満の速度情報が下方向に検出されない場合の最下端の画素を路面の画像との境界として検出するので、部分ごとに移動速度が異なる物体の下方部分（路面に接する部分）の先端を検出することができる。
【０１６９】
また、本実施形態の移動物体検出システム１００は、路面境界検出手段により検出された路面領域との境界と第一移動物体領域判定手段により検出された移動可能領域との間の領域に立体物領域を抽出し、その立体物領域の最下端の画素が最下端の画素と所定の位置関係に位置するとともに、最下端の画素の速度情報との差が所定値未満である場合は、路面領域との境界と立体物領域とをグループ化し、グループ化された領域の移動物体候補の進行方向側の下端の画素を移動物体候補の進行方向側の先端として検出するので、上下の部分ごとに移動速度が異なる物体の下方部分（路面に接する部分）の先端を検出することができる。
【０１７０】
特に、移動物体が歩行者で有る場合には、胴体部と脚部で速度情報が異なる。脚部の速度情報は斜めの連続性を持つことから、下向きに速度情報の共通性を走査し、下向きに共通乃至近似する速度情報が存在しない位置を検出することにより、胴体と脚部のように部位毎に異なる速度を持つ歩行者の下端の先端位置を正確に検出することができる。
【０１７１】
また、本実施形態の移動物体検出システム１００は、検出された先端から移動物体候補の進行方向とは反対方向に速度情報の有無を走査し、予め設定された所定値域の速度情報の画素を、先端の画素とグループ化し、グループ化された領域の移動物体候補の進行方向と反対方向側の下端の画素を移動物体候補の後端として検出するので、左右端の部分ごとに移動速度が異なる物体の下方部分（路面に接する部分）の先端を検出することができる。
【０１７２】
また、本実施形態の移動物体検出システム１００は、検出された先端の画素よりも画像上方向の所定高さ未満に位置する画素を、先端の画素とグループ化し、グループ化された領域の移動物体候補の進行方向と反対方向側の下端の画素を、移動物体候補の進行方向と反対方向側の後端として検出するので、左右端の部分ごとに移動速度が異なる物体の下方部分（路面に接する部分）の先端を正確に検出することができる。
【０１７３】
また、本実施形態の移動物体検出システム１００は、検出された先端の画素から移動物体候補の進行方向と反対方向の所定距離未満に位置する画素を、先端の画素とグループ化し、グループ化された領域の移動物体候補の進行方向と反対方向側の下端の画素を、移動物体候補の進行方向と反対方向側の後端として検出するので、検出の対象とする移動物体の後端を正確に検出することができる。つまり、検出の対象とする移動物体の幅に基づいて所定距離を設定することにより、検出したい対象の後端を適切に検出することができる。たとえば、歩行者（人間）の歩幅の最大値に応じて、所定距離を設定することにより、歩行者の後端を適切に検出することができる。
【０１７４】
また、本発明の実施の形態の移動物体検出システム１００によれば、後端を検出した後、当該後端から移動物体候補の進行方向と反対方向に速度情報の有無を走査し、速度情報が検出されない移動可能領域が存在する場合は、先に検出された後端を確定するので、後端を正確に検出することができる。
【０１７５】
つまり、進行方向の反対側の物体端は背景と重なり合う部分が多く、背景と区別が難しくなるが、片側の物体端が正確に検出できているため、同一物体と判定するためのグループ化のしきい値を厳しくしなくても、物体幅の制限を加えることで、背景とのグルーピングミスを低減することができる。自車と移動物体が移動を続ければ、進行方向を続ければ、背景との重なり合いが解消し、進行方向の反対側にも移動空間が出現する。その場合は、進行方向側の物体端検出方法を適用することで、正確に検出することができる。
【０１７６】
また、本発明の実施の形態の移動物体検出システム１００によれば、抽出された特徴部の位置に対応する画素のカウント値を所定周期でカウントアップし、カウント値の傾きに基づいて、特徴部に対応する画素の速度情報を算出するので、簡易な手法で画素の移動情報を取得することができる。また、このような画像処理により、速度情報の共通する画素が縦方向に連続する立体の特徴点を容易に導出し、撮像画像から立体物領域を簡単に抽出することができる。
【０１７７】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１７８】
すなわち、本明細書では、本発明に係る移動物体検出装置の一態様として移動物体検出システム１００を例にして説明するが、本発明はこれに限定されるものではない。
【０１７９】
また、本明細書では、本発明に係る移動物体検出装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備えた移動物体検出システム１００を一例として説明するが、これに限定されるものではない。
【０１８０】
また、本明細書では、本願発明に係る撮像手段と、速度情報算出手段と、移動物体候補領域抽出手段と、路面境界検出手段と、第一移動物体領域判定手段と、移動物体先端検出手段と、移動物体後端検出手段と、第二移動物体領域判定手段と、移動物体判定手段とを有する移動物体検出装置の一態様として、カメラ２０と、速度情報算出機能と、移動物体候補領域抽出機能と、路面境界検出機能と、第一移動物体領域判定機能と、移動物体先端検出機能と、移動物体後端機能と、第二移動物体領域判定機能と移動物体判定機能とを実現する制御装置１０とを備える移動物体検出システム１００を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【０１８１】
１００…移動物体検出システム
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…カメラ
２１…画像メモリ
２００…車両コントローラ
３００…警報装置
４００…走行支援装置
５００…出力装置
【図１】
2010211578.tif 000003
【図２】
2010211578.tif 000004
【図３】
2010211578.tif 000005
【図４】
2010211578.tif 000006
【図５】
2010211578.tif 000007
【図６】
2010211578.tif 000008
【図７Ａ】
2010211578.tif 000009
【図７Ｂ】
2010211578.tif 000010
【図７Ｃ】
2010211578.tif 000011
【図８Ａ】
2010211578.tif 000012
【図８Ｂ】
2010211578.tif 000013
【図８Ｃ】
2010211578.tif 000014
【図９Ａ】
2010211578.tif 000015
【図９Ｂ】
2010211578.tif 000016
【図９Ｃ】
2010211578.tif 000017
【図１０】
2010211578.tif 000018