(57)【要約】【課題】移動体周囲に存在する物体が制御用対象物か否かを適切に識別して移動体に搭載された所定機器の適切な制御を可能にすることを課題とする。【解決手段】移動体周囲を撮像して得られる撮像画像に基づいて移動体周囲に存在する他車両や歩行者等の検出対象物を物体認識部２０５で検出する。一方、物体状態判別部２０７は、ステレオカメラで撮像した一対の撮像画像から得られる視差情報に基づいて物体認識部が検出した検出対象物の当該移動体に対する相対位置Ｄｚ，Ｘを特定するとともに、撮像時期が異なる２つ以上の撮像画像間（フレーム間）における前記検出対象物の画像位置の違いから、該検出対象物の当該移動体に対する相対速度Ｖｘ，Ｖｙ，Ｖｚを特定する。制御用対象物認識部２０８は、特定した相対位置及び相対速度が制御用対象物となる相対位置及び相対速度の条件を満たすか否かを判断する。【選択図】図４
2015133078.tif 000002
【特許請求の範囲】
【請求項１】
移動体周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する検出対象物を検出する対象物検出手段を備え、
前記対象物検出手段が検出した検出対象物が前記移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別装置であって、
移動体周囲を撮像する複数の撮像手段が撮像した一対の撮像画像から得られる視差情報に基づいて、前記対象物検出手段が検出した検出対象物までの距離を算出する距離算出手段と、
前記距離算出手段が算出した距離と、該距離の算出に用いられた撮像画像を含む撮像時期が異なる２つ以上の撮像画像間における前記検出対象物の画像位置の違いとから、該検出対象物の速度を特定する速度特定手段と、
前記速度特定手段が特定した速度が前記制御用対象物となる条件を満たすか否かを判断する判断手段とを有することを特徴とする制御用対象物識別装置。
【請求項２】
請求項１の制御用対象物識別装置において、
前記移動体の移動方向に対して直交する横方向における該移動体と前記検出対象物との横方向距離を算出する横方向距離算出手段を有し、
前記判断手段は、前記速度特定手段が特定した速度と前記横方向距離算出手段が算出した横方向距離とが、前記条件を満たすか否かを判断することを特徴とする制御用対象物識別装置。
【請求項３】
請求項１又は２の制御用対象物識別装置において、
前記速度特定手段は、前記移動体の移動方向に対して直交する水平方向における該移動体と前記検出対象物との相対速度である水平方向相対速度Ｖｘと、鉛直方向における該移動体と該検出対象物との相対速度である鉛直方向相対速度Ｖｙと、該移動体の移動方向における該移動体と該検出対象物との相対速度である移動方向相対速度Ｖｚとを、前記検出対象物の速度として特定するものであることを特徴とする制御用対象物識別装置。
【請求項４】
請求項３の制御用対象物識別装置において、
前記判断手段は、前記距離算出手段が算出した距離Ｄｚ及び前記横方向距離算出手段が算出した横方向距離Ｘ、並びに、前記速度特定手段が特定した水平方向相対速度Ｖｘ、鉛直方向相対速度Ｖｙ及び移動方向相対速度Ｖｚが、前記条件を満たすか否かを判断することを特徴とする制御用対象物識別装置。
【請求項５】
請求項４の制御用対象物識別装置において、
前記判断手段は、下記の式（１）から求まる評価値Ｋを算出し、該評価値Ｋが所定の閾値を超えているときに前記条件を満たすと判断することを特徴とする制御用対象物識別装置。
【数１】
2015133078.tif 000006
【請求項６】
請求項５の制御用対象物識別装置において、
前記式（１）中のパラメータｋ（Ｘ）、ｋ（Ｄｚ）、ｋ（Ｖｘ）、ｋ（Ｖｙ）、ｋ（Ｖｚ）は、前記制御用対象物について事前学習して得たものであることを特徴とする制御用対象物識別装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の制御用対象物識別装置において、
前記対象物検出手段が前記検出対象物の検出に用いる撮像画像は、前記一対の撮像画像のうち前記視差情報を得るときに基準画像となる輝度画像であることを特徴とする制御用対象物識別装置。
【請求項８】
移動体周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する検出対象物を検出し、検出した検出対象物が前記移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別手段と、
前記制御用対象物識別手段の識別結果に基づいて、前記所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムであって、
前記制御用対象物識別手段として、請求項１乃至７のいずれか１項に記載の制御用対象物識別装置を用いることを特徴とする移動体機器制御システム。
【請求項９】
移動体周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する検出対象物を検出する対象物検出手段を備え、前記対象物検出手段が検出した検出対象物が前記移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別装置のコンピュータに実行される制御用対象物認識用プログラムであって、
移動体周囲を撮像する複数の撮像手段が撮像した一対の撮像画像から得られる視差情報に基づいて、前記対象物検出手段が検出した検出対象物までの距離を算出する距離算出手段、
前記距離算出手段が算出した距離と、該距離の算出に用いられた撮像画像を含む撮像時期が異なる２つ以上の撮像画像間における前記検出対象物の画像位置の違いとから、該検出対象物の速度を特定する速度特定手段、及び、
前記速度特定手段が特定した速度が前記制御用対象物となる条件を満たすか否かを判断する判断手段として、前記コンピュータを機能させることを特徴とする制御用対象物認識用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の周囲に存在する検出対象物が当該移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別装置、これを備えた移動体機器制御システム及び制御用対象物認識用プログラムに関するものである。
【背景技術】
【０００２】
従来、移動体の周囲に存在する物体を検知する装置としては、例えば、車両（移動体）の運転者の運転負荷を軽減させるためのＡＣＣ（Adaptive Cruise Control）等の運転者支援システム（移動体機器制御システム）などに利用されるものが知られている。運転者支援システムは、自車両に搭載されている各種機器を制御して、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自両車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。
【０００３】
特許文献１には、自車両に搭載されたステレオカメラによって自車両前方領域を撮像して得られる一対の撮像画像から距離データ（視差値）を算出し、その距離データに基づいて道路面より上方に存在する立体物を検出する立体物検出装置が開示されている。この立体物検出装置では、ある時刻に撮像された処理対象画像（前記一対の撮像画像のうちの一方）内で検出した立体物が静止物体であるとみなし、ステレオカメラの運動状態（自車両の車速情報）の検知結果と当該立体物の距離データとを利用して、当該立体物が次の時刻に映し出される画像座標を予測する。そして、当該立体物が静止物体である場合、当該立体物の画像領域の輝度値と、当該次の時刻において実際に撮像された画像の前記予測に係る画像座標の輝度値との差分はゼロとなり、当該立体物が移動物体である場合には前記差分はゼロにならない。これにより、特許文献１によれば、自車両前方領域内で移動する移動物体を速い処理速度で検出できるとしている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者支援システム等の移動体機器制御システムを適切に機能させるためには、撮像画像に映し出される各種物体が、移動体機器制御システムで制御する移動体上の所定の機器の制御が必要となる制御用対象物であるか否かを、的確に識別することが重要である。非制御用対象物である物体を制御用対象物であると認識してしまうと、本来は必要のない機器制御を実行してしまう誤動作を引き起こし、逆に、制御用対象物である物体を非制御用対象物であると認識してしまうと、必要な機器制御が実行されない事態を招くからである。
【０００５】
ところが、移動体上の機器の制御内容によっては、同じ物体であっても、その物体の移動体に対する具体的な挙動内容によって、制御用対象物になる場合とならない場合とがある。例えば、制御内容が自動ブレーキ機能や警報機能である場合、先行車両が自車両と同程度以上の速度で走行している挙動を示しているときには、その先行車両は自車両の走行を妨げる障害物あるいは回避すべき回避物ではないので制御用対象物にはならない。これに対し、自車両の前方を走行する先行車両が急減速する挙動を示したり、自車両の前方に急に割り込む挙動を示したりしたときには、その先行車両は自車両の走行を妨げる障害物あるいは回避すべき回避物となり、上記自動ブレーキ機能や警報機能等の制御用対象物になる。よって、種々の制御を行うためには、移動体に対する具体的な挙動内容の把握を行えることが望まれる。前記特許文献１に開示の立体物検出装置は、撮像画像に映し出される移動物体の検出については記載があるが、その移動物体の移動体に対する具体的な挙動内容の把握については触れられていない。
【０００６】
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、移動体周囲に存在する物体が制御用対象物か否かを適切に識別して移動体に搭載された所定機器の適切な制御を可能にする制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラムを提供することである。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明は、移動体周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する検出対象物を検出する対象物検出手段を備え、前記対象物検出手段が検出した検出対象物が前記移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別装置であって、移動体周囲を撮像する複数の撮像手段が撮像した一対の撮像画像から得られる視差情報に基づいて、前記対象物検出手段が検出した検出対象物の当該移動体に対する相対位置を特定する相対位置特定手段と、撮像時期が異なる２つ以上の撮像画像間における前記検出対象物の画像位置の違いから、該検出対象物の当該移動体に対する相対速度を特定する相対速度特定手段と、前記相対位置特定手段が特定した相対位置及び前記相対速度特定手段が特定した相対速度が前記制御用対象物となる相対位置及び相対速度の条件を満たすか否かを判断する判断手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、移動体周囲に存在する物体が制御用対象物か否かを適切に識別して移動体に搭載された所定機器の適切な制御が可能になるという優れた効果が奏される。
【図面の簡単な説明】
【０００９】
【図１】車載機器制御システムの概略構成を示す模式図である。
【図２】同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。
【図３】同撮像ユニットの撮像部における画像センサを光透過方向に対して直交する方向から見たときの模式拡大図である。
【図４】実施形態における制御用対象物識別装置の構成を示すブロック図である。
【図５】制御用対象物の識別処理の流れを示すフローチャートである。
【図６】（ａ）及び（ｂ）はステレオカメラの左右画像をそれぞれ示す図である。
【図７】測距演算の原理を説明する図である。
【図８】撮像画像（輝度画像）内に設定される物体候補領域を示す説明図である。
【図９】同物体候補領域の特定方法を示す説明図である。
【図１０】（ａ）は、図８に示した撮像画像に対応する視差画像を模式的に示した図である。（ｂ）は、同図（ａ）の視差画像から得られる横ライン視差ヒストグラム（Ｖマップ）を模式的に示した図である。（ｃ）は同図（ａ）の視差画像中に路面領域を図示した説明図である。
【図１１】検出対象物の識別に用いる４種類の特徴パターン例を示す説明図である。
【図１２】検出対象物の認識処理で用いる識別器の構成を示す説明図である。
【図１３】（ａ）は、今回の物体認識処理で認識された各検出対象物の画像領域Ａ，Ｃ，Ｅを示す説明図である。（ｂ）は、次のフレームにおける各検出対象物の追尾結果領域Ａ’，Ｃ’，Ｅ’を示す説明図である。
【図１４】（ａ）は、図１３（ａ）に示す撮像画像（輝度画像）に対応する視差画像を模式的に示す図である。（ｂ）は、図１３（ｂ）に示す撮像画像（輝度画像）に対応する視差画像を模式的に示す図である。
【図１５】画像領域Ａに映し出されている検出対象物（先行車両）の状態特徴量（ＸＡ，ＤｚＡ，ＶｘＡ，ＶｙＡ，ＶｚＡ）を説明するための説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る制御用対象物識別装置を、移動体機器制御システムとしての車載機器制御システムに用いる一実施形態について説明する。
図１は車載機器制御システムの概略構成を示す模式図である。
図１に示す車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０３のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線等の車線境界線等を検出したりする。他車両の検出では、視差画像に基づいて路面上の対象物を車両として検出する。
【００１１】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０４にも送られる。車両走行制御ユニット１０４は、画像解析ユニット１０２が検出した歩行者や走行車両等の検出対象物の検出結果に基づいて、自車両１００が障害物に衝突しそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１２】
図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、撮像素子が２次元配置された画像センサ１１２Ａ，１１２Ｂと、画像センサ１１２Ａ，１１２Ｂが設けられたセンサ基板１１３Ａ，１１３Ｂと、センサ基板１１３Ａ，１１３Ｂから出力されるアナログ電気信号（画像センサ１１２Ａ，１１２Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１４Ａ，１１４Ｂとから構成されている。撮像ユニット１０１からは、輝度画像データが出力される。
【００１３】
また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。
【００１４】
一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するメモリ１３０と、制御用対象物の識別処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて本実施形態に係る制御用対象物の識別処理を実行する。
【００１５】
図３は、画像センサ１１２Ａ，１１２Ｂを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ１１２Ａ，１１２Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオード１１２ａを用いている。フォトダイオード１１２ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１２ａの集光効率を上げるために、各フォトダイオード１１２ａの入射側にはマイクロレンズ１１２ｂが設けられている。この画像センサ１１２Ａ，１１２Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１３Ａ，１１３Ｂが形成されている。
【００１６】
次に、本発明の特徴部分である、制御用対象物識別処理について説明する。
図４は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２によって実現される本実施形態の制御用対象物識別装置の構成を示すブロック図である。
同図において、本実施形態の制御用対象物識別装置２００は、ステレオ画像入力部２０１、視差画像計算部２０２、輝度画像入力部２０３、物体候補領域認識部２０４、物体認識部２０５、物体追尾処理部２０６、物体状態判別部２０７、制御用対象物認識部２０８、認識辞書記憶部２０９、認識結果出力部２１０を含んで構成されている。
【００１７】
ステレオ画像入力部２０１には、撮像レンズ及び画像センサを有する撮像部を、左右それぞれ備えるステレオカメラ（不図示）からステレオ画像が入力される。輝度画像入力部２０３には、ステレオ画像の左画像又は右画像である輝度画像がステレオ画像入力部２０１から入力される。入力されたステレオ画像や輝度画像はステレオカメラのメモリ１３０に保存される。視差画像計算部２０２は、ステレオ画像入力部２０１に入力されたステレオ画像を用いて撮影対象が左右画像での結像位置の差である視差値を計算し、その視差値を画素値とした視差画像を算出する。
【００１８】
物体候補領域認識部２０４は、視差画像計算部２０２で計算された視差画像を用いて、撮影画像から路面領域を検出し、その路面領域の検出結果と輝度画像入力部２０３から入力された輝度画像とを用いて、検出対象物を含む物体候補領域を設定する。物体認識部２０５は、物体候補領域認識部２０４で設定された物体候補領域に対して検出対象物の認識処理を行う。物体追尾処理部２０６は、物体認識部２０５で認識した検出対象物を次の輝度画像フレームを用いて、追尾処理を行う。物体状態判別部２０７は、物体追尾処理部２０６で追尾した結果を用いて、当該検出対象物の相対位置や相対速度等の動き特徴量を求める。
【００１９】
認識辞書記憶部２０９は、ＳＶＭ（Support Vector Machine）などの機械学習方法で、事前に制御用対象物の画像サンプル学習データを用いて作成された制御用対象物の認識用の辞書データ（認識辞書）を記憶する。この認識辞書記憶部２０９には、制御用対象物ごとに別々に作成された認識辞書が記憶される。制御用対象物認識部２０８は、物体状態判別部２０７で得られた挙動特徴量を用い、認識辞書記憶部２０９に記憶されている認識辞書を参照して、制御用対象物の認識処理を行う。認識結果出力部２１０は、制御用対象物認識部２０８の認識結果を出力する。
【００２０】
次に、本実施形態の対象物認識装置の動作について当該動作フローを示す図５に従って説明する。
図４のステレオ画像入力部２０１に、ステレオ画像が入力される（Ｓ１０１）。具体的にはステレオカメラからステレオ画像を入力する。図６はステレオ画像の例を示したものである。ステレオ画像においては、同じ被写体が左右の画像センサで異なる結像位置に結像されている。そして、図４の輝度画像入力部２０３によって、ステレオ画像のうちの左画像もしくは右画像のいずれかの輝度画像（基準画像）を入力する（Ｓ１０２）。入力されたステレオ画像や輝度画像は、ステレオカメラのメモリ１３０に保存される。
【００２１】
物体候補領域認識部２０４は、輝度画像に基づいて対象物が存在する場所に物体候補領域を設定する（Ｓ１０３）。具体的には、まず、検出対象物の候補領域を設定するために、図８に示すように、撮像画像において検出対象物の画像に合わせて矩形ブロックを設定する。矩形ブロックの撮像画像での位置及び矩形ブロックの大きさは、図９に示すように、矩形の左上の座標（Ｘｓ,Ｙｓ）と右下の座標（Ｘｅ,Ｙｅ）とによって特定される。矩形ブロックを設定する際は、サイズの大きい矩形ブロックから順に設定する。この矩形ブロックが物体候補領域である。
【００２２】
視差画像計算部２０２は、ステレオ画像入力部２０１に入力されたステレオ画像を用いて、対象フレームにおける左右画像の各結像位置の差である視差値を計算する（Ｓ１０４）。具体的には、左右の撮像レンズによって結像されたステレオ画像の同じ部分について、ブロックマッチング法によって視差値を算出し、算出した視差値を画素値とした視差画像を計算する。ブロックマッチング法とは、左右画像をブロックで分割し、左右画像でのブロックの類似度が一番大きいとき、ブロックがマッチングした部分から視差値を求める方法である。例えば、１２８０×９６０画素の画像に対して５×５サイズのブロックで分割する。ブロックサイズの最適値は実験で調整して設定する。図７に示す例において、被写体上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離はΔ１とΔ２である。このため、その視差値Δは、Δ＝Δ１＋Δ２として計算される。よって、視差画像は画素位置での視差値を持つ画像である。
【００２３】
物体候補領域認識部２０４では、視差画像計算部２０２で得られた視差画像を用いて図１０（ｂ）に示す横ライン視差ヒストグラム（Ｖマップ）を作成する（Ｓ１０５）。この横ライン視差ヒストグラムは図１０（ａ）での視差画像の横１ラインにおける視差画像に含まれている視差値を積算したヒストグラムを表示したものである。つまり、図１０（ｂ）は視差値Δでの頻度値分布Ｈ（Δ，ｙ）を示している。図１０（ｂ）の横軸は視差値Δで、縦軸は視差画像の高さｙである。横ライン視差ヒストグラムの各画素の値は、視差画像の高さｙの１ラインの視差値の頻度である。
【００２４】
撮像画像によって映し出される路面領域は、その横幅が画像下部から上部に向けてほぼ一定の割合で少なくなる傾向になる。そして、撮像画像上の同じ横ラインに映し出される路面部分は、自車両１００からの距離がほぼ同じであることから、視差画像上においてほぼ同じ視差値Δをもつ。そのため、路面領域に対応する画素については、横ライン視差ヒストグラム上において図１０（ｂ）に示すような傾きをもつ直線状の分布をもつ。
【００２５】
そこで、物体候補領域認識部２０４は、まず、横ライン視差ヒストグラム上で直線状に並んだ画素を検知し、検知した画素を視差画像上にマッピングする。つまり、横ライン視差ヒストグラムの直線状に並んだ画素を視差画像上の路面領域の画素として対応付けする。このようにして路面を映し出す画素がわかると、その画素間に補間処理を施すことにより、図１０（ｃ）に示すような路面領域３０２を検出できる（Ｓ１０６）。
【００２６】
詳しくは、物体候補領域認識部２０４は、視差画像計算部２０２から各横方向の視差分布情報を取得し、その情報から特定される横ライン視差ヒストグラム上の画素分布を既存技術の最小二乗法やハフ（Ｈｏｕｇｈ）変換法により直線近似する。これにより得られる図１０（ｂ）のような近似直線は、視差画像の下部に対応する横ライン視差ヒストグラムにおいて、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。この近似直線上又はその近傍に分布する画素は、視差画像上の各横ラインにおいてほぼ同一距離に存在して占有率が高く、かつ画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素である。すなわち、横ライン視差ヒストグラムにおける近似直線上又はその近傍に分布する画素は、路面領域を映し出したものであることを表している。結果的に、横ライン視差ヒストグラムにおける近似直線上又はその近傍に分布する画素を特定することで、路面領域３０２を検出できることとなる。なお、路面領域の検出は、上記方法の方が高精度ではあるが、輝度画像から路肩、白線の認識を行い、路肩の連続した領域や白線が存在する領域を特定することによって路面領域を検出してもよい。
【００２７】
ここで、本実施形態では、自車両１００の走行の妨げとなる障害物や回避すべき物体等を検知して、自車両１００の運転者へ警告を報知する制御を行ったり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。これらの制御を実現するために検知すべき物体（制御用対象物）は、自車両１００が走行している路面上に存在する物体である。
【００２８】
そこで、本実施形態では、路面領域３０２を検出したら、物体候補領域認識部２０４において、路面領域の認識重みを１に、それ以外の画像領域の認識重みを０に設定する（Ｓ１０７）。そして、認識重みが１である領域に重なった物体候補領域は、路面上に存在する物体の候補領域であるとして後述する物体認識処理を行う一方、認識重みが１である領域に重なっていない物体候補領域については、路面上に存在しない物体の候補領域であるとして後述する物体認識処理を行わない（Ｓ１０８）。したがって、図９（ｃ）に示す例においては、符号Ａ，Ｃ，Ｅで示す物体候補領域については物体認識処理が行われ、符号Ｂ，Ｄ，Ｆで示す物体候補領域については物体認識処理が行われない。これにより、制御用対象物でない物体を誤って制御用対象物として認識してしまう誤認識が低減できることに加え、物体認識処理を行う物体候補領域の数が少なくなるので処理時間の短縮も実現できる。
【００２９】
物体認識部２０５は、物体候補領域認識部２０４が設定した物体候補領域のうち、認識重みが１である領域に重なっている物体候補領域について、検出対象物の物体認識処理を行う（Ｓ１０９）。この物体認識処理では、例えば、機械学習方法により、事前に物体認識した画像サンプル学習データを用いて、認識用辞書を作成する。このとき、検出対象物によって別々に認識辞書を作成する必要である。
【００３０】
はじめに、物体認識部２０５は、物体候補領域認識部２０４が設定した物体候補領域について、図１１に示すようなＡ〜Ｄの４種類の白黒ブロック４００内にある白領域４０１及び黒領域４０２（図中斜線で示す）の特徴量を計算する。具体的には、図１１に示すようなＡ〜Ｄの各白黒ブロック４００の白領域４０１に対応する物体候補領域内の箇所についての画素値の合計と、黒領域４０２に対応する物体候補領域内の箇所についての画素値の合計とを算出する。そして、白領域４０１内の画素値合計から黒領域４０２内の画素値合計を差し引いた値を、当該物体候補領域についてのその種類の白黒ブロックに関する特徴量ｈ（ｘ）とする。
【００３１】
このようにして算出される特徴量ｈ（ｘ）から、下記の式（１）に示す評価関数を用いて、１つの評価値ｆ（ｘ）が計算される。この評価値ｆ（ｘ）は、各白黒ブロック（ｔ＝１〜Ｔ（図１１に例示した４種類の白黒ブロックを用いる場合には、Ｔ＝４））について、それぞれ特徴量ｈｔ（ｘ）を計算し、その計算結果に白黒ブロック毎に付された重み係数αｔを乗算して得られる各白黒ブロックの重み付け特徴量αｔ×ｈｔ（ｘ）を合算することにより、算出することができる。ここで、特徴量ｈｔ（ｘ）と重み係数αｔは、検出対象物の輝度画像についての学習データを集め、その学習データによって学習させて求めることができる。
【数１】
2015133078.tif 000003
【００３２】
このような検出対象物の認識処理で用いる識別器は、図１２に示すように、複数の階層５００−１〜ｎ（ｎは正の整数）を含んで構成されている。各階層５００−１〜ｎは、それぞれ、特定の検出対象物であることを特徴づける互いに異なる特徴セット（特徴量ｈｔ（ｘ）及び重み係数αｔ）を用いた個別の評価関数を有している。そして、上記物体候補領域について、まず、階層（識別器）５００−１の評価関数を用いて評価値ｆ（ｘ）を算出し、その値が階層５００−１について予め設定された閾値よりも小さい場合には、当該物体候補領域には検出対象物が映し出されていないものと判断する。このような判断を各階層５００−２〜ｎについて順次行い、最後の階層５００−ｎまで評価値ｆ（ｘ）が閾値以上であると判断されれば、当該物体候補領域には、検出対象物が映し出されているものと判断する。
【００３３】
例えば、車が検出対象物である場合、階層５００−１では大まかに車らしい特徴があるか否かを判断するために、図１１に示した４種類の白黒ブロックを用いて評価値ｆ1（ｘ）を計算し、この評価値ｆ1（ｘ）とその閾値とを比較する。次の階層５００−２では、図１１に示した４種類の白黒ブロックよりも更に細かな白黒パターンをもったブロックが用意されており、そのブロックの個数が階層５００−１よりも多くなるようにする。そして、階層５００−２においても、この階層５００−２に対応する各白黒ブロックについての特徴量Ｈｔ（ｘ）を求めて評価値ｆ２（ｘ）を算出し、この評価値ｆ２（ｘ）が階層５００−２の閾値以上であれば、次の階層５００−３における評価へ移行する。このような処理を繰り返し、最後の階層５００−ｎの評価値ｆｎ（ｘ）も閾値以上であれば、当該物体候補領域が車両を映し出している車両の候補領域であると判断する。
【００３４】
なお、特徴量ｈｔ（ｘ）、重み係数αｔ、図１１に示した４種類の白黒ブロックの二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その白黒ブロックの横幅と縦幅（ブロックサイズ）、白領域（又は黒領域）の二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その白領域と黒領域のサイズ、各階層１〜ｎにおける評価値の閾値等は、図示しない認識辞書等のデータに記憶されている。
【００３５】
なお、本実施形態においては、物体候補領域認識部２０４で物体候補領域を設定してから、その物体候補領域について物体認識部２０５が物体認識処理を行うという手順であるが、例えば、物体認識部２０５での物体認識処理の精度が十分に高い場合には、撮像画像全体について物体認識処理を行うようにしてもよい。
【００３６】
物体追尾処理部２０６は、物体認識部２０５で認識された検出対象物についての追尾処理を行う（Ｓ１１０）。具体的には、例えば、図１３（ａ）に示すように今回の物体認識処理で認識された各検出対象物の画像領域Ａ，Ｃ，Ｅとの間で、図１３（ｂ）に示す次のフレームで撮像された撮像画像中で最も類似度の高い追尾結果領域Ａ’，Ｃ’，Ｅ’を抽出する。この追尾処理では、次のフレームに係る撮像画像（輝度画像）の左上から画素ごとに追尾候補領域をズラしながら走査し、今回の物体認識処理で認識された各検出対象物の画像領域Ａ，Ｃ，Ｅともっとも類似度の高い追尾結果領域Ａ’，Ｃ’，Ｅ’を探す。このとき、自車両１００が走行していることから、フレーム間のサイズ変倍が生じるので、追尾候補領域は、今回の物体認識処理で認識された各検出対象物の画像領域Ａ，Ｃ，Ｅを所定の変倍係数Ｍでサイズ変更したものを用いる。
【００３７】
今回の物体認識処理で認識された各検出対象物の画像領域Ａ，Ｃ，Ｅとの類似度は、例えば、輝度ヒストグラム分布を用いて計算することができる。具体的には、まず、今回の物体認識処理で認識された検出対象物の画像領域Ａについて、輝度値（輝度画像の画素値）１〜ｎごとの画素数ｑ１，ｑ２，・・・，ｑｎを計算し、これを検出対象物の画像領域Ａの輝度ヒストグラム分布ｑ＝［ｑ１，ｑ２，・・・，ｑｎ］とする。一方、次のフレームにおける追尾候補領域についても、同様にして、輝度ヒストグラム分布ｐ＝［ｐ１，ｐ２，・・・，ｐｎ］とする。このとき、フレーム間のサイズ変倍を考慮して正規化処理を行い、サイズ変倍の影響を小さく抑えることが好ましい。このようにして得られる２つのフレームの輝度ヒストグラム分布ｑ＝［ｑ１，ｑ２，・・・，ｑｎ］，ｐ＝［ｐ１，ｐ２，・・・，ｐｎ］を用い、下記の式（２）の計算式から、検出対象物の画像領域Ａと当該追尾候補領域との類似度Ｓｉｍを算出する。そして、類似度Ｓｉｍが最も大きいときの追尾候補領域を検出対象物の画像領域Ａに対応する追尾結果領域Ａ’として決定する。
【数２】
2015133078.tif 000004
【００３８】
物体状態判別部２０７は、物体認識部２０５で認識した各検出対象物の画像領域Ａ，Ｃ，Ｅについての位置情報（自車両１００に対する各検出対象物の相対位置情報）を求める。位置情報のうち、自車両１００に対する各検出対象物の距離については、図１３（ａ）に示す撮像画像（輝度画像）に対応する図１４（ａ）に示す視差画像を用いて、各検出対象物の画像領域Ａ，Ｃ，Ｅ内の視差平均値を計算し、その視差平均値から各検出対象物の自車両１００に対する距離Ｚを、下記の式（３）から算出する。また、物体追尾処理部２０６で得られた各追尾結果領域Ａ’，Ｃ’，Ｅ’についても、同様であり、その位置情報のうちの距離については、図１３（ｂ）に示す撮像画像（輝度画像）に対応する図１４（ｂ）に示す視差画像を用いて、各追尾結果領域Ａ’，Ｃ’，Ｅ’内の視差平均値を計算し、その視差平均値から各追尾結果領域Ａ’，Ｃ’，Ｅ’に映し出されている検出対象物の自車両１００に対する距離Ｚを、下記の式（３）から算出する。これにより、今回認識された各検出対象物までの距離ＺＡ，ＺＣ，ＺＥと、それらの追尾結果領域Ａ’，Ｃ’，Ｅ’に映し出されている検出対象物までの距離ＺＡ’，ＺＣ’，ＺＥ’とが得られる。
【００３９】
Ｚ  ＝  Ｄ  ×  ｆ／Δ  ・・・（３）
ここで、Δは、各検出対象物の画像領域Ａ，Ｃ，Ｅ又は追尾結果領域Ａ’，Ｃ’，Ｅ’内の視差平均値、ｆはステレオカメラの焦点距離、Ｄは左右カメラレンズ間の距離である。
【００４０】
続いて、物体状態判別部２０７は、各検出対象物がフレーム間でどのような挙動を示したのかという物体状態を判別する。本実施形態では、各検出対象物の挙動（物体状態）を知るために、自車両１００の進行方向における各検出対象物までの距離（移動方向距離）Ｄｚの変化量と、自車両移動方向に対して直交する横方向における各検出対象物までの距離（横方向距離）Ｘの変化量とを特定する。
【００４１】
移動方向距離Ｄｚの変化量については、下記の式（４Ａ）、式（４Ｃ）、式（４Ｅ）に示すように、前記のように算出した各検出対象物までの距離ＺＡ，ＺＣ，ＺＥと、それらの追尾結果領域Ａ’，Ｃ’，Ｅ’に映し出されている検出対象物までの距離ＺＡ’，ＺＣ’，ＺＥ’との差分値ΔＺＡ，ΔＺＣ，ΔＺＥを用いる。
ΔＺＡ  ＝  ＺＡ’  −  ＺＡ  ・・・（４Ａ）
ΔＺＣ  ＝  ＺＣ’  −  ＺＣ  ・・・（４Ｃ）
ΔＺＥ  ＝  ＺＥ’  −  ＺＥ  ・・・（４Ｅ）
【００４２】
各検出対象物についての移動方向距離Ｄｚの変化量ΔＺＡ，ΔＺＣ，ΔＺＥの値が正の値である場合、その検出対象物が自車両進行方向に加速したか、自車両が減速したことを意味する。また、この移動方向距離Ｄｚの変化量ΔＺＡ，ΔＺＣ，ΔＺＥの値がゼロである場合は、その検出対象物と自車両との間の自車両進行方向距離に変化がないことを意味する。一方、この移動方向距離Ｄｚの変化量ΔＺＡ，ΔＺＣ，ΔＺＥの値が負の値である場合は、その検出対象物が自車両進行方向に減速したか、自車両が加速したことを意味する。そして、各検出対象物についての移動方向距離Ｄｚの変化量ΔＺＡ，ΔＺＣ，ΔＺＥの値が負の大きな値である場合、各検出対象物と自車両との距離が急激に狭まっていることから、自車両の運転者へ警告を報知する制御を行ったり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりすることが必要となる制御用対象物である。
【００４３】
このような検出対象物の挙動を把握する上では、フレーム間における移動方向距離Ｄｚの変化量ΔＺＡ，ΔＺＣ，ΔＺＥとフレーム時間間隔Δｔとから、各検出対象物の自車両に対する移動方向相対速度ＶｚＡ，ＶｚＣ，ＶｚＥを、下記の式（５Ａ）、式（５Ｃ）、式（５Ｅ）から求めてもよい。
ＶｚＡ  ＝  ΔＺＡ／Δｔ  ・・・（５Ａ）
ＶｚＣ  ＝  ΔＺＣ／Δｔ  ・・・（５Ｃ）
ＶｚＥ  ＝  ΔＺＥ／Δｔ  ・・・（５Ｅ）
【００４４】
横方向距離Ｘの変化量については、次のように算出することができる。
まず、各検出対象物の画像領域Ａ，Ｃ，Ｅと各追尾結果領域Ａ’，Ｃ’，Ｅ’について、撮像画像上での横座標値（画像横方向中央を原点とする。）と実空間上での横座標値（自車両横方向中央を原点とする。）との関係から、下記の式（６）より、実空間上での横座標値Ｘ（自車両１００に対する横方向距離）を求める。これにより、今回認識された各検出対象物の自車両１００に対する横方向距離ＸＡ，ＸＣ，ＸＥと、それらの追尾結果領域Ａ’，Ｃ’，Ｅ’に映し出されている検出対象物の自車両１００に対する横方向距離ＸＡ’，ＸＣ’，ＸＥ’とが得られる。
【００４５】
Ｘ  ＝  ｘ  ×  Ｚ  ／  ｆ  ・・・（６）
ここで、ｘは画像上での横座標値、ｆはカメラレンズの焦点距離、Ｚは各検出対象物の画像領域Ａ，Ｃ，Ｅ及び各追尾結果領域Ａ’，Ｃ’，Ｅ’について算出した距離である。
【００４６】
そして、横方向距離Ｘの変化量は、下記の式（７Ａ）、式（７Ｃ）、式（７Ｅ）に示すように、各検出対象物の横方向距離ＸＡ，ＸＣ，ＸＥと、それらの追尾結果領域Ａ’，Ｃ’，Ｅ’に映し出されている検出対象物の横方向距離ＸＡ’，ＸＣ’，ＸＥ’との差分値ΔＸＡ，ΔＸＣ，ΔＸＥを用いる。
ΔＸＡ  ＝  ＸＡ’  −  ＸＡ  ・・・（７Ａ）
ΔＸＣ  ＝  ＸＣ’  −  ＸＣ  ・・・（７Ｃ）
ΔＸＥ  ＝  ＸＥ’  −  ＸＥ  ・・・（７Ｅ）
【００４７】
各検出対象物についての横方向距離Ｘの変化量ΔＸＡ，ΔＸＣ，ΔＸＥの値が正の値である場合、その検出対象物が横方向において自車両から離れる向きに移動したか、自車両が横方向においてその検出対象物から離れる向きに移動したことを意味する。また、この横方向距離Ｘの変化量ΔＸＡ，ΔＸＣ，ΔＸＥの値がゼロである場合は、その検出対象物と自車両との間の横方向距離に変化がないことを意味する。一方、この横方向距離Ｘの変化量ΔＸＡ，ΔＸＣ，ΔＸＥの値が負の値である場合は、その検出対象物が横方向において自車両に近づく向きへ移動したか、自車両が横方向においてその検出対象物に近づく向きへ移動したことを意味する。そして、各検出対象物についての横方向距離Ｘの変化量ΔＸＡ，ΔＸＣ，ΔＸＥの値が負の大きな値である場合、各検出対象物が自車両の走行方向正面に入り込んできているおそれがある。具体的には、先行車両が自車両の車線へ車線変更してきたり、歩行者が自車両前方を横切ったりしている可能性がある。そのため、このような検出対象物は、自車両の運転者へ警告を報知する制御を行ったり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりすることが必要となる制御用対象物である。
【００４８】
このような検出対象物の挙動を把握する上では、フレーム間における横方向距離Ｘの変化量ΔＸＡ，ΔＸＣ，ΔＸＥとフレーム時間間隔Δｔとから、各検出対象物の自車両に対する横方向相対速度ＶｘＡ，ＶｘＣ，ＶｘＥを、下記の式（８Ａ）、式（８Ｃ）、式（８Ｅ）から求めてもよい。
ＶｘＡ  ＝  ΔＸＡ／Δｔ  ・・・（８Ａ）
ＶｘＣ  ＝  ΔＸＣ／Δｔ  ・・・（８Ｃ）
ＶｘＥ  ＝  ΔＸＥ／Δｔ  ・・・（８Ｅ）
【００４９】
制御用対象物認識部２０８は、物体状態判別部２０７が算出した各検出対象物の位置情報Ｄｚ，Ｘや速度情報Ｖｘ，Ｖｙ，Ｖｚを挙動特徴量として用いて、各検出対象物が制御用対象物であるかどうかを識別する（Ｓ１１２）。なお、Ｖｙは、ＶｘやＶｚと同様の方法で算出することができる。図１５は、画像領域Ａに映し出されている検出対象物（先行車両）の状態特徴量（ＸＡ，ＤｚＡ，ＶｘＡ，ＶｙＡ，ＶｚＡ）を説明するための説明図である。
【００５０】
この制御用対象物の認識処理では、例えば、機械学習方法により、制御用対象物として検出すべき制御用対象物の挙動を事前に学習して、認識用辞書を作成しておき、これを認識辞書記憶部２０９に記憶しておく。このとき、制御用対象物によって別々に認識辞書を作成する必要である。
【００５１】
制御用対象物認識部２０８は、挙動特徴量（ＸＡ，ＤｚＡ，ＶｘＡ，ＶｙＡ，ＶｚＡ）から、下記の式（９）に示す線形の評価関数を用いて、１つの挙動評価値Ｋを計算する。この評価関数の各パラメータｋ（Ｘ），ｋ（Ｄｚ），ｋ（Ｖｘ），ｋ（Ｖｙ），ｋ（Ｖｚ）は、制御用対象物の挙動の学習データを集め、その学習データによって学習させて求めることができる。そして、挙動評価値Ｋが学習で得られた閾値Ｔｈｒｅよりも大きければ、その検出対象物を制御用対象物として認識する。
【数３】
2015133078.tif 000005
【００５２】
制御用対象物認識部２０８の認識結果は、認識結果出力部２１０から後段の処理部へ送られ（Ｓ１１３）、認識された制御用対象物に対応した制御、具体的には、自車両の運転者へ警告を報知する制御や、自車両のハンドルやブレーキを制御するなどの走行支援制御などにそれぞれ使用される。
【００５３】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両１００等の移動体の周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する他車両や歩行者等の検出対象物を検出する物体認識部２０５等の対象物検出手段を備え、前記対象物検出手段が検出した検出対象物が前記移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別装置であって、移動体周囲を撮像するステレオカメラ等の複数の撮像手段が撮像した一対の撮像画像から得られる視差情報に基づいて、前記対象物検出手段が検出した検出対象物までの距離Ｄｚを算出する物体状態判別部２０７等の距離算出手段と、前記距離算出手段が算出した距離と、該距離の算出に用いられた撮像画像を含む撮像時期が異なる２つ以上の撮像画像間における前記検出対象物の画像位置の違いとから、該検出対象物の速度Ｖｘ，Ｖｙ，Ｖｚを特定する物体状態判別部２０７等の速度特定手段と、前記速度特定手段が特定した速度が前記制御用対象物となる条件を満たすか否かを判断する制御用対象物認識部２０８等の判断手段とを有することを特徴とする。
本態様によれば、当該移動体に対する検出対象物の速度から、その検出対象物の挙動を把握することができる。これにより、同じ検出対象物であっても、移動体上の機器に対する制御の必要がない挙動を示している場合と、移動体上の機器に対する制御が必要な挙動を示している場合とを適切に識別することができる。その結果、移動体上の機器に対して不要な制御を実行してしまったり、移動体上の機器に対して必要な制御が実行されなかったりするといった事態が少なくなり、移動体上の所定機器の適切な制御が可能になる。
【００５４】
（態様Ｂ）
態様Ａにおいて、前記移動体の移動方向に対して直交する横方向における該移動体と前記検出対象物との横方向距離Ｘを算出する物体状態判別部２０７等の横方向距離算出手段を有し、前記判断手段は、前記速度特定手段が特定した速度と前記横方向距離算出手段が算出した横方向距離とが、前記条件を満たすか否かを判断することを特徴とする。
これによれば、制御用対象物か否かを判断するための挙動を適切に把握することができ、移動体上の所定機器のより適切な制御が可能になる。
【００５５】
（態様Ｃ）
態様Ａ又はＢにおいて、前記速度特定手段は、前記移動体の移動方向に対して直交する水平方向における該移動体と前記検出対象物との相対速度である水平方向相対速度Ｖｘと、鉛直方向における該移動体と該検出対象物との相対速度である鉛直方向相対速度Ｖｙと、該移動体の移動方向における該移動体と該検出対象物との相対速度である移動方向相対速度Ｖｚとを、前記検出対象物の速度として特定するものであることを特徴とする。
これによれば、制御用対象物か否かを判断するための挙動を適切に把握することができ、移動体上の所定機器のより適切な制御が可能になる。
【００５６】
（態様Ｄ）
態様Ｃにおいて、前記判断手段は、前記距離算出手段が算出した距離Ｄｚ及び前記横方向距離算出手段が算出した横方向距離Ｘ、並びに、前記速度特定手段が特定した水平方向相対速度Ｖｘ、鉛直方向相対速度Ｖｙ及び移動方向相対速度Ｖｚが、前記条件を満たすか否かを判断することを特徴とする。
これによれば、制御用対象物か否かを判断するための挙動を適切に把握することができ、移動体上の所定機器のより適切な制御が可能になる。
【００５７】
（態様Ｅ）
前記態様Ｄにおいて、前記判断手段は、前記式（９）から求まる評価値Ｋを算出し、該評価値Ｋが所定の閾値を超えているときに前記条件を満たすと判断することを特徴とする。
これによれば、迅速な処理が可能となる。
【００５８】
（態様Ｆ）
前記態様Ｅにおいて、前記式（９）中のパラメータｋ（Ｘ）、ｋ（Ｄｚ）、ｋ（Ｖｘ）、ｋ（Ｖｙ）、ｋ（Ｖｚ）は、前記制御用対象物について事前学習して得たものであることを特徴とする。
これによれば、制御用対象物か否かの判断をより適切に実施することができる。
【００５９】
（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記対象物検出手段が前記検出対象物の検出に用いる撮像画像は、前記一対の撮像画像のうち前記視差情報を得るときに基準画像となる輝度画像であることを特徴とする。
これによれば、対象物検出手段が検出対象物の検出に用いる撮像画像の撮像処理に、視差画像を生成するための撮像手段を利用することができる。
【００６０】
（態様Ｈ）
移動体周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する検出対象物を検出し、検出した検出対象物が前記移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別手段と、前記制御用対象物識別手段の識別結果に基づいて、前記所定の機器を制御する移動体機器制御手段とを備えた車載機器制御システム等の移動体機器制御システムであって、前記制御用対象物識別手段として、前記態様Ａ〜Ｇのいずれかの態様に係る制御用対象物識別装置を用いることを特徴とする。
これによれば、検出された検出対象物が制御用対象物であるか否かを適切に判断して移動体上の所定機器を制御するので、所定機器の適切な制御を実現できる。
【００６１】
（態様Ｇ）
移動体周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する検出対象物を検出する対象物検出手段を備え、前記対象物検出手段が検出した検出対象物が前記移動体に搭載された所定の機器を制御する制御用対象物であるか否かを識別する制御用対象物識別装置のコンピュータに実行される制御用対象物認識用プログラムであって、移動体周囲を撮像する複数の撮像手段が撮像した一対の撮像画像から得られる視差情報に基づいて、前記対象物検出手段が検出した検出対象物までの距離を算出する距離算出手段、前記距離算出手段が算出した距離と、該距離の算出に用いられた撮像画像を含む撮像時期が異なる２つ以上の撮像画像間における前記検出対象物の画像位置の違いとから、該検出対象物の速度を特定する速度特定手段、及び、前記速度特定手段が特定した速度が前記制御用対象物となる条件を満たすか否かを判断する判断手段として、前記コンピュータを機能させることを特徴とする。
これによれば、検出された検出対象物が制御用対象物であるか否かを適切に判断することが可能となり、移動体上の所定機器の適切な制御が実現可能となる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
【符号の説明】
【００６２】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０４  車両走行制御ユニット
１１０Ａ，１１０Ｂ  撮像部
１２０  処理ハードウェア部
１２１  視差演算部
２００  制御用対象物識別装置
２０１  ステレオ画像入力部
２０２  視差画像計算部
２０３  輝度画像入力部
２０４  物体候補領域認識部
２０５  物体認識部
２０６  物体追尾処理部
２０７  物体状態判別部
２０８  制御用対象物認識部
２０９  認識辞書記憶部
２１０  認識結果出力部
３０２  路面領域
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００８−１５８６４０号公報
【図１】
2015133078.tif 000007
【図２】
2015133078.tif 000008
【図３】
2015133078.tif 000009
【図４】
2015133078.tif 000010
【図５】
2015133078.tif 000011
【図７】
2015133078.tif 000012
【図９】
2015133078.tif 000013
【図１０】
2015133078.tif 000014
【図１１】
2015133078.tif 000015
【図１２】
2015133078.tif 000016
【図１４】
2015133078.tif 000017
【図１５】
2015133078.tif 000018
【図６】
2015133078.tif 000019
【図８】
2015133078.tif 000020
【図１３】
2015133078.tif 000021