(57)【要約】【課題】安定した検出対象物の検出精度を実現しつつ、その検出処理に用いる処理対象画像データのメモリ保持量を少なくすることを課題とする。【解決手段】２つの撮像部により撮像して得られる左右の輝度画像データから得られる視差画像データに基づいて、撮像画像を画像左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示すＵマップ情報を生成する視差画像生成部２０１及びＵマップ生成部２０２と、生成した視差ヒストグラム情報に基づいて検出対象物が映し出されている検出対象物画像領域を含む検出対象物候補領域を特定した後、切り出し前処理対象画像データ（視差画像データ全体）から当該検出対象物候補領域の画像データ部分を切り出し、切り出した画像データ部分を処理対象画像データとしてメモリ（画像記憶部）１３０に保存する切り出し位置算出部２０４及び画像切り出し部２０６とを有する。【選択図】図３
2014211694.tif 000002
【特許請求の範囲】
【請求項１】
撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データを用いて、前記撮像領域内に存在する検出対象物を映し出す検出対象物画像領域を特定する処理を実行する検出対象物画像領域特定手段と、
前記検出対象物画像領域特定手段が前記処理を実行する前の未処理画像データを処理対象画像データとして記憶する処理対象画像データ記憶手段とを有し、
前記検出対象物画像領域特定手段は、前記処理対象画像データ記憶手段に記憶されている処理対象画像データを用いて前記処理を実行する画像処理装置において、
撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データに対して前記処理対象画像データ記憶手段を用いずにデータ量削減処理を実行し、これにより得られる前記未処理画像データを前記処理対象画像データ記憶手段へ記憶させるデータ量削減処理手段を有し、
前記データ量削減処理手段は、複数の撮像手段により撮像して得られる複数の撮像画像データから得られる視差情報に基づいて、撮像画像を特定方向に複数分割して得られる各領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、
前記視差ヒストグラム情報に基づいて前記検出対象物が映し出されている検出対象物画像領域を含む検出対象物候補領域を特定した後、前記撮像画像データ又は該撮像画像データから生成される画像データである切り出し前処理対象画像データから該検出対象物候補領域の画像データ部分を切り出し、切り出した画像データ部分を処理対象画像データとして前記処理対象画像データ記憶手段に記憶させる候補領域切り出し処理手段とを含むことを特徴とする画像処理装置。
【請求項２】
請求項１の画像処理装置において、
前記視差ヒストグラム情報生成手段が生成する視差ヒストグラム情報は、撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示す縦方向視差ヒストグラム情報であることを特徴とする画像処理装置。
【請求項３】
請求項１又は２の画像処理装置において、
前記視差ヒストグラム情報生成手段は、前記特定方向に対して直交する方向における前記撮像画像の一部分について前記視差ヒストグラム情報を生成することを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像処理装置において、
前記候補領域切り出し処理手段は、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、前記特定方向の間隔が所定範囲内である一群の画素を、前記検出対象物画像領域とし、該検出対象物画像領域を含む検出対象物候補領域を特定することを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像処理装置において、
前記候補領域切り出し処理手段は、前記視差ヒストグラム情報に基づいて、切り出し前処理対象画像上における前記検出対象物候補領域の位置を示す候補領域位置情報を生成し、生成した候補領域位置情報に従って切り出し前処理対象画像データから該検出対象物候補領域の画像データ部分を抽出することを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像処理装置において、
前記候補領域切り出し処理手段は、切り出し前処理対象画像上で前記検出対象物画像領域及び該検出対象物画像領域と前記特定方向における同じ位置に存在する画像領域を含む検出対象物候補領域を特定することを特徴とする画像処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の画像処理装置において、
前記候補領域切り出し処理手段は、前記処理対象画像データ記憶手段内における切り出し後処理対象画像データのデータ格納位置と、該切り出し後処理対象画像データに対応する検出対象物候補領域の切り出し前処理対象画像上の位置とを対応付ける対応情報を生成することを特徴とする画像処理装置。
【請求項８】
請求項７の画像処理装置において、
前記検出対象物画像領域特定手段は、前記処理対象画像データ記憶手段に記憶されている処理対象画像データから検出対象物画像領域に対応する検出対象物画像データ部分を抽出した後、前記対応情報に基づいて、抽出した検出対象物画像データ部分に対応する検出対象物画像領域の切り出し前処理対象画像上の位置を示す位置情報を出力することを特徴とする画像処理装置。
【請求項９】
撮像領域を撮像する複数の撮像手段と、
前記撮像手段により撮像して得られる撮像画像データを用いて、前記撮像領域内に存在する検出対象物を映し出す検出対象物画像領域を特定するための画像処理を行う画像処理手段と、
前記画像処理手段により特定された検出対象物画像領域に映し出されている検出対象物までの距離を、前記複数の撮像手段により撮像して得られる複数の撮像画像データから得られる視差情報に基づいて算出する距離算出手段とを有する距離測定装置において、
前記画像処理手段として、請求項１乃至８のいずれか１項に記載の画像処理装置を用いたことを特徴とする距離測定装置。
【請求項１０】
撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データを用いて、前記撮像領域内に存在する検出対象物を映し出す検出対象物画像領域を特定する処理を実行する検出対象物画像領域特定手段と、
前記検出対象物画像領域特定手段が前記処理を実行する前の未処理画像データを処理対象画像データとして記憶する処理対象画像データ記憶手段とを有し、
前記検出対象物画像領域特定手段は、前記処理対象画像データ記憶手段に記憶されている処理対象画像データを用いて前記処理を実行する画像処理装置のコンピュータに実行させるための画像処理用プログラムにおいて、
撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データに対して前記処理対象画像データ記憶手段を用いずにデータ量削減処理を実行し、これにより得られる前記未処理画像データを前記処理対象画像データ記憶手段へ記憶させるデータ量削減処理手段として、前記コンピュータを機能させるものであり、
前記データ量削減処理手段は、複数の撮像手段により撮像して得られる複数の撮像画像データから得られる視差情報に基づいて、撮像画像を特定方向に複数分割して得られる各領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、
前記視差ヒストグラム情報に基づいて前記検出対象物が映し出されている検出対象物画像領域を含む検出対象物候補領域を特定した後、前記撮像画像データ又は該撮像画像データから生成される画像データである切り出し前処理対象画像データから該検出対象物候補領域の画像データ部分を切り出し、切り出した画像データ部分を処理対象画像データとして前記処理対象画像データ記憶手段に記憶させる候補領域切り出し処理手段とを含むことを特徴とする画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上の視差算出対象箇所と当該複数の撮像画像の他の撮像画像である比較画像上の対応箇所との視差を算出する画像処理装置、距離測定装置及び画像処理用プログラムに関するものである。
【背景技術】
【０００２】
この種の画像処理装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置、移動体の運転者に有益な情報を提供する情報提供装置などの測距処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転を支援するための運転者支援システムに利用されるものが知られている。具体例としては、衝突の危険性があるときには自動的にブレーキをかける自動緊急ブレーキシステム（Autonomous Emergency Braking System(AEBS)）や、アクセルを踏まなくても設定した車速で走行して先行車両に近づいたら車速を自動調整して先行車両との間隔を保つＡＣＣ（Adaptive Cruise Control）などが挙げられる。
【０００３】
このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲に存在する各種検出対象物（例えば、他車両、歩行者、車線やマンホール蓋などの路面構成物、電柱やガードレールなどの路端構造物など）の種類や距離などを、精度よく検出することが重要である。
【０００４】
特許文献１には、検出領域（撮像領域）内に存在する対象物（検出対象物）の輝度と高さ位置からその対象物の種類を識別する環境認識装置が開示されている。この環境認識装置では、まず、予め決められた特定物ごとの輝度範囲に含まれる輝度をもった対象部位に、その特定物ごとの識別番号を付与して、特定物マップを作成する。その後、識別番号が付与された各対象部位について、当該対象部位の道路表面からの高さ位置を取得する。各対象部位の高さ位置は、２つの撮像装置それぞれから得られる２つの画像データに基づいて導出される視差情報から算出する。そして、その高さ位置が特定物テーブルにおいて識別番号により特定される特定物の高さ位置範囲内に含まれていれば、その対象部位が当該特定物であると仮決定する。
【０００５】
この仮決定後、任意の対象部位を基点として、その対象部位と水平距離の差分が所定範囲内にあり、かつ、その対象部位と相対距離（自車両と対象部位との距離）の差分が所定範囲内にある、同一の特定物に対応すると仮決定された（同一の識別番号が付された）対象部位をグループ化し、それを対象物とする。そして、このようにして決定された対象物の幅を算出し、この幅が特定物テーブルにおいて当該特定物の幅範囲内に含まれていれば、その対象物が当該特定物であると決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記特許文献１に記載の環境認識装置は、輝度画像（撮像画像）の入力からその対象物を特定するまでの一連処理を、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等のメモリを含む半導体集積回路で構成された中央制御部で実行する。このような構成においては、通常、入力される輝度画像データの全体をＲＡＭ等のメモリに保持した上で、その輝度画像データを用いた各種演算処理（画像処理）をＣＰＵで実行する。したがって、大容量のメモリが必要となる。
【０００７】
ところが、車載カメラなどの基板上の実装部品で物体（検出対象物）の検出処理を行う場合など、当該画像データの保持に使用できるメモリ容量に制約があるような場合には、画像データ全体をメモリに保持しておくことができないことがある。また、このようなメモリ容量の制約に限らず、多くの場合、メモリに保持する画像データのデータ量は少ない方が処理時間の短縮等の観点から望ましい。
【０００８】
一方、ＣＰＵで実行される画像処理を行う前にメモリに保持しておく未処理の画像データ（処理対象画像データ）のメモリ保持量を少なくする方法としては、画像データ全体の中から予め決められた一部分だけを切り出し、これを処理対象画像データとしてメモリに保持する方法が考えられる。例えば、撮像画像の中で他車両などの検出対象物が映し出される画像部分はある程度決まっているので、その画像部分に対応する画像データ部分だけを切り出してメモリに保持しておくという方法である。しかしながら、この方法では、その画像部分以外に検出対象物が映し出された場合には、これを検出できなくなり、この場合に検出精度が落ちてしまう。
【０００９】
また、前記の方法において、検出対象物が決して映し出されることのない画像部分だけを除いた画像部分のデータを切り出してメモリに保持するようにすれば、検出対象物を検出できないような事態は軽減される。しかしながら、この場合には、メモリに保持するデータ量の低減効果は少ないものとなる。また、検出対象物の種類や数によっては、その検出対象物が映し出され得る画像部分が撮像画像上で広範囲に分布する場合もある。このような場合には、その検出対象物が映し出される画像部分を予め絞り込むことができないので、メモリに保持するデータ量の低減効果を得ることが難しい。
【００１０】
本発明は、前記問題に鑑みなされたものであり、その目的とするところは、安定した検出対象物の検出精度を実現しつつ、その検出処理に用いる処理対象画像データのメモリ保持量を少なくすることが可能となる画像処理装置、距離測定装置及び画像処理用プログラムを提供することである。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明は、撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データを用いて、前記撮像領域内に存在する検出対象物を映し出す検出対象物画像領域を特定する処理を実行する検出対象物画像領域特定手段と、前記検出対象物画像領域特定手段が前記処理を実行する前の未処理画像データを処理対象画像データとして記憶する処理対象画像データ記憶手段とを有し、前記検出対象物画像領域特定手段は、前記処理対象画像データ記憶手段に記憶されている処理対象画像データを用いて前記処理を実行する画像処理装置において、撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データに対して前記処理対象画像データ記憶手段を用いずにデータ量削減処理を実行し、これにより得られる前記未処理画像データを前記処理対象画像データ記憶手段へ記憶させるデータ量削減処理手段を有し、前記データ量削減処理手段は、複数の撮像手段により撮像して得られる複数の撮像画像データから得られる視差情報に基づいて、撮像画像を特定方向に複数分割して得られる各領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づいて前記検出対象物が映し出されている検出対象物画像領域を含む検出対象物候補領域を特定した後、前記撮像画像データ又は該撮像画像データから生成される画像データである切り出し前処理対象画像データから該検出対象物候補領域の画像データ部分を切り出し、切り出した画像データ部分を処理対象画像データとして前記処理対象画像データ記憶手段に記憶させる候補領域切り出し処理手段とを含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、安定した検出対象物の検出精度を実現しつつ、その検出処理に用いる処理対象画像データのメモリ保持量を少なくすることが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】実施形態における車載機器制御システムの概略構成を示す模式図である。
【図２】同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示すハードウェアブロック図である。
【図３】実施形態の物体検出処理に関わる機能ブロック図である。
【図４】左右のカメラで撮影した輝度画像とこれらから生成される視差画像とを示す説明図である。
【図５】左右のカメラで撮影したときの視差を説明する図である。
【図６】視差画像の視差値分布の一例を示す説明図である。
【図７】図６に示す視差画像の縦列領域ごとの視差値頻度分布を示す縦方向視差ヒストグラム（Ｕマップ）を示す説明図である。
【図８】同物体検出処理の流れを示すフローチャートである。
【図９】（ａ）は、基準画像（輝度画像）の一例を示す画像例であり、（ｂ）は、図９（ａ）に対応するＵマップの概要を示す説明図である。
【図１０】切り出し位置算出部における処理の流れを示すフローチャートである。
【図１１】同切り出し位置算出部がＵマップ上の各行（視差値ｄ）について行うマスクデータ生成処理の流れを示すフローチャートである。
【図１２】（ａ）は、Ｕマップの一例を概略的に示す画像例であり、（ｂ）は、図１２（ａ）に対応するマスクデータを示す説明図である。
【図１３】画像切り出し部が行う画像切り出し処理の流れを示すフローチャートである。
【図１４】（ａ）〜（ｃ）は、マスクデータと、切り出し前の輝度画像データと、メモリ１３０に格納される切り出し後の輝度画像データとの対応関係の一例を示す説明図である。
【図１５】図１４に示した例に対応するテーブルデータの内容を示す表である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る画像処理装置を、車両システムとしての車載機器制御システムに用いられる距離測定装置としての物体検出装置に適用した一実施形態について説明する。
なお、本発明に係る画像処理装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて被写体までの距離を測定する距離測定装置を搭載したその他のシステムにも適用できる。具体例としては、自動車の緊急時制動制御システム、自動巡航機器システム、産業用ロボットの操作制御システムなどに用いることが考えられる。
【００１５】
図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本実施形態の車載機器制御システムは、移動体としての自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、例えば、自車両１００の前方に存在する他車両の位置、方角、距離を算出する。他車両の検出では、視差情報に基づいて路面上の検出対象物を車両として検出する。
【００１６】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０６にも送られる。車両走行制御ユニット１０６は、例えば、先行車両の検出結果に基づいて、その先行車両との車間距離が狭くなった場合や広くなった場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１７】
また、画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３にも送られる。ヘッドランプ制御ユニット１０３は、例えば、対向車両の検出結果に基づいて、ベッドランプ１０４のビーム方向をハイビーム又はロービームに切り替えるなどの制御を行う。
【００１８】
図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示すハードウェアブロック図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ、撮像素子が２次元配置された画像センサを含んだセンサ基板、センサ基板から出力されるアナログ電気信号（画像センサ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部などから構成されている。
【００１９】
また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される左右の輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した左右の撮像画像間の対応画像部分の視差値を演算する処理などを行う。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方（撮像部１１０Ａ）を基準画像、他方（撮像部１１０Ｂ）を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。
【００２０】
一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される各種データを記憶するメモリ１３０と、ＣＰＵ（Central Processing Unit）１４０とを備えている。ＣＰＵ１４０は、メモリ１３０に格納された各種データを用いて、検出対象物の検出処理などを実行する。
【００２１】
次に、本発明の特徴部分である、物体検出処理について説明する。
図３は、本実施形態の物体検出処理に関わる機能ブロック図である。
同図において、本実施形態の物体検出装置は、２つの撮像部１１０Ａ，１１０Ｂから取得した左右の撮像画像（輝度画像）から視差画像データを生成する視差画像生成部２０１と、視差画像上の視差データから視差ヒストグラム情報としての縦方向視差ヒストグラム情報であるＵマップ情報を生成するＵマップ生成部２０２と、生成したＵマップ情報を記憶するＵマップ記憶部２０３と、Ｕマップ情報に基づいて輝度画像（撮像画像）や視差画像（撮像画像から生成される画）などの切り出し前処理対象画像上の切り出し位置を算出する切り出し位置算出部２０４と、算出した切り出し位置を示す切り出し位置情報（切り出し用マスクデータ）を記憶する切り出し位置記憶部２０５と、切り出し用マスクデータを用いて切り出し前処理対象画像データから一部分の画像データを切り出し、これを処理対象画像データとしてメモリ１３０（画像記憶部）に格納する画像切り出し部２０６と、切り出した処理対象画像データを用いて検出対象物の検出処理などを実行するＣＰＵ１４０からなる画像処理部と、検出処理の結果を出力する結果出力部１４１から構成される。
【００２２】
本実施形態においては、図３で示すように、処理の高速化のため、２つの撮像部１１０Ａ，１１０Ｂから左右の撮像画像（輝度画像）が入力されてから、切り出した処理対象画像データをメモリ１３０に格納するまでの一連の処理を、メモリ１３０を用いずに、ＦＰＧＡ等からなる処理ハードウェア部１２０によるハードウェア処理で行い、メモリ１３０に格納したその処理対象画像データを用いた検出処理などの処理についてはＣＰＵ１４０を用いたソフトウェア処理で行う構成となっている。言い換えると、本実施形態においては、ＣＰＵ１４０を用いて画像処理する前段階の処理として、２つの撮像部１１０Ａ，１１０Ｂから所定の順序で入力されてくる左右の撮像画像（輝度画像）の画素値データ（画像上の位置情報と輝度値）に対してシーケンシャルな処理の実行が容易な処理についてハードウェア処理を実行している。このようなシーケンシャルな処理でも処理データを一時的に記憶することが必要な場合があるが、この場合でも、通常は、処理済みのデータ部分に上書きするような形で、未処理データを順次保存していく使い方になるので、必要な記録領域は、画像一行分の画像データあるいは数行分の画像データを記憶できる程度の記憶領域で済む。
【００２３】
視差画像生成部２０１は、視差情報生成手段として機能し、図４に示すように、２つの撮像部１１０Ａ，１１０Ｂから入力される左右の撮像画像（輝度画像）の画像データを用いて基準画像上の各画素についての視差値を演算し、その視差値を画素値としてもつ視差画像を生成可能な視差画像データ（視差情報）を生成する。したがって、この視差画像データは、視差画像上の左右方向位置（基準画像上の左右方向位置と同じ）ｘと、視差画像上の上下方向位置（基準画像上の上下方向位置と同じ）ｙと、視差値ｄとを有する三次元座標情報（ｘ，ｙ，ｄ）を含むものである。図５を参照して説明すれば、測距対象物３０１上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、Δ＝Δ１＋Δ２と規定することができる。
【００２４】
Ｕマップ生成部２０２は、視差ヒストグラム情報生成手段として機能し、視差画像（撮像画像）を左右方向に複数分割して得られる各縦列領域内における視差値ｄの頻度分布を示す縦方向視差ヒストグラム情報であるＵマップ情報を生成する。本実施形態において、各縦列領域の幅は１画素分である。具体例を挙げて説明すると、図６に示すような視差値分布をもった視差画像データが入力されたとき、Ｕマップ生成部２０２は、図７に示すような縦列領域ごとの視差値頻度分布を計算して出力する。
【００２５】
Ｕマップ情報は、視差画像データに含まれる各画素に対応した三次元座標（ｘ，ｙ，ｄ）を、Ｘ軸に視差画像上の左右方向位置ｘと、Ｙ軸に視差値ｄと、Ｚ軸に当該画像左右方向位置ｘに対応する縦列領域内での当該視差値ｄの頻度ｆとを有する三次元座標情報（ｘ，ｄ，ｆ）に変換したもの、又はこの三次元座標情報（ｘ，ｄ，ｆ）から生成される二次元情報（ｘ，ｄ）である。本実施形態では、三次元座標情報（ｘ，ｄ，ｆ）からなるＵマップ情報を用い、このＵマップ情報をＵマップ記憶部２０３に記憶する。このようなＵマップ情報を用いることで、例えば、縦軸に視差値ｄをとり、横軸に画像左右方向位置ｘをとった二次元座標系に、所定の頻度閾値を超える頻度ｆをもった視差値に対応する画素を分布させた縦方向視差ヒストグラム画像（Ｕマップ）を作成することができる。なお、三次元座標情報（ｘ，ｙ，ｄ）から、所定の頻度閾値を超える頻度ｆをもった情報だけに限定した二次元情報（ｘ，ｄ）からなるＵマップ情報を用いてもよい。
【００２６】
パラメータ設定部２０７は、Ｕマップ生成部２０２でのＵマップ情報を生成する際のパラメータや、切り出し位置算出部２０４での処理におけるパラメータを設定する。Ｕマップ生成部２０２のパラメータとしては、例えば、自車両１００の前方４０ｍ〜６０ｍの距離に存在する物体のみを検出対象物とする場合に、４０ｍ〜６０ｍの距離に対応する視差値範囲のみを抽出するための視差閾値などが挙げられる。このように視差値範囲を制限することで、Ｕマップ情報を生成する際の処理量を減らすことができる。また、切り出し位置算出部２０４のパラメータとしては、例えば、後述するＵマップ上の画素値（頻度ｆ）についての頻度閾値Ｔや、この頻度閾値Ｔを超える頻度ｆをもった画素の連続出現数の下限閾値ＭＩＮ＿Ｗなどが挙げられる。
【００２７】
切り出し位置算出部２０４は、Ｕマップ情報に基づいて、検出対象物が映し出されている検出対象物画像領域を含む検出対象物候補領域を特定する処理を行う。本実施形態では、所定の頻度閾値を超える頻度ｆをもった視差値ｄのうち所定の視差値近接範囲内の視差値ｄに対応していて、かつ、画像左右方向の間隔Δｌが所定範囲内である一群の画素を、１つの検出対象物を映し出す検出対象物画像領域と仮定し、この検出対象物画像領域と候補領域処理対象画像上で同じ画像左右方向位置に存在する画像領域とを含む範囲を、検出対象物候補領域として特定する。この検出対象物候補領域の位置情報は、切り出し用マスクデータとして画像切り出し部２０６へ送られる。
【００２８】
画像切り出し部２０６は、切り出し位置算出部２０４から送られてくる切り出し用マスクデータを用いて、撮像画像全体の画像データ（輝度画像データ及び視差画像データ）から、検出対象物候補領域の画像データ部分を切り出す処理を行う。そして、この処理により切り出した画像データを、画像記憶部（メモリ１３０）に格納する。
【００２９】
画像処理部であるＣＰＵ１４０は、検出対象物画像領域特定手段として機能し、画像記憶部（メモリ１３０）に格納されている検出対象物候補領域の画像データ部分を処理対象画像データとして用い、検出対象物の検出処理を行う。この処理結果は、結果出力部１４１から出力される。
【００３０】
次に、本実施形態における物体検出処理の流れについて説明する。
図８は、本実施形態における物体検出処理の流れを示すフローチャートである。
まず、撮像ユニット１０１の各撮像部１１０Ａ，１１０Ｂから左右の輝度画像データの入力を受け付けると（Ｓ１）、視差画像生成部２０１では、まず、入力された左右の輝度画像データを用いて、基準画像上の各画素についての視差値を演算して、その視差値を画素値としてもつ視差画像を生成可能な視差画像データを生成する（Ｓ２）。
【００３１】
視差画像データの生成処理としては、例えば、次のような処理を採用することができる。まず、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば５画素×５画素）からなるブロックを定義する。一方、比較画像データにおける当該注目画素と同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（画像左右方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。
【００３２】
マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。
【００３３】
このようにして生成された視差画像データは、Ｕマップ生成部２０２に送られる。Ｕマップ生成部２０２では、この視差画像データ（ｘ，ｙ，ｄ）をＵマップ情報（ｘ，ｄ，ｆ）に変換してＵマップ情報を生成する処理を行う（Ｓ３）。図７に示したＵマップの説明図を用いて説明すると、例えば、図６に示した視差画像データ上で視差値ｄ＝４をもつ画素の群は、自車両１００から同じ距離の地点に存在する物体を映し出している画素である。これらの画素（同じ視差値をもつ画素）は、図７に示したＵマップ上では同じ上下方向位置に並べられるので、これらの画素のうち一定の幅をもった１つの物体を映し出している画素については、Ｕマップ上で横線状に分布するという特徴を示す。また、これらの画素のうち、一定の高さをもった１つの物体を映し出している画素については、Ｕマップ上で一定以上の頻度を示すものとなる。したがって、一定以上の頻度をもち、かつ、Ｕマップ上で横線状に分布するような一群の画素は、一定の幅と高さをもった１つの物体を映し出ている画素群であると言うことができる。
【００３４】
本実施形態では、この特徴を利用して、撮像領域（実空間）内における個々の検出対象物をそれぞれ映し出している検出対象物画像領域を含む検出対象物候補領域を切り出し（Ｓ４，Ｓ５）、その検出対象物候補領域から検出対象物画像領域を特定する（Ｓ６）。そして、このようにして特定された検出対象物画像領域の位置情報（輝度画像又は視差画像上の位置情報）を、処理結果として出力する（Ｓ７）。
【００３５】
なお、視差画像データ（ｘ，ｙ，ｄ）をＵマップ情報（ｘ，ｄ，ｆ）に変換しただけでは、実際には、ノイズ等により、図９（ｂ）に示したようなＵマップを得ることはできない。そのため、実際には、平滑化処理、ハフ変換処理などを用いて、図９（ｂ）に示したようなＵマップを得ることになる。ここでいう平滑化処理とは、所定範囲内（所定の画素数以内）に存在するＵマップ上の画素（一定以上の頻度をもった画素）間を埋めて、不連続な部分をつなげる処理である。
【００３６】
図１０は、切り出し位置算出部２０４における処理の流れを示すフローチャートである。
本実施形態においては、Ｕマップ上の各行（視差値ｄ）についてマスクデータ生成処理（Ｓ２０）を実行する（Ｓ１１〜Ｓ１３）。すべての行（視差値ｄ）についてマスクデータ生成処理を完了したら、これにより生成される切り出し用マスクデータを切り出し位置記憶部２０５に保存する（Ｓ１４）。ここで生成される切り出し用マスクデータとは、撮像画像の画像データ（輝度画像データ及び視差画像データ）から切り出す検出対象物候補領域の左右方向位置を示す情報である。この切り出し用マスクデータは、画像切り出し部２０６において、撮像画像の画像データ（輝度画像データ及び視差画像データ）からどのデータ部分を切り出すか又は切り出さないかを示す情報として用いられる。
【００３７】
具体的には、本実施形態の切り出し用マスクデータは、画像一行分のサイズ（要素数）をもつデータで構成されている。例えば、全体画像サイズが１２８０ピクセル（左右方向、Ｘ方向）×９６０ピクセル（上下方向、Ｙ方向）である場合、切り出し用マスクデータのサイズ（要素数）は１２８０となる。マスクデータの各要素は０か１のいずれかの値を持ち、１であれば、その要素位置（Ｘ座標）の画像列（画像上下方向に延びる列）に属する画素は切り出しの対象となる。０であれば、その要素位置（Ｘ座標）の画像列に属する画素の切り出しは行わない。
【００３８】
図１１は、切り出し位置算出部２０４がＵマップ上の各行（視差値ｄ）について行うマスクデータ生成処理（Ｓ２０）の流れを示すフローチャートである。
なお、以下の説明において、当該行におけるＵマップ上の左右方向位置（Ｘ座標）ｘに位置する画素がもつ頻度ｆ（Ｕマップ上の画素値）をＵ（ｘ）とする。また、所定の頻度閾値Ｔよりも大きい画素値Ｕ（ｘ）を有する画素の連続出現数のカウント値をＷとし、その連続した画素の始点となるＸ座標をＳｘとする。また、ＷＩＤＴＨは、Ｕマップの左右方向サイズ（Ｘ方向の画素数）であり、本実施形態では１２８０である。また、ＭＩＮ＿Ｗは、閾値Ｔを超える画素値Ｕ（ｘ）をもった画素の連続出現数の下限閾値であり、本実施形態では１０としている。
【００３９】
本実施形態におけるマスクデータ生成処理では、まず、処理する画素のＸ座標位置ｘ、連続出現数のカウント値Ｗ、連続出現数の始点座標Ｓｘを、初期値である０にリセットする（Ｓ２１）。その後、Ｕマップ記憶部２０３から、Ｘ座標がｘである画素の画素値Ｕ（ｘ）のデータを入力し（Ｓ２２）、その画素値Ｕ（ｘ）が頻度閾値Ｔよりも大きいか否かを判断する（Ｓ２３）。この判断において、画素値Ｕ（ｘ）が頻度閾値Ｔよりも大きいと判断された場合（Ｓ２３のＹｅｓ）、まず、連続出現数のカウント値Ｗが０であるかどうかを確認する（Ｓ２４）。このとき、Ｗ＝０ならば（Ｓ２４のＹｅｓ）、連続出現数の始点座標Ｓｘ＝ｘをセットした後（Ｓ２５）、Ｗ＝１をセットする（Ｓ２６）。Ｗ＝０でないならば（Ｓ２４のＮｏ）、現在の連続出現数のカウント値Ｗに１を加算する処理を行う（Ｓ２６）。その後、ｘに１を加算する処理を行った後（Ｓ２８）、次の画素値Ｕ（ｘ）のデータ入力（Ｓ２２）に戻る。
【００４０】
Ｕマップ記憶部２０３から入力した画素値Ｕ（ｘ）が頻度閾値Ｔよりも小さい場合（Ｓ２３のＮｏ）、現在の連続出現数のカウント値Ｗが、連続出現数の下限閾値ＭＩＮ＿Ｗよりも大きいか否かを判断する（Ｓ２９）。このとき、Ｗ＞ＭＩＮ＿Ｗでない場合（Ｓ２９のＮｏ）、連続出現数のカウント値Ｗと連続出現数の始点座標Ｓｘを初期値の０にリセットした後（Ｓ３１）、ｘに１を加算する処理を行って（Ｓ２８）、次の画素値Ｕ（ｘ）のデータ入力（Ｓ２２）に戻る。一方、Ｗ＞ＭＩＮ＿Ｗである場合（Ｓ２９のＹｅｓ）、連続出現数の始点座標Ｓｘが示すＸ座標位置から、（Ｓｘ＋Ｗ−１）が示すＸ座標位置までの範囲のマスクデータの値を１にする処理を行う（Ｓ３０）。その後、連続出現数のカウント値Ｗと連続出現数の始点座標Ｓｘを初期値の０にリセットし（Ｓ３１）、ｘに１を加算する処理を行って（Ｓ２８）、次の画素値Ｕ（ｘ）のデータ入力（Ｓ２２）に戻る。
【００４１】
以上の処理を、ｘ＝（ＷＩＤＴＨ−１）に達するまで繰り返し行い（Ｓ２７）、ｘ＝（ＷＩＤＴＨ−１）に達したら（Ｓ２７のＹｅｓ）、当該行についてのマスクデータ生成処理を終了する。このようなマスクデータ生成処理を最終行まで終えたとき、いずれかの行で、閾値Ｔを超える画素値Ｕ（ｘ）が連続出現数の下限閾値ＭＩＮ＿Ｗを超えて連続している一群の画素が存在しているＸ座標範囲に対応する値が１になったマスクデータが生成される。このようにして生成される切り出し用マスクデータと、Ｕマップとの対応関係の一例を示すと、図１２に示すようなものとなる。
【００４２】
次に、この切り出し用マスクデータを用いて、撮像画像の画像データ（輝度画像データ及び視差画像データ）から検出対象物候補領域の画像データ部分を切り出す処理の具体例について説明する。
なお、以下の説明では、基準画像の輝度画像データから検出対象物候補領域の画像データ部分を切り出す場合について説明するが、視差画像生成部２０１が生成した視差画像データから検出対象物候補領域の画像データ部分を切り出す場合であっても同様である。
【００４３】
以下の説明において、ｉは、輝度画像データ上の画素番号であり、画像最上行の左端に位置する画素を始点とし、画像右側に向かって進み、画像右端に達したら、次の行の右端に移動することにより、画像最下行の右端に位置する画素を終点とする連番で示され、その初期値は０である。したがって、画素番号ｉの終値は、輝度画像データの画素数をＰＸＥＬとすると、（ＰＸＥＬ−１）となる。本実施形態では、輝度画像データの画像サイズが１２８０ピクセル×９６０ピクセルであるため、ＰＸＥＬ＝１２８０×９６０である。また、Ｄ（ｉ）は、輝度画像データにおける画素番号ｉの画素値データである。また、ｘは、輝度画像データ上のＸ座標位置であり、Ｕマップ上のＸ座標位置と同じである。ＭＳＫ（ｘ）は、Ｘ座標位置ｘにおけるマスクデータの値である。また、ｍは、切り出した画像データを記憶するメモリ１３０（画像記憶部）の書き出し開始位置（メモリアドレス）からの相対アドレスである。ＭＥＭ（ｍ）は、相対アドレスｍのメモリ領域である。また、Ｗは、マスクデータＭＳＫ（ｘ）の値が１である連続数のカウント値である。また、ｋは、切り出し前の輝度画像データＳＲＣ（ｋ）と切り出し後の輝度画像データＤＳＴ（ｋ）とを対応づけるインデックス番号である。Ｑは、最初の行か否かを判別するための判別子である。
【００４４】
図１３は、画像切り出し部２０６が行う画像切り出し処理の流れを示すフローチャートである。
本実施形態における画像切り出し処理では、まず、処理する画素の画素番号ｉ及びＸ座標位置ｘ、相対アドレスｍ、連続カウント値Ｗ、インデックス番号ｋを、初期値である０にリセットする（Ｓ４１）。その後、切り出し位置記憶部２０５から、Ｘ座標がｘであるマスクデータの値ＭＳＫ（ｘ）を入力し（Ｓ４２）、そのＭＳＫ（ｘ）が１であるか否かを判断する（Ｓ４３）。このとき、ＭＳＫ（ｘ）＝１である場合（Ｓ４３のＹｅｓ）には、まず、連続カウント値Ｗが０であり、かつ、判別子Ｑが０であるかどうかを判断する（Ｓ４４）。この判断において、Ｗ＝０かつＱ＝０ならば（Ｓ４４のＹｅｓ）、切り出し前の輝度画像データＳＲＣ（ｋ）上における切り出し開始位置のＸ座標位置ＳＲＣ（ｋ）．Ｓｘに現在のｘの値を書き込むとともに、切り出し後の輝度画像データＤＳＴ（ｋ）がメモリ１３０に書き出される書き出し開始位置ＤＳＴ（ｋ）．Ｓｘに現在のｍの値を書き込む（Ｓ４５）。その後、Ｗ＝１をセットし（Ｓ４６）、メモリ１３０のメモリ領域ＭＥＭ（ｍ）にＤ（ｉ）を書き込む（Ｓ４８）。その後、相対アドレスｍ、画素番号ｉ、Ｘ座標位置ｘにそれぞれ１を加算する処理を行った後（Ｓ４８〜Ｓ５０）、次のマスクデータの値ＭＳＫ（ｘ）のデータ入力（Ｓ４２）に戻る。
【００４５】
その後、入力されるマスクデータの値ＭＳＫ（ｘ）が１である間は（Ｓ４３のＹｅｓ）、メモリ１３０のメモリ領域ＭＥＭ（ｍ）にＤ（ｉ）が順次書き込まれていく（Ｓ４４〜Ｓ５０）。そして、入力されるマスクデータの値ＭＳＫ（ｘ）が０になると（Ｓ４３のＮｏ）、連続カウント値Ｗが１以上であり、かつ、判別子Ｑが０であるかどうかを判断する（Ｓ５２）。この判断において、Ｗ≧１かつＱ＝０ならば（Ｓ５２のＹｅｓ）、切り出し前の輝度画像データＳＲＣ（ｋ）上における切り出し終了位置のＸ座標位置ＳＲＣ（ｋ）．Ｅｘに現在のｘの値を書き込むとともに、切り出し後の輝度画像データＤＳＴ（ｋ）がメモリ１３０に書き出される書き出し終了位置ＤＳＴ（ｋ）．Ｅｘに現在のｍの値を書き込む（Ｓ５３）。これにより、１つ目（ｋ＝０）の画像データ部分の切り出しが完了する。
【００４６】
その後、インデックス番号ｋに１を加算する処理を行い（Ｓ５４）、Ｗ＝０をセットしたら（Ｓ５５）、画素番号ｉ、Ｘ座標位置ｘにそれぞれ１を加算する処理を行った後（Ｓ４９，Ｓ５０）、次のマスクデータの値ＭＳＫ（ｘ）のデータ入力（Ｓ４２）に戻る。そして、入力されるマスクデータの値ＭＳＫ（ｘ）が０である間は（Ｓ４３のＮｏ）、メモリ１３０のメモリ領域ＭＥＭ（ｍ）にはＤ（ｉ）が書き込まれない。
【００４７】
以上の処理を、ｘ＝（ＷＩＤＴＨ）に達するまで繰り返し行い（Ｓ５１）、ｘ＝（ＷＩＤＴＨ）に達したら（Ｓ５１のＹｅｓ）、最初の行についての画像データの切り出しが完了する。その後、Ｘ座標位置ｘを０にリセットするとともに、判別子Ｑに１をセットする（Ｓ５７）。これにより、次の行について、再びｘ＝０から画像データの切り出しが行われる。このとき、判別子Ｑに１がセットされることで、最初の行以外の行における処理時には、画像切り出し開始位置のＸ座標位置ＳＲＣ（ｋ）．Ｓｘ及びメモリ書き出し開始位置ＳＲＣ（ｋ）．Ｓｘと、画像切り出し終了位置のＸ座標位置ＳＲＣ（ｋ）．Ｅｘ及びメモリ書き出し終了位置ＳＲＣ（ｋ）．Ｅｘが書き込まれることはない（Ｓ４４，Ｓ５２）。これらのデータは、最初の行で、すでに取得済みだからである。
【００４８】
このようにして各行について画像データの切り出しを順次行い、画素番号ｉが終値ＰＸＥＬに達したら（Ｓ５６のＹｅｓ）、画像切り出し処理を終了する。
【００４９】
図１４（ａ）〜（ｃ）は、マスクデータと、切り出し前の輝度画像データと、メモリ１３０に格納される切り出し後の輝度画像データとの対応関係の一例を示す説明図である。
図１４（ｂ）と図１４（ｃ）との比較からわかるように、切り出し前の輝度画像データ（撮像画像全体の画像データ）よりも、切り出し後の輝度画像データの方が、切り出しを行わなかったデータ分だけデータ量が少ない。切り出し後の輝度画像データは、画像処理部であるＣＰＵ１４０が行う検出対象物の検出処理に用いられる処理対象画像データとして、メモリ１３０に保存される。したがって、切り出し前の輝度画像データ（撮像画像全体の画像データ）を処理対象画像データとしてメモリ１３０に保存する場合と比較して、処理対象画像データのメモリ保持量を少なく抑えることができる。
【００５０】
画像切り出し開始位置のＸ座標位置ＳＲＣ（ｋ）．Ｓｘ及びメモリ書き出し開始位置ＳＲＣ（ｋ）．Ｓｘと、後述する画像切り出し終了位置のＸ座標位置ＳＲＣ（ｋ）．Ｅｘ及びメモリ書き出し終了位置ＳＲＣ（ｋ）．Ｅｘは、テーブルデータとして、切り出し位置記憶部２０５に保存される。図１４に示した例に対応するテーブルデータの内容は、例えば、図１５に示すようなものとなる。このテーブルデータは、画像処理部であるＣＰＵ１４０が検出対象物の検出処理を行う際に、ＣＰＵ１４０に呼び出されて使用される。ＣＰＵ１４０は、このテーブルデータを参照することで、どのメモリ領域に保持される画像データが撮像画像（輝度画像あるいは視差画像）上のどの位置の画像データであるかの対応付けを行うことができる。
【００５１】
また、本実施形態においては、撮像画像から得られるＵマップ情報に基づいて特定した検出対象物画像領域を含む検出対象物候補領域の画像データ部分を切り出してメモリ１３０に保存する。そのため、検出対象物が映し出されている可能性が高い画像領域だけを選別して切り出すことができる。撮像領域の状況は刻々と変化するが、本実施形態によれば、そのように撮像領域の状況が刻々と変化しても、安定した検出精度を実現でき、しかも切り出しによる処理対象画像データのメモリ保持量低減効果も得ることができる。
【００５２】
なお、処理対象画像データのメモリ保持量を少なく抑える方法としては、画像データ全体の中から予め決められた一部分だけを切り出すという方法が考えられるが、この方法では、上述したとおり、その画像部分以外に検出対象物が映し出されたときには、これを検出できず、安定した検出精度を実現できない。また、安定した検出精度を得るために切り出す画像データの範囲を広げると、処理対象画像データのメモリ保持量の低減効果を十分に得ることができない。本実施形態は、この方法と比較して、安定した検出精度を実現しつつ、処理対象画像データのメモリ保持量の低減効果を十分に得ることができるものである。
【００５３】
以上のようにして、切り出した画像データが処理対象画像データとしてメモリ１３０に保存されたら、ＣＰＵ１４０は、その処理対象画像データを用いて検出対象物の検出処理を実行する。この検出処理は、例えば、メモリ１３０内に切り出された視差画像データを処理対象画像データとして用い、所定の近似範囲内の視差値をもつ画素の集団（孤立領域）を特定し、各孤立領域の画像幅と画像高さとを算出する。その後、各孤立領域内における視差画像上の画素値の平均値（視差平均値）を計算し、その平均値から算出される距離と、当該孤立領域の画像幅及び画像高さとから、当該孤立領域に映し出されている物体の実サイズ（実際の幅と実際の高さ）を算出する。このようにして、各孤立領域に対応する物体の実サイズを算出したら、その実サイズに対応する検出対象物の種類を、予め用意されたテーブル情報（検出対象物の種類と実サイズとの対応関係を示す情報）に基づいて特定する。
【００５４】
また、ＣＰＵ１４０は、このような視差画像データを用いた検出処理と合わせて、例えば、メモリ１３０内に切り出された輝度画像データを処理対象画像データとして用いた検出処理も行う。例えば、メモリ１３０内に切り出された輝度画像データから、輝度変化の大きなエッジ部分を抽出し、１つの物体を映し出している物体画像領域を特定するなどの処理を行う。この輝度画像データによる検出処理の結果と視差画像データによる検出処理の結果とを総合して、撮像画像に映し出されている検出対象物の種類、位置、距離などの情報を検出する。
【００５５】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
撮像領域を撮像して得られる輝度画像データ等の画像データ又は該画像データから生成される視差画像データ等の別の画像データを用いて、前記撮像領域内に存在する検出対象物を映し出す検出対象物画像領域を特定する処理を実行するＣＰＵ（画像処理部）１４０等の検出対象物画像領域特定手段と、前記検出対象物画像領域特定手段が前記処理を実行する前の未処理画像データを処理対象画像データとして記憶するメモリ１３０（画像記憶部）等の処理対象画像データ記憶手段とを有し、前記検出対象物画像領域特定手段は、前記処理対象画像データ記憶手段に記憶されている処理対象画像データを用いて前記処理を実行する画像処理装置において、撮像領域を撮像して得られる撮像画像データ又は該撮像画像データから生成される画像データに対して前記処理対象画像データ記憶手段を用いずに前処理を実行し、これにより得られる前記未処理画像データを前記処理対象画像データ記憶手段へ記憶させる処理ハードウェア部１２０等の画像データ前処理手段を有し、前記画像データ前処理手段は、２つの撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段により撮像して得られる複数の撮像画像データから得られる視差情報に基づいて、撮像画像を特定方向（画像左右方向）に複数分割して得られる各領域内における視差値の頻度分布を示すＵマップ情報等の視差ヒストグラム情報を生成する視差画像生成部２０１やＵマップ生成部２０２等の視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づいて前記検出対象物が映し出されている検出対象物画像領域を含む検出対象物候補領域を特定した後、前記撮像画像データ又は該撮像画像データから生成される画像データである切り出し前処理対象画像データから該検出対象物候補領域の画像データ部分を切り出し、切り出した画像データ部分を処理対象画像データとして前記処理対象画像データ記憶手段に記憶させる切り出し位置算出部２０４や画像切り出し部２０６等の候補領域切り出し処理手段とを含むことを特徴とする。
本態様では、画像データ前処理手段において、切り出し前処理対象画像データから検出対象物候補領域の画像データ部分を切り出し、切り出した画像データ部分を処理対象画像データとして処理対象画像データ記憶手段に記憶させる。よって、検出対象物画像領域特定手段で実行される処理を行う前に処理対象画像データ記憶手段に保持しておく未処理の画像データ（処理対象画像データ）のメモリ保持量は、切り出し前処理対象画像データを処理対象画像データとして保持しておく場合と比較して少なくなる。
ここで、本態様では、視差ヒストグラム情報に基づいて検出対象物画像領域を含む検出対象物候補領域を特定した後、切り出し前処理対象画像データから当該検出対象物候補領域の画像データ部分を切り出す。視差ヒストグラム情報を用いれば、１つの物体を映し出す検出対象物画像領域の候補領域を高精度かつ迅速に特定することが可能である。この点は、本出願人が提案した特願２０１３−４４４３４号（以下「先願」という。）において説明されている。要約すると、先願で提案した装置では、撮像画像を左右方向に複数分割して得られる各縦列領域内で所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、画像左右方向の間隔が所定範囲内であるという条件を満たす一群の画素を抽出する。所定の頻度閾値を超える頻度をもった視差値に対応する画素とは、その縦列領域内で同じ視差値に対応している画素数が比較的多い画素を指す。また、所定の視差値近接範囲内の視差値に対応している画素の集まりは、それらの画素に映し出されている各箇所が、その視差値近接範囲に対応した距離（撮像手段からの距離）の範囲内で互いに近接している箇所であるが画素の集まり、言い換えると撮像手段からの距離が同程度である箇所を映し出している画素の集まりである。したがって、各縦列領域内で所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応している画素の集まりとは、撮像手段からの距離が同程度で、かつ、一定の高さを持った箇所を映し出している画素の集まりであると言うことができる。そして、更に、画像左右方向の間隔が所定範囲内であるという条件が加わると、そのような画素の集まりは、撮像手段からの距離が同程度でかつ一定の高さと一定の幅を持った面を映し出している画素の集まり（一群の画素）であると言うことができる。このような面は、１つの物体上の面であると考えることができるので、前記のような一群の画素を抽出することで、撮像領域内に存在する個々の物体を高い精度で区別して検出することができる。なお、先願で用いている視差ヒストグラム情報は、本実施形態の場合と同様、縦方向視差ヒストグラム情報（Ｕマップ情報）であるが、例えば、撮像画像を上下方向に複数分割して得られる各横列領域内における視差値の頻度分布を示す横方向視差ヒストグラム情報（Ｖマップ情報）でも、画像の縦と横を入れ替えて縦方向視差ヒストグラム情報（Ｕマップ情報）と同様に考えることができる。
本態様によれば、このように視差ヒストグラム情報から高精度に特定できる検出対象物画像領域を含む検出対象物候補領域を切り出して、その画像データ部分を未処理画像データ（処理対象画像データ）として処理対象画像データ記憶手段に保存する。刻々と状況が変化する撮像領域に存在する検出対象物を映し出す画像領域を適切に切り出して保存することができるので、撮像領域に存在する検出対象物を映し出す画像領域が切り出されないような事態は少なく、安定した検出精度を実現できる。しかも、検出対象物を映し出していない画像領域の画像データが、前記検出対象物画像領域特定手段により処理される処理対象画像データ（未処理画像データ）として、処理対象画像データ記憶手段へ不必要に保存される事態も軽減される。よって、検出対象物画像領域特定手段で実行される処理を行う前に処理対象画像データ記憶手段に保持しておく未処理の画像データ（処理対象画像データ）のメモリ保持量の高い低減効果が得られる。
【００５６】
（態様Ｂ）
上記態様Ａにおいて、前記視差ヒストグラム情報生成手段が生成する視差ヒストグラム情報は、撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示すＵマップ情報等の縦方向視差ヒストグラム情報であることを特徴とする。
これによれば、視差ヒストグラム情報に基づいて１つの物体を映し出す検出対象物画像領域の候補領域を迅速に特定することが可能となる。
【００５７】
（態様Ｃ）
上記態様Ａ又はＢにおいて、前記視差ヒストグラム情報生成手段は、前記特定方向に対して直交する方向における前記撮像画像の一部分について前記視差ヒストグラム情報を生成することを特徴とする。
これによれば、検出対象物が存在し得ない画像部分を除いた画像部分に絞り込んで視差ヒストグラム情報を生成することができるので、視差ヒストグラム情報の生成処理の負荷を軽減することができる。
【００５８】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、前記候補領域切り出し処理手段は、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、前記特定方向の間隔が所定範囲内である一群の画素を、前記検出対象物画像領域とし、該検出対象物画像領域を含む検出対象物候補領域を特定することを特徴とする。
これによれば、視差ヒストグラム情報に基づいて１つの物体を映し出す検出対象物画像領域の候補領域を高精度に特定することが可能となる。
【００５９】
（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、前記候補領域切り出し処理手段は、前記視差ヒストグラム情報に基づいて、切り出し前処理対象画像上における前記検出対象物候補領域の位置を示す切り出し用マスクデータＭＳＫ（ｘ）等の候補領域位置情報を生成し、生成した候補領域位置情報に従って切り出し前処理対象画像データから該検出対象物候補領域の画像データ部分を抽出することを特徴とする。
これによれば、特定された検出対象物候補領域の画像データを切り出し前処理対象画像データから簡易な処理で抽出することができる。
【００６０】
（態様Ｆ）
上記態様Ａ〜Ｅのいずれかの態様において、前記候補領域切り出し処理手段は、切り出し前処理対象画像上で前記検出対象物画像領域及び該検出対象物画像領域と前記特定方向における同じ位置に存在する画像領域を含む検出対象物候補領域を特定することを特徴とする。
これによれば、視差ヒストグラム情報に基づいて特定される検出対象物候補領域の画像データを切り出し前処理対象画像データから迅速に抽出することができる。
【００６１】
（態様Ｇ）
上記態様Ａ〜Ｆのいずれかの態様において、前記候補領域切り出し処理手段は、前記処理対象画像データ記憶手段内における切り出し後処理対象画像データのデータ格納位置ＤＳＴ（ｋ）．Ｓｘ，ＤＳＴ（ｋ）．Ｅｘと、該切り出し後処理対象画像データに対応する検出対象物候補領域の切り出し前処理対象画像上の位置ＳＲＣ（ｋ）．Ｓｘ，ＳＲＣ（ｋ）．Ｅｘとを対応付けるテーブルデータ等の対応情報を生成することを特徴とする。
これによれば、検出対象物画像領域特定手段が検出対象物画像領域を特定する処理を行う際、この対応情報を参照することで、処理対象画像データ記憶手段内のどの記憶領域に保持される画像データが撮像画像上のどの位置の画像データであるかの対応付けを行うことが容易になる。
【００６２】
（態様Ｈ）
上記態様Ｇにおいて、前記検出対象物画像領域特定手段は、前記処理対象画像データ記憶手段に記憶されている処理対象画像データから検出対象物画像領域に対応する検出対象物画像データ部分を抽出した後、前記対応情報に基づいて、抽出した検出対象物画像データ部分に対応する検出対象物画像領域の切り出し前処理対象画像上の位置を示す位置情報を出力することを特徴とする。
これによれば、この位置情報を利用して、検出対象物が映し出されている撮像画像上の位置を特定した様々な処理を行うことが可能となる。
【００６３】
（態様Ｉ）
撮像領域を撮像する複数の撮像手段と、前記撮像手段により撮像して得られる撮像画像データを用いて、前記撮像領域内に存在する検出対象物を映し出す検出対象物画像領域を特定するための画像処理を行う画像処理手段と、前記画像処理手段により特定された検出対象物画像領域に映し出されている検出対象物までの距離を、前記複数の撮像手段により撮像して得られる複数の撮像画像データから得られる視差情報に基づいて算出する距離算出手段とを有する距離測定装置において、前記画像処理手段として、請求項１乃至８のいずれか１項に記載の画像処理装置を用いたことを特徴とする。
これによれば、処理対象画像データのメモリ保持量を低減しつつも安定した検出精度で検出対象物を検出し、その検出対象物の距離を算出することができる。
【００６４】
（態様Ｊ）
撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データを用いて、前記撮像領域内に存在する検出対象物を映し出す検出対象物画像領域を特定する処理を実行する検出対象物画像領域特定手段と、前記検出対象物画像領域特定手段が前記処理を実行する前の未処理画像データを処理対象画像データとして記憶する処理対象画像データ記憶手段とを有し、前記検出対象物画像領域特定手段は、前記処理対象画像データ記憶手段に記憶されている処理対象画像データを用いて前記処理を実行する画像処理装置のコンピュータに実行させるための画像処理用プログラムにおいて、撮像領域を撮像して得られる画像データ又は該画像データから生成される別の画像データに対して前記処理対象画像データ記憶手段を用いずにデータ量削減処理を実行し、これにより得られる前記未処理画像データを前記処理対象画像データ記憶手段へ記憶させるデータ量削減処理手段として、前記コンピュータを機能させるものであり、前記データ量削減処理手段は、複数の撮像手段により撮像して得られる複数の撮像画像データから得られる視差情報に基づいて、撮像画像を特定方向に複数分割して得られる各領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づいて前記検出対象物が映し出されている検出対象物画像領域を含む検出対象物候補領域を特定した後、前記撮像画像データ又は該撮像画像データから生成される画像データである切り出し前処理対象画像データから該検出対象物候補領域の画像データ部分を切り出し、切り出した画像データ部分を処理対象画像データとして前記処理対象画像データ記憶手段に記憶させる候補領域切り出し処理手段とを含むことを特徴とする。
これによれば、安定した検出対象物の検出精度を実現しつつ、その検出処理に用いる処理対象画像データのメモリ保持量を少なくすることが可能となる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
【符号の説明】
【００６５】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０３  ヘッドランプ制御ユニット
１０６  車両走行制御ユニット
１１０Ａ，１１０Ｂ  撮像部
１２０  処理ハードウェア部
１３０  メモリ
１４０  ＣＰＵ
２０１  視差画像生成部
２０２  Ｕマップ生成部
２０３  Ｕマップ記憶部
２０４  切り出し位置算出部
２０５  切り出し位置記憶部
２０６  画像切り出し部
２０７  パラメータ設定部
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特開２０１２−２２６６８９号公報
【図１】
2014211694.tif 000003
【図２】
2014211694.tif 000004
【図３】
2014211694.tif 000005
【図６】
2014211694.tif 000006
【図７】
2014211694.tif 000007
【図８】
2014211694.tif 000008
【図１０】
2014211694.tif 000009
【図１１】
2014211694.tif 000010
【図１２】
2014211694.tif 000011
【図１３】
2014211694.tif 000012
【図１４】
2014211694.tif 000013
【図１５】
2014211694.tif 000014
【図４】
2014211694.tif 000015
【図５】
2014211694.tif 000016
【図９】
2014211694.tif 000017