(57)【要約】【課題】レーダー装置等の他の測距装置を用いることなく、撮像手段により撮像された画像の解析により周囲に存在する物体を信頼性高く検出可能な物体検出装置を提供する。【解決手段】物体検出装置１は、複数の撮像手段２と、基準画像Ｔを複数の画素ブロックに分割し、各画素ブロックについてステレオマッチング処理により視差（距離情報）ｄｐを算出する距離情報算出手段６と、距離情報ｄｐを表した距離画像Ｔｚを複数の区分Ｄnに分割し、各区分Ｄn毎に距離情報ｄｐに関するヒストグラムＨ１nを設け、距離情報ｄｐを該当するヒストグラムＨ１nに投票するヒストグラム生成手段１１と、各階級Ｃ１nmの度数Ｆ１nmに基づいて物体を検出する物体検出手段１２と、距離情報ｄｐの信頼性の指標Ｉｔを算出する信頼性評価手段１０とを備え、ヒストグラム生成手段１１は、距離情報ｄｐの信頼性の指標Ｉｔに応じて各ヒストグラムＨ１nの生成の分解能を変更する。【選択図】図４
2008216177.tif 000002
【特許請求の範囲】
【請求項１】
装置の周囲を撮像する複数の撮像手段と、
前記複数の撮像手段で撮像された撮像画像のうち基準となる撮像画像を複数の画素ブロックに分割し、各画素ブロックについて他の撮像画像内で対応する画素位置を検索してそれぞれ距離情報を算出する距離情報算出手段と、
前記距離情報算出手段で算出された前記各画素ブロックの距離情報を表した距離画像を所定の大きさの複数の区分に分割し、各区分毎に前記距離情報に関するヒストグラムを設け、前記各画素ブロックの距離情報をそれぞれ該当する区分のヒストグラムに投票するヒストグラム生成手段と、
前記各ヒストグラムに集計された各階級の度数に基づいて物体を検出する物体検出手段と、
前記各画素ブロックの距離情報の信頼性の指標を算出する信頼性評価手段と
を備え、
前記ヒストグラム生成手段は、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて各ヒストグラムの生成の分解能を変更することを特徴とする物体検出装置。
【請求項２】
前記ヒストグラム生成手段は、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて、前記各ヒストグラムの生成の分解能として、前記距離画像を分割する前記区分の大きさ、前記ヒストグラムの階級分割の大きさ、および前記各画素ブロックの距離情報を前記ヒストグラムの当該階級およびその周囲の階級に所定の分布に従って分布させて投票する場合の分布範囲の広さのうちの少なくとも１つ以上を変更することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記ヒストグラム生成手段は、前記ヒストグラムをそれぞれ第１ヒストグラムとした場合に、前記第１ヒストグラムの他に各区分毎に第２ヒストグラムを設け、集計された前記第１ヒストグラムの各階級の度数を入力として所定のフィルタリング処理を行い、その結果に基づいて前記各第２ヒストグラムを生成させるとともに、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて前記所定のフィルタリング処理のパラメータを変更することを特徴とする請求項１または請求項２に記載の物体検出装置。
【請求項４】
前記ヒストグラム生成手段は、前記所定のフィルタリング処理として、集計された前記各第１ヒストグラムの各階級において、各階級毎にその度数の時間的変動を平滑化して現在のサンプリング周期における真値を算出する時間的平滑化処理を行い、前記各階級の真値をそれぞれ対応する前記第２ヒストグラムの階級に割り振って前記各第２ヒストグラムをそれぞれ生成させることを特徴とする請求項３に記載の物体検出装置。
【請求項５】
変更される前記所定のフィルタリング処理のパラメータは、前記時間的平滑化処理に用いられる時定数であることを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記ヒストグラム生成手段は、前記所定のフィルタリング処理として、対応する各階級がそれぞれ直線状に並ぶように前記各第２ヒストグラムを配置させた場合に、集計された前記各第１ヒストグラムの各階級の度数を対応する前記第２ヒストグラムの階級に割り振る際に、前記度数を、当該階級、および当該階級が属する第２ヒストグラムおよびその周囲の第２ヒストグラムの当該階級の周囲の階級に所定の分布に従って分布させて割り振る空間的平滑化処理を行い、前記各第２ヒストグラムをそれぞれ生成させることを特徴とする請求項３から請求項５の何れか一項に記載の物体検出装置。
【請求項７】
変更される前記所定のフィルタリング処理のパラメータは、前記空間的平滑化処理における前記当該階級の周囲の階級への分布割合であることを特徴とする請求項６に記載の物体検出装置。
【請求項８】
前記信頼性評価手段は、前記距離画像の所定の画像領域に評価ウインドウを設定し、前記評価ウインドウ内の前記各画素ブロックの距離情報の統計値に基づいて前記各画素ブロックの距離情報の信頼性の指標を算出することを特徴とする請求項１から請求項７の何れか一項に記載の物体検出装置。
【請求項９】
前記信頼性評価手段は、前記物体検出手段により検出された物体が前記基準となる撮像画像上に占める画像領域に評価ウインドウを設定し、前記評価ウインドウ内の前記各画素ブロックの距離情報の統計値に基づいて前記各画素ブロックの距離情報の信頼性の指標を算出することを特徴とする請求項１から請求項７の何れか一項に記載の物体検出装置。
【請求項１０】
前記物体検出手段は、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて前記物体の検出の閾値を変更することを特徴とする請求項１から請求項９の何れか一項に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置に係り、特に、撮像手段により撮像された撮像画像中から物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
近年、乗用車等の車両や人口知能を備えたロボット等に一対のＣＣＤ（Charge Coupled Device）カメラ等の複数の撮像手段を搭載し、自らの周囲等を撮像して得られた撮像画像を解析して周囲の物体の位置や物体までの距離等を測定して物体を検出する技術の開発が進められている（例えば特許文献１〜４等参照）。
【０００３】
このような技術においては、ＣＣＤカメラのレンズ等の汚染を防止し、撮像手段に雨滴等が付着して故障しないように、通常、撮像手段は車両のフロントガラスの内側に取り付けられたり撮像手段の前方にガラスを配置する等して、撮像手段が直接外気に触れないように設計される。
【０００４】
しかし、フロントガラスや撮像手段の前方に配置されたガラスに汚れや雨滴等が付着した場合、汚れや雨滴等により物体を撮像した画像が歪んだり余分な光が重なったりして物体自体の信号が弱くなり、検出される物体までの距離や物体の位置のばらつきが大きくなって検出の信頼性が低下してしまうという問題があった。
【０００５】
そこで、例えば特許文献５では、物体の検出が良好であるか否かを装置自体が監視するフェイルセーフ機能を有する物体認識装置が提案されている。また、特許文献６や特許文献７では、撮像手段の他にレーダー装置を備え、物体検出の信頼性を向上させる距離測定装置が提案されている。
【特許文献１】特開平５−１１４０９９号公報
【特許文献２】特開平５−２６５５４７号公報
【特許文献３】特開平１０−２８３４６１号公報
【特許文献４】特開平１０−２８３４７７号公報
【特許文献５】特開２００１−２７３４９４号公報
【特許文献６】特開平６−２３０１１５号公報
【特許文献７】特開平９−１７１０７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献５に記載の物体認識装置は、撮像画像を複数のウインドウに分割し、ウインドウ毎にステレオマッチング処理により計測距離を算出して、それらのウインドウをクラスタリングし、有効と判断されたクラスタに基づいて物体を認識するものであり、物体認識の信頼性は向上されるが、比較的強い降雨時等には無効とされるクラスタが増大して物体認識自体を行うことができなくなってしまう可能性がある。
【０００７】
また、特許文献６、７に記載の装置では、撮像手段の他にレーダー装置等を備えるため、晴天時や雨天時等の広範な条件下で信頼性の高い物体検出が可能となる。しかし、レーダー装置等の複数の測距装置が必要となるため、装置の低価格化を図ることが困難になるという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、レーダー装置等の他の測距装置を用いることなく、撮像手段により撮像された画像の解析により周囲に存在する物体を信頼性高く検出可能な物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記の問題を解決するために、第１の発明は、物体検出装置において、装置の周囲を撮像する複数の撮像手段と、前記複数の撮像手段で撮像された撮像画像のうち基準となる撮像画像を複数の画素ブロックに分割し、各画素ブロックについて他の撮像画像内で対応する画素位置を検索してそれぞれ距離情報を算出する距離情報算出手段と、前記距離情報算出手段で算出された前記各画素ブロックの距離情報を表した距離画像を所定の大きさの複数の区分に分割し、各区分毎に前記距離情報に関するヒストグラムを設け、前記各画素ブロックの距離情報をそれぞれ該当する区分のヒストグラムに投票するヒストグラム生成手段と、前記各ヒストグラムに集計された各階級の度数に基づいて物体を検出する物体検出手段と、前記各画素ブロックの距離情報の信頼性の指標を算出する信頼性評価手段とを備え、前記ヒストグラム生成手段は、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて各ヒストグラムの生成の分解能を変更することを特徴とする。
【００１０】
第２の発明は、第１の発明の物体検出装置において、前記ヒストグラム生成手段は、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて、前記各ヒストグラムの生成の分解能として、前記距離画像を分割する前記区分の大きさ、前記ヒストグラムの階級分割の大きさ、および前記各画素ブロックの距離情報を前記ヒストグラムの当該階級およびその周囲の階級に所定の分布に従って分布させて投票する場合の分布範囲の広さのうちの少なくとも１つ以上を変更することを特徴とする。
【００１１】
第３の発明は、第１または第２の発明の物体検出装置において、前記ヒストグラム生成手段は、前記ヒストグラムをそれぞれ第１ヒストグラムとした場合に、前記第１ヒストグラムの他に各区分毎に第２ヒストグラムを設け、集計された前記第１ヒストグラムの各階級の度数を入力として所定のフィルタリング処理を行い、その結果に基づいて前記各第２ヒストグラムを生成させるとともに、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて前記所定のフィルタリング処理のパラメータを変更することを特徴とする。
【００１２】
第４の発明は、第３の発明の物体検出装置において、前記ヒストグラム生成手段は、前記所定のフィルタリング処理として、集計された前記各第１ヒストグラムの各階級において、各階級毎にその度数の時間的変動を平滑化して現在のサンプリング周期における真値を算出する時間的平滑化処理を行い、前記各階級の真値をそれぞれ対応する前記第２ヒストグラムの階級に割り振って前記各第２ヒストグラムをそれぞれ生成させることを特徴とする。
【００１３】
第５の発明は、第４の発明の物体検出装置において、変更される前記所定のフィルタリング処理のパラメータは、前記時間的平滑化処理に用いられる時定数であることを特徴とする。
【００１４】
第６の発明は、第３から第５の何れかの発明の物体検出装置において、前記ヒストグラム生成手段は、前記所定のフィルタリング処理として、対応する各階級がそれぞれ直線状に並ぶように前記各第２ヒストグラムを配置させた場合に、集計された前記各第１ヒストグラムの各階級の度数を対応する前記第２ヒストグラムの階級に割り振る際に、前記度数を、当該階級、および当該階級が属する第２ヒストグラムおよびその周囲の第２ヒストグラムの当該階級の周囲の階級に所定の分布に従って分布させて割り振る空間的平滑化処理を行い、前記各第２ヒストグラムをそれぞれ生成させることを特徴とする。
【００１５】
第７の発明は、第６の発明の物体検出装置において、変更される前記所定のフィルタリング処理のパラメータは、前記空間的平滑化処理における前記当該階級の周囲の階級への分布割合であることを特徴とする。
【００１６】
第８の発明は、第１から第７の何れかの発明の物体検出装置において、前記信頼性評価手段は、前記距離画像の所定の画像領域に評価ウインドウを設定し、前記評価ウインドウ内の前記各画素ブロックの距離情報の統計値に基づいて前記各画素ブロックの距離情報の信頼性の指標を算出することを特徴とする。
【００１７】
第９の発明は、第１から第７の何れかの発明の物体検出装置において、前記信頼性評価手段は、前記物体検出手段により検出された物体が前記基準となる撮像画像上に占める画像領域に評価ウインドウを設定し、前記評価ウインドウ内の前記各画素ブロックの距離情報の統計値に基づいて前記各画素ブロックの距離情報の信頼性の指標を算出することを特徴とする。
【００１８】
第１０の発明は、第１から第９の何れかの発明の物体検出装置において、前記物体検出手段は、前記信頼性評価手段で算出された前記各画素ブロックの距離情報の信頼性の指標に応じて前記物体の検出の閾値を変更することを特徴とする。
【発明の効果】
【００１９】
第１の発明によれば、降雨やフロントガラスの汚染等により撮像画像が歪んだり余分な光等のノイズが混入するような場合でも、例えば物体までの距離を算出する上での実空間上の横方向の分解能や時間的な分解能等のヒストグラムの生成の分解能を適度に下げる等して変更することで、検出される物体までの距離や物体の位置のばらつきを抑えて、安定的に物体を検出することが可能となり、撮像画像の解析により周囲に存在する物体を信頼性高く検出することが可能となる。
【００２０】
また、撮像手段の他にレーダー装置等を備える必要がないため、装置の製造コストの上昇を抑えて、装置の低価格化を図ることが可能となる。
【００２１】
第２の発明によれば、距離情報の信頼性の指標に応じて、ヒストグラム生成の分解能として距離画像を分割する区分の大きさ等を変更することで、ヒストグラムに投票される距離情報の総数を増大させることが可能となり、降雨やフロントガラスの汚染等で変更前の各ヒストグラムの各階級の度数がばらけても、変更後の各ヒストグラムにおいては最大の度数を与える階級を明確に判別することが可能となる。
【００２２】
そのため、ヒストグラムから最大の度数を有する階級が明瞭に判別され、その情報に基づいて物体を検出することで、検出される物体までの距離や物体の位置のばらつきを的確に抑えることが可能となり、前記第１の発明の効果を的確に発揮させることが可能となる。
【００２３】
第３の発明によれば、ヒストグラム生成手段において、前記ヒストグラムの他に、そのヒストグラムの各階級の度数をフィルタリング処理した結果に基づいて第２ヒストグラムをそれぞれ生成させ、距離情報の信頼性の指標に応じてフィルタリング処理のパラメータを変更することで、降雨やフロントガラスの汚染等で変更前の各ヒストグラムの各階級の度数がばらけても、第１ヒストグラムの各階級の度数を平滑化して真値を算出してその真値に基づいて第２ヒストグラムを生成させることが可能となる。
【００２４】
そのため、この真値に基づく第２ヒストグラムから最大の度数を有する階級を明瞭に判別することが可能となり、その情報に基づいて物体を検出することで、検出される物体までの距離や物体の位置のばらつきを的確に抑えることが可能となり、前記各発明の効果を的確に発揮させることが可能となる。
【００２５】
第４の発明によれば、フィルタリング処理として、集計された各第１ヒストグラムの各階級の度数に対して時間的平滑化処理を行うことで、降雨やフロントガラスの汚染等で変更前の各ヒストグラムの各階級の度数が時間的にばらけた値となっても確実に真値を算出してその真値に基づいて第２ヒストグラムを生成させることが可能となる。そのため、前記第３の発明の効果が的確に発揮される。
【００２６】
第５の発明によれば、第４の発明において、時間的平滑化処理に用いられる時定数を距離情報の信頼性の指標に応じて変更することで、真値に基づく第２ヒストグラムから最大の度数を有する階級を明瞭に判別することが可能となり、その情報に基づいて物体を検出することで、検出される物体までの距離や物体の位置の時間的なばらつきを的確に抑えることが可能となり、前記各発明の効果を的確に発揮させることが可能となる。
【００２７】
第６の発明によれば、フィルタリング処理として空間的平滑化処理を行うことで、降雨やフロントガラスの汚染等で変更前の各ヒストグラムの各階級の度数が各ヒストグラム毎に分散した値となっても空間的に大きさがばらつく各第２ヒストグラムの各階級の度数を平滑化して度数の真値を算出することが可能となり、その真値に基づいて第２ヒストグラムを生成させることが可能となる。そのため、前記第３の発明の効果が的確に発揮される。
【００２８】
第７の発明によれば、第６の発明において、空間的平滑化処理における当該階級の周囲の階級への分布割合を距離情報の信頼性の指標に応じて変更することで、真値に基づく第２ヒストグラムから最大の度数を有する階級を明瞭に判別することが可能となり、その情報に基づいて物体を検出することで、検出される物体までの距離や物体の位置の空間的なばらつきを的確に抑えることが可能となり、前記各発明の効果を的確に発揮させることが可能となる。
【００２９】
第８の発明によれば、距離画像の所定の画像領域に評価ウインドウを設定して、評価ウインドウ内の各画素ブロックの距離情報の分散等の統計値に基づいて距離情報の信頼性の指標を算出することで、降雨やフロントガラスの汚染等で距離情報の信頼性が低下しているか否かを的確に評価することが可能となり、前記各発明の効果が的確に発揮される。また、所定の画像領域に限定して評価ウインドウを設定することで、指標の計算量を低減すること可能となる。
【００３０】
第９の発明によれば、前回のサンプリング周期で物体が検出された画像領域には次回のサンプリング周期でも物体が検出される可能性が高い。そこで、例えば前回のサンプリング周期で物体が検出された画像領域に評価ウインドウを設定することで確実に評価ウインドウ内に物体を捉え、その物体のエッジ部分等で的確に距離情報が算出され、その統計値が的確に算出される。
【００３１】
そのため、的確に算出された統計量に基づいて距離情報の信頼性の指標を算出することが可能となり、指標を信頼性高く算出することが可能となるとともに、それに基づいてヒストグラムの生成の分解能を的確に変更することが可能となり、前記各発明の効果がより的確に発揮される。
【００３２】
第１０の発明によれば、距離情報の信頼性の指標に応じて物体の検出の閾値を変更することで、降雨やフロントガラスの汚染等の状況下でも的確に物体を検出することが可能となり、前記各発明の効果がより的確に発揮される。
【発明を実施するための最良の形態】
【００３３】
以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。
【００３４】
本実施形態では、車両に搭載され、先行車両等の車両前方の道路面より上方に存在する物体を検出する物体検出装置について説明するが、本発明に係る物体検出装置は、車両に搭載される場合や道路面より上方に存在する物体を検出する場合に限定されない。
【００３５】
本実施形態に係る物体検出装置１は、図１に示すように、主に、撮像手段２と、変換手段３と、距離情報算出手段６と、検出手段９とで構成されている。
【００３６】
なお、撮像手段２から距離情報算出手段６までの構成は、本願出願人により先に提出された前記特許文献１〜４等に詳述されており、詳細な説明はそれらの文献に委ねる。以下、撮像手段２から距離情報算出手段６までの構成は、簡単に説明する。
【００３７】
撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍の車室内すなわちフロントガラスの内側に、車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で自車両の周囲を撮像して一対の画像を出力するように構成されている。
【００３８】
本実施形態では、撮像手段２の一対のカメラのうち、運転者に近い側のカメラがメインカメラ２ａとされ、例えば図２に示すような基準となる撮像画像Ｔ（以下、基準画像Ｔという）を撮像するようになっている。また、サブカメラ２ｂでは基準画像Ｔと対照される比較画像が撮像される。なお、比較画像は、基準画像Ｔと似通った画像であり、図示を省略する。
【００３９】
メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素毎に例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われ、画像データメモリ５に格納されると同時に距離情報算出手段６に送信されるようになっている。
【００４０】
距離情報算出手段６のイメージプロセッサ７では、基準画像Ｔと比較画像の各画像データにステレオマッチング処理やフィルタリング処理を施して撮像手段２から基準画像Ｔ中に撮像された対象までの実空間上の距離に対応する距離情報として視差ｄｐを算出するようになっている。
【００４１】
具体的には、イメージプロセッサ７は、ステレオマッチング処理においては、基準画像Ｔを例えば４×４画素を１ブロックとする画素ブロックに分割する。また、イメージプロセッサ７は、基準画像Ｔ上の各画素ブロックについて比較画像上の４×４画素の画素ブロックのうち下記（１）式で表されるシティブロック距離ＣＢが最も小さい画素ブロックを検索する。ここで、基準画像Ｔおよび比較画像の座標（ｉ，ｊ）の画素の輝度をそれぞれｐ１ij、ｐ２ijで表す。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜    …（１）
【００４２】
その際、本実施形態では、イメージプロセッサ７は、ステレオマッチング処理の対象である基準画像Ｔ上の画素ブロックとｊ座標が同位置の比較画像上をｉ方向すなわち水平方向に１画素づつずらしながら検索し、前記シティブロック距離ＣＢが最小となる画素ブロックが見出されるとその画素ブロックと基準画像Ｔ上の画素ブロックとのずれ量すなわち視差ｄｐを算出する。また、この視差ｄｐの算出を基準画像Ｔ上のすべての画素ブロックについて行うようになっている。
【００４３】
また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい画像領域では前述したステレオマッチング処理の結果の信頼性が低く、視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前述したフィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。
【００４４】
したがって、イメージプロセッサ７から出力される視差ｄｐは、通常、主に基準画像Ｔの左右方向に隣り合う画素間で輝度の差が大きい、いわゆるエッジ部分で有効な値を持つデータとなる。そのため、例えば図３に示すように、この視差ｄｐを画像的に表した画像すなわち距離画像Ｔｚは、主に撮像された対象のエッジ部分に有効な値を有し、車道等の特徴に乏しい画像領域には０が割り当てられた画像となる。
【００４５】
なお、視差ｄｐ、距離画像Ｔｚ上の点（ｉ，ｊ）と、メインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向をＸ軸方向、車高方向をＹ軸方向、車長方向をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）とは、下記（２）〜（４）式で表される座標変換により一意に対応付けられる。なお、下記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ）    …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ）        …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ））        …（４）
【００４６】
このようにして距離情報算出手段６は各画素ブロック毎に視差ｄｐを算出して距離画像Ｔｚを形成し、その情報を距離データメモリ８に格納すると同時に検出手段９に送信するようになっている。
【００４７】
検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。また、検出手段９には、必要に応じて車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類が接続される。
【００４８】
検出手段９は、図４に示すように、信頼性評価手段１０と、ヒストグラム生成手段１１と、物体検出手段１２とを備えており、さらに図示しないメモリを備えている。なお、以下、ヒストグラム生成手段１１を便宜的に第１ヒストグラム生成手段１１ａと第２ヒストグラム生成手段１１ｂとに分けて説明する。
【００４９】
信頼性評価手段１０は、距離画像Ｔｚの各画素ブロックに割り当てられた距離情報である視差ｄｐに基づいて、視差ｄｐの信頼性の指標を算出するようになっている。
【００５０】
具体的には、信頼性評価手段１０は、図５に示すように、まず、距離画像Ｔｚの例えば無限遠点に対応する画素ブロックを含む略中央の画像領域に所定の大きさの評価ウインドウＷｅを設定するように構成されており、評価ウインドウＷｅ内の各画素ブロックの視差ｄｐの統計値に基づいて視差ｄｐの信頼性の指標を算出するようになっている。
【００５１】
また、本実施形態では、前述したように道路面より上方に存在する物体を検出するように構成されている。そのため、信頼性評価手段１０では、基準画像Ｔや距離画像Ｔｚに基づいて道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の車線を認識し、それに基づいて道路面を認識する。そして、評価ウインドウＷｅ内の各画素ブロックの視差ｄｐのうち、道路面の上方に存在する物体までの距離に対応する視差ｄｐについてのみ信頼性の指標を算出するようになっている。
【００５２】
車線認識の構成は、本実施形態では、本願出願人により先に提出された特開２００６−３３１３８９号公報等に記載された車線認識装置の構成とされているが、車線を認識することができるものであれば前記構成以外の構成をとることも可能である。
【００５３】
また、信頼性評価手段１０は、自車両の左右に検出した左右の車線の情報に基づいて車線モデルを三次元的に形成する。車線モデルは、例えば図６（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間毎に下記（５）〜（８）式で示されるように三次元の直線式で近似し、それらを折れ線状に連結して表現して形成される。なお、図６（Ａ）はＺ−Ｘ平面上の道路モデルすなわち水平形状モデル、図６（Ｂ）はＺ−Ｙ平面上の道路モデルすなわち道路高モデルを表す。
【００５４】
［水平形状モデル］
右車線  Ｘ＝ａＲ・Ｚ＋ｂＲ    …（５）
左車線  Ｘ＝ａＬ・Ｚ＋ｂＬ    …（６）
［道路高モデル］
右車線  Ｙ＝ｃＲ・Ｚ＋ｄＲ    …（７）
左車線  Ｙ＝ｃＬ・Ｚ＋ｄＬ    …（８）
【００５５】
信頼性評価手段１０は、本実施形態では、このようにして形成した車線モデルにより道路面を認識するようになっている。そして、距離画像Ｔｚの評価ウインドウＷｅ内の各画素ブロックに割り当てられた視差ｄｐを前記（４）式に代入し、算出された距離Ｚを前記（３）式に代入して得られる高さＹdpが前記道路高モデルでのその距離Ｚにおける道路高Ｙより一定値以上高い位置にある場合には、その視差ｄｐを、道路面の上方に存在する物体までの距離に対応する視差ｄｐであると判断して信頼性の指標の算出の対象とし、それ以外の視差ｄｐは信頼性の指標の算出の対象から除外するようになっている。視差ｄｐの値として０が割り当てられている画素ブロックについても信頼性の指標の算出の対象から除外する。
【００５６】
信頼性評価手段１０は、視差ｄｐの信頼性の指標として、下記（９）式で表される視差ｄｐの分散σdp２を算出するようになっている。なお、式中、ｄｐaveは視差ｄｐの平均値である。
σdp２＝Σ（ｄｐ−ｄｐave）２    …（９）
【００５７】
そして、信頼性評価手段１０は、本実施形態では図７に示すグラフのように分散σdp２と信頼性の指標Ｉｔとを対応付けて数値として算出し、分散σdp２に応じて信頼性の指標Ｉｔをヒストグラム生成手段１１や物体検出手段１２に出力するようになっている。また、道路面の上方に存在する物体までの距離に対応する視差であると判断された視差ｄｐの情報もヒストグラム生成手段１１や物体検出手段１２に出力される。
【００５８】
ヒストグラム生成手段１１は、後述する物体検出手段１２での基準画像Ｔ中からの物体検出に用いられる距離情報すなわち視差ｄｐに関するヒストグラムを生成するようになっている。
【００５９】
本実施形態では、ヒストグラム生成手段１１の第１ヒストグラム生成手段１１ａで、各画素ブロックに視差ｄｐが割り当てられた距離画像Ｔｚを所定の大きさの複数の区分に分割し、各区分毎に視差ｄｐに関する第１ヒストグラムを生成するようになっている。
【００６０】
具体的には、第１ヒストグラム生成手段１１ａでは、距離情報算出手段６で各画素ブロックに視差ｄｐが割り当てられて算出された距離画像Ｔｚを所定の大きさの複数の区分に分割するようになっている。本実施形態では、図８に示すように、距離画像Ｔｚを所定幅の縦方向に延在する短冊状の区分Ｄnに分割するようになっている。
【００６１】
また、第１ヒストグラム生成手段１１ａは、このように分割した各区分Ｄn毎に図９に示すような道路面の上方に存在する視差ｄｐに関する第１ヒストグラムＨ１nをそれぞれ設ける。つまり、区分Ｄnが例えばＤ１からＤ１２０まで１２０区分あれば第１ヒストグラムＨ１nはそれらの区分Ｄnに対応して１２０個設けられる。また、第１ヒストグラムＨ１nの階級は、全ヒストグラム共通に所定の大きさの階級幅に階級分割される。
【００６２】
そして、各区分毎に当該区分Ｄnに属する道路面の上方に存在する視差ｄｐをその区分Ｄnの第１ヒストグラムＨ１nに順次投票する。その結果、図９に示されるような各階級Ｃ１nmに度数Ｆ１nmが分布する第１ヒストグラムＨ１nが生成される。第１ヒストグラム生成手段１１ａはこの第１ヒストグラムＨ１nの生成処理を全区分Ｄｎについてそれぞれ行う。
【００６３】
また、第１ヒストグラム生成手段１１ａは、信頼性評価手段１０から送信されてくる視差ｄｐの信頼性の指標Ｉｔに応じて上記の第１ヒストグラムＨ１nの生成の分解能を変更するようになっている。
【００６４】
本実施形態では、第１ヒストグラム生成手段１１ａは、視差ｄｐの信頼性の指標Ｉｔに応じて前記距離画像Ｔｚを分割する各区分Ｄnの大きさ、すなわち短冊状の区分Ｄnの横幅を変更するようになっており、例えば、図７に示したように視差ｄｐの信頼性の指標Ｉｔが段階的で増加する場合、信頼性の指標Ｉｔが増加する毎に、区分Ｄnの横幅を、視差ｄｐの信頼性の指標Ｉｔが最小値の場合の横幅の２倍、３倍、…に変更するようになっている。
【００６５】
そのため、視差ｄｐの信頼性の指標Ｉｔが最小値の場合を標準状態とし、標準状態では短冊状の区分Ｄnが例えば１２０区分に分割されるとすると、信頼性の指標Ｉｔが増加する毎に、区分Ｄnの数は標準状態の１２０区分から６０区分、４０区分、…のように変更され、生成される第１ヒストグラムＨ１nの数も標準状態の１２０個から６０個、４０個、…に変更される。
【００６６】
第２ヒストグラム生成手段１１ｂは、第１ヒストグラム生成手段１１ａで生成された各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmに所定のフィルタリング処理を施して度数の真値を算出し、各区分Ｄn毎に第２ヒストグラムＨ２nを生成するようになっている。
【００６７】
本実施形態では、第２ヒストグラム生成手段１１ｂは、フィルタリング処理として、第１ヒストグラム生成手段１１ａで集計された各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmの時間的変動を平滑化する時間的平滑化処理を行うようになっている。
【００６８】
具体的には、各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmは、図１０に示すように時間的にすなわち各サンプリング周期ｔ毎に変動する。そのため、本実施形態では、下記（１０）式に従って各階級Ｃ１nmの度数Ｆ１nmの真値Ｆ１nmreal(t)を算出し、メモリに上書き保存して更新するようになっている。
Ｆ１nmreal (t)＝Ｆ１nmreal (t-1)×（１−Ｐｔ）＋Ｆ１nm(t)×Ｐｔ…（１０）
【００６９】
ここで、Ｆ１nmreal (t)およびＦ１nmreal (t-1)はそれぞれ今回および前回のサンプリング周期ｔ、ｔ−１における度数の真値Ｆ１nmrealを表し、Ｆ１nm(t)は今回のサンプリング周期ｔにおいて第１ヒストグラム生成手段１１ａで生成された各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmを表す。
【００７０】
また、前記（１０）式においてＰｔは時定数であり、信頼性評価手段１０から送信されてくる視差ｄｐの信頼性の指標Ｉｔに応じて０≦Ｐｔ≦１の数値範囲内で変更されるようになっている。本実施形態では、信頼性評価手段１０から視差ｄｐの信頼性の指標Ｉｔの最小値が出力されている標準状態ではＰｔ＝１となるように構成されており、信頼性の指標Ｉｔが増加するに従ってＰｔの値が減少するように設定されている。
【００７１】
従って、標準状態では、時定数Ｐｔは１であるから、前記（１０）式は
Ｆ１nmreal(t)＝Ｆ１nm(t)    …（１１）
となり、各階級Ｃ１nmの度数Ｆ１nmの真値Ｆ１nmreal(t)は今回のサンプリング周期ｔで第１ヒストグラム生成手段１１ａで集計された度数Ｆ１nm(t)の値となる。つまり、視差ｄｐの分散σdp２が最も小さく視差ｄｐの信頼性の指標Ｉｔの最小値が出力されている標準状態では、第１ヒストグラム生成手段１１ａで集計された各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nm(t)がそのまま真値を表しているとみなされる。
【００７２】
しかし、視差ｄｐの分散σdp２が大きくなり視差ｄｐの信頼性の指標Ｉｔの値が増加すると、図１１に示すように各階級Ｃ１nmの度数Ｆ１nm(t)の値の時間的な暴れが大きくなる。その場合、時定数Ｐｔの値が減少され、各サンプリング周期ｔにおける度数Ｆ１nm(t)が前記（１０）式により平滑化され、度数Ｆ１nm(t)の平滑化された値が真値Ｆ１nmreal(t)とみなされるようになる。
【００７３】
第２ヒストグラム生成手段１１ｂは、このようにして算出した各階級Ｃ１nmの度数Ｆ１nmの真値Ｆ１nmreal(t)を、各第１ヒストグラムＨ１nにそれぞれ対応する各第２ヒストグラムＨ２nの各階級Ｃ２nmにそれぞれ度数Ｆ２nmとして割り振って各第２ヒストグラムＨ２nをそれぞれ生成するようになっている。
【００７４】
従って、視差ｄｐの信頼性の指標Ｉｔの最小値である標準状態では前記（１１）式より真値Ｆ１nmreal(t)は集計された度数Ｆ１nm(t)に等しいから、図１２に示すように、生成される各区分Ｄn毎の第２ヒストグラムＨ２nはそれぞれ当該区分Ｄnの第１ヒストグラムＨ１nと同形のヒストグラムとなる。
【００７５】
また、視差ｄｐの信頼性の指標Ｉｔが最小値より大きい状態では、第１ヒストグラムＨ１nの各階級Ｃ１nm毎に度数Ｆ１nm(t)が時間的に平滑化された値が真値Ｆ１nmreal(t)とされ、図１３に示すように、第２ヒストグラムＨ２nの各階級Ｃ２nmには対応する第１ヒストグラムＨ１nの階級Ｃ１nmの真値Ｆ１nmreal(t)が割り振られて第２ヒストグラムＨ２nが生成される。
【００７６】
第２ヒストグラム生成手段１１ｂは、このようにして生成した各区分Ｄn毎の第２ヒストグラムＨ２nの各階級Ｃ２nmの度数Ｆ２nmのうち、図１２や図１３に一点鎖線で示される閾値以上の度数であり、かつ、最大の度数を与える階級を最大階級Ｃnmaxとして各区分Ｄn毎に出力するとともにメモリに保存するようになっている。
【００７７】
なお、上記のように最大階級Ｃnmaxは各区分Ｄn毎に１つづつ検出されるが、第２ヒストグラムＨ２nの各階級Ｃ２nmの度数Ｆ２nmが全て閾値未満の度数である場合には、前記最大階級Ｃnmaxは検出されなかったものと見なされる。
【００７８】
物体検出手段１２は、距離画像Ｔｚの各区分Ｄn毎に検出された最大階級Ｃnmaxの情報に基づいて基準画像Ｔ上に物体を検出するようになっている。
【００７９】
具体的には、物体検出手段１２は、各区分Ｄn毎の最大階級Ｃnmaxの下限に視差ｄｐすなわち最大階級Ｃnmax中の最小の視差ｄｐをそれぞれ各区分Ｄnに割り当てて、その視差ｄｐを前記（４）式に代入して各区分Ｄn毎に自車両から物体までの距離Ｚを算出する。この各区分Ｄn毎の物体までの距離Ｚを実空間上にプロットすると、各距離Ｚの情報は図１４に示すように前方の物体の自車両Ａに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。
【００８０】
物体検出手段１２は、このようにプロットされる各点について、例えば実空間上の各点の隣接する点とのＸ軸方向の距離やＺ軸方向の距離、グループ化した場合の左端の点から右端の点までのＸ軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点を図１５に示すようにそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化する。
【００８１】
そして、図１６に示すようにそれぞれのグループ内の各点を直線近似し、近似された直線が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏ１〜Ｏ６とラベルし、各点が自車両Ａの進行方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓ１〜Ｓ６とラベルして分類する。また、同一の物体と見なされる“物体”と“側壁”の交点をコーナー点Ｃとしてラベルするようになっている。
【００８２】
物体検出手段１２は、このようにして、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２、コーナー点Ｃ、側壁Ｓ３］、［物体Ｏ３］、［側壁Ｓ５、コーナー点Ｃ、物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ物体として検出するようになっている。また、物体検出手段１２は、図１７に示すように、このようにして検出した各物体を基準画像Ｔ上で包囲する矩形状の枠線を算出するようになっている。
【００８３】
物体検出手段１２は、このようにして検出した各物体の情報や各サブグループの端点の座標や基準画像Ｔにおける各枠線の頂点の座標等をそれぞれ出力するとともにメモリに保存するようになっている。
【００８４】
また、物体検出手段１２は、信頼性評価手段１０から送信されてくる視差ｄｐの信頼性の指標Ｉｔに応じて上記の実空間上の各点の隣接する点とのＺ軸方向の距離等の物体検出についての各閾値を変更するようになっている。具体的には、物体検出手段１２は、例えば過去のサンプリング周期において検出した物体の情報等との整合性を図りながら、視差ｄｐの分散σdp２が大きくなり視差ｄｐの信頼性の指標Ｉｔの値が増加するに従ってそれらの閾値を例えばより大きな値となるように変更して、グループ化の基準を緩和するようになっている。
【００８５】
次に、本実施形態に係る物体検出装置１の作用について説明する。
【００８６】
信頼性評価手段１０が距離画像Ｔｚに設定した評価ウインドウＷｅを監視し、その内部の画素ブロックについて前記（９）式に従って視差ｄｐの分散σdp２を算出する。そして、例えば図７のグラフに従って算出した視差ｄｐの分散σdp２に対応する視差ｄｐの信頼性の指標Ｉｔを算出し、出力する。
【００８７】
ヒストグラム生成手段１１の第１ヒストグラム生成手段１１ａは、視差ｄｐの分散σdp２が小さく視差ｄｐの信頼性の指標Ｉｔの最小値が出力されている標準状態では、短冊状の区分Ｄnの横幅を、例えば距離情報算出手段６のイメージプロセッサ７でステレオマッチング処理される基準画像Ｔの画素ブロックの横幅に相当する４画素幅に設定して距離画像Ｔｚを分割して、各区分Ｄn毎に視差ｄｐに関する第１ヒストグラムＨ１nを生成する。
【００８８】
ヒストグラム生成手段１１の第２ヒストグラム生成手段１１ｂは、各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmに所定のフィルタリング処理すなわち本実施形態では前記（１０）式に従って時間的平滑化処理を施して度数の真値Ｆ１nmreal (t)を算出し、各区分Ｄn毎に第２ヒストグラムＨ２nを生成する。
【００８９】
しかし、標準状態では、時定数Ｐｔ＝１とされ前記（１１）式で示されるように度数の真値Ｆ１nmreal (t)はそのサンプリング周期ｔにおいて第１ヒストグラム生成手段１１ａで生成された各第１ヒストグラムＨ１nの各階級Ｃ１nmの各度数Ｆ１nm(t)に等しくなり、各第２ヒストグラムＨ２nは対応する区分Ｄnの第１ヒストグラムＨ１nと同形となる。そのため、本実施形態では、標準状態においては前記（１０）式や（１１）式の計算を経ずに各第１ヒストグラムＨ１nをそのまま各第２ヒストグラムＨ２nとするように構成してもよい。
【００９０】
第２ヒストグラム生成手段１１ｂは、各区分Ｄn毎の第２ヒストグラムＨ２nの各階級Ｃ２nmの度数Ｆ２nmのうち閾値以上で最大の度数を与える最大階級Ｃnmaxを出力し、物体検出手段１２は、その最大階級Ｃnmaxの情報に基づいて各区分Ｄn毎に自車両から物体までの距離Ｚを算出してグループ化することにより、自車両の周囲の物体を検出する。
【００９１】
また、雨天時やフロントガラスの汚れ等のために距離画像Ｔｚの評価ウインドウＷｅ内の画素ブロックの視差ｄｐの分散σdp２が大きくなり、信頼性評価手段１０が図７のグラフに従って算出した視差ｄｐの分散σdp２に対応するより大きな値の視差ｄｐの信頼性の指標Ｉｔを出力すると、ヒストグラム生成手段１１の第１ヒストグラム生成手段１１ａは、距離画像Ｔｚを分割する各区分Ｄnの横幅を２倍、３倍、…に変更する。
【００９２】
すなわち、前述したように標準状態で各区分Ｄnの横幅が４画素幅であれば、視差ｄｐの信頼性の指標Ｉｔの値に応じて８画素幅、１２画素幅、…等に拡大する。そのため、物体までの距離Ｚを求めるための横方向すなわち実空間上のＸ軸方向の分解能は低下するが、各区分Ｄnの横幅が拡大することで各区分Ｄnに属する有効な視差ｄｐを有する画素ブロックの数が増加する。
【００９３】
そのため、各区分Ｄnの横幅を４画素幅として距離画像Ｔｚを分割した場合に例えば区分Ｄn、Ｄn+1について生成した第１ヒストグラムＨ１n、Ｈ１n+1が図１８（Ａ）、（Ｂ）に示すように各度数Ｆ１nm、Ｆ２nmが分散して最大階級Ｃnmaxが明確でなくても、各区分Ｄnの横幅を８画素幅として区分Ｄnと区分Ｄn+1とを新しい１つの区分Ｄn＊では第１ヒストグラムＨ１n、Ｈ１n+1の各度数Ｆ１nm、Ｆ２nmが各階級毎に加算され、図１９に示すように最大の度数を有する階級Ｃn＊maxが明瞭に判別できる第１ヒストグラムＨ１n＊を得ることが可能となる。
【００９４】
一方、雨天時やフロントガラスの汚れ等のために距離画像Ｔｚの評価ウインドウＷｅ内の画素ブロックの視差ｄｐの分散σdp２が大きくなると、第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmは図１１に示したように各サンプリング周期ｔ毎に数値が増減する暴れを生じる場合がある。
【００９５】
これを各サンプリング周期ｔ毎の第１ヒストグラムＨ１n(t)で表すと、例えば図２０（Ａ）、（Ｂ）の第１ヒストグラムＨ１n(t-1)、Ｈ１n(t)のように各サンプリング周期ｔ毎に各度数Ｆ１nm(t)が変動して最大の度数を有する階級Ｃnmax(t)が変動し、しかも、この最大階級Ｃnmax(t)の時間的変動が各区分Ｄn毎に多様に生じる。そのため、物体検出手段１２で、各区分Ｄn毎の最大階級Ｃnmax(t)の情報に基づいて物体を検出すると、大きな検出誤差が生じたりグループ化を誤って誤検出が生じたりする不都合が生じる。
【００９６】
しかし、本実施形態のように、ヒストグラム生成手段１１の第２ヒストグラム生成手段１１ｂで、信頼性の指標Ｉｔが増加するに従って前記（１０）式における時定数Ｐｔの値が減少するように変更して、各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmに時間的平滑化処理を施して度数の真値Ｆ１nmreal (t)を算出する。そして、各区分Ｄn毎にその真値Ｆ１nmreal (t)を度数とする第２ヒストグラムＨ２nを生成することで、例えば図２０（Ａ）、（Ｂ）のような各サンプリング周期ｔ毎に度数Ｆ１nm(t)が暴れる第１ヒストグラムＨ１n(t)に基づいて時間的に度数が滑らかに推移する図１３に示した第２ヒストグラムＨ２nを得ることが可能となる。
【００９７】
そして、真値Ｆ１nmreal (t)を度数とする第２ヒストグラムＨ２nに基づいて各区分Ｄn毎の最大階級Ｃnmax(t)を算出し、その情報に基づいて物体検出手段１２で物体を検出することで、誤検出や大きな検出誤差を生じることなく安定して物体を検出することが可能となる。
【００９８】
以上のように、本実施形態に係る物体検出装置１によれば、雨天時や、フロントガラス等の撮像手段の前方に配置されたガラスが汚れる等して、撮像画像が歪んだり余分な光等のノイズが混入するような場合でも、例えば物体までの距離を算出する上での実空間上の横方向の分解能や時間的な分解能等のヒストグラムの生成の分解能を適度に下げる等して変更することで、検出される物体までの距離や物体の位置のばらつきを抑えて、安定的に物体を検出することが可能となり、撮像画像の解析により周囲に存在する物体を信頼性高く検出することが可能となる。
【００９９】
また、撮像手段の他にレーダー装置等を備える必要がないため、装置の製造コストの上昇を抑えて、装置の低価格化を図ることが可能となる。
【０１００】
なお、本実施形態では、視差ｄｐの信頼性の指標として前記（９）式で表される視差ｄｐの分散σdp２を用いる場合について説明したが、ヒストグラム生成の分解能を変更する必要があるかどうかを示す指標となるものであれば視差ｄｐの信頼性の指標は視差ｄｐの分散σdp２を用いて算出する場合に限定されない。
【０１０１】
また、本実施形態では、信頼性評価手段１０が算出する視差ｄｐの信頼性の指標Ｉｔに応じて距離画像Ｔｚを分割する各区分Ｄnの大きさすなわち短冊状の区分Ｄnの横幅を変更する場合について説明したが、この他にも、或いはこの区分Ｄnの横幅の変更に加えて、第１ヒストグラムＨ１nを各階級Ｃ１nmに階級分割する階級幅を変更するように構成することも可能である。
【０１０２】
すなわち、例えば視差ｄｐの分散σdp２が大きくなり視差ｄｐの信頼性の指標Ｉｔの値が増加するに従って第１ヒストグラムＨ１nを各階級Ｃ１nmに階級分割する階級幅をより広くとるように構成することで、例えば標準状態では図１８に（Ａ）に示されるように各階級Ｃ１nmに分散されて集計され何れの階級にピークがあるか明確でなかった度数Ｆ１nmを、図２１に示すように各階級の階級幅を倍にすることで、最大階級Ｃnmax＊＊を明確に算出することが可能となる。
【０１０３】
この場合、第１ヒストグラムＨ１nの各階級Ｃ１nmの階級幅を変更することで、物体までの距離Ｚを求めるための実空間上のＺ軸方向の分解能が低下するが、このように最大階級Ｃnmax＊＊が明確に安定的に算出されることで、物体を安定性よく検出することが可能となり、撮像画像の解析により周囲に存在する物体を信頼性高く検出することが可能となる。
【０１０４】
さらに、本実施形態では、ヒストグラム生成手段１１の第１ヒストグラム生成手段１１ａで、距離画像Ｔｚの区分Ｄnに属する画素ブロックの視差ｄｐを該当する第１ヒストグラムＨ１nの対応する階級Ｃ１nmに単純に１票として投票する場合について説明したが、この他にも、例えば、図示を省略するが、第１ヒストグラムＨ１nに視差ｄｐを投票する際に当該階級だけでなくその周囲の階級にも所定の分布に従って分布させて投票するように構成することも可能である。所定の分布としては、例えばガウス分布を用いることができる。
【０１０５】
そして、前述した短冊状の区分Ｄnの横幅の変更や第１ヒストグラムＨ１nの各階級Ｃ１nmの階級幅の変更の他に、或いはそれらの変更に加えて、視差ｄｐの信頼性の指標Ｉｔに応じてその分布範囲の広さを変更するように構成することも可能である。分布範囲の広さを変更するとは、例えば前述したガウス分布では半値幅を変更することを意味する。
【０１０６】
このように構成すれば、視差ｄｐの分散σdp２が大きくなり第１ヒストグラムＨ１nの各階級に集計される度数が種々の階級に分散する場合でも、比較的大きな度数が周囲に集中して現れる階級Ｃ１nmの度数が周囲の階級の度数の影響で大きく現れ、最大階級を明確に算出することが可能となる。そのため、物体を安定性よく検出することが可能となり、撮像画像の解析により周囲に存在する物体を信頼性高く検出することが可能となる。
【０１０７】
また、本実施形態では、ヒストグラム生成手段１１の第２ヒストグラム生成手段１１ｂで行われるフィルタリング処理として、前記（１０）式に従った時間的平滑化処理を行う場合について説明したが、他のフィルタリング処理を行わせるように構成することも可能である。
【０１０８】
例えば、フィルタリング処理として、空間的な平滑化処理を行わせるように構成することが可能である。空間的平滑化処理は、例えば、各区分Ｄn毎に生成させる第２ヒストグラムＨ２nを図２２に示すように対応する各階級Ｃ２nmがそれぞれ直線状に並ぶように配置させた場合に、各第１ヒストグラムＨ１nの各階級Ｃ１nmの度数Ｆ１nmを対応する第２ヒストグラムＨ２nの階級Ｃ２nmに割り振る際に、度数Ｆ１nmを、図中網目を付して示される当該階級Ｃ２nmだけでなく、図中斜線を付して示される当該階級Ｃ２nmが属する第２ヒストグラムＨ２nおよびその周囲の第２ヒストグラムＨ２n+1、…、Ｈ２n-1、…の当該階級Ｃ２nmの周囲の階級に所定の分布に従って分布させて割り振るようにして行うことができる。
【０１０９】
この場合も、所定の分布として例えばガウス分布を用いることができ、視差ｄｐの信頼性の指標Ｉｔに応じて半値幅を変更する等して周囲の階級への分布の割合を変更するように構成することができる。従って、分布範囲は、図２２に示されたように当該階級Ｃ２nmの周囲の８つの階級に限られない。
【０１１０】
このように構成することで、前述した時間的な平滑化の代わりに、視差ｄｐの分散σdp２が大きくなった場合に空間的に大きさがばらつく各第２ヒストグラムＨ２nの各階級Ｃ２nmの度数Ｆ２nmを平滑化して度数の真値を算出することが可能となり、その中での最大階級Ｃnmaxを的確かつ安定的に検出することが可能となる。そのため、物体を安定性よく検出することが可能となり、撮像画像の解析により周囲に存在する物体を信頼性高く検出することが可能となる。
【０１１１】
なお、本実施形態の物体検出手段１２は、図１７に示したように各物体を基準画像Ｔ上に矩形状の枠線で包囲して検出する。そのため、信頼性評価手段１０はこの枠線を利用することができ、図５に示したように距離画像Ｔｚ中の予め設定された領域に評価ウインドウＷｅを設定する代わりに、例えば前回のサンプリング周期で検出された自車両と同一の走行レーンを走行する物体、すなわち図１７の例で言えば物体Ｏ３の枠線内の領域に対応する距離画像Ｔｚ上の領域に評価ウインドウを設定するように構成することが可能である。
【０１１２】
このように構成することで、次回のサンプリング周期でも設定された評価ウインドウ内に物体が検出される可能性が向上し、物体のエッジ部分で的確に視差ｄｐが算出されてその分散σdp２等の統計値が的確に算出され、それに基づいて視差ｄｐの信頼性の指標Ｉｔを算出することが可能となるため、視差ｄｐの信頼性の指標Ｉｔを信頼性高く算出することが可能となるとともに、それに基づいてヒストグラムの生成の分解能を的確に変更することが可能となり、周囲に存在する物体をより信頼性高く検出することが可能となる。
【図面の簡単な説明】
【０１１３】
【図１】本実施形態に係る物体検出装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】図２の基準画像等に基づいて算出された距離画像を示す図である。
【図４】本実施形態に係る物体検出装置の検出手段の構成を示すブロック図である。
【図５】距離画像上に設定された評価ウインドウを示す図である。
【図６】形成された車線モデルの一例を示す図であり、（Ａ）は水平形状モデル、（Ｂ）は道路高モデルを表す。
【図７】本実施形態における距離情報の統計値すなわち視差の分散と信頼性の指標との対応を表すグラフである。
【図８】距離画像を分割する各区分を示す図である。
【図９】生成された第１ヒストグラムの一例を示す図である。
【図１０】各第１ヒストグラムの各階級の度数の時間的な変動の一例を示すグラフである。
【図１１】度数の時間的な暴れと時間的平滑化処理により算出された真値を示すグラフである。
【図１２】標準状態で図９の第１ヒストグラムから生成される第２ヒストグラムを表す図である。
【図１３】時間的平滑化処理により真値が割り振られて生成された第２ヒストグラムの一例を表す図である。
【図１４】度数が最大となる階級の視差から算出された距離を実空間上にプロットした図である。
【図１５】図１４のプロットされた各点のグループ化を説明する図である。
【図１６】図１５のグループ化に基づいて“物体”または“側壁”として検出された物体を説明する図である。
【図１７】図１６で検出され基準画像上で枠線で包囲された物体を表す図である。
【図１８】標準状態で各度数が分散して最大階級が明確でない２つの第１ヒストグラムを表す図である。
【図１９】区分の横幅の変更により図１８の２つの第１ヒストグラムから生成される第１ヒストグラムを表す図である。
【図２０】時間的に変動する第１ヒストグラムの各度数を２つのサンプリング周期において示す図である。
【図２１】階級幅の変更により得られる第１ヒストグラムを表す図である。
【図２２】ヒストグラム生成手段における空間的平滑化処理を説明する図である。
【符号の説明】
【０１１４】
１  物体検出装置
２  撮像手段
６  距離情報算出手段
１０  信頼性評価手段
１１  ヒストグラム生成手段
１１ａ  第１ヒストグラム生成手段
１１ｂ  第２ヒストグラム生成手段
１２  物体検出手段
Ｃ１nm  階級
Ｄn  区分
ｄｐ  視差（距離情報）
Ｆ１nm  度数
Ｆ１nmreal(t)  真値
Ｈ１n  ヒストグラム（第１ヒストグラム）
Ｈ２n  第２ヒストグラム
Ｉｔ  信頼性の指標
Ｐｔ  時定数
Ｔ  基準となる撮像（基準画像）
Ｔｚ  距離画像
Ｗｅ  評価ウインドウ
σdp２  距離情報の統計値（分散）
【図１】
2008216177.tif 000003
【図２】
2008216177.tif 000004
【図３】
2008216177.tif 000005
【図４】
2008216177.tif 000006
【図５】
2008216177.tif 000007
【図６】
2008216177.tif 000008
【図７】
2008216177.tif 000009
【図８】
2008216177.tif 000010
【図９】
2008216177.tif 000011
【図１０】
2008216177.tif 000012
【図１１】
2008216177.tif 000013
【図１２】
2008216177.tif 000014
【図１３】
2008216177.tif 000015
【図１４】
2008216177.tif 000016
【図１５】
2008216177.tif 000017
【図１６】
2008216177.tif 000018
【図１７】
2008216177.tif 000019
【図１８】
2008216177.tif 000020
【図１９】
2008216177.tif 000021
【図２０】
2008216177.tif 000022
【図２１】
2008216177.tif 000023
【図２２】
2008216177.tif 000024