(57)【要約】【課題】監視領域内に存在する立体物を抽出し、オプティカルフローを用いて立体物の三次元的な動きを算出して、監視領域内の移動物体を的確に検出可能な移動物体検出装置および移動物体検出方法を提供する。【解決手段】移動物体検出装置１は、監視領域を撮像して一対の画像を時系列的に出力するステレオカメラ２と、一対の画像から距離データを算出するステレオ画像処理部６と、距離データから監視領域内に存在する立体物Ｏｎを認識する認識部１０と、一対の画像のうちの時系列的に並ぶ複数の一方の画像および距離データからオプティカルフローΔｉ、Δｊ、Δｄを検出する検出部１１と、距離データとオプティカルフローとから立体物Ｏｎの三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dを算出する算出部１２と、三次元移動成分フローに基づいて移動物体と静止物体とを判定する判定部１３とを有する。【選択図】図１
2006134035.tif 000002
【特許請求の範囲】
【請求項１】
監視領域を含む景色を撮像し、一対の画像を時系列的に出力するステレオカメラと、
前記一対の画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、
前記距離データに基づいて、前記監視領域内に存在する立体物を認識する認識部と、
前記一対の画像のうちの一方の画像を処理対象として、時系列的に並ぶ複数の画像および前記距離データに基づいてオプティカルフローを検出する検出部と、
前記距離データと前記オプティカルフローとに基づいて、前記立体物の三次元移動成分フローを算出する算出部と、
前記三次元移動成分フローに基づいて移動物体と静止物体とを判定する判定部と
を有することを特徴とする移動物体検出装置。
【請求項２】
前記算出部は、前記距離データにより特定される前記立体物の距離データと、前記立体物の前記画像上の位置と、前記オプティカルフローにより特定される前記立体物の前記画像上の位置の変化量および前記距離データの経時的な変化量に基づいて、前記立体物の三次元移動成分フローを算出することを特徴とする請求項１に記載の移動物体検出装置。
【請求項３】
前記ステレオカメラが搭載された自機の速度を検出する速度検出手段と、
前記自機のヨーレートを検出するヨーレート検出手段と
を有し、
前記算出部は、前記自機の速度と、前記自機のヨーレートと、前記立体物の距離データと、前記立体物の画像上の位置とから見かけ成分フローを算出し、前記オプティカルフローと前記見かけ成分フローの差から三次元移動成分フローを算出することを特徴とする請求項１または請求項２に記載の移動物体検出装置。
【請求項４】
前記検出部は、前記一方の画像を構成する所定面積の各画素ブロックについて前記オプティカルフローを検出するように構成されており、
前記算出部は、
前記立体物に属する画素ブロック毎に前記三次元移動成分フローを算出する第１次算出部と、
前記立体物に属する画素ブロックについて算出された前記三次元移動成分フローの各移動成分フローの分布を示す移動成分フローマップを生成するマップ生成部と、
生成された前記移動成分フローマップに基づいて、同一立体物に属する画素ブロック群のうち、前記移動成分フローの差が所定の閾値よりも大きな画素ブロック群を異なる立体物として分離する分離部と
を有することを特徴とする請求項１乃至請求項３のいずれか一項に記載の移動物体検出装置。
【請求項５】
前記検出部は、前記一方の画像を構成する所定面積の各画素ブロックについて前記オプティカルフローを検出するように構成されており、
前記算出部は、
前記立体物に属する画素ブロック毎に前記三次元移動成分フローを算出する第１次算出部と、
前記立体物に属する画素ブロックについて算出された前記三次元移動成分フローの各移動成分フローの分布を示す移動成分フローマップを生成するマップ生成部と、
前記距離データと生成された前記移動成分フローマップに基づいて、立体物と当該立体物に隣接する他の立体物のそれぞれに属する画素ブロックの移動成分フローの差が所定の閾値以下であり、かつ、それぞれの視差の差が最小であり所定の閾値以下である場合には、前記立体物と前記他の立体物とを統合して１つの立体物とする統合部と
を有することを特徴とする請求項１乃至請求項４のいずれか一項に記載の移動物体検出装置。
【請求項６】
前記算出部は、前記立体物に属する画素ブロック群の三次元代表移動成分フローを算出するように構成されており、
前記判定部は、前記三次元代表移動成分フローの移動成分フローのうちの少なくとも１つが所定の閾値を超えている前記立体物を移動物体と判定するように構成されていることを特徴とする請求項１乃至請求項５のいずれか一項に記載の移動物体検出装置。
【請求項７】
前記三次元代表移動成分フローは、前記立体物に属する画素ブロック群内の各画素ブロックについて算出された前記三次元移動成分フローの統計処理により算出されるように構成されていることを特徴とする請求項６に記載の移動物体検出装置。
【請求項８】
前記判定部で前記三次元移動成分フローに基づいて判定された静止物体に関する前記オプティカルフローと前記距離データとに基づいて自機の速度を算出する速度算出部と、
前記速度算出部で算出された前記自機の速度に基づいて前記速度検出手段により検出された速度を補正する速度補正部と
を有することを特徴とする請求項３に記載の移動物体検出装置。
【請求項９】
監視領域を含む景色を時系列的に撮像可能なステレオカメラで撮像して得られた一対の画像に基づいて、ステレオマッチングにより距離データを算出する距離データ算出処理と、
前記距離データに基づいて、前記監視領域内に存在する立体物を認識する立体物認識処理と、
前記一対の画像のうちの一方の画像を処理対象として、時系列的に並ぶ複数の画像および前記距離データに基づいてオプティカルフローを検出するオプティカルフロー検出処理と、
前記距離データと前記オプティカルフローとに基づいて、前記立体物の三次元移動成分フローを算出する三次元移動成分フロー算出処理と、
前記三次元移動成分フローに基づいて移動物体と静止物体とを判定する判定処理と
を行うことを特徴とする移動物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体検出装置および移動物体検出方法に係り、特に監視領域内から立体物を検出して移動物体と静止物体とを判別する移動物体検出装置および移動物体検出方法に関する。
【背景技術】
【０００２】
従来より、車両や移動可能なロボット等にステレオカメラを搭載して、監視領域内の景色を撮像し、これにより得られた情報に基づいて、監視領域内の状況を三次元的に認識する外界監視装置が注目されている（例えば、特許文献１等参照）。
【０００３】
このような外界監視装置を用いれば、例えば、自動車等の車両では、自車両の前方や側方の監視領域内から車両や障害物を検出し、それらとの衝突を回避するため、運転者に警報を発したり、自動的に自車両のブレーキを作動させて減速や停止をさせたりすることが可能となる（例えば、特許文献２乃至特許文献８参照）。
【０００４】
また、例えば、このような外界監視装置をロボットに搭載すれば、監視領域内に検出した物体との接触を回避し、或いはその物体に対向してその物体を詳しく観察するという判断が可能となる。さらに、例えば、このような外界監視装置をパン・チルト式の監視カメラに搭載した場合、監視領域内を移動する物体を検出して、その物体を追跡したりズームアップして記録したりすることも可能となる。
【０００５】
外界監視装置による外界認識方法としては、前記特許文献１に記載されているような対象物の三次元オプティカルフローを求める方法が知られている。この方法では、所定の間隔をおいて配置された複数のカメラ、すなわち、ステレオカメラによって撮像された一対の入力画像に基づいて入力画像中の各点の三次元ベクトルに相当する距離画像を生成し、同一のカメラで異なる時刻に撮像された入力画像に基づいて二次元オプティカルフローを生成し、この距離画像および二次元オプティカルフローに基づいて三次元オプティカルフローを生成して、入力画像中の各点の三次元的な移動を検出する。
【特許文献１】特開２００１−８４３８３号公報
【特許文献２】特開平５−１１４０９９号公報
【特許文献３】特開平５−２６５５４７号公報
【特許文献４】特開平６−２６６８２８号公報
【特許文献５】特開平１０−２８３４６１号公報
【特許文献６】特開平１０−２８３４７７号公報
【特許文献７】特開平１１−２１３１３８号公報
【特許文献８】特開２００１−９２９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特許文献に記載された方法では、ステレオカメラからの入力画像中の各点に対して三次元オプティカルフローが算出されるに留まっているため、監視領域内の景色の中から立体物を抽出するには至っておらず、オプティカルフローと物体の動きとが必ずしも明確に関連付けられない。
【０００７】
また、前記方法では、ステレオカメラが搭載されたロボットと対象物との相対的な三次元運動に基づく三次元オプティカルフローしか検出されないため、ロボット自体が移動している場合には、例えば、地面に対して静止している物体をもロボットに対して相対的に運動していると観察されてしまい、移動物体と静止物体とを区別することができない。
【０００８】
移動物体と静止物体とを区別して認識することは、例えば、走行中の車両が、前方を走行中の車両が急に減速した際に追突したり、車線変更してきた車両や急に車両前方に飛び出してきた歩行者との衝突を回避するためには必須の技術である。また、例えば、自走型ロボット等でも同様に必要とされる技術である。
【０００９】
また、前述したパン・チルト式の監視カメラでは、カメラ自体のパン・チルト動作により静止物体も移動物体もすべて移動しているように観測される。そのため、移動物体と静止物体とを区別して認識しないと静止物体を含む監視領域内のすべての物体を監視しなければならないことになり、監視効率が低下し、例えば、前述した移動物体の追跡等のより高度な監視を行うことができなくなる。
【００１０】
そこで、本発明は、監視領域内に存在する立体物を抽出し、オプティカルフローを用いて立体物の三次元的な動きを算出して、監視領域内の移動物体を的確に検出可能な移動物体検出装置および移動物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記の問題を解決するために、請求項１に記載の移動物体検出装置は、
監視領域を含む景色を撮像し、一対の画像を時系列的に出力するステレオカメラと、
前記一対の画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、
前記距離データに基づいて、前記監視領域内に存在する立体物を認識する認識部と、
前記一対の画像のうちの一方の画像を処理対象として、時系列的に並ぶ複数の画像および前記距離データに基づいてオプティカルフローを検出する検出部と、
前記距離データと前記オプティカルフローとに基づいて、前記立体物の三次元移動成分フローを算出する算出部と、
前記三次元移動成分フローに基づいて移動物体と静止物体とを判定する判定部と
を有することを特徴とする。
【００１２】
請求項１に記載の発明によれば、ステレオカメラで監視領域を撮像して時系列的に得た一対の画像に基づいてステレオ画像処理部で距離データを算出し、得られた距離データに基づいて認識部で監視領域内に存在する立体物を認識し、一方、検出部で一対の画像のうちの一方の時系列的に並ぶ複数の画像と距離データからオプティカルフローを検出し、算出部では認識された立体物についてオプティカルフローと距離データを用いて立体物の地面に対する移動成分である三次元移動成分フローを算出し、その三次元移動成分フローに基づいて判定部で立体物が移動物体と静止物体とを判定する。
【００１３】
請求項２に記載の発明は、請求項１に記載の移動物体検出装置において、前記算出部は、前記距離データにより特定される前記立体物の距離データと、前記立体物の前記画像上の位置と、前記オプティカルフローにより特定される前記立体物の前記画像上の位置の変化量および前記距離データの経時的な変化量に基づいて、前記立体物の三次元移動成分フローを算出することを特徴とする。
【００１４】
請求項２に記載の発明によれば、算出部は、認識部で認識された立体物にその距離データと画像上の位置的および時間的な変化量であるオプティカルフローとを割り当て、それらに基づいてその立体物の三次元移動成分フローを算出する。
【００１５】
請求項３に記載の発明は、請求項１または請求項２に記載の移動物体検出装置において、
前記ステレオカメラが搭載された自機の速度を検出する速度検出手段と、
前記自機のヨーレートを検出するヨーレート検出手段と
を有し、
前記算出部は、前記自機の速度と、前記自機のヨーレートと、前記立体物の距離データと、前記立体物の画像上の位置とから見かけ成分フローを算出し、前記オプティカルフローと前記見かけ成分フローの差から三次元移動成分フローを算出することを特徴とする。
【００１６】
請求項３に記載の発明によれば、算出部は、速度検出手段およびヨーレート検出手段により検出された自機の速度およびヨーレートと距離データ等を用いて自機の移動に伴って観測される見かけのフロー、すなわち、見かけ成分フローを算出し、オプティカルフローから見かけ成分フローを減ずることで、立体物の地面に対する実質的な移動成分である三次元移動成分フローを算出する。
【００１７】
請求項４に記載の発明は、請求項１乃至請求項３のいずれか一項に記載の移動物体検出装置において、
前記検出部は、前記一方の画像を構成する所定面積の各画素ブロックについて前記オプティカルフローを検出するように構成されており、
前記算出部は、
前記立体物に属する画素ブロック毎に前記三次元移動成分フローを算出する第１次算出部と、
前記立体物に属する画素ブロックについて算出された前記三次元移動成分フローの各移動成分フローの分布を示す移動成分フローマップを生成するマップ生成部と、
生成された前記移動成分フローマップに基づいて、同一立体物に属する画素ブロック群のうち、前記移動成分フローの差が所定の閾値よりも大きな画素ブロック群を異なる立体物として分離する分離部と
を有することを特徴とする。
【００１８】
請求項４に記載の発明によれば、算出部は、立体物に属する画素ブロックの三次元移動成分フローの分布を用いて、立体物の他の部分と移動成分フローの値が所定の閾値より大きく異なる画素ブロック群を元の立体物とは別の立体物として分離する。
【００１９】
請求項５に記載の発明は、請求項１乃至請求項４のいずれか一項に記載の移動物体検出装置において、
前記検出部は、前記一方の画像を構成する所定面積の各画素ブロックについて前記オプティカルフローを検出するように構成されており、
前記算出部は、
前記立体物に属する画素ブロック毎に前記三次元移動成分フローを算出する第１次算出部と、
前記立体物に属する画素ブロックについて算出された前記三次元移動成分フローの各移動成分フローの分布を示す移動成分フローマップを生成するマップ生成部と、
前記距離データと生成された前記移動成分フローマップに基づいて、立体物と当該立体物に隣接する他の立体物のそれぞれに属する画素ブロックの移動成分フローの差が所定の閾値以下であり、かつ、それぞれの視差の差が最小であり所定の閾値以下である場合には、前記立体物と前記他の立体物とを統合して１つの立体物とする統合部と
を有することを特徴とする。
【００２０】
請求項５に記載の発明によれば、算出部は、隣接する立体物について、それらの視差、すなわちステレオカメラからの距離と三次元移動成分フローとが設定された閾値以下であり近接する値を持つものであれば、同一の立体物であると判断して、１つの立体物に統合する。
【００２１】
請求項６に記載の発明は、請求項１乃至請求項５のいずれか一項に記載の移動物体検出装置において、
前記算出部は、前記立体物に属する画素ブロック群の三次元代表移動成分フローを算出するように構成されており、
前記判定部は、前記三次元代表移動成分フローの移動成分フローのうちの少なくとも１つが所定の閾値を超えている前記立体物を移動物体と判定するように構成されていることを特徴とする。
【００２２】
請求項６に記載の発明によれば、算出部では、立体物に属する各画素ブロックの三次元移動成分フローから立体物を代表する１つの三次元移動成分フローである三次元代表移動成分フローを算出し、判定部では、その三次元代表移動成分フローを用いて、その３つの移動成分フローのうちのいずれかが設定された所定の閾値を超える場合にはその立体物は移動物体であると判定する。
【００２３】
請求項７に記載の発明は、請求項６に記載の移動物体検出装置において、前記三次元代表移動成分フローは、前記立体物に属する画素ブロック群内の各画素ブロックについて算出された前記三次元移動成分フローの統計処理により算出されるように構成されていることを特徴とする。
【００２４】
請求項７に記載の発明によれば、請求項６の三次元代表移動成分フローの算出を、立体物に属する各画素ブロックの三次元移動成分フローについて最頻値や平均値を求める等の統計処理を行うことにより算出する。
【００２５】
請求項８に記載の発明は、請求項３に記載の移動物体検出装置において、
前記判定部で前記三次元移動成分フローに基づいて判定された静止物体に関する前記オプティカルフローと前記距離データとに基づいて自機の速度を算出する速度算出部と、
前記速度算出部で算出された前記自機の速度に基づいて前記速度検出手段により検出された速度を補正する速度補正部と
を有することを特徴とする。
【００２６】
請求項８に記載の発明によれば、速度算出部においては、静止物体についてのオプティカルフローから自機の速度を算出し、速度補正部では、算出された自機の速度を用いて速度検出手段で検出された速度を補正する。
【００２７】
請求項９に記載の発明は、移動物体検出方法において、
監視領域を含む景色を時系列的に撮像可能なステレオカメラで撮像して得られた一対の画像に基づいて、ステレオマッチングにより距離データを算出する距離データ算出処理と、
前記距離データに基づいて、前記監視領域内に存在する立体物を認識する立体物認識処理と、
前記一対の画像のうちの一方の画像を処理対象として、時系列的に並ぶ複数の画像および前記距離データに基づいてオプティカルフローを検出するオプティカルフロー検出処理と、
前記距離データと前記オプティカルフローとに基づいて、前記立体物の三次元移動成分フローを算出する三次元移動成分フロー算出処理と、
前記三次元移動成分フローに基づいて移動物体と静止物体とを判定する判定処理と
を行うことを特徴とする。
【００２８】
請求項９に記載の発明によれば、ステレオカメラで監視領域を撮像して時系列的に得た一対の画像に基づいて距離データを算出し、得られた距離データに基づいて監視領域内に存在する立体物を認識し、一方、一対の画像のうちの一方の画像を時系列的に複数用いて距離データからオプティカルフローを検出し、認識された立体物についてオプティカルフローと距離データを用いて立体物の地面に対する移動成分である三次元移動成分フローを算出し、その三次元移動成分フローに基づいて立体物が移動物体と静止物体とを判定する。
【発明の効果】
【００２９】
請求項１に記載の発明によれば、ステレオカメラで監視領域を撮像して時系列的に得た一対の画像に基づいてステレオ画像処理部で距離データを算出し、得られた距離データに基づいて認識部で監視領域内に存在する立体物を認識し、一方、検出部で一対の画像のうちの一方の時系列的に並ぶ複数の画像と距離データからオプティカルフローを検出し、算出部では認識された立体物についてオプティカルフローと距離データを用いて立体物の地面に対する移動成分である三次元移動成分フローを算出し、その三次元移動成分フローに基づいて判定部で立体物が移動物体と静止物体とを判定する。
【００３０】
そのため、オプティカルフローを的確に立体物に関連付けることができ、立体物が地面に対して移動しているか否かを示す立体物の三次元移動成分フローを精度良く算出することが可能となり、監視領域の中から移動物体を的確に検出することが可能となる。また、距離データを用いて立体物の認識を行うため、道路面より上にある立体物を認識することができ、画像に写し出される立体物の面積が小さくても的確に認識することが可能となる。さらに、道路上の影などを立体物と誤認識することなく効率良く立体物を認識することが可能となる。
【００３１】
請求項２に記載の発明によれば、算出部は、認識部で認識された立体物にその距離データと画像上の位置的および時間的な変化量であるオプティカルフローとを割り当て、それらに基づいてその立体物の三次元移動成分フローを算出する。そのため、前記請求項１に記載の発明の効果に加え、その立体物の地面に対する移動成分である三次元移動成分フローをより精度良く算出することが可能となり、立体物が移動しているか否かの判定をより的確に行うことが可能となる。
【００３２】
請求項３に記載の発明によれば、算出部は、速度検出手段およびヨーレート検出手段により検出された自機の速度およびヨーレートと距離データ等を用いて自機の移動に伴って観測される見かけ成分フローを算出し、オプティカルフローから見かけ成分フローを減ずることで、立体物の地面に対する移動成分である三次元移動成分フローを算出する。そのため、前記各請求項に記載の発明の効果に加え、移動物体検出装置が搭載された自機の動きに影響されることなく立体物の地面に対する移動成分である三次元移動成分フローの実質的な値を算出することができ、立体物が移動しているか否かをより的確に判定することが可能となる。
【００３３】
請求項４に記載の発明によれば、算出部は、立体物に属する画素ブロックの三次元移動成分フローの分布を用いて、立体物の他の部分と移動成分フローの値が所定の閾値より大きく異なる画素ブロック群を元の立体物とは別の立体物として分離する。そのため、前記各請求項に記載の発明の効果に加え、例えば、停車車両の直前を歩く歩行者のように、互いに近接していて距離データを用いた立体物認識では同一の立体物と認識された複数の立体物を、移動成分フローに基づいて的確に分離ことが可能となる。また、移動成分フローを用いて分離を行うことから、特に、移動物体同士や移動物体と静止物体とを効果的に分離することができ、監視領域内の移動物体をより的確に検出することが可能となり、移動物体をより精度良く検出することができる。
【００３４】
請求項５に記載の発明によれば、算出部は、隣接する立体物について、それらの視差、すなわちステレオカメラからの距離と三次元移動成分フローとが設定された閾値以下であり近接する値を持つものであれば、同一の立体物であると判断して、１つの立体物に統合する。例えば、立体物がステレオカメラに近接しているような場合には監視領域内で立体物が大きく検出され、１つの立体物を複数の立体物として認識してしまうことが生じ得るが、このように、距離と三次元移動成分フローが非常に近接している隣接する立体物同士を統合することで、前記各請求項に記載の発明の効果に加え、立体物をより的確に認識し、より精度良く移動物体を検出することが可能となり、監視領域内の移動物体の検出をより正確に行うことが可能となる。また、それにより、移動物体を監視すべき場合には、監視対象の数をより限定することができる。
【００３５】
請求項６に記載の発明によれば、算出部では、立体物に属する各画素ブロックの三次元移動成分フローから立体物を代表する１つの三次元移動成分フローである三次元代表移動成分フローを算出し、判定部では、その三次元代表移動成分フローを用いて、その３つの移動成分フローのうちのいずれかが設定された所定の閾値を超える場合にはその立体物は移動物体であると判定する。そのため、前記各請求項に記載の発明の効果に加え、判定部において、立体物に属する各画素ブロック毎に移動、静止の判定をすることなく、１つの代表移動成分フローに基づいて判定を行うことができ、処理速度をより向上させることができる。
【００３６】
請求項７に記載の発明によれば、請求項６の三次元代表移動成分フローの算出を、立体物に属する各画素ブロックの三次元移動成分フローについて最頻値や平均値を求める等の統計処理を行うことにより算出するため、前記請求項６に記載の発明の効果に加え、立体物に属する各画素ブロックの各三次元移動成分フローに含まれる測定誤差等に起因する誤差の影響を統計処理により除去することができ、立体物が移動しているか否かの判定をより的確に行うことが可能となる。
【００３７】
請求項８に記載の発明によれば、速度算出部においては、静止物体についてのオプティカルフローから自機の速度を算出し、速度補正部では、算出された自機の速度を用いて速度検出手段で検出された速度を補正する。その際、静止物体についての三次元移動成分フローを０とみなすと、オプティカルフローは自機の移動に伴って観測される見かけ成分フローに一致するから、静止物体に注目してそれに属する画素ブロックのオプティカルフローから自機の速度を算出し、その値を使って速度検出手段で検出される速度を補正する。そのため、前記請求項３に記載の発明の効果に加え、立体物の移動、静止の判定の基準となる立体物の三次元移動成分フローの算出をより正確に行うことが可能になり、移動物体検出装置や移動物体検出方法の移動物体と静止物体との判別精度をより向上させ、装置や方法をより信頼性が高いものとすることが可能となる。
【００３８】
請求項９に記載の発明によれば、ステレオカメラで監視領域を撮像して時系列的に得た一対の画像に基づいて距離データを算出し、得られた距離データに基づいて監視領域内に存在する立体物を認識し、一方、一対の画像のうちの一方の時系列的に並ぶ複数の画像と距離データからオプティカルフローを検出し、認識された立体物についてオプティカルフローと距離データを用いて立体物の地面に対する移動成分である三次元移動成分フローを算出し、その三次元移動成分フローに基づいて立体物が移動物体と静止物体とを判定する。
【００３９】
そのため、オプティカルフローを的確に立体物に関連付けることができ、立体物が地面に対して移動しているか否かを示す立体物の三次元移動成分フローを自機の動きに影響されることなく精度良く算出することが可能となり、監視領域の中から移動物体を的確に検出することが可能となる。また、距離データを用いて立体物の認識を行うため、道路面より上にある立体物を認識することができ、画像に写し出される立体物の面積が小さくても的確に認識することが可能となる。さらに、道路上の影などを立体物と誤認識することなく効率良く立体物を認識することが可能となる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の移動物体検出装置および移動物体検出方法に係る実施の形態について、図面を参照して説明する。
【００４１】
本発明の移動物体検出装置および移動物体検出方法は、車両やロボット、パン・チルト式の監視カメラ等に搭載され、前方の走行環境の監視やセキュリティ用の監視等に適用される。なお、以下の各実施形態において、具体例として移動物体検出装置を車両に搭載した場合が例示されることがあるが、本発明はそれに限定されない。また、移動物体検出装置とそれを搭載する車両やロボット、監視カメラ等とを区別するために、以下、移動物体検出装置を搭載する車両、ロボット、監視カメラ等自体のことを自機という。
【００４２】
［第１の実施の形態］
図１は、第１の実施形態に係る移動物体検出装置のブロック図であり、移動物体検出装置１は、主に、ステレオカメラ２と、ステレオ画像処理部６と、認識部１０や検出部１１、算出部１２、判定部１３を有する画像解析部９と、ヨーレート検出手段１４と、速度検出手段１５とを備えている。
【００４３】
ステレオカメラ２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵されたメインカメラ３ａおよびサブカメラ３ｂにより構成されており、メインカメラ３ａおよびサブカメラ３ｂは、それぞれ前方の監視領域を含む景色を撮像して一対の画像をそれぞれＡ／Ｄコンバータ４ａ、４ｂに一定の時間間隔で時系列的に出力するように構成されている。その際、メインカメラ３ａで撮像された画像は、ステレオ画像処理を行うための基準となる基準画像として用いられ、サブカメラ３ｂで撮像された画像は、比較画像として用いられるようになっている。
【００４４】
Ａ／Ｄコンバータ４ａ、４ｂは、メインカメラ３ａおよびサブカメラ３ｂから出力されてきたアナログの基準画像および比較画像を、２５６階調のグレースケール等の所定の輝度階調でそれぞれデジタルデータ化するように構成されている。
【００４５】
画像補正部５は、Ａ／Ｄコンバータ４ａ、４ｂから出力された一対の画像に対して一対のカメラ３ａ、３ｂの取付位置の誤差に起因するずれや輝度の補正等の変換をアフィン変換等を用いて行うように構成されている。このように画像補正を受けた一対の画像のデータは、画像データメモリ８に格納されるようになっている。前述したように、メインカメラ３ａおよびサブカメラ３ｂにより一定の時間間隔をおいて画像が撮像されるが、画像データメモリ８には、一定の時間間隔をおいて形成され補正等を受けた画像のデジタルデータが時系列的に格納されるように構成されている。
【００４６】
ここで、一対の画像のデジタルデータ、すなわち、メインカメラ３ａで撮像され前記各処理を経て得られた基準画像のデジタルデータ（以下、基準画像データという。）と、サブカメラ３ｂで撮像され前記各処理を経て得られた比較画像のデジタルデータ（以下、比較画像データという。）は、それぞれ各画素の０〜２５５の輝度値の集合である。具体的には、基準画像データや比較画像データで規定される画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合に、画像データは、画像平面の各画素（ｉ，ｊ）毎に得られた輝度値ｐｎijの集合として与えられている。なお、基準画像データの場合は輝度値はｐ１ij、比較画像データの場合の輝度値はｐ２ijで表される。
【００４７】
ステレオ画像処理部６は、Ａ／Ｄコンバータ４ａ、４ｂから出力された基準画像データおよび比較画像データに基づいて、ステレオマッチングにより距離データを算出するように構成されている。
【００４８】
ここで、距離データとは、基準画像データによって規定される画像の一部を構成する、例えば、４×４画素の所定面積の画素ブロック毎に算出された視差ｄの集合である。また、視差とは、メインカメラ３ａおよびサブカメラ３ｂの一定距離の離間に由来する基準画像および比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量をいい、メインカメラ３ａおよびサブカメラ３ｂの中央位置から物体までの距離と視差ｄとは三角測量の原理に基づいて一義的に対応付けられる。
【００４９】
本実施形態では、ステレオ画像処理部におけるステレオマッチングは、まず、５１２×２００画素で構成されている基準画像を前記のように４×４画素の画素ブロックＰＢijで１２８×５０個に分割し、比較画像をｉ方向に延在する４画素幅の短冊状の部分に分割し、次いで、基準画像上の画素ブロックＰＢijをそれに対応する比較画像上の短冊状部分上、すなわち、エピポーラライン上の所定の探索範囲内を１画素ずつｉ方向にシフトさせながら最も相関が高いと判断される比較画像上の４×４画素の画素ブロックを探索するようになっている。
【００５０】
基準画像上の画素ブロックＰＢijと比較画像上の画素ブロックとの相関は、例えば、下記の（１）式で求められるシティブロック距離ＣＢを算出することにより評価されるようになっている。
【００５１】
【数１】
2006134035.tif 000003
【００５２】
ここで、ｐ１ijおよびｐ２ijは前述したように基準画像データおよび比較画像データの各画素（ｉ，ｊ）の輝度値であり、ＣＢは画素ブロック内の１６個の画素について輝度値の差の絶対値を合計したものである。各画素の輝度値の差が小さいほど各画素の相関は高く、その総和が小さいほど両画素ブロックの相関が高いと判断されるようになっている。
【００５３】
ステレオ画像処理部６は、比較画像のエピポーラライン上を探索して、算出されたシティブロック距離ＣＢの値が最小となる画素ブロックを相関先と判断し、基準画像上の画素ブロックＰＢijとのずれ量を視差ｄとして算出するように構成されている。なお、シティブロック距離ＣＢを求めるための構成等については、本出願人により先に提出された前記特許文献２に詳述されている。
【００５４】
ステレオ画像処理部６で算出された距離データ、すなわち、基準画像上の画素ブロックＰＢij毎に算出された視差ｄの集合は、距離データメモリ７に格納されるようになっている。前述した画像データメモリ８の場合と同様に、距離データメモリ７にはステレオ画像処理部６から一定の時間間隔をおいて距離データが送信されてくるが、距離データメモリ７には、送信されてくる距離データが時系列的に格納されるように構成されている。
【００５５】
画像解析部９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されており、機能的に捉えた場合、認識部１０、検出部１１、算出部１２および判定部１３を備えている。画像解析部９には、ヨーレート検出手段１４および速度検出手段１５が接続されており、ヨーレート検出手段１４および速度検出手段１５は、検出した自機のヨーレートωおよび速度Ｖをそれぞれ画像解析部９に出力するように構成されている。
【００５６】
認識部１０は、ステレオ画像処理部６により算出され距離データメモリ７に格納されている距離データを読み出し、それに基づいて監視領域内に存在する立体物Ｏｎを認識するように構成されている。
【００５７】
具体的には、認識部１０は、距離データメモリ７から読み出した距離データＤｔの各画素ブロック毎に算出された視差ｄの値から、各画素ブロック毎に実空間上の位置を算出し、道路モデルに基づいて、横方向および視差方向において位置的に対応する道路面の高さと比較して、前記位置が道路面より上にある場合には、その位置のデータを立体物を表すデータとして抽出するようになっている。なお、視差方向とは、メインカメラ３ａおよびサブカメラ３ｂの中央位置から物体が離れていく方向、すなわち、いわゆる距離方向と同じ意味である。
【００５８】
認識部１０は、得られた立体物のデータについて、データの横方向および視差方向の位置が近接している立体物データを同一のグループにまとめ、一群のデータの並び方の方向性が大きく変化する部分でグループを適宜分割して、主に横方向に並ぶ立体物データ群を立体物Ｏｎの“正面”としてグループ化し、主に視差方向に並ぶ立体物データ群を立体物Ｏｎの“側面”としてグループ化して、立体物Ｏｎを実空間内で三次元的に認識するようになっている。なお、以上の認識部１０による立体物Ｏｎの認識については、本出願人により先に提出された前記特許文献３〜８に詳述されている。また、特許文献３〜８では立体物Ｏｎの“正面”は“物体”と表現され、“側面”は“側壁”と表現されている。
【００５９】
本実施形態では、認識部１０は、このように実空間内で三次元的に認識された立体物Ｏｎの“正面”に対応する部分を、図２に示すように、基準画像データで規定された画像平面上の領域に変換して、その領域を立体物Ｏｎとして認識するように構成されている。また、認識部１０は、その領域の左端のｉ座標ｉｎＬと右端のｉ座標ｉｎＲ、およびグループ内の各立体物データの視差の平均値や最頻値等で表されるグループを代表する視差ｄｎを立体物Ｏｎに対応付け、立体物Ｏｎのデータとして算出部１２に送るようになっている。なお、立体物Ｏｎの“側面”に関する立体物データを以下の解析に用いるように構成することも可能である。
【００６０】
検出部１１は、基準画像を処理対象として、時系列的に前後する複数の基準画像とそれらに対応する距離データに基づいて、時系列的に前の基準画像上の画素ブロックＰＢijが時系列的に後の基準画像上のどの位置に変位したかを探索してオプティカルフローを検出するように構成されている。本実施形態では、複数の基準画像として２フレーム分の基準画像を用いるようになっている。
【００６１】
具体的には、検出部１１は、撮像３つのサブブロックから構成されており、画像データメモリ８に格納されている基準画像についての基準画像データＩtと、時系列的に基準画像データＩtより前の撮像タイミングにおいて撮像された画像から形成された基準画像データＩt-1とを読み出し、それらに基づいて、２つのサブブロックで、基準画像上の位置的な変化量、すなわち、ｉ方向およびｊ方向のオプティカルフローΔｉ、Δｊをそれぞれ検出するように構成されている。
【００６２】
また、検出部１１の第３のサブブロックでは、距離データメモリ７から前記基準画像データＩt、Ｉt-1に対応する距離データＤt、Ｄt-1を読み出し、基準画像上の画素ブロックＰＢijに対応する位置の視差ｄtを距離データＤtから読み取り、時系列的に前の画素ブロックに対応する位置の視差ｄt-1を距離データＤt-1から読み取って、その差から距離データの経時的な変化量、すなわち、視差方向のオプティカルフローΔｄを検出するように構成されている。
【００６３】
検出されたオプティカルフローΔｉ、Δｊ、Δｄは、画像平面の各画素（ｉ，ｊ）に対応付けられて算出部１２に送られるようになっている。なお、「時系列的に前」とは、必ずしも直前のフレームである必要はなく、数フレーム前の基準画像であってもよい。
【００６４】
算出部１２は、認識部１０から送信されてきた各立体物ＯｎのデータｉｎＬ、ｉｎＲ、ｄｎに基づいて、各立体物Ｏｎに属する基準画像上の画素ブロックＰＢijを特定し、検出部１１から送信されてきたそれらの画素ブロックＰＢijのオプティカルフローΔｉ、Δｊ、Δｄに基づいて各立体物Ｏｎの三次元移動成分フローを算出するように構成されている。
【００６５】
ここで、オプティカルフローΔｉ、Δｊ、Δｄは、自機自体の移動の際に静止物体に対して観測される見かけ成分フローＦst_i、Ｆst_j、Ｆst_dと、立体物の地面に対する実質的な移動成分である三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dとの和で表されるから、三次元移動成分フローは、下記（２）式〜（４）式で示される。
【００６６】
【数２】
2006134035.tif 000004
【００６７】
また、見かけ成分フローＦst_i、Ｆst_j、Ｆst_dは、それぞれヨーレート検出手段１４および速度検出手段１５から入力された自機のヨーレートωおよび速度Ｖを用いて、下記（５）式〜（７）式から求められる。
【００６８】
【数３】
2006134035.tif 000005
【００６９】
ここで、前記各式において、ｆはメインカメラ３ａおよびサブカメラ３ｂの焦点距離、Ｌはメインカメラ３ａとサブカメラ３ｂとの距離、Ｗｉはｉ方向の撮像素子ピッチを表す。また、前記各式において、ｉおよびｊは、基準画像における無限遠点を原点としたときのｉ座標およびｊ座標に変換された値が用いられる。
【００７０】
算出部１２は、立体物Ｏｎに属するすべての画素ブロックＰＢijについて三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dを算出するように構成されており、本実施形態では、算出部１２は、三次元移動成分フローの各方向成分フローについてそれぞれ最頻値を求めて、その立体物Ｏｎに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄとするようになっている。三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄは、各立体物Ｏｎについて求められ、その立体物Ｏｎの左右端のｉ座標ｉｎＬ、ｉｎＲおよびその立体物Ｏｎを代表する前記視差ｄｎとともに判定部１３に送られるようになっている。なお、三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄは、三次元移動成分フローの最頻値だけでなく、例えば、三次元移動成分フローの平均値とする等の他の統計処理で算出するように構成することも可能である。
【００７１】
判定部１３は、算出部１２から送信されてきた各立体物Ｏｎに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄに基づいて、各立体物Ｏｎがそれぞれ移動しているか静止しているか、すなわち、移動物体と静止物体とを判定するように構成されている。
【００７２】
具体的には、判定部１３は、各立体物Ｏｎに属する画素ブロック群の三次元代表移動成分フローの各方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄについて所定の閾値との比較を行い、３つの方向成分フローのうちの１つでも閾値を超えている場合にはその立体物Ｏｎは移動物体であると判定するようになっている。逆に、３つの方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄのすべてが閾値以下である場合にはその立体物Ｏｎは静止物体であると判定するように構成されている。
【００７３】
次に、本実施形態の移動物体検出装置を用いた移動物体検出方法について説明する。
【００７４】
図３は、本実施形態の移動物体検出方法における処理の手順を示すフローチャートである。本実施形態の移動物体検出方法では、まず、距離データ算出処理が行われ、距離データ算出処理では、監視領域を含む景色を時系列的に撮像可能なステレオカメラで撮像して得られた一対の画像に基づいて、ステレオマッチングにより距離データを算出する（ステップＳ１）。続いて、立体物認識処理では、前記距離データ算出処理で得られた距離データに基づいて、監視領域内に存在する立体物Ｏｎが認識される（ステップＳ２）。
【００７５】
この距離データ算出処理および立体物認識処理については、前記移動物体検出装置１のステレオ画像処理部６および画像解析部９の認識部１０の説明で述べたとおりであり、それらの処理は、前述したように、前記特許文献２〜８に詳述されているから、ここでは説明を省略する。
【００７６】
次に、前記立体物認識処理と平行して、オプティカルフロー検出処理が行われる（ステップＳ３）。オプティカルフロー検出処理では、前記画像解析部９の検出部１１で、ステレオカメラで撮像して得られた一対の画像のうち基準画像を処理対象として、時系列的に並ぶ複数の画像および距離データに基づいて、各画素ブロックＰＢij毎にオプティカルフローΔｉ、Δｊ、Δｄを検出する。
【００７７】
このオプティカルフロー検出処理では、前述したように、まず、基準画像データＩtと時系列的に基準画像データＩtより前の撮像タイミングにおいて撮像された画像から形成された基準画像データＩt-1とからｉ方向およびｊ方向のオプティカルフローΔｉ、Δｊをそれぞれ検出し、基準画像データＩt、Ｉt-1に対応する距離データＤt、Ｄt-1から視差方向のオプティカルフローΔｄを検出する。
【００７８】
具体的には、オプティカルフローΔｉ、Δｊの検出においては、前述した距離データ算出処理におけるステレオマッチング処理とは異なり、基準画像Ｉt上の、例えば、４×４画素の画素ブロックＰＢijを、時系列的に前の基準画像Ｉt-1の全域にわたり１画素ずつｉ方向またはｊ方向にシフトさせながら最も相関が高いと判断される基準画像Ｉt-1上の４×４画素の画素ブロックを探索する。
【００７９】
この場合、前記相関は、例えば、前記（１）式で求められるシティブロック距離ＣＢを算出することにより評価することができる。このようにして、基準画像Ｉt上の画素ブロックＰＢijに基準画像Ｉt-1上の画素ブロックが対応付けられ、それらのｉ座標およびｊ座標の差からオプティカルフローΔｉ、Δｊが求められる。
【００８０】
また、オプティカルフローΔｄは、前述したように、基準画像Ｉt上の画素ブロックＰＢijに対応する位置の視差ｄtを距離データＤtから読み取り、時系列的に前の基準画像Ｉt-1上の前記最も相関が高いと判断された画素ブロックに対応する位置の視差ｄt-1を距離データＤt-1から読み取って、その差を求めて検出する。
【００８１】
その際、図４に示すように、基準画像Ｉt上の画素ブロックＰＢijの相関先である基準画像Ｉt-1上の画素ブロックが、画像を分割して得た最大で４つ分の画素ブロックＰＢijにまたがる位置に存在するようになることがある。その場合には、下記（８）式に基づいて相関先に含まれる画素ブロックＰＢijの視差の積和演算により時系列的に前の基準画像Ｉt-1における画素ブロックの視差ｄprevが算出され、基準画像Ｉtの画素ブロックＰＢijの視差ｄと前記視差ｄprevとの差がオプティカルフローΔｄとされる。
【００８２】
【数４】
2006134035.tif 000006
【００８３】
ここで、Ａは画素ブロックijの面積であり、本実施形態では４×４画素である。また、ｄpn（ｎ＝１〜ｍ：ｍは最大で４）は相関先に含まれる各画素ブロックＰＢijの視差、Ａn（ｎ＝１〜ｍ：ｍは最大で４）は相関先に含まれる各画素ブロックＰＢijの面積である。
【００８４】
次に、三次元移動成分フロー算出処理に移る（ステップＳ４）、三次元移動成分フロー算出処理では、前記距離データ算出処理で得られた距離データと、前記立体物認識処理で得られた基準画像における立体物ＯｎのデータｉｎＬ、ｉｎＲ、ｄｎと、前記オプティカルフロー検出処理で得られた基準画像上の各画素ブロックＰＢij毎のオプティカルフローΔｉ、Δｊ、Δｄとに基づいて、立体物Ｏｎの三次元移動成分フローを算出する。
【００８５】
図５は、本実施形態に係る三次元移動成分フロー算出処理における算出手順を示すフローチャートである。
【００８６】
まず、基準画像データを構成する各画素ブロックＰＢijの中から、処理対象となる最初の画素ブロックＰＢijが選択される（ステップＳ４０）。最初に選択される画素ブロックとしては、例えば、画像平面における左下隅の画素ブロックＰＢ11を用いることができる。
【００８７】
次に、処理を行っている画素ブロックＰＢijが属する立体物を、前記立体物認識処理で得られた立体物Ｏｎの中から特定する（ステップＳ４１）。画素ブロックＰＢijのｉ座標、すなわち、画素ブロックＰＢijの左下隅のｉ座標ｉｂｈは、画素ブロックＰＢijが立体物Ｏｎに属している場合には、立体物Ｏｎの左端のｉ座標ｉｎＬより大きく、かつ、右端のｉ座標ｉｎＲより小さくなる。つまり、ｉｎＬ＜ｉｂｈ＜ｉｎＲの関係が成り立つ。そこで、画素ブロックＰＢijのｉ座標ｉｂｈと認識された立体物Ｏｎの左右端のｉ座標ｉｎＬ、ｉｎＲとを比較することにより、その画素ブロックＰＢijが属する立体物Ｏｎを特定する。
【００８８】
ただし、このような水平方向にｉ座標を比較していく方法では、ｊ方向に位置が異なる複数の立体物Ｏｎが認識されているような場合に、特定される立体物Ｏｎが複数存在する状況が生じ得る。例えば、図２に示したような場合においては、ハッチングで示された画素ブロックＰＢijが属する立体物は立体物Ｏ１および立体物Ｏ２であると特定されてしまう。そこで、このような場合には、特定された複数の立体物Ｏｎの中からその立体物Ｏｎを代表する視差ｄｎの値が画素ブロックＰＢijの視差ｄの値に最も近く、かつ、それらの差の絶対値が所定の閾値以下である立体物Ｏｎを画素ブロックＰＢijが属する立体物として特定する。
【００８９】
続いて、画素ブロックＰＢijが属する立体物Ｏｎがあるか否かが判定され（ステップＳ４２）、ステップＳ４１で画素ブロックＰＢijが属する立体物Ｏｎが特定されていなければ次のステップＳ４３、Ｓ４４はスキップされ、ステップＳ４５に進む。
【００９０】
画素ブロックＰＢijが属する立体物Ｏｎがある場合には、画素ブロックＰＢijの三次元移動成分フローが算出される（ステップＳ４３）。具体的には、前述したように、まず、ヨーレート検出手段１４および速度検出手段１５により得られた自機のヨーレートωおよび速度Ｖから前記（５）式〜（７）式に基づいて見かけ成分フローＦst_i、Ｆst_j、Ｆst_dを算出し、次いで、前記（２）式〜（４）式に基づいて、前記オプティカルフロー検出処理で得られた画素ブロックＰＢijのオプティカルフローΔｉ、Δｊ、Δｄからそれらの見かけ成分フローＦst_i、Ｆst_j、Ｆst_dを減じて三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dを算出する。
【００９１】
次に、処理の対象となっている画素ブロックＰＢijが属する立体物Ｏｎについて各方向の移動成分フロー毎にヒストグラムを所定の階級幅で作成し、算出された各方向の移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dが対応する階級の度数をそれぞれ１増加させる（ステップＳ４４）。ヒストグラムは、認識された各立体物Ｏｎ毎に作成され、既に画素ブロックＰＢijが属する立体物Ｏｎのヒストグラムが作成されている場合には、対応する階級の度数をそれぞれ１増加させてヒストグラムを更新していく。
【００９２】
続いて、基準画像におけるすべての画素ブロックＰＢijが選択されたか否かが判定され（ステップＳ４５）、未だ選択されていない画素ブロックＰＢijがある場合には、次の画素ブロックＰＢijが選択されて（ステップＳ４６）、以上の処理を次の画像ブロックＰＢijに対して行う。
【００９３】
基準画像のすべての画素ブロックＰＢijが選択されて画素ブロックに対する処理が終了すると、得られたヒストグラムに基づいて、立体物Ｏｎに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄが算出される（ステップＳ４７）。すなわち、立体物Ｏｎについて作成、更新された水平方向、垂直方向、視差方向の移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dについてのヒストグラムからそれぞれ最頻値を算出して、立体物Ｏｎに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄとする。
【００９４】
以上で、図３に示した本実施形態の移動物体検出方法の三次元移動成分フロー算出処理（ステップＳ４）が終了する。
【００９５】
最後に、判定処理では、前記三次元移動成分フロー算出処理で得られた三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄに基づいて、移動物体と静止物体とを判定する（ステップＳ５）。具体的には、認識された各立体物Ｏｎについてその三次元代表移動成分フローの各方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄが、例えば、１pix／Frame等に設定された所定の閾値を超えているか否かを判断し、３つの方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄのうちの１つでも閾値を超えている場合にはその立体物Ｏｎは移動物体であると判定する。また、３つの方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄのすべてが閾値以下である場合にはその立体物Ｏｎは静止物体であると判定する。この処理をすべての認識された立体物Ｏｎについて行う。
【００９６】
以上のように、本実施形態の移動物体検出装置および移動物体検出方法によれば、ステレオカメラで撮像される監視領域の景色の中から立体物Ｏｎを認識して抽出し、各立体物Ｏｎ毎にその立体物Ｏｎに属する画素ブロックＰＢijのオプティカルフローΔｉ、Δｊ、Δｄから地面に対する実質的な移動成分である三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dを求めることで立体物Ｏｎの三次元的な動きを算出し、それに基づいて移動物体であるか否かを判定する。
【００９７】
そのため、オプティカルフローΔｉ、Δｊ、Δｄを的確に立体物Ｏｎに関連付けることができるため、立体物Ｏｎの三次元的な移動成分フロー、すなわち、立体物Ｏｎが地面に対して移動しているか否かを自機の動きに影響されることなく精度良く算出することができ、監視領域の中から移動物体を的確に検出することが可能となる。
【００９８】
また、距離データを用いて立体物Ｏｎの認識を行い、さらに道路面より上にある立体物Ｏｎを認識するため、画像に写し出される立体物Ｏｎの面積が小さくても的確に認識することができ、逆に、道路上の影などを立体物と誤認識することなく効率良く立体物を認識することが可能となる。
【００９９】
なお、以上のようにして算出される三次元代表移動成分フローの各方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄおよび立体物Ｏｎを代表する視差ｄｎを用いて、認識された各立体物Ｏｎの実際のｉ方向、ｊ方向およびｄ方向の移動速度Ｖｉ、Ｖｊ、Ｖｄ（単位は［ｍ／sec］）を算出することも可能であり、速度Ｖｉ、Ｖｊ、Ｖｄは下記（９）式〜（１１）式に基づいて算出される。
【０１００】
【数５】
2006134035.tif 000007
【０１０１】
ここで、前記各式において、Ｌはメインカメラ３ａとサブカメラ３ｂとの距離［ｍ］、Ｗｉ、Ｗｊはｉ方向およびｊ方向の撮像素子ピッチ［ｍ］、ｆはメインカメラ３ａおよびサブカメラ３ｂの焦点距離［ｍ］、Δｔはフレーム間隔［sec］であり、Ｆｎｉ、Ｆｎｊ、Ｆｎｄの単位はそれぞれ［pix／Frame］、ｄｎの単位は［pix］である。
【０１０２】
［第２の実施の形態］
本発明の第２の実施形態に係る移動物体検出装置および移動物体検出方法は、例えば、停車車両の直前を歩く歩行者のように、１つの立体物Ｏｎと認識されていた複数の立体物Ｏｎ、Ｏｍ、…を、移動成分フローの分布を用いてそれぞれ個別の立体物Ｏｎ、Ｏｍ、…に分離するとともに、分離されたそれぞれの立体物Ｏｎ、Ｏｍ、…について移動成分フローを算出することにより、立体物をより高精度に特定し、より精度良く移動物体を検出するものである。
【０１０３】
なお、本実施形態の移動物体検出装置において、第１の実施形態に係る移動物体検出装置と機能的に同じ装置や手段等については同じ符号を用い、説明を省略する。
【０１０４】
図６は、第２の実施形態に係る移動物体検出装置の算出部のブロック図である。算出部１２は、第１次算出部１６と、マップ生成部１７と、分離部１８と、第２次算出部１９とを備えている。
【０１０５】
第１次算出部１６は、第１の実施形態における算出部１２と同様に、認識部１０から送信されてきた各立体物ＯｎのデータｉｎＬ、ｉｎＲ、ｄｎに基づいて、各立体物Ｏｎに属する基準画像上の画素ブロックＰＢijを特定し、検出部１１から送信されてきたそれらの画素ブロックＰＢijのオプティカルフローΔｉ、Δｊ、Δｄおよびヨーレート検出手段１４および速度検出手段１５から入力された自機のヨーレートωおよび速度Ｖを用いて前記（２）式〜（７）式に基づいて各立体物Ｏｎに属する画素ブロックＰＢijの三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dを算出するように構成されている。
【０１０６】
マップ生成部１７は、図７に示すような画素ブロックＰＢijが属する立体物Ｏｎの番号ｎの分布を示す立体物番号マップＭｏと、図８に示すような画素ブロックＰＢijについて算出された三次元移動成分フローの各移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dのそれぞれの分布を示す移動成分フローマップＭｉ、Ｍｊ、Ｍｄとを生成するように構成されている。なお、図８には、各移動成分フローを代表して移動成分フローＦmv_iの分布を示す移動成分フローマップＭｉを示す。
【０１０７】
ここで、立体物番号マップＭｏは、基準画像を構成する画素ブロックＰＢijと同数のブロックＢijで表されるメモリ領域を有し、各ブロックＢijは、画素ブロックＰＢijと位置的に対応するように、例えば、１２８×５０のマトリクス状に配列されている。各ブロックＢijには、位置的に対応する画素ブロックＰＢijが属する立体物Ｏｎの番号が書き込まれるようになっており、認識された立体物Ｏｎのいずれにも属さない画素ブロックＰＢijに対応するブロックＢijには、０が書き込まれるようになっている。
【０１０８】
また、移動成分フローマップＭｉ、Ｍｊ、Ｍｄは、立体物番号マップＭｏと同様に、基準画像を構成する画素ブロックＰＢijと同数のブロックＢijで表されるメモリ領域を有し、各ブロックＢijはマトリクス状に配列されている。移動成分フローマップＭｉの各ブロックＢijには、位置的に対応する画素ブロックＰＢijについて算出された移動成分ブローＦmv_iが書き込まれ、移動成分フローマップＭｊの各ブロックＢijには移動成分ブローＦmv_jが、移動成分フローマップＭｄの各ブロックＢijには移動成分ブローＦmv_dがそれぞれ書き込まれるようになっている。なお、図８中の「ｆ１」、「ｆ２」は、ブロックＢijが属する立体物Ｏｎの番号を添字として示したものであり、各ブロックＢijにはそれぞれ対応する画素ブロックＰＢijについて算出された移動成分フローの値が書き込まれている。
【０１０９】
分離部１８は、生成された移動成分フローマップＭｉ、Ｍｊ、Ｍｄに基づいて、同一立体物Ｏｎに属する画素ブロック群のうち、移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dの差が所定の閾値よりも大きな画素ブロック群を異なる立体物Ｏnewとして分離するように構成されている。
【０１１０】
具体的には、図２に示された立体物Ｏ２の場合を例にとって説明すると、分離部１８は、立体物番号マップＭｏにおいて、立体物Ｏ２を、図９に示すように、ｊ方向に延在する列単位のブロック列Ｒ１〜Ｒ８に分割し、移動成分フローマップＭｉを参照して各ブロック列Ｒ１〜Ｒ８のそれぞれについてブロック列に属するブロックＢijの移動成分フローＦmv_iの平均値Ｆｒ１〜Ｆｒ８を算出し、図１０に示すように、隣接するブロック列の移動成分フローＦmv_iの平均値が近似するブロック列同士をグループＧ１〜Ｇ３にグループ化し、それぞれのグループ毎に移動成分フローＦmv_iの平均値Ｆｇ１〜Ｆｇ３を算出するようになっている。
【０１１１】
分離部１８は、例えば、図１０におけるグループＧ１およびグループＧ３のように、前記移動成分フローＦmv_iの平均値の差が設定された所定の閾値よりも小さいグループ同士を同一の立体物Ｏ２と判定して１つのグループにまとめ、移動成分フローＦmv_iの平均値の差が前記所定の閾値よりも大きなグループを別の新たな立体物Ｏnewとして立体物Ｏ２から分離し、図１１に示すように、立体物Ｏnewに新たな番号を付すように構成されている。なお、図２に示した立体物は３つであるので、図１１では、新たな番号として４が付されている。
【０１１２】
分離部１８は、他の移動成分フローＦmv_j、Ｆmv_dについても同様に処理し、新たな立体物Ｏnewがある場合には、立体物Ｏｎから分離するようになっている。分離部１８は、分離された新たな立体物Ｏnewについて、その左右端のｉ座標ｉｎＬ、ｉｎＲおよび立体物Ｏnewを代表する視差ｄｎを対応付けるように構成されており、また、元の立体物Ｏｎについても改めて立体物Ｏｎを代表する視差ｄｎを算出して、それらのデータを第２次算出部１９に送るように構成されている。
【０１１３】
第２次算出部１９は、第１の実施形態の算出部１２と同様に、新たな立体物Ｏnewを含むすべての立体物Ｏｎについて、立体物Ｏｎに属するすべての画素ブロックＰＢijの三次元移動成分フローの各方向成分フローについてそれぞれ最頻値を求めて、その立体物Ｏｎに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄを算出するように構成されている。
【０１１４】
次に、第２の実施形態に係る移動物体検出装置を用いた移動物体検出方法について説明する。
【０１１５】
本実施形態の移動物体検出方法では、図３に示した第１の実施形態に係る移動物体検出方法の処理手順と同様の手順で処理が行われるが、三次元移動成分フロー算出処理（ステップＳ４）について前記移動物体検出装置の算出部１２のマップ生成部１７、分離部１８および第２次算出部１９で行われる処理が追加されている。
【０１１６】
図１２は、第２の実施形態に係る三次元移動成分フロー算出処理における処理手順を示すフローチャートである。また、図１３は、図１２の第１次算出処理およびマップ生成処理における処理手順を示すフローチャートである。
【０１１７】
本実施形態では、立体物Ｏｎに属する画素ブロックＰＢij毎に三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dを算出する第１次算出処理（ステップＳ４８）と、算出された三次元移動成分フローの各移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dの分布を示す移動成分フローマップを生成するマップ生成処理（ステップＳ４９）とを同時に行う。
【０１１８】
具体的には、図１３に示すように、まず、基準画像データを構成する各画素ブロックＰＢijの中から、処理対象となる最初の画素ブロックＰＢijが選択される（ステップＳ５２）。最初に選択される画素ブロックとしては、例えば、画像平面における左下隅の画素ブロックＰＢ11を用いることができる。
【０１１９】
次に、処理を行っている画素ブロックＰＢijの左下隅のｉ座標ｉｂｈと立体物Ｏｎの左右端のｉ座標ｉｎＬ、ｉｎＲとを比較して、画素ブロックＰＢijが属する立体物Ｏｎを特定する（ステップＳ５３）。ｊ方向に位置が異なる複数の立体物Ｏｎが認識されている場合に、画素ブロックＰＢijの視差ｄの値と立体物Ｏｎを代表する視差ｄｎとを比較して立体物Ｏｎを特定することは第１の実施形態の場合と同様である。
【０１２０】
続いて、画素ブロックＰＢijが属する立体物Ｏｎがあるか否かが判定される（ステップＳ５４）。画素ブロックＰＢijが属する立体物Ｏｎがある場合には、画素ブロックＰＢijの三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dが算出される（ステップＳ５５）。具体的な算出方法は、第１の実施形態の場合と同様である。
【０１２１】
次に、三次元移動成分フローの各移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dについての各移動成分フローマップＭｉ、Ｍｊ、Ｍｄおよび立体物番号マップＭｏへのデータの書き込みが行われる（ステップＳ５６）。前述したように、各移動成分フローマップＭｉ、Ｍｊ、Ｍｄと立体物番号マップＭｏは、それぞれブロックＢijがマトリクス状に配列されて構成されており、画素ブロックＰＢijの三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dが算出されると、画素ブロックＰＢijと位置的に対応する各移動成分フローマップＭｉ、Ｍｊ、ＭｄのブロックＢijに移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dの値がそれぞれ書き込まれ、画素ブロックＰＢijと位置的に対応する立体物番号マップＭｏのブロックＢijに画素ブロックＰＢijが属する立体物Ｏｎの番号が書き込まれる。
【０１２２】
また、前記判定（ステップＳ５４）において、画素ブロックＰＢijが属する立体物Ｏｎがないと判定されると、その画素ブロックＰＢijと位置的に対応する立体物番号マップＭｏのブロックＢijに０が書き込まれ、ステップＳ５７に進む
【０１２３】
続いて、基準画像におけるすべての画素ブロックＰＢijが選択されたか否かが判定され（ステップＳ５７）、選択されていない画素ブロックＰＢijがある場合には、次の画素ブロックＰＢijが選択されて（ステップＳ５８）、以上の処理を次の画像ブロックＰＢijに対して行う。
【０１２４】
以上の処理を基準画像のすべての画素ブロックＰＢijについて行うと、各移動成分フローマップＭｉ、Ｍｊ、Ｍｄと立体物番号マップＭｏが生成される（図１２のステップＳ４９）。
【０１２５】
次に、分離処理では、生成された各移動成分フローマップＭｉ、Ｍｊ、Ｍｄに基づいて、同一立体物に属する画素ブロック群のうち、移動成分フローの差が所定の閾値よりも大きな画素ブロック群が異なる立体物として分離される（ステップＳ５０）。具体的には、前記移動物体検出装置の分離部１８の説明で述べたように、立体物番号マップＭｏ上の立体物Ｏｎをｊ方向に延在するブロック列Ｒに分割し（図９参照）、移動成分フローマップＭｉ、Ｍｊ、Ｍｄを参照して各ブロック列Ｒ毎に移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dの平均値Ｆri、Ｆrj、Ｆrdを算出する（図１０参照）。
【０１２６】
そして、隣接するブロック列の移動成分フローの平均値が近似するブロック列同士をグループ化し、それぞれのグループ毎に各移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dの平均値Ｆｇｎｉ、Ｆｇｎｊ、Ｆｇｎｄを算出し、平均値の差が設定された所定の閾値よりも小さいグループ同士を同一の立体物Ｏｎと判定して１つのグループにまとめ、移動成分フローの平均値の差が前記所定の閾値よりも大きなグループを別の新たな立体物Ｏnewとして立体物Ｏｎから分離し、図１１に示すように、立体物Ｏnewに新たな番号を付す。
【０１２７】
最後に、第２次算出処理（ステップＳ５１）では、新たな立体物Ｏnewを含むすべての立体物Ｏｎについて、立体物Ｏｎ毎に立体物Ｏｎに属するすべての画素ブロックＰＢijの三次元移動成分フローの各方向成分フローＦmv_i、Ｆmv_j、Ｆmv_dについて移動成分フロー毎にヒストグラムを所定の階級幅で作成し、ヒストグラムからそれぞれ最頻値を算出して、立体物Ｏｎに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄとする。
【０１２８】
以上のように、本実施形態の移動物体検出装置および移動物体検出方法によれば、第１の実施形態に係る移動物体検出装置および移動物体検出方法の効果に加え、例えば、停車車両の直前を歩く歩行者のように、互いに近接していて距離データを用いた立体物認識では同一の立体物Ｏｎと認識された複数の立体物Ｏｎ、Ｏｍ、…を、移動成分フローに基づいて的確に分離することが可能となる。
【０１２９】
また、移動成分フローを用いて分離を行うことから、特に、移動物体同士や移動物体と静止物体とを効果的に分離することができ、監視領域内の移動物体をより的確に検出することが可能となり、移動物体をより精度良く検出することができる。
【０１３０】
［第３の実施の形態］
本発明の第３の実施形態に係る移動物体検出装置および移動物体検出方法は、立体物Ｏｎが自機から比較的近距離にあると、監視領域内、すなわち、基準画像内での立体物Ｏｎの面積が大きくなり、実際には１つの立体物Ｏｎであるのに立体物認識において互いに近接した複数の立体物Ｏｎ、Ｏｍ、…と認識される場合がある。そのような場合に、複数の立体物Ｏｎ、Ｏｍ、…を移動成分フローと視差に基づいて統合することで、立体物をより的確に認識し、より精度良く移動物体を検出するものである。
【０１３１】
なお、本実施形態の移動物体検出装置において、第１および第２の実施形態に係る移動物体検出装置と機能的に同じ装置や手段等については同じ符号を用い、説明を省略する。
【０１３２】
図１４は、第３の実施形態に係る移動物体検出装置の算出部のブロック図である。算出部１２は、第１次算出部１６と、マップ生成部１７と、分離部１８と、第２次算出部１９と、統合部２０を備えている。第１次算出部１６から第２次算出部１９までの構成は第２の実施形態で述べたとおりである。
【０１３３】
統合部２０は、例えば、図１５（Ａ）に示すように立体物Ｏｎと立体物Ｏｍとが隣接する場合に、前記移動成分フローマップＭｉ、Ｍｊ、Ｍｄに基づいて算出した立体物Ｏｎおよび立体物Ｏｍのそれぞれに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄ、Ｆｍｉ、Ｆｍｊ、Ｆｍｄの差が所定の閾値以下であり、かつ、立体物Ｏｎを代表する視差ｄｎと立体物Ｏｍを代表する視差ｄｍとの差の絶対値がその他の立体物を代表する視差との差の絶対値より小さく、かつ、設定された所定の閾値以下であるに場合には、立体物Ｏｎと立体物Ｏｍとを統合して、図１５（Ｂ）に示すような１つの立体物Ｏｎとするように構成されている。
【０１３４】
統合部２０は、統合して１つの立体物とされた立体物Ｏｎの左右端のｉ座標ｉｎＬ、ｉｎＲおよび立体物Ｏｎを代表する視差ｄｎを算出し、立体物Ｏｎに対応付けて判定部１３に送るように構成されている。
【０１３５】
次に、第３の実施形態に係る移動物体検出装置を用いた移動物体検出方法について説明する。
【０１３６】
図１６は、第３の実施形態に係る三次元移動成分フロー算出処理における処理手順を示すフローチャートである。本実施形態の移動物体検出方法では、図３に示した第１の実施形態に係る移動物体検出方法の処理手順と同様の手順で処理が行われ、三次元移動成分フロー算出処理（ステップＳ４）についても図１６に示す第２次算出処理（ステップＳ５１）までは前記第２の実施形態と同様の処理が行われる。
【０１３７】
統合処理では、本実施形態の前記移動物体検出装置の統合部２０についての説明で述べたように、例えば、図１５（Ａ）に示したように立体物Ｏｎと立体物Ｏｍとが隣接する場合に、移動成分フローマップＭｉ、Ｍｊ、Ｍｄに基づいて算出した立体物Ｏｎ、Ｏｍのそれぞれに属する画素ブロック群の三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄ、Ｆｍｉ、Ｆｍｊ、Ｆｍｄの差が所定の閾値以下であり、かつ、立体物Ｏｎを代表する視差ｄｎと立体物Ｏｍを代表する視差ｄｍとの差の絶対値がその他の立体物を代表する視差との差の絶対値より小さく且つ設定された所定の閾値以下であるに場合には、立体物Ｏｎと立体物Ｏｍとを統合して、図１５（Ｂ）に示すような１つの立体物Ｏｎとする。他の立体物についても同様の処理を行う。そして、統合された立体物Ｏｎの左右端のｉ座標ｉｎＬ、ｉｎＲおよび立体物Ｏｎを代表する視差ｄｎを算出して、立体物Ｏｎに対応付けて判定処理（ステップＳ５）に送る。
【０１３８】
以上のように、本実施形態の移動物体検出装置および移動物体検出方法によれば、実際には同一の立体物である可能性がある隣接する複数の立体物について、三次元移動成分フローや視差に基づいて同一の立体物であるか否かを判断し、同一の立体物であると判断される場合にはそれらを統合して１つの立体物とすることができる。
【０１３９】
そのため、前記の実施形態に係る移動物体検出装置および移動物体検出方法の効果に加えて、さらに、監視領域内の立体物をより的確に認識することが可能となり、監視領域内の移動物体の検出をより正確に行うことが可能となる。また、それにより、移動物体を監視すべき場合には、監視対象の数をより限定することができる。
【０１４０】
なお、本実施形態では、算出部１２や三次元移動成分フロー算出処理（ステップＳ４）の構成として、第２の実施形態の分離部１８や分離処理（ステップＳ５０）を組み合わせた構成としたが、分離部１８や分離処理を設けない構成とすることも可能である。また、本実施形態では、第２次算出処理の後に統合処理を行う場合について述べたが、統合処理を第２次算出処理の前に行うように構成することも可能である。
【０１４１】
［第４の実施の形態］
本発明の第４の実施形態に係る移動物体検出装置および移動物体検出方法は、速度検出手段１５により検出される自機の速度Ｖは検出精度や分解能、通信遅れ等のため必ずしも正確とは言えず、判定部１３で静止していると判定された静止物体を基準としてそのオプティカルフローを活用して自機の速度Ｖを補正し、装置や方法の精度や信頼性を向上させるものである。
【０１４２】
ここでの基本的な考え方は、静止していると判定された静止物体の三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dをそれぞれ０とみなすと、前記（２）式〜（４）式から、オプティカルフローΔｉ、Δｊ、Δｄは自機の移動に伴って観測される見かけ成分フローＦst_i、Ｆst_j、Ｆst_dと等しくなる。そこで、速度検出手段で検出される速度Ｖとは別に、静止物体に注目してそれに属する画素ブロックＰＢijのオプティカルフローから自機の速度を算出して、その値を使って速度検出手段で検出される速度Ｖを補正するというものである。
【０１４３】
なお、本実施形態の移動物体検出装置において、第１乃至第３の実施形態に係る移動物体検出装置と機能的に同じ装置や手段等については同じ符号を用い、説明を省略する。
【０１４４】
図１７は、第４の実施形態に係る移動物体検出装置のブロック図であり、本実施形態では、移動物体検出装置の画像解析部９は、認識部や検出部１１、算出部１２、判定部１３の他に、速度マップ生成部２１、速度算出部２２および速度補正部２３を備えている。
【０１４５】
速度マップ生成部２１は、図１８に示すような静止物体における自機の算出速度Ｖｃの分布を示す速度マップＭｖを生成するように構成されている。速度マップＭｖは、基準画像を構成する画素ブロックＰＢijと同数のブロックＢijで表されるメモリ領域を有し、各ブロックＢijは、画素ブロックＰＢijと位置的に対応するように、例えば、１２８×５０のマトリクス状に配列されている。
【０１４６】
速度マップ生成部２１は、判定部１３で静止物体と判定された立体物Ｏｎに属する画素ブロックＰＢijの座標（ｉ，ｊ）およびｉ方向のオプティカルフローΔｉ、距離データ、およびヨーレート検出手段により検出された自機のヨーレートωから、下記（１２）式に基づいて、その画素ブロックＰＢijにおける静止物体に対する自機の速度Ｖｃを算出し、画素ブロックＰＢijと位置的に対応する速度マップＭｖのブロックＢijにその速度Ｖｃの値を書き込むように構成されている。
【０１４７】
【数６】
2006134035.tif 000008
【０１４８】
ここで、ｘおよびｚは、メインカメラ３ａとサブカメラ３ｂの中央真下の道路面を原点として、横方向をＸ軸、高さ方向をＹ軸、距離方向をＺ軸としたときの画素ブロックＰＢijの座標（ｉ，ｊ）および距離データから算出される対象物のｘ座標およびｚ座標である。また、Δｔはフレーム間隔、ｆはメインカメラ３ａおよびサブカメラ３ｂの焦点距離、Ｗｉはｉ方向の撮像素子ピッチである。
【０１４９】
なお、図１８中の「Ｖｃ」は、速度Ｖｃが算出されたブロックＢijを示したものであり、各ブロックＢijにはそれぞれ対応する画素ブロックＰＢijについて算出された自機の速度Ｖｃの値が書き込まれている。
【０１５０】
速度算出部２２は、速度マップＭｖに自機の速度Ｖｃが書き込まれたすべての画素ブロックＰＢijについて画素ブロックＰＢij毎に算出された速度Ｖｃの平均値Ｖｂを算出し、平均値Ｖｂを自機の速度として速度補正部２３に出力するように構成されている。
【０１５１】
速度補正部２３は、速度算出部２２から送信されてきた自機の速度Ｖｂを用いて、速度検出手段１５によって検出された速度Ｖを補正するように構成されている。具体的には、速度補正部２３は、速度検出手段１５によって検出された速度Ｖと、速度算出部から送信されてきた自機の速度Ｖｂとの差分値を算出し、算出された差分値にリミッタ処理やフィルタ処理等を施して外乱等の影響を除去し、外乱等が除去された差分値を速度検出手段１５により検出された速度Ｖに加算して、補正後の自機の速度Ｖadを算出部１２に出力するようになっている。
【０１５２】
次に、第４の実施形態に係る移動物体検出装置を用いた移動物体検出方法について説明する。
【０１５３】
本実施形態の移動物体検出方法では、図３に示した第１の実施形態に係る移動物体検出方法の処理手順と同様の手順で判定処理（ステップＳ５）までが処理が行われる。
【０１５４】
図１９は、第４の実施形態に係る判定処理後の処理手順を示すフローチャートである。また、図２０は、図１９の速度マップ生成処理における処理手順を示すフローチャートである。
【０１５５】
速度マップ生成処理（ステップＳ６）では、図２０に示すように、図５に示した第１の実施形態での三次元移動成分フロー算出処理の場合と同じ要領で、基準画像データを構成する各画素ブロックＰＢijの中から、処理対象となる最初の画素ブロックＰＢijが選択され（ステップＳ６０）、処理を行っている画素ブロックＰＢijが属する立体物を前記判定処理までで得られた立体物Ｏｎの中から特定する（ステップＳ６１）。
【０１５６】
次に、画素ブロックＰＢijが属する立体物Ｏｎがあるか否かが判定され（ステップＳ６２）、ステップＳ６１で画素ブロックＰＢijが属する立体物Ｏｎが特定されていなければ次のステップＳ６３〜Ｓ６５はスキップされ、ステップＳ６６に進む。
【０１５７】
画素ブロックＰＢijが属する立体物Ｏｎがある場合には、立体物Ｏｎが静止物体か否かが判定され（ステップＳ６３）、静止物体でなければステップＳ６４、Ｓ６５をスキップしてステップＳ６６に進む。また、立体物Ｏｎが静止物体であれば、前述したように前記（１２）式に基づいてその画素ブロックＰＢijにおける静止物体に対する自機の速度Ｖｃを算出し（ステップＳ６４）、図１８に示したような速度マップＭｖに算出された自機の速度Ｖｃを書き込む（ステップＳ６５）。
【０１５８】
続いて、基準画像におけるすべての画素ブロックＰＢijが選択されたか否かが判定され（ステップＳ６６）、選択されていない画素ブロックＰＢijがある場合には、次の画素ブロックＰＢijが選択されて（ステップＳ６７）、以上の処理を次の画像ブロックＰＢijに対して行う。
【０１５９】
基準画像のすべての画素ブロックＰＢijが選択されて画素ブロックに対する処理が終了すると、次の速度算出処理（ステップＳ７、図１９参照）に進む。
【０１６０】
速度算出処理では、速度マップＭｖに自機の速度Ｖｃが書き込まれたすべての画素ブロックＰＢijについて画素ブロックＰＢij毎に算出された速度Ｖｃの平均値Ｖｂを算出する（ステップＳ７）。
【０１６１】
速度補正処理では、算出された自機の速度Ｖｂを用いて、速度検出手段１５によって検出された速度Ｖを補正し、補正後の自機の速度Ｖadを三次元移動成分フロー算出処理に送る（ステップＳ８）。具体的には、速度検出手段１５によって検出された速度Ｖと、算出された自機の速度Ｖｂとの差分値を算出し、算出された差分値にリミッタ処理やフィルタ処理等を施して外乱等の影響を除去し、外乱等が除去された差分値を速度検出手段１５により検出された速度Ｖに加算して、補正後の自機の速度Ｖadを出力して三次元移動成分フロー算出処理に送る。
【０１６２】
以上のように、本実施形態の移動物体検出装置および移動物体検出方法によれば、静止していると判定された静止物体を基準として、その静止物体に対するオプティカルフロー、すなわち、静止物体に対する自機の移動に伴って観測される見かけのフローを活用して自機自体の速度を算出し、それを用いて速度検出手段１５により検出される自機の速度Ｖを補正する。
【０１６３】
そのため、前記の実施形態に係る移動物体検出装置および移動物体検出方法の効果に加えて、より正確な自機の速度Ｖadに基づいて三次元移動成分フローを算出することが可能となり、移動物体検出装置や移動物体検出方法の移動物体と静止物体との判別精度をより向上させ、装置や方法をより信頼性が高いものとすることが可能となる。
【０１６４】
なお、本実施形態では、道路を横断する歩行者等の迅速な発見などの観点から、自機の速度の算出においてｉ方向、すなわち、横方向のオプティカルフローΔｉのみを用いる場合について説明したが、ｊ方向のオプティカルフローΔｊやｄ方向のオプティカルフローΔｄをも用い、縦方向や距離方向の動きを加味した速度補正を行うように構成することも可能であり、適宜行われる。
【図面の簡単な説明】
【０１６５】
【図１】第１の実施形態に係る移動物体検出装置のブロック図である。
【図２】認識部で認識された立体物Ｏｎを説明する図である。
【図３】第１の実施形態の移動物体検出方法における処理の手順を示すフローチャートである。
【図４】基準画像上の画素ブロックと相関先の画像ブロックとの関係を示す図である。
【図５】第１の実施形態に係る三次元移動成分フロー算出処理における算出手順を示すフローチャートである。
【図６】第２の実施形態に係る移動物体検出装置の算出部のブロック図である。
【図７】立体物番号マップを説明する図である。
【図８】移動成分フローマップを説明する図である。
【図９】立体物をブロック列に分割した状態を示す図である。
【図１０】ブロック列毎の移動成分フローの平均値のグラフである。
【図１１】立体物から新たな立体物を分離した状態を示す図である。
【図１２】第２の実施形態に係る三次元移動成分フロー算出処理における処理手順を示すフローチャートである。
【図１３】図１２の第１次算出処理およびマップ生成処理における処理手順を示すフローチャートである。
【図１４】第３の実施形態に係る移動物体検出装置の算出部のブロック図である。
【図１５】（Ａ）は隣接した２つの立体物を示す図であり、（Ｂ）は統合された立体物を示す図である。
【図１６】第３の実施形態に係る三次元移動成分フロー算出処理における処理手順を示すフローチャートである。
【図１７】第４の実施形態に係る移動物体検出装置のブロック図である。
【図１８】速度マップを説明する図である。
【図１９】第４の実施形態に係る判定処理後の処理手順を示すフローチャートである。
【図２０】図１９の速度マップ生成処理における処理手順を示すフローチャートである。
【符号の説明】
【０１６６】
１    移動物体検出装置
２    ステレオカメラ
６    ステレオ画像処理部
１０  認識部
１１  検出部
１２  算出部
１３  判定部
１４  ヨーレート検出手段
１５  速度検出手段
１６  第１次算出部
１７  マップ生成部
１８  分離部
２０  統合部
２２  速度算出部
２３  速度補正部
Ｆmv_i、Ｆmv_j、Ｆmv_d  移動成分フロー
Ｆｎｉ、Ｆｎｊ、Ｆｎｄ  代表移動成分フロー
Ｆst_i、Ｆst_j、Ｆst_d  見かけ成分フロー
Ｍｉ、Ｍｊ、Ｍｄ  移動成分フローマップ
Ｏｎ  立体物
ＰＢij  画素ブロック
Ｖ    速度
Ｖｃ  算出された速度
Δｉ、Δｊ、Δｄ  オプティカルフロー
ω    ヨーレート
【図１】
2006134035.tif 000009
【図２】
2006134035.tif 000010
【図３】
2006134035.tif 000011
【図４】
2006134035.tif 000012
【図５】
2006134035.tif 000013
【図６】
2006134035.tif 000014
【図７】
2006134035.tif 000015
【図８】
2006134035.tif 000016
【図９】
2006134035.tif 000017
【図１０】
2006134035.tif 000018
【図１１】
2006134035.tif 000019
【図１２】
2006134035.tif 000020
【図１３】
2006134035.tif 000021
【図１４】
2006134035.tif 000022
【図１５】
2006134035.tif 000023
【図１６】
2006134035.tif 000024
【図１７】
2006134035.tif 000025
【図１８】
2006134035.tif 000026
【図１９】
2006134035.tif 000027
【図２０】
2006134035.tif 000028