(57)【要約】【課題】ウィンドウ単位でオプティカルフローを算出する場合にオプティカルフローの算出精度を向上させる画像処理装置を提供することを課題とする。【解決手段】異なる時間に撮像された複数の画像を用いて、処理対象についてウィンドウ内の画像情報に基づいてオプティカルフローを算出する画像処理装置であって、処理対象の位置情報を取得する位置取得手段と、位置取得手段で取得した位置情報に基づいてオプティカルフローを算出するためのウィンドウの大きさを設定する設定手段とを備えることを特徴とする。【選択図】図７
2010039634.tif 000002
【特許請求の範囲】
【請求項１】
異なる時間に撮像された複数の画像を用いて、処理対象についてウィンドウ内の画像情報に基づいてオプティカルフローを算出する画像処理装置であって、
処理対象の位置情報を取得する位置取得手段と、
前記位置取得手段で取得した位置情報に基づいてオプティカルフローを算出するためのウィンドウの大きさを設定する設定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記設定手段は、撮像位置と処理対象との横位置の差が大きいほどウィンドウの大きさを大きくすることを特徴とする請求項１に記載する画像処理装置。
【請求項３】
前記位置取得手段は、レーダであり、
前記レーダでの検出結果に基づいて処理対象を設定することを特徴とする請求項１又は請求項２に記載する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に設定されたウィンドウ内の画像情報に基づいてオプティカルフローを算出する画像処理装置に関する。
【背景技術】
【０００２】
オプティカルフローは、時間的に連続する画像から画像内の各点（画素、領域）の速度場を求め、画像内の物体の動きをベクトルで表したものである。オプティカルフローの算出方法の一つとして、勾配法を利用する方法である。勾配法では、拘束条件として画像内に設定されたウィンドウ内の各点が同じ大きさのオプティカルフローを持つと仮定して輝度勾配とオプティカルフローの関係式を導出し、その関係式からウィンドウ単位でオプティカルフローを算出する。
【０００３】
しかし、同じウィンドウ内に異なるオプティカルフローを持つ物体（例えば、異なる複数の移動体、移動体とその周辺の背景）が存在すると、オプティカルフローの誤差が大きくなる。そこで、特許文献１に記載の装置では、異なる時刻より得られた複数の画像を用いて勾配法によって各領域（各ウィンドウ）のオプティカルフロー及びオプティカルフローの誤差を算出し、注目領域のオプティカルフローの誤差が注目領域の周辺領域のオプティカルフローの誤差より大きい場合には注目領域のオプティカルフローとして周辺領域のオプティカルフローを代入する。
【特許文献１】特開２００７−１７２５５４号公報
【特許文献２】特開２００８−２６９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の手法ではオプティカルフロー算出用のウィンドウは一律の大きさで設定されているため、近傍に存在する物体も遠方に存在する物体も同じ大きさのウィンドウからオプティカルフローが算出される。また、遠方に存在する物体は、近傍に存在する物体よりも画像中の大きさが小さくなる。そのため、遠方に存在する物体に対するウィンドウには近傍に存在する物体に対するウィンドウよりも多くの背景の画素が含まれたり、近傍に存在する物体に対するウィンドウ内に遠方に存在する物体が入ったりするので、各ウィンドウから算出されるオプティカルフローの誤差が大きくなる場合がある。したがって、上記の装置の場合、周辺領域のオプティカルフローの誤差も大きくなる虞があり、このような誤差が大きくなった周辺領域のオプティカルフローに置き換えた場合には誤差が蓄積していく可能性がある。
【０００５】
そこで、本発明は、ウィンドウ単位でオプティカルフローを算出する場合にオプティカルフローの算出精度を向上させる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、異なる時間に撮像された複数の画像を用いて、処理対象についてウィンドウ内の画像情報に基づいてオプティカルフローを算出する画像処理装置であって、処理対象の位置情報を取得する位置取得手段と、位置取得手段で取得した位置情報に基づいてオプティカルフローを算出するためのウィンドウの大きさを設定する設定手段とを備えることを特徴とする。
【０００７】
この画像処理装置では、位置取得手段により処理対象（オプティカルフローによって動きを検出する対象）の位置情報（例えば、撮像位置からの相対的な距離や横位置）を取得する。画像上の物体の大きさは、その物体と撮像位置との位置関係に応じて変わる。また、オプティカルフローの大きさも、その物体と撮像位置との位置関係に応じて変わる場合がある。そこで、画像処理装置では、設定手段によりその処理対象の位置情報に応じてオプティカルフロー算出用のウィンドウの大きさを設定し、その設定したウィンドウ毎にウィンドウ内の画像情報に基づいてオプティカルフローを算出する。このように、画像処理装置では、処理対象の位置情報に応じて処理対象に適した大きさのウィンドウを設定することにより、ウィンドウ内に含まれる処理対象以外のものによる誤差の影響を低減でき、オプティカルフローの算出精度を向上させることができる。さらに、一律の大きなウィンドウでオプティカルフローを算出せずに、処理対象の位置情報に応じた大きさのウィンドウでオプティカルフローを算出するので、計算量も削減できる。
【０００８】
本発明の上記画像処理装置では、設定手段は、撮像位置と処理対象との横位置の差が大きいほどウィンドウの大きさを大きくすると好適である。
【０００９】
オプティカルフローは、撮像位置からの横方向の位置が離れているほど大きくなる。オプティカルフローが大きい場合、小さいウィンドウを設定すると、オプティカルフローが収束しなくなったり、あるいは、小さいウィンドウを徐々にずらして何回もオプティカルフローを算出する必要がるので、計算量が増大する。そこで、この画像処理装置では、設定手段により撮像位置と処理対象との横位置の差が大きいほどウィンドウの大きさを大きくすることにより、オプティカルフローの大きさに適したウィンドウを設定することができる。その結果、オプティカルフローの算出精度をより向上させることができる。
【００１０】
本発明の上記画像処理装置では、位置取得手段は、レーダであり、レーダでの検出結果に基づいて処理対象を設定する構成としてもよい。
【００１１】
この画像処理装置では、レーダにより処理対象の位置情報を取得し、レーダで検出できた結果から処理対象を設定する。レーダは、位置情報を精度良く取得できる。そこで、レーダで検出できた場合、その検出できた位置に物体が確実に存在するので、その位置に処理対象についてのウィンドウを設定する。このように、画像処理装置では、レーダで検出できた位置に応じて処理対象のウィンドウを設定し、オプティカルフロー算出の処理領域を限定することにより、計算量をより低減できる。
【発明の効果】
【００１２】
本発明は、処理対象の位置情報に応じて処理対象に適した大きさのウィンドウを設定することにより、オプティカルフローの算出精度を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。
【００１４】
本実施の形態では、本発明に係る画像処理装置を、車両に搭載される周辺監視装置に適用する。本実施の形態に係る周辺監視装置は、自車両前方の障害物（例えば、他車両、自転車、歩行者などの移動物体、落下物などの静止物体）を検出し、その検出した障害物情報を運転支援装置（衝突防止装置など）に出力あるいは音声や表示によって運転者に提供する。なお、検出方向としては、前方とするが、側方、後方などの他の方向でもよい。
【００１５】
図１〜図５を参照して、本実施の形態に係る周辺監視装置１について説明する。図１は、本実施の形態に係る周辺監視装置の構成図である。図２は、特徴点までの距離と横位置に対する撮像画像中の大きさ、オプティカルフローの大きさ、ウィンドウの大きさを示す表である。図３は、自車両周辺（前方側）を上空から見た平面図の一例である。図４は、図３に示す自車両周辺の撮像画像に対して図１のＥＣＵでオプティカルフロー算出用のウィンドウを設定した図である。図５は、図３に示す自車両周辺の撮像画像に対して従来の手法によってオプティカルフロー算出用のウィンドウを設定した図である。
【００１６】
周辺監視装置１は、時間的に連続するフレーム間の画像から検出したオプティカルフローに基づいて障害物の情報を検出する。特に、周辺監視装置１は、オプティカルフローの算出精度を向上させるために、処理対象（障害物）毎に画像上の位置に応じてオプティカルフロー算出用のウィンドウを設定する。周辺監視装置１は、カメラ２、ミリ波センサ３及びＥＣＵ[Electronic Control Unit]４を備えている。
【００１７】
なお、本実施の形態では、ミリ波センサ３が特許請求の範囲に記載する位置取得手段に相当し、ＥＣＵ４における処理が特許請求の範囲に記載する設定手段に相当する。
【００１８】
カメラ２は、自車両の前方を撮像するカメラである。カメラ２は、自車両の前側の中央に取り付けられる。カメラ２では、自車両前方を撮像し、その撮像画像情報を画像信号としてＥＣＵ４に送信する。この撮像画像は、一定時間（例えば、１／３０秒）毎のフレームの画像である。
【００１９】
ミリ波センサ３は、ミリ波を利用して物体を検出するレーダセンサである。ミリ波センサ３は、自車両の前側の中央の所定の高さ位置（検出対象の障害物を確実に検出可能な高さ位置）に取り付けられる。ミリ波センサ３では、ミリ波を左右方向に走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。
【００２０】
反射してきたミリ波を受信できた検出点毎に、ミリ波センサ３では、ミリ波の送信から受信までの時間とミリ波の速度に基づいて前方の物体までの相対距離を算出する。さらに、ミリ波センサ３では、現時刻（ｔ）で算出された相対距離と前時刻（ｔ−１）で算出された相対距離の変化に基づいて前方の物体との相対速度を算出する。また、ミリ波センサ３では、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と物体の方向とのなす角度を求め、その角度から物体の横位置を算出する。そして、ミリ波センサ３では、その検出したミリ波情報（検出物体毎の相対距離、相対速度、相対横位置など）からなるミリ波信号をＥＣＵ４に送信する。なお、相対距離、相対速度、横位置などの算出についてはＥＣＵ４で行なってもよく、その場合にはミリ波センサ３から検出点毎の送信時刻、受信時刻、走査方向、受信強度などからなるミリ波情報をＥＣＵ４に送信する。
【００２１】
ＥＣＵ４は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]及び画像処理チップなどからなる電子制御ユニットであり、周辺監視装置１を統括制御する。ＥＣＵ４では、一定時間毎に、カメラ２からの画像信号及びミリ波センサ３からのミリ波信号を取り入れ、ミリ波情報及び撮像画像情報を時系列で記憶する。そして、ＥＣＵ４では、これらの情報を用いて障害物情報を検出するための処理を行い、検出した障害物情報（例えば、相対距離、相対速度、相対横位置、移動方向、移動速度）を運転支援装置に出力あるいは運転者に提供する。
【００２２】
ＥＣＵ４での具体的な処理について説明する前に、ＥＣＵ４で取り扱うオプティカルフロー算出用のウィンドウの大きさについて説明しておく。画像上の物体の大きさは、障害物のカメラ２（撮像位置）からの距離が近いほど大きくなり、距離が遠いほど小さくなる。したがって、障害物の大きさに応じてウィンドウの大きさを最適化するには、障害物のカメラ２からの距離が近いとウィンドウを大きくし、遠いとウィンドウを小さくする必要がある。
【００２３】
また、オプティカルフローの大きさは、障害物の存在する前方に向かって自車両が走行しているので、障害物のカメラ２からの横位置が近いほど小さくなり、横位置が遠いほど大きくなる。オプティカルフローが大きいのに小さいウィンドウを設定すると、オプティカルフローが収束しなくなったり、あるいは、小さいウィンドウを徐々にずらしてオプティカルフローを何回も算出する必要がるので、計算量が増大する。そこで、オプティカルフローの大きさに応じてウィンドウの大きさを最適化するには、障害物のカメラ２からの横位置が近いとウィンドウを小さくし、遠いとウィンドウを大きくする必要がある。
【００２４】
図２では、上記の関係を表にしている。カメラ２から障害物（特徴点）までの距離が遠いかつ横位置が近い場合、画像中の大きさは小さくなり、オプティカルフローの大きさも小さくなるので、ウィンドウの大きさとして「小サイズ」とする。距離が遠いかつ横位置が遠い場合、画像中の大きさは小さくなり、オプティカルフローの大きさは中程度になるので、ウィンドウの大きさとして「中サイズ」とする。距離が近いかつ横位置が近い場合、画像中の大きさは大きくなり、オプティカルフローの大きさは中程度になるので、ウィンドウの大きさとして「中サイズ」とする。距離が近いかつ横位置が遠い場合、画像中の大きさは大きくなり、オプティカルフローの大きさは大きくなるので、ウィンドウの大きさとして「大サイズ」とする。なお、距離が遠いかつ横位置が遠い場合と距離が近いかつ横位置が近い場合は、共にウィンドウを中サイズとしているが、ウィンドウの大きさを同程度としてもよいし、あるいは、距離が近いかつ横位置が近い場合の方をウィンドウの大きさを少し大きくしてもよい。
【００２５】
なお、オプティカルフローの大きさは、自車両の車速が高くなるほど大きくなり、車速が低くなるほど小さくなる。そこで、自車両の車速も考慮し、車速が高いとウィンドウを大きくし、低いとウィンドウを小さくするようにしてもよい。
【００２６】
それでは、ＥＣＵ４での処理を具体的に説明する。ＥＣＵ４では、現時刻（ｔ）のフレームの画像から特徴点（障害物）を検出する。この特徴点の検出では、従来の手法を適用し、例えば、エッジ検出を用いる。
【００２７】
検出できた特徴点毎に、ＥＣＵ４では、その特徴点に対応するミリ波情報（特に、相対的な距離と横位置）を取得する。そして、ＥＣＵ４では、相対距離に基づいて自車両（カメラ２）からの距離が近いか否か（相対距離が距離閾値以下か否か）を判定する。距離閾値は、障害物までの距離が近いかあるいは遠いかを判定するための閾値であり、実験などで予め設定してもよいし、あるいは、画像中の障害物（例えば、歩行者）の大きさなどを考慮して設定してもよい。また、ＥＣＵ４では、相対横位置に基づいて自車両（カメラ２）からの横位置が近いか否か（相対横位置が横位置閾値以下か否か）を判定する。横位置閾値は、障害物の横位置が近いかあるいは遠いかを判定するための閾値であり、実験などで予め設定してもよいし、あるいは、画像中の障害物の大きさなどを考慮して設定してもよい。
【００２８】
距離が遠いかつ横位置が近いと判定した場合、ＥＣＵ４では、オプティカルフロー算出用のウィンドウとして小サイズを設定する。距離が遠いかつ横位置が遠いと判定した場合、ＥＣＵ４では、ウィンドウとして中サイズを設定する。距離が近いかつ横位置が近いと判定した場合、ＥＣＵ４では、ウィンドウとして中サイズを設定する。距離が近いかつ横位置が遠いと判定した場合、ＥＣＵ４では、ウィンドウとして大サイズを設定する。このウィンドウの大、中、小サイズについては、実験などで予め設定してもよいし、あるいは、画像中の障害物の大きさなどを考慮して設定してもよい。
【００２９】
設定したウィンドウ毎に、ＥＣＵ４では、連続するフレーム間の画像を用いて、勾配法（拘束条件としてウィンドウ内の各点が同じ大きさのオプティカルフローを持つと仮定）により、ウィンドウでのオプティカルフローを算出する。勾配法によるオプティカルフローの算出は、従来の手法を適用する。
【００３０】
そして、ＥＣＵ４では、特徴点（障害物）毎にミリ波情報（相対距離、相対速度、相対横位置など）とオプティカルフロー（移動方向、移動速度、移動量など）などから障害物情報を設定する。さらに、ＥＣＵ４では、その障害物情報を運転支援装置に出力あるいは運転者に提供する。なお、障害物のその他の情報として、画像から障害物の大きさを検出してもよいし、更に、パターン認識などを利用して障害物の種別を検出してもよい。
【００３１】
図３に示す例の場合、片側一車線の道路において自車両が矢印ＭＤで示す方向を走行しており、自車両の前方に４個の障害物Ｏ１，Ｏ２，Ｏ３、Ｏ４（例えば、歩行者）が存在する。障害物Ｏ１は、自車両からの距離が近く、横位置が遠い。障害物Ｏ２は、自車両からの距離が近く、横位置も近い。障害物Ｏ３は、自車両からの距離が遠く、横位置が近い。障害物Ｏ３は、自車両からの距離が遠く、横位置も遠い。ここでは、説明を判り易くするため、障害物Ｏ１，Ｏ２，Ｏ３，Ｏ４が、自車両の方向に同様の速度で進んでいるものとする。
【００３２】
図４には、図３に示す自車両の前方の周辺風景を撮像した画像を示しており、その画像中にはＥＣＵ４で設定された各障害物（特徴点）に対するウィンドウも示されている。なお、図４、図５では、×印によってミリ波センサ３による位置検出結果を示しており、矢印によってオプティカルフロー（ただし、オプティカルフローＦ１，Ｆ２，Ｆ３，Ｆ４は、ウィンドウ単位で算出されたものではなく、障害物Ｏ１，Ｏ２，Ｏ３，Ｏ４だけから求められる理想的なオプティカルフロー（誤差を含んでいないもの）である。）を示しており、実線の矩形によって障害物を示しており、破線の矩形によってウィンドウを示している。障害物Ｏ１の場合、距離が近いので画像上の大きさが大きくなり、横位置が遠いのでオプティカルフローＦ１も大きくなるが、その画像上の大きさとオプティカルフローの大きさに応じた大きなサイズのウィンドウＷ１が設定される。障害物Ｏ２の場合、距離が近いので画像上の大きさが大きいが、横位置が近いのでオプティカルフローＦ２が障害物Ｏ１よりも小さくなるので、障害物Ｏ１のものよりも小さい中サイズのウィンドウＷ２が設定される。障害物Ｏ３の場合、距離が遠いので画像上の大きさが小さくなり、横位置が近いのでオプティカルフローＦ３も小さくなるが、画像上の大きさとオプティカルフローの大きさに応じた小さなサイズのウィンドウＷ３が設定される。障害物Ｏ４の場合、距離が遠いので画像上の大きさが小さいが、横位置が遠いのでオプティカルフローＦ４が障害物Ｏ３よりも大きくなるので、障害物Ｏ３のものよりも大きい中サイズのウィンドウＷ４が設定される。
【００３３】
図５には、図３に示す自車両の前方の周辺風景を撮像した画像を示しており、その画像中には従来の手法によって設定されたウィンドウも示されている。従来の手法では、一律に同じ大きさのウィンドウＷ１’，Ｗ２’，Ｗ４’が設定され、これらのウィンドウＷ１’，Ｗ２’，Ｗ４’は障害物を十分に含むように、比較的大きなサイズのウィンドウである。障害物Ｏ２を含むウィンドウＷ２’は、オプティカルフローＦ２の大きさの割にはサイズが大きく、障害物Ｏ３も含んでいる。そのため、ウィンドウＷ２’のオプティカルフローは、２つの障害物Ｏ２，Ｏ３の画像情報及び背景の画像情報から算出されることになり、障害物Ｏ２のオプティカルフローとしては誤差が大きくなる。また、障害物Ｏ４を含むウィンドウＷ４’は、画像上の障害物Ｏ４の大きさやオプティカルフローＦ４の大きさの割にはサイズが過剰に大きく、大部分が背景である。そのため、ウィンドウＷ４’のオプティカルフローは、小さな障害物Ｏ４の画像情報及び大きな背景の画像情報から算出されることになり、障害物Ｏ４のオプティカルフローとしては誤差が大きくなる。
【００３４】
図１及び図２を参照して、周辺監視装置１における動作について説明する。特に、ＥＣＵ４における処理について図６及び図７に沿って説明する。図６は、図１のＥＣＵにおけるメイン処理の流れを示すフローチャートである。図７は、図１のＥＣＵにおけるウィンドウサイズ設定処理の流れを示すフローチャートである。
【００３５】
カメラ２では、一定時間毎に、自車両の前方を撮像し、その画像情報からなる画像信号をＥＣＵ４に送信する。ミリ波センサ３では、一定時間毎に、ミリ波による走査を行い、各検出点についての相対距離、相対速度、相対横位置などを算出し、各検出点のミリ波情報からなるミリ波信号をＥＣＵ４に送信する。
【００３６】
ＥＣＵ４では、一定時間毎に、カメラ２からの画像信号を受信し、現時刻（ｔ）のフレームの画像を取得する（Ｓ１）。この各フレームの画像は、ＥＣＵ４内に時系列で一時記憶される。そして、ＥＣＵ４では、現時刻（ｔ）のフレームの画像から特徴点を抽出する（Ｓ２）。
【００３７】
抽出した特徴点毎に、ＥＣＵ４では、オプティカルフロー算出用のウィンドウを設定する（Ｓ３）。ＥＣＵ４では、一定時間毎に、ミリ波センサ３からのミリ波信号を受信し、ミリ波情報から特徴点についての相対距離及び相対横位置を取得する（Ｓ３０）。このミリ波情報は、ＥＣＵ４内に時系列で一時記憶される。
【００３８】
そして、ＥＣＵ４では、特徴点までの距離が近いか否かを判定する（Ｓ３１）。Ｓ３１にて距離が近いと判定した場合、ＥＣＵ４では、横位置が遠いか否かを判定する（Ｓ３２）。また、Ｓ３１にて距離が遠いと判定した場合も、ＥＣＵ４では、横位置が遠いか否かを判定する（Ｓ３３）。
【００３９】
Ｓ３２にて横位置が遠いと判定した場合（すなわち、特徴点まで距離が近いかつ横位置が遠い場合）、ウィンドウサイズとして大サイズを設定する（Ｓ３４）。Ｓ３２にて横位置が近いと判定した場合（すなわち、特徴点まで距離が近いかつ横位置が近い場合）、ウィンドウサイズとして中サイズを設定する（Ｓ３５）。Ｓ３３にて横位置が遠いと判定した場合（すなわち、特徴点まで距離が遠いかつ横位置が遠い場合）、ウィンドウサイズとして中サイズを設定する（Ｓ３５）。Ｓ３３にて横位置が近いと判定した場合（すなわち、特徴点まで距離が遠いかつ横位置が近い場合）、ウィンドウサイズとして小サイズを設定する（Ｓ３６）。
【００４０】
設定したウィンドウ毎に、ＥＣＵ４では、現時刻（ｔ）のフレームの画像と前時刻（ｔ−１）のフレームの画像を用いて、勾配法によってオプティカルフローを算出する（Ｓ４）。
【００４１】
そして、ＥＣＵ４では、各特徴点のミリ波情報と各ウィンドウのオプティカルフローから障害物毎の情報を抽出し、障害物情報を運転支援装置に出力あるいは音声や表示によって運転者に提供する。
【００４２】
この周辺監視装置１によれば、特徴点（障害物）までの相対距離、相対横位置に応じてオプティカルフロー算出用のウィンドウサイズを設定することにより、ウィンドウサイズが画像上の障害物の大きさ及びオプティカルフローの大きさに応じたサイズとなる。そのため、ウィンドウ内に含まれる検出対象の障害物以外のものによる誤差の影響を低減でき、オプティカルフローの算出精度を向上させることができる。また、一律に大きなサイズのウィンドウでオプティカルフローを算出せず、障害物毎に的確なサイズのウィンドウでオプティカルフローを算出するので、処理量も削減できる。
【００４３】
また、周辺監視装置１によれば、検出できた特徴点についてのみウィンドウを設定し、オプティカルフローを算出するので、処理量をより削減することができる。また、周辺監視装置１によれば、ミリ波センサ３によって各特徴点の位置情報を高精度に求めることができるので、その高精度な位置情報から的確なウィンドウサイズを設定できる。
【００４４】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００４５】
例えば、本実施の形態では車両に搭載され、車両周辺の障害物を検出するための周辺監視装置に適用したが、オプティカルフローを算出する機能を有する様々な画像処理装置に適用可能である。また、ロボットなどの他の移動体に搭載してもよいし、あるいは、移動物体ではなく、所定の場所に設けられ、画像処理装置側が静止状態でオプティカルフローを算出する場合にも適用可能である。
【００４６】
また、本実施の形態では位置取得手段としてミリ波センサを適用したが、レーザセンサなどの他のレーダセンサでもよいし、レーダ以外の位置取得手段でもよい。
【００４７】
また、本実施の形態ではオプティカルフローを算出するために勾配法を適用したが、パターンマッチングなどの他の手法によってオプティカルフローを算出するものにも適用可能である。
【００４８】
また、本実施の形態ではカメラ（車両）と各特徴点との相対的な距離及び横位置に応じてウィンドウの大きさを設定する構成としたが、距離及び横位置のいずれか一方だけに応じてウィンドウの大きさを設定してもよいし、距離及び横位置以外の位置情報のパラメータに応じてウィンドウの大きさを設定してもよい。
【００４９】
また、本実施の形態では画像から特徴点を検出し、特徴点に対するミリ波センサの検出結果を用いて処理対象に対するウィンドウを設定する構成としたが、ミリ波センサで検出できた物体を処理対象としてウィンドウを直接設定する構成としてもよい。また、特徴点に限定してウィンドウを設定するのではなく、画像全体に対してウィンドウを設定してもよい。
【００５０】
また、本実施の形態ではウィンドウの大きさを３段階（又は４段階）としたが、相対距離や横位置に応じて２段階あるいは５段階以上としてもよい。距離閾値、横位置閾値も、それに合わせて複数段階設定してもよい。
【図面の簡単な説明】
【００５１】
【図１】本実施の形態に係る周辺監視装置の構成図である。
【図２】特徴点までの距離と横位置に対する撮像画像中の大きさ、オプティカルフローの大きさ、ウィンドウの大きさを示す表である。
【図３】自車両周辺（前方側）を上空から見た平面図の一例である。
【図４】図３に示す自車両周辺の撮像画像に対して図１のＥＣＵでオプティカルフロー算出用のウィンドウを設定した図である。
【図５】図３に示す自車両周辺の撮像画像に対して従来の手法によってオプティカルフロー算出用のウィンドウを設定した図である。
【図６】図１のＥＣＵにおけるメイン処理の流れを示すフローチャートである。
【図７】図１のＥＣＵにおけるウィンドウサイズ設定処理の流れを示すフローチャートである。
【符号の説明】
【００５２】
１…周辺監視装置、２…カメラ、３…ミリ波センサ、４…ＥＣＵ
【図１】
2010039634.tif 000003
【図２】
2010039634.tif 000004
【図３】
2010039634.tif 000005
【図４】
2010039634.tif 000006
【図５】
2010039634.tif 000007
【図６】
2010039634.tif 000008
【図７】
2010039634.tif 000009