(57)【要約】【課題】車両に搭載されたカメラを介して取得される画像の時系列から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる物体検出装置、物体検出方法及び物体検出プログラムを提供する。【解決手段】物体検出装置１は、車両２に搭載されたカメラ３を介して取得した画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部５と、互いに異なる時刻に撮像された２つの画像のうちの一方の画像から特徴点抽出部５により抽出された特徴点のうちの１つ以上の特徴点のそれぞれと、他方の画像から特徴点抽出部５により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組に対し、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出部６と、対応度算出部６により算出された対応度に基づいて移動物体を検出する検出部８とを備える。【選択図】図１
2008282386.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出装置において、
前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部と、
互いに異なる時刻に撮像された２つの画像のうちの一方の画像から前記特徴点抽出部により抽出された特徴点のうちの１つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出部により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組に対し、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出部と、
前記対応度算出部により算出された対応度に基づいて、前記移動物体を検出する検出部とを備えることを特徴とする物体検出装置。
【請求項２】
請求項１記載の物体検出装置において、
前記対応度算出部により算出された対応度に基づいて、前記カメラの運動状態を示すパラメータを推定する運動推定部を備え、
前記検出部は、前記運動推定部により推定された運動状態を示すパラメータと、前記複数の画像間特徴点組に含まれる前記一方の画像の各特徴点に対して前記対応度が最も高い画像間特徴点組の有する特徴量とに基づいて、前記移動物体を検出することを特徴とする物体検出装置。
【請求項３】
請求項２記載の物体検出装置において、
前記運動推定部は、前記複数の画像間特徴点組のうち、エピポーラ拘束条件を満たす画像間特徴点組を構成する特徴点同士の対応度に基づいて、前記カメラの運動状態を示すパラメータを推定することを特徴とする物体検出装置。
【請求項４】
請求項１〜３のうちいずれか記載の物体検出装置において、
前記特徴点抽出部は、方位及びスケールの異なる複数のガボールフィルタを用いて前記特徴点を抽出し、
前記対応度算出部は、前記特徴点抽出部により抽出された特徴点に、前記複数のガボールフィルタを用いてフィルタ処理を施して得られた特徴量を用いて前記対応度を算出することを特徴とする物体検出装置。
【請求項５】
請求項１〜３のうちいずれか記載の物体検出装置において、
前記特徴点抽出部は、画像上の色の変化を用いて前記特徴点を抽出し、
前記対応度算出部は、前記特徴点抽出部により抽出された特徴点の色に関する特徴量を用いて前記対応度を算出することを特徴とする物体検出装置。
【請求項６】
車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出方法であって、
前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出ステップと、
互いに異なる時刻に撮像された２つの画像のうちの一方の画像から前記特徴点抽出ステップで抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出ステップで抽出された特徴点のうち複数の特徴点のそれぞれとの組である複数の画像間特徴点組を選択し、その選択した各画像間特徴点組を構成する特徴間同士の対応度を算出する対応度算出ステップと、
前記対応度算出ステップで算出された対応度とに基づいて、前記移動物体を検出する検出ステップと
を備えたことを特徴とする物体検出方法。
【請求項７】
車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する処理を、コンピュータに実行させる物体検出プログラムであって、
前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出処理と、
互いに異なる時刻に撮像された２つの画像のうちの一方の画像から前記特徴点抽出処理により抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出処理により抽出された特徴点のうち複数の特徴点のそれぞれとの組である複数の画像間特徴点組を選択し、その選択した各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出処理と、
前記対応度算出処理により算出された対応度に基づいて、前記移動物体を検出する検出処理と
を前記コンピュータに実行させる機能を有することを特徴とする物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラを介して取得した画像から、車両の周辺に存在する移動物体を検出する物体検出装置、物体検出方法及び当該装置の処理をコンピュータに実行させるための物体検出プログラムに関する。
【背景技術】
【０００２】
近年、車両の周辺の状況を監視して接近する物体を検出し、検出した結果に基づいて運転者への情報提示や車両の走行制御等を行う技術が提案されている。このとき、物体を検出する手法として、車両にカメラを搭載して周辺を撮像し、撮像された画像を処理して移動物体を検出する技術が知られている。この手法の一つとして、単一のカメラを介して取得された画像の時系列から算出されるオプティカルフローを用いる手法が挙げられる。なお、オプティカルフローは、異なる時刻に取得された複数の画像から検出される、画像上における見かけの動きを示すベクトルである。このとき、車両に搭載されているカメラの場合、カメラ自体が移動するため、この移動により画像上における見かけの動きが生じる。このため、オプティカルフローを用いて移動物体を検出する際に、カメラ自体の移動量を推定してその影響を除去することにより、移動物体を適切に検出する技術が提案されている（例えば、特許文献１を参照）。
【０００３】
特許文献１の車両用監視装置は、カメラによって撮影された画像からオプティカルフローを求めるオプティカルフロー検出部と、カメラ画像のフロー（カメラ自体の移動により生じるフロー）である背景フローを求める背景フロー推定部と、オプティカルフローと背景フローとを比較して、車両の周囲にある物体の動きを検出する接近物検出部とを備えている。背景フロー推定部は、自車動き推定部によって推定された車両の動きと、空間モデル推定部によって推定された空間モデル（カメラが撮影している空間のモデル）とを基にして背景フローを求める。
【特許文献１】特開２００４−５６７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置では、自車動き推定部は、車輪速と舵角等に基づいて自車の動きを推定し、この自車の動きから背景フローを求める。この場合、車輪速と舵角等を検出するセンサの精度や、カメラの回転中心と車両の回転中心との相違の影響により、高速走行時やカーブ走行時には背景フローの推定精度が低下してしまう。また、特許文献１の装置では、背景フローを求めるために、前方道路に存在する物体の距離を計測したり、ＧＰＳ等から道路情報を取得したり、空間についての予備知識や路面、壁等のモデル等を用いて、空間モデル推定部により空間モデルを推定する必要がある。このため、処理が複雑となると共に、背景フローが精度良く推定されない場合がある。そして、特許文献１の装置では、オプティカルフローと背景フローとを比較することにより物体の動きを検出するため、背景フローが誤推定されると大きな誤差が生じて移動物体が適切に検出できない恐れがある。
【０００５】
本発明は、上記事情に鑑み、車両に搭載されたカメラを介して取得される画像から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動体を精度良く検出することができる物体検出装置、方法及び当該装置の処理をコンピュータに実行させる物体検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために、本発明の物体検出装置は、車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出装置において、前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部と、互いに異なる時刻に撮像された２つの画像のうちの一方の画像から前記特徴点抽出部により抽出された特徴点のうちの１つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出部により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組に対し、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出部と、前記対応度算出部により算出された対応度に基づいて、前記移動物体を検出する検出部とを備えることを特徴とする（第１発明）。
【０００７】
第１発明の物体検出装置において、特徴点抽出部により、画像上で例えば形状や色等が特徴的な領域である特徴領域に含まれる特徴点が抽出され、対応度算出部により、特徴点の１対多数の対応関係が対応度として算出される。そして、この対応度に基づいて移動物体が検出されるので、画像間の１対１の対応関係や空間モデルからカメラの運動を明示的に求めて移動物体を検出する場合に比べて、画像のみから移動物体が検出でき処理が簡易であり、また、カメラの運動を算出する際に生じる誤差が検出結果に与える影響が排除される。なお、移動物体は、移動中の歩行者や他車両等の、対地速度を有する物体である。よって、第１発明によれば、車両に搭載されたカメラを介して取得される画像の時系列から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる。
【０００８】
また、第１発明の物体検出装置において、前記対応度算出部により算出された対応度に基づいて、前記カメラの運動状態を示すパラメータを推定する運動推定部を備え、前記検出部は、前記運動推定部により推定された運動状態を示すパラメータと、一方の画像の任意の１つの特徴点について前記対応度算出部により算出された対応度が最も高い画像間特徴点組の有する特徴量とに基づいて、前記移動物体を検出することが好ましい（第２発明）。
【０００９】
この場合、車両の運動等に起因するカメラの運動は、取得される画像の時系列において、画像上の見かけの動きとして現れる。よって、異なる時刻に撮像された画像間の対応関係に基づいて、カメラの運動を推定することが可能である。このとき、本発明によれば、互いに異なる時刻に撮像された２つの画像における各特徴点の１対多数の対応度に基づいて、カメラの運動状態を示すパラメータが推定される。ここで、運動状態を示すパラメータは、カメラの運動を明示的に求めた値ではなく、カメラの並進運動や回転運動が混合された状態で含まれている値である。
【００１０】
これにより、１対１の対応関係に基づいて車両の運動を推定する場合や、カメラの運動を明示的に求める場合よりも、カメラの運動の推定結果の誤差が低減され、カメラの運動の推定や移動物体の検出が安定に行われる。また、車両の運動を検出するセンサや空間モデルを用いることなく、画像のみからカメラの運動を推定することができる。よって、第２発明によれば、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる。
【００１１】
また、第２発明の物体検出装置において、前記運動推定部は、前記複数の画像間特徴点組のうち、エピポーラ拘束条件を満たす画像間特徴点組を構成する特徴点同士の対応度に基づいて、前記カメラの運動状態を示すパラメータを推定することが好ましい（第３発明）。このエピポーラ拘束条件は、画像間特徴点組を構成する特徴点が背景（移動物体以外の領域）である場合に満たすべき条件である。よって、このエピポーラ拘束条件を満たす画像間特徴点組を構成する特徴点同士の対応度を用いることで、背景に含まれる特徴点であることを仮定してカメラの運動により生じる画像の変化を評価し、カメラの運動状態を示すパラメータを適切に推定することができる。
【００１２】
また、第１〜第３発明の物体検出装置において、前記特徴点抽出部は、方位及びスケールの異なる複数のガボールフィルタを用いて前記特徴点を抽出し、前記対応度算出部は、前記特徴点抽出部により抽出された特徴点に、前記複数のガボールフィルタを用いてフィルタ処理を施して得られた特徴量を用いて前記対応度を算出することが好ましい（第４発明）。この場合、方位及びスケールの異なる複数のガボールフィルタにより、画像上における物体の回転や大きさ等の影響を低減して、特徴点が適切に抽出される。そして、各画像の特徴点に各ガボールフィルタを用いてフィルタ処理を施して得られた特徴量（例えば、出力の位相成分等）を用いて対応度を算出するものであるから、特徴点間の対応関係が適切に算出される。
【００１３】
または、第１〜第３発明の物体検出装置において、カメラを介して取得される画像がカラー画像の場合に、本発明の物体検出装置において、前記特徴点抽出部は、画像上の色の変化を用いて前記特徴点を抽出し、前記対応度算出部は、前記特徴点抽出部により抽出された特徴点の色に関する特徴量を用いて前記対応度を算出することが好ましい（第５発明）。この場合、画像上で、一般に、歩行者等に相当する特徴点は路面等の背景に対比して色が相違するので、色の変化を用いることにより特徴点を適切に抽出することができる。そして、各画像の特徴点の色に関する特徴量を用いて対応度を算出するものであるから、特徴点間の対応関係が適切に算出される。
【００１４】
次に、本発明の物体検出方法は、車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出方法であって、前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出ステップと、互いに異なる時刻に撮像された２つの画像のうちの一方の画像から前記特徴点抽出ステップで抽出された特徴点のうちの１つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出ステップで抽出された特徴点のうち複数の特徴点のそれぞれとの組である複数の画像間特徴点組に対し、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出ステップと、前記対応度算出ステップで算出された対応度とに基づいて、前記移動物体を検出する検出ステップとを備えたことを特徴とする。
【００１５】
この物体検出方法によれば、第１発明の前記物体検出装置に関して説明したように、対応度に基づいて移動物体が検出されるので、画像間の１対１の対応関係や空間モデルからカメラの運動を明示的に求めて移動物体を検出する場合に比べて、画像のみから移動物体が検出でき処理が簡易であり、また、カメラの運動を求める際の誤差が検出結果に与える影響が排除される。よって、本発明によれば、車両に搭載されたカメラを介して取得される画像の時系列から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる。
【００１６】
次に、本発明の物体検出プログラムは、車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する処理を、コンピュータに実行させる物体検出プログラムであって、前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出処理と、互いに異なる時刻に撮像された２つの画像のうちの一方の画像から前記特徴点抽出処理により抽出された特徴点のうちの１つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出処理により抽出された特徴点のうち複数の特徴点のそれぞれとの組である複数の画像間特徴点組を選択し、その選択した各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出処理と、前記対応度算出処理により算出された対応度に基づいて、前記移動物体を検出する検出処理とを前記コンピュータに実行させる機能を有することを特徴とする。
【００１７】
この物体検出プログラムによれば、第１発明の物体検出装置に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００１８】
本発明の一実施形態を、図１〜図４を参照して説明する。図１は、本発明の第１実施形態による物体検出装置の機能ブロック図、図２は、図１の物体検出装置の画像処理ユニットにおける物体検出処理を示すフローチャート、図３は、図２の物体検出処理における取得画像例及びカメラの運動状態を示すパラメータを推定する処理の説明図、図４は、図２の物体検出処理における移動物体の検出結果を示す画像例である。
【００１９】
図１に示すように、本発明の実施形態である物体検出装置１は車両２に搭載され、物体検出装置１は、車両２のフロント部分に取り付けられて車両２の前方の画像を撮像するカメラ３（ＣＣＤカメラ等）に接続されている。そして、物体検出装置１は、カメラ３を介して取得された画像から、車両２の前方に存在する歩行者等の移動物体を検出する処理を実行する。
【００２０】
物体検出装置１は、詳細の図示は省略するが、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等で構成される電子ユニットからなる。カメラ３の出力信号は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。
【００２１】
また、物体検出装置１は、その機能として、カメラ３を介して画像を取得する画像取得部４と、画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部５と、互いに異なる時刻に撮像された２つの画像間の対応度を算出する対応度算出部６と、対応度に基づいてカメラ３の運動状態を示すパラメータを推定する運動推定部７と、対応度に基づいて移動物体を検出する検出部８とを備えている。
【００２２】
物体検出装置１の機能は、物体検出装置１のメモリに予め実装されたプログラムを物体検出装置１により実行することにより実現される。このプログラムは、本発明の物体検出プログラムを含んでいる。なお、当該プログラムはＣＤ−ＲＯＭ等の記録媒体を介してメモリに格納されてもよい。また、当該プログラムは外部のサーバからネットワークや人工衛星を介して配信または放送され、車両２に搭載された通信機器により受信された上でメモリに格納されてもよい。
【００２３】
画像取得部４は、カメラ３を介して、画素データにより構成される画像（車両２の前方の画像）を取得する。カメラ３の出力（本実施形態では、カラー画像の映像信号）は、所定の処理周期で画像取得部４に取り込まれる。画像取得部４は、入力されたカメラ３の撮像画像の各画素の映像信号（アナログ信号）をＡ／Ｄ変換し、該Ａ／Ｄ変換により得られたデジタルデータを図示しない画像メモリに記憶する。
【００２４】
特徴点抽出部５は、画像取得部４により取得された画像に、所定の向きとスケールとを有する複数のガボールフィルタを用いてフィルタ処理を施して特徴領域に含まれる特徴点を抽出する。ここで、特徴領域は、画像上で形状や色等が特徴的な領域である。例えば、路面や空のような比較的一様な領域に対比して形状や色等が特徴的な、歩行者や他車両等の移動物体や、道路周辺の樹木や塀や建物等の静止物体等の物体に対応する画像上の領域が特徴領域に該当する。また、ガボールフィルタは、出力が複素数となるバンドパスフィルタである。
【００２５】
対応度算出部６は、互いに異なる時刻に取得された２つの画像のうちの一方の画像から特徴点抽出部５により抽出された特徴点のうちの１つ以上の特徴点のそれぞれと、他方の画像から特徴点抽出部５により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴量組に対し、その各画像間特徴点組を構成する特徴点同士の対応度を算出する。このとき、対応度算出部６は、所定の向きとスケールとを有する複数のガボールフィルタを用いてフィルタ処理を施して得られた出力を特徴量として対応度を算出する。
【００２６】
運動推定部７は、対応度算出部６により算出された対応度に基づいて、車両２の運動等に起因するカメラ３の運動状態を示すパラメータを推定する。本実施形態では、運動状態を示すパラメータは、カメラの並進運動と回転運動とが混合されて含まれている３×３行列である。
【００２７】
検出部８は、対応度算出部６により算出された対応度に基づいて移動物体を検出する。具体的には、検出部８は、運動推定部７により推定された運動状態を示すパラメータと、複数の画像間特徴点組に含まれる一方の画像の各特徴点に対して対応度が最も高い画像間特徴点組の有する特徴量とに基づいて、移動物体を検出する。
【００２８】
次に、本実施形態の物体検出装置の作動（物体検出処理）を、図２に示したフローチャートに従って説明する。まず、ＳＴＥＰ１で、物体検出装置１は、カメラ３の出力信号であるカラー画像を取得して、Ａ／Ｄ変換し、画像メモリに格納する。
【００２９】
ここで、図３に、カメラ３を介して取得される画像の時系列Ｉｔ，Ｉｔ＋Δｔを例示する。画像Ｉｔは時刻ｔに撮像された画像であり、画像Ｉｔ＋Δｔは時刻ｔ＋Δｔに撮像された画像である。画像Ｉｔ，Ｉｔ＋Δｔにおいて、車両２の前方には、移動物体である歩行者Ｔ１〜Ｔ３と、静止物体である樹木、建物、停止車両が存在する。なお、歩行者Ｔ１〜Ｔ３が物体検出装置２の検出対象である。以下では、図３に示す場合を例にして説明する。
【００３０】
次に、ＳＴＥＰ２で、特徴点抽出部５は、方位及びスケールの異なる複数のガボールフィルタを用いて、それぞれのガボールフィルタ毎に、画像Ｉｔ，Ｉｔ＋Δｔにそれぞれフィルタ処理を施す。
【００３１】
次に、ＳＴＥＰ３で、特徴点抽出部５は、フィルタ処理後のデータが所定の条件を満たす画素を特徴点として抽出する。具体的には、特徴点抽出部５は、例えば、各ガボールフィルタを用いてフィルタ処理を施して得られた出力を要素とするベクトル（ガボールフィルタの個数分の要素を持つベクトル）を求める。そして、特徴点抽出部５は、求められたベクトルの絶対値が所定値以上となるような画素を特徴点とする。
【００３２】
次に、ＳＴＥＰ４で、対応度算出部６は、互いに異なる時刻に撮像された２つの画像Ｉｔ，Ｉｔ＋Δｔ間の対応度を算出する。具体的には、対応度算出部６は、２つの画像の特徴領域に含まれる各特徴点について、各ガボールフィルタを用いてフィルタ処理を施して得られた出力の位相成分を要素とするベクトルを求める。そして、求められた２つのベクトルの相関値を当該特徴点の対応度Ｐとして算出する。
【００３３】
例えば、図３に、画像Ｉｔ上の特徴点Ｒと、画像Ｉｔ＋Δｔ上の特徴点Ａ，Ｂ，Ｃ，Ｄとを代表的に示す。この場合、対応度算出部６は、対応度Ｐを算出する処理において、画像Ｉｔ上の特徴点Ｒと、画像Ｉｔ＋Δｔ上の特徴点Ａ，Ｂ，Ｃ，Ｄとの画像間特徴点組に対し、この各画像間特徴点組を構成する特徴点同士の対応度Ｐを算出する。例えば、点Ｒと点Ａとの対応度Ｐ（Ｒ，Ａ）＝１、点Ｒと点Ｂとの対応度Ｐ（Ｒ，Ｂ）＝０．５、点Ｒと点Ｃとの対応度Ｐ（Ｒ，Ｃ）＝０と算出される。対応度算出部６は、この処理を画像Ｉｔ上の全ての特徴点について行う。なお、対応度算出部６は、例えば計算量等を考慮して、特徴点抽出部５により抽出された特徴点のうちの所定数の特徴点を選択し、この選択された特徴点のみを用いて対応度を算出するようにしてもよい。
【００３４】
次に、ＳＴＥＰ５で、運動推定部７は、ＳＴＥＰ４で算出された対応度を用いて、カメラ３の運動状態を示すパラメータを算出する。具体的には、運動推定部７は、次式（１）の値を最大にする３×３行列Ｅを算出する。なお、Ｅはカメラの並進運動と回転運動とが混合された形で含まれる行列である。
【００３５】
【数１】
2008282386.tif 000003
【００３６】
上式（１）で、ｐｉは時刻ｔにおける画像Ｉｔ上の第ｉ番の特徴点、ｑｊは時刻ｔ＋Δｔにおける画像Ｉｔ＋Δｔ上の第ｊ番の特徴点、Ａはカメラの焦点距離や画素ピッチや主点が混合された形で含まれる３×３行列、ｋは０以上の所定の閾値、Ｐ（ｐｉ，ｑｊ）はｐｉとｑｊの対応度を表す。式（１）は、画像Ｉｔ上の各特徴点ｐｉに対して、次式（２）の条件を満たす最大のＰ（ｐｉ，ｑｊ）を、全ての特徴点ｐｉに対して加え合わせることを意味する。
【００３７】
この式（１）を最大にするＥが最も画像の変化と良く適合すると言える。すなわち、まず、所定のＥが与えられていると仮定する。すると、所定のｐｉに対して、ｑｊのうち次式（２）
【００３８】
【数２】
2008282386.tif 000004
【００３９】
で示される条件を満たすｑｊだけが式（１）でmaxをとる対象（式（１）の演算対象）になる。Ｅが与えられた場合、ｐｉが背景（移動物体以外の領域）に含まれる特徴点と仮定すると、時刻ｔにおける画像のｐｉが時刻ｔ＋Δｔの時に画像上のどの位置に写るかには制限が生じる。式（２）の条件はその制限であるエピポーラ拘束条件を表す。なお、ｋは理想的には０であるが、実際には誤差等の影響があるため、この誤差等を考慮した所定値をとるものとしている。対象となっているｑｊのうちで最大の対応度であるものを選び加え合わせることを全てのｐｉについて行うと、仮定したＥが、実際の画像の変化と適合する程度が数値（適合度）で表される。この適合度を最大にするＥを求めることで、非明示的にカメラの運動が推定される。なお、適合度を最大にするＥは、例えば、一般的な最適化処理により探索的に求めることができる。
【００４０】
次に、ＳＴＥＰ６で、検出部８は、画像Ｉｔの全ての特徴点について、対応度算出部６により算出された対応度が最も高い画像間特徴点組を求める。
【００４１】
次に、ＳＴＥＰ７で、ＳＴＥＰ６で求められた画像間特徴点組の有する特徴量と、ＳＴＥＰ５で推定された運動状態を示すパラメータＥとを用いて、次式（３）に示す値Ｘを算出する。
【００４２】
【数３】
2008282386.tif 000005
【００４３】
すなわち、背景については式（２）が成り立つので、成り立たなければ背景でない（移動物体である）となる。よって、検出部８は、値Ｘが所定の閾値ｍ（ｍ＞ｋ）以上の点を移動物体に属すると判定する。これにより、図４に白色領域（点描を付した領域以外の領域）で例示するように、移動物体に属する点が抽出される。
【００４４】
次に、ＳＴＥＰ８で、検出部８は、ＳＴＥＰ７で移動物体に属すると判定された点について、クラスタリング等の処理を行ってノイズを除去して、移動物体を検出する。これにより、図４に例示するように、移動物体Ｔ１〜Ｔ３が検出される。
【００４５】
以上の処理により、カメラ３を介して取得される画像の時系列Ｉｔ，Ｉｔ＋Δｔから、移動物体Ｔ１〜Ｔ３を精度良く検出することができる。
【００４６】
なお、本実施形態では、特徴点抽出部５は、ガボールフィルタを用いて特徴点を抽出し、対応度算出部６は、抽出された特徴点にガボールフィルタを施して得られた特徴量を用いて対応度を算出したが、他の実施形態として、特徴点抽出部５は、画像上の色の変化を用いて特徴点を抽出し、対応度算出部６は、抽出された特徴点の色に関する特徴量を用いて対応度を算出してもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１実施形態による物体検出装置の機能ブロック図。
【図２】図１の物体検出装置の画像処理ユニットにおける物体検出処理を示すフローチャート。
【図３】図２の物体検出処理における取得画像例及びカメラの運動状態を示すパラメータを推定する処理の説明図。
【図４】図２の物体検出処理における移動物体の検出結果を示す画像例。
【符号の説明】
【００４８】
１…物体検出装置、２…車両、３…カメラ（撮像手段）、４…画像取得部、５…特徴点抽出部、６…対応度算出部、７…運動推定部、８…検出部。
【図１】
2008282386.tif 000006
【図２】
2008282386.tif 000007
【図３】
2008282386.tif 000008
【図４】
2008282386.tif 000009