(57)【要約】    【課題】処理負荷を軽減して効率的に障害物などの対象物体を検出することができる装置を提供する。    【解決手段】撮像画像から特徴点を検出し（ステップＳ１０２）、各特徴点の過去から現在までの特徴点データ群を記憶保持する（ステップＳ１０４）。現在の特徴点データ群において特徴量が所定値以上である特徴点を検出対象候補点とし（ステップＳ１０５）、その検出対象候補点の過去の特徴点データ群を抽出して、検出対象候補点の追跡処理を行う（ステップＳ１０６、Ｓ１０７）。この追跡処理の結果として求められる検出対象候補点の過去から現在までの画像位置とオプティカルフローの履歴に基づいて、障害物を検出する（ステップＳ１０９〜Ｓ１１３）。【選択図】図４
2006078261.tif 000002
【特許請求の範囲】
【請求項１】
過去から現在までの時系列的なデータ群を記憶保持するデータ記憶保持手段と、
前記データ記憶保持手段に記憶された現在のデータ群から、対象物体を検出するために有効な現在有効データを抽出する現在有効データ抽出手段と、
前記データ記憶保持手段に記憶された過去のデータ群から、前記有効データ抽出手段により抽出された現在有効データに対応する過去有効データを抽出する過去有効データ抽出手段と、
前記現在有効データと過去有効データに基づいて、前記対象物体を検出する物体検出手段とを備えることを特徴とする物体検出装置。
【請求項２】
請求項１の物体検出装置において、
前記データ記憶保持手段は、過去の複数時点のデータ群を記憶保持し、
前記過去有効データ抽出手段は、現在により近い時点のデータ群から順に過去に遡って、前記過去の複数時点のデータ群から前記過去有効データをそれぞれ抽出することを特徴とする物体検出装置。
【請求項３】
請求項２の物体検出装置において、
前記データ記憶保持手段に記憶されている過去の複数時点のデータ群を間引くデータ間引き手段をさらに備え、
前記過去有効データ抽出手段は、前記データ間引き手段により間引かれなかった過去のデータ群を、現在により近い時点のデータ群から順に過去に遡ることを特徴とする物体検出装置。
【請求項４】
請求項１〜３のいずれかの物体検出装置において、
自車両の周囲の撮像画像を取得する撮像手段と、
前記撮像手段により取得された撮像画像から所定の特徴を有する特徴点を複数抽出し、その各特徴点に関するデータ群（特徴点データ群）を所定の周期ごとに出力する特徴点抽出手段とをさらに備え、
前記データ記憶保持手段は、前記特徴点抽出手段により所定の周期ごとに出力される特徴点データ群を過去から現在まで時系列的に記憶保持し、
前記現在有効データ抽出手段は、前記データ記憶保持手段に記憶された現在の特徴点データ群から、前記現在有効データとして、前記対象物体らしさの度合いを表す特徴量が予め定められた所定条件を満たす特徴点（検出対象候補点）に関するデータを抽出し、
前記過去有効データ抽出手段は、前記データ記憶保持手段に記憶された過去の特徴点データ群から、前記過去有効データとして、前記検出対象候補点に関するデータを抽出することを特徴とする物体検出装置。
【請求項５】
請求項４の物体検出装置において、
前記特徴点抽出手段は、前記撮像画像からエッジ交点を前記特徴点として複数抽出し、その各エッジ交点の画像上の位置を示すデータ群（画像位置データ群）を前記特徴点データ群として所定の周期ごとに出力し、
前記データ記憶保持手段は、前記画像位置データ群を過去から現在まで時系列的に記憶保持することを特徴とする物体検出装置。
【請求項６】
請求項５の物体検出装置において、
前記現在有効データ抽出手段は、前記画像位置データ群に基づいて求められる前記エッジの大きさの変化量が予め定められた所定の範囲に含まれる特徴点を前記検出対象候補点として、その検出対象候補点の画像位置を現在の画像位置データ群から抽出することを特徴とする物体検出装置。
【請求項７】
請求項４の物体検出装置において、
前記特徴点抽出手段は、前記各特徴点の前記撮像画像中の移動速度を表すオプティカルフローの大きさを示すデータ群（オプティカルフローデータ群）を前記特徴点データ群として所定の周期ごとに出力し、
前記データ記憶保持手段は、前記オプティカルフローデータ群を過去から現在まで時系列的に記憶保持することを特徴とする物体検出装置。
【請求項８】
請求項７の物体検出装置において、
前記現在有効データ抽出手段は、前記オプティカルフローの大きさが予め定められた所定の範囲に含まれる特徴点を前記検出対象候補点として、その検出対象候補点のオプティカルフローの大きさを現在のオプティカルフローデータ群から抽出することを特徴とする物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物体を検出する装置に関し、特に車両に搭載されて周囲の障害物を検出するのに好適な物体検出装置に関する。
【背景技術】
【０００２】
カメラで撮像した画像から、移動している物体（動体）を抽出して追跡し、その動きによって障害物であるか否かを判定することにより、前方の障害物を検出する方法が知られている（たとえば、特許文献１）。
【０００３】
【特許文献１】特開２００１−９１２４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されるような障害物の検出方法では、画像から抽出された動体を全て追跡してその動きを調べ、障害物であるか否かを判定している。しかし、実際には障害物でないものまで動体として抽出されるため、障害物でない動体についても追跡処理を行う必要があり、そのために処理負荷が大きいという問題がある。したがって、処理負荷を軽減して効率的に障害物などの対象物体を検出することができる障害物の検出方法が求められている。
【課題を解決するための手段】
【０００５】
本発明による物体検出装置は、過去から現在までの時系列的なデータ群を記憶保持するデータ記憶保持手段と、データ記憶保持手段に記憶された現在のデータ群から、対象物体を検出するために有効な現在有効データを抽出する現在有効データ抽出手段と、データ記憶保持手段に記憶された過去のデータ群から、有効データ抽出手段により抽出された現在有効データに対応する過去有効データを抽出する過去有効データ抽出手段と、現在有効データと過去有効データに基づいて、対象物体を検出する物体検出手段とを備えるものである。
【発明の効果】
【０００６】
本発明によれば、過去から現在までの時系列的なデータ群を記憶保持し、現在のデータ群から対象物体を検出するために有効な現在有効データを抽出して、その現在有効データに対応する過去有効データを過去のデータ群から抽出する。こうして抽出された現在有効データと過去有効データに基づいて、対象物体を検出することとした。このようにしたので、対象物体以外を表すデータは有効なデータとして抽出されないようにすることができ、抽出された有効なデータに基づいて対象物体の追跡処理を行うことにより、処理負荷を軽減して効率的に対象物体を検出することができる。
【発明を実施するための最良の形態】
【０００７】
本発明の一実施形態による障害物検出装置の構成を図１に示す。この障害物検出装置は車両に搭載されて使用され、カメラの撮像画像に基づいて自車両の前方にある障害物を検出して、運転者に警報を発するものである。この障害物検出装置は、カメラ１、画像処理ＩＣ２、フレームメモリ３、マイコン４および警報機５を備えている。
【０００８】
カメラ１は自車両前方を撮像するように自車両の前部に設置されており、取得した撮像画像データを画像フレーム毎に所定のフレームレートで画像処理ＩＣ２へ出力する。カメラ１には、たとえばＣＣＤカメラ等が用いられる。
【０００９】
画像処理ＩＣ２は、カメラ１からの撮像画像データに基づいて、撮像画像中の縦方向のエッジ（縦エッジ）と横方向のエッジ（横エッジ）を抽出し、その縦エッジと横エッジの交点を求める。このエッジの抽出には、ソベルフィルタと呼ばれる周知の画像フィルタが用いられる。撮像画像からエッジ交点を抽出したら、次にそのエッジ交点の中から、マイコン４によって予め定められた所定の輝度値よりも大きい輝度値を有するエッジ交点（以下、このようなエッジ交点を特徴点という）を検出する。そして、検出した各特徴点の画像上の位置（画像位置）を特定すると共に、各特徴点の画像中の移動速度を示すオプティカルフローを算出する。
【００１０】
上記の処理により、いずれかの特徴点の画像位置を各々が示す画像位置データを各特徴点について集めたもの（画像位置データ群）と、いずれかの特徴点のオプティカルフローの大きさを各々が示すオプティカルフローデータを各特徴点について集めたもの（オプティカルフローデータ群）が、フレームレートごとに画像処理ＩＣ２よりフレームメモリ３へ出力される。以下、画像処理ＩＣ２より出力されるこれらのデータ群をまとめて、特徴点データ群と称する。
【００１１】
フレームメモリ３は、画像処理ＩＣ２より出力された特徴点データ群を画像フレーム毎に記憶保持する。このフレームメモリ３には、メモリ容量に応じて定められた所定の画像フレーム数分の特徴点データ群が記憶保持される。すなわちフレームメモリ３は、所定時間前に取得された撮像画像による特徴点データ群から、最新（現在）の撮像画像による特徴点データ群までを、画像フレーム単位で記憶している。なお以下の説明では、現在の撮像画像による特徴点データ群を現在の特徴点データ群と称し、それ以前の時点の撮像画像による特徴点データ群を過去の特徴点データ群と称する。
【００１２】
マイコン４は、フレームメモリ３に記憶された特徴点データ群を読み出し、その特徴点データ群に基づいて以下に説明するような方法により障害物を検出する。マイコン４において障害物が検出されると、警報機５を動作させるための信号がマイコン４より出力され、警報機５において警報音が出力される。このようにして、自車両の運転者に障害物の存在を報知する。
【００１３】
マイコン４において障害物を検出するときの処理内容について説明する。マイコン４では、フレームメモリ３より読み出される現在の特徴点データ群に基づいて、各特徴点の中から検出対象とする障害物らしさの度合いを示す量（以下、特徴量という）が予め定められた所定値以上である特徴点を抽出する。こうして抽出される特徴点のことを検出対象候補点という。なお、特徴量には後で説明するように、たとえばオプティカルフローの大きさや、エッジの大きさの変化量などが用いられる。そして、フレームメモリ３に記憶されている現在の特徴点データ群から、この検出対象候補点の現在の画像位置とオプティカルフローの大きさを示すデータを抽出する。このようにして、障害物を検出するために有効な現在の有効データを抽出する。
【００１４】
さらに、フレームメモリ３に記憶されている過去の特徴点データ群から、検出対象候補点の過去の画像位置とオプティカルフローの大きさを示すデータを抽出する。このようにして、障害物を検出するために有効な過去の有効データを抽出する。こうして抽出された現在および過去の有効データに基づいて、検出対象候補点を現在の撮像画像から過去の撮像画像に遡って追跡することにより、その検出対象候補点の過去から現在までの画像位置とオプティカルフローの履歴が求められる。
【００１５】
検出対象候補点の追跡は、次のようにして行われる。初めに、現在よりも１つ前の画像フレームにおいて取得された過去の特徴点データ群により、各特徴点の1フレーム前の画像位置とオプティカルフローを得る。その中から、検出対象候補点の現在の画像位置とオプティカルフローに最も近いものを選ぶことにより、検出対象候補点の１フレーム前における画像位置とオプティカルフローを求める。次に、現在よりも２つ前の画像フレームにおいて取得された過去の特徴点データ群によって得られる各特徴点の２フレーム前の画像位置とオプティカルフローの中から、初めに求められた検出対象候補点の１フレーム前における画像位置とオプティカルフローに最も近いものを選ぶことにより、検出対象候補点の２フレーム前における画像位置とオプティカルフローを求める。
【００１６】
上記のような処理を、過去の特徴点データ群に基づいて１画像フレームずつ所定のフレーム数について行うことで、現在により近い時点の特徴点データ群から順に過去に遡って、フレームメモリ３に記憶された過去の各時点の特徴点データ群から、検出対象候補点の画像位置とオプティカルフローがそれぞれ求められる。このようにして、検出対象候補点の過去から現在までの画像位置とオプティカルフローの履歴が求められる。
【００１７】
なお、上記の追跡処理において複数の画像フレームに対して処理を行った後は、その複数フレーム間における検出対象候補点の画像位置やオプティカルフローの変化を統計的に処理することで、過去の任意時点における画像位置やオプティカルフローの大きさを予測することができる。したがって、こうした予測値を用いて検出対象候補点の画像位置とオプティカルフローを求めるようにしてもよい。
【００１８】
さらに、上記のような予測値を用いた場合や、あるいはオプティカルフローが小さく画像フレーム間において検出対象候補点の画像位置の変化が少ない場合などには、追跡処理を行う画像フレームを間引くようにしてもよい。すなわち、検出対象候補点の画像位置とオプティカルフローの履歴を求めるときに、前述したように１画像フレームずつ求めるのではなく、複数の画像フレームずつ求めるようにしてもよい。このとき、フレームメモリ３に記憶された過去の各時点の特徴点データ群のうち、間引かれなかった過去の特徴点データ群を現在により近い時点の特徴点データ群から順に過去に遡って、検出対象候補点の画像位置とオプティカルフローがそれぞれ求められる。
【００１９】
以上説明したように、現在の特徴点データ群に基づいて抽出された検出対象候補点の各々について、過去の特徴点データ群に基づいて追跡処理を行うことにより、各検出対象候補点の過去から現在までの画像位置とオプティカルフローの履歴が得られる。そして、各検出対象候補点の画像位置とオプティカルフローの履歴を用いて、各検出対象候補点を同一物体を表すもの同士でクラスタリングし、そのクラスタ内から障害物を表すものを検出する。このようにして、障害物の検出処理が行われる。
【００２０】
以上説明したように、本装置では現在の特徴点データ群に基づいて検出対象候補点を抽出し、その検出対象候補点を現在の撮像画像から過去の撮像画像に遡って追跡する。このようにすると、通常のように検出対象候補点を抽出した後の撮像画像において追跡する場合に比べて、自車両からより近い位置で障害物を撮像して検出対象候補点を抽出することができる。その結果、検出対象候補点を抽出するときの特徴量のしきい値をより高く設定できる。この点について、図２を用いてオプティカルフローの大きさを特徴量としたときの例を、また図３を用いてエッジの大きさの変化量を特徴量としたときの例をそれぞれ説明する。以下、先に図２を用いて説明する。
【００２１】
図２は、オプティカルフローの大きさを特徴量に用いて検出対象候補点を抽出する場合のカメラ１の撮像面と障害物Ａとの位置関係を示しており、（ａ）は時刻Ｔ１における位置関係、（ｂ）は時刻Ｔ２における位置関係をそれぞれ示している。なお、（ａ）および（ｂ）にはカメラ１と障害物Ａを上空方向から見たときの位置関係を示している。（ａ）のように、撮像面から障害物Ａまでの距離を縦位置ＬＡ、カメラ１の視軸方向から障害物Ａまでの距離を横位置ＷＡ、カメラ１の焦点距離をｆとそれぞれ表すと、時刻Ｔ１の撮像画像において障害物Ａを表している特徴点の横方向の画像位置ＸＡ１は、幾何学的に以下の式（１）によって表される。
ＸＡ１＝ＷＡ・ｆ／（ＬＡ−ｆ）    （１）
【００２２】
また、時刻Ｔ１から時刻Ｔ２までの間に自車両が走行した距離をdＬとし、これを用いて（ｂ）のように撮像面から障害物Ａまでの距離を縦位置ＬＡ−dＬと表すと、時刻Ｔ２の撮像画像において障害物Ａを表している特徴点の横方向の画像位置ＸＡ２は、以下の式（２）によって表される。
ＸＡ２＝ＷＡ・ｆ／（ＬＡ−dＬ−ｆ）    （２）
【００２３】
上記の式（１）および（２）により、時刻Ｔ１から時刻Ｔ２の間における特徴点の画像位置の移動量、すなわち時刻Ｔ２における特徴点のオプティカルフローＶimgは、以下の式（３）によって表すことができる。
Ｖimg＝ＸＡ２−ＸＡ１
＝ＷＡ・ｆ・（dＬ／ＬＡ）
／[（１−dＬ／ＬＡ−ｆ／ＬＡ）・（１−ｆ／ＬＡ）]    （３）
【００２４】
焦点距離ｆは縦位置ＬＡに比べ十分小さいことから、式（３）は以下の式（４）のように近似することができる。
Ｖimg≒ＷＡ・ｆ・（dＬ／ＬＡ）／（１−dＬ／ＬＡ）    （４）
【００２５】
時刻Ｔ２の撮像画像から検出対象候補点を抽出するためのオプティカルフローのしきい値には、障害物Ａを表している特徴点が検出対象候補点として抽出されるような値が設定される。式（４）により、（dＬ／ＬＡ）がより大きく、すなわち障害物Ａと自車量の距離がより近づくにつれて特徴点のオプティカルフローＶimgの値が増加し、（dＬ／ＬＡ）がより小さく、すなわち障害物Ａと自車量の距離がより遠ざかるにつれて特徴点のオプティカルフローＶimgの値が減少することが分かる。したがって、自車両から障害物Ａまでの距離が近いほどオプティカルフローのしきい値を高く設定できるため、検出対象候補点を抽出するときの特徴量のしきい値をより高く設定できることになる。その結果、背景など速度の遅い物を表す特徴点を誤って検出対象候補点として抽出しにくくなるため、抽出された各検出対象候補点を対象に行われる追跡処理の負荷を減らすことができる。
【００２６】
次に図３を用いて説明する。図３は、エッジの大きさの変化量を特徴量として検出対象候補点を抽出する場合のカメラ１の撮像面と障害物Ｂとの位置関係を示しており、図２と同様に（ａ）は時刻Ｔ１における位置関係、（ｂ）は時刻Ｔ２における位置関係をそれぞれ示している。（ａ）のように、撮像面から障害物Ｂまでの距離を縦位置ＬＢ、カメラ１の視軸方向から障害物Ｂの両端点までの距離を横位置ＷＢ１およびＷＢ２、カメラ１の焦点距離をｆとそれぞれ表すと、時刻Ｔ１の撮像画像において障害物Ｂの両端点をそれぞれ表している２つの特徴点の横方向の画像位置ＸＢ１およびＸＢ２は、以下の式（５）によって表される。
ＸＢ１＝ＷＢ１・ｆ／（ＬＢ−ｆ）    
ＸＢ２＝ＷＢ２・ｆ／（ＬＢ−ｆ）    （５）
【００２７】
式（５）により、時刻Ｔ１の撮像画像における特徴点間の幅Ｕ１は、以下の式（６）によって表される。
Ｕ１＝ＸＢ２−ＸＢ１
＝（ＷＢ２−ＷＢ１）・ｆ／（ＬＢ−ｆ）    （６）
【００２８】
また、時刻Ｔ１から時刻Ｔ２までの間に自車両が走行した距離をdＬとし、これを用いて（ｂ）のように撮像面から障害物Ｂまでの距離を縦位置ＬＢ−dＬと表すと、時刻Ｔ２の撮像画像において障害物Ｂの両端点をそれぞれ表している２つの特徴点の横方向の画像位置ＸＢ３およびＸＢ４は、以下の式（７）によって表される。
ＸＢ３＝ＷＢ１・ｆ／（ＬＢ−dＬ−ｆ）    
ＸＢ４＝ＷＢ２・ｆ／（ＬＢ−dＬ−ｆ）    （７）
【００２９】
式（７）により、時刻Ｔ２の撮像画像における特徴点間の幅Ｕ２は、以下の式（８）によって表される。
Ｕ２＝ＸＢ３−ＸＢ４
＝（ＷＢ２−ＷＢ１）・ｆ／（ＬＢ−dＬ−ｆ）    （８）
【００３０】
上記の式（６）および（８）により、時刻Ｔ１から時刻Ｔ２の間における特徴点間の幅の変化量dＵは、以下の式（９）によって表すことができる。なお、この変化量dＵは、撮像画像におけるエッジの大きさの変化量を表している。
dＵ＝Ｕ２−Ｕ１
＝（ＷＢ２−ＷＢ１）・ｆ・（dＬ／ＬＢ）
／[（１−dＬ／ＬＢ−ｆ／ＬＢ）・（１−ｆ／ＬＢ）]    （９）
【００３１】
式（３）と同様に、焦点距離ｆは縦位置ＬＢに比べ十分小さいことから、式（９）は以下の式（１０）のように近似することができる。
dＵ≒（ＷＢ２−ＷＢ１）・ｆ・（dＬ／ＬＢ）／（１−dＬ／ＬＢ）    （１０）
【００３２】
時刻Ｔ２の撮像画像から検出対象候補点を抽出するためのエッジの大きさの変化量のしきい値には、障害物Ｂを表している２つの特徴点が検出対象候補点として抽出されるような値が設定される。式（４）と同様に式（１０）により、障害物Ｂと自車量の距離がより近づくにつれて、エッジの大きさの変化量すなわち特徴点間の幅の変化量dＵの値が増加し、障害物Ｂと自車量の距離がより遠ざかるにつれて、特徴点間の幅の変化量dＵの値が減少することが分かる。したがって、エッジの大きさの変化量を特徴量としたときにも、オプティカルフローの大きさを特徴量としたときと同様に、検出対象候補点を抽出するときのしきい値をより高く設定できる。
【００３３】
以上説明したようにして障害物を検出するときに実行される処理のフローチャートを図４に示す。このフローチャートは、フレームレートごとに撮像画像の各画像フレームに対して実行されるものである。ステップＳ１００では、カメラ１による撮像画像データを画像処理ＩＣ２に入力する。ステップＳ１０１では、画像処理ＩＣ２において、ステップＳ１００でカメラ１より入力した撮像画像データから縦エッジと横エッジを抽出し、エッジ交点を求める。
【００３４】
ステップＳ１０２では、画像処理ＩＣ２において、ステップＳ１０１で求められたエッジ交点の中から特徴点を検出する。このとき、前述したように予め定められた所定の輝度値よりも大きい輝度値を有するエッジ交点を特徴点として検出する。ステップＳ１０３では、ステップＳ１０２で検出された各特徴点のオプティカルフローを算出する。算出された各特徴点のオプティカルフローの大きさと画像位置（ｘ，ｙ座標値）は、前述の特徴点データ群として画像処理ＩＣ２からフレームメモリ３へ出力される。ステップＳ１０４では、フレームメモリ３において、画像処理ＩＣ２より出力された特徴点データ群を記憶保持する。この処理を画像フレーム毎に繰り返すことにより、フレームメモリ３において所定の画像フレーム数分の特徴点データ群が記憶保持される。
【００３５】
ステップＳ１０５では、マイコン４においてフレームメモリ３から現在の特徴点データ群を読み出し、読み出した現在の特徴点データ群に基づいて、現在の撮像画像において特徴量が予め定められた所定値以上である特徴点、すなわち検出対象候補点が存在するか否かを判定する。フレームメモリ３に特徴点データ群が記憶された各特徴点の中に、その特徴量が所定値以上である検出対象候補点が存在する場合には、その検出対象候補点を特徴点の中から抽出してステップＳ１０６へ進む。一方、ステップＳ１０５において検出対象候補点がないと判定した場合は、図４の処理フローを終了する。この場合、検出対象候補点は抽出されず、障害物が検出されない。
【００３６】
ステップＳ１０６とＳ１０７では、前述したような追跡処理をステップＳ１０５において抽出された各検出対象候補点について行う。ステップＳ１０６では、フレームメモリ３から過去の特徴点データ群を１画像フレーム分読み出す。ステップＳ１０７では、ステップＳ１０６において読み出した過去の特徴点データ群に基づいて、ステップＳ１０５において抽出された各検出対象候補点を追跡し、過去の撮像画像における画像位置とオプティカルフローを求める。このような追跡処理を所定のフレーム数について繰り返し行うことにより、前述したように１画像フレームずつ、あるいは追跡処理を行う画像フレームを間引きした場合には複数の画像フレームずつ、現在の撮像画像から過去の撮像画像に遡って検出対象候補点を追跡する。その結果、検出対象候補点の過去から現在までの画像位置とオプティカルフローの履歴が求められる。
【００３７】
ステップＳ１０８では、ステップＳ１０６およびＳ１０７による検出対象候補点の追跡処理を、予め定められた所定の繰り返し回数以上実行したか否かを判定する。検出対象候補点の追跡処理は、この繰り返し回数と同じフレーム数について行われる。追跡処理の実行回数が所定の繰り返し回数以上である場合はステップＳ１０９へ進み、繰り返し回数に満たない場合はステップＳ１０６へ戻って上記の追跡処理を繰り返す。
【００３８】
ステップＳ１０９では、ステップＳ１０６およびＳ１０７の追跡処理によって求められた各検出対象候補点のオプティカルフローの履歴を統計的に処理することにより、過去から現在までの間における各検出対象候補点の画像速度を算出する。ここでいう画像速度とは、オプティカルフローの履歴から障害物の移動以外の要因によって発生するオプティカルフロー成分を取り除いたものである。これには、たとえば自車両のピッチング挙動によって重畳されるピッチング変動成分などがある。このようなオプティカルフロー成分を取り除く統計的な処理の方法としては、たとえばピッチング変動成分を取り除くためのピッチング周波数成分の除去処理や、ノイズ成分を除去するための平滑化処理などがあるが、ここでは詳しい説明を省略する。
【００３９】
ステップＳ１１０では、各検出対象候補点の画像位置と、ステップＳ１０９によって算出された各検出対象候補点の画像速度に基づいて、検出対象候補点のクラスタリングを行う。このとき、画像速度の差が所定値以下であり、かつ画像位置が所定の範囲内にある検出対象候補点同士が、同一物体を表す１つのクラスタとしてクラスタリングされる。こうして物体ごとに検出対象候補点がクラスタリングされることにより生じる各クラスタのことを、以下では検出対象候補クラスタと称する。
【００４０】
ステップＳ１１１では、ステップＳ１１０でクラスタリングされた各検出対象候補クラスタについて、自車両から当該検出対象候補クラスタが表している物体までの実空間上の距離を算出する。この距離は、検出対象候補クラスタの画像位置に基づいてカメラ１の視軸方向に対する角度を求めることにより、既知であるカメラ１の地面に対する高さおよび視軸方向の角度を用いて、三角測量法によって算出することができる。なお、検出対象候補クラスタの画像位置は、同一物体を表すものとしてクラスタリングされた検出対象候補点同士の画像位置を平均することによって求められる。ステップＳ１１２では、各検出対象候補クラスタの画像サイズと、ステップＳ１１１で算出された実空間上の距離に基づいて、各検出対象候補クラスタが表している物体の実空間上の大きさを算出する。
【００４１】
ステップＳ１１３では、各検出対象候補クラスタが表す物体が障害物であるか否かを判定する。ステップＳ１１２で算出された実空間上の大きさが予め定められた所定のサイズ範囲内にあり、かつ画像速度が予め定められた所定の速度範囲内にある場合、その検出対象候補クラスタが表す物体は障害物であると判定する。いずれかの検出対象候補クラスタがこの判定条件を満たす場合はステップＳ１１４へ進み、ステップＳ１１４において警報機５をオンして警報音を出力する。ステップＳ１１４を実行した後は、図４のフローチャートを終了する。一方、上記の判定条件を満たす検出対象候補クラスタがない場合は、ステップＳ１１４を実行せずに図４のフローチャートを終了する。以上説明したようにして、本装置における障害物の検出が行われる。
【００４２】
以上説明した実施の形態によれば、次の作用効果が得られる。
（１）過去から現在までの時系列的なデータ群を記憶保持し、現在のデータ群から対象物体である障害物を検出するために有効な現在有効データを抽出して、その現在有効データに対応する過去有効データを過去のデータ群から抽出する。こうして抽出された現在有効データと過去有効データに基づいて、障害物を検出することとした。このようにしたので、障害物以外を表すデータは有効なデータとして抽出されないようにすることができ、抽出された有効なデータに基づいて障害物の追跡処理を行うことにより、処理負荷を軽減して効率的に障害物を検出することができる。
【００４３】
具体的には、撮像画像から抽出された特徴点に関する特徴点データ群を所定の周期ごとに画像処理ＩＣ２からフレームメモリ３へ出力して、フレームメモリ３において過去から現在までの特徴点データ群を記憶保持する（ステップＳ１０４）。マイコン４において、最新の特徴点データ群において特徴量が予め定められた所定値以上である特徴点を検出対象候補点として抽出し（ステップＳ１０５）、その検出対象候補点の現在の画像位置とオプティカルフローを示すデータを現在の特徴点データ群から抽出する。その後、当該検出対象候補点の過去の画像位置とオプティカルフローを示すデータを過去の特徴点データ群から抽出することにより、検出対象候補点の追跡処理を行う（ステップＳ１０６、Ｓ１０７）。この追跡処理の結果として求められる検出対象候補点の過去から現在までの画像位置とオプティカルフローの履歴に基づいて、障害物を検出する（ステップＳ１０９〜Ｓ１１３）。
【００４４】
（２）過去の複数時点の特徴点データ群をフレームメモリ３に記憶保持しておき（ステップＳ１０４）、現在により近い時点の特徴点データ群から順に過去に遡って、過去の各時点の特徴点データ群から検出対象候補点の画像位置とオプティカルフローを示すデータをそれぞれ抽出することとした（ステップＳ１０６、Ｓ１０７）。このようにしたので、過去の各時点のデータから障害物を検出するために有効な過去の有効データを確実に抽出することができる。
【００４５】
（３）ステップＳ１０６およびＳ１０７の処理において、フレームメモリ３に記憶されている過去の複数の時点の特徴点データを間引き、間引かれなかった過去の特徴点データ群を、現在により近い過去の時点の特徴点データ群から順に過去に遡ることとすることもできる。このようにすれば、追跡処理の対象を減らしてより一層処理負荷を軽減することができる。
【００４６】
（４）特徴点データ群として、画像処理ＩＣ２において抽出した各特徴点の画像位置データによる画像位置データ群や、各特徴点のオプティカルフローデータによるオプティカルフローデータ群を画像処理ＩＣ２からフレームメモリ３へ出力し、フレームメモリ３において記憶保持することとした。このようにしたので、追跡処理に必要なデータのみを特徴点データ群として記憶保持することができ、メモリ容量の節約が図れる。
【００４７】
（５）各特徴点の画像位置に基づいて求められるエッジ交点の大きさの変化量や、各特徴点のオプティカルフローの大きさを特徴量として、これらが所定値以上である特徴点を検出対象候補点として抽出する。そして、抽出された検出対象候補点の画像位置やオプティカルフローの大きさを、現在の画像位置データ群とオプティカルフローデータ群によって構成される特徴点データ群から抽出することとした。このようにしたので、特徴点データ群から現在と過去の有効データを容易に抽出することができる。
【００４８】
なお、上記実施の形態では、カメラ１の撮像画像から特徴点を抽出し、各特徴点の画像位置とオプティカルフローを示す特徴点データ群を画像フレームごとに記憶保持することにより、過去から現在まで時系列的に取得されて記憶保持されたデータ群を用いて障害物を検出するときの例について説明した。しかし、本発明はこの内容には限定されず、時系列的に取得されて記憶保持された様々なデータ群を用いて対象物体を検出する場合にも適用することができる。たとえば、レーザレーダによって対象物体までの距離と方向のデータ群を時系列的に取得し、このデータ群を用いて対象物体を検出するときに、本発明の手法を適用してもよい。
【００４９】
また、上記実施の形態では、オプティカルフローの大きさやエッジの大きさの変化量などの特徴量が所定値以上である特徴点を検出対象候補点として抽出していたが、これを所定値以下や所定範囲内などとしてもよい。すなわち、特徴量が予め定められた所定の範囲に含まれている特徴点、言い換えると特徴量が予め定められた所定条件を満たしている特徴点を、検出対象候補点として抽出することができる。
【００５０】
上記実施の形態では、カメラ１を用いて自車両の前方を撮像し、その撮像画像に基づいて自車両の前方に存在する障害物を検出する例について説明した。しかし、本発明はこの内容に限定されるものではなく、自車両周囲の他の方向、たとえば前方や側方などを撮像し、撮像画像に基づいてその方向に存在する障害物を検出する場合にも適用できる。
【００５１】
上記実施の形態では、車両に搭載されて車両周囲の障害物を検出する障害物検出装置を例に説明したが、本発明はこの内容に限定されるものではない。必ずしも車両に搭載される必要はなく、また様々な物体を検出対象とする物体検出装置について、本発明を適用することができる。
【００５２】
上記の実施形態では、撮像手段をカメラ１、特徴点抽出手段を画像処理ＩＣ２、データ記憶保持手段をフレームメモリ３よってそれぞれ実現し、その他の各手段をマイコン４の処理によって実現しているが、これはあくまで一例であって、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態による障害物検出装置の構成を示す図である。
【図２】オプティカルフローの大きさを特徴量に用いて検出対象候補点を抽出する場合のカメラ撮像面と障害物との位置関係を示す図である。
【図３】エッジの大きさの変化量を特徴量に用いて検出対象候補点を抽出する場合のカメラ撮像面と障害物との位置関係を示す図である。
【図４】障害物を検出するときに実行される処理のフローチャートである。
【符号の説明】
【００５４】
１：カメラ
２：画像処理ＩＣ
３：フレームメモリ
４：マイコン
５：警報機
【図１】
2006078261.tif 000003
【図２】
2006078261.tif 000004
【図３】
2006078261.tif 000005
【図４】
2006078261.tif 000006