(57)【特許請求の範囲】
【請求項１】
走行している自車両から後側景を撮像し、所定時間相前後する２コマの画像中の対応点を検出し、該検出した対応点の移動をオプティカルフローとして求め、該求めたオプティカルフローの方向と大きさに基づいて自車両に対する後方車両又は隣接車線を走行中の車両の接近の度合いを監視する車両用後側方監視方法において、
ある時点の撮像画像から対応点を検出するための特徴点を抽出すると共に、当該特徴点のうち当該ある時点の撮像画像の無限遠点（ＦＯＥ）を通って引いた直線上に並ぶ特徴点を削除し、
前記ある時点の画像と時間的に相前後する画像中において、削除されずに残った前記特徴点の各々と当該画像の無限遠点とを結ぶ直線上の点のなかから、削除されずに残った前記特徴点の各々に対応する対応点を検出し、
前記特徴点と前記対応点を結ぶベクトルをオプティカルフローとして求めるようにした
ことを特徴とする車両用後側方監視方法。
【請求項２】
前記特徴点を削除する際に、
前記特徴点とその周辺画素を取り囲む第１のマスク内の画像部分を形成すると共に、当該第１のマスクに隣接しかつ前記特徴点と前記無限遠点を通る直線上の点とその周辺画素を取り囲む第２のマスク内の画像部分を形成し、
前記第１のマスク内の画像部分と前記第２のマスク内の画像部分を比較し、
該比較の結果、両画像部分に相関があるとき、前記特徴点を削除するようにした
ことを特徴とする請求項１に記載の車両用後側方監視方法。
【請求項３】
前記ある時点の撮像画像のエッジ画像を形成し、
当該エッジ画像のエッジ上の点を特徴点とする
ことを特徴とする請求項１に記載の車両用後側方監視方法。
【請求項４】
前記特徴点を削除する際に、
前記直線上に並ぶ特徴点に削除する特徴点があるとき、当該直線上に並ぶ残りの特徴点を一括して削除するようにした
ことを特徴とする請求項３に記載の車両用後側方監視方法。
【請求項５】
撮像手段により走行している自車両から後側景を撮像し、所定時間相前後する２コマの画像中の対応点を検出し、該検出した対応点の移動をオプティカルフローとして求め、該求めたオプティカルフローの方向と大きさに基づいて自車両に対する後方車両又は隣接車線を走行中の車両の接近の度合いを監視する車両用後側方監視装置において、
ある時点の撮像画像から対応点を検出するための特徴点を抽出すると共に、当該特徴点のうち当該ある時点の撮像画像の無限遠点（ＦＯＥ）を通って引いた直線上に並ぶ特徴点を削除する特徴点選別手段と、
前記ある時点の画像と時間的に相前後する画像中において、前記特徴点選別手段で削除されずに残った前記特徴点と当該撮像画像の無限遠点とを結ぶ直線上の点のなかから、削除されずに残った前記特徴点に対応する対応点を検出する対応点検出手段と
を具えることを特徴とする車両用後側方監視装置。
【請求項６】
前記特徴点選別手段は、
前記特徴点その周辺画素を取り囲む第１のマスク内の画像部分を形成すると共に、当該第１のマスクに隣接しかつ前記特徴点と前記無限遠点を通る直線上の点とその周辺画素を取り囲む第２のマスク内の画像部分を形成するマスク画像形成手段と、
前記第１のマスク内の画像部分と前記第２のマスク内の画像部分を比較する相互比較手段と、
該比較の結果、両画像部分に相関があるとき、前記特徴点を削除する特徴点削除手段と
を具えることを特徴とする請求項５に記載の車両用後側方監視装置。
【請求項７】
前記特徴点選別手段は、
前記ある時点の撮像画像のエッジ画像を形成するエッジ画像形成手段と、
当該エッジ画像のエッジ上の点を特徴点とする特徴点設定手段と
を具えることを特徴とする請求項５に記載の車両用後側方監視装置。
【請求項８】
前記特徴点削除手段は、
前記直線上に並ぶ特徴点に削除する特徴点があるとき、当該直線上に並ぶ残りの特徴点を一括して削除するようにした
ことを特徴とする請求項７に記載の車両用後側方監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に設置したビデオカメラによって後方及び側方を撮像した画像を用いて、車両の走行の際に後方および側方より接近する車両を検知し運転者に警告を与えるための車両用後側方監視方法及び装置に関するものである。
【０００２】
【従来の技術】
片側２車線以上の道路を車両が走行中に車線変更する際、変更しようとする隣接車線を、自車より速い速度で走行中の車両を見落した場合、大事故につながる危険性が大である。
また、自車と同じ車線を走行中の後続車両がある場合、急接近してきた場合などに急ブレーキをかけると追突される危険性があるため、近接車両を認識しておく必要がある。
【０００３】
隣接車線を走行中の車両および後続車両を認識させる従来例としては特開平１−１８９２８９号公報（車両情報表示装置）が提案されている。この特開平１−１８９２８９号公報には、車両の後方及び側方をカメラによって撮影し、撮影された画像をモニタに表示させることによって、隣接車線を走行中の車両および後続車両を認識させるようにしている。
【０００４】
しかしながら、運転者がモニタに表示された車両を見落とすおそれがあり、またモニタを見ただけでは隣接車線を走行中の車両及び後続車両の速度が自車の速度より速いか否かを直ちに判断することは困難であった。
【０００５】
そこで従来、車両の後側方に向けて取り付けられたビデオカメラにより車両走行中に得られた撮像画像の各点が全体として収束するような無限遠点又は消失点（一般にＦＯＥ（Focus of Expansion）と呼ばれる）を求めると共に、撮像画像中の特徴点の移動ベクトル（以下、これをオプティカルフローと呼ぶ）を求め、このオプティカルフローがＦＯＥから発散する方向に向かっているか、ＦＯＥに収束する方向に向かっているかに応じて、隣接車線を走行中の車両及び後続車両の速度の自車に対する接近度を判断するようにした車両用後側方監視方法が提案されている（特開平７−５０７６９号）。
【０００６】
この車両用後側方監視方法を、図１１を用いて簡単に説明する。図１１は、自車両後方に後ろ向きに取り付けられたカメラにより得られた時間的に相前後する２画像を示す。そして図１１からは、自車両が走行している隣の車線を走行している車が、自車両を追い越して行こうとしているところであることが分かる。
【０００７】
先ず、図１１（Ａ）の画像上の特徴点Ａ（画像のエッジ処理によって得られる、道路標識、建物、道路上の白線などの固定物や車両などの移動体の特徴となり得るエッジ画像のエッジ上の任意の点）に対応する図１１（Ｂ）の画像上の点、すなわち、対応点を、図１１（Ａ）の画像を重ねたときの図１１（Ｂ）の画像上ので特徴点ＡとＦＯＥとを結ぶ直線上で探索する。これは、特徴点Ａがオプティカルフローを生成する可能性のある移動体上の点である場合、これに対応する対応点はＦＯＥから発散する方向に引いた特徴点Ａを通る直線上に存在することに基づいて行われるものである。この例では、図１１（Ｂ）の画像上の点Ａ′が対応点として検出された。この点Ａと点Ａ′を結ぶベクトルがオプティカルフローであり、この例の場合、オプティカルフローがＦＯＥから発散する方向に向かっていることによって、隣接車線を走行中の車両が自車両に対して接近していいることが、ベクトルの大きさによってその接近度がそれぞれ判断される。
【０００８】
【発明が解決しようとする課題】
しかしながら、図１２に示すような場合、対応点を正しく求めることができないため、誤ったオプティカルフローを求めてしまう可能性があり、以下これについて説明する。今、図１２（Ａ）の画像の白線のエッジ画像のエッジ上の点を特徴点Ｂとして設定したとすると、その特徴点Ｂに対応する対応点Ｂ′を図１２（Ｂ）の画像中から検出する必要がある。
【０００９】
この際、図１３に示すように、図１２（Ａ）の画像上の特徴点Ｂを囲むように作ったマスク１内の画像部分と相関のある画像部分を、図１２（Ｂ）の画像上のＦＯＥと特徴点Ｂを結ぶ直線上をマスクを移動しながら検索する。そして、検索したマスク２内の特徴点Ｂに対応する点を対応点として検出することができる。しかし、白線上にはマスク１内の画像部分と同様な輝度分布の画像部分が幾つもあるため、対応点の検出が困難になり、誤った点を対応点としてしまう可能性も高い。実際には、本当の対応点は特徴点ＢよりもＦＯＥ側の白線上で検出されるべきであるが、図１３の例に示されるように、特徴点Ｂに対応する対応点Ｂ′が特徴点Ｂに対してＦＯＥの反対側に誤って検出されていることがある。
【００１０】
このように特徴点に対して誤った対応点が検出され、誤ったオプティカルフローが求められると、自車両に対して後方車両又は隣接車線を走行中の車両が接近していないのに接近していると判断されたり、これとは逆に接近してくる車両があるにも拘らずこれを見逃したりすることになり、後側方監視の信頼性が著しく低下する問題があった。
【００１１】
本発明は以上の点を考慮してなされたもので、正確なオプティカルフローを求めることにより信頼性の高い後側方監視を行うことができる車両用後側方監視方法及び車両用後側方監視装置を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため本発明により成された請求項１に記載の車両用後側方監視方法は、走行している自車両から後側景を撮像し、所定時間相前後する２コマの画像中の対応点を検出し、該検出した対応点の移動をオプティカルフローとして求め、該求めたオプティカルフローの方向と大きさに基づいて自車両に対する後方車両又は隣接車線を走行中の車両の接近の度合いを監視する車両用後側方監視方法において、ある時点の撮像画像から対応点を検出するための特徴点を抽出すると共に、当該特徴点のうち当該ある時点の撮像画像の無限遠点（ＦＯＥ）を通って引いた直線上に並ぶ特徴点を削除し、前記ある時点の画像と時間的に相前後する画像中において、削除されずに残った前記特徴点の各々と当該画像の無限遠点とを結ぶ直線上の点のなかから、削除されずに残った前記特徴点の各々に対応する対応点を検出し、前記特徴点と前記対応点を結ぶベクトルをオプティカルフローとして求めるようにしたことを特徴とする。
【００１３】
また本発明により成された請求項５に記載の車両用後側方監視装置は、図１に示すように、撮像手段２により走行している自車両から後側景を撮像し、所定時間相前後する２コマの画像中の対応点を検出し、該検出した対応点の移動をオプティカルフローとして求め、該求めたオプティカルフローの方向と大きさに基づいて自車両に対する後方車両又は隣接車線を走行中の車両の接近の度合いを監視する車両用後側方監視装置１において、ある時点の撮像画像から対応点を検出するための特徴点を抽出すると共に、当該特徴点のうち当該ある時点の撮像画像の無限遠点（ＦＯＥ）を通って引いた直線上に並ぶ特徴点を削除する特徴点選別手段５と、ある時点の画像と時間的に相前後する画像中において、特徴点選別手段５で削除されずに残った特徴点と当該撮像画像の無限遠点とを結ぶ直線上の点のなかから、削除されずに残った特徴点に対応する対応点を検出する対応点検出手段１２ととを備えることを特徴とする。
【００１４】
以上の構成において、対応点検出手段１２において対応点の検出が困難になるような特徴点、すなわち特徴点と無限遠点を結ぶ直線上に並ぶような特徴点が、特徴点選別手段５により予め削除されるので、対応点検出手段１２は特徴点の各々に対応する対応点を的確かつ速やかに検出できるようになる。この結果、オプティカルフロー形成手段１３では、正確なオプティカルフローを求められ、危険度判定手段１４により信頼性のある判定処理を行うことができるようになる。
【００１５】
また本発明により成された請求項２に記載の車両用後側方監視方法は、請求項１に記載の車両用後側方監視方法において、前記特徴点を削除する際に、前記特徴点とその周辺画素を取り囲む第１のマスク内の画像部分を形成すると共に、当該第１のマスクに隣接しかつ前記特徴点と前記無限遠点を通る直線上の点とその周辺画素を取り囲む第２のマスク内の画像部分を形成し、前記第１のマスク内の画像部分と前記第２のマスク内の画像部分を比較し、該比較の結果、両画像部分に相関があるとき、前記特徴点を削除するようにしたことを特徴とする。
【００１６】
また本発明により成された請求項６に記載の車両用後側方監視装置は、図１に示すように、請求項５に記載の車両用後側方監視装置において、前記特徴点選別手段５は、その周辺画素を取り囲む第１のマスク内の画像部分を形成すると共に、当該第１のマスクに隣接しかつ前記特徴点と前記無限遠点を通る直線上の点とその周辺画素を取り囲む第２のマスク内の画像部分を形成するマスク画像形成手段７と、第１のマスク内の画像部分と前記第２のマスク内の画像部分を比較する相互比較手段１０と、該比較の結果、両画像部分に相関があるとき、前記特徴点を削除する特徴点削除手段１１とを備えるようにした。
【００１７】
以上の構成において、対応点検出手段１２において対応点の検出が困難になるような特徴点を簡単かつ確実に削除することができるようになる。
【００１８】
また本発明により成された請求項３に記載の車両用後側方監視方法は、請求項１に記載の車両用後側方監視方法において、前記ある時点の撮像画像のエッジ画像を形成し、当該エッジ画像のエッジ上の点を特徴点とすることを特徴とする。
【００１９】
また本発明により成された請求項７に記載の車両用後側方監視装置は、図１に示すように、請求項５に記載の車両用後側方監視装置において、前記特徴点選別手段５は、ある時点の撮像画像のエッジ画像を形成するエッジ画像形成手段６と、当該エッジ画像のエッジ上の点を特徴点とする特徴点設定手段８とを備えるようことを特徴とする。
【００２０】
以上の構成において、エッジ画像のエッジ上の点を特徴点としたことにより、撮像画像から画像の特徴を十分に反映した特徴点を効率的に絞り込むことができ、この結果全体としての演算回数を有効に低減することができと共に一段と的確なオプティカルフローを検出できるようになる。
【００２１】
また本発明により成された請求項４に記載の車両用後側方監視方法は、請求項３に記載の車両用後側方監視方法において、前記特徴点を削除する際に、前記直線上に並ぶ特徴点に削除する特徴点があるとき、当該直線上に並ぶ残りの特徴点を一括して削除するようにしたことを特徴とする。
【００２２】
さらに本発明により成された請求項８に記載の車両用後側方監視装置は、請求項７に記載の車両用後側方監視装置において、前記特徴点削除手段１１は、前記直線上に並ぶ特徴点に削除する特徴点があるとき、当該直線上に並ぶ残りの特徴点を一括して削除するようにしたことを特徴とする。
【００２３】
以上の構成において、特徴点を一つ一つ設定してその特徴点の選別処理を行うのではなく、削除する特徴点を一つ検出したときに、その特徴点とＦＯＥを結んだ直線上に並ぶ他の特徴点も一括して削除するようにしたことにより、続く特徴点選別処理で削除されるであろう特徴点を、それらの処理を行わずに削除できるようになる。この結果、特徴点設定処理及び特徴点削除処理の処理回数を格段に減らすことができるようになる。
【００２４】
【発明の実施の形態】
以下、図面に基づき本発明の一実施形態を説明する。
【００２５】
（１）構成
図１において、１は全体として車両用後側方監視装置を示し、自車両後方に後ろ向きに取り付けられたビデオカメラ２により撮像された画像信号Ｓ１がフレームメモリ３及びＦＯＥ検出回路４に供給される。ＦＯＥ検出回路４は時間的に連続する画像から無限遠点（すなわちＦＯＥ）を検出する。
【００２６】
フレームメモリ３から読み出された１フレーム分過去の画像信号Ｓ１は特徴点選別部５のハイパスフィルタ（ＨＰＦ）６及びマスク画像形成回路７に入力される。ハイパスフィルタ６は画像信号Ｓ１のエッジ画像を形成するためのエッジ画像形成手段として機能し、画像信号Ｓ１のの高周波成分のみを通過させる（換言すれば画像信号Ｓ１を微分する）ことによりエッジ画像信号Ｓ２を形成し、これを特徴点設定回路８に送出する。すなわち図２に示すような生画像から図３に示すようなエッジ画像を形成する。
【００２７】
特徴点設定回路８はエッジ画像信号Ｓ２に基づいて、図３に示すように、直進する車両の前後方向に沿った車体エッジ上に特徴点Ｐ１を設定し、設定した特徴点Ｐ１の座標情報Ｓ３を傾き検出回路９に送出する。傾き検出回路９は特徴点Ｐ１の座標情報Ｓ３と、ＦＯＥ検出回路４からのＦＯＥ座標情報Ｓ４とに基づいて、図３に示すようにＦＯＥと特徴点Ｐ１とを結ぶ直線Ｌ１の傾きθを求め、これを傾き情報Ｓ５としてマスク画像形成回路７に送出する。
【００２８】
マスク画像形成回路７は画像信号Ｓ１、特徴点Ｐ１の座標情報Ｓ３及び傾き情報Ｓ５を入力し、図２に示すように、生画像上の着目している特徴点と同じ座標位置に中心を有する左右方向に長い横長のマスクＡを設定すると共に、図４の拡大図に示すように、マスクＡの上下位置に、特徴点Ｐ１を通る傾きθの直線Ｌ１上に中心を合わせてマスクＡと同じ大きさのマスクＢ及びマスクＣを作る。そして、このマスクＡ、マスクＢ及びマスクＣ内の部分の画素情報を、マスク画像情報Ｓ６として相互比較回路１０に送出する。
【００２９】
相互比較回路１０はマスク画像情報Ｓ６に基づいて、マスクＡとマスクＢ内の画像部分の画素を相互に比較することによりマスクＡとマスクＢの相関を求めると共にマスクＡとマスクＣ内の画像部分の画素を相互に比較することによりマスクＡとマスクＣの相関を求め、これにより得た比較結果Ｓ７を特徴点削除回路１１に送出する。
【００３０】
特徴点削除回路１１は、マスクＡ内の画像部分がマスクＢ及びマスクＣ内の画像部分と相関性が高いことを表す比較結果Ｓ７が入力された場合には、その特徴点の座標情報Ｓ３を削除する。これに対してマスクＡ内の画像部分がマスクＢ及びマスクＣ内の画像部分と相関性が低いことを表す比較結果Ｓ７が入力された場合には、その特徴点の座標情報Ｓ３を削除せずにそのまま対応点検出回路１２及びオプティカルフロー形成回路１３に送出するようになされている。これにより特徴点選別部５においては、対応点が検出し難い特徴点を予め削除することができる。
【００３１】
具体的には、図４のように、特徴点Ｐ１が直進する車両の前後方向に沿った車体エッジの場合、車体エッジは傾きθの直線Ｌ１に一致するので、この車体エッジに沿った車体色と車体エッジに沿った背景色に変化がない場合には、３つのマスク内の画像部分はほとんど同一となって、マスクＡ内の画像部分はマスクＢ及びマスクＣ内の画像部分との相関が非常に高いものになっているので相互比較回路１０でそのことを表す比較結果Ｓ７が得られ、特徴点削除回路１１において特徴点Ｐ１が削除される。
【００３２】
これに対して、図５〜図７に示すように、特徴点設定回路８で車両の上下方向に沿った車体エッジ上に特徴点Ｐ２を設定し、この特徴点Ｐ２の座標情報と、ＦＯＥ座標情報とに基づいて、図６に示すようにＦＯＥと特徴点Ｐ１２を結ぶ直線Ｌ１の傾きθ′を求め、図２及び図４について上述したと同様に、図５の生画像上の着目している特徴点と同じ座標位置に中心を有する左右方向に長い横長のマスクＡを設定すると共に、図７の拡大図に示すように、マスクＡの上下位置に、特徴点Ｐ２を通る傾きθ′の直線Ｌ２上に中心を合わせてマスクＡと同じ大きさのマスクＢ及びマスクＣを作る。このようにマスクを作った場合には、マスクＡ内の画像部分はマスクＢ及びマスクＣ内の画像部分との相関が低いので相互比較回路１０でそのことを表す比較結果Ｓ７が得られ、特徴点削除回路１１において特徴点Ｐ２は削除されずに、対応点検出回路１２及びオプティカルフロー形成回路１３に送出される。
【００３３】
この結果、特徴点削除回路１１からは、図８に示すように、ＦＯＥを通って引いた直線上に並ぶような特徴点が削除されたエッジ画像がエッジ画像信号Ｓ８として出力されるようになる。図８から分かるように、削除される特徴点には、ＦＯＥを通って引いた直線上に並ぶような車両上の点だけでなく、隣接車線との間に引かれた白線上の点も含まれる。
【００３４】
対応点検出回路１２は、特徴点削除回路１１から入力した時点ｔの特徴点座標と対応する対応点を、ビデオカメラ２から入力した時点ｔ＋Δｔの画像上で探索する。すなわち、図について上述したように、特徴点と対応する対応点をＦＯＥと特徴点を結ぶ直線上で探索する。
【００３５】
オプティカルフロー形成回路１３は特徴点と対応点を結ぶことによりオプティカルフローを形成し、これを危険度判定回路１４に送出する。危険度判定回路１４はオプティカルフローがＦＯＥから発散する方向に向かっているか、ＦＯＥに収束する方向に向かっているかに応じて、隣接車線を走行中の車両及び後続車両の速度の自車に対する接近度（すなわち危険度）を判断し、当該判定結果を警報部１５に送出する。すなわちオプティカルフローがＦＯＥから発散する方向に大きく向かっているほど、危険度が高いと判断する。
【００３６】
警報部１５は警報ブザーや警報ランプ等でなり、危険度判定回路１４から危険なことを表す判定結果が入力された場合には、当該警報ブザーをならしたり警報ランプを点灯させることにより、運転者に後側方から急接近してくる車両があることを知らせるようになされている。
【００３７】
（２）動作
以上の構成において、車両用後側方監視装置１は、図９に示すような後側方監視処理手順を実行することにより、正確なオプティカルフローを求めて信頼性の高い後側方監視を行うことができるようになっている。
【００３８】
すなわち、先ずステップＳＰ１においてビデオカメラ２から時点ｔの画像を取り込むと共にステップＳＰ２においてフレームメモリ３から時点ｔ＋Δｔの画像を取り込み、続くステップＳＰ３においてＦＯＥ検出回路４でＦＯＥを検出する。
【００３９】
次にステップＳＰ４において、特徴点選別部５によって、対応が取り難い特徴点を削除する。そして続くステップＳＰ５において、危険度判定回路１４によって、対応点検出回路１２及びオプティカルフロー形成回路１３で求めたオプティカルフローに基づきＦＯＥから発散するオプティカルフローを検出し、続くステップＳＰ６において危険度を計算する。
【００４０】
ここで本発明の特徴であるステップＳＰ４での特徴点削除処理について、図１０を用いてさらに詳述する。この特徴点削除処理ＳＰ４は、図１の特徴点選別部５において行われる。特徴点選別部５は特徴点削除処理ＳＰ４に入ると、先ずステップＳＰ１０でフレームメモリ３から生画像を取得する。続くステップＳＰ１１では、ハイパスフィルタ６で微分処理を行うと共に特徴点設定回路８でエッジ画像中から所定の特徴点を選ぶことにより、特徴点を抽出する。
【００４１】
ステップＳＰ１２では、傾き検出回路９によって特徴点とＦＯＥを結ぶ直線の傾きθを算出する。続くステップＳＰ１３では、マスク画像形成回路７によって特徴点の位置にマスクＡを作成し、ステップＳＰ１４では、マスクＡの上下位置に、特徴点を通る傾きθの直線上に中心を合わせてマスクＡと同じ大きさのマスクＢ及びマスクＣを作成する。因みにこのステップＳＰ１０〜ステップＳＰ１４までの処理は従来の処理と同様である。
【００４２】
次にステップＳＰ１５では、相互比較回路１０によってマスクＡとマスクＢ内の画像部分の相関がとれているか否か判断し、相関がとれている場合には、ステップＳＰ１６に移ってマスクＡとマスクＣ内の画像部分の相関がとれているか否か判断する。ここでステップＳＰ１５及びステップＳＰ１６で共に肯定結果が得られた場合には、ステップＳＰ１７に移り、何れか一方又は両方で否定結果が得られた場合には、ステップＳＰ１７の処理を行わずにステップＳＰ１８に移る。
【００４３】
ステップＳＰ１７では、特徴点削除回路１１によって現在処理している特徴点を削除する。これによりエッジ画像上でＦＯＥを通って引いた直線上に並ぶ特徴点のような互いに似通った特徴点が削除されるので、図１の対応点検出回路１２で誤った対応点が検出されることを防止できるようになる。
【００４４】
ステップＳＰ１８では、エッジ画像のエッジ上での全ての特徴点の処理が終了したか否か判断し、処理が終了していない特徴点が残っている場合には、ステップＳＰ１２に戻って次の特徴点についてステップＳＰ１２〜ステップＳＰ１７までの処理を繰り返す。これに対してステップＳＰ１８で肯定結果が得られた場合には、ステップＳＰ１９に移って当該特徴点削除処理ルーチンＳＰ４を終了して、図９のステップＳＰ５に移る。
【００４５】
（３）効果
かくして以上の構成によれば、ある時点の撮像画像からＦＯＥを通って引いた直線上に並ぶような特徴点を削除してから、この画像と時間的に相前後する画像中において対応点を検出するようにしたことにより、特徴点に対応する対応点を的確かつ速やかに検出できるようになる。かくして特徴点とこの対応点を結ぶベクトルをオプティカルフローとして検出すれば、正確なオプティカルフローを求めることができ、信頼性の高い後側方監視を行うことができる車両用後側方監視装置１を実現できる。
【００４６】
（４）他の実施形態
なお上述の実施形態においては、エッジ画像形成手段としてのハイパスフィルタ６によりエッジ画像を形成し、当該エッジ画像のエッジ上の点を特徴点とする場合について述べたが、本発明はこれに限らず、特徴点を検出する際に例えば画像信号Ｓ１のテクスチャ成分を抽出したテクスチャ画像を形成し、当該テクスチャ画像上の点を特徴点とするようにしてもよい。
【００４７】
また上述の実施形態においては、図１０で説明したように、特徴点を一つ一つ設定してそれらの特徴点に対して特徴点の選別処理を行うようにした場合について述べたが、本発明はこれに限らず、削除する特徴点を一つ検出したときに、その特徴点とＦＯＥを結ぶ直線上に並ぶ特徴点を一括して削除するようにしてもよい。このようにすれば、続く特徴点選別処理で削除されるであろう特徴点を、それらの処理を行わずに一括して削除できるようになる。この結果、特徴点設定処理及び特徴点削除処理の処理回数を格段に減らすことができるようになる。
【００４８】
また上述の実施形態においては、マスクＡの上下位置に、特徴点を通る傾きθの直線上に中心を合わせてマスクＡと同じ大きさのマスクＢ及びマスクＣを作るようにした場合について述べたが、本発明はこれに限らず、この位置からマスクＢ及びマスクＣを左右に数画素分振り、マスクＡとの相関を求めるようにしてもよい。このようにすれば、特徴点及びＦＯＥを通る直線に対して、削除したいエッジ部分の傾きが多少ずれた場合でも、このエッジ部分を削除することができるようになる。
【００４９】
また上述の実施形態においては、時点ｔ＋Δｔの画像から特徴点を検出する際には生画像を微分して得たエッジ画像を用いると共に、この特徴点に対応する対応点を探索する際には時点ｔの生画像をそのまま用いるようにした場合について述べたが、本発明はこれに限らず、対応点を探索する際にも時点ｔの画像からエッジ画像を形成し、当該エッジ画像に基づいて探索を行うようにしてもよい。このようにすれば、生画像を用いて探索を行う場合と比較して、情報量の少ない画像を用いて探索を行うことができるようになるため、対応点を一段と短い時間で検出することができるようになる。
【００５０】
【発明の効果】
上述のように請求項１及び請求項５の発明によれば、ある時点の撮像画像から当該撮像画像の無限遠点（ＦＯＥ）を通って引いた直線上に並ぶような特徴点を削除してから、この画像と時間的に相前後する画像中において対応点を検出するようにしたことにより、特徴点の各々に対応する対応点を的確かつ速やかに検出できるようになる。かくして特徴点とこの対応点を結ぶベクトルをオプティカルフローとして検出すれば、正確なオプティカルフローを求めることができ、信頼性の高い後側方監視を行うことができる車両用後側方監視方法及び車両用後側方監視装置を実現できる。
【００５１】
また請求項２及び請求項６の発明によれば、特徴点を削除する際に、特徴点とその周辺画素を取り囲む第１のマスク内の画像部分を形成すると共に、当該第１のマスクに隣接しかつ特徴点と無限遠点を通る直線上の点とその周辺画素を取り囲む第２のマスク内の画像部分を形成し、第１のマスク内の画像部分と第２のマスク内の画像部分を比較し、該比較の結果、両画像部分に相関があるとき、特徴点を削除するようにしたことにより、対応点の検出が困難になるような特徴点を簡単かつ確実に削除することができる車両用後側方監視方法及び装置を実現できるようになる。
【００５２】
また請求項３及び請求項７の発明によれば、ある時点の撮像画像のエッジ画像を形成し、当該エッジ画像のエッジ上の点を特徴点とするようにしたことにより、撮像画像から画像の特徴を十分に反映した特徴点を効率的に絞り込むことができ、この結果全体としての演算回数を有効に低減することができと共に一段と的確なオプティカルフローを検出できる車両用後側方監視方法及び装置を実現できるようになる。
【００５３】
さらに請求項４及び請求項８の発明によれば、特徴点を削除する際に、直線上に並ぶ特徴点に削除する特徴点があるとき、当該直線上に並ぶ残りの特徴点を一括して削除するようにしたことにより、特徴点設定処理及び特徴点削除処理の処理回数を格段に減らすことができる車両用後側方監視方法及び装置を実現できるようになる。
【図面の簡単な説明】
【図１】  実施の形態による車両用後側方監視装置の構成を示すブロック図である。
【図２】  マスク画像形成の説明に供する略線図である。
【図３】  エッジ画像形成の説明に供する略線図である。
【図４】  図３の特徴点Ｐ１に対するマスク画像形成の説明に供する略線図である。
【図５】  マスク画像形成の説明に供する略線図である。
【図６】  エッジ画像形成の説明に供する略線図である。
【図７】  図６の特徴点Ｐ２に対するマスク画像形成の説明に供する略線図である。
【図８】  特徴点削除処理の後に残ったエッジ画像を示す略線図である。
【図９】  実施の形態による車両用後側方監視装置の動作の説明に供するフローチャートである。
【図１０】  特徴点選別部による特徴点削除処理ルーチンを示すフローチャートである。
【図１１】  オプティカルフローの検出の説明に供する略線図である。
【図１２】  誤ったオプティカルフローが検出される場合を説明するための略線図である。
【図１３】  誤ったオプティカルフローが検出される場合を説明するための略線図である。
【符号の説明】
１      車両用後側方監視装置
２      ビデオカメラ（撮像手段）
５      特徴点選別部（特徴点選別手段）
６      ハイパスフィルタ（エッジ画像形成手段）
【図１】
0003841323.tif 000002
【図２】
0003841323.tif 000003
【図３】
0003841323.tif 000004
【図４】
0003841323.tif 000005
【図５】
0003841323.tif 000006
【図６】
0003841323.tif 000007
【図７】
0003841323.tif 000008
【図８】
0003841323.tif 000009
【図９】
0003841323.tif 000010
【図１０】
0003841323.tif 000011
【図１１】
0003841323.tif 000012
【図１２】
0003841323.tif 000013
【図１３】
0003841323.tif 000014