(57)【要約】【課題】車両周辺監視装置において、カメラの撮影画面内の移動体の見え方が大きく変化する場合にも、確実に追跡可能とする。【解決手段】撮影画像データに基づく画像フレームにテンプレートを登録し、所定時間間隔の画像フレーム間におけるテンプレートのパターンマッチングにより移動体を追跡する。追跡中のテンプレートについて、両画像フレームの差分をとり、差分領域の実重心位置を求めて、予想重心位置と実重心位置とのずれ量が所定値より大きい場合は、当該テンプレートの位置を実重心位置付近の領域に設定し直す。これにより、移動体の見え方の急変があっても、パターンマッチングができなくなることがないので、追跡が維持できる。【選択図】            図８
2004247921.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置され車両周辺の撮影画像データを出力するカメラと、
撮影画像データを処理して車両に接近する移動体を抽出する接近物体抽出手段と、
接近物体抽出手段で抽出された移動体が所定の接近状態にあるとき当該接近を報知する報知手段とを有し、
前記接近物体抽出手段は、前記撮影画像データに基づく画像フレームにテンプレートを登録し、所定時間間隔の画像フレーム間における前記テンプレートのパターンマッチングにより前記移動体を追跡するとともに、追跡中のテンプレートについては両画像フレームの差分領域の動きに基づいて新たな画像フレームにおける当該テンプレートの位置を設定することを特徴とする車両周辺監視装置。
【請求項２】
前記接近物体抽出手段は、前記差分領域の実重心位置を求めて、差分領域の予想重心位置と前記実重心位置とのずれ量が所定値より大きい場合は、当該テンプレートの位置を前記実重心位置付近の領域に設定するものであることを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記報知手段は前記カメラによる撮影画像を表示するモニタを含み、該モニタの画面において自車両に対して前記所定の接近状態にある移動体に強調表示を行ない、または警告メッセージを表示することを特徴とする請求項１または２記載の車両周辺監視装置。
【請求項４】
報知要求スイッチを備え、
前記報知手段は、前記報知要求スイッチの操作に基づいて前記移動体の接近を報知することを特徴とする請求項１から３のいずれか１に記載の車両周辺監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に設置したカメラで車両の周辺を撮影し、撮影した周辺情報を乗員に提供する車両周辺監視装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開平５−２９８５９１号公報
従来の車両周辺監視装置としては、カメラで撮影した映像を車内のモニタにそのまま表示するものがあるが、さらに有効な活用を図るため自車両周辺のカメラ映像から他の車両や歩行者等のいわゆる移動体の接近状態を検出してその旨を報知することが検討されている。
【０００３】
このために必要な移動体の認識・追跡の手法として、例えば特開平５−２９８５９１号公報に開示されたようなものがある。ここでは、カメラ映像の画像処理において移動体が検出された位置にマッチングテンプレート（以下、単にテンプレートと言う）を作成し、このテンプレートをもとにパターンマッチングを行なって移動体の移動方向や移動量を検出することにより、追跡を行なう。追跡の際には、移動体の移動軌跡に基づいてテンプレートの位置が順次修正され、更新される。
【０００４】
すなわち、画像内で移動体を追跡中、移動体の見え方がある時間間隔の間ほぼ同じであるような場合は、前回処理時の追跡位置に今回のテンプレートを登録するということを繰り返していくことにより車両など移動体のほぼ同一部位を追尾していくことができる。すなわち、テンプレートを設定した部分はもともと特長量の多い部位であるから、見え方が安定している間はその部分を追跡していくことで成功率の高いパターンマッチングが得られる。
【０００５】
【発明が解決しようとする課題】
ところが、移動体、例えば他車両がカメラの視野範囲を一端側から他端側へ横切って通過していく場合、自車両から当該他車両までの距離がまだ遠いときには、カメラには他車両の前部のみが撮影される。そして、自車両に近づいてくるにしたがって当該他車両の前側部、側面、後側部、後部が順次にカメラに撮影される。
これにしたがって撮影画像内の他車両の見え方は変化することになる。
【０００６】
ここで一般には、できるだけ多くの情報を乗員に提供しようとするとき、カメラの広角化が行なわれる。すなわち、カメラを広角化することにより、１台のカメラがより広範囲を視野に入れて撮影するので、それだけ情報量が増大する。しかしその反面、画面内での移動体の移動量も大きくなるので、上記他車両の見え方の変化度合いもより一層顕著なものとなってしまう。
【０００７】
このため、移動体の見え方が急変し、ある時刻ｔ−１にテンプレートとして設定した画像とパターンマッチングの対象となる時刻ｔにおける画像がかなり異なったものになり、それまで追跡の対象としてきた特長量の多い部位の位置が大きくずれてしまうので、上記従来の認識・追跡手法では、パターンマッチングに失敗し、移動体の追跡ができなくなってしまうという問題がある。
【０００８】
そこで、本発明は、上記従来の問題点に鑑み、カメラの撮影画面内の移動体の見え方が大きく変化する場合にも、確実に追跡可能とした車両周辺監視装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
このため、本発明の車両周辺監視装置は、カメラからの車両周辺の撮影画像データを処理して車両に接近する移動体を抽出する接近物体抽出手段と、接近物体抽出手段で抽出された移動体が所定の接近状態にあるときその接近を報知する報知手段とを有し、とくに接近物体抽出手段は、画像フレームにテンプレートを登録し、所定時間間隔の画像フレーム間におけるテンプレートのパターンマッチングにより移動体を追跡するとともに、追跡中のテンプレートについては両画像フレームの差分領域の動きに基づいて新たな画像フレームにおける当該テンプレートの位置を設定するものとした。
【００１０】
【発明の効果】
画像内で移動体の見え方が急変するような場合には従来テンプレートのパターンマッチングが実行不能となりやすかったが、画像フレームの差分領域の位置急変としてその現象の発生が現れるから、差分領域の動きに基づいてテンプレートの位置を再設定することにより、移動体を確実に追跡することができる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
図１は、実施の形態の機能ブロック図である。
車両の前端部に設置されたカメラ１０がその撮影画像データを監視処理ユニット２０に入力するよう接続されている。カメラ１０は、自車両前方の道路上および左右から接近する移動体を撮影可能なように１８０°以上の水平視野を有する広角カメラである。
監視処理ユニット２０には、入力側としてさらに報知要求スイッチ３０と車速センサ４０が接続され、出力側にはそれぞれ車室内に設置されたモニタ５０およびブザー６０が接続されている。カメラ１０の撮影画像はモニタ５０に常時表示されている。
【００１２】
監視処理ユニット２０は、接近物体抽出部２２と報知判定部２４を備えている。
接近物体抽出部２２は、カメラ１０からの撮影画像データをもとに、左右から自車両方向に接近してくる移動体の認識および追跡を行う。
報知判定部２４は、接近物体抽出部２２での認識結果と車速センサ４０からの車速とに基づいて、移動体の接近状態の乗員への報知が必要かどうかの判定を行う。ここでは、移動体が所定の接近状態にあるとき、自車両の停車時あるいは極低速走行時にのみ報知を行なわせるものとする。
監視処理ユニット２０は、報知判定部２４で報知が必要と判定され、かつ報知要求スイッチ３０がオンされているとき、モニタ５０上の撮影画像に重ねて、接近してくる移動体についての報知を行い、またブザー６０を駆動して音によっても注意を促す。
【００１３】
図２は本実施の形態における監視処理ユニット２０による作動の全体的な流れを示すフローチャートである。
まずステップ１００において、監視処理ユニット２０へカメラ１０からの撮影画像データを取り込む。
そして、ステップ２００で、接近物体抽出部２２が、画像フレーム内において自車両方向に接近してくる移動体を抽出する。
ステップ３００では、報知判定部２４において、乗員に対する報知が必要であるかどうかの判定を行う。
【００１４】
ステップ４００では判定結果をチェックし、判定結果が「報知必要」であればステップ５００へ進み、報知が不要であればフローを終了する。
ステップ５００では、報知要求スイッチ３０がオンされているかどうかをチェックし、オンされているときはステップ６００へ進み、報知要求スイッチ３０がオフのときは終了する。
ステップ６００では、モニタ５０およびブザー６０を用いて、接近してくる移動体の存在を報知する。
モニタ５０による報知では、図３の（ａ）に示すようにモニタの画面に表示された接近移動体Ｍに強調表示の枠Ｄ１を重ねて表示したり、（ｂ）に示すように接近移動体Ｍの近くに「ＷＡＲＮＩＮＧ！！」などの警告メッセージＤ２を表示する。
【００１５】
つぎに、上記のステップ２００における接近移動体の抽出処理の詳細を図４のフローチャートで説明する。
まずステップ２１０において、図５に示すように、所定時間Δｔの時間間隔をおいて撮影された２枚の画像フレームＴ−１と画像フレームＴについて差分をとる。これにより上記Δｔの間に変化があった領域を特定することができる。
次いでステップ２２０において、図６に示すように、上記変化があった領域ごとに画像フレーム内を分割する。図６の画像フレームには２つの変化領域Ａ、Ｂが存在していることが示されている。なお、Ｓは前回処理時にパターンマッチングを行なった結果、テンプレートの移動先とされた既追跡領域である。
【００１６】
そしてステップ２３０では、新たにテンプレートとして登録する領域Ｂを選択し、図７の（ａ）のように、当該領域から画像フレームＴ−１に新規テンプレートＰ１として登録する。
テンプレートとして登録するのは、面積が所定値以上で、かつ領域が既追跡領域と重ならないもののみとする。
ここでは、２つの変化領域Ａ、Ｂのうち領域Ａは既追跡領域Ｓと一部重なるので対象とされず、領域Ｂは既追跡領域Ｓと重ならず、面積も所定値以上あるとして新規テンプレートとされる。
面積を所定値以上に絞ることで草木の揺らぎなどによるノイズが除去されるとともに、面積が大きいことは特徴量が多いことであるから後述の相関処理の精度が高くなる。また、既追跡領域と重ならないもののみを選択することにより、追跡の重複を省くことができる。
【００１７】
つぎのステップ２４０では、既に追跡対象となっている移動体についてテンプレートの位置を修正し、画像フレームＴ−１に再登録する。図７の（ｂ）は既追跡領域Ｓの周辺に再登録のテンプレートＰ２を設定した例を示している。
図８はこの追跡中移動体についてのテンプレート再登録の処理の詳細を示すフローチャートである。
ステップ２４１において、既追跡領域について２つの画像フレームＴ−１とＴの差分をとり、ステップ２４２で、その差分領域の実重心位置を求める。ここでの重心位置は画像フレームにおける横方向位置Ｘｇｔを計算する。既追跡領域内に独立した差分領域が複数存在するときはそれらのすべてについてそれぞれ重心位置を計算した上、その平均値を当該既追跡領域についての差分領域の実重心位置とする。
【００１８】
次のステップ２４３では、前回処理時までに順次求められてきた実重心位置の推移から、今回の重心位置（予想重心位置）を算出する。
そして、ステップ２４４において、上記実重心位置と予想重心位置のずれを算出し、ステップ２４５でずれの算出結果をチェックする。
実重心位置と予想重心位置のずれ量が所定値より大きい場合は、ステップ２４６に進んで、実重心位置付近の領域をテンプレートとして登録するように、テンプレートの位置を再計算し、それから、ステップ２４７において新たな位置にテンプレートＰ２を登録する。
【００１９】
一方、ステップ２４５のチェックで実重心位置と予想重心位置のずれ量が小さかったときは、そのままステップ２４７へ進み、前回処理時のパターンマッチングの結果テンプレートの移動先とされた位置、すなわち既追跡領域にテンプレートを登録する。
これにより、実重心位置と予想重心位置の関係に応じて、必要な場合には再計算を行なうことにより、実重心位置に追随するようにテンプレートＰ２が設定されていく。
【００２０】
図３のフローチャートに戻って、このあとステップ２５０において、画像フレームＴ−１に登録されたすべてのテンプレートについて、画像フレームＴでの位置をテンプレート相互のパターンマッチングによって算出する。
そしてステップ２６０において、上記各テンプレートの位置変化から所定時間Δｔの間に画面上で移動した量と方向を求め、自車両に対する移動体の接近状況を判定する。
上記フローにおけるステップ２００が発明の接近物体抽出手段を構成し、ステップ３００から６００が報知手段を構成している。
【００２１】
本実施の形態は以上のように構成され、テンプレートによって認識対象の移動体を追跡していく際に、パターンマッチングと併せて時間間隔を持たせた２つの画像フレームの間でとった差分も監視し、差分領域の重心の動きに基づいてテンプレートの位置を再計算で修正するものとした。
これにより、例えば図９に（ａ）→（ｂ）→（ｃ）で示すように認識対象の移動体（他車両）の見え方が途中で急変するような場合でも、差分領域の位置（重心位置）が急変することに基づいてテンプレートの位置を修正するから、移動体の見え方の急変により従来パターンマッチングが実行不可能となっていたような場合でも、確実に追跡を維持することができる。
【００２２】
とくに、既追跡領域すなわち追跡中のテンプレートＰ２の予想重心位置と実重心位置とのずれ量が所定値より大きい場合には、テンプレートＰ２の位置を実重心位置付近の領域に設定するようにしているので、画像フレームごとに確実に追跡できる。
【００２３】
さらに、接近移動体の報知は、撮影画像を表示するモニタ５０の画面において所定の接近状態にある移動体に強調表示Ｄ１を行なったり、あるいは警告メッセージＤ２を表示するので、乗員に対して視覚的に明確に認識させることができる。
また、報知要求スイッチ３０がオンされたときのみ移動体の接近を報知するので、煩わしさがなく、乗員が必要とする場合にのみ情報提供できる。
【００２４】
なお、図示した実施の形態では移動体の接近状況の報知出力手段としてモニタ５０とブザー６０を備えるものとしたが、これに限定されず、モニタとブザーのいずれか一方、あるいはこれらに代えてまたはこれらに加えてライト点灯によるインジケータ７０（図３参照）を用いることもできる。
また、カメラ１０は自車両前方の道路上および左右から接近する移動体を撮影可能なように車両前端部に設置するものとしたが、本発明はカメラを自車両後方および左右から接近する移動体を撮影可能なように車両後端部に設置するものにも同様に適用することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の機能ブロック図である。
【図２】監視処理ユニットによる作動の全体的な流れを示すフローチャートである。
【図３】モニタ画面における報知例を示す図である。
【図４】接近移動体の抽出処理の詳細を示すフローチャートである。
【図５】２枚の画像フレームの差分取得を示す説明図である。
【図６】差分の画像における領域分割を示す説明図である。
【図７】テンプレートの登録要領を示す説明図である。
【図８】テンプレート再登録処理の詳細を示すフローチャートである。
【図９】移動体の見え方が途中で急変する画面の例を示す図である。
【符号の説明】
１０      カメラ
２０      監視処理ユニット
２２      接近物体抽出部
２４      報知判定部
３０      報知要求スイッチ
４０      車速センサ
５０      モニタ
６０      ブザー
７０      インジケータ
Ａ、Ｂ    変化領域
Ｄ１      強調表示の枠
Ｄ２      警告メッセージ
Ｐ１、Ｐ２    テンプレート
Ｓ        既追跡領域
【図１】
2004247921.tif 000003
【図２】
2004247921.tif 000004
【図３】
2004247921.tif 000005
【図４】
2004247921.tif 000006
【図５】
2004247921.tif 000007
【図６】
2004247921.tif 000008
【図７】
2004247921.tif 000009
【図８】
2004247921.tif 000010
【図９】
2004247921.tif 000011