(57)【要約】【課題】  撮像領域が重複しない領域においても物体を精度よく追跡することができる周辺監視装置を提供すること。【解決手段】  前方カメラ１１の撮像画像において予め立体物２２の視線方向と画像テンプレートを取得しておき、立体物２２が左側方カメラ１３の単独撮像領域に入った場合に立体物２２の視線方向に基づいて画像テンプレートを選択し、選択した画像テンプレートに基づいて立体物２２を追跡する。これにより、立体物２２を精度よく追跡できる。【選択図】  図２９
2008092459.tif 000002
【特許請求の範囲】
【請求項１】
第一撮像領域を撮像する第一撮像手段と、
前記第一撮像領域と重複しない単独撮像領域を有する第二撮像領域を撮像する第二撮像手段と、
前記第一撮像手段により撮像された物体の特徴情報を取得する特徴情報取得手段と、
前記物体の特徴情報を取得した際の前記第一撮像手段から前記物体に対する第一視線方向を取得する第一視線方向取得手段と、
前記物体の撮像される領域が前記第一撮像領域から前記第二撮像領域における単独撮像領域に相対移動した場合に、前記第二撮像手段から前記物体への視線方向に対し所定の方向差の範囲内である前記第一視線方向で撮像された物体の特徴情報及び前記第二撮像手段により撮像された撮像画像に基づいて、前記物体を追跡する物体追跡手段と、
を備えた周辺監視装置。
【請求項２】
前記第二撮像手段から前記物体への視線方向に対し最も近い第一視線方向で撮像された物体の特徴情報と前記第二撮像手段の撮像画像における画像領域との相関値を算出する相関値算出手段を備え、
前記物体追跡手段は、前記相関値が最も高い点を前記物体の位置として前記物体を追跡すること、
を特徴とする請求項１に記載の周辺監視装置。
【請求項３】
前記第二撮像手段から前記物体への視線方向に対し所定の方向差の範囲内である前記第一視線方向で撮像された物体の複数の特徴情報と前記第二撮像手段の撮像画像における画像領域との相関値をそれぞれ算出する相関値算出手段を備え、
前記物体追跡手段は、前記相関値が最も高い点を前記物体の位置として前記物体を追跡すること、
を特徴とする請求項１に記載の周辺監視装置。
【請求項４】
前記第一撮像手段及び前記第二撮像手段の撮像画像に基づくステレオ視によって前記第一撮像領域と前記第二撮像領域が重複する重複領域に存在する物体の三次元情報を取得する第一物体三次元情報取得手段と、
前記物体追跡手段による追跡結果と前記第一物体三次元情報取得手段により取得された三次元情報に基づいて前記第二撮像領域の単独撮像領域に存在する物体の三次元情報を取得する第二物体三次元情報取得手段と、
を備えたことを特徴とする請求項１〜３のいずれか一項に記載の周辺監視装置。
【請求項５】
前記第一物体三次元情報取得手段がステレオ視を行った際に前記物体に遮られて前記第一撮像手段及び前記第二撮像手段の少なくとも一方で撮像できずに三次元情報が取得できない死角領域を特定する死角特定手段と、
前記死角領域のうち前記第一撮像手段又は前記第二撮像手段により撮像可能な領域であって輝度が連続的に変化している場合に前記死角領域の周辺領域の三次元情報に基づいて死角領域を補間する死角補間手段と、
前記死角補間手段により補間可能な領域と補間不可能な領域を記録する死角補間領域記録手段と、
を備えたことを特徴とする請求項４に記載の周辺監視装置。
【請求項６】
前記第二撮像領域と重複する重複領域を有する第三撮像領域を撮像する第三撮像手段と、
前記物体の撮像される領域が前記第二撮像領域の単独撮像領域から前記第二撮像領域と前記第三撮像領域の重複領域に相対移動した場合に、前記第二物体三次元情報取得手段により取得された物体の三次元情報を参照して前記第二撮像手段及び前記第三撮像手段の撮像画像に基づくステレオ視により前記物体の三次元情報を取得する第一物体三次元情報取得手段と、
を備えたことを特徴とする請求項４又は５に記載の周辺監視装置。
【請求項７】
前記第一撮像手段及び前記第二撮像手段は、移動体に設置され前記移動体の周囲を撮像し、
前記第一物体三次元情報取得手段及び前記第二物体三次元情報取得手段は、前記物体の三次元情報として前記移動体に対する前記物体の相対位置座標値を取得すること、
を特徴とする請求項４〜６のいずれか一項に記載の周辺監視装置。
【請求項８】
前記物体の相対位置座標値に基づいて前記移動体の周囲の俯瞰図を作成する俯瞰図作成手段を備えたことを特徴とする請求項７に記載の周辺監視装置。
【請求項９】
前記物体の相対位置座標値に基づいて前記移動体と前記物体が接触するか否かを判断する接触判断手段と、
前記接触判断手段が接触すると判断した場合にその接触を回避させる接触回避手段と、
を備えたことを特徴とする請求項７に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両などの周囲を監視するための周辺監視装置に関するものである。
【背景技術】
【０００２】
従来、車両などの周囲を監視する周辺監視装置として、例えば特許第３４９４４３４号公報に記載されるように、車両の周辺を撮像し、その撮像された画像に基づいて車両周辺の立体物の情報を運転者に伝達する装置が知られている。この装置は、車両の移動中に単一のカメラによって異なる複数の周辺画像を撮像し、それらの画像に基づきステレオ視によって立体物を検出し、画像上の立体物の位置データ及び車両の移動データに基づいて車両から立体物までの距離を算出し、その距離に基づいて周辺画像を生成し運転者に伝達するものである。
【特許文献１】特許第３４９４４３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような装置にあっては、周囲の立体物などについて適切な情報を提供することができないという問題点がある。例えば、複数の周辺画像において重複しない範囲では立体物をステレオ視することができず、立体物の追跡が行えない。このため、立体物の三次元情報を十分に取得することができない。この場合、撮像画像に基づき俯瞰図を作成しようとすると、立体物が歪んで不自然なものとなってしまう。
【０００４】
そこで本発明は、このような技術課題を解決するためになされたものであって、撮像領域が重複しない領域においても物体を精度よく追跡することができる周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち本発明に係る周辺監視装置は、第一撮像領域を撮像する第一撮像手段と、前記第一撮像領域と重複しない単独撮像領域を有する第二撮像領域を撮像する第二撮像手段と、前記第一撮像手段により撮像された物体の特徴情報を取得する特徴情報取得手段と、前記物体の特徴情報を取得した際の前記第一撮像手段から前記物体に対する第一視線方向を取得する第一視線方向取得手段と、前記物体の撮像される領域が前記第一撮像領域から前記第二撮像領域における単独撮像領域に相対移動した場合に、前記第二撮像手段から前記物体への視線方向に対し所定の方向差の範囲内である前記第一視線方向で撮像された物体の特徴情報及び前記第二撮像手段により撮像された撮像画像に基づいて、前記物体を追跡する物体追跡手段とを備えて構成されている。
【０００６】
この発明によれば、物体の撮像される領域が第二撮像領域の単独撮像領域に相対移動した際に、第二撮像手段から物体への視線方向に近い第一視線方向で撮像された物体の特徴情報及び第二撮像手段により撮像された物体の撮像画像に基づいて物体を追跡することにより、第二撮像手段の撮像画像内の物体の位置を精度よく追跡することができる。
【０００７】
また本発明に係る周辺監視装置は、前記第二撮像手段から前記物体への視線方向に対し最も近い第一視線方向で撮像された物体の特徴情報と前記第二撮像手段の撮像画像における画像領域との相関値を算出する相関値算出手段を備え、前記物体追跡手段は、前記相関値が最も高い点を前記物体の位置として前記物体を追跡することが好ましい。
【０００８】
また本発明に係る周辺監視装置は、前記第二撮像手段から前記物体への視線方向に対し所定の方向差の範囲内である前記第一視線方向で撮像された物体の複数の特徴情報と前記第二撮像手段の撮像画像における画像領域との相関値をそれぞれ算出する相関値算出手段を備え、前記物体追跡手段は、前記相関値が最も高い点を前記物体の位置として前記物体を追跡することが好ましい。
【０００９】
また本発明に係る周辺監視装置において、前記第一撮像手段及び前記第二撮像手段の撮像画像に基づくステレオ視によって前記第一撮像領域と前記第二撮像領域が重複する重複領域に存在する物体の三次元情報を取得する第一物体三次元情報取得手段と、前記物体追跡手段による追跡結果と前記第一物体三次元情報取得手段により取得された三次元情報に基づいて前記第二撮像領域の単独撮像領域に存在する物体の三次元情報を取得する第二物体三次元情報取得手段とを備えることが好ましい。
【００１０】
この発明によれば、物体追跡手段による追跡結果と第一物体三次元情報取得手段により取得された三次元情報に基づいて第二撮像領域の単独撮像領域に存在する物体の三次元情報を取得することにより、ステレオ視により物体の三次元情報が取得困難な第二撮像領域の単独撮像領域に物体が存在している場合であっても、物体の三次元情報を確実に取得することができる。
【００１１】
また本発明に係る周辺監視装置において、前記第一物体三次元情報取得手段がステレオ視を行った際に前記物体に遮られて前記第一撮像手段及び前記第二撮像手段の少なくとも一方で撮像できずに三次元情報が取得できない死角領域を特定する死角特定手段と、前記死角領域のうち前記第一撮像手段又は前記第二撮像手段により撮像可能な領域であって輝度が連続的に変化している場合に前記死角領域の周辺領域の三次元情報に基づいて死角領域を補間する死角補間手段と、前記死角補間手段により補間可能な領域と補間不可能な領域を記録する死角補間領域記録手段とを備えることが好ましい。
【００１２】
この発明によれば、死角領域のうち第一撮像手段又は第二撮像手段により撮像可能な領域であって輝度が連続的に変化している場合に死角領域の周辺領域の三次元情報に基づいて死角領域を補間することにより、死角領域を低減してステレオ視で得られない三次元情報を補間することができる。
【００１３】
また本発明に係る周辺監視装置において、前記第二撮像領域と重複する重複領域を有する第三撮像領域を撮像する第三撮像手段と、前記物体の撮像される領域が前記第二撮像領域の単独撮像領域から前記第二撮像領域と前記第三撮像領域の重複領域に相対移動した場合に、前記第二物体三次元情報取得手段により取得された物体の三次元情報を参照して前記第二撮像手段及び前記第三撮像手段の撮像画像に基づくステレオ視により前記物体の三次元情報を取得する第一物体三次元情報取得手段とを備えたことが好ましい。
【００１４】
この発明によれば、第二撮像手段及び第三撮像手段の撮像画像に基づくステレオ視により物体の三次元情報を取得する際に第二物体三次元情報取得手段により取得された物体の三次元情報を参照することにより、ステレオ視による物体の三次元情報の導出が精度よく行える。
【００１５】
また本発明に係る周辺監視装置において、前記第一撮像手段及び前記第二撮像手段は、移動体に設置され前記移動体の周囲を撮像し、前記第一物体三次元情報取得手段及び前記第二物体三次元情報取得手段は、前記物体の三次元情報として前記移動体に対する前記物体の相対位置座標値を取得することが好ましい。
【００１６】
この発明によれば、移動体が移動することによって移動体の周囲にある物体が撮像領域の重複領域から外れた場合でも物体の相対的な位置を把握することができる。
【００１７】
また本発明に係る周辺監視装置において、前記物体の相対位置座標値に基づいて前記移動体の周囲の俯瞰図を作成する俯瞰図作成手段を備えたことが好ましい。
【００１８】
この発明によれば、物体の三次元情報を用いて俯瞰図を作成することにより、物体の歪みを低減した状態で見やすい俯瞰図を作成することができる。
【００１９】
また本発明に係る周辺監視装置において、前記物体の相対位置座標値に基づいて前記移動体と前記物体が接触するか否かを判断する接触判断手段と、前記接触判断手段が接触すると判断した場合にその接触を回避させる接触回避手段とを備えたことが好ましい。
【００２０】
この発明によれば、撮影手段の撮像領域が重複する重複領域以外の領域に物体が存在する場合でも、その物体の相対位置に基づいて的確に移動体の接触回避が行える。
【発明の効果】
【００２１】
本発明によれば、撮像領域が重複しない領域においても物体を精度よく追跡することができる。
【発明を実施するための最良の形態】
【００２２】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２３】
図１は本発明の実施形態に係る周辺監視装置の構成概要図であり、図２は本実施形態に係る周辺監視装置におけるカメラの配置及びカメラの撮像領域を示す平面図である。
【００２４】
本実施形態に係る周辺監視装置１は、車両３の周辺を監視する装置であって、車両３の周辺を撮像する複数のカメラを備えており、例えば、前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４を備えている。前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４は、異なる方向を撮像するように設置され、隣り合うカメラと撮像領域が重複しない非重複領域を有するように配置されている。
【００２５】
前方カメラ１１は、車両の前方に向けて配置され、車両の前方の撮像領域ａＦを撮像する撮像手段として機能する。右側方カメラ１２は、車両の右側方に向けて配置され、車両の右側方の領域ａＲを撮像する撮像手段として機能する。左側方カメラ１３は、車両の左側方に向けて配置され、車両の左側方の領域ａＬを撮像する撮像手段として機能する。後方カメラ１４は、車両の後方に向けて配置され、車両の後方の領域ａＢを撮像する撮像手段として機能する。
【００２６】
前方の撮像領域ａＦは、一端側で右側方の撮像領域ａＲと重複する重複領域を有しており、他端側で左側方の撮像領域ａＬと重複する重複領域を有している。また、後方の撮像領域ａＦは、一端側で右側方の撮像領域ａＲと重複する重複領域を有しており、他端側で左側方の撮像領域ａＬと重複する重複領域を有している。
【００２７】
前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４は、視野角度の大きい広角カメラであり、例えば図３に示されるような画像ＩＬＯを取得する画角１８０°の魚眼レンズを備えたものを用いることが好ましい。
【００２８】
例えば、車両３の左側にガードレール４が延びている場合、最前方のレール部分４０と最後方のレール部分４６は、カメラの視野領域外になる。そして、レール部分４１と４２は、前方カメラ１１の視野領域内に、レール部分４２〜４４が左側方カメラ１３の視野領域内に、レール部分４４、４５が後方カメラ１４の視野領域内にそれぞれ位置する。つまり、レール部分４１、４３、４５はそれぞれ前方カメラ１１、左側方カメラ１３、後方カメラ１４のいずれか一つのカメラのみに視野領域に位置するが、レール部分４２は、前方カメラ１１と左側方カメラ１３の視野が重なる領域に、レール部分４４は、左側方カメラ１３と後方カメラ１４の視野が重なる領域に位置することになる。
【００２９】
各カメラ１１〜１４は、画像処理部２に接続されている。各カメラ１１〜１４で撮像された画像は、デジタル信号として画像処理部２へと送られる。画像信号のデジタル変換は、カメラ１１〜１４内で行われてもよいが、カメラ１１〜１４と画像処理部２の間にＡ／Ｄコンバータを設けて変換を行ってもよいし、画像処理部２にＡ／Ｄコンバータを内蔵する構成としてもよい。
【００３０】
画像処理部２は、各カメラ１１〜１４で撮像した画像を画像処理するものであり、例えば、ＣＰＵ（Central Processing Unit)、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random AccessMemory)などを備えて構成されている。この画像処理部２は、各カメラの撮像画像を読み込んで画像処理を行うものであり、二つのカメラの撮像重複領域に立体物がある場合には、重複領域における三次元情報導出処理、エレベーションマップ作成処理、死角補間処理、トラッキング処理、立体物情報の記録更新処理および境界フラグ記録処理を実行する（図５参照）。
【００３１】
また、画像処理部２は、二つのカメラの撮像重複領域から立体物が移動した場合には、トラッキング処理、三次元情報導出処理、エレベーションマップ作成処理、連携処理、記録の削除処理を実行する（図５参照）。なお、これら各処理の内容の詳細について後述する。
【００３２】
周辺監視装置１には、車速センサ１５が設けられている。車速センサ１５は、車両の速度を検出するセンサである。車速センサ１５にて検出された検出信号は、画像処理部２に入力される。
【００３３】
周辺監視装置１には、出力部３０が設けられている。出力部３０は、撮像画像の画像処理により得られた情報を出力するものであり、車両に設置されるモニタ、スピーカ、ブザー、ランプなどが該当する。
【００３４】
次に本実施形態に係る周辺監視装置の動作について説明する。
【００３５】
図４は、本実施形態に係る周辺監視装置の動作を示すフローチャートである。図４の制御処理は、例えば車両の電源がオンにされてから所定のタイミングで繰り返し実行される。例えば、カメラ１１〜１４の画像取得レートに同期して、取得する画像１コマごと、あるいは、数コマおきに処理を行えばよい。
【００３６】
まず、図４のＳ１０に示すように、撮像画像の読み込み処理が行われる。撮像画像の読み込み処理は、前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４のそれぞれで撮像された画像を読み込む処理である。そして、Ｓ２０に移行し、車両が前進しているか否かが判断される。この判断処理は、車速センサ１５の検出信号に基づいて車両が前進しているか否かを判断する処理である。また、この判断処理において、車速センサ１５の検出信号とトランスミッションのシフトレバーの操作状態に基づいて車両が前進しているか否かを判断する場合もある。
【００３７】
Ｓ２０にて車両が前進していると判断されたときには、前方カメラ画像と左側方カメラ画像における画像処理が行われ（Ｓ３０）、前方カメラ画像と右側方カメラ画像における画像処理が行われる（Ｓ４０）。なお、Ｓ３０の前方カメラ画像と左側方カメラ画像における画像処理及びＳ４０の前方カメラ画像と右側方カメラ画像における画像処理の詳細については後述する。
【００３８】
一方、Ｓ２０にて車両が前進していないと判断されたときには車両が後退しているか否かが判断される（Ｓ５０）。この判断処理は、車速センサ１５の検出信号に基づいて車両が後退しているか否かを判断する処理である。また、この判断処理において、車速センサ１５の検出信号とトランスミッションのシフトレバーの操作状態に基づいて車両が後退しているか否かを判断する場合もある。
【００３９】
Ｓ５０にて車両が後退していないと判断された場合には、車両が前進も後退もしていないため、制御処理を終了する。なお、この場合、車両が走行していないので、トラッキング処理を行わないが、各カメラ１１〜１４の撮像画像に基づいて三次元情報などを取得して、立体物の位置情報やエレベーションマップなどを更新してもよい。
【００４０】
一方、Ｓ５０にて車両が後退していると判断された場合には、後方カメラ画像と左側方カメラ画像における画像処理が行われ（Ｓ６０）、後方カメラ画像と右側方カメラ画像における画像処理が行われる（Ｓ７０）。なお、Ｓ６０の後方カメラ画像と左側方カメラ画像における画像処理及びＳ７０の後方カメラ画像と右側方カメラ画像における画像処理の詳細については後述する。
【００４１】
そして、Ｓ８０に移行し、エレベーションマップの統合処理が行われる。この統合処理は、Ｓ３０、Ｓ４０、Ｓ６０及びＳ７０の画像処理により作成されたエレベーションマップを統合して一つの大きなエレベーションマップを作成する処理である。エレベーションマップは、監視領域にある立体物の高さマップである。例えば、エレベーションマップは、車両の周囲の撮像領域を上方から見た俯瞰図に対応するように構成され、一マスが１ｃｍ×１ｃｍの単位で立体物の高さ情報が記録できるように作成される。ここでいう立体物とは、ガードレール、支柱、パイロンなど路面より高く構成されるもののほか、側溝など路面より低く構成されるものも含まれる。
【００４２】
そして、Ｓ９０に移行し、出力処理が行われる。出力処理は、撮像画像を画像処理することにより得られた情報を出力部２７に出力し、またその情報に基づいて警告処理や車両制御処理を行う処理である。
【００４３】
出力処理として、例えば、撮像領域の俯瞰図をモニタに表示する処理が行われる。この場合、車両の運転者は、車両周辺にある立体物を視覚を通じて容易に認識することができる。その際、立体物の三次元情報を用いて立体物を３Ｄグラフィックス化して表示してもよい。
【００４４】
また、出力処理として、走行障害となる立体物がある場合又は車両３が立体物に接触するおそれがある場合に、音声など聴覚を通じ又はランプ点灯、ランプ点滅、警告表示など視覚を通じて障害物の存在又は接触のおそれを運転者に警告してもよい。この場合、運転者はこの警告を受けることにより、障害物を避けて車両走行することができる。
【００４５】
また、出力処理として、走行障害となる立体物がある場合に経路探索用情報として信号出力してもよい。この場合、障害物を避けて経路探索を行うことができ、適切な経路探索を実現できる。また、出力処理として、走行障害となる立体物がある場合に自動停止の制御信号を出力してもよい。例えば、制動制御ＥＣＵ（Electronic Control Unit）に対し、停止制御信号を出力し、車両を自動停止させる。この場合、車両が障害物に接触するなどの事態を回避することができる。Ｓ９０の出力処理を終えたら、制御処理を終了する。
【００４６】
図５は、図４のＳ３０の前方カメラ画像と左側方カメラ画像における画像処理を示すフローチャートである。
【００４７】
図５のＳ３００に示すように、まず、撮像領域が重複する重複領域外へ立体物が移動したか否かが判断される。すなわち、前方カメラ１１の撮像領域ａＦと左側方カメラ１３の撮像領域ａＬとの重複領域ａＬＦ内からその外部へ立体物が移動した否かが判断される。この判断は、例えば、先に実行された画像処理結果と車両走行情報に基づいて行われる。
【００４８】
先に実行された画像処理結果で重複領域ａＬＦに立体物があるが、車両が所定の距離以上に走行移動しており、立体物が重複領域ａＬＦにないと推定される場合には、重複領域ａＬＦ外へ立体物が移動したと判断される。一方、先に実行された画像処理結果で重複領域ａＬＦに立体物があり、車両が所定の距離まで走行移動しておらず、まだ立体物が重複領域ａＬＦにあると推定される場合には、重複領域ａＬＦ外へ立体物が移動していないと判断される。また、先に実行された画像処理結果で重複領域ａＬＦに立体物がない場合には、重複領域ａＬＦ外へ立体物が移動していないと判断される。
【００４９】
Ｓ３００にて、重複領域外へ立体物が移動していないと判断された場合には、重複領域における三次元情報導出処理が行われる（Ｓ３０２）。三次元情報導出処理は、前方カメラ１１の撮像領域ａＦと左側方カメラ１３の撮像領域ａＬの重複領域ａＬＦにおける立体物の三次元情報を導出する処理である。
【００５０】
この三次元情報導出処理として、まず、左側方カメラ１３で取得した画像の処理範囲が設定される。図６は、各カメラ１１〜１４の撮像領域を示している。ここでは、処理範囲として、前方カメラ１１の撮像領域ａＦと左側方カメラ１３の撮像領域ａＬとが重なっている領域ａＬＦが処理範囲として設定される。その際、例えば、左側方カメラ１３の視野角範囲γを処理範囲と設定すればよい。
【００５１】
そして、左側方カメラ１３の撮影画像ＩＬＯから前方４５度方向の仮想視点画像ＩＬＦが生成される。例えば、撮影画像ＩＬＯにおいて、前方４５度の方向に仮想の視線方向が設定され、その視線方向に垂直な平面に対し左前方の画像部分を視線変換することにより、仮想視点画像ＩＬＦが生成される。図７は仮想視点画像の生成についての説明図であり、図８は撮影画像に基づいて生成した仮想視点画像を示した図である。
【００５２】
魚眼レンズは通常のカメラ用レンズと異なり、正射影方式ではなく、等立体角射影や当距離射影方式を採用している。このため、画面中心を通る直線を除いて、図３に示されるように、空間上における直線形状（例えば、ガードレールの輪郭等）も画面には曲線として表示される。この画像から射影方式を正射影に変換し、その際の視線方向を変換することで、図８に示されるように直線を直線として表示させることができる。ここで、ＩＬは、左側方方向の仮想視点画像であり、ＩＬＢは、後方４５度方向の仮想視点画像を表す。
【００５３】
画像ＩＬＦを生成したら、前方カメラ１１で取得した撮像画像の処理範囲を設定し、その前方カメラ１１の撮影画像から左方４５度方向の仮想視点画像ＩＦＬが生成される。前方カメラ１１の撮像画像における処理範囲の設定は、図６に示されるように、前方カメラ１１の撮像領域ａＦ中で、左側方カメラ１３の撮像領域ａＬと重なっている領域ａＬＦを処理範囲として設定して行われる。
【００５４】
左方４５度方向の仮想視点画像ＩＦＬの生成は、例えば、前方カメラ１１の撮影画像ＩＦＯにおいて、左方４５度の方向に仮想の視線方向が設定され、その視線方向に垂直な平面に対し左前方の画像部分を視線変換することにより行われる。図９は仮想視点画像の生成についての説明図である。ここで、ＩＦは、前方向の仮想視点画像であり、ＩＦＲは、右方４５°方向の仮想視点画像を表す。
【００５５】
次に、画像ＩＬＦとＩＦＬの画素の対応点が探索される。具体的には、図１０に示されるように、画像ＩＬＦ上の任意の小領域に対応する画像ＩＦＬ上の小領域は、エピポーラ極線ｅＦＬ上に存在する。そこで、画像ＩＦＬ中の、画像ＩＬＦのエッジ構成点を含む領域に対応するエピポーラ極線ｅＦＬ上に位置し、かつ、画像ＩＦＬのエッジ構成点に近い領域について画像ＩＬＦのエッジ構成点を含む領域との相関値を算出し、最も相関値の高い領域を求める。この最大相関値をＳＬとする。そして、ＳＬと閾値ＴＨｓとを比較し、ＳＬが閾値ＴＨｓ以上であれば、画像間で対応が取れたと判断する。閾値ＴＨｓは予め設定される設定値である。相関値を導出する手法としては、例えば正規化相関法や差分総和などのパターン認識技術を用いればよい。
【００５６】
左側方カメラ１３の撮像画像から作成した左前４５度の画像ＩＬＦと前方カメラ１１の撮像画像から作成した左前４５度の画像ＩＦＬは、各カメラ設置距離（撮像位置の距離）を基線長としたステレオカメラ画像として利用することができる。この場合、視点変換により、画像ＩＬＦと画像ＩＦＬが同一方向から見た画像となっているので、対応点の検索が容易に行える。
【００５７】
そして、画像ＩＦＬと画像ＩＬＦ中の対応画素位置情報を基にして、被写体の当該画素に対応する部分の空間位置の算出が行われる。図１１は、この空間位置算出の原理を説明する図である。
【００５８】
ここで、センサ座標系ＸｓＹｓＺｓをとり、左右のカメラはセンサ原点をはさんで、Ｘ軸方向に基線長ｂだけ離れて配置されているものとする。つまり、左カメラの光学中心は、座標位置（−ｂ／２、０、０）に、右カメラの光学中心は、座標位置（ｂ／２、０、０）に位置するものとする。両カメラの焦点距離をｆ、対象物Ｐの左カメラの画面上の位置をＰｌ（ｘｌ、ｙｌ）、右カメラの画面上の位置をＰｒ（ｘｒ、ｙｒ）とする（画面上のＸＬ、ＸＲ軸は、Ｘｓ軸と平行であり、ＹＬ、ＹＲ軸は、Ｚｓ軸と平行とする。）と、三角測量の原理により、対象物Ｐの空間位置（Ｘｐｓ、Ｙｐｓ、Ｚｐｓ）は、以下の式により表される。
【数１】
2008092459.tif 000003
なお、ｙｌとｙｒとは理想的には一致する。
【００５９】
さらに、このセンサ座標系から車両座標系への変換が行われる。図１２は、センサ座標系から車両座標系への座標変換を説明する図である。車両重心を原点とし、センサ座標系と各軸が平行な座標系ＸｃＹｃＺｃを考える。このとき各軸Ｘｃ、Ｙｃ、Ｚｃは、センサ座標系の各軸Ｘｓ、Ｙｓ、Ｚｓをそれぞれａｘ、ａｙ、ａｚシフトさせたものとなる。さらに、同様に車両重心を原点とし、鉛直軸をＺｆ軸とし、軸Ｘｃ、Ｙｃをそれぞれ水平面に投影した軸をＸｆ、Ｙｆとした場合の座標系ＸｆＹｆＺｆを考える。ここで、ＸｆとＸｃのなす角度をロール角φ、ＹｆとＹｃのなす角度をピッチ角ρとすると、ＸｃＹｃＺｃ座標系における対象物Ｐの空間位置（Ｘｐｃ、Ｙｐｃ、Ｚｐｃ）およびＸｆＹｆＺｆ座標系における対象物Ｐの空間位置（Ｘｐｆ、Ｙｐｆ、Ｚｐｆ）は、以下の式により表される。
【数２】
2008092459.tif 000004
【００６０】
これにより、空間上の位置を表すことができる。なお、ａｘ、ａｙ、ａｚはカメラの配置位置に基づいて決まる定数であり、φ、ρは車両３の姿勢情報から求めることができる。このようにして求めた空間位置、すなわち三次元位置情報が画面上の画素位置と関連づけて記録される。
【００６１】
図５のＳ３０２の三次元情報導出処理を終えたら、Ｓ３０４に移行し、エレベーションマップの作成処理及び死角補間処理が行われる。
【００６２】
エレベーションマップの作成処理は、三次元位置情報に基づいて前方カメラ１１の撮像領域ａＦと左側方カメラ１３の撮像領域ａＬの重複領域ａＬＦにおける高さ情報に関するエレベーションマップを作成する処理である。例えば、図１３に示すように、エレベーションマップ２１は、重複領域ａＬＦを上方から見た俯瞰図に対応するように構成され、一マスが１ｃｍ×１ｃｍの単位で立体物２２の高さ情報が記録できるように作成される。ここでいう立体物とは、ガードレール、支柱、パイロンなど路面より高く構成されるもののほか、側溝など路面より低く構成されるものも含まれる。
【００６３】
このエレベーションマップ２１において、重複領域ａＬＦにパイロンや支柱などの立体物２２がある場合、立体物２２の位置情報、高さ情報、輝度情報（色情報）がエレベーションマップ２１に記録される。立体物２２などの物体の三次元情報が記録されていない画素については、その周囲の画素で三次元情報が記録されているものがある場合、その三次元情報に基づいて補間することが好ましい。
【００６４】
死角補間処理は、立体物などにより三次元情報が得られない死角領域について他のカメラの撮像情報に基づいて補間する処理である。この死角補間処理は、例えば、死角領域の導出、死角領域情報の記録処理、補間処理を順次実行することにより行われる。
【００６５】
立体物による死角領域の導出処理は、立体物の三次元情報に基づいて行われる。図１４は、死角領域の導出処理の説明図である。図１４（ａ）は監視領域を側方から見た図であり、図１４（ｂ）は監視領域を上方から見た図である。
【００６６】
死角領域の導出処理は、例えば、立体物２２の三次元情報に基づいて死角領域の長さＬ及び幅Ｗを算出して行われる。まず、立体物２２の三次元情報に基づいて立体物２２の高さｈとカメラ１１から立体物２２の距離ｄが算出される。そして、ｈ・ｄ／（Ｈｃ−ｈ）を演算することにより、死角領域の長さＬが算出される。ここで、Ｈｃは、カメラ１１の設置高さである。また、死角領域の幅Ｗは、立体物２２の幅とカメラ１１からの距離に基づいて幾何学的な演算を行うことにより算出することができる。
【００６７】
また、この死角領域の導出処理において、立体物２２の三次元情報だけなく路面の三次元情報も用いて行ってもよい。この場合、路面が傾斜している場合に、死角領域を正確に導出することができる。
【００６８】
図１５は、死角領域の導出処理の説明図である。図１５（ａ）は監視領域を側方から見た図であり、図１５（ｂ）は監視領域を上方から見た図である。図１６は、死角領域の導出処理のフローチャートである。
【００６９】
図１６のＳ４００に示すように、死角領域の導出処理として、まず計測点Ｐｖまでの距離Ｄｖの算出処理が行われる。この算出処理は、カメラから重複領域ａＦＬにおいて三次元情報を取得した計測点Ｐｖまでの距離Ｄｖを算出する処理である。この距離Ｄｖは、計測点Ｐｖの三次元座標データを用いて算出される。そして、Ｓ４０２に移行し、計測点ＰＶ−１までの距離ＤＶ−１の算出処理が行われる。計測点ＰＶ−１は、計測点Ｐｖの手前側で計測点Ｐｖと隣り合う計測点である。この距離ＤＶ−１は、計測点ＰＶ−１の三次元データを用いて算出される。
【００７０】
そして、Ｓ４０４に移行し、計測点間の距離Ｓｖの算出処理が行われる。この算出処理は、計測点Ｐｖと計測点ＰＶ−１との距離Ｓｖを算出する処理であり、例えばＰｖ−ＰＶ−１を算出して行われる。そして、Ｓ４０６に移行し、死角距離Ｌｒの算出処理が行われる。この算出処理は、路面が水平であって傾斜していないと仮定した際の立体物２２による死角距離Ｌｒを算出する処理である。この死角距離Ｌｒは、ｈ・ｄ／（Ｈｃ−ｈ）を演算することにより算出される。
【００７１】
そして、Ｓ４０８に移行し、計測点ＰＶ−１の高さが計測点Ｐｖの高さより低いか否かが判断される。計測点ＰＶ−１の高さが計測点Ｐｖの高さより低いか否かは、それぞれの三次元座標データを比較することにより判断することができる。Ｓ４０８にて計測点ＰＶ−１の高さが計測点Ｐｖの高さより低くないと判断された場合には、死角判断距離しきい値ＴＨＤの算出処理が行われる（Ｓ４１２）。この死角判断距離しきい値ＴＨＤの算出処理は、ＴＨＤ＝Ｌｒ＋Ｋ１・ｄの演算式により、死角判断距離しきい値ＴＨＤを算出する処理である。ここで、ｄはカメラから立体物２２までの距離であり、Ｋ１は予め設定される係数である。
【００７２】
一方、Ｓ４０８にて計測点ＰＶ−１の高さが計測点Ｐｖの高さより低いと判断された場合には、死角判断距離しきい値ＴＨＤの算出処理が行われる（Ｓ４１０）。この死角判断距離しきい値ＴＨＤの算出処理は、ＴＨＤ＝Ｌｒ−Ｋ２・ｄの演算式により、死角判断距離しきい値ＴＨＤを算出する処理である。ここで、Ｋ２は予め設定される係数である。
【００７３】
そして、Ｓ４１４に移行し、死角距離Ｌｒが死角判断距離しきい値ＴＨＤより大きいか否かが判断される。死角距離Ｌｒが死角判断距離しきい値ＴＨＤより大きくないと判断された場合には、計測点ＰＶ−１から計測点Ｐｖまでが死角領域でないと判定される（Ｓ４１６）。一方、死角距離Ｌｒが死角判断距離しきい値ＴＨＤより大きいと判断された場合には、計測点ＰＶ−１から計測点Ｐｖまでが死角領域であると判定される（Ｓ４１８）。
【００７４】
そして、Ｓ４２０に移行し、全ての計測点について死角領域の判定が実施されたか否かが判断される。全ての計測点について死角領域の判定が実施されていない場合には、Ｓ４００に戻る。一方、全ての計測点について死角領域の判定が実施された場合には、死角領域導出処理を終了する。
【００７５】
このように、図１６の死角領域導出処理を行うことにより、路面が傾斜している場合であっても、立体物による死角領域を正確に導出することができる。
【００７６】
この死角領域導出処理によって導出された死角領域情報は、エレベータマップに記録される。この死角領域導出処理は、前方カメラ１１に対する死角領域を導出すると共に、左側方カメラ１３に対する死角領域の導出も行われる。これらの死角領域情報はそれぞれエレベータマップに記録される。
【００７７】
図１７は前方カメラ１１に対する死角領域Ｄ１１を示した図であり、図１８は左側方カメラ１３に対する死角領域Ｄ１３を示した図である。図１７、１８に示すように、前方カメラ１１に対する死角領域Ｄ１１と左側方カメラ１３に対する死角領域Ｄ１３は、前方カメラ１１と左側方カメラ１３の設置位置が異なることから、異なる領域となっている。
【００７８】
図１９〜２４は、死角領域の補間処理の説明図である。
【００７９】
死角領域の補間処理として、まず、前方カメラ１１の死角領域Ｄ１１及び左側方カメラ１３の死角領域Ｄ１３を用いて、前方カメラ１１に対し死角領域であって左側方カメラ１３に対して非死角領域である領域の抽出が行われる。図１９に示すように、前方カメラ１１の死角領域Ｄ１１において死角領域Ｄ１３と重複する領域Ｄｘを除いた領域が、前方カメラ１１に対し死角領域であって左側方カメラ１３に対し非死角領域である領域となる。
【００８０】
そして、エレベーションマップを参照し、前方カメラ１１の死角領域に相当する左側方カメラ１３の画像における画素位置が求められる。例えば、図２０に示すエレベーションマップ２１において前方カメラ１１の死角領域Ｄ１１内にあり三次元情報を持たない画素ｐ０が図２１の左側方カメラ１３の画像においてどの位置に対応しているかに基づいて、前方カメラ１１の死角領域に相当する左側方カメラ１３の画像における画素位置が求められる。左側方カメラ１３の画像としては、例えば仮想視点画像ＩＬＦが用いられる。
【００８１】
そして、図２２に示すように、左側方カメラ１３の画像において、前方カメラ１１の死角領域Ｄ１１のラベリングが行われる。また、死角領域Ｄ１１の周辺領域Ｓが抽出される。そして、図２３に示すように、周辺領域Ｓに隣接し死角領域Ｄ１１を含まない小領域Ｒ、Ｒの縦ライン上下ペアが設定される。小領域Ｒとしては、例えば５×５画素の領域が設定される。また、小領域Ｒは、矩形状のものでもよいし、周辺領域Ｓのエッジ等の形に添って柔軟に変動する形であってもよい。
【００８２】
そして、小領域Ｒ、Ｒに挟まれる死角部分領域Ｑが最小二乗法やHough変換などにより平面近似される。その平面近似により得られた三次元座標値は、図２４に示すエレベーションマップ２１に記録される。
【００８３】
なお、死角部分領域Ｑの平面近似処理に先立って、死角部分領域Ｑについて死角調査処理を行うことが好ましい。例えば、図２３の画像において、死角部分領域Ｑに大きく輝度変化する部分があるか否かを調査し、大きく輝度変化がある場合には死角部分領域Ｑが連続的に繋がっていないので平面近似すべきでないと判断され、その領域については死角部として記録される。この調査方法としては、例えば画像ＩＬＦからSobelフィルタ等により輝度変化量が導出され、死角部分領域Ｑに輝度変化が所定のしきい値以上の部分が存在する密度が調べられ、そのしきい値以上の輝度変化の大きい領域が存在する場合には補間処理が行われずに死角フラグが記録される。また、周辺領域Ｓとその周辺部分の輝度分布を調べ、それらの領域に所定のしきい値以上の分布幅がある場合に、死角フラグを記録するようにしてもよい。
【００８４】
そして、小領域Ｒ、Ｒの設定位置を死角領域Ｄ１１が延びる方向へ移動させ、上述した平面近似の処理が行われ、死角領域Ｄ１１の全ての範囲が網羅されるまで繰り返される。
【００８５】
このような補間処理は、同様にして左側方カメラ１３の死角領域Ｄ１３に対しても行われる。この補間処理によれば、監視領域における死角領域を減らすことができる。
【００８６】
図２５は、補間処理の結果を示す図である。図２５（ａ）は補間処理前の死角領域を表したものであり、図２５（ｂ）は補間処理後の死角領域を表したものである。図２５（ａ）に示す補間処理前では、前方カメラ１１の死角領域Ｄ１１及び左側方カメラ１３の死角領域Ｄ１３が大きく存在する。これに対し、図２５（ｂ）に示す補間処理後には、死角領域Ｄ１１と死角領域Ｄ１３が重複する死角領域Ｄｘのみが存在するのみであり、監視領域の死角領域が低減している。これにより、前方カメラ１１の撮像領域ａＦと左側方カメラ１３の撮像領域ａＬとの重複領域ａＬＦにおいて、より正確に立体物の三次元座標値などの三次元情報を取得することができる。従って、監視領域の俯瞰図作成に用いられる立体物の平面図をより正確に作成することができる。
【００８７】
図５のＳ３０４のエレベーションマップの作成処理及び死角補間処理を終えたら、立体物のトラッキング処理が行われる（Ｓ３０６）。トラッキング処理は、前方カメラ１１の撮像領域ａＦと左側方カメラ１３の撮像領域ａＬとの重複領域ａＬＦ内で検出された立体物を追跡する処理である。例えば、車両が前方に走行した場合、立体物が車両に対し相対的に後方へ移動し、重複領域ａＬＦの外部にまで移動する。その際、立体物が重複領域ａＬＦの内にある時に取得した立体物の三次元情報を利用することにより、精度よく立体物の追跡が行える。
【００８８】
このトラッキング処理としては、まずＳ３０４にて作成したエレベーションマップを利用して重複領域ａＬＦ内にある立体物で設定しきい値以上の高さの立体物及び設定しきい値以下の窪み部分にラベリングが施され、それぞれ固有のＩＤ番号が付加される。例えば、図２６に示すように、重複領域ａＬＦ内で検出した立体物２２に対しＩＤ＝ｉのごとく固有のＩＤ番号が付加される。そして、次のタイミングで取得した画像により導出したエレベータマップ情報やその画像情報を用いて同じ立体物２２がトラッキングされる。次のタイミングで取得した画像としては、例えば次のフレーム画像が用いられる。またトラッキングの手法としては、例えばオプティカルフローなどの画像処理技術を用いればよい。このトラッキング処理において、図２７に示すように、新たな立体物２２ａが出現した場合には、新たな固有のＩＤ番号、例えばＩＤ＝ｉ＋１が付加され、トラッキングの対象とされる。
【００８９】
そして、図５のＳ３０８に移行し、立体物情報の記録更新処理が行われる。この記録更新処理は、重複領域ａＬＦ内にある立体物の情報を記録し更新する処理である。この処理において、立体物の情報として、例えば立体物を撮像した前方カメラ１１の撮像画像情報、立体物の位置情報、立体物に対するカメラからの視線方向情報の記録及び更新が行われる。前方カメラ１１の撮像画像情報は、画像テンプレートとして記録され更新される。この場合、この画像テンプレートは、立体物の特徴情報として記録される。立体物の画像テンプレートは、立体物全体の画像でもよいし、立体物を部分的に分割した画像であってもよい。また、立体物の画像テンプレートに代えて、立体物のエッジ情報や輝度パターン情報などを立体物の特徴情報として記録し更新してもよい。なお、その際、立体物の特徴情報がない場合や特徴情報が取得できない場合には、NULLが記録される。
【００９０】
立体物の位置情報は、立体物の三次元座標情報に基づいて記録更新が行われる。立体物の視線方向情報は、例えば、カメラに対する立体物の相対的な位置情報に基づいて視線方向ベクトルとして記録され更新される。
【００９１】
そして、Ｓ３１０に移行し、境界フラグの記録処理が行われる。境界フラグの記録処理は、立体物が重複領域ａＬＦの外縁部分の境界位置まで移動した場合にその立体物の情報として境界フラグを記録する処理である。例えば、図２８に示すように、車両が前方へ移動する場合、立体物２２は、相対的に監視領域の後方へ移動する。そして、立体物２２が重複領域ａＬＦの外縁部分の境界位置まで移動した場合には、立体物２２の情報として境界フラグがセットされる。
【００９２】
これにより、立体物２２が重複領域ａＬＦの内部から外部で出てきたものであることが認識できる。また、この境界フラグがセットされることにより、左側方カメラ１３の撮像画像によるトラッキング処理及びモーションベースステレオ処理の準備及びトリガをかけることができる。図５のＳ３１０の境界フラグの記録処理において、立体物が重複領域ａＬＦの外縁部分の境界位置まで移動していない場合には境界フラグの記録を行うことなく、制御処理を終了する。
【００９３】
ところで、Ｓ３００にて、重複領域外へ立体物が移動したと判断された場合には、トラッキング処理が行われる（Ｓ３１２）。このトラッキング処理は、先に取得した立体物の特徴情報と左側方カメラ１３により撮像された立体物の撮像画像に基づいて立体物を追跡する処理である。
【００９４】
例えば、立体物２２が重複領域ａＬＦ内に存在していた際の前方カメラ１１の撮像画像情報とその際の前方カメラ１１からの視線方向情報を用いて、立体物２２のトラッキングが行われる。前方カメラ１１の撮像画像情報としては、Ｓ３０８で取得した立体物２２の画像テンプレートが用いられる。また前方カメラ１１からの視線方向情報としては、画像テンプレートとともに記録される立体物２２の位置情報に基づいて演算される視線方向ベクトルが用いられる。
【００９５】
具体的な処理内容としては、図２９に示すように、時刻Ｔｎ＋１に立体物２２のトラッキング処理を行う場合、まず一つ前の情報、すなわち時刻Ｔｎにおける立体物２２の左側方カメラ１３からの相対位置ＰＬｔｎ１（ＸＬｔｎ１、ＹＬｔｎ１、ＺＬｔｎ１）から視線方向単位ベクトルＧＬｎが求められる。この視線方向単位ベクトルＧＬｎは、ＰＬｔｎ１／｜ＰＬｔｎ１｜を演算することにより求めればよい。
【００９６】
そして、過去の時刻Ｔ１〜Ｔｎ−１における同一ＩＤ番号の立体物２２の前方カメラ１１からの相対位置情報に基づいて、上記と同様な手法により視線方向単位ベクトルＧＬＦ１〜ＧＬＦｎ−１が求められる。そして、視線方向単位ベクトルＧＬＦ１〜ＧＬＦｎ−１のうちＧＬｎに最も近い視線方向ベクトルが求められる。ＧＬｎに最も近い視線方向ベクトルの算出手法としては、例えば次の式により、Ｊｉを求め、Ｊｉが１に最も近い視線方向ベクトルをＧＬｎに最も近い視線方向ベクトルとすればよい。
【００９７】
Ｊｉ＝ＧＬｎ・ＧＦｉ／｜ＧＬｎ｜・｜ＧＦｉ｜
【００９８】
そして、ＧＬｎに最も近い視線方向ベクトルを求めたら、その視線方向ベクトルの位置情報を取得した時刻から設定範囲内の時刻における前方カメラ１１の画像テンプレートを用いて、時刻Ｔｎ＋１の左側方カメラ１３の画像内で最も相関値の高い点が探索される。
【００９９】
そして、その最も相関値の高い位置が立体物２２の画像内における位置であると判断され、その位置情報が画像処理部２に記録される。
【０１００】
なお、画像内探索範囲は、時刻Ｔｎ＋１と時刻Ｔｎの左側方カメラ１３の画像から求めたオプティカルフローを利用して予測された位置周辺に限定してもよい。この場合、探索範囲が狭まるため、探索処理が迅速に行える。また、前方カメラ１１から立体物２２までの距離と左側方カメラ１３から立体物２２までの距離との比に基づいて前方カメラ１の画像テンプレートサイズを変更することが好ましい。これにより、探索処理を精度よく行うことができる。
【０１０１】
次の時刻Ｔｎ＋２においても、上述した時刻Ｔｎ＋１の場合と同様の処理により、過去の同一ＩＤの立体物の位置情報から視線方向情報が算出され、最も視線方向が近似する画像テンプレートを用いて立体物の位置が探索され立体物の追跡が行われる。
【０１０２】
また、上述したトラッキング処理では、左側方カメラ１３から立体物２２への視線方向に対し最も近い視線方向で前方カメラ１１に撮像された立体物２２の画像テンプレートを用いて立体物２２の位置を探索しているが、左側方カメラ１３から立体物２２への視線方向に対し所定の方向差の視線方向で前方カメラ１１に撮像された立体物２２の複数の画像テンプレートを用いて立体物２２の位置を探索してもよい。例えば、複数の画像テンプレートについてそれぞれ左側方カメラ１３の撮像画像に対し相関値の高い位置を探索し、それらの位置のうち最も相関値の高い位置を立体物２２の位置としてもよい。
【０１０３】
そして、図５のＳ３１４に移行し、三次元情報導出処理が行われる。三次元情報導出処理は、左側方カメラ１３の撮像画像を用いモーションベースステレオ法によって立体物の三次元情報を導出する処理である。例えば、時刻Ｔｎ＋１において立体物２２の三次元情報を導出する場合、時刻Ｔｎ＋１における立体物２２の撮像画像内の位置、時刻Ｔｎにおける立体物２２の撮像画像内の位置、時刻Ｔｎと時刻Ｔｎ＋１の時間差及び車両の速度に基づき時刻Ｔｎ＋１、Ｔｎの撮像画像を用いてモーションベースステレオ技術によって立体物２２の三次元位置が導出される。
【０１０４】
このとき、前方カメラ１１と左側方カメラ１３の重複領域に立体物２２があるときに作成したエレベーションマップを用い、そのエレベーションマップ上の立体物２２の移動軌跡の延長線上にあると仮定して、時刻Ｔｎ＋１の左側方カメラ１３の撮像画像内の立体物２２の位置との交点から時刻Ｔｎ＋１の立体物２２の三次元位置を推定してもよい。この手法により立体物２２の三次元位置を推定することにより、モーションベースステレオの処理を省略することができる。
【０１０５】
また、このエレベーションマップにおける立体物２２の移動軌跡データとモーションベースステレオによって導出される位置データを併用して立体物２２の三次元位置の導出精度を向上させてよい。例えば、一方の手法により導出した位置データを他方の手法により導出した位置データで確認することにより、立体物２２の一データの信頼性を高めることができる。また、両者の手法により導出した位置データの平均を採ることにより、立体物２２の位置データを求めてもよい。
【０１０６】
そして、Ｓ３１６に移行し、エレベーションマップ作成処理が行われる。このエレベーションマップ作成処理は、重複領域ａＬＦを除いた撮影領域ａＬのエレベーションマップを作成する処理である。例えば、Ｓ３１４で導出した三次元位置に基づき立体物２２の位置が設定され、立体物２２が重複領域ａＬＦを内に存在していた時に取得したデータを用いて立体物２２の高さなどの三次元情報や輝度情報が設定される。これにより、重複領域ａＬＦを除いた撮影領域ａＬのエレベーションマップが作成される。
【０１０７】
なお、立体物２２などに三次元情報がない部分については、三次元情報がある近隣領域から線形補間等の技術を用いて補間することが好ましい。
【０１０８】
また、Ｓ３１２におけるトラッキング処理は、前方カメラ１１の画像テンプレートが試用できる範囲は、立体物２２が左側方カメラ１３の真横位置にあるときまである。このため、立体物２２が左側方カメラ１３の真横位置より後方へ移動した場合には、時系列画像を利用したオプティカルフローによるモーションベースステレオ法を用いてトラッキング処理及び三次元情報導出処理を行って、エレベーションマップを作成すればよい。
【０１０９】
そして、Ｓ３１８に移行し、連携処理が行われる。連携処理は、立体物が左側方カメラ１３の単独の撮像領域ａＬ（重複領域ａＬＦ及び重複領域ａＬＢを除く撮像領域ａＬ）から重複領域ａＬＢに入った際の連携を採る処理である。例えば、立体物２２が左側方カメラ１３の単独の撮像領域ａＬにある場合の左側方カメラ１３の撮像画像を画像テンプレートとして予め記録しておき、立体物２２が後方カメラ１４の撮像領域ａＢに入った場合に左側方カメラ１３の画像テンプレートを用いることにより、後方カメラ１４と左側方カメラ１３とのステレオ視による三次元導出結果の精度を高めることが可能となる。また、左側方カメラ１３から遠くなりすぎて左側方カメラ１３からは立体物２２が追跡できない距離でも、後方カメラ１４の撮像画像と左側方カメラ１３の画像テンプレートを用いて追跡処理が行える。
【０１１０】
そして、Ｓ３２０に移行し、削除処理が行われる。削除処理は、立体物などの画像テンプレートや位置情報などを削除する処理である。例えば、立体物２２が前方カメラ１１の視野から離れた場合、不要な画像テンプレートや位置情報のデータが削除される。
【０１１１】
そして、この削除処理を終えたら、図５に示す前方カメラ画像と左側方カメラ画像における画像処理を終了する。
【０１１２】
図４のＳ４０における前方カメラ画像と右側方カメラ画像における画像処理は、上述した前方カメラ画像と左側方カメラ画像における画像処理と同様に行われる。すなわち、左側方カメラ画像を右側方カメラ画像に置き換えて処理することにより、前方カメラ画像と左側方カメラ画像における画像処理と同様に実行することができる。
【０１１３】
また、図４のＳ６０における後方カメラ画像と左側方カメラ画像における画像処理は、上述した前方カメラ画像と左側方カメラ画像における画像処理と同様に行われる。すなわち、前方カメラ画像を後方カメラ画像に置き換えて処理することにより、前方カメラ画像と左側方カメラ画像における画像処理と同様に実行することができる。
【０１１４】
さらに、図４のＳ７０における後方カメラ画像と右側方カメラ画像における画像処理は、上述した前方カメラ画像と左側方カメラ画像における画像処理と同様に行われる。すなわち、前方カメラ画像を後方カメラ画像に置き換え、かつ左側方カメラ画像を右側方カメラ画像に置き換えて処理することにより、前方カメラ画像と左側方カメラ画像における画像処理と同様に実行することができる。
【０１１５】
以上のように、本実施形態に係る周辺監視装置によれば、先に立体物を撮像したカメラの撮像画像から立体物の画像テンプレートなどの特徴情報を取得しつつ、その物体の特徴情報を取得した際のカメラから物体に対する第一視線方向を取得することにより、立体物の撮像される領域が撮像領域の重複領域から他のカメラの単独撮像領域に相対移動した際に、他のカメラから立体物への視線方向に近い第一視線方向で撮像された物体の特徴情報及び他のカメラにより撮像された立体物の撮像画像に基づいて物体を追跡する。これにより、他のカメラの撮像画像内の物体の位置を精度よく追跡することができる。
【０１１６】
また、本実施形態に係る周辺監視装置によれば、重複した撮像領域を有する二つのカメラの撮像画像に基づくステレオ視によって重複領域に存在する立体物の三次元情報を取得し、トラッキング処理による追跡結果とステレオ視により予め取得された三次元情報に基づいてカメラの単独撮像領域に存在する物体の三次元情報を取得することにより、ステレオ視により立体物の三次元情報が取得困難な単独撮像領域に物体が存在している場合であっても、立体物の三次元情報を確実に取得することができる。
【０１１７】
また、本実施形態に係る周辺監視装置によれば、二つのカメラのいずれかが撮像できず立体物の三次元情報が得られない死角領域を特定し、その死角領域のうちいずれかのカメラにより撮像可能な領域であって輝度が連続的に変化している場合に死角領域の周辺領域の三次元情報に基づいて死角領域を補間する。これにより、死角領域を低減してステレオ視で得られない三次元情報を補間することができる。
【０１１８】
また、本実施形態に係る周辺監視装置によれば、二つのカメラの撮像画像に基づくステレオ視により立体物の三次元情報を取得する際に、先に取得された立体物の三次元情報を参照することにより、ステレオ視による物体の三次元情報の導出が精度よく行える。
【０１１９】
また、本実施形態に係る周辺監視装置によれば、各カメラが移動体である車両３に設置され車両３の周囲を撮像し、その撮影画像に基づいて車両３に対する立体物の相対位置座標値を取得することにより、車両３が移動して立体物が撮像領域の重複領域から外れた場合でも立体物相対的な位置を容易に把握することができる。
【０１２０】
また、車両周囲の立体物の相対位置座標値及び三次元座標値に基づいて車両周囲の俯瞰図を作成することにより、立体物を正確な位置に表示でき、立体物の歪みの少ない俯瞰図を作成することができる。
【０１２１】
さらに、本実施形態に係る周辺監視装置によれば、立体物の相対位置座標値に基づいて車両３と立体物が接触するか否かを判断し、車両３が立体物に接触すると判断した場合にその接触を回避させる。これにより、カメラの撮像領域が重複する重複領域以外の領域に立体物が存在する場合でも、その立体物の相対位置に基づいて的確に車両３の接触回避が行える。
【０１２２】
なお、上述した実施形態は本発明に係る周辺監視装置の一例を示すものである。本発明に係る周辺監視装置は、これらの実施形態に係る周辺監視装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る周辺監視装置を変形し、又は他のものに適用したものであってもよい。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施形態に係る周辺監視装置の構成概要を示すブロック図である。
【図２】図１の周辺監視装置におけるカメラの配置とカメラの撮像領域を示す平面図である。
【図３】図１の周辺監視装置におけるカメラで得られる画像の一例を示す図である。
【図４】図１の周辺監視装置の動作を示すフローチャートである。
【図５】図１の周辺監視装置の前方カメラ画像と左側方カメラ画像における画像処理を示すフローチャートである。
【図６】図１の周辺監視装置の画像処理範囲の設定についての説明図である。
【図７】図１の周辺監視装置における仮想視点画像の生成についての説明図である。
【図８】撮像画像に基づいて生成した仮想視点画像を示した図である。
【図９】図１の周辺監視装置における仮想視点画像の生成についての説明図である。
【図１０】エピポーラ極線を説明する図である。
【図１１】ステレオ視による空間位置算出原理を説明する図である。
【図１２】センサ座標系から車両座標系への変換を説明する図である。
【図１３】エレベーションマップの説明図である。
【図１４】図１の周辺監視装置における死角領域の導出処理の説明図である。
【図１５】図１の周辺監視装置における死角領域の導出処理の説明図である。
【図１６】図１の周辺監視装置における死角導出処理を示すフローチャートである。
【図１７】立体物による死角領域の説明図である。
【図１８】立体物による死角領域の説明図である。
【図１９】図１の周辺監視装置における死角領域の補間処理の説明図である。
【図２０】図１の周辺監視装置における死角領域の補間処理の説明図である。
【図２１】図１の周辺監視装置における死角領域の補間処理の説明図である。
【図２２】図１の周辺監視装置における死角領域の補間処理の説明図である。
【図２３】図１の周辺監視装置における死角領域の補間処理の説明図である。
【図２４】図１の周辺監視装置における死角領域の補間処理の説明図である。
【図２５】図１の周辺監視装置における死角領域の補間処理結果の説明図である。
【図２６】図１の周辺監視装置におけるトラッキング処理の説明図である。
【図２７】図１の周辺監視装置におけるトラッキング処理の説明図である。
【図２８】図１の周辺監視装置における境界フラグ記録処理の説明図である。
【図２９】図１の周辺監視装置におけるトラッキング処理の説明図である。
【符号の説明】
【０１２４】
１…周辺監視装置、２…画像処理部、１１…前方カメラ、１２…右側方カメラ、１３…左側方カメラ、１４…後方カメラ、２２…立体物、３０…出力部。
【図１】
2008092459.tif 000005
【図２】
2008092459.tif 000006
【図３】
2008092459.tif 000007
【図４】
2008092459.tif 000008
【図５】
2008092459.tif 000009
【図６】
2008092459.tif 000010
【図７】
2008092459.tif 000011
【図８】
2008092459.tif 000012
【図９】
2008092459.tif 000013
【図１０】
2008092459.tif 000014
【図１１】
2008092459.tif 000015
【図１２】
2008092459.tif 000016
【図１３】
2008092459.tif 000017
【図１４】
2008092459.tif 000018
【図１５】
2008092459.tif 000019
【図１６】
2008092459.tif 000020
【図１７】
2008092459.tif 000021
【図１８】
2008092459.tif 000022
【図１９】
2008092459.tif 000023
【図２０】
2008092459.tif 000024
【図２１】
2008092459.tif 000025
【図２２】
2008092459.tif 000026
【図２３】
2008092459.tif 000027
【図２４】
2008092459.tif 000028
【図２５】
2008092459.tif 000029
【図２６】
2008092459.tif 000030
【図２７】
2008092459.tif 000031
【図２８】
2008092459.tif 000032
【図２９】
2008092459.tif 000033