(57)【要約】      （修正有）【課題】死角領域に位置した立体物を容易に認識できるようにした車両周辺の画像を利用した立体物検出装置及び方法を提供する。【解決手段】車両の前、後、左、右側に備えられたカメラの数学的モデルを利用して生成された仮想カメラを介し車両の前、後、左、右側に対する画像を取得する画像取得部と、車両の前、後、左、右側に対する画像のトップビュー画像を一つの画像に合成した合成画像を生成する画像合成部と、合成画像で車両の前、後、左、右側に対するトップビュー画像等の間の境界領域を分析し、各境界領域で車両の前、後、左、右側に対するトップビュー画像等の境界パターンを抽出する境界パターン抽出部と、車両の前、後、左、右側に対するトップビュー画像等の境界パターンを比較し、境界領域で隣接画像の間の相関度を分析する相関度分析部と、各境界領域で隣接画像の間の相関度に従い各境界領域に位置した立体物を検出する立体物検出部とを含む。【選択図】図２
2014016978.tif 000002
【特許請求の範囲】
【請求項１】
車両の前、後、左、右側に備えられたカメラの数学的モデルを利用して生成された仮想カメラを介し前記車両の前、後、左、右側に対する画像を取得する画像取得部と、
前記画像取得部により取得された前記車両の前、後、左、右側に対する画像のトップビュー画像を一つの画像に合成した合成画像を生成する画像合成部と、
前記合成画像で前記車両の前、後、左、右側に対するトップビュー画像等の間の境界領域を分析し、各境界領域で前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを抽出する境界パターン抽出部と、
前記境界パターン抽出部から抽出された前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを比較し、前記各境界領域で隣接画像の間の相関度を分析する相関度分析部と、
前記各境界領域で前記隣接画像の間の相関度に従い前記各境界領域に位置した立体物を検出する立体物検出部と、
を含むことを特徴とする車両周辺の画像を利用した立体物検出装置。
【請求項２】
前記境界パターンは、
前記各境界領域で車両の前、後、左、右側のトップビュー画像等に対するピクセル又はブロック単位の明暗、色相及び特性値のうち少なくとも一つを含むことを特徴とする請求項１に記載の車両周辺の画像を利用した立体物検出装置。
【請求項３】
前記相関度分析部は、
前記各境界領域で前記隣接画像の間に前記境界パターンの差が小さいほど相関度が高く、前記境界パターンの差が大きいほど相関度が低いと分析することを特徴とする請求項１に記載の車両周辺の画像を利用した立体物検出装置。
【請求項４】
前記立体物検出部は、
前記相関度分析部の分析結果、前記隣接画像の間の相関度が低い境界領域から立体物を検出することを特徴とする請求項１に記載の車両周辺の画像を利用した立体物検出装置。
【請求項５】
車両の前、後、左、右側に備えられたカメラの数学的モデルを利用して生成された仮想カメラを介し前記車両の前、後、左、右側に対する画像を取得するステップと、
前記画像を取得するステップにより取得された前記車両の前、後、左、右側に対する画像のトップビュー画像を一つの画像に合成した合成画像を生成するステップと、
前記合成画像で前記車両の前、後、左、右側に対するトップビュー画像等の間の境界領域を分析し、各境界領域から前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを抽出するステップと、
前記境界パターンを抽出するステップから抽出された前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを比較し、前記各境界領域で隣接画像の間の相関度を分析するステップと、
前記各境界領域で前記隣接画像の間の相関度に従い前記各境界領域に位置した立体物を検出するステップと
を含むことを特徴とする車両周辺の画像を利用した立体物検出方法。
【請求項６】
前記境界パターンは、
前記各境界領域で車両の前、後、左、右側のトップビュー画像等に対するピクセル又はブロック単位の明暗、色相及び特性値のうち少なくとも一つを含むことを特徴とする請求項５に記載の車両周辺の画像を利用した立体物検出方法。
【請求項７】
前記相関度を分析するステップは、
前記各境界領域で前記隣接画像の間に前記境界パターンの差が小さいほど相関度が高く、前記境界パターンの差が大きいほど相関度が低いと分析することを特徴とする請求項５に記載の車両周辺の画像を利用した立体物検出方法。
【請求項８】
前記立体物を検出するステップは、
前記相関度を分析するステップの分析結果、前記隣接画像の間の相関度が低い境界領域から立体物を検出することを特徴とする請求項５に記載の車両周辺の画像を利用した立体物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の画像を利用した立体物検出装置及び方法に係り、車両の前、後、左、右側のトップビュー画像間の境界パターンの相関度を分析し、当該境界領域に位置した立体物を検出する車両周辺の画像を利用した立体物検出装置及び方法に関する。
【背景技術】
【０００２】
アラウンド・ビュー・モニタリング（ＡＶＭ、Ａｒｏｕｎｄ  Ｖｉｅｗ  Ｍｏｎｉｔｏｒｉｎｇ）システムは、車両の前、後、左、右側に備えられたカメラを介し撮影された画像のビューを変換して１つの画像に表示するシステムである。したがって、運転者はアラウンド・ビュー・モニタリング・システムを介し車両周辺の状況を一目で把握することができる。
しかし、アラウンド・ビュー・モニタリング・システムは前、後、左、右側のカメラを介しそれぞれ取得した画像を合成した合成画像を提供するため、各カメラの画角の差により、合成画像で各画像間の境界領域には死角領域が発生する。
【０００３】
死角領域に立体物が存在する場合、合成画像には立体物が表れないか、何れか一方の画像にのみ表れることがある。立体物が何れか一方の画像にのみ表れる場合、運転者は合成画像に立体物の形態が明らかに表れる前には立体物の把握が困難な問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１７４１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、車両の前、後、左、右側のトップビュー画像を合成した合成画像で、トップビュー画像等の間の境界領域から抽出された隣接画像間の境界パターンを比べて相関度を分析することにより、合成画像で各境界領域に位置した立体物を検出させる車両周辺の画像を利用した立体物検出装置及び方法を提供することである。
さらに、本発明の他の目的は、合成画像の各境界領域に位置した立体物を検出して出力することにより、運転者が死角領域に位置した立体物を容易に認識できるようにした車両周辺の画像を利用した立体物検出装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る車両周辺の画像を利用した立体物検出装置は、車両の前、後、左、右側に備えられたカメラの数学的モデルを利用して生成された仮想カメラを介し前記車両の前、後、左、右側に対する画像を取得する画像取得部と、前記画像取得部により取得された前記車両の前、後、左、右側に対する画像のトップビュー画像を一つの画像に合成した合成画像を生成する画像合成部と、前記合成画像で前記車両の前、後、左、右側に対するトップビュー画像等の間の境界領域を分析し、各境界領域で前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを抽出する境界パターン抽出部と、前記境界パターン抽出部から抽出された前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを比較し、前記各境界領域で隣接画像の間の相関度を分析する相関度分析部と、前記各境界領域で前記隣接画像の間の相関度に従い前記各境界領域に位置した立体物を検出する立体物検出部と、を含むことを特徴とする。
【０００７】
前記境界パターンは、前記各境界領域で前記車両の前、後、左、右側に対するトップビュー画像等の明暗、色相及び特性値のうち少なくとも一つを含むことを特徴とする。
【０００８】
前記相関度分析部は、前記各境界領域で前記隣接画像の間に前記境界パターンの差が小さいほど相関度が高く、前記境界パターンの差が大きいほど相関度が低いと分析することを特徴とする。
【０００９】
前記立体物検出部は、前記相関度分析部の分析結果、前記隣接画像の間の相関度が低い境界領域から立体物を検出することを特徴とする。
【００１０】
また、本発明に係る車両周辺の画像を利用した立体物検出方法は、車両の前、後、左、右側に備えられたカメラの数学的モデルを利用して生成された仮想カメラを介し前記車両の前、後、左、右側に対する画像を取得するステップと、前記画像を取得するステップにより取得された前記車両の前、後、左、右側に対する画像のトップビュー画像を一つの画像に合成した合成画像を生成するステップと、前記合成画像で前記車両の前、後、左、右側に対するトップビュー画像等の間の境界領域を分析し、各境界領域から前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを抽出するステップと、前記境界パターンを抽出するステップから抽出された前記車両の前、後、左、右側に対するトップビュー画像等の境界パターンを比較し、前記各境界領域で隣接画像の間の相関度を分析するステップと、前記各境界領域で前記隣接画像の間の相関度に従い前記各境界領域に位置した立体物を検出するステップと、を含むことを特徴とする。
【００１１】
前記境界パターンは、前記各境界領域で前記車両の前、後、左、右側に対するトップビュー画像等の明暗、色相及び特性値特性値のうち少なくとも一つを含むことを特徴とする。
【００１２】
前記相関度を分析するステップは、前記各境界領域で前記隣接画像の間に前記境界パターンの差が小さいほど相関度が高く、前記境界パターンの差が大きいほど相関度が低いと分析することを特徴とする。
【００１３】
前記立体物を検出するステップは、前記相関度を分析するステップの分析結果、前記隣接画像の間の相関度が低い境界領域から立体物を検出することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、車両の前、後、左、右側のトップビュー画像を合成した合成画像で、トップビュー画像等の間の境界領域から抽出された隣接画像の間の境界パターンの相関度に従い立体物を検出することにより、死角領域の立体物も容易に検出することができ、これにより運転者が死角領域に位置した立体物を把握することが容易な利点がある。
また、既存のアラウンド・ビュー・モニタリング・システムを備えた車両の場合、アラウンド・ビュー・モニター・システムを利用して立体物を検出することが可能であるため、高価のシステムに対する活用度が増大される利点がある。
このように、本発明に係る立体物検出装置は、隣接画像の間の境界パターンの相関度を分析する技法を利用して立体物を検出することにより、立体物検出のための別の装置を追加せずに立体物が検出でき、運転者も死角領域に位置した立体物を容易に把握できるる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係るアラウンド・ビュー・モニタリング・システムの画像を獲得する動作を説明する図である。
【図２】本発明に係る車両周辺の画像を利用した立体物検出装置の構成を示すブロック図である。
【図３】本発明に係る車両周辺の画像を利用した立体物検出装置における画像合成動作を説明する図である。
【図４】本発明に係る車両周辺の画像を利用した立体物検出装置における立体物検出動作を説明する図である。
【図５】本発明に係る車両周辺の画像を利用した立体物検出装置における立体物検出動作を説明する図である。
【図６】本発明に係る車両周辺の画像を利用した立体物検出装置における立体物検出動作を説明する図である。
【図７】本発明に係る車両周辺の画像を利用した立体物検出装置における立体物検出動作を説明する図である。
【図８】本発明に係る車両周辺の画像を利用した立体物検出方法の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態を詳細に説明する。
図１は、本発明に係るアラウンド・ビュー・モニタリング・システムの画像を獲得する動作を説明する図である。
図１に示す通り、本発明に係る車両周辺の画像を利用した立体物検出装置（以下、「立体物検出装置」と称する）は、アラウンド・ビュー・モニタリング（Ａｒｏｕｎｄ  Ｖｉｅｗ  Ｍｏｎｉｔｏｒｉｎｇ、以下、「ＡＶＭ」と称する）システムに利用される画像を利用して車両周辺の立体物を検出する。
ここで、ＡＶＭシステムは車両外部にカメラを備え、当該カメラを介して撮影された画像を介し車両周辺の状況をモニターするシステムである。
【００１７】
ＡＶＭシステムは、車両の前、後、左、右側にそれぞれカメラ１１、１２、１３、１４を備え、車両の前、後、左、右側に備えられたそれぞれのカメラ１１、１２、１３、１４を介し車両の前方領域（Ｒ１）、後方領域（Ｒ２）、左側領域（Ｒ３）及び右側領域（Ｒ４）を撮影した画像を合成してトップビュー（ｔｏｐ  ｖｉｅｗ）形態に変換し、トップビュー画像を画面を介し表示させる。したがって、運転者はＡＶＭシステムを介し提供されるトップビュー画像をモニターして車両周辺の状況を把握することになる。
本発明に係る立体物検出装置では、ＡＶＭシステムに適用されるそれぞれのカメラを利用し、各カメラを介し獲得された画像の境界領域のパターンを分析して車両周辺に位置した縁石などの立体物の検出を図る。以下、本発明に係る立体物検出装置の具体的な構成について説明する。
図２は、本発明に係る車両周辺の画像を利用した立体物検出装置の構成を示すブロック図である。
【００１８】
図２に示す通り、本発明に係る立体物検出装置は制御部１１０、格納部１２０、画像取得部１３０、ビュー変換部１４０、画像合成部１５０、境界パターン抽出部１６０、相関度分析部１７０、立体物検出部１８０及び出力部１９０を含む。ここで、制御部１１０は立体物検出装置の各部の動作を制御する。
格納部１２０には、立体物検出装置の立体物検出動作のための設定値が格納される。さらに、格納部１２０にはカメラを介し撮影された画像、合成画像及び各画像等から抽出されたデータなどが格納されるほか、各画像等の分析結果として検出された立体物情報が格納される。
【００１９】
画像取得部１３０は、車両外部に備えられた複数のカメラから撮影された画像を取得する。
ここで、車両外部に備えられた複数のカメラは車両の前、後、左、右側に備えられた第１カメラ１１、第２カメラ１２、第３カメラ１３及び第４カメラ１４を含む。説明の便宜のため、複数のカメラは車両の前、後、左、右側にそれぞれ一つずつ備えられたことにして説明するが、この外にもカメラがさらに備えられてもよい。
画像取得部１３０は第１カメラ１１、第２カメラ１２、第３カメラ１３及び第４カメラ１４を介し撮影された車両の前、後、左、右側に対する画像を取得し、制御部１１０は画像取得部１３０により取得された画像等を格納部１２０に格納させる。
【００２０】
ビュー変換部１４０は、画像取得部１３０により取得された車両の前、後、左、右側に対する画像のビューを変換する。このとき、ビュー変換部１４０は車両の前、後、左、右側に対する画像のビューをトップビューに変換したトップビュー画像を生成する。  さらに、画像合成部１５０はビュー変換部１４０からの車両の前、後、左、右側に対するトップビュー画像を一つの画像に合成した合成画像を生成する。
図２の実施形態では、立体物検出装置にビュー変換部１４０及び画像合成部１５０が別に備えられたことを例にして説明したが、実施形態によってはＡＶＭシステムから合成画像の入力を受けてもよく、この場合、ビュー変換部１４０及び画像合成部１５０は省略されてもよい。即ち、画像取得部１３０がＡＶＭシステムから車両の前、後、左、右側のトップビュー画像に対する合成画像を取得することができる。
【００２１】
一方、境界パターン抽出部１６０は車両の前、後、左、右側のトップビュー画像の合成画像から車両の前、後、左、右側のトップビュー画像等の間の境界領域を抽出して分析する。このとき、境界パターン抽出部１６０は各境界領域から車両の前、後、左、右側のトップビュー画像等の境界パターンを抽出する。
ここで、境界パターンはトップビュー画像等の間の各境界領域で車両の前、後、左、右側のトップビュー画像等のピクセル又はブロック単位の明暗、色相及び特性値のうち少なくとも一つを含む。
【００２２】
一例として、境界パターン抽出部１６０は車両の前方及び右側のトップビュー画像の間の境界領域で各トップビュー画像の明暗、色相、ピクセル値、ブロック値及び特性値のうち少なくとも一つを抽出する。同様に、境界パターン抽出部１６０は車両の後方及び右側のトップビュー画像の間の境界領域、車両の後方及び左側のトップビュー画像の間の境界領域、そして車両の前方及び左側のトップビュー画像の間の境界領域から各トップビュー画像の明暗、色相、ピクセル値、ブロック値及び特性値のうち少なくとも一つを抽出する。
【００２３】
相関度分析部１７０は、境界パターン抽出部１６０から抽出された車両の前、後、左、右側に対するトップビュー画像等の境界パターンを比較し、合成画像の各境界領域で隣接画像の間の相関度を分析する。ここで、隣接画像とは、合成画像の各境界領域で互いに対向する画像を意味する。例えば、車両の前方及び右側のトップビュー画像が対向する境界領域で前方のトップビュー画像に対する隣接画像は右側のトップビュー画像となる。
このとき、相関度分析部１７０は合成画像の各境界領域で隣接画像の間の境界パターンの差に基づき、当該境界領域で隣接画像の間の相関度を分析する。さらに詳しくは、相関度分析部１７０は各境界領域で隣接画像の間に境界パターンの差が小さいほど相関度が高いと分析し、境界パターンの差が大きいほど相関度が低い分析する。
【００２４】
立体物検出部１８０は、合成画像の各境界領域で隣接画像の間の相関度に従い各境界領域に位置した立体物を検出する。このとき、立体物検出部１８０は合成画像で隣接画像の間の相関度が低い境界領域から立体物を検出する。
一例として、立体物検出部１８０は合成画像の境界領域で隣接画像の間の明暗又は色相の差が大きければ、当該境界領域に縁石、他の車両などの立体物が位置すると判断する。
【００２５】
出力部１９０は、立体物検出部１８０から立体物が検出されたと判断された場合、立体物が検出されたことを報知するメッセージを出力する。このとき、出力部１９０は立体物の検出位置をともに出力させる。    ここで、出力部１９０はモニター、タッチスクリーン、ナビゲーションなどの表示手段であってもよく、スピーカーなどの音声出力手段であってもよい。このように、出力部１９０により出力されるメッセージはある一つの形態に限定されるものではなく、実施形態に従い多様に適用可能である。
【００２６】
図３は、本発明に係る車両周辺の画像を利用した立体物検出装置の画像合成動作を説明する図である。
図３に示す通り、本発明に係る立体物検出装置は、（ａ）のように車両の前、後、左、右側に配置されたカメラを介し撮影された画像等（Ｉ１、Ｉ２、Ｉ３  及び  Ｉ４）を取得する。このとき、立体物検出装置は、図３の（ｂ）のように車両の前、後、左、右側に配置された各カメラの数学的モデリングを介し仮想カメラを設定し、これを介し（ａ）で獲得された各画像のビューをトップビューに変換して（ｃ）のような合成画像を生成する。
【００２７】
即ち、図３の（ａ）で、車両の前方に配置されたカメラを介し撮影された画像Ｉ１は（ｃ）の合成画像のうちＩ１に該当し、（ａ）で車両の後方に配置されたカメラを介し撮影された画像Ｉ２は（ｃ）の合成画像のうちＩ２に該当する。さらに、図３の（ａ）で、車両の左側に配置されたカメラを介し撮影された画像Ｉ３は（ｃ）の合成画像のうちＩ３に該当し、（ａ）で車両の右側に配置されたカメラを介し撮影された画像Ｉ４は（ｃ）の合成画像のうちＩ４に該当する。
【００２８】
図４乃至図７は、本発明に係る車両周辺の画像を利用した立体物検出装置の立体物検出動作を説明する図である。
図４は、図３で生成された合成画像で車両の前、後、左、右側のトップビュー画像等の間の境界領域を示す図である。
図４に示す通り、図３の（ｃ）で生成された合成画像で車両の前、後、左、右側のトップビュー画像等の間の境界領域は、前方左側（ＦＬ、Ｆｒｏｎｔ−Ｌｅｆｔ）、前方右側（ＦＲ、Ｆｒｏｎｔ−Ｒｉｇｈｔ）、後方左側（ＲＬ、Ｒｅａｒ−Ｌｅｆｔ）及び後方右側（ＲＲ、Ｒｅａｒ−Ｒｉｇｈｔ）に形成される。
【００２９】
立体物検出装置は、各境界領域で隣接画像等の境界パターン、例えば、明暗、色相、ピクセル値、ブロック値及び特性値などを抽出する。ここで、立体物検出装置は各境界領域で隣接画像の間の境界線を基準に車両に近い内側方向から外側方向に境界パターンを抽出する。
一方、立体物検出装置は各境界領域の境界線を基準に隣接画像の間に対応する位置の境界パターンに対する相関度を分析し、相関度が基準値以上であれば底面と判断し、相関度が基準値未満であれば当該領域に立体物が位置すると判断する。    立体物検出装置は合成画像の各境界領域で隣接画像の間の境界線を基準に対応される位置の画像の間の境界パターン、即ち、明暗、色相及び特性値などを比較し、境界パターンが類似すれば底面と判断し、境界パターンが類似しなければ当該境界領域に立体物が位置すると判断する。
【００３０】
図５は、図４の境界領域から抽出された隣接画像の間の境界パターンの相関度を示す図である。
図５に示す通り、境界パターンの相関度は最大値を１、最小値を０とし、各境界領域で隣接画像の間の境界パターンの差に従い０と１の間の値を有する。このとき、各境界領域で立体物を検出する基準になる相関度は設定に従い変更可能であるが、図５の実施形態では、相関度０．９８を立体物を判断する基準にする。
各境界領域で隣接画像の間の境界パターンの相関度が０．９８以上であれば、相関度が高いので底面と判断し、相関度が０．９８未満であれば、相関度が低いので立体物が存在すると判断する。
【００３１】
図５に示すグラフは、横軸は境界パターンを抽出するため羅列されたブロックの羅列順（例えば、内側のブロックは１番目ブロックであり、最も外側のブロックは１００番目のブロックである）を示すものであり、縦軸は相関度を示したものである。ここで、境界パターンを抽出するため羅列されたブロックは、幅が３ピクセル（ｐｉｘｅｌ）程度であるのが好ましいが、これに限定されるものではない。
このとき、合成画像で前方左側の境界領域に対する相関度グラフは、４０番目のブロックまでは相関度が０．９８以上で高く、４０番目のブロック以降は相関度が０．９８未満で低い。この場合、立体物検出装置は車両から前方左側方向に４０番目のブロックまでは底面であり、４０番目のブロック以降は立体物が存在するものと判断する。
【００３２】
さらに、合成画像で前方右側の境界領域の相関度グラフは、２５番目のブロックまでは相関度が０．９８以上で高く、２５番目のブロック以降は相関度が０．９８未満で低い。この場合、立体物検出装置は車両から前方右側方向に２５番目のブロックまでは底面であり、２５番目のブロック以降は立体物が存在すると判断する。
一方、合成画像で後方左側の境界領域の相関度グラフは、４５番目のブロックまで、そして５５番目のブロック以降は相関度が０．９８以上で高く、４５番目のブロック以降から、即ち、４６番目のブロックから５５番目のブロックまでは相関度が０．９８未満で低い。この場合、立体物検出装置は車両から後方左側方向に４６番目のブロックから５５番目のブロックまでは立体物が存在し、その外には底面と判断する。
【００３３】
さらに、合成画像で前方左側の境界領域に対する相関度グラフは、２０番目のブロックまでは相関度が０．９８以上で高く、２０番目のブロック以降は相関度が０．９８未満で低い。この場合、立体物検出装置は車両から後方右側方向に２０番目のブロックまでは底面であり、２０番目のブロック以降は立体物が存在すると判断する。
図６及び図７は、実際車両で撮影された画像等の合成画像を示す図である。
図６に示す通り、車両の前方右側方向の境界領域と、後方右側方向の境界領域で隣接画像の間に色相の差を確認することができる。特に、Ａ１領域とＡ２領域で隣接画像の間に大きい差が見られる。
【００３４】
この場合、立体物検出装置は合成画像で前方右側の境界領域と、後方右側の境界領域との隣接画像の間の境界パターンの差と基準値を比較し、Ａ１領域とＡ２領域の隣接画像の間の相関度が低いと判断する。
したがって、立体物検出装置はＡ１領域とＡ２領域に立体物が存在すると判断し、立体物検出情報を車両の表示手段又は音声出力手段などを介し出力させる。
一方、図７に示す通り、車両の前方左側方向の境界領域と、後方左側方向の境界領域とで隣接画像の間に色相及び明暗の差を確認することができる。特に、Ｂ１領域とＢ２領域で隣接画像の間に大きい差が見られる。
【００３５】
この場合、立体物検出装置は合成画像で前方左側の境界領域と、後方左側の境界領域との隣接画像の間の境界パターンの差と基準値を比較し、Ｂ１領域とＢ２領域の隣接画像の間の相関度が低いと判断する。
したがって、立体物検出装置はＢ１領域とＢ２領域に立体物が存在すると判断し、立体物検出情報を車両の表示手段又は音声出力手段などを介し出力させる。
このように、本発明に係る立体物検出装置は、隣接画像の間の境界パターンの相関度を分析する技法を利用して立体物を検出することにより、立体物検出のための別の装置を追加せずとも立体物を検出することができ、運転者も死角領域に位置した立体物を容易に把握することができる。
【００３６】
以下に本発明に係る車両周辺の画像を利用した立体物検出装置の動作の流れをより詳しく説明する。
図８は、本発明に係る車両周辺の画像を利用した立体物検出方法に対する動作の流れを示すフローチャートである。
図８に示す通り、本発明に係る立体物検出装置は、車両の前、後、左、右側に備えられたカメラから画像を取得し（Ｓ１００）、「Ｓ１００」過程で取得された画像をトップビュー画像にビュー変換する（Ｓ１１０）。「Ｓ１１０」過程では車両の前、後、左、右側に備えられたカメラの姿勢情報に基づき数学的モデリングを介して各カメラに対応する仮想カメラを設定し、設定された仮想カメラを利用して「Ｓ１００」過程で取得された画像のビューを変換する。次いで、「Ｓ１１０」過程でビュー変換されたトップビュー画像等を一つの画像に合成する（Ｓ１２０）。
【００３７】
さらに、立体物検出装置は「Ｓ１２０」過程で生成された合成画像からそれぞれのトップビュー画像等の間の境界領域を抽出する（Ｓ１３０）。ここで、車両にＡＶＭシステムが備えられた場合、「Ｓ１１０」及び「Ｓ１２０」過程は省略されてもよく、この場合、立体物検出装置はＡＶＭシステムから提供された合成画像からトップビュー画像等の間の境界領域を抽出することができる。
一方、立体物検出装置は「Ｓ１３０」過程で抽出された境界領域に含まれた各トップビュー画像の境界パターンを抽出して比較する（Ｓ１４０）。「Ｓ１４０」過程は各境界領域でトップビュー画像等の明暗、色相及び特徴点などをピクセル又はブロック単位で抽出し、各境界領域で隣接するトップビュー画像等の明暗、色相及び特徴点などを比較する。
【００３８】
立体物検出装置は、「Ｓ１４０」過程の比較結果に基づき各境界領域で隣接するトップビュー画像等の間の相関度を分析する（Ｓ１５０）。
一例として、立体物検出装置は特定の境界領域で隣接するトップビュー画像等の明暗を比較し、隣接するトップビュー画像等の間の明暗の差に従い相関度を分析する。ここで、隣接するトップビュー画像等の間の明暗の差が小さければ相関度が大きく、明暗の差が大きければ相関度が低い分析する。
「Ｓ１５０」過程で車両の前方左側、前方右側、後方右側及び後方左側の境界領域で隣接画像等の間の相関度分析が完了すれば、立体物検出装置は「Ｓ１５０」過程の分析結果に基づき各境界領域に位置した立体物を検出する（Ｓ１６０）。    「Ｓ１６０」過程で、立体物検出装置は隣接画像等の間の相関度が低い境界領域から立体物を検出する。立体物検出装置は「Ｓ１６０」過程で立体物が検出されると、立体物検出結果を文字、音声などの形態で運転者に報知することができる。
【００３９】
以上、本発明に関する好ましい実施形態を説明したが、本発明は前記実施形態に限定されるものではなく、本発明の属する技術分野を逸脱しない範囲での全ての変更が含まれる。
【符号の説明】
【００４０】
１０    カメラ                                  
１１    第１カメラ
１２    第２カメラ      
１３    第３カメラ
１４    第４カメラ                              
１００    立体物検出装置
１１０    制御部                                
１２０    格納部
１３０    画像取得部                            
１４０    ビュー変換部
１５０    画像合成部                            
１６０    境界パターン抽出部
１７０    相関度分析部                          
１８０    立体物検出部
１９０    出力部
【図１】
2014016978.tif 000003
【図２】
2014016978.tif 000004
【図３】
2014016978.tif 000005
【図４】
2014016978.tif 000006
【図５】
2014016978.tif 000007
【図６】
2014016978.tif 000008
【図７】
2014016978.tif 000009
【図８】
2014016978.tif 000010