(57)【要約】【課題】撮像画像内の対象物が立体物であるのか平面物であるのかを、簡易な処理によって装置が自動的に認識し得る、車両周辺視認装置を得る。【解決手段】処理部５は、フロントカメラ２によって撮像された画像７Ｆを地面に投影することにより、投影画像８Ｆを作成し、サイドカメラ３によって撮像された画像７Ｓを地面に投影することにより、投影画像８Ｓを作成する。また、特定領域Ａ３内に存在する対象物（ポール４）に対応する部分画像９Ｆを投影画像８Ｆから抽出し、対象物に対応する部分画像９Ｓを投影画像８Ｓから抽出する。そして、部分画像９Ｆと部分画像９Ｓとが相互に一致しない場合には、対象物は立体物であると判定し、一方、部分画像９Ｆと部分画像９Ｓとが相互に一致する場合には、対象物は平面物であると判定する。【選択図】図２
2007022415.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の特定領域を第１の方向から撮像する第１の車載カメラと、
前記特定領域を第２の方向から撮像する第２の車載カメラと、
前記第１の車載カメラによって撮像された画像を所定平面に投影することにより第１の投影画像を作成し、前記第２の車載カメラによって撮像された画像を前記所定平面に投影することにより第２の投影画像を作成し、前記特定領域に含まれる対象物に対応する第１の部分画像を前記第１の投影画像から抽出し、前記対象物に対応する第２の部分画像を前記第２の投影画像から抽出し、前記第１の部分画像と前記第２の部分画像とが相互に一致しない場合に前記対象物は立体物であると判定する処理部と
を備える、車両周辺視認装置。
【請求項２】
前記処理部は、前記第１の投影画像と前記第２の投影画像とを合成することにより合成画像を作成し、前記合成画像から前記第１の部分画像と前記第２の部分画像との重複部分を特定し、前記重複部分のうち前記車両に最も近接している点に基づいて、前記車両から前記対象物までの距離を求める、請求項１に記載の車両周辺視認装置。
【請求項３】
前記所定平面は地面である、請求項１又は２に記載の車両周辺視認装置。
【請求項４】
前記所定平面は、空中に規定された仮想平面である、請求項１又は２に記載の車両周辺視認装置。
【請求項５】
前記処理部は、地面からの高さが異なる複数の仮想平面を規定し、前記複数の仮想平面のうち、前記第１の部分画像の端部と前記第２の部分画像の端部とが互いに重複する仮想平面を前記所定平面として設定し、当該所定平面の高さに基づいて、地面から前記対象物までの高さを求める、請求項４に記載の車両周辺視認装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を撮像し、撮像された画像を車室内の表示装置に表示する車両周辺視認装置に関する。
【背景技術】
【０００２】
車両に取り付けられた車載カメラによって車両周辺を撮像し、撮像された画像を車室内の表示装置に表示する車両周辺視認装置が普及してきている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の車両周辺視認装置によると、撮像された画像内に、車両の近傍に存在する何らかの対象物が写っている場合に、その対象物がポール等の三次元の立体物であるのか、あるいは道路標示等の二次元の平面物であるのかを、簡易な処理によって装置が自動的に認識することができないという問題がある。
【０００４】
本発明はかかる問題を解決するために成されたものであり、撮像画像内の対象物が立体物であるのか平面物であるのかを、簡易な処理によって装置が自動的に認識し得る、車両周辺視認装置を得ることを目的とする。
【課題を解決するための手段】
【０００５】
第１の発明に係る車両周辺視認装置は、車両周辺の特定領域を第１の方向から撮像する第１の車載カメラと、前記特定領域を第２の方向から撮像する第２の車載カメラと、前記第１の車載カメラによって撮像された画像を所定平面に投影することにより第１の投影画像を作成し、前記第２の車載カメラによって撮像された画像を前記所定平面に投影することにより第２の投影画像を作成し、前記特定領域に含まれる対象物に対応する第１の部分画像を前記第１の投影画像から抽出し、前記対象物に対応する第２の部分画像を前記第２の投影画像から抽出し、前記第１の部分画像と前記第２の部分画像とが相互に一致しない場合に前記対象物は立体物であると判定する処理部とを備えることを特徴とする。
【０００６】
第２の発明に係る車両周辺視認装置は、第１の発明に係る車両周辺視認装置において特に、前記処理部は、前記第１の投影画像と前記第２の投影画像とを合成することにより合成画像を作成し、前記合成画像から前記第１の部分画像と前記第２の部分画像との重複部分を特定し、前記重複部分のうち前記車両に最も近接している点に基づいて、前記車両から前記対象物までの距離を求めることを特徴とする。
【０００７】
第３の発明に係る車両周辺視認装置は、第１又は第２の発明に係る車両周辺視認装置において特に、前記所定平面は地面であることを特徴とする。
【０００８】
第４の発明に係る車両周辺視認装置は、第１又は第２の発明に係る車両周辺視認装置において特に、前記所定平面は、空中に規定された仮想平面であることを特徴とする。
【０００９】
第５の発明に係る車両周辺視認装置は、第４の発明に係る車両周辺視認装置において特に、前記処理部は、地面からの高さが異なる複数の仮想平面を規定し、前記複数の仮想平面のうち、前記第１の部分画像の端部と前記第２の部分画像の端部とが互いに重複する仮想平面を前記所定平面として設定し、当該所定平面の高さに基づいて、地面から前記対象物までの高さを求めることを特徴とする。
【発明の効果】
【００１０】
第１の発明に係る車両周辺視認装置によれば、処理部は、第１の車載カメラによって撮像された画像を所定平面に投影することにより第１の投影画像を作成し、第２の車載カメラによって撮像された画像を所定平面に投影することにより第２の投影画像を作成し、特定領域に含まれる対象物に対応する第１の部分画像を第１の投影画像から抽出し、対象物に対応する第２の部分画像を第２の投影画像から抽出し、第１の部分画像と第２の部分画像とが相互に一致しない場合に対象物は立体物であると判定する。また、第１の部分画像と第２の部分画像とが相互に一致する場合には、対象物は平面物であると判定することができる。従って、撮像画像内に写っている対象物が立体物であるのか平面物であるのかを、簡易な処理によって装置が自動的に認識することができる。
【００１１】
第２の発明に係る車両周辺視認装置によれば、処理部は、第１の投影画像と第２の投影画像とを合成することにより合成画像を作成し、合成画像から第１の部分画像と第２の部分画像との重複部分を特定し、重複部分のうち車両に最も近接している点に基づいて、車両から対象物までの距離を求める。従って、対象物が立体物である場合に、立体物と車両との最短距離を求めることができるため、立体物への衝突の警告等を運転者に報知することができる。
【００１２】
第３の発明に係る車両周辺視認装置によれば、ポールや電柱等の、地面上に設置されている立体物を、装置が自動的に認識することができる。
【００１３】
第４の発明に係る車両周辺視認装置によれば、隣接車両のバンパー等の、地面上には設置されていない空中の立体物を、装置が自動的に認識することができる。
【００１４】
第５の発明に係る車両周辺視認装置によれば、処理部は、地面からの高さが異なる複数の仮想平面を規定し、複数の仮想平面のうち、第１の部分画像の端部と第２の部分画像の端部とが互いに重複する仮想平面を所定平面として設定し、所定平面の高さに基づいて、地面から対象物までの高さを求める。従って、地上から空中の立体物までの高さを装置が自動的に認識することができ、それに基づいて、車両から空中の立体物までの距離を求めることも可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００１６】
実施の形態１．
図１は、本発明の実施の形態１に係る車両周辺視認装置が搭載された車両１を示す上面図である。車両１には、前方にフロントカメラ２が取り付けられており、左側方にサイドカメラ３が取り付けられている。フロントカメラ２の撮影範囲はＡ１であり、サイドカメラ３の撮影範囲はＡ２である。撮影範囲Ａ１と撮影範囲Ａ２とは、車両１の左前方の領域（以下「特定領域」と称す）Ａ３で重複している。つまり、車両１には、特定領域Ａ３を撮像するフロントカメラ２と、フロントカメラ２とは異なる方向から特定領域Ａ３を撮像するサイドカメラ３とが搭載されている。
【００１７】
図２は、本実施の形態１に係る車両周辺視認装置の構成を示すブロック図である。本実施の形態１に係る車両周辺視認装置は、フロントカメラ２及びサイドカメラ３の各出力に接続された処理部５と、処理部５の出力に接続された報知部６とを備えている。処理部５は、車両１内に搭載されたマイクロコンピュータ等であり、報知部６は、車両１内で運転者が視認可能な箇所に配設された表示装置等である。
【００１８】
図３〜５は、処理部５における処理内容を順に説明するための図である。まず、処理部５は、フロントカメラ２及びサイドカメラ３によってそれぞれ撮像された画像を取得する。図３の（Ａ）には、フロントカメラ２によって撮像され、レンズの歪み補正処理がなされた後の画像７Ｆを模式的に示しており、図３の（Ｂ）には、サイドカメラ３によって撮像され、レンズの歪み補正処理がなされた後の画像７Ｓを模式的に示している。レンズの歪み補正処理は公知であるため（例えば、本願出願人らによる特開２００４−３２０５２５号公報参照）、ここでの詳細な説明は省略する。図１を参照して、特定領域Ａ３内には、対象物（この例では、地面上に設置されたポール４）が存在しており、図３を参照して、画像７Ｆ，７Ｓにはポール４が写っている。画像７Ｆ，７Ｓは、表示装置としての報知部６の画面上に表示することも可能である。
【００１９】
次に、処理部５は、図３に示した画像７Ｆ，７Ｓを、地面（厳密には、地面に相当する仮想平面）にそれぞれ投影することにより、投影画像を作成する。図４の（Ａ）には、画像７Ｆに基づいて作成された投影画像８Ｆを示しており、図４の（Ｂ）には、画像７Ｓに基づいて作成された投影画像８Ｓを示している。画像の投影処理は公知であるため（例えば、本願出願人らによる特開２００４−３２０５２５号公報参照）、ここでの詳細な説明は省略する。投影画像８Ｆ内には、画像７Ｆ内のポール４が地面に投影された部分画像９Ｆが含まれており、投影画像８Ｓ内には、画像７Ｓ内のポール４が地面に投影された部分画像９Ｓが含まれている。
【００２０】
次に、処理部５は、部分画像９Ｆ，９Ｓの共通箇所（例えば端部）を位置合わせして投影画像８Ｆ，８Ｓを合成することにより、合成画像を作成する。図５には、作成された合成画像１０が示されている。合成画像１０には、部分画像９Ｆ，９Ｓが含まれている。処理部５は、合成画像１０（又は投影画像８Ｆ，８Ｓ）から部分画像９Ｆ，９Ｓを抽出し、合成画像１０内において部分画像９Ｆと部分画像９Ｓとが相互に一致するか否かを判定する。図５に示した例では、部分画像９Ｆと部分画像９Ｓとは完全には一致しない。この場合、処理部５は、対象物（この例ではポール４）は三次元の立体物であると判定する。一方、対象物が道路標示等の二次元の平面物である場合は、部分画像９Ｆと部分画像９Ｓとは相互に一致（完全一致）するはずであるため、処理部５は、合成画像１０内で部分画像９Ｆと部分画像９Ｓとが完全に一致すれば、対象物は二次元の平面物であると判定する。
【００２１】
図６を参照して、対象物が三次元の立体物であると判定された場合、次に、処理部５は、合成画像１０内における部分画像９Ｆ，９Ｓの重複部分１１を抽出する。そして、重複部分１１の外形のうち画面の中心に最も近い点１２を、車両１に最も近接している対象物上の位置として割り出す。また、処理部５は、画面内における点１２の位置座標に基づいて、車両１と点１２との距離を、車両１とポール４との最短距離として算出する。そして、車両１とポール４との最短距離に基づいて、ポール４への衝突の警告等を報知部６から運転者に報知する。例えば、図３に示した画像７Ｆを報知部６の画面上に表示するとともに、車両１とポール４との最短距離を併せて画面上に表示し、車両１とポール４との最短距離が短くなるにつれて、報知部６から警告音を大きく鳴らす。
【００２２】
このように本実施の形態１に係る車両周辺視認装置によれば、処理部５は、フロントカメラ２によって撮像された画像７Ｆを地面に投影することにより、投影画像８Ｆを作成し、サイドカメラ３によって撮像された画像７Ｓを地面に投影することにより、投影画像８Ｓを作成する。また、特定領域Ａ３内に存在する対象物（ポール４）に対応する部分画像９Ｆを投影画像８Ｆから抽出し、対象物に対応する部分画像９Ｓを投影画像８Ｓから抽出する。そして、部分画像９Ｆと部分画像９Ｓとが相互に一致しない場合には、対象物は立体物であると判定し、一方、部分画像９Ｆと部分画像９Ｓとが相互に一致する場合には、対象物は平面物であると判定する。従って、撮像した画像７Ｆ，７Ｓ内に写っている対象物が立体物であるのか平面物であるのかを、簡易な処理によって装置が自動的に認識することができる。
【００２３】
また、処理部５は、投影画像８Ｆと投影画像８Ｓとを合成することにより合成画像１０を作成し、合成画像１０から部分画像９Ｆと部分画像９Ｓとの重複部分１１を特定する。そして、重複部分１１のうち車両１に最も近接している点１２に基づいて、車両１からポール４までの距離を求める。従って、ポール４と車両１との最短距離を求めることができるため、ポール４への衝突の警告等を運転者に報知することができる。
【００２４】
実施の形態２．
上記実施の形態１では、地面上に設置されている対象物を立体物又は平面物として認識する例について述べた。本実施の形態２では、隣接車両のバンパー等の、地面上には設置されていない空中の対象物を認識する例について説明する。ここでは、比較の容易化のため、上記実施の形態１で説明したポール４が空中に浮遊している状況を仮想して説明するものとする。
【００２５】
本発明の実施の形態２に係る車両周辺視認装置が搭載された車両１を示す上面図は、図１と同様である。また、本実施の形態２に係る車両周辺視認装置の構成を示すブロック図は、図２と同様である。
【００２６】
上記実施の形態１と同様に、処理部５は、フロントカメラ２及びサイドカメラ３によってそれぞれ撮像された画像７Ｆ，７Ｓを取得する。次に、取得した画像７Ｆ，７Ｓをそれぞれ地面に投影することにより、投影画像８Ｆ，８Ｓを作成する。次に、作成した投影画像８Ｆ，８Ｓを合成することにより、合成画像を作成する。図７の（Ａ）には、地面（地上高Ｈ＝０の仮想平面）への投影画像８Ｆ，８Ｓに基づいて作成された合成画像１０ａの一部を示している。合成画像１０ａにおいては、部分画像９Ｆと部分画像９Ｓとは互いに重なっていない。
【００２７】
次に、処理部５は、地上高Ｈ＝ｈ１（＞０）の仮想平面に画像７Ｆ，７Ｓをそれぞれ投影することにより、投影画像８Ｆ，８Ｓを作成する。次に、作成した投影画像８Ｆ，８Ｓを合成することにより、合成画像を作成する。図７の（Ｂ）には、地上高Ｈ＝ｈ１の仮想平面への投影画像８Ｆ，８Ｓに基づいて作成された合成画像１０ｂの一部を示している。合成画像１０ｂにおいては、部分画像９Ｆの端部１６Ｆの一部と部分画像９Ｓの端部１６Ｓの一部とが互いに重なっている。
【００２８】
次に、処理部５は、地上高Ｈ＝ｈ２（＞ｈ１）の仮想平面に画像７Ｆ，７Ｓをそれぞれ投影することにより、投影画像８Ｆ，８Ｓを作成する。次に、作成した投影画像８Ｆ，８Ｓを合成することにより、合成画像を作成する。図７の（Ｃ）には、地上高Ｈ＝ｈ２の仮想平面への投影画像８Ｆ，８Ｓに基づいて作成された合成画像１０ｃの一部を示している。合成画像１０ｃにおいては、部分画像９Ｆの端部１６Ｆの全部と部分画像９Ｓの端部１６Ｓの全部とが互いに重なっている。
【００２９】
次に、処理部５は、地上高Ｈ＝ｈ３（＞ｈ２）の仮想平面に画像７Ｆ，７Ｓをそれぞれ投影することにより、投影画像８Ｆ，８Ｓを作成する。次に、作成した投影画像８Ｆ，８Ｓを合成することにより、合成画像を作成する。図７の（Ｄ）には、地上高Ｈ＝ｈ３の仮想平面への投影画像８Ｆ，８Ｓに基づいて作成された合成画像１０ｄの一部を示している。合成画像１０ｄにおいては、部分画像９Ｆの端部１６Ｆは部分画像９Ｓを突き抜けており、部分画像９Ｓの端部１６Ｓは部分画像９Ｆを突き抜けている。
【００３０】
このように本実施の形態２に係る車両周辺視認装置によれば、処理部５は、地上高が異なる複数の仮想平面を順に規定する。そして、これら複数の仮想平面のうち、部分画像９Ｆの端部１６Ｆの全部と部分画像９Ｓの端部１６Ｓの全部とが互いに重複する仮想平面（合成画像１０ｃに対応する仮想平面）を特定する。これにより、その仮想平面の地上高（Ｈ＝ｈ２）を、地面から対象物までの高さとして求めることができる。
【００３１】
また、図６と同様に、合成画像１０ｃ内における部分画像９Ｆ，９Ｓの重複部分１１を抽出して、重複部分１１の外形のうち画面の中心に最も近い点１２の位置座標に基づいて、車両１と対象物との最短距離を求めることも可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態１に係る車両周辺視認装置が搭載された車両を示す上面図である。
【図２】本発明の実施の形態１に係る車両周辺視認装置の構成を示すブロック図である。
【図３】本発明の実施の形態１に係る車両周辺視認装置に関し、処理部における処理内容を説明するための図である。
【図４】本発明の実施の形態１に係る車両周辺視認装置に関し、処理部における処理内容を説明するための図である。
【図５】本発明の実施の形態１に係る車両周辺視認装置に関し、処理部における処理内容を説明するための図である。
【図６】本発明の実施の形態１に係る車両周辺視認装置に関し、処理部における処理内容を説明するための図である。
【図７】本発明の実施の形態２に係る車両周辺視認装置に関し、処理部における処理内容を説明するための図である。
【符号の説明】
【００３３】
１  車両
２  フロントカメラ
３  サイドカメラ
４  ポール
５  処理部
７Ｆ，７Ｓ  画像
８Ｆ，８Ｓ  投影画像
９Ｆ，９Ｓ  部分画像
１０，１０ａ〜１０ｄ  合成画像
１１  重複部分
１２  点
１６Ｆ，１６Ｓ  端部
【図１】
2007022415.tif 000003
【図２】
2007022415.tif 000004
【図３】
2007022415.tif 000005
【図４】
2007022415.tif 000006
【図５】
2007022415.tif 000007
【図６】
2007022415.tif 000008
【図７】
2007022415.tif 000009