(57)【特許請求の範囲】
【請求項１】
自車の周囲の状況を俯瞰画像に変換して運転者に提示する車両周辺監視装置であって、
自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像手段と、
前記複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換手段と、
前記オーバーラップ領域の俯瞰画像におけるすべての画素に対して、俯瞰画像間の差の絶対値を算出し、前記絶対値がしきい値以下である画素を一致領域とし、前記絶対値がしきい値以下でない画素を不一致領域として、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定手段と、
前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成手段と、
前記出力画像を運転者に提示する表示手段とを備え、
前記画像合成手段は、前記不一致領域では前記複数の俯瞰画像をブレンドし、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする車両周辺監視装置。
【請求項２】
自車の周囲の状況を俯瞰画像に変換して運転者に提示する車両周辺監視装置であって、
自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像手段と、
前記複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換手段と、
前記オーバーラップ領域の俯瞰画像におけるすべての画素に対して、俯瞰画像間の差の絶対値を算出し、前記絶対値がしきい値以下である画素を一致領域とし、前記絶対値がしきい値以下でない画素を不一致領域として、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定手段と、
前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成手段と、
前記出力画像を運転者に提示する表示手段とを備え、
前記画像合成手段は、前記不一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成し、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする車両周辺監視装置。
【請求項３】
前記画像合成手段は、前記複数の俯瞰画像の明るさを変更して出力画像を生成することを特徴とする請求項２に記載の車両周辺監視装置。
【請求項４】
前記画像合成手段は、前記不一致領域において前記自車の進行方向に基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項２または３のいずれかに記載の車両周辺監視装置。
【請求項５】
前記画像合成手段は、前記不一致領域において前記オーバーラップ領域の境界線と前記不一致領域の境界線との重なりに基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項２または３のいずれかに記載の車両周辺監視装置。
【請求項６】
前記画像合成手段は、前記一致領域と前記不一致領域との境界線を強調表示することを特徴とする請求項１から請求項５のいずれか１項に記載の車両周辺監視装置。
【請求項７】
自車の周囲の状況を俯瞰画像に変換して運転者に提示する車両周辺監視方法であって、
撮像領域がオーバーラップしている複数の撮像手段によって、自車の周囲の映像を撮像する撮像ステップと、
前記撮像ステップで撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換ステップと、
前記オーバーラップ領域の俯瞰画像におけるすべての画素に対して、俯瞰画像間の差の絶対値を算出し、前記絶対値がしきい値以下である画素を一致領域とし、前記絶対値がしきい値以下でない画素を不一致領域として、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定ステップと、
前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成ステップと、
前記出力画像を運転者に提示する表示ステップとを備え、
前記画像合成ステップは、前記不一致領域では前記複数の俯瞰画像をブレンドし、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする車両周辺監視方法。
【請求項８】
自車の周囲の状況を俯瞰画像に変換して運転者に提示する車両周辺監視方法であって、
撮像領域がオーバーラップしている複数の撮像手段によって、自車の周囲の映像を撮像する撮像ステップと、
前記撮像ステップで撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換ステップと、
前記オーバーラップ領域の俯瞰画像におけるすべての画素に対して、俯瞰画像間の差の絶対値を算出し、前記絶対値がしきい値以下である画素を一致領域とし、前記絶対値がしきい値以下でない画素を不一致領域として、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定ステップと、
前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成ステップと、
前記出力画像を運転者に提示する表示ステップとを備え、
前記画像合成ステップは、前記不一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成し、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする車両周辺監視方法。
【請求項９】
前記画像合成ステップは、前記複数の俯瞰画像の明るさを変更して出力画像を生成することを特徴とする請求項８に記載の車両周辺監視方法。
【請求項１０】
前記画像合成ステップは、前記不一致領域において前記自車の進行方向に基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項８または９のいずれかに記載の車両周辺監視方法。
【請求項１１】
前記画像合成ステップは、前記不一致領域において前記オーバーラップ領域の境界線と前記不一致領域の境界線との重なりに基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項８または９のいずれかに記載の車両周辺監視方法。
【請求項１２】
前記画像合成ステップは、前記一致領域と前記不一致領域との境界線を強調表示することを特徴とする請求項７から１１のいずれか１項に記載の車両周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自車の周囲を監視する車両周辺監視装置に係り、特に複数の俯瞰画像を合成したときの見にくさを解消して見やすい画像を運転者に提示するための車両周辺監視装置及びその方法に関する。
【背景技術】
【０００２】
従来、車両の周囲をカメラで撮影し、この画像を俯瞰画像に変換して運転者に提示し、縦列駐車を行う場合などに運転者を支援するシステムが開発されている。
【０００３】
しかしながら、カメラで撮影した画像を俯瞰画像に変換すると、全ての物体が基準面（通常は地面）の高さにあると仮定して変換を行っているために、立体的な障害物などはカメラから離れる方向に倒れているように歪曲して表示されてしまう現象が起きる。この結果、障害物の位置が正確に表示されないので、運転者は障害物の位置を正確に認識することが困難であった。
【０００４】
そこで、複数のカメラを設置し、これらのカメラで撮像した俯瞰画像を合成して運転者に提示することが行なわれている。このような車両周囲監視装置の従来例としては、複数のカメラで同じ領域を撮像し、それぞれのカメラで撮像した画像のピクセルを交互に配置して合成画像を生成するようにした車両周囲監視装置が知られている（特許文献１参照）。
【特許文献１】特開２００３−１６９３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した従来例の車両周囲監視置では、複数の画像を合成したことにより情報量が増えて障害物を確認することはできるものの、障害物が二重に表示されてしまうので運転者には見にくい画像になってしまうという問題点があった。
【０００６】
また、２つのカメラで撮像した画像の明るさが異なると、２つの画像をブレンドしたブレンド領域と非ブレンド領域との境界線が目立ち、余計な情報として提示されてしまったり、障害物などが半透明状に表示されて見えにくくなってしまったりするので、障害物を認識することがかえって困難になってしまうという問題点もあった。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明に係る車両周辺監視装置は、自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視装置であって、自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像手段と、前記複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換手段と、前記オーバーラップ領域の俯瞰画像におけるすべての画素に対して、俯瞰画像間の差の絶対値を算出し、前記絶対値がしきい値以下である画素を一致領域とし、前記絶対値がしきい値以下でない画素を不一致領域として、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定手段と、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成手段と、前記出力画像を運転者に提示する表示手段とを備え、前記画像合成手段は、前記不一致領域では前記複数の俯瞰画像をブレンドし、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする。
【０００８】
また、本発明に係る車両周辺監視方法は、自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視方法であって、撮像領域がオーバーラップしている複数の撮像手段によって、自車の周囲の映像を撮像する撮像ステップと、前記撮像ステップで撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換ステップと、前記オーバーラップ領域の俯瞰画像におけるすべての画素に対して、俯瞰画像間の差の絶対値を算出し、前記絶対値がしきい値以下である画素を一致領域とし、前記絶対値がしきい値以下でない画素を不一致領域として、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定ステップと、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成ステップと、前記出力画像を運転者に提示する表示ステップとを備え、前記画像合成ステップは、前記不一致領域では前記複数の俯瞰画像をブレンドし、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする。
【発明の効果】
【０００９】
本発明に係る車両周辺監視装置及びその方法では、撮像領域がオーバーラップしている複数の撮像手段によって撮像された複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定し、この一致領域と不一致領域とを異なる方法で合成して出力画像を生成するので、オーバーラップ領域における画像の見にくさを解決して見やすい画像を運転者に提示して障害物を確実に認識させることが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係わる車両周辺監視装置及び車両周辺監視方法の実施例について説明する。
【実施例１】
【００１１】
図１は、実施例１に係る車両周辺監視装置の構成を示すブロック図である。図１に示すように、本実施例の車両周辺監視装置１は、自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像部（撮像手段）２と、撮像部２によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換部（画像変換手段）３と、複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定部（領域確定手段）４と、一致領域と不一致領域とを異なる方法で合成して出力画像を生成する画像合成部（画像合成手段）５と、画像合成部５で生成された出力画像を運転者に提示する表示部（表示手段）６とから構成されている。
【００１２】
撮像部２は、自車の周囲を撮像する視野角１８０°程度の超広角カメラなどの撮像手段であって、少なくとも２台のカメラによって構成され、これらのカメラによる撮像領域には、撮像する領域が重なっているオーバーラップ領域がある。ここでは、図２に示すように車両２０のフロント中央のバッジ周辺に配置されたフロントカメラ２１と、左ドアミラーに配置されたサイドカメラ２２によって構成され、これらのカメラ２１、２２の撮像領域は図２の斜線部分がオーバーラップ領域となっている。ただし、撮像領域がオーバーラップしていれば、その他のカメラ配置であってもよい。
【００１３】
画像変換部３は、撮像部２を構成するカメラの特性と、地面に対するカメラの取付角度及び地面との距離に基づいて画像処理を行い、撮像された画像を俯瞰画像に変換する。
【００１４】
領域確定部４は、複数の俯瞰画像の差分を計算して比較し、特にオーバーラップ領域において俯瞰画像が一致している領域を一致領域とし、一致していない領域を不一致領域として確定する。例えば、オーバーラップ領域において地面が写っている領域は、フロントカメラ２１による俯瞰画像とサイドカメラ２２による俯瞰画像が一致するので一致領域となる。これに対して立体物が写っている領域は、フロントカメラ２１による俯瞰画像とサイドカメラ２２による俯瞰画像が一致しないので不一致領域となる。また、この処理では、カメラのキャリブレーション誤差を考慮して、多少のずれは一致するものとみなして処理したり、一致領域に連続性の条件などを課してある程度まとまった塊にする処理を追加したりしても良い。
【００１５】
画像合成部５は、領域確定部４で確定した一致領域と不一致領域とを、それぞれ異なる方法で合成し、運転者に提示するための俯瞰画像を生成する。
【００１６】
表示部６は、自車の車室内、とくにダッシュボードなどの運転者の視野内に設置されたＬＣＤモニターなどの表示装置であって、画像合成部５によって生成された画像を運転者に向けて提示する。
【００１７】
上記各部のうち、画像変換部３、領域確定部４及び画像合成部５は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたマイクロコンピュータにより構成されている。
【００１８】
次に、本実施例の車両周辺監視装置１による車両周辺監視処理を、図３のフローチャートに基づいて説明する。
【００１９】
まず、フロントカメラ２１とサイドカメラ２２によって車両の周囲を撮像する（Ｓ３０１）。ここで、フロントカメラ２１によって撮像された画像の一例を図４に、サイドカメラ２２によって撮像された画像の一例を図５に示す。
【００２０】
続いて、撮像された画像を変換して俯瞰画像を生成する（Ｓ３０２）。フロントカメラ２１によって撮像された図４の画像を変換した俯瞰画像を図６に、サイドカメラ２２によって撮像された図５の画像を変換した俯瞰画像を図７に示す。
【００２１】
こうして２つの俯瞰画像が生成されると、次にこれらの俯瞰画像の差分を計算（カラー画像であれば、８ビットのＲＧＢ信号値の差の絶対値を計算）し、オーバーラップ領域において俯瞰画像が一致する一致領域と、一致しない不一致領域とを確定させる（Ｓ３０３）。
【００２２】
ここで、一致領域と不一致領域とを確定させるための領域確定処理を図８のフローチャートに基づいて説明する。
【００２３】
まず、カメラレンズの周辺光量低下などを考慮して各俯瞰画像の明るさを補正する（Ｓ８０１）。そして、オーバーラップ領域の全てのピクセルに対して、２つの俯瞰画像間の差の絶対値を求め、この絶対値が閾値以下の場合にはそのピクセルを一致領域と判断し、その他の場合には不一致領域と判断する（Ｓ８０２）。こうして一致領域と不一致領域とを識別したら、それぞれの領域を出力して（Ｓ８０３）領域確定処理を終了する。
【００２４】
こうして判別された一致領域と不一致領域について説明する。俯瞰画像は、自車の周辺に取り付けたカメラの映像を変換して、仮想カメラで上空から自車を見たように表示するものである。ところが、この変換の際に地面の位置を基準にして、地面の位置が正しい位置になるように変換している。このため、フロントカメラ２１による俯瞰画像を俯瞰画像１とし、サイドカメラ２２による俯瞰画像を俯瞰画像２とすると、俯瞰画像１と俯瞰画像２のオーバーラップ領域に地面のみが写っている場合には、オーバーラップ領域の画像はそれぞれの俯瞰画像で同じ画像が表示されることになる。つまり、同じ画像が表示されて一致しているので、地面を写したオーバーラップ領域は一致領域となる。
【００２５】
一方、オーバーラップ領域に立体物が映っている場合には、基準位置となる地面には無い立体物を表示しているので、立体物の位置のみが俯瞰画像上で実際と異なる位置に表示されている。このため、立体物が映っている場合に俯瞰画像１と俯瞰画像２のオーバーラップ領域を表示すると、同じ立体物を違う角度から見た画像が表示される。したがって、オーバーラップ領域において立体物の画像は俯瞰画像１と俯瞰画像２で異なっており不一致領域となる。
【００２６】
例えば、図９に示すような自車９１と立体物９２との位置関係がある場合に、フロントカメラの俯瞰画像は図１０になり、左カメラの俯瞰画像は図１１のような画像になる。そして、これらの俯瞰画像をブレンドすると、図１２のような画像となり、図１２のオーバーラップ領域では、地面上の画像はそれぞれの俯瞰画像で一致しているので、一致領域となる。例えば、地面上にある白線の位置はそれぞれの俯瞰画像で一致している。
【００２７】
一方、立体物が表示されている部分の画像は、それぞれの俯瞰画像で異なった画像として表示されているので、不一致領域となる。
【００２８】
このようにしてステップＳ３０３において、一致領域と不一致領域とが確定すると、次に一致領域と不一致領域とを異なる方法で合成して出力画像を生成する（Ｓ３０４）。
【００２９】
ここで、ステップＳ３０４で実施される画像合成処理を図１３のフローチャートに基づいて説明する。この画像合成処理では、俯瞰画像の全てのピクセルに対して以下に示すステップＳ１３０２，Ｓ１３０４，Ｓ１３０６，Ｓ１３０８，Ｓ１３０９のいずれかの処理を実施して出力画像を生成する。
【００３０】
まず、処理の対象となるピクセルを抽出し、そのピクセルが不一致領域に属する場合は（Ｓ１３０１：ＹＥＳ）、俯瞰画像１と俯瞰画像２の該当部分にあるピクセルのＲＧＢの平均値をＲＧＢ値として使用する（Ｓ１３０２）。ただし、ここでは一例としてＲＧＢの平均値を使用しているが、１ピクセル毎に俯瞰画像１と俯瞰画像２のピクセルを交互に表示するようにしてもよい。
【００３１】
また、処理対象として抽出したピクセルが一致領域に属する場合は（Ｓ１３０３：ＹＥＳ）、俯瞰画像１の該当部分にあるピクセルのＲＧＢ値をコピーして使用する（Ｓ１３０４）。
【００３２】
また、処理対象として抽出したピクセルがフロントカメラ２１の撮像範囲であるがサイドカメラ２２の撮像範囲ではない場合は（Ｓ１３０５：ＹＥＳ）、俯瞰画像１の該当部分にあるピクセルのＲＧＢ値をコピーして使用する（Ｓ１３０６）。
【００３３】
また、処理対象として抽出したピクセルがサイドカメラ２２の撮像範囲であるがフロントカメラ２１の撮像範囲ではない場合は（Ｓ１３０７：ＹＥＳ）、俯瞰画像２の該当部分にあるピクセルのＲＧＢ値をコピーして使用する（Ｓ１３０８）。
【００３４】
さらに、処理対象として抽出したピクセルが上述したいずれの場合にも該当しない場合には、そのピクセルを黒く表示して（Ｓ１３０５）、画像合成処理を終了する。この画像合成処理によってフロントカメラ２１で撮像された図６の俯瞰画像とサイドカメラ２２で撮像された図７の俯瞰画像とを合成すると、その合成結果は図１４に示すような俯瞰画像となる。
【００３５】
このようにして、図３のステップＳ３０４において俯瞰画像が合成されて出力画像が生成されると、生成された出力画像を表示部６に表示して運転者に提示し（Ｓ３０５）、本実施例の車両周辺監視装置１による車両周辺監視処理を終了する。
【００３６】
ここで、本実施例の車両周辺監視装置１によって合成された出力画像と従来の方法で合成した画像とを比較する。まず、従来の方法で合成した場合の出力画像の例を示す。フロントカメラ２１で撮像された図６の俯瞰画像と、サイドカメラ２２で撮像された図７の俯瞰画像とをフロントカメラ２１の俯瞰画像を優先して合成すると、図１５に示す画像となる。この画像では障害物が境目で途切れて認識することが困難になっている。また、サイドカメラ２２の俯瞰画像を優先して合成すると図１６に示す画像となるが、この画像ではサイドカメラ２２の画像とフロントカメラ２１の画像との境目が目立ってしまっている。さらに、斜めの境目で区切って合成すると図１７に示す画像となるが、この画像でも図１５と同様に障害物が境目で途切れて認識することが困難になっている。また、オーバーラップ領域を全て１：１の比率でブレンドすると図１８に示す画像となるが、この画像ではオーバーラップ領域と非オーバーラップ領域との境目が目立ち障害物も半透明で認識しにくくなっている。このように従来の方法で合成すると、いずれの方法でも映像の画質や障害物の認識しやすさにおいて課題を残していた。
【００３７】
これに対して、本実施例の車両周辺監視装置１によって合成された図１４の出力画像では、一致領域となる地面の部分の画像が俯瞰画像１のみの画像によって表示されているので高画質になっており、さらにオーバーラップ領域と非オーバーラップ領域との境界線が目立たなくなっている。
【００３８】
このように、本実施例の車両周辺監視装置１では、撮像領域がオーバーラップしている複数の撮像部２によって撮像された複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させ、この一致領域と不一致領域とを異なる方法で合成して出力画像を生成するので、オーバーラップ領域における画像の見にくさを解決して見やすい画像を運転者に提示して障害物を確実に認識させることが可能になる。
【００３９】
また、本実施例の車両周辺監視装置１は、不一致領域では複数の俯瞰画像をブレンドし、一致領域では複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して出力画像を生成するので、一致領域の画像を高画質にすることができるとともに、オーバーラップ領域と非オーバーラップ領域との境界線を目立たなくすることができる。
【実施例２】
【００４０】
次に、本発明の実施例２について説明する。実施例１では図１３のステップＳ１３０２において、不一致領域に属するピクセルは二つの俯瞰画像のＲＧＢ値の平均値を使用してブレンドしていたのに対して、本実施例では不一致領域に属するピクセルに対してどちらか一方のカメラによる俯瞰画像のピクセルをコピーして使用するようにしている。例えば、不一致領域に対してサイドカメラ２２による俯瞰画像のピクセルを使用して画像を合成すると、図１９に示すような画像が出力される。これによれば、図１４に示す実施例１の出力画像では障害物が透けたように表示されて見にくかったのに対して、図１９の画像では不一致領域についても高画質の画像にすることができ、障害物を確実に認識することができるようになる。
【００４１】
ここで、不一致領域において、サイドカメラ２２の俯瞰画像を使用するか、あるいはフロントカメラ２１の俯瞰画像を使用するかの判断方法については、自車の進行方向に基づいて俯瞰画像を選択して使用するようにすればよい。このとき、自車が進行していくのに伴って障害物が非オーバーラップ領域からオーバーラップ領域に移動していく際に連続性が保たれるように選択する。例えば、自車が後退するときには、障害物はサイドカメラ２２の領域からオーバーラップ領域へと移動するので、不一致領域ではサイドカメラ２２の俯瞰画像を使用するように選択する。逆に、自車が右操舵で前進する場合には、障害物はフロントカメラ２１の領域からオーバーラップ領域へと移動するので、不一致領域ではフロントカメラ２１の俯瞰画像を使用するように選択する。
【００４２】
また、別の方法としてはオーバーラップ領域の境界線と不一致領域の境界線との重なりに基づいて俯瞰画像を選択して使用するようにしてもよい。この方法では不一致領域の境界線がオーバーラップ領域の境界線と重なっている度合いによって俯瞰画像を選択する。例えば、図１９の画像において不一致領域の境界線がオーバーラップ領域の境界線と重なっているのは、サイドカメラ２２の側の領域なので、不一致領域ではサイドカメラ２２の俯瞰画像を選択して使用する。
【００４３】
このように本実施例の車両周辺監視装置では、不一致領域において画像をブレンドするのではなく、いずれかのカメラの俯瞰画像を選択して使用するようにしている。
【００４４】
ただし、不一致領域において、どちらか一方のカメラによる俯瞰画像を表示した場合に不一致領域全体を障害物の画像が占めないことがある。例えば、フロントカメラ側のオーバーラップ領域の境界線付近の不一致領域に地面の領域が映っている場合である。このような場合には選択されていないカメラに映っている障害物の情報は表示されないことになるが、撮影した地面の明るさが、カメラによって異なっているので、同じ地面上に一致領域と不一致領域の境界が明るさの差によって認識できるように表示される。したがって、この境界を障害物の情報として運転者に与えることが可能になる。特に、２つのカメラで撮影した地面の明るさの差を計算し、この差が少ない場合には地面の明るさの差が大きくなるように明るさを補正すると、一致領域と不一致領域の境界をより明瞭に表示することが可能になる。
【００４５】
このように、本実施例の車両周辺監視装置は、不一致領域では複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して出力画像を生成するので、不一致領域の画像において障害物が透けたように表示されることがなくなり、障害物を確実に認識することができて高画質な画像を運転者に提示することができる。
【００４６】
また、本実施例の車両周辺監視装置は、複数の俯瞰画像の明るさを変更して出力画像を生成するので、一致領域と不一致領域の境界が明るさの差によって認識することができ、これによって一致領域と不一致領域の境界をより明瞭に表示することが可能になる。
【００４７】
さらに、本実施例の車両周辺監視装置は、不一致領域において自車の進行方向に基づいて複数の俯瞰画像の中から俯瞰画像を選択して使用するので、複数の俯瞰画像の中から適切な俯瞰画像を選択することができ、これによって高画質な画像を運転者に提示することができる。
【００４８】
また、本実施例の車両周辺監視装置は、不一致領域においてオーバーラップ領域の境界線と不一致領域の境界線との重なりに基づいて複数の俯瞰画像の中から俯瞰画像を選択して使用するので、複数の俯瞰画像の中から適切な俯瞰画像を選択することができ、これによって高画質な画像を運転者に提示することができる。
【実施例３】
【００４９】
次に、本発明の実施例３を図面に基づいて説明する。本実施例の車両周辺監視装置では、図３のステップＳ３０４において実施される画像合成処理が実施例１と異なる。その他の処理及び構成は実施例１と同一なので詳しい説明を省略する。
【００５０】
ここで、本実施例の車両周辺監視装置において、図３のステップＳ３０４で実施される画像合成処理を図２０のフローチャートに基づいて説明する。この画像合成処理では、俯瞰画像の全てのピクセルに対して以下に示すステップＳ２００１〜Ｓ２００５の処理を実施して出力画像を生成する。
【００５１】
まず、処理の対象となるピクセルを抽出し、そのピクセルが一致領域の境界線に属する場合は（Ｓ２００１：ＹＥＳ）、赤などのマーカー色をＲＧＢ値として使用する（Ｓ２００２）。
【００５２】
また、処理対象として抽出したピクセルがオーバーラップ領域に属する場合は（Ｓ２００３：ＹＥＳ）、俯瞰画像１と俯瞰画像２の該当部分にあるピクセルをピクセルの位置に応じて滑らかな比率でブレンドしてＲＧＢ値として使用する（Ｓ２００４）。
【００５３】
また、処理対象として抽出したピクセルがフロントカメラ２１の撮像範囲であるがサイドカメラ２２の撮像範囲ではない場合は（Ｓ２００５：ＹＥＳ）、俯瞰画像１の該当部分にあるピクセルのＲＧＢ値をコピーして使用する（Ｓ２００６）。
【００５４】
また、処理対象として抽出したピクセルがサイドカメラ２２の撮像範囲であるがフロントカメラ２１の撮像範囲ではない場合は（Ｓ２００７：ＹＥＳ）、俯瞰画像２の該当部分にあるピクセルのＲＧＢ値をコピーして使用する（Ｓ２００８）。
【００５５】
さらに、上述したいずれの場合にも該当しない場合には、そのピクセルを黒く表示して（Ｓ２００９）、画像合成処理を終了する。この画像合成処理によってフロントカメラ２１で撮像された図６の俯瞰画像とサイドカメラ２２で撮像された図７の俯瞰画像とを合成すると、その合成結果は図２１に示す俯瞰画像となり、一致領域と不一致領域との境界線２１１が強調表示されている。
【００５６】
このように、本実施例の車両周辺監視装置では、一致領域と不一致領域との境界線を強調表示するので、半透明で分かりにくかった障害物を強調して表示することができ、運転者に障害物を確実に認識させることができる。
【００５７】
以上、本発明の車両周辺監視装置について、図示した実施例に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置き換えることができる。
【図面の簡単な説明】
【００５８】
【図１】実施例１に係る車両周辺監視装置の構成を示すブロック図である。
【図２】実施例１に係る車両周辺監視装置のカメラの配置とオーバーラップ領域を説明するための図である。
【図３】実施例１に係る車両周辺監視装置による車両周辺監視処理を示すフローチャートである。
【図４】フロントカメラによって撮像された画像の一例を示す図である。
【図５】サイドカメラによって撮像された画像の一例を示す図である。
【図６】フロントカメラによって撮像された画像を変換した俯瞰画像を示す図である。
【図７】サイドカメラによって撮像された画像を変換した俯瞰画像を示す図である。
【図８】実施例１に係る車両周辺監視装置による領域確定処理を示すフローチャートである。
【図９】自車と立体物との位置関係を説明するための平面図である。
【図１０】フロントカメラによって撮像された画像を変換した俯瞰画像を示す図である。
【図１１】サイドカメラによって撮像された画像を変換した俯瞰画像を示す図である。
【図１２】フロントカメラによる俯瞰画像とサイドカメラによる俯瞰画像をブレンドした画像を示す図である。
【図１３】実施例１に係る車両周辺監視装置による画像合成処理を示すフローチャートである。
【図１４】実施例１に係る車両周辺監視装置によって合成された出力画像の一例を示す図である。
【図１５】フロントカメラの俯瞰画像を優先して合成した場合の出力画像の一例を示す図である。
【図１６】サイドカメラの俯瞰画像を優先して合成した場合の出力画像の一例を示す図である。
【図１７】斜めの境目で区切って合成した場合の出力画像の一例を示す図である。
【図１８】フロントカメラとサイドカメラを１：１の比率で合成した場合の出力画像の一例を示す図である。
【図１９】実施例２に係る車両周辺監視装置によって合成された出力画像の一例を示す図である。
【図２０】実施例３に係る車両周辺監視装置による画像合成処理を示すフローチャートである。
【図２１】実施例３に係る車両周辺監視装置によって合成された出力画像の一例を示す図である。
【符号の説明】
【００５９】
１  車両周辺監視装置
２  撮像部（撮像手段）
３  画像変換部（画像変換手段）
４  領域確定部（領域確定手段）
５  画像合成部（画像合成手段）
６  表示部（表示手段）
２０  車両
２１  フロントカメラ
２２  サイドカメラ
９１  自車
９２  立体物
２１１  境界線
【図１】
0004830380.tif 000002
【図３】
0004830380.tif 000003
【図８】
0004830380.tif 000004
【図９】
0004830380.tif 000005
【図１０】
0004830380.tif 000006
【図１１】
0004830380.tif 000007
【図１２】
0004830380.tif 000008
【図１３】
0004830380.tif 000009
【図２０】
0004830380.tif 000010
【図２】
0004830380.tif 000011
【図４】
0004830380.tif 000012
【図５】
0004830380.tif 000013
【図６】
0004830380.tif 000014
【図７】
0004830380.tif 000015
【図１４】
0004830380.tif 000016
【図１５】
0004830380.tif 000017
【図１６】
0004830380.tif 000018
【図１７】
0004830380.tif 000019
【図１８】
0004830380.tif 000020
【図１９】
0004830380.tif 000021
【図２１】
0004830380.tif 000022