(57)【要約】【課題】表示画像の連続性をより適切に確保できるようにして、画像全体として違和感のない、見やすい表示画像を生成する。【解決手段】車載カメラ１〜４の撮影画像が画像処理装置１０に入力されると、画像処理装置１０の表示領域抽出部１２が、各車載カメラ１〜４の撮影画像全体の中から俯瞰表示画像の生成に使用される車両近傍の路面を映した画像部分を表示領域画像として抽出する。そして、画像処理装置１０に設けられたＡＧＣ処理手段１４が、この表示領域画像に対してＡＧＣ処理を行って表示領域画像の明るさを均一化させる。【選択図】図４
2009017020.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮影された画像を合成して１つの連続した表示画像を生成する画像処理装置において、
前記複数のカメラで撮影された各撮影画像ごとに、撮影画像全体の中から当該画像を撮影したカメラに近い一部の領域の画像部分を表示領域画像として抽出する表示領域画像抽出手段と、
前記表示領域画像抽出手段で抽出された表示領域画像を対象としてＡＧＣ処理を行うＡＧＣ処理手段と、
前記ＡＧＣ処理手段によりＡＧＣ処理が行われた表示領域画像を合成して前記表示画像を生成する表示画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記表示領域画像抽出手段で抽出された表示領域画像に対して、当該表示領域画像を撮影したカメラのレンズの輝度カーブに合わせて、当該表示領域画像のレンズ端部に対応する画像部分の輝度とレンズ中央部に対応する画像部分の輝度との差を減少させるように当該表示領域画像の画像データを補正する第１補正手段を備え、
前記ＡＧＣ処理手段は、前記第１補正手段で補正された表示領域画像を対象としてＡＧＣ処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数のカメラのうち隣り合うカメラで撮影された２つの撮影画像の中の前記表示領域画像同士で撮影対象が重複している重複部分について、前記ＡＧＣ処理手段によりＡＧＣ処理が行われた２つの表示領域画像における重複部分の平均輝度の差分を求め、当該平均輝度の差分を減少させるように２つの表示領域画像のうちの少なくとも一方の表示領域画像の画像データを補正する第２補正手段をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数のカメラが車両周囲を路面に対して斜めの角度で撮影する車載カメラであり、
前記表示領域抽出手段は、各車載カメラの撮影画像から車両周囲の路面の画像を前記表示領域画像として抽出し、
前記表示画像生成手段は、前記ＡＧＣ処理手段によりＡＧＣ処理が行われた車両周囲の路面を表す表示領域画像を車両上方の仮想視点から見下ろした俯瞰画像に変換するとともに合成して１つの連続した俯瞰表示画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
複数のカメラで撮影された画像を合成して１つの連続した表示画像を生成する表示画像生成方法において、
前記複数のカメラで撮影された各撮影画像ごとに、撮影画像全体の中から当該画像を撮影したカメラに近い一部の領域の画像部分を表示領域画像として抽出して、抽出した表示領域画像を対象としてＡＧＣ処理を行い、ＡＧＣ処理が行われた表示領域画像を合成して前記表示画像を生成することを特徴とする表示画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで撮影された画像を合成して１つの連続した表示画像を作成する画像処理装置及び表示画像生成方法に関する。
【背景技術】
【０００２】
従来、車両に搭載された複数の車載カメラで車両周囲の画像を撮影し、これら複数の車載カメラの撮影画像を合成して、１つの表示画像としてナビゲーション用の表示画面などに表示させる技術が提案されている。複数の車載カメラによる撮影画像を１つの表示画像に合成する場合、各撮影画像は車載カメラの取付け位置や向き、特性などに応じて平均的な輝度値にばらつきが見られるため、これら複数の撮影画像を単純に繋ぎ合わせただけでは、表示画像が非常に見づらいものとなることが懸念される。そこで、各撮影画像の画像データに補正を加え、隣り合う撮影画像間で画像に連続性を持たせるようにする試みもなされている（例えば、特許文献１参照。）。
【０００３】
特許文献１には、ＡＧＣ（Automatic Gain Control）機能を有する複数の車載カメラで撮影された複数の撮影画像の輝度値を一旦圧縮し、隣り合う車載カメラで撮影された２つの撮影画像同士で撮影対象が重複している重複部分について、当該重複部分の輝度値の差がなくなるように２つの撮影画像の一方または双方の輝度値をシフトさせた後、これらの撮影画像の輝度値を絶対白の輝度値と絶対黒の輝度値との間に入る範囲で伸長して合成することで、表示画像に白とびや黒つぶれが生じないようにしながら表示画像の連続性を確保するという技術が記載されている。
【特許文献１】特開２００７−７２７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されている技術では、車載カメラでのＡＧＣ機能により画像全体の明るさが自動調整された撮影画像に対して、輝度値の圧縮、隣り合う撮影画像同士での輝度レベルの均一化、一旦圧縮した輝度値のダイナミックレンジ内での伸長といった処理を行うようにしているので、各車載カメラでのＡＧＣ処理による調整量の違いによって輝度レベルを均一化する際の補正量が大きくなる傾向にあり、一旦圧縮した輝度値を補正後に十分に伸長することができずに、表示画像が部分的にぼやけた状態となるといった問題を招くことが懸念される。
【０００５】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、表示画像の連続性をより適切に確保できるようにして、画像全体として違和感のない、見やすい表示画像を生成することができる画像処理装置及び表示画像生成方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明は、複数のカメラで撮影された画像を合成して１つの連続した表示画像を生成するにあたり、複数のカメラで撮影された各撮影画像ごとに、撮影画像全体の中から当該画像を撮影したカメラに近い一部の領域の画像部分を表示領域画像として抽出して、抽出した表示領域画像を対象としてＡＧＣ処理を行い、ＡＧＣ処理が行われた表示領域画像を合成して表示画像を生成する。
【発明の効果】
【０００７】
本発明によれば、撮影画像全体の中でカメラに近い一部の領域の画像部分に対してＡＧＣ処理を行ったものを合成して表示画像を生成するようにしているので、表示画像の連続性をより適切に確保することができ、画像全体として違和感のない、見やすい表示画像を生成することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、以下では、車両に搭載された４つの車載カメラで車両の前方、後方、左右両側方の４方向の画像をそれぞれ撮影し、これら４方向の撮影画像を車両上方の仮想視点から見下ろした俯瞰画像に変換するとともにこれらを合成して、１つの連続した俯瞰表示画像として表示する俯瞰画像表示システムを例に挙げて、このような俯瞰画像表示システムを構成する画像処理装置に本発明を適用した例について説明する。ただし、本発明は、ここで挙げる例に限らず、複数のカメラで撮影した画像を合成して１つの連続した表示画像を生成する、あらゆるタイプの画像処理装置に対して広く適用可能である。
【０００９】
本実施形態の俯瞰画像表示システムの概略構成を図１に示す。この俯瞰画像表示システムは、図１に示すように、本発明を適用した画像処理装置１０を主要な構成要素として備えており、この画像処理装置１０の入力側に、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラがそれぞれ接続されている。また、この画像処理装置１０の出力側には、車室内に設置された液晶表示器などのディスプレイ５が接続されている。また、画像処理装置１０には、ディスプレイ５の表示画面を切り替えるための画面切替スイッチ６も接続されている。なお、本実施形態の俯瞰画像表示システムで用いるディスプレイ５は、ナビゲーションシステム２０などの他のシステムのディスプレイが流用され、画像処理装置１０は、ナビゲーションシステム２０の制御装置との間で連携した制御を行い、画面切替スイッチ６の操作等で要求があった場合に、上述した俯瞰表示画像をディスプレイ５に表示させる。
【００１０】
フロントカメラ１は、図２に示すように、車両前方の例えばフロントグリル近傍などに設置され、車両前方の所定の領域Ａ１の画像を路面に対して斜めの角度で撮影する。また、リアカメラ２は、車両後方の例えばルーフスポイラーなどに設置され、車両後方の所定の領域Ａ２の画像を路面に対して斜めの角度で撮影する。また、右サイドカメラ３は、車両右側のサイドミラーなどに設置され、車両右側方の所定の領域Ａ３の画像を路面に対して斜めの角度で撮影する。さらに、左サイドカメラ４は、車両左側のサイドミラーなどに設置され、車両左側方の所定の領域Ａ４の画像を路面に対して斜めの角度で撮影する。
【００１１】
これら４つの車載カメラ１〜４が撮影する領域Ａ１〜Ａ４は、それぞれ隣り合う他の車載カメラが撮影する領域と一部が互いに重複している。すなわち、フロントカメラ１が撮影する領域Ａ１と右サイドカメラ３が撮影する領域Ａ３とは車両右前方の一部の領域において重複し、フロントカメラ１が撮影する領域Ａ１と左サイドカメラ４が撮影する領域Ａ４とは車両左前方の一部の領域において重複する。また、リアカメラ２が撮影する領域Ａ２と右サイドカメラ３が撮影する領域Ａ３とは車両右後方の一部の領域において重複し、リアカメラ２が撮影する領域Ａ２と左サイドカメラ４が撮影する領域Ａ４とは車両左後方の一部の領域において重複する。
【００１２】
本実施形態の俯瞰画像表示システムでは、以上の４つの車載カメラ１〜４で撮影した各領域Ａ１〜Ａ４の画像をそれぞれ画像処理装置１０に取り込み、画像処理装置１０において、これら各車載カメラ１〜４の撮影画像を用いて例えば図３に示すような俯瞰表示画像を生成して、ディスプレイ５に表示させる。図３に示す俯瞰表示画像は、車両の上方から車両周囲の路面を見下ろした様子を表す画像であり、各車載カメラ１〜４の撮影画像の車両近傍の路面を映した画像部分を、車両上方の仮想視点から見下ろした俯瞰画像に変換して繋ぎ合せることで、一つの連続した画像としたものである。
【００１３】
この図３に示す俯瞰表示画像では、車両前方の路面を表す画像領域Ｂ１にフロントカメラ１の撮影画像が用いられ、車両後方の路面を表す画像領域Ｂ２にリアビューカメラ２の撮影画像が用いられる。また、車両右側の路面を表す画像領域Ｂ３に右サイドカメラ３の撮影画像が用いられ、車両左側の路面を表す画像領域Ｂ４に左サイドカメラ４の撮影画像が用いられる。また、画像領域Ｂ５〜Ｂ８は隣り合う２つの車載カメラのどちらでも撮影できる路面の領域であり、２つの車載カメラのいずれか一方の撮影画像、或いは双方の撮影画像が所定の規則に従って選択的に用いられる。なお、図３に示す俯瞰表示画像において、中央部に表示されている車両はコンピュータグラフィックス（ＣＧ）画像であり、画像処理装置１０で俯瞰表示画像を生成する際に画像上に重畳されるものである。
【００１４】
以上のように、本実施形態の俯瞰画像表示システムにおいてディスプレイ５に表示される俯瞰表示画像は、それぞれ取付け位置や向きが異なる４つの車載カメラ１〜４で撮影された画像の一部を視点変換して繋ぎ合わせた画像であるため、各車載カメラ１〜４の撮影画像間での明るさのばらつきが大きいと、画像の連続性が損なわれて、１つの画像としては非常に見づらいものとなってしまうことが懸念される。そこで、本実施形態の俯瞰画像表示システムでは、画像処理装置１０が、各車載カメラ１〜４の撮影画像ごとに、俯瞰表示画像に用いられる画像部分、すなわち、車両近傍の路面領域の画像部分を表示領域画像として抽出し、抽出した表示領域画像に対して明るさを調整するための各種の処理を行った上で、これら表示領域画像を視点変換して合成し、俯瞰表示画像を生成するようにしている。
【００１５】
図４は、画像処理装置１０の内部構成を示すブロック図である。画像処理装置１０は、図４に示すように、入力用フレームメモリ１１ａ〜１１ｄと、表示領域画像抽出部１２と、レンズ対応補正部１３と、ＡＧＣ処理部１４と、画像間調整用補正部１５と、表示画像生成部１６と、出力用フレームメモリ１７とを備える。
【００１６】
この画像処理装置１０では、４つの車載カメラ１〜４で撮影された車両周囲の領域Ａ１〜Ａ４の画像がそれぞれ入力されると、これら各車載カメラ１〜４の撮影画像の画像データが、入力用フレームメモリ１１ａ〜１１ｄにフレーム単位で一時的に格納される。
【００１７】
表示領域画像抽出部１２は、入力用フレームメモリ１１ａ〜１１ｄに格納された各車載カメラ１〜４の撮影画像ごとに、各撮影画像全体の中から俯瞰表示画像に用いる一部の画像部分を表示領域画像として抽出する処理を行う。具体的には、表示領域画像抽出部１２は、図５に示すように、車載カメラで撮影された撮影画像Ｘから当該画像を撮影した車載カメラに近い、つまり車両近傍の路面を映した一部の画像部分Ｙを表示領域画像として抽出する。
【００１８】
簡単のために、車載カメラの撮影画像と表示領域画像との関係を俯瞰画像に置き換えた図６を用いて説明すると、表示領域画像抽出部１２は、図６（ａ）に示すように、フロントカメラ１の撮影画像Ｘ１全体の中で車両近傍の一部の領域の画像部分Ｙ１を表示領域画像として抽出し、リアカメラ２の撮影画像Ｘ２全体の中で車両近傍の一部の領域の画像部分Ｙ２を表示領域画像として抽出する。また、表示領域画像抽出部１２は、図６（ｂ）に示すように、右サイドカメラ３の撮影画像Ｘ３全体の中で車両近傍の一部の領域の画像部分Ｙ３を表示領域画像として抽出し、左サイドカメラ４の撮影画像Ｘ４全体の中で車両近傍の一部の領域の画像部分Ｙ４を表示領域画像として抽出する。なお、各車載カメラ１〜４の撮影画像の中で車両近傍の路面が映り込む部分は、各車載カメラ１〜４の取付け位置や取付け角度により異なるため、予め実験などを行って各車載カメラ１〜４ごとに車両近傍の路面が映り込む範囲を決定しておく。これら表示領域画像抽出部１２で抽出された各表示領域画像の画像データは、入力用フレームメモリ１１ａ〜１１ｄから読み出されてレンズ対応補正部１３に送られる。
【００１９】
レンズ対応補正部（第１補正手段）１３は、表示領域画像抽出部１２で抽出された各表示領域画像に対して、当該表示領域画像を撮影した車載カメラのレンズの輝度カーブに合わせて、当該表示領域画像のレンズ端部に対応する画像部分の輝度とレンズ中央部に対応する画像部分の輝度との差を減少させるように当該表示領域画像の画像データを補正する。
【００２０】
車載カメラ１〜４の撮影画像から抽出された各表示領域画像は、図７に示すように、元の撮影画像を撮影した車載カメラ１〜４のレンズ特性によりレンズ端部での光量が少なくなるため、レンズ端部に対応する画像部分の輝度値がレンズ中央部に対応する画像部分の輝度値に比べて低くなる特性がある。レンズ対応補正部１３は、このような各撮影画像ごとのレンズ特性に応じた表示領域画像内における輝度値のばらつきを、車載カメラ１〜４のレンズの輝度カーブなどに合わせて補正する。車載カメラ１〜４のレンズ特性に応じた表示領域画像の輝度値のばらつきは、予め実験などを行うことで測定できる。この表示領域画像の輝度値のばらつきを減少させる補正量を、例えば表示領域画像の各画素のレンズ中心からの距離と必要な補正量とを対応付けたマップ等を作成して記憶させておくことで、レンズ対応補正部１３は、マップを用いた簡単な処理で各表示領域画像の画像データを適切に補正することができる。このレンズ対応補正部１３によって車載カメラ１〜４のレンズ特性に応じて輝度値の補正が行われた各表示領域画像の画像データは、ＡＧＣ処理部１４に送られる。なお、車載カメラ１〜４の撮影画像から表示領域画像として抽出された画像部分に車載カメラ１〜４のレンズ特性による輝度の差が現われていない場合には、このレンズ対応補正部１３による補正は省略することもできる。
【００２１】
ＡＧＣ処理部１４は、レンズ対応補正部１３で補正された各表示領域画像を対象としてＡＧＣ（Automatic Gain Control）処理を行う。ＡＧＣ処理は、入力信号を増幅する際のゲインを出力レベルが一定となるように自動的に調整する処理である。ＡＧＣ処理部１４は、表示領域画像を対象としてこのＡＧＣ処理を行うことで、表示領域画像の明るさを均一化する。
【００２２】
カメラの撮影画像を合成して表示画像を生成するシステムにおいて画像のＡＧＣ処理を行う場合、ＡＧＣ機能を有するカメラを用いて撮影画像全体に対してＡＧＣ処理を行うのが一般的である。しかしながら、本実施形態の俯瞰画像表示システムにおいて、車載カメラ１〜４の撮影画像全体に対してＡＧＣ処理を行うと、撮影画像全体の中で俯瞰表示画像の生成に使用される車両近傍の路面を映した画像部分である表示領域画像に、それ以外の背景となる部分も含めたＡＧＣ処理の影響が現われることになる。そして、各車載カメラ１〜４の撮影画像の間で、各撮影画像中の背景となる部分の明るさに大きな差があると、俯瞰表示画像の生成に使用される表示領域画像の間に大きな明るさの差が生まれてしまう。
【００２３】
すなわち、本実施形態の俯瞰画像表示システムで俯瞰表示画像の生成に使用される表示領域画像は、車載カメラ１〜４の撮影画像全体の中で車両近傍の路面を映した一部の画像部分であり、これら表示領域画像の明るさは被写体が共通しているため各撮影画像間でそれほど大きな差がないが、それ以外の背景となる部分は、遠方の空が映り込んでいる場合や建物が映り込んでいる場合など各撮影画像ごとに様々であり、明るさに大きな差が生じている場合が多い。そのため、撮影画像全体に対してＡＧＣ処理を行ったものから路面を映した表示領域画像を抽出すると、本来明るさに大きな差がないはずの表示領域画像同士にＡＧＣ処理によって大きな明るさの差が生まれ、これらの表示領域画像を単純に合成して俯瞰表示画像を生成すると、俯瞰表示画像の連続性が大きく損なわれる場合がある。
【００２４】
上述した特許文献１に記載の技術では、このような問題への対策として、ＡＧＣ処理後の撮影画像の輝度値を一旦圧縮し、隣り合う撮影画像同士で輝度レベルが均一となるように補正を加えた後、ダイナミックレンジの範囲内で輝度値を伸長するようにしているが、輝度レベルを均一化する際の補正量が大きくなるため、一旦圧縮した輝度値を補正後に十分に伸長することができず、表示画像が部分的にぼやけた状態となることが懸念される。
【００２５】
そこで、本実施形態の俯瞰画像表示システムにおいては、画像処理装置１０内部にＡＧＣ処理部１４を設け、車載カメラ１〜４の撮影画像から表示領域画像として抽出された画像部分、すなわち車両近傍の路面を映した画像部分を対象としてＡＧＣ処理を行うことで、表示領域画像間で大きな明るさの差が生じないようにしながら、各表示領域画像の明るさを均一化して、俯瞰表示画像の連続性をより適切に確保できるようにしている。このＡＧＣ処理部１４によってＡＧＣ処理が行われた表示領域画像の画像データは、画像間調整用補正部１５に送られる。
【００２６】
画像間調整用補正部（第２補正手段）１５は、４つの車載カメラ１〜４のうち隣り合う車載カメラで撮影された２つの撮影画像の中の表示領域画像同士で撮影対象が重複している重複部分について、ＡＧＣ処理部１４によりＡＧＣ処理が行われた２つの表示領域画像における重複部分の平均輝度の差分を求め、当該平均輝度の差分を減少させるように２つの表示領域画像のうちの少なくとも一方の表示領域画像の画像データを補正する。
【００２７】
すなわち、フロントカメラ１の撮影画像から抽出した表示領域画像と右サイドカメラ３の撮影画像から抽出した表示領域画像との間では、車両右前方の路面を映した部分が重複している。画像間調整用補正部１５は、フロントカメラ１の撮影画像から抽出されて、レンズ対応補正部１３での補正及びＡＧＣ処理部１４でのＡＧＣ処理が行われた表示領域画像の車両右前方の路面を映した重複部分の平均輝度を算出するとともに、右サイドカメラ３の撮影画像から抽出されて、レンズ対応補正部１３での補正及びＡＧＣ処理部１４でのＡＧＣ処理が行われた表示領域画像の車両右前方の路面を映した重複部分の平均輝度を算出して、これら２つの表示領域画像それぞれの重複部分における平均輝度の差分を求め、その差分がなくなるように、すなわち２つの表示領域画像の重複部分における平均輝度が略等しくなるように、２つの表示領域画像のうちの少なくとも一方の表示領域画像の画像データを補正する。
【００２８】
また、フロントカメラ１の撮影画像から抽出した表示領域画像と左サイドカメラ４の撮影画像から抽出した表示領域画像との間では、車両左前方の路面を映した部分が重複しているので、画像間調整用補正部１５は、これら２つの表示領域画像に対して同様の処理を行い、それぞれの表示領域画像の重複部分における平均輝度の差分がなくなるように、２つの表示領域画像のうちの少なくとも一方の表示領域画像の画像データを補正する。
【００２９】
また、リアカメラ２の撮影画像から抽出した表示領域画像と右サイドカメラ３の撮影画像から抽出した表示領域画像との間では、車両右後方の路面を映した部分が重複しているので、画像間調整用補正部１５は、これら２つの表示領域画像に対して同様の処理を行い、それぞれの表示領域画像の重複部分における平均輝度の差分がなくなるように、２つの表示領域画像のうちの少なくとも一方の表示領域画像の画像データを補正する。
【００３０】
また、リアカメラ２の撮影画像から抽出した表示領域画像と左サイドカメラ４の撮影画像から抽出した表示領域画像との間では、車両左後方の路面を映した部分が重複しているので、画像間調整用補正部１５は、これら２つの表示領域画像に対して同様の処理を行い、それぞれの表示領域画像の重複部分における平均輝度の差分がなくなるように、２つの表示領域画像のうちの少なくとも一方の表示領域画像の画像データを補正する。
【００３１】
なお、ＡＧＣ処理が行われた隣り合う表示領域画像の間で明るさの差がほとんど見られない場合には、これら２つの表示領域画像間では、画像間調整用補正部１５による補正は行わなくてもよい。
【００３２】
表示画像生成部１６は、４つの車載カメラ１〜４の撮影画像から表示領域画像抽出部１２により抽出されて、レンズ対応補正部１３での輝度補正、ＡＧＣ処理部１４でのＡＧＣ処理、画像間調整用補正部１５での輝度補正がそれぞれ行われた各表示画像領域を、それぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換するとともに合成して、１つの連続した俯瞰表示画像を生成する。ここで、各車載カメラ１〜４の撮影画像と俯瞰画像との関係は、各車載カメラ１〜４の取付け位置や取付け角度、レンズ特性などから一意に決定されるため、各車載カメラ１〜４の撮影画像から抽出した表示領域画像を俯瞰画像に変換する処理は、変換マップ等を利用してメモリ上の座標変換をするだけで実現可能である。
【００３３】
表示画像生成部１６により生成された俯瞰表示画像の画像データは、出力用フレームメモリ１７に格納され、フレームごとにディスプレイ５に出力される。これにより、例えば図３に示したように、車両の上方から車両周囲の路面を見下ろした様子を表す俯瞰表示画像がディスプレイ５に表示される。
【００３４】
図８は、本実施形態の俯瞰画像表示システムにおいて、４つの車載カメラ１〜４の撮影画像の画像データが画像処理装置１０の入力用フレームメモリ１１ａ〜１１ｄにそれぞれ蓄積されるたびに、画像処理装置１０で実行される俯瞰表示画像の生成に関する一連の処理の流れを示すフローチャートである。
【００３５】
本実施形態の俯瞰画像表示システムにおいて、４つの車載カメラ１〜４の撮影画像の画像データが画像処理装置１０のフレームメモリ１１ａ〜１１ｄにそれぞれ蓄積されると、まず、ステップＳ１において、表示領域画像抽出部１１が、各撮影画像それぞれについて、撮影画像全体の中から当該画像を撮影した車載カメラに近い一部の領域を映した画像部分、具体的には車両近傍の路面を映した画像部分を表示領域画像として抽出する処理を行う。
【００３６】
次に、ステップＳ２において、レンズ対応補正部１３が、ステップＳ１で各車載カメラ１〜４の撮影画像から抽出された各表示領域画像に対して、車載カメラのレンズ端部に対応する画像部分とレンズ中央部に対応する画像部分とで輝度の差を減少させるように、各表示領域画像の画像データを補正する処理を行う。
【００３７】
次に、ステップＳ３において、ＡＧＣ処理部１３が、ステップＳ２で車載カメラのレンズ特性に応じた補正が行われた各表示領域画像に対して、画像の明るさを均一化させるためのＡＧＣ処理を行う。
【００３８】
次に、ステップＳ４において、画像間調整用補正部１５が、隣り合う２つの表示領域画像間の重複部分について、ステップＳ３でＡＧＣ処理が行われた２つの表示領域画像の重複部分の平均輝度の差をなくすように、これら２つの表示領域画像のうちの少なくとも一方の表示領域画像の画像データを補正する処理を行う。
【００３９】
次に、ステップＳ５において、表示画像生成部１６が、各表示領域画像を俯瞰画像に視点変換するとともに、これら各表示領域画像を合成し、ディスプレイ５に表示させる俯瞰表示画像を生成する。
【００４０】
本実施形態の俯瞰画像表示システムにおいて、画像処理装置１０は、４つの車載カメラ１〜４の撮影画像の画像データが入力用フレームメモリ１１ａ〜１１ｄにそれぞれ蓄積される毎に、以上のステップＳ１〜ステップＳ５の処理を繰り返し、画像全体として違和感のない、見やすい俯瞰表示画像を生成する。
【００４１】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の俯瞰画像表示システムでは、画像処理装置１０が、各車載カメラ１〜４の撮影画像全体の中から俯瞰表示画像の生成に使用される車両近傍の路面を映した画像部分を表示領域画像として抽出し、この表示領域画像に対してＡＧＣ処理を行って表示領域画像の明るさを均一化させるようにしている。したがって、この俯瞰画像表示システムによれば、表示領域画像間で大きな明るさの差が生じないようにしながら、各表示領域画像の明るさを均一化して、俯瞰表示画像の連続性をより適切に確保することができ、画像全体として違和感のない、見やすい俯瞰表示画像をディスプレイ５に表示させることができる。
【００４２】
また、この俯瞰画像表示システムでは、画像処理装置１０が、車載カメラ１〜４の撮影画像から抽出した表示領域画像に対してＡＧＣ処理を行う前に、各表示領域画像に対して、車載カメラのレンズ端部に対応する画像部分とレンズ中央部に対応する画像部分とで輝度の差を減少させる補正を行うようにしているので、より違和感のない見やすい俯瞰表示画像をディスプレイ５に表示させることができる。
【００４３】
また、この俯瞰画像表示システムでは、画像処理装置１０が、車載カメラ１〜４の撮影画像から抽出した表示領域画像に対してＡＧＣ処理を行った後、隣り合う２つの表示領域画像の重複部分の平均輝度の差をなくすように、これら２つの表示領域画像のうちの少なくとも一方の画像データを補正するようにしているので、より画像の連続性が確保された見やすい俯瞰表示画像をディスプレイ５に表示させることができる。
【００４４】
なお、以上説明した俯瞰画像表示システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。
【図面の簡単な説明】
【００４５】
【図１】本発明を適用した俯瞰画像表示システムの概略構成を示すブロック図である。
【図２】４つの車載カメラの取り付け位置及び各車載カメラが撮影する領域を説明する図である。
【図３】ディスプレイに表示される俯瞰表示画像の一例を示す図である。
【図４】画像処理装置の詳細な構成を示すブロック図である。
【図５】車載カメラの撮影画像全体の中で表示領域画像として抽出する画像部分を説明する図である。
【図６】車載カメラの撮影画像全体と表示領域画像との関係を説明する図であり、（ａ）はフロントカメラの撮影画像と表示領域画像との関係及びリアカメラの撮影画像と表示領域画像との関係、（ｂ）は右サイドカメラの撮影画像と表示領域画像との関係及び左サイドカメラの撮影画像と表示領域画像との関係をそれぞれ示す図である。
【図７】車載カメラのレンズ特性に応じた表示領域画像の輝度値のばらつきを説明する図である。
【図８】本発明を適用した俯瞰画像表示システムにおいて、画像処理装置で実行される俯瞰表示画像の生成に関する一連の処理の流れを示すフローチャートである。
【符号の説明】
【００４６】
１  フロントカメラ
２  リアカメラ
３  右サイドカメラ
４  左サイドカメラ
５  ディスプレイ
１０  画像処理装置
１２  表示領域画像抽出部
１３  レンズ対応補正部（第１補正手段）
１４  ＡＧＣ処理部
１５  画像間調整用補正部（第２補正手段）
１６  表示画像生成部
【図１】
2009017020.tif 000003
【図２】
2009017020.tif 000004
【図３】
2009017020.tif 000005
【図４】
2009017020.tif 000006
【図５】
2009017020.tif 000007
【図６】
2009017020.tif 000008
【図７】
2009017020.tif 000009
【図８】
2009017020.tif 000010