(57)【特許請求の範囲】
【請求項１】
車両外側に搭載された車両周辺を撮像する撮像手段から連続して入力される画像を処理する画像処理装置であって、
入力された画像を分割して得られる複数の領域ごとに、前記画像における画素の平均輝度である第１平均輝度を導出する平均導出手段と、
前記複数の領域のうち、前記第１平均輝度が閾値以下となる対象領域を特定する特定手段と、
前記対象領域に含まれる画素に基づいて、前記画像の輝度を調整する画像調整手段と、
前記対象領域に含まれる画素の平均輝度である第２平均輝度に基づいて、当該第２平均輝度が導出された画像の後に入力される画像の処理に適用する前記閾値を導出する閾値導出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像調整手段は、前記第２平均輝度に基づいて、前記画像の輝度を調整することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記画像調整手段は、前記対象領域に含まれる画素の輝度の最大値に基づいて、前記画像の輝度を調整することを特徴とする画像処理装置。
【請求項４】
請求項１又は請求項２に記載の画像処理装置において、
前記撮像手段は、夫々異なる方角へ向けて車両外側に複数搭載されるものであり、
更に、前記複数の撮像手段から入力され、前記画像調整手段により輝度が調整された前記画像を、前記車両の周辺の様子を示す一の車両周辺画像に合成する合成手段を備えたことを特徴とする画像処理装置。
【請求項５】
車両外側に搭載された車両周辺を撮像する撮像手段から連続して入力される画像を処理する画像処理方法であって、
入力された画像を分割して得られる複数の領域ごとに、前記画像における画素の平均輝度である第１平均輝度を導出する工程と、
前記複数の領域のうち、前記第１平均輝度が閾値以下となる対象領域を特定する工程と、
前記対象領域に含まれる画素に基づいて、前記画像の輝度を調整する工程と、
前記対象領域に含まれる画素の平均輝度である第２平均輝度に基づいて、当該前記第２平均輝度が導出された画像の後に入力される画像の処理に適用する前記閾値を導出する工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラ画像の輝度を調整する技術に関する。
【背景技術】
【０００２】
カメラから入力された画像を処理して表示画面へ表示させる技術が知られている。
【０００３】
例えば、カメラから入力された画像における画素に充てられる輝度の平均（平均輝度）に基づいて、画像の輝度を調整（補正）する技術がある。
【０００４】
具体的には、画像における全ての画素に充てられる輝度に対し、その平均輝度を基準に低い場合は、その低さに応じて所定％高くし、または、その輝度が平均輝度を基準に高い場合は、その高さに応じて所定％低くする補正を行う（以後、この補正を平均輝度補正という）。
【０００５】
このように、画像に対して平均輝度補正をすることによって、平均輝度を基準に、暗すぎる部分が明るく、かつ、明るすぎる部分が暗くなり、画像全体として看者に対し落ち着いた印象を与えることができ、結果、看者に対し看やすくすることができる。
【０００６】
一方で、画像の一部分が他の部分と比べて極端に明るい場合に、単純に平均輝度補正を行うと画像が看づらくなってしまうという不具合が発生する。
【０００７】
例えば、車両外側に搭載のカメラが撮像した車両周辺画像の一部に、対向車線を走行する車両のヘッドライトの光が含まれる場合は、その画像の平均輝度を算出すると、算出した平均輝度は、ヘッドライトの光が含まれない場合と比べてかなり高くなる。高くなったその平均輝度に基づいて平均輝度補正を行うと、高い平均輝度を基準にして画像全体の輝度が落ち着くので、全体的に暗くなり、かつ、もともと暗い部分が明るくならず、看者に対し看づらくしてしまうという不具合が発生する。
【０００８】
そこで、平均輝度を算出する際に、画像における画素に充てられた輝度が閾値を超えている場合は、その輝度を平均輝度の算出から除外する。つまり、除外された輝度以外の輝度に対する平均輝度を算出して平均輝度補正を実行することによって、画像の一部に高い輝度を有する画像であっても、その一部の高い輝度の影響により、補正後の画像が全体的に暗くなり、かつ、もともと暗い部分が明るくならないという不具合の発生を解消することができる。このような技術は、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−１２０２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、車載カメラが連続して撮像する画像における輝度分布のバリエーションは、車両が様々な状況に置かれるため多様であり、このような画像に対し一定の閾値を用いて平均輝度を算出しても、最適な平均輝度補正がされない虞がある。例えば、夜間に得られる画像において極端に明るい部分の輝度は、昼間に得られる画像においては適正な明るさとなる。このため、一定の閾値を用いた場合、夜間の画像もしくは昼間の画像において、適切な補正がなされない虞がある。
【００１１】
本発明は、上記課題に鑑みてなされたものであり車載カメラが撮像する画像に対し、最適な輝度補正をすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１の発明は、車両外側に搭載された車両周辺を撮像する撮像手段から連続して入力される画像を処理する画像処理装置であって、入力された画像を分割して得られる複数の領域ごとに、前記画像における画素の平均輝度である第１平均輝度を導出する平均導出手段と、前記複数の領域のうち、前記第１平均輝度が閾値以下となる対象領域を特定する特定手段と、前記対象領域に含まれる画素に基づいて、前記画像の輝度を調整する画像調整手段と、前記対象領域に含まれる画素の平均輝度である第２平均輝度に基づいて、当該第２平均輝度が導出された画像の後に入力される画像の処理に適用する前記閾値を導出する閾値導出手段と、
を備えることを特徴とする。
【００１３】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記画像調整手段は、前記第２平均輝度に基づいて、前記画像の輝度を調整することを特徴とする。
【００１４】
また、請求項３の発明は、請求項１に記載の画像処理装置において、前記画像調整手段は、前記対象領域に含まれる画素の輝度の最大値に基づいて、前記画像の輝度を調整することを特徴とする。
【００１５】
また、請求項４の発明は、請求項１又は請求項２に記載の画像処理装置において、前記撮像手段は、夫々異なる方角へ向けて車両外側に複数搭載されるものであり、更に、前記複数の撮像手段から入力され、前記画像調整手段により輝度が調整された前記画像を、前記車両の周辺の様子を示す一の車両周辺画像に合成する合成手段を備えたことを特徴とする。
【００１６】
また、請求項５の発明は、車両外側に搭載された車両周辺を撮像する撮像手段から連続して入力される画像を処理する画像処理方法であって、入力された画像を分割して得られる複数の領域ごとに、前記画像における画素の平均輝度である第１平均輝度を導出する工程と、前記複数の領域のうち、前記第１平均輝度が閾値以下となる対象領域を特定する工程と、前記対象領域に含まれる画素に基づいて、前記画像の輝度を調整する工程と、前記対象領域に含まれる画素の平均輝度である第２平均輝度に基づいて、当該前記第２平均輝度が導出された画像の後に入力される画像の処理に適用する前記閾値を導出する工程と、
を備えることを特徴とする。
【発明の効果】
【００１７】
請求項１から４の発明によれば、車両外側に搭載された車両周辺を撮像する撮像手段から連続して入力される画像を分割して複数の領域ごとに平均輝度（第１平均輝度）を導出し、複数の領域のうち、第１平均輝度が閾値以下となる対象領域に含まれる画素に基づいて画像の輝度を調整するとともに、対象領域の平均輝度（第２平均輝度）を導出して、導出対象とした画像の後の画像の処理に適用する閾値を導出する。従って、様々な状況に置かれる車両に搭載の撮像手段が撮像する、多様な輝度分布のバリエーションを有する画像を最適に画像調整することができる。
【００１８】
また、請求項４の発明によれば、請求項１に記載の画像処理装置において、第２平均輝度に基づいて画像の輝度を調整する。従って、画像において、輝度が高い部分と低い部分とが多い場合に、第２平均輝度を基準に画像全体の輝度を落ち着かせつつ、極端に輝度が高い部分が影響して全体的に暗くなり、かつ、もともと暗い部分が明るくならないことを防ぐことができる。
【００１９】
また、請求項３の発明によれば、請求項１に記載の画像処理装置において、対象領域に含まれる画素の輝度の最大値に基づいて画像の輝度を調整する。従って、画像において、輝度が高い部分が多い場合に、最大の輝度を基準に画像全体の輝度を落ち着かせることができ、輝度が高い部分の画質の劣化を防ぐとともに、極端に輝度が高い部分が影響して全体的に暗くなり、かつ、もともと暗い部分が明るくならないことを防ぐことができる。
【００２０】
また、請求項４の発明によれば、請求項１から請求項３の何れかに記載の画像処理装置において、撮像手段は、夫々異なる方角へ向けて車両外側に複数搭載されるものであり、更に、複数の撮像手段から入力され、画像調整手段により輝度が調整された画像を、車両の周辺の様子を示す一の車両周辺画像に合成する合成手段を備える。従って、車両周辺画像が車両の状況が変化することにより変わっても適切な補正ができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、車両を示す図である。
【図２】図２は、車両のシステムブロック図である。
【図３】図３は、車両のシステムブロック図である。
【図４】図４は、画像処理を説明するフローチャート図である。
【図５】図５は、画像処理を説明するフローチャート図である。
【図６】図６は、車両を示す図である。
【図７】図７は、画像処理を説明する図である。
【図８】図８は、車載カメラ画像を示す図である。
【図９】図９は、車載カメラ画像を示す図である。
【図１０】図１０は、画像処理を説明するフローチャート図である。
【図１１】図１１は、画像処理を説明する図である。
【図１２】図１２は、画像処理を説明するフローチャート図である。
【図１３】図１３は、画像処理を説明する図である。
【図１４】図１４は、画像処理を説明するフローチャート図である。
【図１５】図１５は、画像処理を説明するフローチャート図である。
【発明を実施するための形態】
【００２２】
本発明の代表の実施例である車載の車両周辺画像表示システムを、以下、添付図面を参照しながら説明する。
＜代表の実施例＞
[車両]
まず、駆動源であるエンジン又は走行電動モータを搭載した車両に搭載される車両周辺画像表示システムを図１及び図２に基づいて説明する。
【００２３】
車両周辺画像表示システムＳ１は、画像処理システムＳ２、車載機１００、及び、種々のスイッチ、並びに、センサが車載ネットワークＮへ電気的に接続して構成されている。
【００２４】
画像処理システムＳ２は、制御装置１０、撮像システムＳ３である第１撮像部２００、第２撮像部２０１、第３撮像部２０２、及び、第４撮像部２０３から構成されている。
【００２５】
制御装置１０は、車両１の助手席下に設置される。車載機１００は、車両１のダッシュボードにおける運転席と助手席との間に設置される。第１撮像部２００は車両１のフロントに設置され、第２撮像部２０１は車両１のレフトサイドミラー２に設置され、第３撮像部２０２は車両１のライトサイドミラー３に設置され、第４撮像部２０３は車両１のバックに設置される。種々のスイッチ並びにセンサはそれぞれ適宜目的を達成するための位置に配置される。車載ネットワークＮは車両１のエンジンルームやピラーなど車両１のボディ内部に配設されている。
（車両周辺画像表示システム）
車両周辺画像表示システムＳ１は、図２に示すように、画像処理システムＳ２、及び、車載機１００により構成されている。
（画像処理システム）
画像処理システムＳ２は、図２に示すように、制御装置１０、及び、撮像システムＳ３により構成されている。
（撮像システム）
撮像システムＳ３は、図２に示すように、第１撮像部２００、第２撮像部２０１、第３撮像部２０２、及び、第４撮像部２０３により構成されている。
【００２６】
第１撮影部２００は、車載カメラであるフロントカメラであり、第２撮像部２０１は、車載カメラであるレフトサイドカメラであり、第３撮像部２０２は、車載カメラであるライトサイドカメラであり、第４撮像部２０３は、車載カメラであるバックカメラである。これらの撮像部はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００２７】
第１撮像部２００は、車両１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向へ向けられている。第２撮像部２０１は、レフトサイドミラー２に設けられており、その光軸は車両１の直進方向を基準にした左方向に沿って外部へ向けられている。第３撮像部２０２は、ライトサイドミラー３に設けられており、その光軸は車両１の直進方向を基準にした右方向に沿って外部へ向けられている。第４撮像部２０３は、車両１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向の逆方向へ向けられている。なお、第１撮像部２００や第４撮像部２０３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２８】
これらの第１撮像部２００〜第４撮像部２０３のレンズとしては魚眼レンズなどが採用されており、第１撮像部２００〜第４撮像部２０３は１８０度以上の画角を有している。このため、これら４つの撮像部を利用することで、車両１の全周囲の撮影が可能となっている。
（制御装置）
制御装置１０は、図２に示すように、制御部１１、ＡＧＣ部１２、不揮発性記憶部１３、揮発性記憶部１４、及び、画像調整部１５により構成される。
【００２９】
制御部１１は、画像輝度調整部１６、画像合成部１７、及び、画像表示部１８を備える。つまり、制御部１１は、後述する、画像輝度調整機能、画像合成機能、及び、画像表示機能を発揮する。
【００３０】
具体的に、制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどより構成されるマイクロコンピュータである。ＣＰＵが、ＲＯＭに記憶されているその機能を発揮するためのプログラムを、ワーキングエリアとなるＲＡＭを利用しながら実行する。
【００３１】
ＡＧＣ部１２は、画像輝度算出部１９を備える。つまり、ＡＧＣ部１２は、後述する、画像輝度算出機能を発揮する。
【００３２】
更に、画像輝度算出部１９は、図３に示すように、平均輝度算出部２０、スレッシュ値算出部２１、及び、ゲイン調整値算出部２２を備える。つまり、画像輝度算出部１９は、後述する、平均輝度算出機能、スレッシュ値算出機能、及び、ゲイン調整値算出機能を発揮する。
【００３３】
具体的には、ＡＧＣ部１２は、電子回路等より構成される。撮像システムＳ３によって撮像された画像が電子回路へ入力され、電子回路等は入力された画像に基づいてその機能を発揮させる。
【００３４】
不揮発性記憶部１３は、ＥＥＰＲＯＭより構成される。制御部１１が種々の機能を発揮する際のパラメータを記憶させる、バックアップメモリ等の役割を果たす。
【００３５】
揮発性記憶部１４は、ＲＡＭより構成される。制御部１１が、合成処理した画像を一定量記憶させるとともに、画像表示機能により記憶させた画像を表示させると、表示させた画像を消去して最新の画像を記憶させる。つまり、ビデオメモリ等の役割を果たす。
【００３６】
画像調整部１５は、制御部１１の画像合成機能により複数の画像から合成された１枚の車両周辺画像の輪郭を補正する輪郭補正機能、１枚の車両周辺画像のコントラストを補正するコントラスト補正機能、１枚の車両周辺画像の彩度を補正する彩度補正機能などを発揮する。
【００３７】
具体的に、画像調整部１５は、電子回路等により構成される。制御部１１により合成された１枚の車両周辺画像が電子回路に入力され、電子回路は入力された画像に基づいてその機能を発揮させる。
（車載機）
車載機１００は、図２に示すように、表示・操作部１０１、及び、制御部１１２より構成される。
【００３８】
表示・操作部１０１は表示機能、及び、操作機能を発揮する。
【００３９】
具体的に、表示・操作部１０１はタッチパネルディスプレイにより構成される。表示・操作部１０１は、制御部１１により画像などの表示データを表示制御されることによってデータ表示を行う。また、表示するアイコンがユーザによりタッチされると、表示・操作部１０１はアイコンが目的とする機能を制御部１１に発揮させる。
【００４０】
制御部１０２は、前述した表示制御機能、ナビゲーション機能、オーディオ機能、及び、放送データ通信機能などを発揮する。
【００４１】
具体的に、制御部１０２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどより構成される。ＣＰＵが、ＲＯＭに記憶されているその機能を発揮するためのプログラムを、ワーキングエリアとなるＲＡＭを利用しながら実行する。
【００４２】
車載機１００は、この他にもナビゲーション機能を発揮する際に必要となる地図データを記憶する大容量記憶装置、オーディオ機能を発揮する際に必要となるオーディオ再生装置、放送データ通信機能を発揮する際に必要となる通信部などが備わっている。
（スイッチ・センサ）
車載ネットワークＮには、制御装置１０や車載機１００と共に、種々のスイッチ、並びに、センサが接続されている。そのスイッチ並びにセンサには、例えば、照明スイッチ３００、ワイパースイッチ３０１、照度センサ３０２、第１設定スイッチ３０３、及び、第２設定スイッチ３０４がある。
【００４３】
照明スイッチ３００は、夜間やトンネル通過の際に、ユーザが車両１の前方を明るくするために操作するスイッチであって運転席付近に備わる。ユーザによって照明スイッチ３００が操作されると、図示しない照明が点灯し車両１の前方を明るくする。つまり、制御装置１０の制御部１１は、ユーザにより照明スイッチ３００が操作される場合は、車両１周辺が暗い状況であると推測する。
【００４４】
ワイパースイッチ３０１は、雨天時や濃霧時に、ユーザが走行する車両１のフロントガラスや後部ガラスの水滴を除去するために操作するスイッチであって、運転席付近に備わる。ユーザによってワイパースイッチ３０１が操作されると、図示しないワイパーが作動し車両１のフロントガラスや後部ガラスの水滴が除去される。つまり、制御装置１０の制御部１１は、ユーザによりワイパースイッチ３００が操作される場合は、車両１外部が雨天又は濃霧であると推測する。
【００４５】
照度センサ３０２は、車両１の外部又は車両1内部に差し込む光の度合いを検知するためのものであって、その目的を達成可能な位置に適宜備えられる。つまり、制御装置１０の制御部１１は、所定の周期で又は所定のタイミングで受信した照度センサ３０２が検知する光の度合いを示す信号に基づいて車両１周辺の明るさを推測する。
【００４６】
第１設定スイッチ３０４は、後述するスレッシュ値調整機能（追従機能）のオン／オフの設定をユーザから受け付ける操作手段である。また、設定スイッチ３０４は、制御装置１０の制御部１１に、後述する平均輝度と最大値との何れで画像を補正するかの設定をユーザから受け付ける操作手段である。
[画像処理]
次に、制御装置１０が実行する画像処理を図４に基づいて説明する。制御装置１０が発揮する機能には、ＡＧＣ部１２が発揮する画像輝度算出機能があり、制御部１１が発揮する画像輝度調整機能、画像合成機能、及び、画像表示機能がある。また、画像輝度算出機能には、平均輝度算出機能、スレッシュ値算出機能、及び、ゲイン調整算出機能がある。
【００４７】
更に、画像調整部１５が発揮する画像調整機能がある。画像調整機能には、輪郭補正機能、コントラスト補正機能、及び、彩度補正機能がある。
【００４８】
制御装置１０はこれら機能を発揮するために、図４に示す、画像輝度算出処理Ｓ１０００、画像輝度調整処理Ｓ２０００、画像合成処理Ｓ３０００、画像調整処理Ｓ４０００、及び、画像表示処理Ｓ５０００を実行する。
【００４９】
制御装置１０の制御部１１、ＡＧＣ部１２、及び、画像調整部１５は、制御装置１０がユーザにより起動されたことにより、所定の周期で図４に示す画像処理を繰り返し実行する。撮像システムＳ３においては所定の周期で画像が取得され、取得された画像は撮像システムＳ３から連続して制御装置１０に入力され、図４の画像処理の対象とされる。
【００５０】
画像の明るさについては輝度で表現することができるため、以下「輝度」として説明する。
（画像輝度算出処理）
ステップＳ１０００において、制御装置１０のＡＧＣ部１２の画像輝度算出部１９は、画像輝度算出処理を実行する。画像輝度算出処理の詳細を図５に基づいて説明する。
【００５１】
画像輝度算出部１９は、画像輝度算出処理の実行を開始し、ステップＳ１００１へ移行する。
【００５２】
ステップＳ１００１において、画像輝度算出部１９は、第１撮像部２００〜第４撮像部２０３が撮像して、制御部１１へ送信した画像を捕捉（受信）する。
【００５３】
ここで、第１撮像部２００〜第４撮像部２０３が撮像する画像について説明する。図６に示すように、第１撮像部２００は、撮像範囲Ｈ１の画像を制御部１１へ送信する。第２撮像部２０１は、撮像範囲Ｈ２の画像を制御部１１へ送信する。第３撮像部２０２は、撮像範囲Ｈ３の画像を制御部１１へ送信する。第３撮像部２０２は、撮像範囲Ｈ３の画像を制御部１１へ送信する。第４撮像部２０３は、撮像範囲Ｈ４の画像を制御部１１へ送信する。第１撮像部２００〜第４撮像部２０３が備えるレンズは、前述した通り、魚眼レンズなどが採用されており、図６に示す第１撮像部２００〜第４撮像部２０３の撮像範囲Ｈ１からＨ４が示すように１８０度以上の画角を有している。
【００５４】
従って、第１撮像部２００が映し出す画像は、図７の画像Ｚ１に示すように車両１の直進方向における１８０度以上の車両周辺画像となる。第２撮像部２０１が映し出す画像は図７の画像Ｚ２に示すように車両１の直進方向を基準にした左方向における１８０度以上の車両画像となる。第３撮像部２０２が映し出す画像は図７の画像Ｚ３に示すように車両１の直進方向を基準にした右方向における１８０度以上の車両画像となる。第４撮像部２０３が映し出す画像は図７の画像Ｚ４に示すように車両１の直進方向とは逆方向における１８０度以上の車両画像となる。次に、ステップＳ１００２へ移行する。
【００５５】
ステップＳ１００２において、画像輝度算出部１９の平均輝度算出部２０は、第１撮像部２００〜第４撮像部２０３より受信した画像Ｚ１〜画像Ｚ４における、画像を分割して得られる複数の領域ごとに平均輝度を算出する。画像の平均輝度の算出とは、領域における画素ごとに充てられている輝度の総和を、領域における全画素数で除算することをいう。
【００５６】
例えば、平均輝度算出部２０は、図８に示す画像Ｚ１〜画像Ｚ４を、図９に示すように、夫々を８つの領域に分割して、領域ごとの平均輝度を第１平均輝度として算出する。
【００５７】
その際に、平均輝度算出部２０は、各第１平均輝度が閾値であるスレッシュ値を超えているか否かを判定し、超えている場合はその平均輝度を算出した領域以外の全領域を対象領域として特定する。そして、その対象領域に含まれる画素の平均輝度を第２平均輝度として算出する。つまり、分割された複数の領域のうち、第１平均輝度がスレッシュ値以下となる領域を対象領域とし、その対象領域に含まれる画素の輝度に基づいて第２平均輝度を算出する。なお、分割された複数の領域のうち、第１平均輝度がスレッシュ値を超える領域は、以降の処理の対象から除外される非対象領域となる。
【００５８】
例えば、平均輝度算出部２０は、図９に示す画像Ｚ１〜画像Ｚ４における領域１〜領域８において、領域ごとの第１平均輝度がスレッシュ値を超えているか否かを判断し、図９に示す画像Ｚ１における領域３及び領域４の第１平均輝度がスレッシュ値を超えていると判断した場合は、平均輝度算出部２０は、画像Ｚ１における領域３及び領域４を除く領域、並びに、画像Ｚ２〜画像Ｚ４の全ての領域を対象領域とし、その対象領域の平均輝度を算出する。
【００５９】
つまり、図９に示す画像Ｚ１における領域３及び領域４は、対向車線を走行する車両Ａのヘッドライトの光Ｂが映っているため、画像Ｚ１における他の領域と比べ極端に平均輝度が高くなり、そのヘッドライトの光Ｂが映る画Ｚ１における領域３及び領域４が平均輝度の算出から除かれることになる。また、画像Ｚ１における領域３及び領域４を除く領域、並びに、画像Ｚ２〜画像Ｚ４の全ての領域を含めた領域で平均輝度を算出するのは、後に画像Ｚ１〜画像Ｚ４が１枚の車両の周辺画像に合成されるためである。
【００６０】
なお、平均輝度算出部２０は、初回の平均輝度の算出におけるスレッシュ値は、不揮発性記憶部１３に記憶されている初期値を用いる。
【００６１】
更に、ステップＳ１００３において、ＡＧＣ部１２のスレッシュ値算出部２１が、次回に入力される画像を対象とした画像輝度算出処理のステップＳ１００２において用いられるスレッシュ値を算出することになる。次に、ステップＳ１００３へ移行する。
【００６２】
以降、説明をするにあたり、画像における複数の領域ごとに算出する平均輝度を第１平均輝度とし、スレッシュ値を超えている第１平均輝度を算出した領域以外の全領域を対象にして算出した平均輝度を第２平均輝度とする。
【００６３】
ステップＳ１００３において、ＡＧＣ部１２のスレッシュ値算出部２１は、車載ネットワークＮを介して、第１設定スイッチ３０３からオン信号を受信する場合は、スレッシュ値追従機能がユーザによりオンにされていると判断して、第２平均輝度に基づいて、画像処理の実行周期における次回の周期のステップＳ１００２において用いるスレッシュ値（動画を構成する次の静止画において用いるスレッシュ値）を算出する。
【００６４】
具体的には、スレッシュ値算出部２１が、第２平均輝度にＡＧＣ部１２が備えるレジスタに予め記憶されている第１所定値を加算することにより次回のスレッシュ値を算出する。
【００６５】
また、スレッシュ値算出部２１は、車載ネットワークＮを介して、第１設定スイッチ３０３からオフ信号を受信する場合は、スレッシュ値追従機能がユーザによりオフにされていると判断して、画像処理の実行周期における次回の周期のステップＳ１００２において用いるスレッシュ値を設定する。
【００６６】
具体的には、スレッシュ値算出部２１が、ＡＧＣ部１２が備えるレジスタに予め記憶されている第２所定値をスレッシュ値として設定する。
【００６７】
ステップＳ１００４において、ＡＧＣ部１２のゲイン調整値算出部２２は、車載ネットワークＮを介して、第２設定スイッチ３０４からオン信号を受信する場合は、第１モードがユーザによりオンにされていると判断して、第２平均輝度に基づいて、ゲイン調整値を算出する。
【００６８】
具体的には、ゲイン調整値算出部２２が、既定値を、第２平均輝度から上げ率を差し引いた値で除算してゲイン調整値を算出する。上げ率は、ＡＧＣ部が備えるレジスタのテーブルに平均輝度と対応付けられて既定されているため、当該平均輝度に基づいてそのレジスタのテーブルから上げ率を参照する。このようなゲイン調整値に基づいて画像を調整すれば、第２平均輝度を基準に、暗すぎる部分が明るく、かつ、明るすぎる部分が暗くなって、画像全体として看者に対し落ち着いた印象を与えることができ、結果、看者に対し看やすくできる。
【００６９】
また、ＡＧＣ部１２のゲイン調整値算出部２２は、車載ネットワークＮを介して、第２設定スイッチ３０４からオフ信号を受信する場合は、第２モードがユーザによりオンにされていると判断して、第１平均輝度がスレッシュ値以下となる対象領域における輝度の最大値（輝度ピーク値）に基づいて、ゲイン調整値を算出する。
【００７０】
具体的には、ゲイン調整値算出部２２が、輝度の最大値を基準にして各輝度に応じた上げ率を算出する。上げ率は、ＡＧＣ部が備えるレジスタのテーブルに輝度の最大値と対応付けられて既定されているため、当該輝度の最大値に基づいてそのレジスタのテーブルから上げ率を参照する。これによって、輝度の最大値を基準に、明るい部分は略そのままに、かつ、暗い部分を明るくするので、既に明るい部分が白飛びして、画質が劣化することを防ぐことができるとともに、暗い部分を明るくすることができる。次に、図４におけるステップＳ２０００へ移行する。
（画像輝度調整処理）
ステップＳ２０００において、制御部１１の画像輝度調整部１６は、画像輝度調整処理を実行する。画像輝度算出処理の詳細を図１０に基づいて説明する。
【００７１】
ステップＳ２００１において、制御部１１の画像輝度調整部１６は、ＡＧＣ部１２から受信したゲイン調整値に基づいて、画像Ｚ１〜画像Ｚ４を調整（補正）する。
【００７２】
具体的には、画像輝度調整部１６は、画像Ｚ１〜画像Ｚ４における画素に充てられた輝度へゲイン調整値を乗算する。
【００７３】
なお、第２平均輝度の算出対象とならなかった非対象領域における画素に充てられた輝度に対しては、ゲイン調整による調整（補正）を省いても良い。次に、ステップＳ２００２へ移行する。
【００７４】
ステップＳ２００２において、制御部１１は、調整（補正）をした画像Ｚ１〜画像Ｚ４を備える揮発性記憶部１４へ送信する。
【００７５】
上述した画像輝度算出処理と画像輝度調整処理との総合的な流れを簡易に示すと図１１のようになる。つまり、制御部１１及びＡＧＣ部１２は、第１撮像手段２００〜第２撮像手段２０３より車両周辺画像を所定周期で連続して受信する処理において、前回受信した画像Ｚ１〜画像Ｚ４の第２平均輝度に基づいて算出したスレッシュ値により、今回受信した画像Ｚ１〜画像Ｚ４の第２平均輝度を算出する処理（ステップＳ１００２Ｘ）と、今回算出した第２平均輝度に基づいて次回受信する画像Ｚ１〜画像Ｚ４の第２平均輝度を算出するためのスレッシュ値を算出する処理（ステップＳ１００３Ｘ）を、画像処理を終了させるまで繰り返し実行する（ループ処理する）。そのループ処理における、ステップＳ１００２Ｘの処理の後に、並行して、第２平均輝度に基づいてゲイン調整値を算出する処理（ステップＳ１００４Ｘ）を実行し、その後に、ゲイン調整値に基づいて画像Ｚ１〜画像Ｚ２を調整（補正）する処理（ステップＳ２００１Ｘ）を、画像処理を終了させるまで繰り返し実行する。
【００７６】
従って、画像輝度算出処理において、ユーザにより第１設定スイッチ３０３がオンにされている場合に、極端に輝度が高い領域を除外して算出した第２平均輝度に基づいて、ゲイン調整値を算出することにより、画像輝度調整処理において、そのゲイン調整値に基づいて画像を調整（補正）できるため、調整（補正）された画像が、極端に輝度が高い領域の影響により、全体的に暗くなり、かつ、もともと暗い部分が明るくならいという不具合を防ぐことができる。
【００７７】
また、車両Ａのライトの光Ｂによって極端に高くなる輝度は所定の領域を占めるため、スレッシュ値との比較を画素に充てられた輝度１つ１つと行うのではなく、画像領域の平均輝度と行うのでその際の処理負荷を軽くできる。
【００７８】
更に、画像処理の実行周期における今回の周期に実行する画像輝度算出処理において、算出される第２平均輝度に基き、次回の周期に実行する画像輝度算出処理において、第２平均輝度を算出する際に利用するスレッシュ値を算出するので、車両１が走行するなどによって変化しながら連続して撮像される画像のそれぞれに応じたスレッシュ値を設定することができ、そのスレッシュ値に基づいて算出した第２平均輝度により適切なゲイン調整値が算出でき、このゲイン調整値により適切な画像が調整（補正）できる。つまり、画像輝度算出処理において用いるスレッシュ値を、多様な輝度分布のバリエーションを有する画像に追従させることができる。次に、図４におけるステップ３０００へ移行する。
（画像合成処理）
ステップＳ３０００において、制御部１１の画像合成部１７は、画像合成処理を実行する。画像合成処理の詳細を図１２に基づいて説明する。
【００７９】
ステップＳ３００１において、画像合成部１７は、備える揮発性記憶部に記憶された補正後の画像Ｚ１〜画像Ｚ４を、図１３に示す仮想的な三次元空間における立体曲面Ｐに投影する。立体曲面Ｐは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１が存在する位置として定められている。画像Ｚ１〜画像Ｚ４に含まれる各画素の位置と、この立体曲面Ｐの各画素の位置とは予め対応関係が定められている。このため、立体曲面Ｐの各画素の値は、この対応関係と画像Ｚ１〜画像Ｚ４に含まれる各画素の値とに基づいて決定する。
【００８０】
画像Ｚ１〜画像Ｚ４の各画素の位置と立体曲面Ｐの各画素の位置との対応関係は、車両１における４つの車載カメラである第１撮像部２００〜第４撮像部２０３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性記憶部１３に記憶された車種別データに含まれている。
【００８１】
また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面Ｐが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。
【００８２】
さらに、立体曲面Ｐが存在する三次元空間に対して、画像合成部１７により仮想視点ＡＧＬが設定される。仮想視点ＡＧＬは、視点位置と視野方向とで規定され、この三次元空間における車両１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。次に、ステップＳ３００２へ移行する。
【００８３】
ステップＳ３００２において、画像合成部１７は、設定された仮想視点ＡＧＬに応じて、立体曲面Ｐにおける必要な領域を画像として切り出す。仮想視点ＡＧＬと、立体曲面Ｐにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性記憶部１３等に予め記憶されている。一方で、設定された仮想視点ＡＧＬに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両１及びその車両１の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００８４】
例えば、視点位置が車両１の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＡＧＬ１を設定した場合は、車両１の略直上から車両１を見下ろすように、車両１（実際には車両像）及び車両１の周辺の様子を示す合成画像Ｇ１が生成される。また、図中に示すように、視点位置が車両１の位置の左後方で、視野方向が車両１における略前方とした仮想視点ＡＧＬ２を設定した場合は、車両１の左後方からその周辺全体を見渡すように、車両１（実際には車両像）及び車両１の周辺の様子を示す合成画像Ｇ２が生成される。
【００８５】
なお、実際に合成画像を生成する場合においては、立体曲面Ｐの全ての画素の値を決定する必要はなく、設定された仮想視点ＡＧＬに対応して必要となる領域の画素の値のみを画像Ｚ１〜画像Ｚ４に基づいて決定することで、処理速度を向上できる。次に、ステップＳ３００３へ移行する。
【００８６】
ステップＳ３００３において、画像合成部１７は、生成した合成画像Ｇ１又はＧ２を画像調整部１５へ送信する。図４におけるステップＳ４０００へ移行する。
（画像調整処理）
ステップＳ４０００において、画像調整部１５は、画像調整処理を実行する。画像調整処理の詳細を図１４に基づいて説明する。
【００８７】
ステップＳ４００１において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体の輪郭を補正する。輪郭補正とは、例えば、遠近に応じて物体の輪郭の強弱調整を行う、或いは、曲線の滑らか補正を行うなどである。次に、ステップＳ４００２へ移行する。
【００８８】
ステップＳ４００２において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体間や物体の部分間のコントラストを補正する。コントラスト補正とは、例えば、遠近に応じて物体間や物体の部分間のコントラストの強弱調整を行うなどである。次に、ステップＳ４００３へ移行する。
【００８９】
ステップＳ４００３において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体間の彩度を補正する。彩度補正とは、例えば、遠近に応じて物体の色の強弱調整を行うなどである。次に、図４におけるステップＳ５０００へ移行する。
（画像表示処理）
ステップＳ５０００において、制御部１１の画像表示部２０は、画像表示処理を実行する。画像表示処理の詳細を図１５に基づいて説明する。
【００９０】
ステップＳ５００１において、制御部１１は、揮発性記憶部１４に記憶されている合成画像を読み出す。その際に、制御部１１は、揮発性記憶部１４へ記憶している合成画像Ｇ１又はＧ２が一定量を超えると、最古の合成画像を消去して最新の合成画像を記憶する、又は、最古の合成画像を最新の合成画像によって上書きする記憶制御を実行する。次に、ステップＳ５００２へ移行する。
【００９１】
ステップＳ５００２において、制御部１１は、揮発性記憶部１４から読み出した合成画像Ｇ１又はＧ２を車載機１００が備える表示操作部１０１に表示制御する。具体的には、制御部１１は、動画に看えるように、揮発性記憶部１４に記憶されている合成画像Ｇ１又はＧ２を所定の周期で古い画像から新しい画像へと更新表示させる。図１５におけるリターンへ移行する。
【００９２】
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施の形態について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
【００９３】
＜変形例１＞
上記代表の実施の形態を説明する図５のステップＳ１００２において、「例えば、平均輝度算出部２０は、図９に示す画像Ｚ１〜画像Ｚ４における領域１〜領域８において、領域ごとの平均輝度がスレッシュ値を超えているか否かを判断し、図９に示す画像Ｚ１における領域３及び領域４の平均輝度が閾値を超えていると判断した場合は、平均輝度算出部２０は、画像Ｚ１における領域３及び領域４を除く領域、並びに、画像Ｚ２〜画像Ｚ４の全ての領域を含めた平均輝度を算出する」と説明したが、平均輝度算出部２０は、画像Ｚ１〜画像Ｚ４における画像ごとに第２平均輝度を算出するものであっても良い。更に、ステップＳ１００３におけるスレッシュ値算出部２１が算出するスレッシュ値、及び、ステップＳ１００４におけるゲイン調整値算出部２２が算出するゲイン調整値についても、画像Ｚ１〜画像Ｚ４における画像ごとに算出するものであっても良く、また、画像輝度調整処理Ｓ２０００においても、画像Ｚ１〜画像Ｚ４における画像ごとに、画像輝度調整をするものであっても良い。
【００９４】
また、上記実施の形態では、ある画像に基づいて導出したスレッシュ値を、その画像の次に入力される画像の処理に適用するものとして説明したが、スレッシュ値を適用する画像はそのスレッシュ値を導出した画像の後に入力される画像であれば、次の画像でなくてもよい。
【００９５】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
【００９６】
更に、各実施例の制御を説明するフローチャート図における各処理は、便宜上一の系列で示しているが、細分化された各処理を各制御部がマルチタスク制御機能により並列に処理するものであっても良い。
【符号の説明】
【００９７】
Ｓ１    車両周辺画像表示システム
Ｓ２    画像処理システム
１０    制御装置
１１    制御部
１２    ＡＧＣ部
２０    平均輝度算出部
２１    スレッシュ値算出部
２２    ゲイン調整値算出部
【図１】
0005413843.tif 000002
【図２】
0005413843.tif 000003
【図３】
0005413843.tif 000004
【図４】
0005413843.tif 000005
【図５】
0005413843.tif 000006
【図６】
0005413843.tif 000007
【図７】
0005413843.tif 000008
【図８】
0005413843.tif 000009
【図９】
0005413843.tif 000010
【図１０】
0005413843.tif 000011
【図１１】
0005413843.tif 000012
【図１２】
0005413843.tif 000013
【図１３】
0005413843.tif 000014
【図１４】
0005413843.tif 000015
【図１５】
0005413843.tif 000016