(57)【特許請求の範囲】
【請求項１】
自車両の異なる場所に設置された複数の撮像装置によって撮影された自車両周囲の画像を視点変換処理することにより、上記自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置であって、
上記自車両の進行方向を予測する進行方向予測部と、
上記進行方向予測部により予測された進行方向において撮影領域の重なりを有する一部の撮像装置のそれぞれについて、上記撮影領域どうしが重なる重複領域の全部または一部を、上記一部の撮像装置それぞれの測光重点領域として決定する測光重点領域決定部と、
上記一部の撮像装置については上記測光重点領域決定部により決定された上記測光重点領域を他の領域よりも重点的に測光して、上記複数の撮像装置の適正露出をそれぞれ算出する露出算出部と、
上記露出算出部により算出された露出に従って生成された画像信号を用いて、上記車両周辺画像を生成する車両周辺画像生成部とを備えたことを特徴とする車両周辺画像生成装置。
【請求項２】
上記進行方向予測部は、上記自車両の進行方向をギアポジションに基づき予測することを特徴とする請求項１に記載の車両周辺画像生成装置。
【請求項３】
上記進行方向予測部は、上記自車両の進行方向をギアポジションおよび方向指示器の動作状態に基づき予測することを特徴とする請求項１に記載の車両周辺画像生成装置。
【請求項４】
自車両の異なる場所に設置された複数の撮像装置によって撮影された自車両周囲の画像を視点変換処理することにより、上記自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置であって、
上記自車両の周辺にある障害物を検出する障害物検出部と、
上記障害物検出部により障害物が検出された方向において撮影領域の重なりを有する一部の撮像装置のそれぞれについて、上記撮影領域どうしが重なる重複領域の全部または一部を、上記一部の撮像装置それぞれの測光重点領域として決定する測光重点領域決定部と、
上記一部の撮像装置については上記測光重点領域決定部により決定された上記測光重点領域を他の領域よりも重点的に測光して、上記複数の撮像装置の適正露出をそれぞれ算出する露出算出部と、
上記露出算出部により算出された露出に従って生成された画像信号を用いて、上記車両周辺画像を生成する車両周辺画像生成部とを備えたことを特徴とする車両周辺画像生成装置。
【請求項５】
上記自車両の進行方向を予測する進行方向予測部をさらに備え、
上記測光重点領域決定部は、上記進行方向予測部により予測された進行方向において撮影領域の重なりを有する撮像装置のうち、上記障害物検出部により障害物が検出された方向において撮影領域の重なりを有する撮像装置のそれぞれについて、上記重複領域の全部または一部を上記測光重点領域として決定することを特徴とする請求項４に記載の車両周辺画像生成装置。
【請求項６】
上記測光重点領域決定部は、上記重複領域の全部を含んでそれより所定量だけ広い領域を上記測光重点領域として決定することを特徴とする請求項１または４に記載の車両周辺画像生成装置。
【請求項７】
自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置において自車両周囲の画像を撮影するために上記自車両の異なる場所に設置された複数の撮像装置の測光を調整する方法であって、
上記自車両の進行方向を予測する第１のステップと、
上記第１のステップで予測された進行方向において撮影領域の重なりを有する撮像装置のそれぞれについて、重複領域の全部または一部を測光重点領域として決定する第２のステップとを有することを特徴とする撮像装置の測光調整方法。
【請求項８】
上記第１のステップでは、上記自車両の進行方向をギアポジションに基づき予測することを特徴とする請求項７に記載の撮像装置の測光調整方法。
【請求項９】
上記第１のステップでは、上記自車両の進行方向をギアポジションおよび方向指示器の動作状態に基づき予測することを特徴とする請求項７に記載の撮像装置の測光調整方法。
【請求項１０】
上記自車両の周辺にある障害物を検出する第３のステップを有し、
上記第２のステップでは、上記第１のステップで予測された進行方向において撮影領域の重なりを有する撮像装置のうち、上記第３のステップで障害物が検出された方向において撮影領域の重なりを有する撮像装置のそれぞれについて、上記重複領域の全部または一部を上記測光重点領域として決定することを特徴とする請求項７に記載の撮像装置の測光調整方法。
【請求項１１】
自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置において自車両周囲の画像を撮影するために上記自車両の異なる場所に設置された複数の撮像装置の測光を調整する方法であって、
上記自車両の周辺にある障害物を検出する第１のステップと、
上記第１のステップで障害物が検出された方向において撮影領域の重なりを有する撮像装置のそれぞれについて、重複領域の全部または一部を測光重点領域として決定することを特徴とする撮像装置の測光調整方法。
【請求項１２】
上記第２のステップでは、上記重複領域の全部を含んでそれより所定量だけ広い領域を上記測光重点領域として決定することを特徴とする請求項７または１１に記載の撮像装置の測光調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺画像生成装置および撮像装置の測光調整方法に関し、特に、自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置および、自車両の周辺の画像を撮影するために自車両の周囲に取り付けられた複数の撮像装置の測光を調整する方法に用いて好適なものである。
【背景技術】
【０００２】
従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た車両周辺画像を生成して表示する技術が提供されている。運転者は、自車両の表示装置に表示された車両周辺画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。
【０００３】
一般的には、自車両の前方に配置されるフロントカメラで自車両の前方の撮影領域を撮影する。また、自車両の左側方に配置される左サイドカメラで自車両左側方の撮影領域を撮影する。また、自車両の右側方に配置される右サイドカメラで自車両の右側方の撮影領域を撮影する。また、自車両の後方に配置されるリアカメラで自車両の後方の撮影領域を撮影する。そして、各カメラで撮影した前方、左側方、右側方、後方の画像をもとに、車両周辺画像を生成する。
【０００４】
この種のシステムでは、前後左右の異なる位置に複数のカメラを設置して使用するので、各カメラの撮影領域毎に被写体の明るさが異なる場合がある。例えば、自車両の右側から日光が照射している場合、右側方の撮影領域は日向になって明るくなるが、左側方の撮影領域は日陰になって暗くなる。また、後退しながら自車両を車庫に駐車しようとしている過程では、後方の撮影領域は車庫内にあって暗くなるが、その他の撮影領域は車庫外にあって明るくなる。このような場合には、各カメラで撮影される画像に輝度の差が生じる。
【０００５】
このように輝度差のある複数の画像を合成して、自車両の全周囲が見える車両周辺画像を生成した場合、異なる方向の画像間に輝度差による切れ目が見えて、違和感があって見にくい画像となってしまうという問題が生じる。太陽の位置や天候、周囲環境などが異なるあらゆる状況下において、各カメラで撮影される画像を輝度差による切れ目が見えないように合成することは困難である。
【０００６】
なお、車両の全周囲にわたって車両近辺をできるだけ現実に近いように分かり易く１枚の画像として合成できるようにするために、自車両上方の仮想視点から見た３次元空間内の点Ｐが複数のカメラで撮影した画像と対応付けられている場合に、点Ｐの画素の色を、複数のカメラで点Ｐを見たときの色を用いた計算により決定する技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術では、仮想視点から見た点Ｐが複数のカメラで撮影した画像と対応付けられていない場合には、点Ｐの画素の色を適切に調整することができず、違和感が残ってしまうという問題があった。また、上記特許文献１に記載の技術では、個々の画素毎に色を計算によって求めていく必要があるので、演算に相当の時間がかかってしまうという問題があった。
【０００８】
本発明は、このような問題を解決するために成されたものであり、異なる位置に設置した複数のカメラの撮影画像から車両周辺画像を生成する場合に、運転者にとって違和感の少ない車両周辺画像を少ない演算量で生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明では、車両周辺画像を生成する際に使用する複数の撮像装置の少なくとも一部について、当該少なくとも一部の撮像装置が有する撮影領域の中から測光重点領域を決定し、測光重点領域を他の領域よりも重点的に測光して撮像装置の適正露出を算出するようにしている。例えば、複数の撮像装置がそれぞれ有している撮影領域どうしの重なり部分のうち、自車両の予測進行方向にある重なり部分を測光重点領域として決定する。また、自車両周辺において障害物がある方向の重なりの部分を測光重点領域として決定する。
【発明の効果】
【００１０】
上記のように構成した本発明によれば、少なくとも、測光重点領域において撮影領域の重なりを有する複数の画像の輝度は同程度となり、その画像間に輝度差に起因する切れ目は殆ど見えなくなる。ここで、測光重点領域は、自車両の進行方向や障害物が存在する方向など、運転者が特に注視する必要がある部分に設定される。したがって、特に運転者が運転時に見るべき方向の画像について輝度差による違和感を解消することができ、運転者が運転時に見たい箇所の視認性を向上させることができる。また、個々の画素毎に色を計算するといった煩雑な演算を行わなくても済むので、少ない演算量で違和感のない車両周辺画像を生成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車両周辺画像生成装置１０の構成例を示すブロック図である。図１において、１は複数の撮像装置であり、自車両の前方を撮影するためのフロントカメラ１ａ、自車両の左側方を撮影するための左サイドカメラ１ｂ、自車両の右側方を撮影するための右サイドカメラ１ｃおよび自車両の後方を撮影するためのリアカメラ１ｄにより構成されている。
【００１２】
図２は、各カメラ１ａ〜１ｄの配置および撮影領域の例を示す図である。図２において、フロントカメラ１ａは自車両１００の前方に配置され、前方の撮影領域Ｈ１を撮影する。左サイドカメラ１ｂは自車両１００の左側方に配置され、左方の撮影領域Ｈ２を撮影する。右サイドカメラ１ｃは自車両１００の右側方に配置され、右方の撮影領域Ｈ３を撮影する。リアカメラ１ｄは自車両１００の後方に配置され、後方の撮影領域Ｈ４を撮影する。
【００１３】
前方の撮影領域Ｈ１と左方の撮影領域Ｈ２とは一部の領域ＯＡ１において重なっている。前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とは一部の領域ＯＡ２において重なっている。後方の撮影領域Ｈ４と左方の撮影領域Ｈ２とは一部の領域ＯＡ３において重なっている。また、後方の撮影領域Ｈ４と右方の撮影領域Ｈ３とは一部の領域ＯＡ４において重なっている。
【００１４】
２は車両周辺画像生成部であり、画像処理部２ａ、マッピングテーブル記憶部２ｂおよび自車両画像記憶部２ｃを備えている。画像処理部２ａは、各カメラ１ａ〜１ｄにて撮影された画像を入力し、マッピングテーブル記憶部２ｂに記憶されている変換情報に従って、自車両１００の周辺を上方から見たときの背景画像を生成する。
【００１５】
ここで、背景画像は、フロントカメラ１ａにより撮影された画像を視点変換して生成されたフロント車両周辺画像と、左サイドカメラ１ｂにより撮影された画像を視点変換して生成された左サイド車両周辺画像と、右サイドカメラ１ｃにより撮影された画像を視点変換して生成された右サイド車両周辺画像と、リアカメラ１ｄにより撮影された画像を視点変換して生成されたリア車両周辺画像とを合成することによって生成する。
【００１６】
マッピングテーブル記憶部２ｂは、各カメラ１ａ〜１ｄにより撮影された画像の画素データと自車両１００の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。自車両画像記憶部２ｃは、自車両１００を上方から見たときの形体を示す自車両画像を記憶しており、画像処理部２ａにより読み出される。画像処理部２ａは、上述した背景画像の略中央に自車両画像を合成することにより、車両周辺画像を生成する。３は表示装置であり、画像処理部２ａにより生成された車両周辺画像を表示する。
【００１７】
４は進行方向予測部であり、自車両１００の進行方向を予測する。進行方向の予測は、例えばギアポジションに基づき行う。すなわち、進行方向予測部４は、変速機のギアがどのポジションに入っているかを判定し、その判定結果に応じて自車両１００の進行方向を予測する。具体的には、進行方向予測部４は、変速機がフロントギア（ニュートラル、パーキング、バックギアの３つ以外のギア）に入っていることを検出した場合、自車両１００が前進する（進行方向は前方である）と予測する。また、変速機がバックギアに入っていることを検出した場合、自車両１００が後退する（進行方向は後方である）と予測する。
【００１８】
なお、自車両１００の進行方向の予測は、この方法に限定されない。例えば、自車両１００の進行方向を方向指示器の動作状態に基づき予測するようにしても良い。すなわち、進行方向予測部４は、どの方向の指示器が動作しているかを判定し、その判定結果に応じて自車両１００の進行方向を予測する。具体的には、進行方向予測部４は、右折の方向指示器が動作していることを検出した場合、自車両１００が右前方へ進行すると予測する。また、左折の方向指示器が動作していることを検出した場合、自車両１００が左前方へ進行すると予測する。
【００１９】
自車両１００の進行方向を方向指示器の動作状態に基づいて予測する場合、これだけでは、方向指示器が動作していないときに自車両１００の進行方向を予測することができない。したがって、方向指示器の動作状況に基づく進行方向の予測は、ギアポジションに基づく進行方向の予測に対して付加的に行うのが好ましい。
【００２０】
５は測光重点領域決定部であり、各カメラ１ａ〜１ｄの少なくとも一部について、当該少なくとも一部のカメラが有する撮影領域どうしが重なる重複領域を、少なくとも一部のカメラそれぞれの測光重点領域として決定する。具体的には、進行方向予測部４により予測された進行方向において撮影領域の重なりを有するカメラのそれぞれについて、その重複領域を測光重点領域として決定する。ここで、測光重点領域は、重複領域の全部であっても良いし、一部であっても良い。また、重複領域の全部を含んでそれより所定量だけ広い領域を測光重点領域として決定するようにしても良い。
【００２１】
例えば、進行方向予測部４によって自車両１００が前進すると予測されたとする。この場合、予測された進行方向である前方において、前方の撮影領域Ｈ１と左方の撮影領域Ｈ２とが重複領域ＯＡ１で重なり、前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とが重複領域ＯＡ２で重なっている。したがって、前方において撮影領域の重なりを有するカメラは、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃの３つとなる。
【００２２】
この場合、測光重点領域決定部５は、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定する。すなわち、フロントカメラ１ａについては、前方の撮影領域Ｈ１のうち、左方の撮影領域Ｈ２との重複領域ＯＡ１と、右方の撮影領域Ｈ３との重複領域ＯＡ２とを測光重点領域として決定する。左サイドカメラ１ｂについては、左方の撮影領域Ｈ２のうち、前方の撮影領域Ｈ１との重複領域ＯＡ１を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、前方の撮影領域Ｈ１との重複領域ＯＡ２を測光重点領域として決定する。
【００２３】
例えば、進行方向予測部４によって自車両１００の進行方向が右前進であると予測されたとする。この場合、予測された進行方向である右前方において、前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とが重複領域ＯＡ２で重なっている。したがって、右前方において撮影領域の重なりを有するカメラは、フロントカメラ１ａおよび右サイドカメラ１ｃの２つとなる。
【００２４】
この場合、測光重点領域決定部５は、フロントカメラ１ａおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ３の重複領域ＯＡ２を測光重点領域として決定する。すなわち、フロントカメラ１ａについては、前方の撮影領域Ｈ１のうち、右方の撮影領域Ｈ３との重複領域ＯＡ２を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、前方の撮影領域Ｈ１との重複領域ＯＡ２を測光重点領域として決定する。
【００２５】
６は露出算出部であり、それぞれのカメラ１ａ〜１ｄ毎に適正露出を算出する。このとき、測光重点領域決定部５により測光重点領域が決定された一部のカメラについては、決定された測光重点領域を他の領域よりも重点的に測光して適正露出を算出する。具体的には、測光重点領域から得られる撮像信号に対して、測光重点領域とは異なる領域から得られる撮像信号よりも大きな重みを設定して、重み付けした撮像信号に基づいて適正露出を算出する。一方、測光重点領域決定部５により測光重点領域が設定されていないカメラについては、あらかじめ決められた測光方式により測光して適正露出を算出する。あらかじめ決められた測光方式は、いわゆるマルチパターン測光であっても良いし、中央部重点測光であっても良いし、スポット測光であっても良い。
【００２６】
上述の例では、フロントカメラ１ａについては、２箇所の重複領域ＯＡ１，ＯＡ２が測光重点領域として決定されている。この場合、露出算出部６は、フロントカメラ１ａによる前方の撮影領域Ｈ１のうち、２箇所の測光重点領域ＯＡ１，ＯＡ２を重点的に測光してフロントカメラ１ａの露出を算出する。左サイドカメラ１ｂについては、１箇所の重複領域ＯＡ１が測光重点領域として決定されている。この場合、露出算出部６は、左サイドカメラ１ｂによる左方の撮影領域Ｈ２のうち、１箇所の測光重点領域ＯＡ１を重点的に測光して左サイドカメラ１ｂの露出を算出する。
【００２７】
また、右サイドカメラ１ｃについては、１箇所の重複領域ＯＡ２が測光重点領域として決定されている。この場合、露出算出部６は、右サイドカメラ１ｃによる右方の撮影領域Ｈ３のうち、１箇所の測光重点領域ＯＡ２を重点的に測光して右サイドカメラ１ｃの露出を算出する。また、測光重点領域が設定されていないリアカメラ１ｄについては、あらかじめ決められた測光方式により測光して適正露出を算出する。
【００２８】
そして、露出算出部６は、算出した適正露出となるように、各カメラ１ａ〜１ｄのアイリス（虹彩絞り）を調整する。上述の車両周辺画像生成部２は、露出算出部６により算出された露出に従って各カメラ１ａ〜１ｄの撮影により生成された画像信号を用いて、車両周辺画像を生成する。
【００２９】
次に、上記のように構成した本実施形態による車両周辺画像生成装置１０の動作を説明する。図３は、本実施形態による車両周辺画像生成装置１０の動作例を示すフローチャートである。
【００３０】
図３において、進行方向予測部４は、変速機のギアがバックギアに入っているかどうかを判定する（ステップＳ１）。バックギアに入っていることが検出された場合、測光重点領域決定部５は、左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄのそれぞれについて、撮影領域Ｈ２，Ｈ３，Ｈ４の重複領域ＯＡ３，ＯＡ４を測光重点領域として決定する（ステップＳ２）。
【００３１】
すなわち、リアカメラ１ｄについては、後方の撮影領域Ｈ４のうち、左方の撮影領域Ｈ２との重複領域ＯＡ３と、右方の撮影領域Ｈ３との重複領域ＯＡ４とを測光重点領域として決定する。左サイドカメラ１ｂについては、左方の撮影領域Ｈ２のうち、後方の撮影領域Ｈ４との重複領域ＯＡ３を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、後方の撮影領域Ｈ４との重複領域ＯＡ４を測光重点領域として決定する。なお、残りのフロントカメラ１ａについては、あらかじめ決められた測光方式に従って測光領域を決定する。
【００３２】
上記ステップＳ１で変速機がバックギアに入っていないと判断された場合、進行方向予測部４は、変速機がフロントギアに入っているかどうかを判定する（ステップＳ３）。フロントギアに入っていることが検出された場合、進行方向予測部４は、方向指示器が動作しているかどうかを更に判定する（ステップＳ４）。ここで、方向指示器が動作していないことが検出された場合、測光重点領域決定部５は、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定する（ステップＳ５）。
【００３３】
すなわち、フロントカメラ１ａについては、前方の撮影領域Ｈ１のうち、左方の撮影領域Ｈ２との重複領域ＯＡ１と、右方の撮影領域Ｈ３との重複領域ＯＡ２とを測光重点領域として決定する。左サイドカメラ１ｂについては、左方の撮影領域Ｈ２のうち、前方の撮影領域Ｈ１との重複領域ＯＡ１を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、前方の撮影領域Ｈ１との重複領域ＯＡ２を測光重点領域として決定する。なお、リアカメラ１ｄについては、あらかじめ決められた測光方式に従って測光領域を決定する。
【００３４】
また、ステップＳ４で方向指示器が動作していることが検出された場合、測光重点領域決定部５は、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２のうち、方向指示器で進行方向が指示されている方を測光重点領域として決定する（ステップＳ６）。すなわち、左折が指示されている場合は、フロントカメラ１ａおよび左サイドカメラ１ｂのそれぞれについて、重複領域ＯＡ１を測光重点領域として決定する。このとき、右サイドカメラ１ｃおよびリアカメラ１ｄについては、あらかじめ決められた測光方式に従って測光領域を決定する。また、右折が指示されている場合は、フロントカメラ１ａおよび右サイドカメラ１ｃのそれぞれについて、重複領域ＯＡ２を測光重点領域として決定する。このとき、左サイドカメラ１ｂおよびリアカメラ１ｄについては、あらかじめ決められた測光方式に従って測光領域を決定する。
【００３５】
変速機がバックギアにもフロントギアにも入っていない場合（ニュートラルまたはパーキングの場合）、進行方向予測部４は、方向指示器が動作しているかどうかを判定する（ステップＳ７）。ここで、方向指示器が動作していないことが検出された場合、測光重点領域決定部５は、各カメラ１ａ〜１ｄについて、あらかじめ決められた測光方式に従って測光領域を決定する（ステップＳ８）。一方、方向指示器が動作していることが検出された場合は、ステップＳ６に進み、その方向指示器により指示されている方向に応じて、左前方の重複領域ＯＡ１または右前方の重複領域ＯＡ２を測光重点領域として決定する。
【００３６】
以上のステップＳ２，Ｓ５，Ｓ６，Ｓ８の何れかにおいて測光重点領域決定部５により測光領域が決定されると、露出算出部６は、それぞれのカメラ１ａ〜１ｄ毎に、測光重点領域決定部５により決定された測光領域から得られる撮像信号に基づいて各カメラ１ａ〜１ｄの適正露出を算出する（ステップＳ９）。そして、算出した適正露出となるように各カメラ１ａ〜１ｄを制御する。このとき露出算出部６は、測光重点領域の撮像信号に対して測光重点領域とは異なる領域の撮像信号よりも大きな重みを設定して、適正露出を算出する。
【００３７】
車両周辺画像生成部２は、露出算出部６により算出された露出に従って各カメラ１ａ〜１ｄの撮影により生成された画像信号を用いて、車両周辺画像を生成する（ステップＳ１０）。そして、表示装置３は、車両周辺画像生成部２により生成された車両周辺画像を表示する（ステップＳ１１）。
【００３８】
以上詳しく説明したように、本実施形態では、自車両１００の予測進行方向を検出し、当該予測進行方向にある撮影領域の重なり部分を測光重点領域として決定する。そして、当該重複領域を重点的に測光し、各カメラ１ａ〜１ｄの適正露出を算出するようにしている。これにより、少なくとも、測光重点領域において撮影領域の重なりを有する複数の画像の輝度は同程度となり、その画像間に輝度差に起因する切れ目を殆ど見えなくすることができる。したがって、特に運転者が運転時に見るべき進行方向の画像について輝度差による違和感を解消することができ、運転者が運転時に見たい箇所の視認性を向上させることができる。
【００３９】
例えば、図３のステップＳ２で後方２箇所の重複領域ＯＡ３，ＯＡ４を測光重点領域として決定した場合、当該測光重点領域において撮影領域の重なりを有する左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄによる撮影画像の輝度は同程度となる。これにより、図４に示すように、後方の画像間の継ぎ目において輝度差に起因する切れ目を殆ど見えなくすることができる。
【００４０】
また、図３のステップＳ５で前方２箇所の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定した場合、当該測光重点領域において撮影領域の重なりを有するフロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃによる撮影画像の輝度は同程度となる。これにより、図５に示すように、前方の画像間の継ぎ目において輝度差に起因する切れ目を殆ど見えなくすることができる。
【００４１】
また、図３のステップＳ６で前方１箇所の重複領域ＯＡ１またはＯＡ２を測光重点領域として決定した場合、当該測光重点領域において撮影領域の重なりを有するフロントカメラ１ａと左サイドカメラ１ｂ、またはフロントカメラ１ａと右サイドカメラ１ｃによる撮影画像の輝度は同程度となる。これにより、左前方または右前方の画像間の継ぎ目において輝度差に起因する切れ目を殆ど見えなくすることができる。
【００４２】
また、本実施形態によれば、個々の画素毎に色を計算によって求めていく必要がなく、単に重点的に測光する領域を決定するだけで良い。これにより、負荷の大きい煩雑な演算を行わなくて済み、運転者にとって違和感のない車両周辺画像を容易に（少ない演算量で）生成することができる。
【００４３】
図６は、本実施形態による車両周辺画像生成装置１０の他の構成例を示すブロック図である。なお、この図６において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図６に示す例では、図１に示した構成に加えて、障害物検出部７を更に備えている。
【００４４】
障害物検出部７は、自車両１００の周辺にある障害物を検出するものである。例えば、障害物検出部７はレーダを備え、レーダから発信される電波等の反射波を観測することによって、障害物の有無およびそれが存在する方向を検出する。また、障害物検出部７は、各カメラ１ａ〜１ｄにより撮影された画像を解析することによって障害物の有無およびそれが存在する方向を検出するものであっても良い。なお、ここに挙げた障害物の検出方法は単なる例示であり、これに限定されるものではない。
【００４５】
図６に示す構成の場合、測光重点領域決定部５は、進行方向予測部４により予測された進行方向において撮影領域の重なりを有するカメラのうち、障害物検出部７により障害物が検出された方向において撮影領域の重なりを有するカメラについて、その重複領域を測光重点領域として決定する。
【００４６】
例えば、進行方向予測部４によって自車両１００の進行方向が後方であると予測された場合、後方２箇所の重複領域ＯＡ３，ＯＡ４を撮影領域の一部として持つカメラは、左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄとなる。このとき、例えば障害物検出部７によって右後方に障害物が検出されたととすると、カメラ１ｂ，１ｃ，１ｄのうち、右後方の重複領域ＯＡ４を撮影領域の一部として持つ右サイドカメラ１ｃおよびリアカメラ１ｄのそれぞれについて、その重複領域ＯＡ４を測光重点領域として決定する。このとき、フロントカメラ１ａおよび左サイドカメラ１ｂについては、あらかじめ決められた測光方式に従って測光領域を決定する。
【００４７】
なお、ここでは進行方向予測部４および障害物検出部７の双方を用いる例について説明しているが、障害物検出部７のみを用いるようにしても良い。ただし、障害物の有無だけに基づいて測光重点領域を決定する場合、障害物がないときには測光重点領域を決定することができない。したがって、障害物の有無に基づく測光重点領域の決定は、進行方向に基づく測光重点領域の決定に対して付加的に行うのが好ましい。
【００４８】
図７は、図６のように構成した車両周辺画像生成装置１０の動作例を示すフローチャートである。図７において、進行方向予測部４は、変速機のギアがバックギアに入っているかどうかを判定する（ステップＳ１１）。バックギアに入っていることが検出された場合、障害物検出部７は、自車両１００の後方に障害物が有るかどうかを検出する（ステップＳ１２）。
【００４９】
ここで、障害物が存在しないと判断された場合、測光重点領域決定部５は、左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄのそれぞれについて、撮影領域Ｈ２，Ｈ３，Ｈ４の重複領域ＯＡ３，ＯＡ４を測光重点領域として決定する（ステップＳ１３）。一方、自車両１００の後方に障害物が存在すると判断された場合、重複領域ＯＡ３，ＯＡ４のうち、その障害物が存在する方向の重複領域を測光重点領域として決定する（ステップＳ１７）。
【００５０】
上記ステップＳ１１で変速機がバックギアに入っていないと判断された場合、進行方向予測部４は、変速機がフロントギアに入っているかどうかを判定する（ステップＳ１４）。フロントギアに入っていることが検出された場合、障害物検出部７は、自車両１００の前方に障害物が有るかどうかを検出する（ステップＳ１５）。
【００５１】
ここで、障害物が存在しないと判断された場合、測光重点領域決定部５は、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定する（ステップＳ１６）。一方、自車両１００の前方に障害物が存在すると判断された場合、重複領域ＯＡ１，ＯＡ２のうち、その障害物が存在する方向の重複領域を測光重点領域として決定する（ステップＳ１７）。
【００５２】
変速機がバックギアにもフロントギアにも入っていない場合、障害物検出部７は、自車両１００の周囲に障害物が有るかどうかを検出する（ステップＳ１８）。ここで、何れの方向にも障害物が存在しないと判断された場合、測光重点領域決定部５は、各カメラ１ａ〜１ｄについて、あらかじめ決められた測光方式に従って測光領域を決定する（ステップＳ１９）。一方、何れかの方向に障害物が存在することが検出された場合は、その障害物が存在する方向の重複領域を測光重点領域として決定する（ステップＳ１７）。
【００５３】
以上のステップＳ１３，Ｓ１６，Ｓ１７，Ｓ１９の何れかにおいて測光重点領域決定部５により測光領域が決定されると、露出算出部６は、それぞれのカメラ１ａ〜１ｄ毎に、測光重点領域決定部５により決定された測光領域から得られる撮像信号に基づいて各カメラ１ａ〜１ｄの適正露出を算出する（ステップＳ２０）。そして、算出した適正露出となるように各カメラ１ａ〜１ｄを制御する。このとき露出算出部６は、測光重点領域の撮像信号に対して測光重点領域とは異なる領域の撮像信号よりも大きな重みを設定して、適正露出を算出する。
【００５４】
車両周辺画像生成部２は、露出算出部６により算出された露出に従って各カメラ１ａ〜１ｄの撮影により生成された画像信号を用いて、車両周辺画像を生成する（ステップＳ２１）。そして、表示装置３は、車両周辺画像生成部２により生成された車両周辺画像を表示する（ステップＳ２２）。
【００５５】
図６のように構成した車両周辺画像生成装置１０によれば、障害物がある方向のように、運転者が運転時に特に注意すべき進行方向の画像について輝度差による違和感を解消することができ、運転者が運転時に見たい箇所の視認性を向上させることができる。
【００５６】
なお、上記実施形態では、撮影領域の重なり部分を重点的に測光する特定部重点測光の例について説明したが、これに限定されない。例えば、撮影領域の重なり部分のみを測光するスポット測光としても良い。この場合のスポット測光は、測光重点領域以外の領域の重みをゼロとすることに相当する。
【００５７】
また、上記実施形態では、測光重点領域決定部５により決定された測光領域の撮像信号を用いて露出算出部６により適正露出する算出する自動露出調整の機能について説明したが、これに限定されない。例えば、測光重点領域決定部５により決定された測光領域の撮像信号を用いてホワイトバランス調整を行う自動ホワイトバランス調整機能にも適用することが可能である。
【００５８】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００５９】
【図１】本実施形態による車両周辺画像生成装置の構成例を示すブロック図である。
【図２】各カメラの配置および撮影領域の例を示す図である。
【図３】本実施形態による車両周辺画像生成装置の動作例を示すフローチャートである。
【図４】後退時に本実施形態の車両周辺画像生成装置により生成される車両周辺画像の例を示す図である。
【図５】前進時に本実施形態の車両周辺画像生成装置により生成される車両周辺画像の例を示す図である。
【図６】本実施形態による車両周辺画像生成装置の他の構成例を示すブロック図である。
【図７】本実施形態による車両周辺画像生成装置の他の動作例を示すフローチャートである。
【符号の説明】
【００６０】
１  複数のカメラ（撮像装置）
２  車両周辺画像生成部
３  表示装置
４  進行方向予測部
５  測光重点領域決定部
６  露出算出部
７  障害物検出部
【図１】
0004812510.tif 000002
【図２】
0004812510.tif 000003
【図３】
0004812510.tif 000004
【図４】
0004812510.tif 000005
【図５】
0004812510.tif 000006
【図６】
0004812510.tif 000007
【図７】
0004812510.tif 000008