(57)【要約】【課題】複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる車載用カメラ映像提示装置及び車載用カメラ映像提示方法を提供すること。【解決手段】車両の２つの相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する撮影手段110a、110bにより撮影された２つの車両周囲映像を、視点変換処理手段120によって、例えば、同一視点から見た映像に視点変換し、該２つの映像に共通する視野領域の明るさが等しくなるように、明るさ調整処理手段130によって該２つの映像の明るさを調整し、さらに、該２つの映像を画像合成処理手段140によって１つの映像に合成し、得られた車両周囲映像を液晶ディスプレイ150によって提示する車載用カメラ映像提示装置を構成する。【選択図】    図１
2006173988.tif 000002
【特許請求の範囲】
【請求項１】
車載され、カメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示装置において、
少なくとも２つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段と、
上記撮影手段により撮影された車両周囲映像の明るさを、自らの内部で調整するか、または、上記撮影手段における映像の明るさ調整用の明るさ調整信号を上記撮影手段へ向けて出力する明るさ調整処理手段と、
上記明るさ調整処理手段が自らの内部で明るさ調整した複数の車両周囲映像、または、上記撮影手段が上記明るさ調整信号に応じて映像の明るさを調整して撮影した複数の車両周囲映像を１つの映像に合成する画像合成処理手段と、
上記画像合成処理手段により１つの映像に合成された車両周囲映像を提示する映像提示手段とを備え、
共通な視野領域の明るさが等しくなるように明るさ調整された複数の車両周囲映像を１つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置。
【請求項２】
車載され、カメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示装置において、
少なくとも２つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段と、
上記撮影手段により撮影された車両周囲映像の明るさを、自らの内部で調整するか、または、上記撮影手段における映像の明るさ調整用の明るさ調整信号を上記撮影手段へ向けて出力する明るさ調整処理手段と、
上記明るさ調整処理手段が自らの内部で明るさ調整した車両周囲映像、または、上記撮影手段が上記明るさ調整信号に応じて映像の明るさを調整して撮影した車両周囲映像の視点変換処理を行う視点変換処理手段と、
上記視点変換処理手段により視点変換された複数の車両周囲映像を１つの映像に合成する画像合成処理手段と、
上記画像合成処理手段により１つの映像に合成された車両周囲映像を提示する映像提示手段とを備え、
共通な視野領域の明るさが等しくなるように明るさ調整され、視点変換された複数の車両周囲映像を１つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置。
【請求項３】
車載され、カメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示装置において、
少なくとも２つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段と、
上記撮影手段により撮影された車両周囲映像の視点変換処理を行う視点変換処理手段と、
上記視点変換処理手段により処理された車両周囲映像の明るさを、自らの内部で調整するか、または、上記撮影手段における映像の明るさ調整用の明るさ調整信号を上記撮影手段へ向けて出力する明るさ調整処理手段と、
上記明るさ調整処理手段が自らの内部で明るさ調整した複数の車両周囲映像、または、上記撮影手段が上記明るさ調整信号に応じて映像の明るさを調整して撮影し上記視点変換処理手段が視点変換処理した複数の車両周囲映像を１つの映像に合成する画像合成処理手段と、
上記画像合成処理手段により処理された車両周囲映像を提示する映像提示手段とを備え、
共通な視野領域の明るさが等しくなるような明るさ調整処理と、視点変換処理とを施して得る複数の車両周囲映像を１つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置。
【請求項４】
請求項１、２または３に記載の車載用カメラ映像提示装置おいて、
上記明るさ調整処理手段は、複数の上記車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の上記車両周囲映像全体の明るさが予め決められた明るさとなるように、映像の明るさ調整処理を行うことを特徴とする車載用カメラ映像提示装置。
【請求項５】
請求項１、２、３または４に記載の車載用カメラ映像提示装置おいて、
上記明るさ調整処理手段は、上記明るさ調整信号を出力することなく、車両周囲映像の明るさを自らの内部で調整することを特徴とする車載用カメラ映像提示装置。
【請求項６】
請求項１、２、３または４に記載の車載用カメラ映像提示装置おいて、
上記撮影手段は、外部からの明るさ調整信号に応じて撮影映像の明るさを調整することが可能な撮影手段であり、上記明るさ調整処理手段は、車両周囲映像の明るさを自らの内部で調整することなく、上記明るさ調整信号を上記撮影手段へ向けて出力することを特徴とする車載用カメラ映像提示装置。
【請求項７】
車載されたカメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示方法において、
少なくとも２つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された車両周囲映像に、共通な視野領域の明るさが等しくなるような明るさ調整処理を施して得る複数の車両周囲映像、または、複数の上記撮影手段により、共通な視野領域の明るさが等しくなるように明るさ調整して撮影された複数の車両周囲映像を１つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示方法。
【請求項８】
車載されたカメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示方法において、
少なくとも２つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された車両周囲映像に、共通な視野領域の明るさが等しくなるような明るさ調整処理を施し、視点変換処理を施して得る複数の車両周囲映像、または、複数の上記撮影手段により、共通な視野領域の明るさが等しくなるように明るさ調整して撮影され、視点変換処理された複数の車両周囲映像を１つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示方法。
【請求項９】
車載されたカメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示方法において、
少なくとも２つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された車両周囲映像に、視点変換処理を施し、共通な視野領域の明るさが等しくなるような明るさ調整処理を施して得る複数の車両周囲映像、または、複数の上記撮影手段により、共通な視野領域の明るさが等しくなるように明るさ調整して撮影され、視点変換処理された複数の車両周囲映像を１つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示方法。
【請求項１０】
請求項７、８または９に記載の車載用カメラ映像提示方法おいて、
複数の上記車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の上記車両周囲映像全体の明るさが予め決められた明るさとなるように、映像の明るさ調整処理を行うことを特徴とする車載用カメラ映像提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車載用カメラ映像提示装置及び車載用カメラ映像提示方法に関する。
【背景技術】
【０００２】
下記特許文献１に記載されているように、車両のビュー装置において、左右の連続していない視界領域を１個のカメラにて撮像する場合、明るさの調整対象とする領域を限定して、必要な視界領域の明るさを最適にする仕組みが提案されている。以下、「カメラ」は、この特許文献１にも記載されているように、すべて電子式撮像手段を用いる電子式カメラを意味するものとする。
【０００３】
【特許文献１】特開平０９−０５８３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、明るさの調整対象とする領域を限定して、必要な視界領域の明るさを最適にする仕組みでは、複数のカメラを用いた場合は、それぞれのカメラで明るさの調整を行ってから処理をすることとなり、複数のカメラでの連続した領域を撮影し、カメラごとに明るさを調整した映像を用いて、１つの提示映像を生成する場合の、複数のカメラ映像の持つ明るさの調整のための処理には適用できず、複数のカメラ映像ごとに明るさが大きく異なるような場合には合成するつなぎ目付近で明るさの不連続が起き、その明るさの段差によって、本来ないはずの段差があるように、提示映像としては見えてしまうという問題点があった。
【０００５】
本発明は上記の問題に鑑みてなされたものであり、本発明が解決しようとする課題は、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる車載用カメラ映像提示装置及び車載用カメラ映像提示方法を提供することにある。
【課題を解決するための手段】
【０００６】
車両の２つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された複数の車両周囲映像の明るさを、共通な視野領域の明るさが等しくなるように明るさ調整し、該複数の車両周囲映像を１つの映像に合成して得られる車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置を構成する。
【発明の効果】
【０００７】
本発明の実施によって、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる車載用カメラ映像提示装置及び車載用カメラ映像提示方法を提供することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下に、本発明を、実施の形態例によって、詳細に説明する。
【０００９】
（実施の形態例１）
図１に実施の形態例１である車載用カメラ映像提示装置の構成図を示す。この車載用カメラ映像提示装置は、２つの相異なる位置に設置され、車両周辺の共通な視野領域を有する車両周囲映像を撮影する撮影手段110a、110bと、画像処理装置100と、映像提示手段である液晶ディスプレイ150とから構成され、画像処理装置100には、映像を、仮想視点から撮影された映像に視点変換処理を行う視点変換処理手段120と、映像の明るさ調整を行う明るさ調整処理手段130と、複数の映像を１つの映像に合成する画像合成処理手段140とが具備されている。液晶ディスプレイ150は画像合成処理手段140による処理を経た車両周囲映像を提示する。
【００１０】
撮影手段110a、110bには、例えば、CCDカメラやCMOSカメラが用いられる。
【００１１】
視点変換処理手段120や、明るさ調整処理手段130や、映像合成処理手段140には、例えば、マイクロコンピュータとメモリから構成される映像処理装置100上で動作するプログラムや、それぞれの処理を回路として組み込んだASIC、FPGAが用いられる。
【００１２】
以上の構成における装置の動作を説明する。図２に、本実施の形態例のフローチャートを示す。
【００１３】
撮影手段110aと110bとを用いて映像を撮影し、その映像データを読み込む（S1001）。
【００１４】
ここでは、撮影手段110aと110bとの映像を、視点変換処理手段120において、例えば、同一視点から見た映像に視点変換した映像を取得する（S1002）。
【００１５】
撮影手段110aで取得した映像に視点変換処理を施して得た映像をIa、撮影手段110bで取得した映像に視点変換処理を施して得た映像をIbとし、この二つの映像の共通視野領域をそれぞれIa0、Ib0とする。
【００１６】
IaとIbはそれぞれｋ個、ｍ個の画素から、Ia0とIb0はそれぞれｎ個の画素からなるものとし、Iaの各画素jの明るさをYaj、Ibの各画素jの明るさをYbjとし、Ia0の各画素jの明るさをYa0j、Ib0の各画素jの明るさをYb0jとすると、IaとIb及びIa0とIb0の明るさの平均値Ya_ave、Yb_ave、Ya0_ave、Yb0_aveを
Iaの明るさ  Ya_ave ＝ (Ya1＋Ya2＋…＋Yak)/ｋ
Ibの明るさ  Yb_ave ＝ (Yb1＋Yb2＋…＋Ybm)/ｍ
Ia0の明るさ  Ya0_ave ＝ (Ya01＋Ya02＋…＋Ya0n)/ｎ
Ib0の明るさ  Yb0_ave ＝ (Yb01＋Yb02＋…＋Yb0n)/ｎ
で定義する。
【００１７】
明るさの調整処理を行う明るさ調整処理手段130において、撮影手段110aと110bで撮影した映像の視点変換を行った映像の明るさ平均と、共通視野領域の明るさ平均を求める（S1003）。
【００１８】
次いで、撮影手段110aと110bで撮影した映像全体の明るさ平均の目標値をYtargetとすると、明るさの調整処理として、
撮影手段110aの映像を視点変換した映像の明るさを
(ｋ＋ｍ)×Yb0_ave×Ytarget/(Ya_ave×Yb0_ave×ｋ＋Yb_ave×Ya0_ave×ｍ）倍し、
撮影手段110bの映像を視点変換した映像の明るさを
(ｋ＋ｍ)×Ya0_ave×Ytarget/(Ya_ave×Yb0_ave×ｋ＋Yb_ave×Ya0_ave×ｍ)倍する（S1004）。この処理により共通視野領域のIa0とIb0の明るさが等しく、またIaとIbの映像を合計した範囲の明るさも目標値のYtargetとなる。このような映像の明るさ調整は、明るさ調整処理手段130の内部で行われる。
【００１９】
このようにして、撮影手段110a、110bにより撮影された複数の車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の車両周囲映像全体の明るさが予め決められた明るさ（Ytarget）となるように、撮影手段110a、110bにより得られた複数の車両周囲映像の明るさ調整処理を行うことができる。この場合には、時間が経過しても、一定の明るさの映像が提示される。
【００２０】
次いで、明るさ調整を行った映像を画像合成処理手段140において合成し（S1005）、生成された映像データを液晶ディスプレイ150に提示し（S1006）、以降S1001から処理を繰り返す。
【００２１】
図７に映像データのイメージを示す。図において、上から１段目は被写体の明るさを示し、さらに、撮影手段であるカメラ110a、110bの撮影範囲（Ia、Ib）と、その範囲に共通な視野領域（Ia0、Ib0）を示している。上から２段目は、それぞれのカメラが、それぞれの標準明るさで撮影した映像を示している。上から３段目は、２段目に示した２つの映像を、視点変換処理手段120によって、同一視点から見た映像に視点変換し、そのまま、画像合成処理手段140によって、１つの映像に合成した結果を示していて、共通な視野領域（Ia0、Ib0）には、異なるカメラにより撮影された２つの映像の明るさの段差が現われている。
【００２２】
これに対して、本実施の形態例においては、２段目に示した２つの映像を、視点変換処理手段120によって、同一視点から見た映像に視点変換し、さらに、明るさ調整処理手段130によって、共通な視野領域（Ia0、Ib0）における明るさが同じになるように、明るさ調整を行って４段目に示した映像とし、この２つの映像を、画像合成処理手段140によって、１つの映像に合成して、最下段に示した映像としている。画像合成前の、共通な視野領域（Ia0、Ib0）における明るさが同じになっているので、画像合成後の、最下段に示した映像には、異なるカメラにより撮影された２つの映像の明るさの段差が現われていない。すなわち、本発明の実施によって、このような明るさの段差を除去することができる。
【００２３】
このように、複数の撮影手段により取得した複数の車両周囲映像の共通な視野領域の明るさが等しくなるようように、取得した映像全体の明るさが目標の明るさになるように、複数の撮影手段により得られた映像の映像処理を行ってから、処理した映像を合成して、生成した映像を提示するようにしたため、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続（明るさの段差）を防ぐことができる。
【００２４】
下記実施の形態例２と異なり、撮影した映像に対して明るさ調整を行うようにしているため、明るさの調整範囲は小さくなるが、撮影手段の明るさ調整を行うための制御信号（明るさ調整信号）を送る必要がなく、従来、車載カメラとして利用されているカメラをそのまま利用することが可能である。
【００２５】
なお、撮影手段110aと110bとの視差が大きくない場合等においては、視点変換処理手段120による視点変換処理を行わなくてもよい。すなわち、撮影手段110a、110bにより撮影された車両周囲映像を、視点変換処理なしに、明るさ調整処理手段130によって明るさ調整処理し、画像合成処理手段140によって画像合成処理し、液晶ディスプレイ150によって提示してもよい。
【００２６】
また、視点変換処理手段120による視点変換処理と明るさ調整処理手段130による明るさ調整処理との順序を反対にしてもよい。すなわち、撮影手段110a、110bにより撮影された車両周囲映像を、明るさ調整処理手段130によって明るさ調整処理した後に、視点変換処理手段120によって視点変換処理し、画像合成処理手段140によって画像合成処理し、液晶ディスプレイ150によって提示してもよい。
【００２７】
（実施の形態例２）
図３に実施の形態例２の構成図を示す。この車載用カメラ映像提示装置は、２つの相異なる位置に設置され、車両周辺の共通な視野領域を有する車両周囲映像を撮影する、外部入力信号（明るさ調整信号）によって撮影映像の明るさ調整が可能な撮影手段である撮影手段210a、210bと、画像処理装置200と、映像提示手段である液晶ディスプレイ250とから構成され、画像処理装置200には、映像を、仮想視点から撮影された映像に視点変換処理を行う視点変換処理手段220と、映像の明るさ調整を行う明るさ調整処理手段230と、映像を１つの映像に合成する画像合成処理手段240とが具備されている。液晶ディスプレイ250は画像合成処理手段240による処理を経た車両周囲映像を提示する。
【００２８】
撮影手段210a、210bには、例えば、CCDカメラやCMOSカメラが用いられる。
【００２９】
視点変換処理手段220や、明るさ調整処理手段230や、画像合成処理手段240には、例えば、マイクロコンピュータとメモリから構成される映像処理装置200上で動作するプログラムや、それぞれの処理を回路として組み込んだASIC、FPGAが用いられる。
【００３０】
以上の構成における装置の動作を説明する。図４に本実施の形態例のフローチャートを示す。
【００３１】
撮影手段210a、210bとを用いて映像を撮影し、その映像データを読み込む（S2001）。
【００３２】
撮影手段210aで取得した映像をIa、撮影手段210bで取得した映像をIbとし、この二つの映像の共通視野領域をそれぞれIa0、Ib0とする。
【００３３】
IaとIbはそれぞれｍ個の画素から、Ia0とIb0はそれぞれｎ個の画素からなるものとし、Iaの各画素jの明るさをYaj、Ibの各画素jの明るさをYbjとし、Ia0の各画素jの明るさをYa0j、Ib0の各画素jの明るさをYb0jとすると、IaとIb及びIa0とIb0の明るさの平均値Ya_ave、Yb_ave、Ya0_ave、Yb0_aveを
Iaの明るさ  Ya_ave ＝ (Ya1＋Ya2＋…＋Yam)/ｍ
Ibの明るさ  Yb_ave ＝ (Yb1＋Yb2＋…＋Ybm)/ｍ
Ia0の明るさ  Ya0_ave ＝ (Ya01＋Ya02＋…＋Ya0n)/ｎ
Ib0の明るさ  Yb0_ave ＝ (Yb01＋Yb02＋…＋Yb0n)/ｎ
で定義する。
【００３４】
明るさの調整処理を行う明るさ調整処理手段230において、撮影手段210aと210bで撮影した映像の共通視野領域の明るさ平均を求める（S2002）。
【００３５】
次いで、撮影手段210aと210bで撮影した映像の明るさ平均の目標値をYtargetとすると、明るさの調整処理として、
撮影手段210aの映像を視点変換した映像の明るさを
２×Yb0_ave×Ytarget/(Ya_ave×Yb0_ave＋Yb_ave×Ya0_ave）倍し、
撮影手段210bの映像を視点変換した映像の明るさを
２×Ya0_ave×Ytarget/(Ya_ave×Yb0_ave＋Yb_ave×Ya0_ave）倍するように、撮影手段210aと210bの撮影照度の目標値を変更する（S2003）。撮影手段210aと210bにおける撮影照度の目標値の変更は、明るさ調整処理手段230が出力する照度調整のための信号（明るさ調整信号）を外部入力信号として行われる。すなわち、本実施の形態例においては、実施の形態例１とは異なり、映像の明るさ調整は、明るさ調整処理手段230からの信号（明るさ調整信号）によって、撮影手段210aと210bにおいて行われる。この明るさ調整処理により共通視野領域のIa0とIb0の明るさが等しく、またIaとIbの撮像範囲を合計した範囲の明るさも目標値のYtargetとなる。
【００３６】
このようにして、撮影手段210a、210bにより撮影された複数の車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の車両周囲映像全体の明るさが予め決められた明るさ（Ytarget）となるように、撮影手段210a、210bにより得られた複数の車両周囲映像の明るさ調整処理を行うことができる。この場合には、時間が経過しても、一定の明るさの映像が提示される。
【００３７】
また、撮影手段210aと210bにおいて明るさ調整信号に応じて明るさを調整して撮影した映像を、視点変換処理手段220において、例えば、同一視点から見た映像に視点変換処理した映像を取得する（S2004）。
【００３８】
次いで、視点変換処理手段240において視点変換を行った映像を合成し（S2005）、生成された映像データを液晶ディスプレイ250に提示し（S2006）、以降S2001から処理を繰り返す。
【００３９】
複数の撮影手段により取得した複数の車両周囲映像の共通な視野領域の明るさが等しくなるようように、取得した映像全体の明るさが目標の明るさになるように、複数の撮影手段により得られる映像の映像処理を行ってから、処理した映像を合成して、生成した映像を提示するようにしたため、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる。
【００４０】
また、実施の形態例１のように撮影した映像に対して明るさ調整を行うのではなく、撮影手段210a、210bにおいて、明るさ調整信号に応じて、撮影映像の明るさ調整を行うようにしたため、複数の撮影手段で撮影する映像の明るさの違いが大きい場合でも対応可能となる。
【００４１】
なお、撮影手段210aと210bとの視差が大きくない場合等においては、視点変換処理手段220による視点変換処理を行わなくてもよい。すなわち、撮影手段210a、210bにより撮影された車両周囲映像（明るさ調整処理手段230からの明るさ調整信号によって明るさ調整されている）を、視点変換処理なしに、画像合成処理手段140によって画像合成処理し、液晶ディスプレイ250によって提示してもよい。
【００４２】
また、明るさ調整処理手段230による明るさ調整処理と視点変換処理手段220による視点変換処理との順序を反対にしてもよい。すなわち、撮影手段210a、210bにより撮影された車両周囲映像を、視点変換処理手段220によって視点変換処理した後に、明るさ調整処理手段230によって明るさ調整処理し、画像合成処理手段240によって画像合成処理し、液晶ディスプレイ250によって提示してもよい。ただし、この場合には、映像の明るさ調整は撮影手段210a、210bにおいて行われるので、明るさ調整後の映像は、視点変換処理手段220によって視点変換処理を施されてから画像合成処理手段240に入力される。
【００４３】
（実施の形態例３）
図５に実施の形態例３の構成図を示す。この車載用カメラ映像提示装置は、３つの相異なる位置に設置され、車両周辺の共通な視野領域を含む車両周囲映像を撮影する、外部入力信号（明るさ調整信号）によって撮影映像の明るさ調整が可能な撮影手段である撮影手段310a、310b、310cと、画像処理装置300と、映像提示手段である液晶ディスプレイ350とから構成され、画像処理装置300には、映像を、仮想視点から撮影された映像に視点変換処理を行う視点変換処理手段320と、映像の明るさ調整を行う明るさ調整処理手段330と、映像の合成を行う画像合成処理手段340とが具備されている。液晶ディスプレイ350は画像合成処理手段340による処理を経た車両周囲映像を提示する。
【００４４】
撮影手段310a、310b、310cには、例えば、CCDカメラやCMOSカメラが用いられる。
【００４５】
視点変換処理手段320や、明るさ調整処理手段330や、画像合成処理手段340には、例えば、マイクロコンピュータとメモリから構成される映像処理装置300上で動作するプログラムや、それぞれの処理を回路として組み込んだASIC、FPGAが用いられる。
【００４６】
以上の構成において、撮影手段310aと310b、310bと310cがそれぞれ共通の視野領域を含む配置になっているものとして、その動作を説明する。図６に実施の形態例３のフローチャートを示す。
【００４７】
撮影手段310a、310b、310cとを用いて映像を撮影し、その映像データを読み込む（S3001）。
【００４８】
撮影手段310aで取得した映像をIa、撮影手段310bで取得した映像をIb、撮影手段310cで取得した映像をIcとし、この撮影手段310aと撮影手段310bの映像の共通視野領域をそれぞれIa0、 Ib0、撮影手段310bと撮影手段310cの映像の共通視野領域をそれぞれIb1、 Ic1とする。
【００４９】
IaとIbとIcはそれぞれｋ個の画素から、Ia0とIb0はそれぞれｍ個の画素から、Ib1とIc1はそれぞれｎ個の画素からなるものとし、Iaの各画素jの明るさをYaj、Ibの各画素jの明るさをYbj、Icの各画素jの明るさをYcjとし、Ia0の各画素jの明るさをYa0j、Ib0の各画素jの明るさをYb0j、Ib1の各画素jの明るさをYb1j、Ic1の各画素jの明るさをYc1jとすると、IaとIbとIc及びIa0とIb0とIb1とIc1の明るさの平均値Ya_ave、Yb_ave、Yc_ave、Ya0_ave、Yb0_ave、Yb1_ave、Yc1_aveを
Iaの明るさ  Ya_ave ＝ (Ya1＋Ya2＋…＋Yak)/ｋ
Ibの明るさ  Yb_ave ＝ (Yb1＋Yb2＋…＋Ybk)/ｋ
Icの明るさ  Yc_ave ＝ (Yc1＋Yc2＋…＋Yck)/ｋ
Ia0の明るさ  Ya0_ave ＝ (Ya01＋Ya02＋…＋Ya0m)/ｍ
Ib0の明るさ  Yb0_ave ＝ (Yb01＋Yb02＋…＋Yb0m)/ｍ
Ib1の明るさ  Yb1_ave ＝ (Yb11＋Yb12＋…＋Yb1n)/ｎ
Ic1の明るさ  Yc1_ave ＝ (Yc11＋Yc12＋…＋Yc1n)/ｎ
で定義する。
【００５０】
明るさの調整処理を行う明るさ調整処理手段330において、撮影手段310aと310bで撮影した映像の共通視野領域の明るさ平均を求める（S3002）。
【００５１】
次いで、撮影手段310aと310bで撮影した映像の明るさ平均の目標値をYtargetとすると、明るさの調整処理として
撮影手段310aの映像を視点変換した映像の明るさを
３×Yb0_ave×Yc1_ave×Ytarget/(Ya_ave×Yb0_ave×Yc1_ave＋Yb_ave×Ya0_ave×Yc1_ave＋Yc_ave×Ya0_ave×Yb1_ave）倍し、
撮影手段310bの映像を視点変換した映像の明るさを
３×Ya0_ave×Yc1_ave×Ytarget/(Ya_ave×Yb0_ave×Yc1_ave＋Yb_ave×Ya0_ave×Yc1_ave＋Yc_ave×Ya0_ave×Yb1_ave）倍し、
撮影手段310cの映像を視点変換した映像の明るさを
３×Ya0_ave×Yb1_ave×Ytarget／（Ya_ave×Yb0_ave×Yc1_ave＋Yb_ave×Ya0_ave×Yc1_ave＋Yc_ave×Ya0_ave×Yb1_ave）倍するように、
撮影手段310aと310bと310cの撮影照度の目標値を変更する（S3003）。撮影手段310aと310bと310cにおける撮影照度の目標値の変更は、明るさ調整処理手段330が出力する照度調整のための信号（明るさ調整信号）を外部入力信号として行われる。すなわち、本実施の形態例においては、実施の形態例１とは異なり、映像の明るさ調整は、明るさ調整処理手段330からの信号（明るさ調整信号）によって、撮影手段310aと310bと310cにおいて行われる。
【００５２】
このようにして、撮影手段310a、310b、310cにより撮影された複数の車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の車両周囲映像全体の明るさが予め決められた明るさ（Ytarget）となるように、撮影手段310a、310b、310cにより得られた複数の車両周囲映像の明るさ調整処理を行うことができる。この場合には、時間が経過しても、一定の明るさの映像が提示される。
【００５３】
また、撮影手段310aと310bと310cにおいて明るさ調整信号に応じて明るさを調整して撮影した映像を、視点変換処理手段320において、例えば、同一視点から見た映像に視点変換処理した映像を取得する（S3004）。
【００５４】
次いで、画像合成手段340において、視点変換を行った複数の映像を１つの映像に合成し（S3005）、生成された映像データを液晶ディスプレイ350に提示し（S3006）、以降S3001から処理を繰り返す。
【００５５】
このようにして、複数の撮影手段により取得した複数の車両周囲映像の共通な視野領域の明るさが等しくなるようように、取得した映像全体の明るさが目標の明るさになるように、複数の撮影手段により得られた映像の映像処理を行ってから、処理した映像を合成して、生成した映像を提示するようにしたため、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる。
【００５６】
また、明るさ調整処理を、撮影された映像に対して行うのでなく、撮影手段310a、310b、310cにおいて行うようにしたため、複数の撮影手段で撮影する映像の明るさの違いが大きい場合でも対応可能となる。
【００５７】
なお、撮影手段310a、310b、310cの間の視差が大きくない場合等においては、視点変換処理手段320による視点変換処理を行わなくてもよい。すなわち、撮影手段310a、310b、310cにより撮影された車両周囲映像（明るさ調整処理手段330からの明るさ調整信号によって明るさ調整されている）を、視点変換処理なしに、画像合成処理手段340によって画像合成処理し、液晶ディスプレイ350によって提示してもよい。
【００５８】
また、明るさ調整処理手段330による明るさ調整処理と視点変換処理手段320による視点変換処理との順序を反対にしてもよい。すなわち、撮影手段310a、310b、310cにより撮影された車両周囲映像を、視点変換処理手段320によって視点変換処理した後に、明るさ調整処理手段330によって明るさ調整処理し、画像合成処理手段340によって画像合成処理し、液晶ディスプレイ350によって提示してもよい。ただし、この場合には、映像の明るさ調整は撮影手段310a、310b、310cにおいて行われるので、明るさ調整後の映像は、視点変換処理手段320によって視点変換処理を施されてから画像合成処理手段340に入力される。
【図面の簡単な説明】
【００５９】
【図１】実施の形態例１の構成図である。
【図２】実施の形態例１のフローチャートである。
【図３】実施の形態例２の構成図である。
【図４】実施の形態例２のフローチャートである。
【図５】実施の形態例３の構成図である。
【図６】実施の形態例３のフローチャートである。
【図７】実施の形態例１の映像データのイメージである。
【符号の説明】
【００６０】
100：画像処理装置、110a、110b：撮影手段、120：視点変換処理手段、130：明るさ調整処理手段、140：画像合成処理手段、150：液晶ディスプレイ、200：画像処理装置、210a、210b：撮影手段、220：視点変換処理手段、230：明るさ調整処理手段、240：画像合成処理手段、250：液晶ディスプレイ、300：画像処理装置、310a、310b、310c：撮影手段、320：視点変換処理手段、330：明るさ調整処理手段、340：画像合成処理手段、350：液晶ディスプレイ。
【図１】
2006173988.tif 000003
【図２】
2006173988.tif 000004
【図３】
2006173988.tif 000005
【図４】
2006173988.tif 000006
【図５】
2006173988.tif 000007
【図６】
2006173988.tif 000008
【図７】
2006173988.tif 000009