(57)【要約】【課題】ハレーションを起さずに、画像のつなぎ目部分の輝度差の少ない合成画像を生成することである。【解決手段】画像合成装置のゲイン制御回路２５は、右カメラ２１と左カメラ２２のゲインを読み出し、それぞれのゲインが基準値以下か否かを判定する。一方のカメラのゲインが基準値以下であったときには、ゲインが基準値より大きい他方のカメラのゲインを目標ゲインとして設定する。次に、ハレーションテーブルを参照して、カメラのゲインを目標ゲインに変更した場合にハレーションが起きるか否かを判定する。ハレーションが起きる場合には、ハレーションが起きないレベルまで目標ゲインを下げる。【選択図】      図１
2009296490.tif 000002
【特許請求の範囲】
【請求項１】
２つの撮影手段で撮影された画像を合成する画像合成装置において、
前記２つの撮影手段の内の一方の撮影手段のゲインを、他方の撮影手段のゲインを基準にして調整する場合に、前記一方の撮影手段の入射光量または入射光量により定まる初期ゲインと、前記他方の撮影手段のゲインを基準として定まる目標ゲインと、ハレーションが起きるか否かを示すデータとを関連付けたハレーション情報を記憶する記憶手段と、
前記記憶手段に記憶されている前記ハレーション情報を参照して、前記一方の撮影手段の入射光量または前記初期ゲインと前記目標ゲインとにより定まる条件において、ハレーションが起きるか否かを判定するハレーション判定手段と、
前記ハレーション判定手段によりハレーションが起きると判定された場合には、前記一方の撮影手段の目標ゲインを小さな値に変更するゲイン調整手段と、を備える画像合成装置。
【請求項２】
前記ハレーション情報は、前記２つの撮影手段の入射光量または入射光量により定まる前記初期ゲインと、前記２つの撮影手段のゲインを変数とした二次元座標におけるハレーションが起きる領域を示す情報であり、
前記ハレーション判定手段は、前記一方の撮影手段の入射光量または入射光量により定まる前記初期ゲインと前記目標ゲインとにより定まる二次元平面上の座標が、前記ハレーション情報のハレーションが起きる領域内に入るか否かを判定し、
前記ゲイン調整手段は、前記一方の撮影手段の前記座標がハレーションが起きる領域内に入ると判定された場合には、ハレーションが起きる領域外となるように前記一方の撮影手段の前記目標ゲインを下げる制御を行う請求項１記載の画像合成装置。
【請求項３】
前記ハレーション判定手段は、前記一方の撮影手段の入射光量または入射光量により定まる初期ゲインと前記目標ゲインとにより定まる条件が、前記ハレーション情報のハレーションが起きる条件を満たすか否かを判定し、
前記ゲイン調整手段は、前記ハレーション判定手段によりハレーションが起きる条件を満たすと判定された場合には、前記一方の撮影手段の目標ゲインを下げる制御を行う請求項１記載の画像合成装置。
【請求項４】
前記２つの撮影手段のゲインが基準値以下か否かを判定するゲイン判定手段を有し、
前記ゲイン判定手段により前記２つの撮影手段の内の前記一方のゲインが前記基準値以下と判定された場合に、前記ハレーション判定手段は、前記一方の撮影手段の入射光量または入射光量により定まる初期ゲインと前記目標ゲインとにより定まる二次元平面上の座標が、前記ハレーション情報のハレーションが起きる領域内に入るか否かを判定し、
前記ゲイン調整手段は、前記ハレーション判定手段によりハレーションが起きる領域内に入ると判定された場合には、前記一方の撮影手段の目標ゲインを下げる制御を行う請求項１または２記載の画像合成装置。
【請求項５】
前記ゲイン判定手段により前記２つのの撮影手段の内の前記一方のゲインが前記基準値以下と判定された場合に、前記ハレーション判定手段は、前記他方の撮影手段のゲインを目標ゲインとして前記一方の撮影手段のゲインを調整する際に、前記一方の撮影手段の前記初期ゲインと前記目標ゲインとにより定まる二次元平面上の座標が前記ハレーション情報のハレーションが起きる領域内に入るか否かを判定する請求項１、２または３記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２以上の撮影手段で撮影された画像を合成する画像合成装置に関する。
【背景技術】
【０００２】
走行中の車両の前方の状況を２台のカメラで撮影し、撮影した左右の画像を合成して表示する画像合成装置が知られている。
特許文献１には、車両周辺の画像を複数のカメラで撮影し、撮影した複数の画像を合成して表示する車両集半画像表示装置において、画像のつなぎ目部分の画像の明るさの差を抑制する抑制処理部を設けることが記載されている。
【０００３】
特許文献２には、複数のカメラから出力される画像を変形・合成した映像信号と、画像をどのように変形・合成したかを示すカメラ選択信号とを基に、各カメラの露光・色バランスを最適化する技術について記載されている。
【０００４】
特許文献３には、第１カメラで撮像した画像から得られるリファレンスデータを第２カメラに送り、第２カメラが撮像した画像をリファレンスデータを基に補正し、第１カメラで撮像した画像と第２カメラの補正画像を合成することで、合成画像の接続部分の違和感を無くすことが記載されている。
【０００５】
図５は、従来の画像合成装置のゲイン調整方法の問題点の説明図である。図５は、２台のカメラで自動車の前方の画像を撮影する場合の例である。
右側に太陽が見える状況で左右２台のカメラで前方を撮影した場合、右カメラ１１で撮影した画像Ａには太陽が含まれているために自動ゲイン調整機能により右カメラ１１のゲインは下げられる。他方、左カメラ１２の入射光量は少ないのでゲインがそれほど下げられない。その結果、左右の画像Ａ，Ｂの明るさが大きく異なり、画像のつなぎ目部分の明るさの違いにより合成画像が不自然に見えるという問題があった。
【０００６】
上記の問題を解決するために、例えば、ゲインが小さい右カメラ１１のゲインを左カメラ１２のゲインと一致するように調整することが考えられる。
しかしながら、入射光量の多い右カメラ１１のゲインを入射光量の少ない左カメラ１２のゲインと等しくすると、右カメラ１１で撮影する画像にハレーションが起きる可能性がある。
【特許文献１】特開２００７−１５６７９２号公報
【特許文献２】特開２００２−１６９０８号公報
【特許文献３】特開２００７−３２４８８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、ハレーションを起こさずに輝度差の少ない合成画像を生成することである。
【課題を解決するための手段】
【０００８】
本発明の画像合成装置は、２つの撮影手段で撮影された画像を合成する画像合成装置において、前記２つの撮影手段の内の一方の撮影手段のゲインを、他方の撮影手段のゲインを基準にして調整する場合に、前記一方の撮影手段の入射光量または入射光量に応じて定まる初期ゲインと、前記他方の撮影手段のゲインを基準として定まる目標ゲインと、ハレーションが起きるか否かを示すデータとを関連付けたハレーション情報を記憶する記憶手段と、前記記憶手段に記憶されている前記ハレーション情報を参照して、前記一方の撮影手段の入射光量または前記初期ゲインと前記目標ゲインとにより定まる条件において、ハレーションが起きるか否かを判定するハレーション判定手段と、前記ハレーション判定手段によりハレーションが起きると判定された場合には、前記一方の撮影手段の目標ゲインを小さな値に変更するゲイン調整手段とを備える。
【０００９】
この画像合成装置によれば、ハレーションを起こさず、かつ画像のつなぎ目部分の輝度差の少ない合成画像を生成することができる。
上記の画像合成装置において、前記ハレーション情報は、前記２つの撮影手段の入射光量または入射光量により定まる前記初期ゲインと、前記２つの撮影手段のゲインを変数とした二次元座標におけるハレーションが起きる領域を示す情報であり、前記ハレーション判定手段は、前記一方の撮影手段の入射光量または入射光量により定まる前記初期ゲインと前記目標ゲインとにより定まる二次元平面上の座標が、前記ハレーション情報のハレーションが起きる領域内に入るか否かを判定し、前記ゲイン調整手段は、前記一方の撮影手段の前記座標がハレーションが起きる領域内に入ると判定された場合には、ハレーションが起きる領域外となるように前記一方の撮影手段の目標ゲインを下げる制御を行う。
【００１０】
このように構成することで、記憶手段に記憶してあるハレーション情報を参照して、ハレーションが起きないように撮影手段のゲインを調整することができる。
上記の画像合成装置において、前記ハレーション判定手段は、前記一方の撮影手段の入射光量または入射光量により定まる初期ゲインと前記目標ゲインとにより定まる条件が、前記ハレーション情報のハレーションが起きる条件を満たすか否かを判定し、前記ゲイン調整手段は、前記ハレーション判定手段によりハレーションが起きる条件を満たすと判定された場合には、前記一方の撮影手段の目標ゲインを下げる制御を行う。
【００１１】
このように構成することで、記憶手段に記憶してあるハレーション情報を参照して、ハレーションが起こらないように撮影手段のゲインを調整できる。
上記の画像合成装置において、前記２つの撮影手段のゲインが基準値以下か否かを判定するゲイン判定手段を有し、前記ゲイン判定手段により前記２つの撮影手段の内の一方のゲインが前記基準値以下と判定された場合に、前記ハレーション判定手段は、前記一方の撮影手段の入射光量または入射光量により定まる初期ゲインと前記目標ゲインとにより定まる二次元平面上の座標が、前記ハレーション情報のハレーションが起きる領域内に入るか否かを判定し、前記ゲイン調整手段は、前記ハレーション判定手段によりハレーションが起きる領域内に入ると判定された場合には、前記一方の撮影手段の前記目標ゲインを下げる制御を行う。
【００１２】
このように構成することで、記憶手段に記憶してあるハレーション情報を参照して、ゲインが基準値以下の撮影手段のゲインをハレーションが起きないように調整することができる。
【００１３】
上記の画像合成装置において、前記２つの撮影手段のゲインが基準値以下か否かを判定するゲイン判定手段を有し、前記ゲイン判定手段により前記２つの撮影手段の内の一方のゲインが前記基準値以下と判定された場合に、前記ハレーション判定手段は、前記一方の撮影手段の前記初期ゲインと前記目標ゲインとにより定まる二次元平面上の座標が前記ハレーション情報のハレーションが起きる領域内に入るか否かを判定する。
【００１４】
このように構成することで、記憶手段に記憶してあるハレーション情報を参照して、ゲインが基準値以下の撮影手段のゲインをハレーションが起きないように調整することができる。
【発明の効果】
【００１５】
本発明によれば、ハレーションを起こさず、かつ画像のつなぎ目部分の輝度差の少ない合成画像を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施の形態について説明する。図１は、実施の形態の画像合成装置と２台のカメラ（撮影手段）２１、２２を示す図である。実施の形態の画像合成装置は、自動車の前方を２台のカメラで撮影し、撮影した左右の画像を合成して保存する機能、あるいは合成した画像をディスプレイに表示する機能を有する。
【００１７】
画像合成装置は、右カメラ２１で撮影した画像を記憶する右カメラ用データメモリ２３と、左カメラ２２で撮影した画像を記憶する左カメラ用データメモリ２４と、右カメラ２１と左カメラ２２のゲインを調整するゲイン制御回路２５を有する。また、画像合成装置は、右カメラ２１と左カメラ２２で撮影した左右の画像を合成する画像合成処理プロセッサ２６と、合成画像を保存するメモリまたは表示装置２７を有する。
【００１８】
ゲイン制御回路２５は、右カメラ２１と左カメラ２２で撮影した画像の輝度が適正な値となるようにそれぞれのカメラのゲインを自動調整する。従って、右カメラ２１と左カメラ２２のゲインは、それぞれのカメラの入射光量に応じて定まるゲイン値となる。
【００１９】
ゲイン制御回路２５は、右カメラ２１と左カメラ２２のゲインを読み出し、それぞれのゲインが基準値以下か否かを判定する。判定の結果、一方のカメラ（調整対象カメラと呼ぶ）のゲインが基準値以下で、他方のカメラのゲインが基準より大きいと判定されたときには、他方のカメラのゲインを基準したゲイン値を目標ゲインとして設定する。そして、調整対象カメラのゲインを目標ゲインに変更した場合に、ハレーションが起きる可能性があるか否かを判定する。
【００２０】
本実施の形態においては、入射光量（または入射光量により定まるカメラの初期ゲイン）と目標ゲインを変数として、そらの値により定まる点をＸＹ座標上に表したときに、ハレーションが起きる領域を予め計算またはシミュレーションにより求めている。そして、入射光量（または入射光量により定まる初期ゲイン）と目標ゲインとそれらの条件で画像を撮影したときにハレーションが起きるか否かを示すデータを関連付けたハレーション情報をメモリ等の記憶手段に記憶してある。ゲイン制御回路２５は、メモリに記憶されているハレーション情報を参照して、調整対象カメラの初期ゲインと目標ゲインとにより定まる座標が、ハレーションが起きる領域内に入るか否かを判定している。
【００２１】
初期ゲインと目標ゲインとにより定まる座標がハレーションが起きる領域内に入る場合には、ゲイン制御回路２５は、目標ゲインを下げて変更後の目標ゲインがハレーションが起きる領域外となるように目標ゲインを調整する。ゲイン制御回路２５は、記憶手段、ハレーション判定手段及びゲイン調整手段に対応する。
【００２２】
画像合成処理プロセッサ２６は、右カメラ２１と左カメラ２２で撮影した画像を合成する。合成された画像は、メモリ２７に保存され、あるいは表示装置２７に出力される。
次に、画像合成装置の処理動作を図２のフローチャートを参照して説明する。図２のフローチャートは、左右のカメラの調整対象カメラのゲインを他方のカメラのゲインを基準にしてハレーションが起きないように調整する場合の処理である。
【００２３】
最初に、調整対象カメラのゲインが基準値Ｔｈ以下か否かを判別する（図２、Ｓ１１）。一方のカメラのゲインｘが基準値Ｔｈより大きいときには（Ｓ１１、ＮＯ）、そのカメラに強い光が入射していない場合であるので、そこで処理を終了する。
【００２４】
調整対象カメラのゲインｘが基準値Ｔｈ以下のとき（Ｓ１１、ＹＥＳ）、つまりカメラに強い光が入射しているときには、ステップＳ１２に進み、調整対象カメラの目標ゲインとして基準となる他方のカメラのゲインｘ１を設定した場合に、調整対象カメラの初期ゲインと目標ゲインとにより定まる二次元平面上の座標が、ハレーションが起きる領域内に入るか否かを判定する（Ｓ１２）。
【００２５】
上述したカメラの初期ゲインと目標ゲインとにより定まる二次元平面上の座標とは、例えば、入射光量（または入射光量に応じて決まるカメラの初期ゲイン）と、目標ゲインを変数としたＸＹ座標における座標を意味している。カメラの初期ゲインと目標ゲインが定まると、その条件で撮影したときにハレーションが起きるか否かは、計算またはシミュレーションにより確認することができるので、ＸＹ座標においてハレーションが起きる領域を決めることができる。
【００２６】
初期ゲインと目標ゲインとにより定まる座標がハレーションが起きない領域内にある場合には（ステップＳ１２、起こらない）、ステップＳ１３に進み、調整対象カメラのゲインとして基準となるカメラのゲインｘ１を設定する。
【００２７】
調整対象カメラの初期ゲインと目標ゲインとのより定まる座標が、ハレーションが起きる領域内にある場合には（Ｓ１２、起こる）、ステップＳ１４に進み、初期ゲイン及び目標ゲインとハレーションが起きる領域との関係を示すハレーション情報を参照して該当カメラでハレーションが起きないゲイン値を求め、そのゲイン値を該当カメラのゲインとして設定する。
【００２８】
図３及び図４は、縦軸にカメラの入射光量（または入射光量により定まる初期ゲイン）、横軸にカメラのゲインを表した二次元座標において、ハレーションが起きる領域を示したハレーションテーブル３１の説明図である。図３及び図４の斜めの太い線は撮影画像にハレーションが起きる限界を示しており、その線の右側にある領域はハレーションが起きる領域を示している。
【００２９】
上記のハレーションテーブル３１を参照することで、カメラのゲインを目標ゲインに設定した場合にハレーションが起きる可能性があるか否かを判定することができる。
例えば、図１の右カメラ２１が該当カメラ（調整対象カメラ）、左カメラ２２が隣接カメラ（基準となるカメラ）で、右カメラ２１で撮影した画像に太陽が含まれていて、左カメラ２２で撮影した画像は日影の画像であった場合には、該当カメラの初期ゲインｘは基準値以下となり、隣接カメラの初期ゲインｘ１は基準値より大きくなっている。この場合のゲインの調整方法を図３を参照して説明する。
【００３０】
この状態で、該当カメラの目標ゲインとして隣接カメラのゲインｘ１を設定する場合には、図３のハレーションテーブル３１から目標ゲインの座標（二次元平面上の座標）はハレーションが起きる領域内に入る。そこで、ゲイン制御回路２５は、ハレーションテーブル３１を参照して、ハレーションが起きる領域の外のゲインを適正ゲインとして設定する。
【００３１】
図４は、目標ゲインがハレーションが起きない領域に入る場合のゲイン調整方法の説明図である。
該当カメラの入射光量が日向の状態の光量で、隣接カメラの入射光量が日影の状態の光量で、該当カメラの初期ゲインｘが基準値以下、隣接カメラの初期ゲインｘ１が基準値より大きいものとする。この場合には、該当カメラの目標ゲインを隣接カメラのゲインｘ１と等しい値に設定しても、目標ゲインの座標は、図４のハレーションテーブル３１のハレーションが起きない領域に入るので、隣接カメラのゲインｘ１をそのまま該当カメラのゲインとして設定することができる。
【００３２】
上述した実施の形態は、２台のカメラの内の一方のカメラのゲインを他方のカメラのゲインを基準にして調整する場合に、ハレーションテーブル３１を参照して、そのときの入射光量（または入射光量により定まる初期ゲイン）と目標ゲインとにより定まる二次元平面上の座標が、ハレーションが起きる領域内に入るか否かを判定する。そして、ハレーションが起きる領域内に入るときには、目標ゲインを小さくすることでハレーションが起きない適正なゲイン値を設定できるようにしている。これにより、調整対象カメラの入射光量のもとでハレーションが起きず、かつ画像のつなぎ目部分の輝度差を小さくした合成画像を生成することができる。
【００３３】
本発明は上述した実施の形態に限らず、例えば、以下のように構成しても良い。
（１）ハレーション情報は、図３及び図４に示したハレーションテーブル３１の形式のデータまたはグラフに限らず、他のデータ構造のデータでも良い。
（２）実施の形態は、カメラの初期ゲインと目標ゲインとにより定まる二次元平面上の座標がハレーションが起きる領域内に入るか否かを判定しているが、カメラの入射光量を直接検出し、入射光量（または入射光量により定まる初期ゲイン）と目標ゲインとを変数にしてハレーションが起きる条件を予め求めておき、調整対象のカメラの入射光量と目標ゲインとにより定まる条件が、ハレーションが起きる条件を満たすか否かを判定するようにしても良い。
【図面の簡単な説明】
【００３４】
【図１】実施の形態の画像合成装置の構成を示す図である。
【図２】画像合成装置の処理を示すフローチャートである。
【図３】ハレーションが起きる場合のゲイン調整方法の説明図である。
【図４】ハレーションが起きない場合のゲイン調整方法の説明図である。
【図５】従来のゲイン調整方法の問題点の説明図である。
【符号の説明】
【００３５】
１１、２１        右カメラ
１２、２２        左カメラ
２３            右カメラ用データメモリ
２４            左カメラ用データメモリ
２５            ゲイン制御回路
２６            画像合成処理プロセッサ
２７            データ保存メモリまたは表示装置
【図１】
2009296490.tif 000003
【図２】
2009296490.tif 000004
【図３】
2009296490.tif 000005
【図４】
2009296490.tif 000006
【図５】
2009296490.tif 000007