(57)【要約】  露光条件の異なる第１の画像及び第２の画像を合成して広ダイナミックレンジの合成に当たり、第１及び第２の画像について、累積度数割合（Ｂ）が第１及び第２の基準値となる画素値を第１及び第２の指標値（Ｓａ、Ｌｂ）として生成し、第１及び第２の指標値（Ｓａ、Ｌｂ）がそれぞれ第１及び第２の目標値（Ｓａｔ、Ｌｂｔ）に対して予め定められた関係を有することを第１及び第２の目標条件として第１及び第２の露光量（ＥＳ、ＥＬ）を制御する。被写体の明るさの変化に対して露光量の集束までの時間を短縮することができる。
2016113961.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を受けて撮像を行う撮像部を有する撮像装置の画像処理装置であって、
前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い異なる第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御部と、
前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成部と、
前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定部とを有し、
前記制御部は、
前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
ことを特徴とする画像処理装置。
【請求項２】
前記第１の目標値に対して予め定められた関係が、前記第１の目標値に等しいことであり、前記第２の目標値に対して予め定められた関係が、前記第２の目標値に等しいことであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記第１の累積度数割合が予め定められた第３の基準値となる画素値を第３の指標値として生成し、前記第３の指標値が予め定められた第３の目標値に対して予め定められた関係を有することを第３の目標条件として、該第３の目標条件が満たされるように、前記第１の露光量を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御部は、前記第１の目標条件及び前記第３の目標条件が、前記第１の目標条件及び前記第３の目標条件に対して予め定められた優先順位の順に満たされるように前記第１の露光量の制御を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の基準値と前記第３の基準値とが同じであり、
前記第２の露光量が前記第１の露光量よりも多く、
前記第３の目標値に対する、前記第２の目標値の比が、前記１の露光量に対する前記２の露光量の比の上限値以下となるように、前記第２の目標値及び前記第３の目標値が定められている
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記制御部は、
前記第１の露光量での撮像の結果得られた前記第１の画像のヒストグラムから、画素値毎の画素の出現度数の、予め定められた画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる累積度数割合を第３の基準値として生成し、
前記第１の露光量での撮像の次に行われた前記第２の露光量での撮像の結果得られた前記第２の画像のヒストグラムから前記第２の指標値を生成する際に、前記第３の基準値を前記第２の基準値として用い、
前記予め定められた画素値と、前記第２の目標値のうちの小さいものに対する大きいものの比が、前記第１の露光量と前記第２の露光量のうちの小さいものに対する大きいものの比の上限値以下となるように、前記第２の目標値を定める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第１の画像及び前記第２の画像がカラー画像であり、
前記合成画像の彩度値に補正係数を乗算することにより彩度を補正する彩度補正部をさらに有し、
前記制御部は、前記第３の指標値に対する第２の指標値の比が大きいほど、前記補正係数を大きくする
ことを特徴とする
請求項４に記載の画像処理装置。
【請求項８】
前記第１の画像及び前記第２の画像がカラー画像であり、
前記合成画像の彩度値に補正係数を乗算することにより彩度を補正する彩度補正部をさらに有し、
前記制御部は、前記予め定められた画素値と、前記第２の指標値のうちの小さいものに対する大きいものの比が大きいほど、前記補正係数を大きくする
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
被写体からの光を受けて撮像を行う撮像部を有する撮像装置における画像処理方法であって、
前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御ステップと、
前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成ステップと、
前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定ステップとを有し、
前記制御ステップは、
前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
ことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において、２つの異なる露光条件での撮像で得られた画像を合成する撮像装置の画像処理装置及び方法に関する。本発明はまた、画像処理装置及び方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
露光時間が互いに異なる複数枚の画像を合成することで、広ダイナミックレンジの合成画像を生成する撮像装置が特許文献１に記載されている。特許文献１に記載された撮像装置では、長露光画像信号と短露光画像信号から合成画像信号を生成し、その合成画像信号についての輝度ヒストグラム（輝度分布）における輝度積算値を用いて露光制御を行うことで、広ダイナミックレンジカメラの画質を向上させることとしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２２８０５８号公報（第５−７頁、第１０図）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のヒストグラムにおける輝度積算値に基づき露光制御を行う方式では、露光量の変化量と輝度積算値の変化量が比例関係とならないため、１フレーム毎に輝度積算値を確認しながら露光量を段階的に変化させる必要があり、被写体の明るさの変化に対して露光量の収束までに時間を要するという問題があった。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、
被写体からの光を受けて撮像を行う撮像部を有する撮像装置の画像処理装置であって、
前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御部と、
前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成部と、
前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定部とを有し、
前記制御部は、
前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
ことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、露光量の変化と画素値のヒストグラムから生成した指標値の変化が比例するため、指標値を目標値に近付けるための露光量を指標値と目標値の比率から求めることができ、被写体の明るさの変化に対して露光量の収束までの時間を短縮できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態１の画像処理装置を示すブロック図である。
【図２】（ａ）及び（ｂ）は、短露光画像についてのヒストグラム及び累積度数曲線の一例を示す図である。
【図３】（ａ）及び（ｂ）は、長露光画像についてのヒストグラム及び累積度数曲線の一例を示す図である。
【図４】短露光画像についての累積度数曲線から、複数の指標値を生成する例を示す図である。
【図５】（ａ）及び（ｂ）は、複数の設定値の候補値から設定値を決定する方法の一例を示す図である。
【図６】（ａ）及び（ｂ）は、短露光画像及び長露光画像の累積度数曲線から、露光量比率に対し制限を設けて制御する場合の指標値の生成方法の一例を示す図である。
【図７】本発明の実施の形態２における制御部５の動作を示すフローチャートである。
【図８】（ａ）及び（ｂ）は、実施の形態２において、短露光画像及び長露光画像の累積度数曲線から、露光量比率に対し制限を設けて制御する場合の指標値の生成方法の一例を示す図である。
【図９】実施の形態２の変形例における制御部５の動作を示すフローチャートである。
【図１０】（ａ）及び（ｂ）は、実施の形態２の変形例において、短露光画像及び長露光画像の累積度数曲線から、露光量比率に対し制限を設けて制御する場合の指標値の生成方法の一例を示す図である。
【図１１】本発明の実施の形態３の画像処理装置を示すブロック図である。
【図１２】実施の形態１、２又は３の画像処理装置を構成するコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【０００８】
実施の形態１．
図１は、本発明の実施の形態１にかかる画像処理装置を備えた撮像装置の構成を示すブロック図である。図示の撮像装置は、レンズ２と、撮像部３と、画像処理部４と、制御部５とを有する。上記の構成要素のうち、画像処理部４と制御部５とにより、画像処理装置が構成されている。
【０００９】
撮像部３は、ＣＣＤ素子又はＣＭＯＳ素子から成る撮像素子３１と増幅回路３２とを有する。
レンズ２は、被写体からの光を、撮像素子３１の撮像面に導き、光学像を撮像面に形成する。
撮像素子３１は、撮像面に形成された光学像を電子データ（カラー画像データ）に変換して出力する。撮像部３は、露光時間及びゲインを変更可能であり、露光時間及びゲインを変更することにより、撮像画像の明るさを調整することができる。
【００１０】
露光時間の変更は、撮像素子３１の電荷蓄積時間の変更によって行われる。ゲインの変更は、増幅回路３２の増幅度の変更により行われる。
【００１１】
撮像部３は、第１の露光量での撮像と、第１の露光量とは異なる第２の露光量での撮像とを交互に繰り返し行って、第１の露光量での撮像により生成された第１の画像と、第２の露光量での撮像で生成された第２の画像とを交互に繰り返し出力する。
【００１２】
第１の露光量での撮像は、第１の露光時間と第１のゲインとで行われ、第２の露光量での撮像は、第２の露光時間と第２のゲインとで行われる。例えば第１の露光時間は第２の露光時間より短い。
比較的短い第１の露光時間を用いた撮像を短露光撮像と言い、比較的長い第２の露光時間を用いた撮像を長露光撮像と言う。短露光撮像と、長露光撮像は、それぞれ１フレームおきに、交互に行われる。即ち、あるフレームで短露光撮像が行われ、次のフレームで長露光撮像が行われる。
短露光撮像が行われるフレームを短露光フレームと言い、短露光撮像で得られた画像を短露光画像と言い、長露光撮像が行われるフレームを長露光フレームと言い、長露光撮像で得られた画像を長露光画像と言う。
【００１３】
画像処理部４は、画素値計測部４１と、画像合成部４２を有する。
画素値計測部４１は撮像部３から出力された各フレームの画像データに対し、種々の計測を行う。例えば、各フレームにおいて、画素値の平均値を求める。また、画素値の分布を計測し、ヒストグラムを生成する。ヒストグラムは各フレームの画像において、画素値毎の画素の出現度数を表すものである。
【００１４】
ヒストグラムをフレーム毎に生成する結果、短露光画像についてのヒストグラムＨｔＳと、長露光画像についてのヒストグラムＨｔＬとが得られる。
【００１５】
画像合成部４２は、撮像部３から出力された、短露光画像ＤＳと、長露光画像ＤＬとを合成して合成画像Ｄ４を出力する。これによって、ダイナミックレンジを拡大した画像を得ることができる。
【００１６】
制御部５は、画素値計測部４１での計測結果に基づき、撮像部３の露光時間及びゲイン、並びに画像合成部４２の画像合成比率を制御する。
【００１７】
露光時間及びゲインの制御は、それぞれ露光時間制御信号Ｃｔ及びゲイン制御信号Ｃｇによって行われる。画像合成比率の制御は、合成比率制御信号Ｃｃによって行われる。
【００１８】
本実施の形態では、短露光画像のヒストグラムＨｔＳに基づいて短露光撮像の露光量を制御し、長露光画像のヒストグラムＨｔＬに基づいて長露光撮像の露光量を制御する。
【００１９】
上記のように、短露光撮像と、長露光撮像を交互に行う場合、制御部５は撮像部３に対し、短露光撮像のための露光時間ＴＳの設定及びゲインＧＳの設定と、長露光撮像のための露光時間ＴＬの設定及びゲインＧＬの設定を１フレームおきに交互に行う。
【００２０】
上記のように、制御部５は、露光の制御に画素値計測部４１の計測結果を使用する。
制御部５は、短露光画像の計測結果に基づいて、被写体の高輝度部分が白飛びしないように露光量を制御する。
図２（ａ）は、短露光画像について生成されたヒストグラムＨｔＳの一例を示す。図２（ａ）で横軸は画素値Ｐを表し、縦軸は各画素値を有する画素の出現度数を表す。
制御部５は、図２（ａ）に示すヒストグラムＨｔＳにおいて、画素値毎の出現度数を、低画素値側から各画素値まで累積して累積度数Ａを求める。そのようにして求めた累積度数Ａを表す曲線を図２（ｂ）に示す。図２（ｂ）において、横軸は画素値Ｐを表し、縦軸は当該画素値までの累積度数Ａを表す。
図２（ｂ）に示される曲線はまた、短露光画像を構成する画素の総数（全画素数）Ａｍに対する、上記累積度数Ａの割合（累積度数割合）Ｂをも示す。図２（ｂ）に示される曲線は、累積度数を示すものであるので、その意味で累積度数曲線と呼ばれ、累積度数割合を示すものであるので、その意味で累積度数割合曲線とも呼ばれる。
【００２１】
制御部５は、図２（ｂ）の累積度数割合曲線において、累積度数割合Ｂが、予め定められた基準値Ｂａとなる画素値Ｐ（Ｂ＝Ｂａ）を計測し、この値を明るさ指標値（第１の指標値）Ｓａとする。上記の基準値Ｂａは例えば９０％に定められる。本例では短露光画像が請求の範囲における「第１の画像」に相当し、基準値Ｂａが請求の範囲における「第１の基準値」に相当する。
【００２２】
図２（ｂ）には累積度数割合曲線の例として、３本の曲線ＣＳ１、ＣＳ２、ＣＳ３が示されており、それぞれから得られる明るさ指標値Ｓａが符号Ｓａ１、Ｓａ２、Ｓａ３で示されている。
明るさ指標値Ｓａに対して目標値Ｓａｔが設定される。目標値Ｓａｔは、白飛びが発生しない範囲でできるだけ大きな値に設定される。階調値が０から２５５までの値を取る場合、目標値Ｓａｔは例えば「２００」と設定される。
【００２３】
制御部５は、明るさ指標値Ｓａが目標値Ｓａｔに近付くように、短露光撮像の露光量ＥＳ（露光時間×ゲイン）の制御を行う。
【００２４】
明るさ指標値Ｓａを目標値Ｓａｔに近付けるに当たっては、目標値Ｓａｔと明るさ指標値Ｓａとの差分に応じた値だけ露光量ＥＳを変化させるのではなく、目標値Ｓａｔと指標値Ｓａとの差分の一部に応じた値だけ露光量ＥＳを変化させる。
【００２５】
具体的には、現フレームにおける指標値をＳａ（ｉ）、指標値に対する目標値をＳａｔ、現フレームにおける露光量（露光時間とゲインの積）をＥＳ（ｉ）とすると、次の短露光フレームにおける露光量の設定値ＥＳ（ｉ＋１）を次式（１）で算出する。
ＥＳ（ｉ＋１）
＝ＥＳ（ｉ）＋（ＥＳ（ｉ）×（Ｓａｔ−Ｓａ（ｉ））／Ｓａ（ｉ））×Ｋｒａ
（１）
【００２６】
ここでＫｒａは帰還率である。帰還率Ｋｒａは、０から１の範囲の値に設定される。帰還率Ｋｒａが０に近いほど、露光量の変化を遅くすることができる。従って、露光量の急激な変動を抑えられるが、指標値Ｓａの目標値Ｓａｔへの収束に時間がかかる。帰還率Ｋｒが１に近いほど、指標値Ｓａの目標値Ｓａｔへの収束が速くなるが、露光量が急激に変動しやすくなる。
【００２７】
上記の方法で生成される明るさ指標値Ｓａは、露光量ＥＳに比例し、明るさ指標値Ｓａの変化が露光量ＥＳの変化に比例するという性質がある。
例えば、撮像部３の露光量ＥＳ（露光時間とゲインの積）をα％大きくすると、撮像画像における個々の画素値が一律にα％増加し、従って、累積度数Ａの全画素数Ａｍに対する割合Ｂが一定の値Ｂａとなる画素値Ｐ（Ｂ＝Ｂａ）によって定義される指標値Ｓａもα％大きい値となるためである。
【００２８】
露光量ＥＳの変化と指標値Ｓａの変化が比例関係となることを利用し、目標値Ｓａｔと指標値Ｓａの差の、指標値Ｓａに対する比に基づいて次の短露光フレームの露光量ＥＳを決定することができる。従って、指標値Ｓａを高速かつ高精度に目標値Ｓａｔに収束させることが可能である。
【００２９】
制御部５は、長露光画像の計測結果に基づいて、低輝度部分が黒潰れしないように露光量を制御する。
図３（ａ）は、長露光画像について生成されたヒストグラムＨｔＬの一例を示す。
制御部５は、図３（ａ）に示すヒストグラムＨｔＬにおいて、画素値毎の出現度数を、低画素値側から各画素値まで累積して累積度数Ａを求める。そのようにして求めた累積度数Ａを表す曲線を図３（ｂ）に示す。図３（ｂ）に示される曲線はまた、長露光画像を構成する画素の総数（全画素数）Ａｍに対する、上記累積度数Ａの割合（累積度数割合）Ｂをも示す。図３（ｂ）に示される曲線ＣＬは、累積度数を示すものであるので、その意味で累積度数曲線と呼ばれ、累積度数割合を示すものであるので、その意味で累積度数割合曲線とも呼ばれる。
【００３０】
制御部５は、図３（ｂ）の累積度数割合曲線において、累積度数割合Ｂが、予め定められた基準値Ｂｂとなる画素値Ｐ（Ｂ＝Ｂｂ）を計測し、この値を明るさ指標値（第２の指標値）Ｌｂとする。上記の基準値Ｂｂは例えば、５％に定められる。本例では長露光画像が請求の範囲における「第２画像」に相当し、基準値Ｂｂが請求の範囲における「第２の基準値」に相当する。
【００３１】
図３（ｂ）には累積度数割合曲線の例として、３本の曲線ＣＬ１、ＣＬ２、ＣＬ３が示されており、それぞれから得られる明るさ指標値Ｌｂが符号Ｌｂ１、Ｌｂ２、Ｌｂ３で示されている。
明るさ指標値Ｌｂに対して目標値Ｌｂｔが設定される。目標値Ｌｂｔは、黒潰れが発生しない範囲でできるだけ小さい値となるように定められる。階調値が０から２５５までの値を取る場合、目標値Ｌｂｔは例えば「３０」と設定される。
【００３２】
制御部５は、明るさ指標値Ｌｂが目標値Ｌｂｔに近付くように、長露光撮像の露光量ＥＬ（露光時間×ゲイン）の制御を行う。
【００３３】
短露光撮像の露光制御について記載したのと同様に、明るさ指標値Ｌｂを目標値Ｌｂｔに近付けるに当たっては、目標値Ｌｂｔと明るさ指標値Ｌｂとの差分に応じた値だけ露光量ＥＬを変化させるのではなく、目標値Ｌｂｔと指標値Ｌｂとの差分の一部に応じた値だけ露光量ＥＬを変化させる。
【００３４】
具体的には、現フレームにおける指標値をＬｂ（ｉ）、指標値に対する目標値をＬｂｔ、現フレームにおける露光量（露光時間とゲインの積）をＥＬ（ｉ）とすると、次の長露光フレームにおける露光量の設定値ＥＬ（ｉ＋１）を次式（２）で算出する。
ＥＬ（ｉ＋１）
＝ＥＬ（ｉ）＋（ＥＬ（ｉ）×（Ｌｂｔ−Ｌｂ（ｉ））／Ｌｂ（ｉ））×Ｋｒｂ
（２）
【００３５】
ここでＫｒｂは帰還率である。帰還率Ｋｒｂは、０から１の範囲の値に設定される。帰還率Ｋｒｂが０に近いほど、露光量の変化を遅くすることができる。従って、露光量の急激な変動を抑えられるが、指標値Ｌｂの目標値Ｌｂｔへの収束に時間がかかる。帰還率Ｋｒｂが１に近いほど、指標値Ｌｂの目標値Ｌｂｔへの収束が速くなるが、露光量が急激に変動しやすくなる。
帰還率Ｋｒｂは、式（１）の帰還率Ｋｒａと同じ値であっても良く、異なる値であっても良い。
【００３６】
上記の方法で生成される明るさ指標値Ｌｂは、露光量ＥＬに比例し、明るさ指標値Ｌｂの変化が露光量ＥＬの変化に比例するという性質がある。
例えば、撮像部３の露光量ＥＬ（露光時間とゲインの積）をα％大きくすると、
撮像画像における個々の画素値が一律にα％増加し、従って、累積度数Ａの全画素数Ａｍに対する割合Ｂが一定の値Ｂｂとなる画素値Ｐ（Ｂ＝Ｂｂ）によって定義される指標値Ｌｂもα％大きい値となるためである。
【００３７】
露光量ＥＬの変化と指標値Ｌｂの変化が比例関係となることを利用し、目標値Ｌｂｔと指標値Ｌｂの差の、指標値Ｌｂに対する比に基づいて次の長露光フレームの露光量ＥＬを決定することができる。従って、指標値Ｌｂを高速かつ高精度に目標値Ｌｂｔに収束させることが可能である。
【００３８】
以上図２（ａ）〜図３（ｂ）を参照して説明した例では、短露光画像及び長露光画像の各々について、その累積度数割合曲線から一つの指標値を生成し、該一つの指標値と、該指標値に対して予め設定された目標値との関係から、露光制御を行っている。このようにする代わりに、短露光画像及び長露光画像のいずれか或いは双方について、その累積度数割合曲線から２つ以上の指標値を生成し、該２つ以上の指標値と、それぞれの指標値に対して予め設定された目標値との関係から、露光制御を行うこととしても良い。
【００３９】
以下では、短露光画像について、その累積度数割合曲線から生成される指標値の数が２つである場合について説明する。
以下の例では、図４に示すように、生成される２つの指標値Ｓｃ及びＳｄは、累積度数割合Ｂが、互いに異なる２つの値Ｂｃ及びＢｄに達する画素値Ｐ（Ｂ＝Ｂｃ）及びＰ（Ｂ＝Ｂｄ）である。
【００４０】
この場合、以下のようにして露光量の設定値ＥＳｔを定める。
まず個々の条件に対して、指標値Ｓｃ及びＳｄ、並びに目標値Ｓｃｔ及びＳｄｔから露光量の設定値の候補値ＥＳｃ及びＥＳｄを算出する。
現フレームにおける指標値をＳｃ（ｉ）及びＳｄ（ｉ）とし、指標値に対する目標値をＳｃｔ及びＳｄｔとし、現フレームにおける露光量（露光時間とゲインの積）をＥＳ（ｉ）とし、次の短露光フレームにおける露光量の設定値の候補値ＥＳｃ（ｉ＋１）及びＥＳｄ（ｉ＋１）を次の式（３）及び（４）で算出する。
【００４１】
ＥＳｃ（ｉ＋１）
＝ＥＳ（ｉ）＋｛（ＥＳ（ｉ）×（Ｓｃｔ−Ｓｃ（ｉ））／Ｓｃ（ｉ））｝×Ｋｒｃ
（３）
ＥＳｄ（ｉ＋１）
＝ＥＳ（ｉ）＋｛（ＥＳ（ｉ）×（Ｓｄｔ−Ｓｄ（ｉ））／Ｓｄ（ｉ））｝×Ｋｒｄ
（４）
【００４２】
式（３）及び（４）でＫｒｃ及びＫｒｄは帰還率である。帰還率Ｋｒｃ及びＫｒｄはともに０から１の範囲の値に設定される。帰還率Ｋｒｃ及びＫｒｄは互いに同じであっても良く、異なっていても良い。
【００４３】
上記の通り、指標値及び目標値を２つずつ設けることによって、次の短露光フレームにおける露光量の設定値について２つの候補値ＥＳｃ（ｉ＋１）、ＥＳｄ（ｉ＋１）が算出される。これらの値から、一つの設定値ＥＳｔ（ｉ＋１）を定める必要がある。そのために、指標値Ｓｃ、Ｓｄの双方について、「指標値が目標値に等しい」ことを目標に制御を行うのではなく、「指標値が目標値に対して予め定められた関係」を有することを目標条件とし、該目標条件が満たされるように、制御を行う。「目標値に対して予め定められた関係」の例としては、「目標値に等しい」、「目標値以上」、或いは「目標値以下」がある。さらにそれぞれの目標に優先順位を定めて制御を行う。
【００４４】
このように、複数の指標値に関して、それぞれ目標条件を定め、すべて指標値が目標条件を満たすように制御を行うこととしている。これによって、複数の指標値に基づく露光量の制御を実現することができる。
【００４５】
例えばここでは、指標値Ｓｃが目標値Ｓｃｔ以下となること、即ち、
Ｓｃ（ｉ＋１）≦Ｓｃｔ          （Ｒａ１）
が満たされることを優先順位１の目標とし、そのために設定値ＥＳｔ（ｉ＋１）が満たすべき条件を優先順位１の条件とする。
また、指標値Ｓｄが目標値Ｓｄｔに等しくなること、即ち
Ｓｄ（ｉ＋１）＝Ｓｄｔ          （Ｒａ２）
が満たされること
を優先順位２の目標とし、そのために設定値ＥＳｔ（ｉ＋１）が満たすべき条件を優先順位２の条件とする。
【００４６】
優先順位１の条件は、下記の式（Ｒｅ１）で表される。
ＥＳｔ（ｉ＋１）≦ＥＳｃ（ｉ＋１）      （Ｒｅ１）
優先順位２の条件は、下記の式（Ｒｅ２）で表される。
ＥＳｔ（ｉ＋１）＝ＥＳｂ（ｉ＋１）      （Ｒｅ２）
【００４７】
図５（ａ）に示すように、
ＥＳｃ（ｉ＋１）≧ＥＳｄ（ｉ＋１）      （Ｒｅ３）
の場合には、
ＥＳｔ（ｉ＋１）＝ＥＳｄ（ｉ＋１）      （Ｒｅ４）
が優先順位１の条件（Ｒｅ１）及び優先順位２の条件（Ｒｅ２）の双方を満たすため、式（Ｒｅ４）で表されるＥＳｔ（ｉ＋１）を次の短露光フレームの露光量の設定値とする。
【００４８】
図５（ｂ）に示すように、
ＥＳｃ（ｉ＋１）＜ＥＳｄ（ｉ＋１）    （Ｒｅ６）
の場合には、優先順位１の条件（Ｒｅ１）と優先順位２の条件（Ｒｅ２）を同時に満たすＥＳｔ（ｉ＋１）の値が存在しないため、優先順位１の条件（Ｒｅ１）を満たし、優先順位２の条件（Ｒｅ２）を満たす値に最も近い値である
ＥＳｔ（ｉ＋１）＝ＥＳｃ（ｉ＋１）      （Ｒｅ７）
を設定値とする。
【００４９】
上記の例では、指標値の一方については、「指標値が目標値以下となる」ことを目標として制御を行い、他方について「指標値が目標値に等しくなる」ことを目標にして制御を行うこととしている。
しかし上記のように、本発明はこれに限定されず、指標値の各々に対して、目標条件を定め、さらに、それぞれの目標条件に優先順位を定め、各目標条件が優先順位の順に満たされるように、制御を行うこととすれば良い。
【００５０】
例えば、複数の指標値について、目標値以下となることを条件として制御を行っても良い。より具体的には、累積度数の全画素数に対する割合が９０％となる画素値を第１の指標値とし、累積度数の全画素数に対する割合が８０％となる画素値を第２の指標値とし、これらの指標値に対する目標値を上限として、即ち指標値が目標値以下となるように制御を行うこととしても良い。
広ダイナミックレンジの合成画像の生成に用いられる短露光画像は、白飛びが発生しない範囲で、出来るだけ全体の画素値が大きく画素値信号の振幅（画素値の変動幅）が大きい画像を生成する必要があるが、上記のような制御を行うことで、より高精度に、白飛びの発生しない撮像条件を規定することができる。
長露光画像撮像においても、同様に黒潰れの発生しない撮像条件を高精度に規定できる。
【００５１】
上記の図４〜図５（ｂ）を参照して説明した例では、一つの画像について、複数の指標値を生成し、複数の指標値がそれぞれ目標条件を満たすように露光制御を行っている。以下では、図４〜図５（ｂ）を参照して説明したのと同様の方法で複数の指標値に用いた露光制御を行うとともに、露光量比率ＲＬＳに制約を設ける方法について以下に説明する。ここで露光量比率ＲＬＳは短露光撮像における露光量ＥＳに対する長露光撮像における露光量ＥＬの比と定義される。
露光量比率ＲＬＳが大きすぎると、長露光画像で最もコントラストの再現性が良い輝度範囲と、短露光画像で最もコントラストの再現性が良い輝度範囲の中間の輝度範囲におけるコントラスの再現性が悪く、そのために、合成画像の画質が低下する場合があるが、本制御により防ぐことが可能である。
【００５２】
露光量比率ＲＬＳに制約を加えるには、短露光画像の累積度数割合曲線から明るさ指標値を決定するのに用いる累積度数割合、及び長露光画像の累積度数割合曲線から明るさ指標値を決定するのに用いる累積度数割合として、同じ値のものを用いる。
例えば図６（ｂ）に示すように、長露光画像の累積度数割合曲線から明るさ指標値（第２の明るさ指標値）Ｌｂを決定するのに用いる累積度数割合がＢｂである場合に、図６（ａ）に示すように短露光画像の累積度数割合曲線において、上記の累積度数割合Ｂｂに等しい累積度割合Ｂｅ（＝Ｂｂ）に達する画素値Ｐ（Ｂ＝Ｂｅ）を、短露光画像の明るさ指標値（第３の明るさ指標値）Ｓｅとする。
上記の累積度数割合Ｂｂは例えば５％である。本例では、累積度数割合Ｂｂが請求の範囲における「第２の基準値」に相当し、累積度割合Ｂｅが請求の範囲における「第３の基準値」に相当する。
【００５３】
そして、目標値Ｓｅｔに対する目標値Ｌｂｔの比が、露光量比率ＲＬＳの上限値以下となるように、目標値Ｓｅｔ及びＬｂｔを設定する。
例えば、露光量比率ＲＬＳに最大１６倍と言う制約を設ける場合、上記の指標値Ｓｅの目標値Ｓｅｔを、目標値Ｌｂｔに、露光量比率ＲＬＳの上限値の逆数である１／１６を乗算した値以上に設定する。一例として、目標値Ｌｂｔが「３２」である場合、目標値Ｓｅｔを「２」以上に設定する。
【００５４】
長露光撮像については、上記のように生成された指標値Ｌｂが目標値Ｌｂｔに対し予め定められた関係を有するにように露光制御を行う。
短露光撮像については、上記のように生成された指標値Ｓｅが目標値Ｓｅｔに対し予め定められた関係を有するにように露光制御を行う。
短露光撮像についてはさらに、実施の形態１で説明したのと同様の指標値Ｓａを生成し、指標値Ｓａが、指標値に対して予め定められた目標値Ｓａｔに対して予め定められた関係を有するように露光制御を行う。
短露光画像について、２つの指標値Ｓａ及びＳｅを用いた露光量の設定値の決定は、ＥＭＢに関し、図５（ａ）及び（ｂ）を参照して説明したように行えば良い。
【００５５】
短露光画像では白飛びを防ぐため、実施の形態１と同様に、累積度数割合が大きい値Ｂａ（例えば９０％）になる画素値を指標値Ｓａとしてこれに対する目標値Ｓａｔを設定する。これに加えて、累積度数割合が小さい値Ｂｅ（例えば、５％）になる画素値を計測して第２の指標値Ｓｅとし、これに対する目標値Ｓｅｔを、長露光画像についての同じ累積度数割合となる画素値に対する目標値に関係付けられた値に設定することにより、露光量比率ＲＬＳに対する制約を加えることができる。
【００５６】
なお、露光量比率ＲＬＳに制約を設ける制御を行う場合には、指標値Ｓｅ、Ｌｂ及び目標値Ｓｅｔ、Ｌｂｔが小さな値となるため、ノイズによる画素値の変動による影響が大きく、制御が不安定となる可能性がある。これを防ぐために、帰還率を設けて処理を安定させる。具体的には直前のフレームで計測された指標値Ｓｅ（ｉ）、Ｌｂ（ｉ）により、露光量の制御のために参照する指標値Ｓｅ’（ｉ＋１）、Ｌｂ’（ｉ＋１）を下記の式（５）及び式（６）でフレーム毎に更新する。ここで言う直前のフレームは、短露光画像については、直前の短露光フレームを意味し、長露光画像については、直前の長露光フレームを意味する。
【００５７】
Ｓｅ’（ｉ＋１）
＝Ｓｅ’（ｉ）＋（Ｓｅ’（ｉ）−Ｓｅ（ｉ））×Ｋｒｅ’      （５）
Ｌｂ’（ｉ＋１）
＝Ｌｂ’（ｉ）＋（Ｌｂ’（ｉ）−Ｌｂ（ｉ））×Ｋｒｂ’      （６）
【００５８】
式（５）及び式（６）でＫｒｅ’及びＫｒｂ’は帰還率である。帰還率Ｋｒｅ’及びＫｒｂ’は０から１の範囲の値に設定される。帰還率Ｋｒｅ’の値が小さいほどノイズによる指標値Ｓｅ’（ｉ＋１）の変動が緩やかになるが、デメリットとして指標値Ｓｅ’（ｉ＋１）が収束するまでに時間がかかる。同様に、帰還率Ｋｒｂ’の値が小さいほどノイズによる指標値Ｌｂ’（ｉ＋１）の変動が緩やかになるが、デメリットとして指標値Ｌｂ’（ｉ＋１）が収束するまでに時間がかかる。
このため、システムの特性に応じて最適な値を設定する必要がある。このように帰還率を設けて指標値の急激な変化を抑えることにより、ノイズの影響を抑え安定した指標値を得ることができ、露光量の制御を安定させることが可能である。
【００５９】
露光量の制御のために参照する指標値を上記の式（５）及び式（６）によって決定する代わりに、フレーム毎に計測される指標値を平均化して処理を安定させるようにしてもよい。この場合、フレーム毎に生成された累積度数割合曲線に基づく指標値の算出は、実施の形態１で説明した方法と同様に行い、最も新しいものから予め定められたフレーム数分（例えば５フレーム分）の指標値をメモリに格納しておく。指標値として直前のフレームの指標値を参照するのではなく、複数フレームの指標値を平均した値を参照する。このようにすることで、ノイズの影響を抑え、安定した指標値を参照することができる。
【００６０】
上記のように、短露光画像についての明るさ指標値Ｓｅとして、長露光画像についての明るさ指標値Ｌｂの決定に用いられた累積度数割合（Ｂｂ＝５％）と同じ割合Ｂｅ（＝Ｂｂ＝５％）となる画素値を用い、該指標値Ｓｅの目標値Ｓｅｔを、長露光画像に対して設定している目標値Ｌｂｔ（＝３２）に対して露光量比率ＲＬＳの上限値の逆数である１／１６を乗算した値（＝２）以上とすることにより、露光量比率ＲＬＳに制約を設けることができる。
【００６１】
これにより、長露光画像で最もコントラストの再現性が良い輝度範囲と、短露光画像で最もコントラストの再現性が良い輝度範囲の中間の輝度範囲におけるコントラスの再現性が悪くなるという問題を避けることができ、これにより、合成画像の画質の低下を防ぐことができる。
【００６２】
実施の形態１では、あるフレームの短露光画像と、それに続くフレームの長露光画像とを合成する場合について説明したが、あるフレームの長露光画像と、それ続くフレームの短露光画像とを合成することとしても良い。
【００６３】
実施の形態２．
図６（ａ）及び（ｂ）を参照して説明した例では、露光量比率に制約を加えるために、短露光画像の明るさ指標値Ｓｅとして、長露光画像の明るさ指標値Ｌｂの決定に用いられた累積度数割合Ｂｂ（＝５％）と同じ割合Ｂｅ（＝Ｂｂ＝５％）となる画素値を用いている。
【００６４】
以下に説明する実施の形態２では、短露光画像及び長露光画像の一方（第１の画像）の累積度数割合曲線から、短露光画像及び長露光画像の他方（第２の画像）の明るさ指標値の生成に用いる累積度数割合（Ｂｆ）を決定し、決定した累積度割合を用いて、短露光画像及び長露光画像の他方の撮像のための露光制御を行う。
最初に、短露光画像の累積度数割合曲線から、長露光画像の明るさ指標値の生成に用いる累積度数割合（Ｂｆ）を決定し、決定した累積度割合を用いて長露光撮像の露光制御を行う方法を、図７及び図８（ａ）及び（ｂ）を参照して説明する。
【００６５】
図７を参照し、制御部５は、短露光画像のヒストグラムＨｔＳが生成されるのを待つ（ＳＴ１０）。生成されたヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳの一例を図８（ａ）に示す。
【００６６】
ヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳから、累積度数割合Ｂが予め定められた基準値Ｂａとなる画素値Ｐ（Ｂ＝Ｂａ）を明るさ指標値Ｓａとして算出する（ＳＴ１１）。本例では、この基準値Ｂａが請求の範囲における「第１の基準値」に相当する。
次に指標値Ｓａと、指標値Ｓａに対して予め定められた目標値Ｓａｔに基づき、次の短露光フレームにおける短露光撮像の露光量の設定値の候補値ＥＳａ（ｉ＋１）を決定する（ＳＴ１２）。
さらに、短露光画像の累積度数割合曲線ＣＳに基づき、画素値が小さい方から、予め定められた画素値Ｓｆｓまでの累積度数Ａｆの全画素数Ａｍに対する割合（累積度数割合）Ｂｆ（＝Ａｆ／Ａｍ）を求める（ＳＴ１３）。本例では、この累積度数割合Ｂｆが特許請請求の範囲における「第３の基準値」に相当する。
【００６７】
次に長露光画像のヒストグラムＨｔＬが生成されるのを待つ（ＳＴ２０）。
生成されたヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬの一例を図８（ｂ）に示す。
ヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬから、累積度数割合Ｂが予め定められた基準値Ｂｇになる画素値を指標値Ｌｇとして算出する（ＳＴ２１）。
これとともに、累積度数割合Ｂが、ステップＳＴ１３で算出した累積度数割合Ｂｆと等しくなる画素値（Ｐ（Ｂ＝Ｂｆ）をも指標値Ｌｆとして算出する（ＳＴ２２）。このように、本例における基準値Ｂｆは、請求の範囲における「第３の基準値」に相当するのみならず、「第２の基準値」にも相当する。
【００６８】
次に、ステップＳＴ２１及びＳＴ２２で算出した指標値Ｌｇ及びＬｆと、該指標値に対して予め定めた目標値Ｌｇｔ及びＬｆｔとに基づき、次の長露光フレームにおける長露光撮像の露光量の設定値ＥＬｔ（ｉ＋１）を決定する（ＳＴ２３）。
２つの指標値Ｌｆ及びＬｇを用いた露光量の設定値の決定は、図４〜図５（ｂ）を参照して説明したのと同様に行えば良い。
【００６９】
ここで、ステップＳＴ１３で用いられる、予め定められた画素値Ｓｆｓと、ステップＳＴ２２で求められる指標値Ｌｆに対する目標値Ｌｆｔ（ステップＳＴ２３で用いられる）の比を、露光量比率ＲＬＳに応じて決定する。例えば露光量比率ＲＬＳに最大１６倍という制約を設ける場合には、目標値Ｌｆｔを、予め定められた画素値Ｓｆｓの１６倍以下に設定すればよい。
【００７０】
このように、まず短露光画像のヒストグラムから、短露光画像の露光制御で用いる指標値（Ｓａ）を生成するとともに、長露光画像の露光制御で用いる指標値（Ｌｆ）の生成に用いる累積度数割合（Ｂｆ）を決定することで、短露光画像の露光制御に用いる指標値（Ｓａ）と、露光量比率に制約を与えるための画素値（Ｓｆｓ）とを別箇に設定することが可能となる。そのため、短露光画像の露光制御に用いる指標値の目標値（Ｓａｔ）を大きな値に設定することができる。従って、より安定した露光量の制御を行うことができる。
【００７１】
以上、先に短露光撮像を行い、短露光画像についてのヒストグラムから、長露光画像の明るさ指標値の生成に用いる、累積度数割合を決定し、決定された累積度数割合を用いて長露光画像についての明るさ指標値を生成し、生成した指標値を用いて長露光撮像の露光量を決定する場合について説明した。上記とは逆に、先に長露光撮像についてのヒストグラムから、短露光画像の明るさ指標値の生成に用いる、累積度数割合を決定し、決定された累積度数割合を用いて短露光画像についての明るさ指標値を生成し、生成した指標値を用いて短露光撮像の露光量を決定することとしても良い。
【００７２】
以下、この場合の処理方法を図９及び図１０（ａ）及び（ｂ）を参照して説明する。
図９を参照し、制御部５は、長露光画像のヒストグラムＨｔＬが生成されるのを待つ（ＳＴ３０）。生成されたヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬの一例を図１０（ｂ）に示す。
【００７３】
ヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬから、累積度数割合Ｂが予め定められた基準値Ｂｇとなる画素値Ｐ（Ｂ＝Ｂｇ）を明るさ指標値Ｌｇとして算出する（ＳＴ３１）。本例では、この基準値Ｂｇが請求の範囲における「第１の基準値」に相当する。
次に指標値Ｌｇと、指標値Ｌｇに対して予め定められた目標値Ｌｇｔに基づき、次の長露光フレームにおける長露光撮像の露光量の設定値の候補値ＥＬｇ（ｉ＋１）を決定する（ＳＴ３２）。
さらに、長露光画像の累積度数割合曲線ＣＬに基づき、画素値が小さい方から、予め定められた画素値Ｌｆｓまでの累積度数Ａｆの全画素数Ａｍに対する割合（累積度数割合）Ｂｆ（＝Ａｆ／Ａｍ）を求める（ＳＴ３３）。本例では、この累積度数割合Ｂｆが請求の範囲における「第３の基準値」に相当する。
【００７４】
次に短露光画像のヒストグラムＨｔＳが生成されるのを待つ（ＳＴ４０）。
生成されたヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳの一例を図１０（ａ）に示す。
ヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳから、累積度数割合Ｂが予め定められた基準値Ｂａになる画素値を指標値Ｓａとして算出する（ＳＴ４１）。
これとともに、累積度数割合ＢがステップＳＴ３３で算出した累積度数割合Ｂｆと等しくなる画素値（Ｐ（Ｂ＝Ｂｆ）をも指標値Ｓｆとして算出する（ＳＴ４２）。このように、本例における基準値Ｂｆは、請求の範囲における「第３の基準値」に相当するのみならず、「第２の基準値」にも相当する。
【００７５】
次に、ステップＳＴ４１及びＳＴ４２で算出した指標値Ｓａ及びＳｆと、該指標値に対して予め定めた目標値Ｓａｔ及びＳｆｔとに基づき、次の短露光フレームにおける短露光撮像の露光量の設定値ＥＳｔ（ｉ＋１）を決定する（ＳＴ４３）。
２つの指標値Ｓａ及びＳｆを用いた露光量の設定値の決定は、図４〜５（ｂ）を参照して説明したのと同様に行えば良い。
【００７６】
ここで、ステップＳＴ３３で用いられる、予め定められた画素値Ｌｆｓと、ステップＳＴ４２で求められる指標値Ｓｆに対する目標値Ｓｆｔ（ステップＳＴ４３で用いられる）の比を、露光量比率ＲＬＳに応じて決定する。例えば露光量比率ＲＬＳに最大１６倍という制約を設ける場合には、目標値Ｓｆｔを、予め定められた画素値Ｌｆｓの１／１６倍以上に設定すればよい。
【００７７】
このように、まず長露光画像のヒストグラムから、長露光画像の露光制御で用いる指標値（Ｌｇ）を生成するとともに、短露光画像の露光制御で用いる指標値（Ｓｆ）の生成に用いる累積度数割合（Ｂｆ）を決定することで、長露光画像の露光制御に用いる指標値（Ｌｇ）と、露光量比率に制約を与えるための画素値（Ｌｆｓ）とを別箇に設定することが可能となる。そのため、長露光画像の露光制御に用いる指標値の目標値（Ｌｇｔ）を大きな値に設定することができる。従って、より安定した露光量の制御を行うことができる。
【００７８】
以上要するに、第１の露光量での撮像（短露光撮像及び長露光撮像の一方）の結果得られた第１の画像のヒストグラムから、予め定められた画素値（Ｓｆｓ、Ｌｆｓ）までの累積度数割合（Ｂｆ（図８（ａ）、図１０（ｂ）））を第３の基準値として求め、第１の露光量での撮像の次に行われた第２の露光量での撮像（短露光撮像及び長露光撮像の他方）の結果得られた第２の画像のヒストグラムから第２の指標値（Ｌｆ、Ｓｆ）を生成する際に、上記の第３の基準値を、第２の基準値（Ｂｆ（図８（ｂ）、図１０（ａ）））として用い、予め定められた画素値（Ｓｆｓ、Ｌｆｓ）と、第２の目標値（Ｌｆｔ、Ｓｆｔ）のうちの小さいものに対する大きいものの比が、第１の露光量と第２の露光量のうちの小さいものに対する大きいものの比の上限値（許容上限値）以下となるように、第２の目標値（Ｌｆｔ、Ｓｆｔ）を定めることとすれば良い。
【００７９】
実施の形態３．
実施の形態１及び実施の形態２では画像の輝度に対する調整を露光量の設定により行っている。実施の形態３では、露光量の設定に伴って、画像の彩度の補正を行う。
【００８０】
広ダイナミックレンジ合成画像の生成のため、短露光画像と長露光画像の合成を行うと、これに伴い、被写体の彩度が変動する場合がある。例えば、合成後画像の高輝度部分では輝度の低い短露光画像と、白飛びしている長露光画像が合成されるため画像の彩度が低下する。
【００８１】
これを防ぐために、短露光画像から得られたヒストグラムにおけるある累積度度数割合に対応する画素値と、長露光画像から得られたヒストグラムにおける、同じ累積度数割合に対応する画素値の比に応じて、合成画像の彩度を補正する。上記の比が大きいほど、補正の強度を大きくする。
【００８２】
このような処理を行うための撮像装置の構成を図１１に示す。図１１の構成では、画像処理部４が彩度補正部４３を含む。
彩度補正部４３は、広ダイナミックレンジ合成画像に対し、彩度値に補正係数を乗算することにより彩度を補正する処理を行う。
【００８３】
例えば、図６（ａ）及び（ｂ）で説明したのと同様に露光制御を行う場合には、短露光画像と長露光画像で同じ累積度数割合（５％）に対応する画素値として、指標値Ｓｅ及びＬｂ（図６（ａ）及び（ｂ））を取得し、指標値Ｓｅに対する指標値Ｌｂの比Ｌｂ／Ｓａを明るさ比率Ｑｒとして算出する。
【００８４】
実施の形態２に関し、図７〜図８（ｂ）を参照して説明したように露光制御を行う場合には、短露光画像と長露光画像で同じ累積度数割合（５％）に対応する画素値として、予め定められた値Ｓｆｔと、指標値Ｌｆ（図８（ａ）及び（ｂ））を取得し、予め定められた値Ｓｆｔに対する指標値Ｌｆの比Ｌｆ／Ｓｆｓを明るさ比率Ｑｒとして算出する。
【００８５】
実施の形態２に関し、図９〜図１０（ｂ）を参照して説明したように露光制御を行う場合には、短露光画像と長露光画像で同じ累積度数割合（５％）に対応する画素値として、指標値Ｓｆと、予め定められた値Ｌｆｔ（図１０（ａ）及び（ｂ））を取得し、指標値Ｓｆに対する予め定められた値Ｌｆｔの比Ｌｆｔ／Ｓｆを明るさ比率Ｑｒとして算出する。
【００８６】
このようにして算出された明るさ比率Ｑｒの大きさに応じて彩度補正部４３で適用する彩度補正係数の切り替えを行う。
明るさ比率Ｑｒが「１」に近い小さい値となる場合は、短露光画像と長露光画像の合成による彩度の低下が小さいため、彩度補正係数Ｋｓｃを「１」に近い小さい値に設定する。
また明るさ比率Ｑｒが「８」、「１６」といった大きい値となる場合は彩度補正係数Ｋｓｃを「２」、「４」といった大きな値に設定する。
要するに彩度補正係数Ｋｓｃは、明るさ比率Ｑｒが大きいほど大きくなるように定められる。
【００８７】
明るさ比率Ｑｒの値と彩度補正係数Ｋｓｃとの対応は、値の対応関係を設定した変換テーブル（ルックアップテーブル）により予め定めておく。ルックアップテーブル上に存在しない明るさ比率Ｑｒの値に対しては、変換テーブル上の彩度補正係数の値から補間により彩度補正係数の値を決定しても良い。補間は、例えば最近傍補間或いは線形補間によって行い得る。最近傍補間では、変換テーブル上の明るさ比率の値のうち、入力された明るさ比率Ｑｒの値に最も近い明るさ比率の値に対応する、彩度補正係数の値を、入力された明るさ比率Ｑｒの値に対応する彩度補正係数Ｋｓｃの値として用いる。線形補間では、変換テーブル上の明るさ比率の値のうち、入力された明るさ比率Ｑｒに近い複数の明るさ比率の値に対応する、彩度補正係数の値を加重平均することで得られた値を、入力された明るさ比率Ｑｒの値に対応する彩度補正係数Ｋｓｃの値として用いる。
【００８８】
このように、明るさ比率Ｑｒに応じて彩度補正係数Ｋｓｃを設定することにより、短露光画像と長露光画像の生成における高輝度部分の彩度低下を抑えることが可能である。
【００８９】
上記の実施の形態では、指標値に生成に当たり、低画素値側からの累積度数或いは累積度数割合を用いているが、高画素値側からの累積度数或いは累積度数割合を用いても良い。以下の請求の範囲である「累積度数割合」は、低画素値側からの累積度数割合及び高画素値側からの累積度数割合の双方を含むと解すべきである。
【００９０】
上記の実施の形態１では、あるフレームに短露光画像を生成し、次のフレームに長露光画像を生成しているが、一つのフレーム期間内の最初の部分で、短露光画像を生成し、後の部分で長露光画像を生成するようにしても良い。
【００９１】
以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。
【００９２】
以上実施の形態１、２、及び３において、画像処理装置（画像処理部４及び制御部５を含む）の各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵであっても良い。
例えば、図１又は図１１の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて単一の処理回路で実現しても良い。
【００９３】
処理回路がＣＰＵの場合、画像処理装置の各部分の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、メモリに格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像処理装置は、処理回路により実行されるときに、図１又は図１１に示される各部分の機能が、結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、画像処理装置で実施される画像処理方法における処理の方法、或いはその手順をコンピュータに実行させるものであるともいえる。
【００９４】
なおまた、画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００９５】
図１２に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０で示す）で画像処理装置のすべての機能を実現する場合の構成の一例を示す。
図１２に示されるコンピュータ５０は、ＣＰＵ５１と、メモリ５２と、入力インターフェース５３と、出力インターフェース５４とを備え、これらはバス５５で接続されている。
入力インターフェース５３には、図１又は図１１の撮像部３からの画像データが入力される。この画像データには、短露光画像を表す画像データと長露光画像を画像を表す画像データが含まれ、これらが交互に、例えば、フレーム毎に交互に入力される。
【００９６】
ＣＰＵ５１は、メモリ５２に記憶されたプログラムに従って動作し、入力インターフェース５３を介して入力された映像信号に対して、実施の形態１、２又は３の画像処理装置の各部の処理を行って、処理の結果得られた出力信号を出力インターフェース５４から出力する。
【００９７】
ＣＰＵ５１による処理の内容は、実施の形態１、２又は３で説明したのと同様である。処理の過程で生成されるデータはメモリ５２に保持される。
【００９８】
画像処理装置で実施される画像処理方法、画像処理装置の各部分の処理、或いは画像処理方法における各処理をコンピュータに実行させるプログラムについても、画像処理装置について述べたのと同様の効果が得られる。
【符号の説明】
【００９９】
２  レンズ、  ３  撮像部、  ４  画像処理部、  ５  制御部、  ３１  撮像素子、  ３２  増幅回路、  ４１  画素値計測部、  ４２  画像合成部、  ４３  彩度補正部、  ５１  ＣＰＵ、  ５２  メモリ、  ５３  入力インターフェース、  ５４  出力インターフェース。
【図１】
2016113961.tif 000003
【図２】
2016113961.tif 000004
【図３】
2016113961.tif 000005
【図４】
2016113961.tif 000006
【図５】
2016113961.tif 000007
【図６】
2016113961.tif 000008
【図７】
2016113961.tif 000009
【図８】
2016113961.tif 000010
【図９】
2016113961.tif 000011
【図１０】
2016113961.tif 000012
【図１１】
2016113961.tif 000013
【図１２】
2016113961.tif 000014
【手続補正書】
【提出日】平成29年3月8日(2017.3.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体からの光を受けて撮像を行う撮像部を有する撮像装置の画像処理装置であって、
前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い異なる第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御部と、
前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成部と、
前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定部とを有し、
前記制御部は、
前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
ことを特徴とする画像処理装置。
【請求項２】
前記第１の目標値に対して予め定められた関係が、前記第１の目標値に等しいことであり、前記第２の目標値に対して予め定められた関係が、前記第２の目標値に等しいことであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記第１の累積度数割合が予め定められた第３の基準値となる画素値を第３の指標値として生成し、前記第３の指標値が予め定められた第３の目標値に対して予め定められた関係を有することを第３の目標条件として、該第３の目標条件が満たされるように、前記第１の露光量を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御部は、前記第１の目標条件及び前記第３の目標条件が、前記第１の目標条件及び前記第３の目標条件に対して予め定められた優先順位の順に満たされるように前記第１の露光量の制御を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の基準値と前記第３の基準値とが同じであり、
前記第２の露光量が前記第１の露光量よりも多く、
前記第３の目標値に対する、前記第２の目標値の比が、前記第１の露光量に対する前記第２の露光量の比の上限値以下となるように、前記第２の目標値及び前記第３の目標値が定められている
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記制御部は、
前記第１の露光量での撮像の結果得られた前記第１の画像のヒストグラムから、画素値毎の画素の出現度数の、予め定められた画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる累積度数割合を第３の基準値として生成し、
前記第１の露光量での撮像の次に行われた前記第２の露光量での撮像の結果得られた前記第２の画像のヒストグラムから前記第２の指標値を生成する際に、前記第３の基準値を前記第２の基準値として用い、
前記予め定められた画素値と、前記第２の目標値のうちの小さいものに対する大きいものの比が、前記第１の露光量と前記第２の露光量のうちの小さいものに対する大きいものの比の上限値以下となるように、前記第２の目標値を定める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第１の画像及び前記第２の画像がカラー画像であり、
前記合成画像の彩度値に補正係数を乗算することにより彩度を補正する彩度補正部をさらに有し、
前記制御部は、前記第３の指標値に対する第２の指標値の比が大きいほど、前記補正係数を大きくする
ことを特徴とする
請求項４に記載の画像処理装置。
【請求項８】
前記第１の画像及び前記第２の画像がカラー画像であり、
前記合成画像の彩度値に補正係数を乗算することにより彩度を補正する彩度補正部をさらに有し、
前記制御部は、前記予め定められた画素値と、前記第２の指標値のうちの小さいものに対する大きいものの比が大きいほど、前記補正係数を大きくする
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
被写体からの光を受けて撮像を行う撮像部を有する撮像装置における画像処理方法であって、
前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御ステップと、
前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成ステップと、
前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定ステップとを有し、
前記制御ステップは、
前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
ことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
図１２に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０で示す）で画像処理装置のすべての機能を実現する場合の構成の一例を示す。
図１２に示されるコンピュータ５０は、ＣＰＵ５１と、メモリ５２と、入力インターフェース５３と、出力インターフェース５４とを備え、これらはバス５５で接続されている。
入力インターフェース５３には、図１又は図１１の撮像部３からの画像データが入力される。この画像データには、短露光画像を表す画像データと長露光画像を表す画像データが含まれ、これらが交互に、例えば、フレーム毎に交互に入力される。
【国際調査報告】
2016113961.tif 000015
2016113961.tif 000016
2016113961.tif 000017
2016113961.tif 000018