(57)【要約】【課題】短露光画像と長露光画像を合成することで、広ダイナミックレンジの合成を画像を得るに当たり、絞り開度の設定値の変更に対する実際の絞り開度の変化に時間がかかる場合や、同一の絞り開度の設定値を示す絞り制御信号を与えても実際の絞り開度に再現性がない場合であっても、安定した露光制御を行う。【解決手段】短露光画像の画素値の分布に基づいて生成された短露光画像明るさ指標値と閾値との比較の結果が所定の条件を満たすとの判定結果が、所定回数連続した場合に、絞り開度の候補値間の遷移が必要であると判断する。長露光画像の画素値の分布に基づいて生成された長露光画像明るさ指標値と閾値との比較の結果が所定の条件を満たすとの判定結果が、所定回数連続した場合に、露光比率の候補値間の遷移が必要であると判断する。【選択図】図１
2016134703.tif 000002
【特許請求の範囲】
【請求項１】
絞り開度の調整が可能な絞り機構と、前記絞り機構を通して被写体からの光を受けて撮像を行う撮像部とを有する撮像装置の画像処理装置であって、
前記撮像部に第１の露光量での撮像と、前記第１の露光量よりも多い第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の撮像画像と、前記第２の露光量での撮像により生成された第２の撮像画像を交互に繰り返し出力させる制御部と、
前記第１の撮像画像と前記第２の撮像画像とを合成する画像合成部と、
前記第１の撮像画像の画素値の分布と、前記第２の撮像画像の画素値の分布を測定する画素値測定部とを有し、
前記制御部は、
前記第１の撮像画像の画素値の分布に基づいて、予め定められた複数の絞り開度の候補値のいずれかを選択することで前記絞り開度の設定値を決定し、決定された絞り開度の設定値を用いて前記絞り開度の制御を行い、
前記第２の撮像画像の画素値の分布に基づいて前記第１の露光量に対する前記第２の露光量の比である露光比率を決定し、決定した前記露光比率に基づいて前記第１の露光量及び前記第２の露光量を決定して、前記第１の露光量及び前記第２の露光量の制御を行い、
前記露光比率の決定に当たり、予め定められた複数の露光比率の候補値のいずれかを選択することで前記露光比率の設定値を決定し、
前記絞り開度の設定値の決定に当たり、前記第１の撮像画像の画素値の分布に基づいて生成された第１の明るさ指標値と予め定められた閾値との比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の前記第１の撮像画像について連続した場合に、前記絞り開度の候補値間の遷移が必要であると判断し、
前記露光比率の設定値の決定に当たり、前記第２の撮像画像の画素値の分布に基づいて生成された第２の明るさ指標値と予め定められた閾値との比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の前記第２の撮像画像について連続した場合に、前記露光比率の候補値間の遷移が必要であると判断する画像処理装置。
【請求項２】
前記制御部は、
前記第１の露光量での撮像に用いる第１の露光時間及び第１のゲインを、前記第１の露光時間と前記第１のゲインの積が前記決定された前記第１の露光量となるように決定し、
前記第２の露光量での撮像に用いる第２の露光時間及び第２のゲインを、前記第２の露光時間と前記第２のゲインの積が前記決定された前記第２の露光量となるように決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、
前記第１の撮像画像の画素値の分布に基づく、前記絞り開度の候補値間の遷移が必要であるとの判断と、
前記第２の撮像画像の画素値の分布に基づく、前記露光比率の候補値間の遷移が必要であるとの判断とを、同時にしたときには、
前記絞り開度の候補値間の遷移のみを行い、
前記絞り開度の候補値間の遷移が不要であるとの判断と、前記露光比率の候補値間の遷移が必要であるとの判断とを、同時にしたときには、前記露光比率の候補値間の遷移を行う
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記制御部は、
前記第１の撮像画像の画素値の分布において、画素値毎の出現度数の積算値の、全画素数に対する割合が予め定められた第１の値となる画素値を前記第１の明るさ指標値として用い、
前記第２の撮像画像の画素値の分布において、画素値毎の出現度数の積算値の、全画素数に対する割合が予め定められた第２の値となる画素値を前記第２の明るさ指標値として用いる
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記制御部は、
前記第１の撮像画像の画素値の分布において、予め定められた値よりも大きい画素値を有する画素の数を前記第１の明るさ指標値として用い、
前記第２の撮像画像の画素値の分布において、予め定められた値よりも小さい画素値を有する画素の数を前記第２の明るさ指標値として用いる
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記絞り開度の一つの候補値から、より大きい候補値への遷移が必要であると判断する際に、前記第１の明るさ指標値の比較に用いられる閾値と、
前記絞り開度の一つの候補値から、より小さい候補値への遷移が必要であると判断する際に、前記第１の明るさ指標値との比較に用いられる閾値とが個別に定められている
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記露光比率の一つの候補値から、より大きい候補値への遷移が必要であると判断する際に、前記第２の明るさ指標値との比較に用いられる閾値と、
前記露光比率の一つの候補値から、より小さい候補値への遷移が必要であると判断する際に、前記第２の明るさ指標値との比較に用いられる閾値とが個別に定められている
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
絞り開度の調整が可能な絞り機構と、前記絞り機構を通して被写体からの光を受けて撮像を行う撮像部とを有する撮像装置の画像処理方法であって、
前記撮像部に第１の露光量での撮像と、前記第１の露光量よりも多い第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の撮像画像と、前記第２の露光量での撮像により生成された第２の撮像画像を交互に繰り返し出力させる制御ステップと、
前記第１の撮像画像と前記第２の撮像画像とを合成する画像合成ステップと、
前記第１の撮像画像の画素値の分布と、前記第２の撮像画像の画素値の分布を測定する画素値測定ステップとを有し、
前記制御ステップは、
前記第１の撮像画像の画素値の分布に基づいて、予め定められた複数の絞り開度の候補値のいずれかを選択することで前記絞り開度の設定値を決定し、決定された絞り開度の設定値を用いて前記絞り開度の制御を行い、
前記第２の撮像画像の画素値の分布に基づいて前記第１の露光量に対する前記第２の露光量の比である露光比率を決定し、決定した前記露光比率に基づいて前記第１の露光量及び前記第２の露光量を決定して、前記第１の露光量及び前記第２の露光量の制御を行い、
前記露光比率の決定に当たり、予め定められた複数の露光比率の候補値のいずれかを選択することで前記露光比率の設定値を決定し、
前記絞り開度の設定値の決定に当たり、前記第１の撮像画像の画素値の分布に基づいて生成された第１の明るさ指標値と予め定められた閾値との比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の前記第１の撮像画像について連続した場合に、前記絞り開度の候補値間の遷移が必要であると判断し、
前記露光比率の設定値の決定に当たり、前記第２の撮像画像の画素値の分布に基づいて生成された第２の明るさ指標値と予め定められた閾値との比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の前記第２の撮像画像について連続した場合に、前記露光比率の候補値間の遷移が必要であると判断する画像処理方法。
【請求項９】
請求項８に記載の画像処理装置の処理をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像機器において２つの異なる露光条件での撮像を行い、撮像で得られた画像を合成する画像処理装置及び方法に関する。本発明はまた、画像処理装置又は方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来の撮像装置として、短露光画像にゲインやオフセットの処理を施し、長露光画像と合成して広ダイナミックレンジ画像を得る撮像装置が特許文献１に記載されている。特許文献１では、広ダイナミックレンジ画像を得るために、長露光画像の輝度値から、画面を分割して得られる各領域の代表輝度値を求め、代表輝度値のうち最低輝度値を露光評価値として、これに基づいて絞りの制御を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２３３２４号公報（第５−７頁、第１０図）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、主に監視カメラをはじめとする撮像機器ではＤＣアイリスと呼ばれる絞り機構が一般的に使用されている。ＤＣアイリスでは絞り制御信号による絞り開度の設定値の変化が実際の絞り開度の変化に反映されるまでに時間を要するが、特許文献１には、上記の点が考慮されていない。そのため、ＤＣアイリスと組み合わせて使用すると、露光制御が振動したり発散したりして、露光制御が不安定となる可能性がある。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、
絞り開度の調整が可能な絞り機構と、前記絞り機構を通して被写体からの光を受けて撮像を行う撮像部とを有する撮像装置の画像処理装置であって、
前記撮像部に第１の露光量での撮像と、前記第１の露光量よりも多い第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の撮像画像と、前記第２の露光量での撮像により生成された第２の撮像画像を交互に繰り返し出力させる制御部と、
前記第１の撮像画像と前記第２の撮像画像とを合成する画像合成部と、
前記第１の撮像画像の画素値の分布と、前記第２の撮像画像の画素値の分布を測定する画素値測定部とを有し、
前記制御部は、
前記第１の撮像画像の画素値の分布に基づいて、予め定められた複数の絞り開度の候補値のいずれかを選択することで前記絞り開度の設定値を決定し、決定された絞り開度の設定値を用いて前記絞り開度の制御を行い、
前記第２の撮像画像の画素値の分布に基づいて前記第１の露光量に対する前記第２の露光量の比である露光比率を決定し、決定した前記露光比率に基づいて前記第１の露光量及び前記第２の露光量を決定して、前記第１の露光量及び前記第２の露光量の制御を行い、
前記露光比率の決定に当たり、予め定められた複数の露光比率の候補値のいずれかを選択することで前記露光比率の設定値を決定し、
前記絞り開度の設定値の決定に当たり、前記第１の撮像画像の画素値の分布に基づいて生成された第１の明るさ指標値と予め定められた閾値との比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の前記第１の撮像画像について連続した場合に、前記絞り開度の候補値間の遷移が必要であると判断し、
前記露光比率の設定値の決定に当たり、前記第２の撮像画像の画素値の分布に基づいて生成された第２の明るさ指標値と予め定められた閾値との比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の前記第２の撮像画像について連続した場合に、前記露光比率の候補値間の遷移が必要であると判断するものである。
【発明の効果】
【０００６】
本発明によれば、絞り開度の設定値の変更が実際の絞り開度に反映されるまでに時間がかかる場合でも、露光制御が振動したり発散したりすることなく、安定的に制御することが可能である。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態１の画像処理装置を備えた撮像装置を示すブロック図である。
【図２】短露光画像におけるヒストグラム計測結果の一例を示すとともに、実施の形態１における短露光画像明るさ指標値の生成方法を示す図である。
【図３】長露光画像におけるヒストグラム計測結果の一例を示すとともに、実施の形態１における、長露光画像明るさ指標値の生成方法を示す図である。
【図４】絞り開度の候補値と露光比率の候補値を２次元的に示す図である。
【図５】実施の形態１における制御部の処理の手順を示すフローチャートである。
【図６】実施の形態１における制御部の処理の手順を示すフローチャートである。
【図７】実施の形態１における制御部の処理の手順を示すフローチャートである。
【図８】実施の形態１における制御部の処理の手順の変形例を示すフローチャートである。
【図９】短露光画像におけるヒストグラム計測結果の一例を示すとともに、本発明の実施の形態２における短露光画像明るさ指標値の生成方法を示す図である。
【図１０】長露光画像におけるヒストグラム計測結果の一例を示すとともに、実施の形態２における、長露光画像明るさ指標値の生成方法を示す図である。
【発明を実施するための形態】
【０００８】
実施の形態１．
図１は実施の形態１にかかる画像処理装置を備えた撮像装置の構成を示すブロック図である。図示の撮像装置は、絞り機構１と、レンズ２と、撮像素子３と、画像処理部４と、制御部５を有する。上記の構成要素のうち、画像処理部４と制御部５とにより、画像処理装置が構成されている。
【０００９】
絞り機構１は、撮像素子３に入射する光Ｌの量を調節するものであり、外部からの制御により絞り開度の調整が可能である。
【００１０】
主に監視カメラをはじめとする撮像機器ではＤＣアイリスと呼ばれる絞り機構が一般的に使用されている。ＤＣアイリスでは撮像装置の制御部からの絞り制御信号に応じて、絞り開度が調節される。ＤＣアイリスでは絞り制御信号のレベルの変化が、実際の絞り開度の変化に反映されるまでに時間を要するという特性、および同じレベルの（即ち、同じ絞り開度の設定値を示す）絞り制御信号を与えても、直前の絞り開度からの変化の方向によって、変化後の絞り開度が異なるものとなるという特性があり、絞り制御信号によって高速に絞り開度を変化させたり、目標とする絞り開度に正確に制御したりすることが困難である。これらの点を考慮に入れて、設定値の切り替えのタイミングの決定、及び設定値の決定を行うことが本発明の特徴の一つである。
【００１１】
レンズ２は、被写体からの光を、撮像素子の撮像面に導き、光学像を撮像面に形成する。
撮像素子３はＣＣＤ素子又はＣＭＯＳ素子を備え、撮像面に形成された光学像を電子データ（画像データ）に変換して出力する。また撮像素子３は、露光時間及びゲインを変更可能であり、露光時間及びゲインを変更することにより撮像により得られる画像の明るさを調整することができる。レンズ２と撮像素子３とにより、撮像部が構成されている。
【００１２】
露光時間の変更は、電荷蓄積時間の変更によって行われる。ゲインの変更は、撮像素子３の内部に設けられた増幅回路の増幅度の変更により行われる。撮像素子３では、２つの異なる露光条件で撮像を行う。
【００１３】
２つの異なる露光条件は、露光時間が比較的短い第１の露光条件（短露光条件）と、露光時間が比較的長い第２の露光条件（長露光条件）とから成る。
短露光条件での撮像と、長露光条件での撮像は、それぞれ１フレームおきに、交互に行われる。即ち、あるフレームで短露光条件での撮像が行われ、次のフレームで長露光条件での撮像が行われる。短露光条件での撮像が行われるフレームを短露光フレームと言い、短露光条件で得られた画像を短露光画像と言い、符号ＤＳで表す。長露光条件での撮像が行われるフレームを長露光フレームと言い、長露光条件で得られた画像を長露光画像と言い、符号ＤＬで表す。
【００１４】
画像処理部４は、画素値計測部４１と、画像合成部４２を有する。
画素値計測部４１は撮像素子３から出力された各フレームの画像データに対し、種々の計測を行う。例えば、各フレームにおいて、画素値の分布を計測し、ヒストグラムを生成する。ヒストグラムの生成は、各画素値を有する画素の数を数えることで行われる。ヒストグラムをフレーム毎に生成する結果、短露光画像についてのヒストグラムＨｔＳと、長露光画像についてのヒストグラムＨｔＬとが得られる。
【００１５】
画像合成部４２は、撮像素子３から出力された、短露光条件での撮像で得られた画像ＤＳと、長露光条件で得られた画像ＤＬとを合成して合成画像Ｄ４を出力する。これによって、ダイナミックレンジを拡大した一枚の画像を得ることができる。
【００１６】
制御部５は、画素値計測部４１での計測結果に基づき、絞り機構１の絞り開度（アイリスの開度）、撮像素子３の露光時間及びゲイン、並びに画像合成部４２の画像合成比率を制御する。
【００１７】
絞り開度の制御は、絞り制御信号Ｃｆによって行われる。露光時間及びゲインの制御は、それぞれ露光時間制御信号Ｃｅ及びゲイン制御信号Ｃｇによって行われる。画像合成比率の制御は、合成比率制御信号Ｃｃによって行われる。
【００１８】
露光時間及びゲインの制御においては、画素値計測部４１での計測結果に基づき、短露光条件における露光量に対する長露光条件における露光量の比（露光比率）ＲＬＳを設定し、該露光比率ＲＬＳが設定された値となるように、短露光条件における露光時間ＥＳ及びゲインＧＳ、並びに長露光条件における露光時間ＥＬ及びゲインＧＬを設定して、制御を行う。上記の露光量は露光時間とゲインの積で与えられる。従って、上記の露光比率ＲＬＳは、短露光における露光時間ＥＳとゲインＧＳの積に対する、長露光における露光時間ＥＬとゲインＧＬの積の比で与えられる。即ち、下記の式（１）の関係がある。
ＲＬＳ＝（（ＥＬ×ＧＬ）／（ＥＳ×ＧＳ））    （１）
【００１９】
式（１）の関係を考慮に入れて、露光比率ＲＬＳが設定値となるように、短露光における露光時間ＥＳ及びゲインＧＳ、並びに長露光における露光時間ＥＬ及びゲインＧＬを設定する制御を行う。
【００２０】
本実施の形態では、短露光画像のヒストグラムＨｔＳに基づいて絞り機構１の絞り開度ＡＰの制御を行い、長露光画像のヒストグラムＨｔＬに基づいて露光比率ＲＬＳの設定を行う。
【００２１】
上記のように、短露光条件での撮像と、長露光条件での撮像を交互に行う場合、制御部５は撮像素子３に対し、短露光条件での撮像のための露光時間ＥＳの設定及びゲインＧＳの設定と、長露光条件での撮像のための露光時間ＥＬの設定及びゲインＧＬの設定を１フレームおきに交互に行う。
【００２２】
絞り機構１については、相前後して行われる短露光条件での撮像及び長露光条件での撮像の間、同一設定値で制御する。これは、絞り機構１は、機械的に動作するものであり、１フレーム期間毎に絞り開度ＡＰを切替えて正確に制御を行うことは困難であるためである。
【００２３】
上記のように、制御部５は、露光の制御に画素値計測部４１の計測結果を使用する。図２は短露光画像におけるヒストグラムＨｔＳの計測結果の例を示したものである。図３は長露光画像におけるヒストグラムＨｔＬの計測結果の例を示したものである。
【００２４】
制御部５は、短露光ヒストグラムＨｔＳにおいて、低輝度側から各階調値の画素数（出現度数）を積算し、積算画素数Ａｘの全画素数に対する割合が、予め定められた第１の値Ａｍｔとなる画素値Ｐｘ（Ａｘ＝Ａｍｔ）を計測し、この値を短露光画像明るさ指標値ＷＬとし、この指標値ＷＬに基づいて、絞り機構１の絞り開度ＡＰを制御する。上記の第１の値Ａｍｔは例えば９０％に設定される。
【００２５】
制御部５は、指標値ＷＬが予め定められた閾値ＷＬｂより小さい場合は、絞り開度ＡＰを大きくする方向での制御を行う。「絞り開度ＡＰを大きくする方向での制御」とは、同じ判定が繰り返された場合に、絞り開度ＡＰを大きくすることを意味する。
【００２６】
制御部５は、指標値ＷＬが予め定められた閾値ＷＬａより大きい場合は、絞り開度ＡＰを小さくする方向での制御を行う。「絞り開度ＡＰを小さくする方向での制御」とは、同じ判定が繰り返された場合に、絞り開度ＡＰを小さくすることを意味する。
【００２７】
閾値ＷＬｂは、「絞り開度ＡＰを大きくする側の閾値」とも呼ばれ、閾値ＷＬａは、「絞り開度ＡＰを小さくする側の閾値」とも呼ばれる。図２には、指標値ＷＬが、閾値ＷＬｂと閾値ＷＬａの間に位置する場合を示している。
【００２８】
制御部５は、長露光画像のヒストグラムＨｔＬにおいて、低輝度側から各階調値の画素数（出現度数）を積算し、積算画素数Ａｘの全画素数に対する割合が、予め定められた第２の値Ａｂｔとなる画素値Ｐｘ（Ａｘ＝Ａｂｔ）を計測し、この値を指標値ＢＬとし、この指標値ＢＬに基づいて、露光比率ＲＬＳを制御する。上記の第２の値Ａｂｔは例えば１０％に設定される。
【００２９】
制御部５は、指標値ＢＬが予め定められた閾値ＢＬｂより小さい場合は、露光比率ＲＬＳを大きくする方向での制御を行う。「露光比率ＲＬＳを大きくする方向での制御」とは、同じ判定が繰り返され、さらに他の条件が満たされたら、露光比率ＲＬＳを大きくすることを意味する。
【００３０】
制御部５は、指標値ＢＬが予め定められた閾値ＢＬａより大きい場合は、露光比率ＲＬＳを小さくする方向での制御を行う。「露光比率ＲＬＳを小さくする方向での制御」とは、同じ判定が繰り返され、さらに他の条件が満たされたら、露光比率ＲＬＳを小さくすることを意味する。
【００３１】
閾値ＢＬｂは、「露光比率ＲＬＳを大きくする側の閾値」とも呼ばれ、閾値ＢＬａは、「露光比率ＲＬＳを小さくする側の閾値」とも呼ばれる。図３には、指標値ＢＬが、閾値ＢＬｂと閾値ＢＬａの間に位置する場合を示している。
【００３２】
露光比率ＲＬＳを大きくするには、例えば
（Ａ１）長露光における露光時間ＥＬを長くしても良く、
（Ａ２）長露光画像に対するゲインＧＬを大きくしても良く、
（Ａ３）短露光における露光時間ＥＳを短くしても良く、
（Ａ４）短露光画像に対するゲインＧＳを小さくしても良く、
これらを組合わせて行っても良い。
【００３３】
絞り開度ＡＰを小さくするには、例えば
（Ｂ１）長露光における露光時間ＥＬを短くしても良く、
（Ｂ２）長露光画像に対するゲインＧＬを小さくしても良く、
（Ｂ３）短露光における露光時間ＥＳを長くしても良く、
（Ｂ４）短露光画像に対するゲインＧＳを大きくしても良く、
これらを組合わせて行っても良い。
【００３４】
より具体的には、
（Ｃ１）  短露光のゲインＧＳ、露光時間ＥＳを固定とし、長露光のゲインＧＬ、露光時間ＥＬを変更して、露光比率ＲＬＳを制御しても良く、
（Ｃ２）  長露光のゲインＧＬ、露光時間ＥＬを固定とし、短露光のゲインＧＳ、露光時間ＥＳを変更して、露光比率ＲＬＳを制御しても良く、
（Ｃ３）  合成後の画像の明るさが変わらないように、長露光の露光時間ＥＬ、長露光のゲインＧＬ、短露光の露光時間ＥＳ、短露光のゲインＧＳの積、すなわちＥＬ×ＧＬ×ＥＳ×ＧＳが一定となるように設定を変化させることとしても良い。
【００３５】
露光制御には、図４に示したように候補値を２次元的に配列したテーブルを用いる。図４において、横軸は絞り開度ＡＰを示し、縦軸は露光比率ＲＬＳを示している。図中の縦および横方向の点線は予め用意された設定値の候補値を示しており、従って、丸印を付けた点線の交差位置（格子点の位置）は、絞り開度ＡＰの設定値の候補値と露光比率ＲＬＳの設定値の候補値の組合せに対応する。
【００３６】
絞り開度ＡＰは、縦方向の点線で示される設定値の候補値のいずれかに設定され、露光比率ＲＬＳは、横方向の点線で示される設定値の候補値のいずれかに設定される。従って、絞り開度ＡＰの設定値と露光比率ＲＬＳの設定値の組合せは、丸印を付けた点線の交差位置のいずれとなる。
【００３７】
露光制御開始時の設定値は、予め決められている。露光制御開始後は、画素値計測部４１での計測結果に基づいて、必要に応じて、一つの交差位置から別の交差位置への遷移が行われる。
【００３８】
遷移の際には排他制御を行う。すなわち、左右方向と上下方向の遷移の必要性が同時に生じた場合は、一方のみを行い、他方はそれまでの値を維持する。
【００３９】
また、絞り開度ＡＰの設定値の変更（左右方向の遷移）と、露光比率ＲＬＳの遷移（上下方向の遷移）では、絞り開度ＡＰの設定値の変更を優先することが望ましい。これは絞り開度ＡＰを制御する絞り機構１は、絞り制御信号の設定値を変更してから実際の絞り開度ＡＰが変化するまでに時間が掛ったり、絞り開度ＡＰの設定値が実際の絞り開度ＡＰに正確に反映されずに、誤差を生ずることがあるためである。一方の露光比率ＲＬＳに関しては電子的に制御されるため、設定値が実際の値に反映されるまでの遅れや実際の値の設定値からのずれは発生しない。
【００４０】
仮に、先に露光比率ＲＬＳの設定値の遷移を行い、安定後に絞り開度ＡＰの設定値の遷移を行うこととした場合、絞り開度ＡＰの設定値に対する実際の絞り開度ＡＰの誤差のため、目標とする設定値からのずれが発生し、そのため再度露光比率ＲＬＳの設定値の遷移の必要が生じる可能性があり、露光条件の収束に時間がかかるとともに、処理の安定性が低下する恐れがある。
【００４１】
設定値の遷移にあたっては、制御を安定させるための安定待ち時間を設ける。すなわち、一回遷移が発生した後は、予め定められたフレーム数にわたって露光条件の遷移に関する同一の判定が連続して行われた場合のみ次の遷移を行う。上記のように特に絞り開度ＡＰについては、絞り開度ＡＰの設定値を変更してからその変更が実際に絞り開度ＡＰに反映されるのに時間が掛り、また、実際の絞り開度ＡＰの設定値に対する誤差のあるため、安定待ち時間を設けることの効果が大きい。
【００４２】
さらに遷移基準となる画素値計測結果の条件は、図４において、右から左への遷移と左から右への遷移で判定の閾値を個別に設定できるようにする。これは図４の上下方向の遷移でも同様に、上から下への遷移と、下から上への遷移では判定の閾値を個別に設定可能とする。これは例えば、上記のように、指標値ＷＬに対して、絞り開度ＡＰを小さくする側の閾値ＷＬａと、絞り開度ＡＰを大きくする側の閾値ＷＬｂとを異なる値のものとし、指標値ＢＬに対して、露光比率ＲＬＳを小さくする側の閾値ＢＬａと、露光比率ＲＬＳを大きくする側の閾値ＢＬｂとを異なる値のものとすることで実現できる。
【００４３】
上記のような制御を行うことにより、絞り開度ＡＰの同一の設定値に対して実際の絞り開度ＡＰが異なる可能性があるＤＣアイリス機構であっても、実際の絞り開度ＡＰに依存する画素値計測結果に基づきフィードバックによる絞り開度ＡＰの制御を行うことができるため、露光制御を安定的に行うことが可能である。
【００４４】
また絞り制御信号による絞り開度ＡＰの設定値の変更から、実際の絞り開度ＡＰへの反映に時間がかかる場合でも、露光制御が振動したり発散したりすることなく、安定的に制御することが可能である。
【００４５】
以下では、本実施の形態における制御部５の動作を、図５、図６及び図７を参照して説明する。なお、制御部５は、以下の説明に現れる「カウント値」をカウントするためのカウンタ群を備えるものとする。図６は、図５のステップＳＴ２の詳細を示し、図７は図５のステップＳＴ４の詳細を示す。
【００４６】
図５の処理のうち、ステップＳＴ１及びＳＴ２の処理は、あるフレーム（第１のフレーム）で得られた短露光画像についてのヒストグラムＨｔＳに基づいて行われ、ステップＳＴ３及びＳＴ４の処理は、次のフレーム（第２のフレーム）で得られた長露光画像のヒストグラムＨｔＬに基づいて行われ、ステップＳＴ５〜ＳＴ７の処理は、上記した第２のフレームの後に続く２つのフレーム（第３及び第４のフレーム）での撮像条件の設定のために行われる。
【００４７】
ステップＳＴ１では短露光画像のヒストグラムＨｔＳの生成を待つ。
ステップＳＴ２では、短露光画像のヒストグラムＨｔＳに基づいて、絞り開度ＡＰの設定値の変更の要否判断を行う。
ステップＳＴ３では、長露光画像のヒストグラムＨｔＬの生成を待つ。
ステップＳＴ４では、長露光画像のヒストグラムＨｔＬに基づいて、露光比率ＲＬＳの設定値の変更の要否判断を行う。
【００４８】
ステップＳＴ５では、ステップＳＴ２における設定値の変更の要否判断に基づいて、絞り開度ＡＰの設定を行う。
ステップＳＴ６では、ステップＳＴ４における設定値の変更の要否判断に基づいて、露光比率ＲＬＳの設定を行う。
ステップＳＴ７では、ステップＳＴ６で設定された露光比率ＲＬＳに基づいて、露光時間及びゲインの設定を行う。
【００４９】
図６は、ステップＳＴ２の詳細を示す。
まずステップＳＴ１１で、画素値計測部４１にて生成された短露光画像のヒストグラムＨｔＳから、図２で説明したように、低輝度側からの積算画素数Ａｘの、全画素数に対する割合が、予め定められた第１の値Ａｍｔ（例えば９０％）となる画素値Ｐｘ（Ａｘ＝Ａｍｔ）を求め、短露光画像明るさ指標値ＷＬとして出力する。
【００５０】
次のステップＳＴ１２では、短露光画像明るさ指標値ＷＬを、絞り開度ＡＰを大きくする側の閾値ＷＬｂ及び絞り開度ＡＰを値作する側の閾値ＷＬａと比較する。この判定の結果、以下の３つの判定結果のいずれかが得られる。
【００５１】
（Ｄ１）指標値ＷＬが、閾値ＷＬｂよりも小さい（ＷＬ＜ＷＬｂが満たされる）。
（Ｄ２）指標値ＷＬが、閾値ＷＬａよりも大きい（ＷＬ＞ＷＬａが満たされる）。
（Ｄ３）指標値ＷＬが、閾値ＷＬｂ以上で且つ閾値ＷＬａ以下である（ＷＬｂ≦ＷＬ≦ＷＬａが満たされる）。
【００５２】
上記Ｄ１の判定結果が得られた場合にはステップＳＴ１３に進む。上記Ｄ２の判定結果が得られた場合にはステップＳＴ１４に進む。上記Ｄ３の判定結果が得られた場合にはステップＳＴ１５に進む。
【００５３】
ステップＳＴ１３では、カウント値ＣＤ１をインクリメント（１だけ増加）し、カウント値ＣＤ２及びＣＤ３をリセットする（ゼロにする）。ステップＳＴ１４では、カウント値ＣＤ２をインクリメント（１だけ増加）し、カウント値ＣＤ１及びＣＤ３をリセットする（ゼロにする）。ステップＳＴ１５では、カウント値ＣＤ３をインクリメント（１だけ増加）し、カウント値ＣＤ１及びＣＤ２をリセットする（ゼロにする）。
【００５４】
このような処理を行う結果、ステップＳＴ１２の判定結果が前回の判定結果（一つ前の短露光画像についての判定結果）と同じであれば、カウント値は１だけ増加するが、そうでなければ、リセットされる。従って、カウント値ＣＤ１、ＣＤ２、ＣＤ３は、ステップＳＴ１２の判定で同じ判定結果が連続した回数（判定結果連続カウント値）を表すものとなる。
【００５５】
ステップＳＴ１３の次に、ステップＳＴ１６に進む。ステップＳＴ１４の次にステップＳＴ１７に進む。ステップＳＴ１６及びＳＴ１７では、判定結果連続カウント（カウント値ＣＤ１、ＣＤ２）を用いて、絞り開度ＡＰの設定値を遷移させるべきか否かの判定を行う。
【００５６】
即ち、ステップＳＴ１６では、ステップＳＴ１３でインクリメントされたカウント値ＣＤ１が予め定められた値ＣＤ１ｔに達したか否かの判定を行う。この判定は、短露光画像明るさ指標値ＷＬが、絞り開度ＡＰを大きくする側の閾値ＷＬｂよりも小さいとの判定結果（Ｄ１）が、予め定められたフレーム数ＣＤ１ｔ以上連続したか否かの判定である。判定の結果、ＹＥＳであれば、ステップＳＴ１８に進む。
【００５７】
ステップＳＴ１８では、絞り開度ＡＰの設定値を、より大きな値に（図４で右方向に）一段階遷移させるべきであるとの判定を行う。
【００５８】
ステップＳＴ１７では、ステップＳＴ１４でインクリメントされたカウント値ＣＤ２が予め定められた値ＣＤ２ｔに達したか否かの判定を行う。この判定は、短露光画像明るさ指標値ＷＬが、絞り開度ＡＰを小さくする側の閾値ＷＬａよりも大きいとの判定結果（Ｄ２）が、予め定められたフレーム数ＣＤ２ｔ以上連続したか否かの判定である。判定の結果、ＹＥＳであれば、ステップＳＴ１９に進む。
【００５９】
ステップＳＴ１９では、絞り開度ＡＰの設定値を、より小さな値に（図４で左方向に）一段階遷移させるべきであるとの判定を行う。
【００６０】
ステップＳＴ１６でＮＯの場合、ステップＳＴ１７でＮＯの場合、及びステップＳＴ１５の次にステップＳＴ２０に進む。ステップＳＴ２０では、絞り開度ＡＰの設定値をそれまでの値に維持すべきであるとの判定を行う。ステップＳＴ１８、ＳＴ１９、又はＳＴ２０が終わると、ステップＳＴ２の処理が終わる。
【００６１】
図７は、ステップＳＴ４の詳細を示す。
ステップＳＴ３１では、画素値計測部４１にて生成された長露光画像のヒストグラムＨｔＬから、図３で説明したように、低輝度側からの積算画素数Ａｘの、全画素数に対する割合が、予め定められた第２の値Ａｂｔ（例えば１０％）となる画素値Ｐｘ（Ａｘ＝Ａｂｔ）を求め、長露光画像明るさ指標値ＢＬとして出力する。
【００６２】
次のステップＳＴ３２では、長露光画像明るさ指標値ＢＬを、露光比率ＲＬＳを大きくする側の閾値ＢＬｂ及び露光比率ＲＬＳを小さくする側の閾値ＢＬａと比較する。この判定の結果、以下の３つの判定結果のいずれかが得られる。
【００６３】
（Ｅ１）指標値ＢＬが、閾値ＢＬｂよりも小さい（ＢＬ＜ＢＬｂが満たされる）。
（Ｅ２）指標値ＢＬが、閾値ＢＬａよりも大きい（ＢＬ＞ＢＬａが満たされる）。
（Ｅ３）指標値ＢＬが、閾値ＢＬｂ以上で且つ閾値ＢＬａ以下である（ＢＬｂ≦ＢＬ≦ＢＬａが満たされる）。
【００６４】
上記Ｅ１の判定結果が得られた場合にはステップＳＴ３３に進む。上記Ｅ２の判定結果が得られた場合にはステップＳＴ３４に進む。上記Ｅ３の判定結果が得られた場合にはステップＳＴ３５に進む。
【００６５】
ステップＳＴ３３では、カウント値ＣＥ１をインクリメント（１だけ増加）し、カウント値ＣＥ２及びＣＥ３をリセットする（ゼロにする）。ステップＳＴ３４では、カウント値ＣＥ２をインクリメント（１だけ増加）し、カウント値ＣＥ１及びＣＥ３をリセットする（ゼロにする）。ステップＳＴ３５では、カウント値ＣＥ３をインクリメント（１だけ増加）し、カウント値ＣＥ１及びＣＥ２をリセットする（ゼロにする）。なお、ステップＳＴ３５では、カウント値ＣＥ３のインクリメントを省略し、カウント値ＣＥ１及びＣＥ２のリセットのみを行うこととしても良い。
【００６６】
このような処理を行う結果、ステップＳＴ３２の判定結果が前回の判定結果（一つ前の長露光画像についての判定結果）と同じであれば、カウント値は１だけ増加するが、そうでなければ、リセットされる。従って、カウント値ＣＥ１、ＣＥ２、ＣＥ３は、ステップＳＴ３２の判定で同じ判定結果が連続した回数（判定結果連続カウント値）を表すものとなる。
【００６７】
ステップＳＴ３３の次に、ステップＳＴ３６に進む。ステップＳＴ３４の次にステップＳＴ３７に進む。ステップＳＴ３６及びＳＴ３７では、判定結果連続カウント（カウント値ＣＥ１、ＣＥ２並びにＣＤ３）を用いて、露光比率ＲＬＳを遷移させるべきか否かの判定を行う。
【００６８】
即ち、ステップＳＴ３６では、カウント値ＣＤ３が予め定められた値ＣＤ３ｔに達し、且つカウント値ＣＥ１が予め定められた値ＣＥ１ｔに達したか否かの判定を行う。この判定は、短露光画像明るさ指標値ＷＬが、絞り開度ＡＰを大きくする側の閾値ＷＬｂ以上で且つ絞り開度ＡＰを小さくする側の閾値ＷＬａ以下であるとの判定結果（上記の（Ｄ３））が予め定められたフレーム数ＣＤ３ｔ以上連続しており、且つ長露光画像明るさ指標値ＢＬが、露光比率ＲＬＳを大きくする側の閾値ＢＬｂよりも小さいとの判定結果（上記の（Ｅ１））が予め定められたフレーム数ＣＥ１ｔ以上連続しているか否かの判定である。判定の結果、ＹＥＳであれば、ステップＳＴ３８に進む。
【００６９】
ステップＳＴ３８では、露光比率ＲＬＳの設定値を、より大きな値に（図４で上方向に）一段階遷移させるべきであるとの判定を行う。
【００７０】
ステップＳＴ３７では、カウント値ＣＤ３が予め定められた値ＣＤ３ｔに達し、且つカウント値ＣＥ２が予め定められた値ＣＥ２ｔに達したか否かの判定を行う。この判定は、短露光画像明るさ指標値ＷＬが、絞り開度ＡＰを大きくする側の閾値ＷＬｂ以上で且つ絞り開度ＡＰを小さくする側の閾値ＷＬａ以下であるとの判定結果（上記の（Ｄ３））が予め定められたフレーム数ＣＤ３ｔ以上連続しており、且つ長露光画像明るさ指標値ＢＬが、露光比率ＲＬＳを小さくする側の閾値ＢＬａよりも大きいとの判定結果（上記の（Ｅ２））が予め定められたフレーム数ＣＥ２ｔ以上連続しているか否かの判定である。判定の結果、ＹＥＳであれば、ステップＳＴ３９に進む。
【００７１】
ステップＳＴ３９では、露光比率ＲＬＳの設定値を、より小さな値に（図４で下方向に）一段階遷移させるべきであるとの判定を行う。
【００７２】
ステップＳＴ３６でＮＯの場合、ステップＳＴ３７でＮＯの場合、及びステップＳＴ３５の次にステップＳＴ４０に進む。ステップＳＴ４０では、露光比率ＲＬＳの設定値をそれまでの値に維持すべきであるとの判定を行う。ステップＳＴ３８、ＳＴ３９、又はＳＴ４０が終わると、ステップＳＴ４の処理が終わる。
【００７３】
ステップＳＴ５では、ステップＳＴ１８、ＳＴ１９又はＳＴ２０での判定結果に基づいて、絞り開度ＡＰの設定値の決定、即ち絞り制御信号Ｃｆのレベル（絞り開度ＡＰの設定値を示す）の決定を行う。即ち、ステップＳＴ１８で「絞り開度ＡＰの設定値を、より大きな値に（図４で右方向に）一段階遷移させるべきである」との判定がなされた場合には、その判定結果に従って、設定値を遷移させ、ステップＳＴ１９で「絞り開度ＡＰの設定値を、より小さな値に（図４で左方向に）一段階遷移させるべきである」との判定がなされた場合には、その判定結果に従って、設定値を遷移させ、ステップＳＴ２０で「絞り開度ＡＰの設定値を、それまでの値に維持すべきである」との判定がなされた場合には、その判定結果に従って、設定値を維持する。
【００７４】
以上のように、絞り開度ＡＰの設定値の決定に当たり、短露光画像の画素値の分布に基づいて生成された短露光画像明るさ指標値ＷＬと予め定められた閾値ＷＬａ、ＷＬｂとの比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の短露光画像について連続した場合に、絞り開度ＡＰの候補値間の遷移が必要であると判断し、そのような判断がなされた場合には、絞り開度ＡＰの候補者間の設定を行うべきとの決定がなされる。
【００７５】
ステップＳＴ５の次にステップＳＴ６に進む。ステップＳＴ６では、ステップＳＴ３８、ＳＴ３９又はＳＴ４０での判定結果に基づいて、露光比率ＲＬＳの設定値の決定を行う。即ち、ステップＳＴ３８で「露光比率ＲＬＳの設定値を、より大きな値に（図４で上方向に）一段階遷移させるべきである」との判定がなされた場合には、その判定結果に従って、設定値を遷移させ、ステップＳＴ３９で「露光比率ＲＬＳの設定値を、より小さな値に（図４で下方向に）一段階遷移させるべきである」との判定がなされた場合には、その判定結果に従って、設定値を遷移させ、ステップＳＴ４０で「露光比率ＲＬＳの設定値を、それまでの値に維持すべきである」との判定がなされた場合には、その判定結果に従って、設定値を維持する。
【００７６】
以上のように、露光比率ＲＬＳの設定値の決定に当たり、長露光画像の画素値の分布に基づいて生成された長露光画像明るさ指標値ＢＬと予め定められた閾値ＢＬａ、ＢＬｂとの比較の結果が予め定められた条件を満たすとの判定結果が、予め定められた数の長露光画像について連続した場合に、露光比率ＲＬＳの候補値間の遷移が必要であると判断することとしている。但し、露光比率ＲＬＳの候補者間の遷移をすべきとの決定は、絞り開度ＡＰの候補者間の遷移が必要ないと判断されている場合に限り、行われる。
【００７７】
ステップＳＴ６の次にステップＳＴ７に進む。ステップＳＴ７では、ステップＳＴ６で決定された露光比率（変更され、又は変更されなかった露光比率）ＲＬＳに基づいて撮像素子の露光時間ＥＬ、ＥＳ及びゲインＧＬ、ＧＳの設定を行う。
【００７８】
ステップＳＴ５で決定された絞り制御信号の設定値及びステップＳＴ７で設定された露光時間及びゲインは、それ以降のフレーム期間における撮像で用いられる。具体的には、上記の第２のフレームの後に続く２つのフレーム（第３及び第４のフレーム）で、ステップＳＴ５で設定された絞り制御信号、及びステップＳＴ７で設定された露光時間ＥＬ、ＥＳ及びゲインＧＬ、ＧＳによる制御が行われる。上記の２つのフレーム（第３及び第４のフレーム）における撮像で得られた画像は次のヒストグラムＨｔＳ、ＨｔＬの生成に用いられ、同様の処理が繰り返される。
【００７９】
以上のように、ステップＳＴ１及びＳＴ２の処理は、短露光フレーム毎に行われ、ステップＳＴ３及びＳＴ４の処理は長露光フレーム毎に行われ、２フレームに一度、ステップＳＴ５〜ＳＴＴ７の処理が行われる。即ち、絞り開度ＡＰ及び露光比率ＲＬＳは２フレーム毎に必要に応じて更新される。
【００８０】
ステップＳＴ２のうちの、ステップＳＴ１６又はＳＴ１７で絞り開度ＡＰの設定値を変更すべきと判断されたときは、ステップＳＴ４内では、露光比率ＲＬＳの設定値を変更すべきとの判断はなされない。即ち、ステップＳＴ４のステップＳＴ３６及びステップＳＴ３７では、ステップＳＴ１５でカウントアップされた回数、即ち、短露光画像明るさ指標値が２つの閾値の間にあるとの判定が連続した短時間画像の数が予め定められた回数以上である場合に限り、露光比率ＲＬＳの設定値を変更すべきとの判断がなされる。
【００８１】
図５〜図７に示す方法では、上記のようにして、絞り開度ＡＰの設定値を変更すべきとの判断と、露光比率ＲＬＳの設定値を変更すべきとの判断が同時にはなされないようにしている。
【００８２】
しかしながら、本発明は、図５〜図７に示す手順には限定されない。例えば、図７の代わりに図８に示す手順で処理を行っても良い。
図８は概して図７と同じであるが、ステップＳＴ３６、ＳＴ３７の代わりにステップＳＴ４１、ＳＴ４２が設けられ、ステップＳＴ４３及びＳＴ４４が挿入されている。
【００８３】
ステップＳＴ４１では、カウント値ＣＥ１のみにより判断する。即ち、カウント値ＣＥ１が予め定められた値ＣＥ１ｔに達したか否かの判定を行う。判定の結果、ＹＥＳであれば、ステップＳＴ４３に進み、ＮＯであれば、ステップＳＴ４０に進む。
【００８４】
ステップＳＴ４２では、カウント値ＣＥ２のみより判断する。即ち、カウント値ＣＥ２が予め定められた値ＣＥ２ｔに達したか否かの判定を行う。判定の結果、ＹＥＳであれば、ステップＳＴ４４に進み、ＮＯであれば、ステップＳＴ４０に進む。
【００８５】
ステップＳＴ４３では、ステップＳＴ１８又はＳＴ１９で絞り開度ＡＰを変更すべきとの判断（ステップＳＴ１８における絞り開度ＡＰを大きくすべきとの判断、又はステップＳＴ１９における絞り開度ＡＰを小さくすべきとの判断）がなされたか否かを判断する。ステップＳＴ４３でＹＥＳであればステップＳＴ４０に進む。ＮＯであればステップＳＴ３８に進む。
【００８６】
ステップＳＴ４４でもステップＳＴ４３と同様に、ステップＳＴ１８又はＳＴ１９で絞り開度ＡＰを変更すべきとの判断（ステップＳＴ１８における絞り開度ＡＰを大きくすべきとの判断、又はステップＳＴ１９における絞り開度ＡＰを小さくすべきとの判断）がなされたか否かを判断する。ステップＳＴ４４でＹＥＳであればステップＳＴ４０に進む。ＮＯであればステップＳＴ３９に進む。
【００８７】
図６及び図８の手順で処理を行うことで、ステップＳＴ１８又はＳＴ１９において、絞り開度ＡＰを変更すべきとの判断がなされた場合には、ステップＳＴ４１又はＳＴ４２において、露光比率ＲＬＳの変更の必要があると判断されても、ステップＳＴ４３又はＳＴ４４で、ＹＥＳとなり、露光比率ＲＬＳは変更されないこととなる。一方、ステップＳＴ１８又はＳＴ１９において、絞り開度ＡＰを変更すべきとの判断がなされていない場合に、ステップＳＴ４１又はＳＴ４２で、露光比率ＲＬＳの変更の必要があると判断された場合には、ステップＳＴ４３又はＳＴ４４ＮＯとなり、ステップＳＴ３８又はＳＴ３９で、露光比率ＲＬＳを変更すべきであるとの判断がなされる。
【００８８】
以上を要するに、制御部５は、短露光画像の画素値の分布に基づく、絞り開度ＡＰの候補値間の遷移が必要であるとの判断と、長露光画像の画素値の分布に基づく、露光比率ＲＬＳの候補値間の遷移が必要であるとの判断とを、同時にしたときには、絞り開度ＡＰの候補値間の遷移のみを行い、絞り開度ＡＰの候補値間の遷移が不要であるとの判断と、露光比率ＲＬＳの候補値間の遷移が必要であるとの判断とを、同時にしたときには、露光比率ＲＬＳの候補値間の遷移を行うようにすれば良い。
【００８９】
図７の代わりに、図８の処理を行う場合には、図６のステップ１５では、カウント値ＣＤ３のインクリメントを省略し、カウント値ＣＤ１及びＣＤ２のリセットのみを行うこととしても良い。
【００９０】
以上のように、本実施の形態では、絞り開度の設定値の変更と、露光比率の設定値の変更とを排他的に行うため、同一の絞り開度の設定値を示す絞り制御信号を与えても、実際の絞り開度が異なる可能性があるＤＣアイリス機構であっても、実際の絞り開度に依存する画素値計測結果に基づく絞り開度のフィードバック制御を行うことができるため、露光制御を安定的に行うことが可能である。
【００９１】
また、絞り制御信号による絞り開度の設定値の変更による撮像画像の輝度の変動有無を確認し、撮像画像の輝度が安定してから露光比率を制御するようにする。これにより絞り制御信号による絞り開度の設定値の変更が実際の絞り開度に反映されるまでに時間がかかる場合でも、露光制御が振動したり発散したりすることなく、安定的に制御することが可能である。
【００９２】
なお、上記の実施の形態では、あるフレームに短露光画像を生成し、次のフレームに長露光画像を生成しているが、一つのフレーム期間内の最初の部分で、短露光画像を生成し、後の部分で長露光画像を生成するようにしても良い。
【００９３】
上記の実施の形態では、短間露光画像と、短露光画像の後で生成された長露光画像から、それぞれのヒストグラムＨｔＳ、ＨｔＬの生成及び該ヒストグラムＨｔＳ、ＨｔＬに基づく処理（ＳＴ１〜ＳＴ４）を行っているが、逆に、長間露光画像と、長露光画画像の後で生成された短露光画像から、それぞれのヒストグラムＨｔＬ、ＨｔＳの生成及び該ヒストグラムＨｔＬ、ＨｔＳに基づく処理（ＳＴ１〜ＳＴ４）を行うこととしても良い。その場合、ステップＳＴ１、ＳＴ２の処理は、短露光画像が得られた後に行う必要があり、また、ステップＳＴ４のうち、ステップＳＴ３８及びＳＴ３９の処理は、長露光画像のヒストグラムＨｔＬ及び短露光画像のヒストグラムＨｔＳがともに生成され、かつステップＳＴ２のステップＳＴ１５の処理が済んだあとで行う必要がある。
【００９４】
実施の形態２．
実施の形態１では、短露光ヒストグラムＨｔＳにおいて、低輝度側から各階調値の画素数（出現度数）を積算し、積算画素数の全画素数に対する割合が第１の値Ａｍｔとなる画素値Ｐｘ（Ａｘ＝Ａｍｔ）を計測し、この値を短露光画像明るさ指標値ＷＬとし、この指標値ＷＬに基づいて、絞り機構１の制御を行い、長露光画像のヒストグラムＨｔＬにおいて、低輝度側から各階調値の画素数（出現度数）を積算し、積算画素数の全画素数に対する割合が第２の値Ａｂｔとなる画素値Ｐｘ（Ａｘ＝Ａｂｔ）を計測し、この値を長露光画像明るさ指標値ＢＬとし、この指標値ＢＬに基づいて、露光比率を制御することとしている。しかし、本発明は、これに限定されず、指標値の決定を以下のようにして行っても良い。即ち、短露光画像における白飛び部分の画像中における面積を指標値として絞り開度の制御を行い、長露光画像における黒潰れ部分の面積を指標値として、露光比率を制御することとしても良い。
【００９５】
以下、より具体的に説明する。
図９は短露光画像におけるヒストグラムＨｔＳの計測結果の例を示したものである。図９中の符号ＷＬｔが白飛び部分を判定するために予め定められた閾値を示す。斜線部分、すなわち閾値ＷＬｔよりも画素値が大きい画素の数（積算画素数）Ｗｘが、画像中における白飛び部分の面積に相当する。
【００９６】
制御部５はこの度数積算画素数（画素値が閾値ＷＬｔよりも大きい画素の数）Ｗｘを短露光画像明るさ指標値Ｗｘとし、指標値Ｗｘが予め定められた閾値Ｗｘａより大きい場合は、絞り開度ＡＰを小さくする方向での制御を行い、指標値Ｗｘが予め定められた閾値Ｗｘｂより小さい場合は、絞り開度ＡＰを大きくする方向での制御を行う。閾値Ｗｘｂは、「絞り開度ＡＰを大きくする側の閾値」とも呼ばれ、閾値Ｗｘａは、「絞り開度ＡＰを小さくする側の閾値」とも呼ばれる。
【００９７】
図１０は長露光画像におけるヒストグラムＨｔＬの計測結果の例を示したものである。図１０中の符号ＢＬｔが黒潰れ部分を判定するために予め定められた閾値を示す。斜線部分、すなわち閾値ＢＬｔよりも画素値が小さい画素の数（積算画素数）Ｂｘが、画像中における黒潰れ部分の面積に相当する。
【００９８】
制御部５はこの積算画素数（画素値が閾値ＢＬｔよりも小さい画素の数）Ｂｘを長露光画像明るさ指標値Ｂｘとし、指標値Ｂｘが予め定められた閾値Ｂｘａより大きい場合は、露光比率ＲＬＳを大きくする方向での制御を行い、指標値Ｂｘが予め定められた閾値Ｂｘｂより小さい場合は、露光比率ＲＬＳを小さくする方向での制御を行う。閾値Ｂｘａは、「絞り開度ＡＰを大きくする側の閾値」とも呼ばれ、閾値Ｂｘｂは、「絞り開度ＡＰを小さくする側の閾値」とも呼ばれる。
【００９９】
上記した指標値の生成以外の点では、実施の形態２は実施の形態１と同様である。実施の形態２でも実施の形態１と同様の効果が得られる。また、実施の形態１に対して述べた変形例は、実施の形態２にも加え得る。
【０１００】
以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置の構成の一部又は全部、或いは上記した画像処理方法の処理の一部又は全部は、プロセッサ、プログラムメモリ及びデータメモリを含むコンピュータに実行させることができる。従って、上記の画像処理装置の構成の一部又は全部、或いは上記した画像処理方法の処理の一部又は全部をコンピュータに実行させるためのプログラム、並びに該プログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
【符号の説明】
【０１０１】
１  絞り機構、  ２  レンズ、  ３  撮像素子、  ４  画像処理部、  ５  制御部、  ４１  画素値計測部、  ４２  画像合成部。
【図１】
2016134703.tif 000003
【図２】
2016134703.tif 000004
【図３】
2016134703.tif 000005
【図４】
2016134703.tif 000006
【図５】
2016134703.tif 000007
【図６】
2016134703.tif 000008
【図７】
2016134703.tif 000009
【図８】
2016134703.tif 000010
【図９】
2016134703.tif 000011
【図１０】
2016134703.tif 000012