(57)【要約】【課題】露光制御などの性能を向上させた撮像装置を提供する。【解決手段】この撮像装置は、撮像素子を有する撮像部と、単位時間毎に、画像出力用の露光時間を含む露光条件で撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに露光条件の制御値を算出し、単位時間に、画像出力用の露光時間より長い第１の検波用の露光時間および画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに制御値を補正する制御部とを具備する。【選択図】図６
2016006930.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有する撮像部と、
単位時間毎に、画像出力用の露光時間を含む露光条件で前記撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、
前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する制御部と
を具備する撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記制御部は、
前記出力用の画像信号において、前記撮像素子のダイナミックレンジの下限値に相当する輝度値を有する画素の数が全体において占める割合が第１の閾値以上であるとき、前記第１の検波用の露光時間を追加し、前記撮像素子のダイナミックレンジの上限値に相当する輝度値を有する画素の数が前記撮像素子の有効画素全体において占める割合が第２の閾値以上であるとき、前記第２の検波用の露光時間を追加するように構成された
撮像装置。
【請求項３】
請求項２に記載の撮像装置であって、
前記制御部は、
前記第１の検波用の露光時間および前記第２の検波用の露光時間の少なくとも一方で撮像された前記検波用画像信号から主要被写体を検出し、
前記第１の検波用の露光時間で撮像された第１の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を増やすように補正し、
前記第２の検波用の露光時間で撮像された第２の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を減らすように補正するように構成された
撮像装置。
【請求項４】
請求項３に記載の撮像装置であって、
前記検波用画像信号から輝度値毎の画素数を示すヒストグラムの情報を生成する検波部をさらに有し、
前記制御部は、
前記主要被写体の代表的な輝度値の前記ヒストグラムにおける位置情報を算出し、この位置情報をもとに前記制御値を補正するように構成された
撮像装置。
【請求項５】
請求項４に記載の撮像装置であって、
前記制御部は、
前記第１の検波用画像信号および前記第２の検波用画像信号の両方から前記主要被写体が検出された場合、前記主要被写体の検出結果を比較し、この比較結果をもとに一方の前記主要被写体について算出された前記位置情報を選択し、この位置情報をもとに前記制御値を補正するように構成された
撮像装置。
【請求項６】
請求項５に記載の撮像装置であって、
前記制御部は、
前記第１の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける下限値の近傍範囲にあるとき、前記第１の検波用の露光時間を延長し、
前記第２の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける上限値の近傍範囲にあるとき、前記第２の検波用の露光時間を短縮するように構成された
撮像装置。
【請求項７】
請求項６に記載の撮像装置であって、
前記制御部は、
前記第１の検波用の露光時間および前記第２の検波用の露光時間が、前記単位時間から前記画像出力用の露光時間を差し引いた残り時間よりも長い場合には、前記第１の検波用の露光時間および前記第２の検波用の露光時間の追加を停止するように構成された
撮像装置。
【請求項８】
請求項７に記載の撮像装置であって、
前記制御部は、前記ヒストグラムの情報を視覚化した表示データを生成し、表示部に表示させるように構成された
撮像装置。
【請求項９】
制御部が、
単位時間毎に、画像出力用の露光時間を含む露光条件で撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、
前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置および撮像方法に係り、特に露出制御を改良した撮像装置および撮像方法に関する。
【背景技術】
【０００２】
撮像装置では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）などの撮像素子の露光量を、絞りやシャッター速度の制御によって調整することによって、撮像画の明るさを調節することができる。しかし、輝度差の比較的大きい逆光シーンなどを撮像する際には、撮像素子のダイナミックレンジの不足によって、露光の飽和による白とびや、露光の不足による黒つぶれが発生することがある。
【０００３】
このようなダイナミックレンジの不足による白とびや黒つぶれを防止する公知技術として次のものがある。例えば、特許文献１には、単位期間（１フィールド期間＝1/60秒）に異なる露光時間で撮像素子を２度露光し、２つの露光画像信号を信号処理によって合成することによって、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得る技術について開示されている。しかし、かかる公知技術にも幾つかの課題が指摘されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７６８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像装置には、輝度差の比較的大きい条件下での撮像において、撮像素子のダイナミックレンジの不足によって白とびや黒つぶれが発生しやすいなど、露出制御に関連した未解決の課題が残されている。さらには、撮像画像の画質の向上、高速化など、性能面での様々な改善すべき課題がある。
【０００６】
以上のような事情に鑑み、本技術の目的は、より性能を向上させた撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本技術に係る第１の形態の撮像装置は、撮像素子を有する撮像部と、単位時間毎に、画像出力用の露光時間を含む露光条件で前記撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する制御部とを具備する。
【０００８】
本技術に係る第１の形態の撮像装置において、前記制御部は、前記出力用の画像信号において、前記撮像素子のダイナミックレンジの下限値に相当する輝度値を有する画素の数が全体において占める割合が第１の閾値以上であるとき、前記第１の検波用の露光時間を追加し、前記撮像素子のダイナミックレンジの上限値に相当する輝度値を有する画素の数が前記撮像素子の有効画素全体において占める割合が第２の閾値以上であるとき、前記第２の検波用の露光時間を追加するように構成されたものであってよい。
【０００９】
前記制御部は、前記第１の検波用の露光時間および前記第２の検波用の露光時間の少なくとも一方で撮像された前記検波用画像信号から主要被写体を検出し、前記第１の検波用の露光時間で撮像された第１の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を増やすように補正し、前記第２の検波用の露光時間で撮像された第２の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を減らすように補正するように構成されたものであってもよい。
【００１０】
本技術に係る第１の形態の撮像装置は、前記検波用画像信号から輝度値毎の画素数を示すヒストグラムの情報を生成する検波部をさらに有し、前記制御部は、前記主要被写体の代表的な輝度値の前記ヒストグラムにおける位置情報を算出し、この位置情報をもとに前記制御値を補正するように構成されたものであってもよい。
【００１１】
前記制御部は、前記制御部は、前記第１の検波用画像信号および前記第２の検波用画像信号の両方から前記主要被写体が検出された場合、前記主要被写体の検出結果を比較し、この比較結果をもとに一方の前記主要被写体について算出された前記位置情報を選択し、この位置情報をもとに前記制御値を補正するように構成されたものであってよい。
【００１２】
前記制御部は、前記第１の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける下限値の近傍範囲にあるとき、前記第１の検波用の露光時間を延長し、前記第２の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける上限値の近傍範囲にあるとき、前記第２の検波用の露光時間を短縮するように構成されたものであってもよい。
【００１３】
前記制御部は、前記第１の検波用の露光時間および前記第２の検波用の露光時間が、前記単位時間から前記画像出力用の露光時間を差し引いた残り時間よりも長い場合には、前記第１の検波用の露光時間および前記第２の検波用の露光時間の追加を停止するように構成されたものであってよい。
【００１４】
前記制御部は、前記ヒストグラムの情報を視覚化した表示データを生成し、表示部に表示させるように構成されたものであってもよい。
【発明の効果】
【００１５】
以上のように、本技術によれば、撮像装置の性能の向上を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】１フレーム分の画像信号における輝度（横軸）と画素数（縦軸）との関係を示したヒストグラムの例を示す図である。
【図２】上記ヒストグラムの他の例を示す図である。
【図３】本技術に係る第１の実施形態の撮像装置の動作の概要を示す図である。
【図４】第１の検波用の露光時間Ｔ１で撮像された画像信号のヒストグラムを画像出力用の露光条件で撮像された画像信号のヒストグラムと比較して示す図である。
【図５】第２の検波用の露光時間Ｔ２で撮像された画像信号のヒストグラムを画像出力用の露光条件で撮像された画像信号のヒストグラムと比較して示す図である。
【図６】本実施形態の撮像装置１の構成を示すブロック図である。
【図７】本実施形態の撮像装置１の全体的な動作のフローチャートである
【図８】第１の検波用の露光時間Ｔ１の追加判定の動作のフローチャートである。
【図９】第２の検波用の露光時間Ｔ２の追加判定の動作のフローチャートである。
【図１０】第１の検波用の露光時間Ｔ１の算定動作のフローチャートである。
【図１１】第１の検波用の露光時間Ｔ１の算定について説明するための図である。
【図１２】第２の検波用の露光時間Ｔ２の算定動作のフローチャートである。
【図１３】第２の検波用の露光時間Ｔ２の算定について説明するための図である。
【図１４】画像出力用の露光条件の制御値の補正に関するフローチャートである。
【図１５】検波用の露光の停止判断に関するフローチャートである。
【図１６】本技術に係る変形例である、画像出力用の露光条件で撮像された画像信号と第１の検波用画像信号から生成された各々のヒストグラムを連続的に統合して表示させた形態を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００１８】
＜第１の実施形態＞
［概要］
撮像装置では、撮像された画像信号の明るさが適正となるように絞り値およびシャッタースピード（露光時間）などの露光条件が制御される。
【００１９】
しかしながら、例えば逆光撮像など、１フレーム中の画像信号における輝度値の差が比較的大きくなる状況下での撮像においては、撮像素子のダイナミックレンジが制約となって、露光条件を適正に補正できない場合がある。
【００２０】
図１は、１フレーム分の画像信号における輝度値（横軸）と画素数（縦軸）との関係を示したヒストグラムの一例である。ここで、輝度値のＭｉｎ（下限値）からＭａｘ（上限値）は撮像素子のダイナミックレンジによって検出が制限される輝度値の範囲である。図１において、実線はダイナミックレンジ内のヒストグラムであり、点線はダイナミックレンジの外側のヒストグラムである。
【００２１】
図１のヒストグラムは、撮像者であるユーザが撮像しようとしている物体である主要被写体の像を構成する一部の画素の輝度値が、実際にはダイナミックレンジによる制約によって検出可能な輝度値の範囲のＭｉｎ（下限値）よりも低いことから、主要被写体の像の一部が黒つぶれを生じている場合を示している。この場合、黒つぶれとなっている領域の正しい輝度情報が得られないため、露光条件を正しく補正できない。
【００２２】
また、図２のヒストグラムは、主要被写体の像の構成する一部の画素の輝度値が、実際にはダイナミックレンジによる制約によって検出可能な輝度値の範囲のＭａｘ（上限値）を超えていることから、主要被写体の像の一部が白とびを生じている場合を示している。この場合も、白とびになっている領域の正しい輝度情報が得られないため、露光条件を正しく補正できない。
【００２３】
図３は、このような課題を解決することが可能な本技術に係る第１の実施形態の撮像装置の動作の概要を示す図である。
本実施形態の撮像装置では、撮像された画像信号に黒つぶれまたは白とびが発生した場合、フレーム中に、画像出力用の露光条件に基づく露光時間Ｔ０とは別に、この露光時間Ｔ０よりも長い第１の検波用の露光時間Ｔ１および露光時間Ｔ０より短い第２の検波用の露光時間Ｔ２のうち、少なくともいずれか一方が追加される。
【００２４】
すなわち、画像出力用の露光条件に基づく露光時間Ｔ０で撮像された画像信号１００（以下、適宜これを「出力用の画像信号１００」と呼ぶ。）において、黒つぶれが発生した領域が全体において占める割合が第１の閾値以上であるとき、次フレームに、画像出力用の露光条件に基づく露光時間Ｔ０とは別に、この露光時間Ｔ０よりも長い第１の検波用の露光時間Ｔ１が追加される。
【００２５】
また、画像出力用の露光条件に基づく露光時間Ｔ０で撮像された出力用の画像信号１００において、白とびが発生した領域が全体において占める割合が第２の閾値以上であるとき、次フレームに、画像出力用の露光条件に基づく露光時間Ｔ０とは別に、この露光時間Ｔ０よりも短い第２の検波用の露光時間Ｔ２が追加される。
【００２６】
なお、第１の閾値と第２の閾値は同じでもよいし、異なってもよい。
【００２７】
フレーム中の画像出力用の露光条件に基づく露光時間Ｔ０、第１の検波用の露光時間Ｔ１、第２の検波用の露光時間Ｔ２の順番は図３に示される順番に限定されない。例えば、第１の検波用の露光時間Ｔ１、第２の検波用の露光時間Ｔ２の次に露光時間Ｔ０が配置されてもよい。
【００２８】
画像出力用の露光条件とは、一般的な撮像装置での画像の表示や記録のために行われる撮像のための露光条件のことである。露光条件は、撮像部における絞り値および露光時間Ｔ０によって決まってくる。本技術では、少なくとも露光時間Ｔ０の調整により露光条件が制御される場合を想定している。すなわち、露光条件の制御は、絞り値と露光時間Ｔ０の両方を調整するか、露光時間Ｔ０のみを調整して行われることとする。
【００２９】
第１の検波用の露光時間Ｔ１で撮像された画像信号を、この明細書では「第１の検波用画像信号１０１」と適宜呼ぶこととする。図４に示すように、第１の検波用の露光時間Ｔ１での撮像によれば、検出される輝度値の範囲が、画像出力用の露光条件で撮像された場合に検出される輝度値の範囲に対して低輝度側にシフトする。このため、画像出力用の露光条件による撮像ではダイナミックレンジの制約によって黒つぶれとなった画素についても、より正しく輝度値が検出されるようになる。
【００３０】
また、第２の検波用の露光時間Ｔ２で撮像された画像信号を、この明細書では「第２の検波用画像信号１０２」と適宜呼ぶこととする。図５に示すように、第２の検波用の露光時間Ｔ２によれば、検出される輝度値の範囲が、画像出力用の露光条件で撮像された場合に検出される輝度値の範囲に対して高輝度側にシフトする。このため、画像出力用の露光条件による撮像ではダイナミックレンジの制約によって白とびをおこした画素についても、より正しい輝度値が検出されるようになる。
【００３１】
図３に戻って、これら第１の検波用画像信号１０１および第２の検波用画像信号１０２からの主要被写体の検出１０３（図３参照）は、例えば、画像信号からの顔認識、その他の物体の認識、動きベクトル検出などの周知あるいは公知の画像認識技術によって行われる。
【００３２】
第１の検波用画像信号１０１から主要被写体が検出された場合には、画像出力用の露光条件の制御値１０４が露光量を増やすように補正される（補正１０５）。このとき、露光条件の制御値１０４の補正量は予め決められた値でもよい。また、例えば、第１の検波用画像信号１０１のヒストグラムにおいて、主要被写体の平均輝度値などの代表輝度値がどの位置にあるかを示す第１の被写体位置情報を少なくとも用いて、主要被写体が適正な露出となるように補正量が算出されてもよい。
【００３３】
また、第２の検波用画像信号１０２から主要被写体が検出された場合には、画像出力用の露光条件の制御値１０４が露光量を減らすように補正される（補正１０５）。このとき、露光条件の制御値１０４の補正量は予め決められた値でもよい。また、例えば、第２の検波用画像信号１０２のヒストグラムにおいて、主要被写体の平均輝度値などの代表輝度値がどの位置にあるかを示す第２の被写体位置情報を少なくとも用いて、主要被写体が適正な露出となるように補正量が算出されてもよい。
【００３４】
さらに、図３に表現されていないが、第１の検波用の露光時間Ｔ１および第２の検波用の露光時間Ｔ２についても、第１の被写体位置情報および第２の被写体位置情報をもとに補正される。
【００３５】
これにより、画像出力用の露光条件をより適正に補正することができる。
【００３６】
なお、画像出力用の露光条件の制御値１０４は、例えば、出力用の画像信号１００の輝度平均値と参照値１０６との比較１０７により得られる差分などをもとに生成される。但し、本技術はこれに限定されない。また、輝度平均値は、フレーム単位の画像信号全体の輝度平均値、あるいは画像中央部分の輝度平均値などであってよい。
【００３７】
次に、本実施形態の撮像装置について、さらに詳細に説明する。
［撮像装置の構成］
【００３８】
図６は、本技術の第１の実施形態である撮像装置１の構成を示すブロック図である。
撮像装置１は、撮像部１１、Ａ／Ｄ変換部１２、検波部１３、画像処理部１４、表示部１５、記録デバイス１６、ＣＰＵ（Central Processing Unit）１７、操作部１８、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）１９、プログラムＲＯＭ（Read-Only Memory）２０およびＲＡＭ（Random Access Memory）２１などで構成される。
【００３９】
撮像部１１は、撮像レンズ４１、４３、絞り４２、および撮像素子４４を備える。撮像レンズ４１、４３は撮像素子４４の撮像面に被写体の像を結像させるレンズ群である。通過する光の量を調整する絞り４２は、撮像レンズ４１、４３のレンズ群の間に配置される。絞り４２は、ＣＰＵ１７がプログラムＲＯＭ２０に格納されたプログラムを実行することによって実現される撮像制御部６１によって図示しない絞り機構を制御することによって調整される。その他、撮像部１１には、フォーカス調整、ズーム調整、その他各種調整用の機構が設けられる。一方、ＣＰＵ１７は、プログラムＲＯＭ２０に格納されたプログラムを実行することによって上記のフォーカス調整、ズーム調整、その他各種調整用の機構を各々制御する制御部（図示せず）として動作する。
【００４０】
撮像素子４４は、撮像レンズ４１、４３および絞り４２を通過して撮像面に結像した光を、光の強度に対応する画素毎のアナログ信号に変換する。撮像素子４４にて得られた画素毎のアナログ信号はＡ／Ｄ変換部１２に供給される。
【００４１】
Ａ／Ｄ変換部１２は、撮像部１１より供給された画素毎のアナログ信号をデジタル信号に変換し、フレーム単位のＲＡＷデータを生成し、検波部１３、画像処理部１４およびＣＰＵ１７の被写体認識部６３に各々供給する。
【００４２】
検波部１３は、Ａ／Ｄ変換部１２より供給されたフレーム毎のＲＡＷデータについて、輝度値毎の画素数を算出し、上記のヒストグラムの情報を生成する。生成されたヒストグラムの情報はＣＰＵ１７の撮像制御部６１および被写体認識部６３に各々供給される。
【００４３】
なお、本技術に係る第１の実施形態の撮像装置１において、検波部１３によってヒストグラムの情報が生成される対象のＲＡＷデータは、図３に示したように、画像出力用の露光条件で撮像された出力用の画像信号１００、第１の検波用の露光時間Ｔ１で撮像された第１の検波用画像信号１０１および第２の検波用の露光時間Ｔ２で撮像された第２の検波用画像信号１０２である。
【００４４】
画像処理部１４は、ＣＰＵ１７がプログラムＲＯＭ２０に格納されたプログラムを実行することによって機能的なモジュールとして構成される記録制御部６２からの指令に従って、上記のフレーム単位のＲＡＷデータに対してホワイトバランス調整、ガンマ補正などの各種調整および補正を含む現像処理を行う。現像処理によって生成された画像データのうち、画像出力用の露光条件で撮像された画像データは表示部１５に供給される。また、この画像データは、記録制御部６２からの指令に従って、記録に適した所定のフォーマットの画像ファイルあるいは動画ファイルに変換され、記録デバイス１６に供給される。記録用のフォーマットとしては、静止画として例えば、ＴＩＦＦ（Tagged Image File Format）、ＪＰＥＧ（Joint Photographic Experts Group）などがある。動画としては例えばＭＰＥＧ（Moving Picture Experts Group）などがある。さらに、現像処理によって生成された画像データのうち、第１の検波用画像信号１０１および第２の検波用画像信号１０２に各々対応する画像データは、ＣＰＵ１７がプログラムＲＯＭ２０に格納されたプログラムを実行することによって機能的なモジュールとして構成される被写体認識部６３にも供給される。
【００４５】
表示部１５は、表示制御部と表示デバイスを有する。表示制御部は、画像処理部１４より供給された画像データを表示デバイスに適した表示データに変換し、表示デバイスに供給する。これにより、画像データがユーザにより視覚可能な状態で出力される。
【００４６】
記録デバイス１６は、着脱自在な記録メディアとメディア書き込み部を有する。メディア書き込み部は、画像処理部１４より供給された所定のフォーマットの画像ファイルや動画ファイルを、着脱自在な記録メディアに書き込む。
【００４７】
ＣＰＵ１７は、プログラムＲＯＭ２０に格納されたプログラムを実行することによって撮像装置１の全体的な制御を行う。またＣＰＵ１７は、プログラムＲＯＭ２０に格納されたプログラムを実行することによって、少なくとも撮像制御部６１、記録制御部６２および被写体認識部６３として機能する。
【００４８】
撮像制御部６１は、撮像部１１の撮像素子４４の制御、絞り４２の制御、その他、フォーカス、ズームなどの制御を行う。撮像制御部６１は、撮像素子４４の制御として、上記の画像出力用の露光に関するスタートタイミング、露光時間、読み出しタイミングなどの制御の他、上記の第１の検波用および第２の検波用各々の露光に関するスタートタイミング、露光時間、読み出しタイミングなどの制御などを行う。
【００４９】
撮像制御部６１は、検波部１３より供給された、画像出力用の露光条件で撮像されたフレーム単位の画像信号に対する検波結果であるヒストグラムの情報をもとに、黒つぶれとなっている画素数（ヒストグラムにおいて下限値の輝度値を有する画素の総数）の、撮像素子４４の有効全画素数における割合が第１の閾値以上であるかどうかを判定する。撮像制御部６１は、その割合が第１の閾値以上である場合には露光量が不足しているとして、画像出力用の露光条件の少なくとも一つである露光時間Ｔ０（図３参照）よりも長い露光時間を第１の検波用の露光時間Ｔ１として次フレームに追加する。
【００５０】
撮像制御部６１は、検波部１３より供給されたヒストグラムの情報をもとに、白とびになっている画素数（ヒストグラムにおいて上限値の輝度値を有する画素の総数）（輝度値がヒストグラムの上限値である画素の総数）の、撮像素子４４の有効全画素数における割合が第２の閾値以上であるかどうかを判定する。撮像制御部６１は、その割合が第２の閾値以上である場合には露光量が過大であるとして、画像出力用の露光条件の少なくとも一つである露光時間Ｔ０よりも短い露光時間を第２の検波用の露光時間Ｔ２として次フレームに追加する。
【００５１】
撮像制御部６１は、後で詳細を説明する被写体認識部６３から通知された第１の被写体位置情報および第２の被写体位置情報をもとに、主要被写体に露出が合うように画像出力用の露光条件の制御値を補正する。
【００５２】
また、撮像制御部６１は、被写体認識部６３より、主要被写体の平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第１の被写体位置情報を取得し、主要被写体の代表輝度値がヒストグラムのＭｉｎ（下限値）の近傍範囲に位置するかどうかを判断する。撮像制御部６１は、主要被写体の代表輝度値がヒストグラムのＭｉｎ（下限値）の近傍範囲に位置することを判断すると、次フレームに追加される第１の検波用の露光時間Ｔ１を、現フレームに追加された第１の検波用の露光時間Ｔ１より例えば一定時間長くする。
【００５３】
すなわち、主要被写体の代表輝度値がヒストグラムのＭｉｎ（下限値）の近傍範囲に位置するということは、主要被写体の像の一部が黒つぶれをおこしている可能性があり、主要被写体の代表輝度値そのものの精度が疑わしい。このような場合、撮像制御部６１は、第１の検波用の露光時間Ｔ１をさらに長くすることによって主要被写体の像における黒つぶれをおこした画素の数を低減させることで、主要被写体の代表輝度値としてより適正な値を得ることができる。
【００５４】
同様に、撮像制御部６１は、被写体認識部６３より、主要被写体の平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第２の被写体位置情報を取得し、主要被写体の代表輝度値がヒストグラムのＭａｘ（上限値）の近傍範囲に位置するかどうかを判断する。撮像制御部６１は、主要被写体の代表輝度値がヒストグラムのＭａｘ（上限値）の近傍範囲に位置することを判断すると、次フレームに追加される第２の検波用の露光時間Ｔ２を、現フレームに追加された第２の検波用の露光時間Ｔ２より例えば一定時間短くする。
【００５５】
これも、主要被写体の代表輝度値がヒストグラムのＭａｘ（上限値）の近傍範囲に位置するということは、主要被写体の像の一部が白とびをおこしている可能性があり、主要被写体の代表輝度値そのものの精度が疑わしいからである。そこで、このような場合、撮像制御部６１は、第２の検波用の露光時間Ｔ２をさらに短くすることによって主要被写体の像における白とびを低減あるいは解消させることで、主要被写体の代表輝度値としてより適正な値を得ることができる。
【００５６】
被写体認識部６３は、第１の検波用の露光時間Ｔ１で撮像された第１の検波用画像信号および第２の検波用の露光時間Ｔ２で撮像された第２の検波用画像信号から主要被写体を検出する。被写体認識部６３は、検波部１３より供給された、第１の検波用画像信号についての検波結果であるヒストグラムの情報を取得し、主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す低輝度側の被写体位置情報である第１の被写体位置情報を撮像制御部６１に供給する。また、被写体認識部６３は、検波部１３より供給された、第２の検波用画像信号についての検波結果であるヒストグラムの情報を取得し、主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す高輝度側の被写体位置情報である第２の被写体位置情報を撮像制御部６１に供給する。
【００５７】
記録制御部６２は、画像処理部１４による現像処理の制御と、画像データを記録用のファイルフォーマットに変換するための制御などを行う。
【００５８】
操作部１８は、撮像者であるユーザからの撮像のための各種の入力を受け付けて、ＣＰＵ１７に、その入力に対応したデータを供給する。操作部１８は、例えば、ボタン、キー、レバー、タッチパネルなどで構成される。
【００５９】
ＥＥＰＲＯＭ１９は、例えば、ユーザより入力された撮像パラメータなどの各種の設定データなどが記憶される書き換え可能なＲＯＭである。
【００６０】
プログラムＲＯＭ２０は、ＣＰＵ１７に実行させるプログラムやその他の固定情報が格納されたＲＯＭである。
【００６１】
ＲＡＭ２１は、ＣＰＵ１７がプログラムに基づいて演算処理を行うための作業領域（メインメモリ）として用いられる。
【００６２】
撮像装置１は、その他の構成として、有線および無線による通信用のインタフェースなどを備えたものであってよい。
なお、以上の構成の説明は、撮像装置１の全ての構成を説明したものではない。
【００６３】
［撮像装置１の動作］
次に、本実施形態の撮像装置１において、主に、検波用の露光を用いて、画像出力用の露光条件の制御値を補正する処理の動作を説明する。
【００６４】
かかる動作の説明は、次の順番で行われる。
１．全体的な動作の流れ
２．第１の検波用の露光時間Ｔ１の追加判定
３．第２の検波用の露光時間Ｔ２の追加判定
４．第１の検波用の露光時間Ｔ１の算定
５．第２の検波用の露光時間Ｔ２の算定
６．画像出力用の露光条件の制御値の補正
７．検波用の露光の停止判断
【００６５】
［１．全体的な動作の流れ］
図７は、本実施形態の撮像装置１の全体的な動作の流れを示すフローチャートである。
【００６６】
まず、撮像制御部６１は、画像出力用の露光条件で撮像された出力用の画像信号をもとに、次フレームに第１の検波用の露光時間Ｔ１を追加すべきかどうかを判定する（ステップＳ１０１）。この処理の詳細については後で図８のフローチャートにより説明する。
【００６７】
次に、撮像制御部６１は、同じく出力用の画像信号をもとに、次フレームに第２の検波用の露光時間Ｔ２を追加すべきかどうかを判定する（ステップＳ１０２）。この処理の詳細については後で図９のフローチャートにより説明する。
なお、ステップＳ１０１とＳ１０２はどちらが先であってもよい。
【００６８】
次に、撮像制御部６１は、次フレームの第１の検波用の露光時間Ｔ１を決定する処理を行う（ステップＳ１０３）。この処理の詳細については後で図１０のフローチャートにより説明する。
【００６９】
次に、撮像制御部６１は、次フレームの第２の検波用の露光時間Ｔ２を決定する処理を行う（ステップＳ１０４）。この処理の詳細については後で図１２のフローチャートにより説明する。
なお、ステップＳ１０３とＳ１０４はどちらが先であってもよい。
【００７０】
次に、撮像制御部６１は、次フレームの画像出力用の露光条件を決定する処理を行う（ステップＳ１０５）。この処理の詳細については後で図１４のフローチャートにより説明する。
【００７１】
最後に、撮像制御部６１は、ステップＳ１０３で決定された第１の検波用の露光時間Ｔ１、ステップＳ１０４で決定された第２の検波用の露光時間Ｔ２、およびステップＳ１０５で決定された画像出力用の露光条件である露光時間Ｔ０などから、第１の検波用の露光時間Ｔ１および第２の検波用の露光時間Ｔ２による検波用の露光を継続するか停止するかを判断する処理を行う（ステップＳ１０６）。この処理の詳細については後で図１５のフローチャートにより説明する。
【００７２】
［２．第１の検波用の露光時間Ｔ１の追加判定］
図８は、第１の検波用の露光時間Ｔ１の追加判定の動作のフローチャートである。
【００７３】
撮像制御部６１は、フレーム単位の出力用の画像信号について、検波部１３より供給されたヒストグラムの情報をもとに、黒つぶれとなっている画素数の、撮像素子４４の有効全画素数における割合が第１の閾値以上であるかどうかを判定する（ステップＳ２０１）。
【００７４】
ここで、黒つぶれとなっている画素数は、輝度値がヒストグラムのＭｉｎ（下限値）である画素の数で代用することとする。
【００７５】
黒つぶれとなっている画素数の、撮像素子４４の有効全画素数における割合が第１の閾値以上である場合、撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が既に追加されているかどうかを判定する（ステップＳ２０２）。
【００７６】
現フレームに第１の検波用の露光時間Ｔ１が追加されていない場合（ステップＳ２０２のＮｏ）、撮像制御部６１は、次フレームに第１の検波用の露光時間Ｔ１を追加することを決定し（ステップＳ２０３）、本動作を終了する。
【００７７】
現フレームに第１の検波用の露光時間Ｔ１が既に追加されている場合（ステップＳ２０２のＹｅｓ）、撮像制御部６１は、次フレームにそのまま第１の検波用の露光時間Ｔ１を追加することを決定する。これで本動作が終了になる。
【００７８】
また、ステップＳ２０１の判定で、黒つぶれとなっている画素数の、撮像素子４４の有効全画素数における割合が第１の閾値未満である場合には（ステップＳ２０１のＮｏ）、撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が既に追加されているかどうかを判定する（ステップＳ２０４）。
【００７９】
現フレームに第１の検波用の露光時間Ｔ１が既に追加されている場合（ステップＳ２０４のＹｅｓ）、撮像制御部６１は、次フレームに第１の検波用の露光時間Ｔ１を追加しないことを決定する（ステップＳ２０５）。これで本動作が終了になる。
【００８０】
ステップＳ２０４で現フレームに第１の検波用の露光時間Ｔ１が追加されていないことが判定された場合は（ステップＳ２０４のＮｏ）、このまま本動作が終了になる。
【００８１】
［３．第２の検波用の露光時間Ｔ２の追加判定］
図９は、第２の検波用の露光時間Ｔ２の追加判定の動作のフローチャートである。
【００８２】
撮像制御部６１は、フレーム単位の出力用の画像信号について、検波部１３より供給されたヒストグラムの情報をもとに、白とびになっている画素数の、撮像素子４４の有効全画素数における割合が第２の閾値以上であるかどうかを判定する（ステップＳ３０１）。
【００８３】
ここで、白とびとなっている画素数は、輝度値がヒストグラムのＭａｘ（上限値）である画素の数で代用することとする。
【００８４】
判定の結果がＹｅｓである場合、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が既に追加されているかどうかを判定する（ステップＳ３０２）。
【００８５】
現フレームに第２の検波用の露光時間Ｔ２が追加されていない場合（ステップＳ３０２のＮｏ）、撮像制御部６１は、次フレームに第２の検波用の露光時間Ｔ２を追加することを決定し（ステップＳ３０３）、本動作を終了する。
【００８６】
現フレームに第２の検波用の露光時間Ｔ２が既に追加されている場合（ステップＳ３０２のＹｅｓ）、撮像制御部６１は、次フレームにそのまま第２の検波用の露光時間Ｔ２を追加することを決定する。これで本動作が終了になる。
【００８７】
また、ステップＳ３０１の判定で、白とびになっている画素数の、撮像素子４４の有効全画素数における割合が第２の閾値未満である場合には（ステップＳ３０１のＮｏ）、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が既に設定されているかどうかを判定する（ステップＳ３０４）。
【００８８】
現フレームに第２の検波用の露光時間Ｔ２が既に追加されている場合（ステップＳ３０４のＹｅｓ）、撮像制御部６１は、次フレームに第２の検波用の露光時間Ｔ２を追加しないことを決定する（ステップＳ３０５）。これで本動作が終了になる。
【００８９】
ステップＳ３０４で現フレームに第２の検波用の露光時間Ｔ２が追加されていないことが判定された場合は（ステップＳ３０４のＮｏ）、このまま本動作が終了になる。
【００９０】
［４．第１の検波用の露光時間Ｔ１の算定］
図１０は、第１の検波用の露光時間Ｔ１の算定動作のフローチャートである。
【００９１】
まず、撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が追加されているかどうかを判定する（ステップＳ４０１）。第１の検波用の露光時間Ｔ１が追加されていない場合（ステップＳ４０１のＮｏ）、撮像制御部６１は、上記の２．第１の検波用の露光時間Ｔ１の追加判定によって、次フレームに第１の検波用の露光時間Ｔ１を追加することが決められているかどうかを判断する（ステップＳ４０２）。
【００９２】
次フレームに第１の検波用の露光時間Ｔ１が追加されることが決められている場合（ステップＳ４０２のＹｅｓ）、撮像制御部６１は、その第１の検波用の露光時間Ｔ１として基準の時間を設定する（ステップＳ４０３）。そして本動作を終了する。
【００９３】
なお、ここでの基準の時間とは、例えば、現フレームの画像出力用の露光条件に基づく露光時間Ｔ０を例えば一定時間分長くした時間など、少なくとも現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも長い時間である。
【００９４】
次フレームに第１の検波用の露光時間Ｔ１が追加されない場合（ステップＳ４０２のＮｏ）は、このまま本動作が終了となる。
【００９５】
また、ステップＳ４０１で、現フレームに第１の検波用の露光時間Ｔ１が既に追加されていることが判定された場合（ステップＳ４０１のＹｅｓ）、撮像制御部６１は被写体認識部６３に主要被写体の検出を依頼する。
【００９６】
被写体認識部６３は、この依頼を受けると、第１の検波用の露光時間Ｔ１で撮像された第１の検波用画像信号から主要被写体を検出する。また、被写体認識部６３は、検波部１３より、第１の検波用画像信号に対するヒストグラムの情報を取得し、検出した主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第１の被写体位置情報を生成して撮像制御部６１に供給する。なお、代表輝度値は、主要被写体の平均輝度値の他、画素数最大の輝度値であってもよい。
【００９７】
被写体認識部６３にて主要被写体が検出されない場合もある。この場合には、例えば、低輝度側被写体位置の検出エラーが撮像制御部６１に通知される。
【００９８】
被写体認識部６３が主要被写体の検出に成功し、第１の被写体位置情報が撮像制御部６１に与えられた場合の動作を次に説明する。
【００９９】
撮像制御部６１は、被写体認識部６３より与えられた第１の被写体位置情報をもとに、例えば、図１１に示すように、主要被写体の代表輝度値Ａ１が、例えば、ヒストグラム（検出可能な輝度値の範囲）のＭｉｎ（下限値）の近傍範囲にあるかどうかを判定する（ステップＳ４０４）。
【０１００】
主要被写体の代表輝度値Ａ１がヒストグラムのＭｉｎ（下限値）の近傍範囲にある場合（ステップＳ４０４のＹｅｓ）、撮像制御部６１は、次フレームの第１の検波用の露光時間Ｔ１を、現フレームに追加されている第１の検波用の露光時間Ｔ１（基準時間）より例えば一定時間だけ長い時間（Ｔ１＋α）に変更する（ステップＳ４０５）。
【０１０１】
これにより、図１１に示すように、次フレームの第１の検波用画像信号の輝度値の範囲は、現フレームの第１の検波用画像信号の輝度値の範囲を全体的に低輝度側に延長時間αの相当分だけシフトさせたものとなるので、主要被写体の平均輝度値や画素数最大の輝度値などの代表輝度値Ａ１の判定精度が向上し、画像出力用の露光条件の制御値の補正精度が向上する。
【０１０２】
また、ステップＳ４０４で、主要被写体の代表輝度値Ａ１がヒストグラムのＭｉｎ（下限値）の近傍範囲よりも高輝度側にある場合には（ステップＳ４０４のＮｏ）、撮像制御部６１は、次フレームの第１の検波用の露光時間Ｔ１として、上記の基準の時間（現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも一定時間長い時間）をそのまま設定する（ステップＳ４０３）。そして本動作を終了する。
【０１０３】
［５．第２の検波用の露光時間Ｔ２の算定］
図１２は、第２の検波用の露光時間Ｔ２の算定動作のフローチャートである。
【０１０４】
まず、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が追加されているかどうかを判定する（ステップＳ５０１）。第２の検波用の露光時間Ｔ２が追加されていない場合（ステップＳ５０１のＮｏ）、撮像制御部６１は、上記の３．第２の検波用の露光時間Ｔ２の追加判定によって、次フレームに第２の検波用の露光時間Ｔ２を追加することが決められているかどうかを判断する（ステップＳ５０２）。
【０１０５】
次フレームに第２の検波用の露光時間Ｔ２が追加されることが決められている場合（ステップＳ５０２のＹｅｓ）、撮像制御部６１は、その第２の検波用の露光時間Ｔ２として、基準の時間を設定する（ステップＳ５０３）。そして本動作を終了する。
【０１０６】
なお、ここでの基準の時間とは、例えば、現フレームの画像出力用の露光条件に基づく露光時間Ｔ０を例えば一定時間分短くした時間など、少なくとも現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも短い時間である。
【０１０７】
次フレームに第２の検波用の露光時間Ｔ２が追加されない場合（ステップＳ５０２のＮｏ）は、このまま本動作が終了となる。
【０１０８】
また、ステップＳ５０１で、現フレームに第２の検波用の露光時間Ｔ２が既に追加されていることが判定された場合（ステップＳ５０１のＹｅｓ）、撮像制御部６１は被写体認識部６３に主要被写体の検出を依頼する。
【０１０９】
被写体認識部６３は、この依頼を受けると、第２の検波用の露光時間Ｔ２で撮像された第２の検波用画像信号から主要被写体を検出する。被写体認識部６３は、検波部１３より、第２の検波用画像信号に対するヒストグラムの情報を取得し、検出した主要被写体の例えば平均輝度値などの代表輝度値がヒストグラムのどの位置にあるかを示す第２の被写体位置情報を生成して撮像制御部６１に供給する。なお、この場合も、代表輝度値は、主要被写体の平均輝度値の他、画素数最大の輝度値であってもよい。
【０１１０】
被写体認識部６３において、主要被写体が検出されない場合には、例えば、高輝度側被写体位置の検出エラーが撮像制御部６１に通知される。
【０１１１】
被写体認識部６３が主要被写体の検出に成功し、第２の被写体位置情報が撮像制御部６１に与えられた場合の動作を次に説明する。
【０１１２】
撮像制御部６１は、被写体認識部６３より与えられた第２の被写体位置情報をもとに、例えば、図１３に示すように、主要被写体の代表輝度値Ｂ１が、例えば、ヒストグラムのＭａｘ（上限値）の近傍範囲にあるかどうかを判定する（ステップＳ５０４）。
【０１１３】
主要被写体の代表輝度値Ｂ１がヒストグラムのＭａｘ（上限値）の近傍範囲にある場合（ステップＳ５０４のＹｅｓ）、撮像制御部６１は、次フレームの第２の検波用の露光時間Ｔ２を、現フレームに追加されている第２の検波用の露光時間Ｔ２（基準時間）より例えば一定時間だけ短い時間（露光時間Ｔ２−β）に変更する（ステップＳ５０５）。
【０１１４】
これにより、図１３に示すように、次フレームの第２の検波用画像信号の輝度値の範囲は、現フレームの第２の検波用画像信号の輝度値の範囲を全体的に高輝度側に短縮時間βの相当分だけシフトさせたものとなるので、主要被写体の平均輝度値や画素数最大の輝度値などの代表輝度値Ｂ１の判定精度が向上し、画像出力用の露光条件の制御値の補正の精度が向上する。
【０１１５】
また、ステップＳ５０４で、主要被写体の代表輝度値Ｂ１がヒストグラムのＭａｘ（上限値）の近傍範囲よりも低輝度側にある場合には（ステップＳ５０４のＮｏ）、撮像制御部６１は、次フレームの第２の検波用の露光時間Ｔ２として、上記の基準の時間（現フレームの画像出力用の露光条件に基づく露光時間Ｔ０よりも一定時間短い時間）をそのまま設定する（ステップＳ５０３）。そして本動作を終了する。
【０１１６】
［６．画像出力用の露光条件の制御値の補正］
図１４は、画像出力用の露光条件の制御値の補正に関するフローチャートである。
なお、この動作では、輝度値の差が大きい画像信号について黒つぶれと白とびが同時に発生した場合に、低輝度側への補正と高輝度側への補正との間で優先度を求めるための処理が別途行われる。この処理については後で説明する。
【０１１７】
撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が既に追加されているかどうかを判定する（ステップＳ６０１）。
【０１１８】
現フレームに第１の検波用の露光時間Ｔ１が既に追加されている場合（ステップＳ６０１のＹｅｓ）、撮像制御部６１は、被写体認識部６３からの第１の被写体位置情報の供給の有無を判断する（ステップＳ６０２）。第１の被写体位置情報が供給されたなら（ステップＳ６０２のＹｅｓ）、撮像制御部６１は、この第１の被写体位置情報をもとに、画像出力用の露光条件の制御値を補正するための第１の補正情報を算出する（ステップＳ６０３）。
【０１１９】
撮像制御部６１は、現フレームに第１の検波用の露光時間Ｔ１が追加されていないことを判断した場合（ステップＳ６０１のＮｏ）、または、被写体認識部６３より第１の被写体位置情報の検出エラーの通知を受けた場合には（ステップＳ６０２のＮｏ）、ステップＳ６０３の第１の補正情報の算出をスキップして次のステップＳ６０４に移行する。
【０１２０】
ステップＳ６０４で、撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が既に追加されているかどうかを判定する（ステップＳ６０４）。
【０１２１】
現フレームに第２の検波用の露光時間Ｔ２が既に追加されている場合（ステップＳ６０４のＹｅｓ）、撮像制御部６１は、被写体認識部６３からの第２の被写体位置情報の供給の有無を判断する（ステップＳ６０５、第２の被写体位置情報が供給されたなら（ステップＳ６０５のＹｅｓ）、撮像制御部６１は、この第２の被写体位置情報をもとに、画像出力用の露光条件の制御値を補正するための第２の補正情報を算出する（ステップＳ６０６）。
【０１２２】
撮像制御部６１は、現フレームに第２の検波用の露光時間Ｔ２が追加されていないことを判断した場合（ステップＳ６０４のＮｏ）、または、被写体認識部６３より第２の被写体位置情報の検出エラーの通知を受けた場合（ステップＳ６０５のＮｏ）、第２の補正情報の算出をスキップして次のステップＳ６０７に移行する。
【０１２３】
ステップＳ６０７では、ここまでの処理の結果から、次フレームの画像出力用の露光条件の制御値を補正するための最終的な補正情報を決定する処理が行われる（ステップＳ６０７）。
【０１２４】
例えば、第１の補正情報が得られ、第２の補正情報が得られなかった場合には、第１の補正情報が最終的な補正情報として決定される。逆に第２の補正情報が得られ、第１の補正情報が得られなかった場合には、第２の補正情報が最終的な補正情報として決定される。第１の補正情報と第２の補正情報が得られなかった場合には最終的な補正情報は無しとされる。第１の補正情報と第２の補正情報の両方が得られた場合、別の観点から、どちらの補正情報を採用することかが決定される。
【０１２５】
第１の補正情報と第２の補正情報の両方が得られた場合にどちらの補正情報を採用するかを決定する方法には、例えば以下がある。
【０１２６】
１．撮像制御部６１は、被写体認識部６３にて検出された主要被写体の種類に応じて、優先度の高い種類の主要被写体が検出された方の補正情報を採用する。例えば、低輝度側である第１の検波用画像信号から人の顔が検出され、高輝度側である第２の検波用画像信号から乗り物が検出された場合には第１の補正情報を採用する。主要被写体の各種類の優先度の上下関係は予め設定されていてもよいし、それをユーザが自由に変更できるようにしてもよい。低輝度側と高輝度側の両方の検波用画像信号から同じ種類の主要被写体が検出された場合には、撮像制御部６１は、例えば、各々の主要被写体が占める領域の割合が大きい方を採用する。
【０１２７】
２．撮像制御部６１は、基準情報とのマッチングに基づく主要被写体の認識結果において主要被写体の基準情報との一致度のスコアが高い方を優先する。例えば、低輝度側である第１の検波用画像信号から主要被写体が検出されたときのスコアが"８１"、高輝度側である第２の検波用画像信号から主要被写体が検出されたときのスコアが"９０"の場合には、撮像制御部６１はスコアの高い第２の補正情報を採用する。ここで、低輝度側である第１の検波用画像信号から検出された主要被写体の種類と、高輝度側である第２の検波用画像信号から検出された主要被写体の種類は異なっていてもよい。
【０１２８】
３．上記の１と２の方法を組み合せてもよい。この場合、主要被写体の種類に応じてスコアに対する重みが予めユーザなどにより設定される。ここで、人の顔の重みが"１．４"、乗り物の重みが"１．１"として与えられている場合を想定する。低輝度側である第１の検波用画像信号から人の顔が検出されたときのスコアが"８１"、高輝度側である第２の検波用画像信号から乗り物が検出されたときのスコアが"９０"の場合、
人の顔に対する最終スコア＝８１×１．４＝１１３．４
乗り物に対する最終スコア＝９０×１．１＝９９
となる。
【０１２９】
この例では、最終スコアが高い方は人の顔であるから、撮像制御部６１は、第２の補正情報を最終的な補正情報として決定する。
【０１３０】
４．その他にも様々な方法がある。
【０１３１】
［７．検波用の露光の停止判断］
画像出力用の露光条件の制御値の補正により露光時間Ｔ０を増大させて行くと、露光時間を１フレーム期間から差し引いた残り時間が短くなる。このため、フレーム期間内の残り時間に検波用の露光時間が入りきらない状況が起こる可能性がある。このような場合、無意味な検波用の露光が行われることとなり、ＣＰＵ１７の負担が無駄に増大するだけである。
【０１３２】
そこで、本実施形態では、次のような検波用の露光の停止判断を行うこととしている。
図１５は、このような検波用の露光の停止判断に関するフローチャートである。
【０１３３】
撮像制御部６１は、図７のステップＳ１０３およびステップＳ１０４において次フレームに追加すべき検波用の露光時間（Ｔ１およびＴ２の少なくともいずれか一方）が求められているかどうかを確認する（ステップＳ７０１）。検波用の露光時間が求められていない場合（ステップＳ７０１のＮｏ）、つまり次フレームで検波用の露光が実施されない場合には本動作は終了となる。
【０１３４】
検波用の露光時間が得られている場合（ステップＳ７０１のＹｅｓ）、この検波用の露光時間が１フレームの時間から次フレームの画像出力用の露光時間Ｔ０を差し引いた残り時間よりも長いかどうかを判定する（ステップＳ７０２）。
【０１３５】
ここで、評価される検波用の露光時間とは、第１の検波用の露光時間Ｔ１および第２の検波用の露光時間Ｔ２のうち次フレームに追加される予定の検波用の露光時間である。例えば、第１の検波用の露光時間Ｔ１と第２の検波用の露光時間Ｔ２の両方が求められている場合は、Ｔ１＋Ｔ２の時間が、評価される検波用の露光時間となる。一方のみが追加される場合には、その追加される側の検波用の露光時間のみが評価の対象となる。
【０１３６】
この判定で、検波用の露光時間がフレームの残り時間より長くない場合は（ステップＳ７０２のＮｏ）、本動作は終了となる。
【０１３７】
検波用の露光時間がフレームの残り時間よりも長い場合（ステップＳ７０２のＹｅｓ）、撮像制御部６１は、次フレームでの検波用の露光時間の追加を無効にする。つまり、次フレームでの検波用の露光を停止させる（ステップＳ７０３）。これで本動作は終了となる。
【０１３８】
以上のような検波用の露光の停止判断を採用することによって、無意味な検波用の露光が行われなくなり、ＣＰＵ１７の負担が無駄に増大することがなくなる。
【０１３９】
＜変形例１＞
ＣＰＵ１７は、画像出力用の露光条件で撮像された出力用の画像信号と、第１の検波用画像信号および／または第２の検波用画像信号から検波部１３によって各々の生成されたヒストグラムの情報を統合して表示部１５に視覚化して表示させる。
【０１４０】
図１６は、画像出力用の露光条件で撮像された画像信号と第１の検波用画像信号から生成された各々のヒストグラムを連続的に統合して表示させた形態を示す図である。
【０１４１】
この例は、横軸に輝度値、縦軸に画素数を各々割り当てられた座標空間においてヒストグラムを表現した例である。輝度値のＭｉｎ（下限値）からＭａｘ（上限値）は現在の画像出力用の露光条件に基づく輝度値の範囲を示している。すなわち、この輝度値の範囲において実線は、現在の画像出力用の露光条件で撮像された画像信号のヒストグラム（以後これを「画像出力用ヒストグラムｈ１」と呼ぶ。）である。
【０１４２】
この例では、画像出力用ヒストグラムｈ１に、低輝度側の第１の検波用画像信号から生成されたヒストグラム（以後これを「第１の検波用ヒストグラム」と呼ぶ。）の一部が連続的に統合して表示される。輝度値の範囲から低輝度側に外に延びた点線は、第１の検波用ヒストグラムから抽出された部分の検波用ヒストグラムｈ２を示している。
【０１４３】
このような表示を実現するために、ＣＰＵ１７は、検波部１３より取得した画像出力用ヒストグラムの情報と第１の検波用ヒストグラムの情報とを比較して両ヒストグラムの輝度軸方向のずれ量を算出する。ＣＰＵ１７は、このずれ量をもとに、第１の検波用ヒストグラムから、画像出力用ヒストグラムｈ１のＭｉｎ（下限値）より低輝度側の部分に相当する検波用ヒストグラムｈ２を抽出し、画像出力用ヒストグラムｈ１の低輝度側に、点線などによって識別可能な形態で表示させる。
【０１４４】
これにより、ユーザは、表示部に表示されたヒストグラムを見て、例えば、マニュアル調整などによって露出を合せることができる。なお、露出が適正に調整されたなら、点線などによる第１の検波用ヒストグラムの表示がなくなるので、ユーザは露出の調整が適正に完了したことを知ることができる。
【０１４５】
なお、ここでは、低輝度側の第１の検波用画像信号から生成された第１の検波用ヒストグラムの表示について説明したが、高輝度側の第２の検波用画像信号から生成された第２の検波用ヒストグラムの表示も同様に行われる。
【０１４６】
＜変形例２＞
以上の説明では、フレーム毎に、検波用の露光を行い、画像出力用の露光条件の制御値を補正することとしたが、例えば、Ｎフレームに１回の周期で、検波および制御値の補正を行うようにしてもよい。ここでＮは１以上の整数である。その他、所定の単位時間毎に行うようにしてもよい。
【０１４７】
なお、本技術は以下のような構成もとることができる。
【０１４８】
（１）撮像素子を有する撮像部と、
単位時間毎に、画像出力用の露光時間を含む露光条件で前記撮像素子を露光させて出力用の画像信号を生成させ、この出力用の画像信号をもとに前記露光条件の制御値を算出し、
前記単位時間に、前記画像出力用の露光時間より長い第１の検波用の露光時間および前記画像出力用の露光時間より短い第２の検波用の露光時間のうち少なくともいずれか一方を追加して検波用画像信号を生成させ、この検波用画像信号をもとに前記制御値を補正する制御部と
を具備する撮像装置。
【０１４９】
（２）上記（１）に記載の撮像装置であって、
前記制御部は、
前記出力用の画像信号において、前記撮像素子のダイナミックレンジの下限値に相当する輝度値を有する画素の数が全体において占める割合が第１の閾値以上であるとき、前記第１の検波用の露光時間を追加し、前記撮像素子のダイナミックレンジの上限値に相当する輝度値を有する画素の数が前記撮像素子の有効画素全体において占める割合が第２の閾値以上であるとき、前記第２の検波用の露光時間を追加するように構成された
撮像装置。
【０１５０】
（３）上記（１）または（２）の撮像装置であって、
前記制御部は、
前記第１の検波用の露光時間および前記第２の検波用の露光時間の少なくとも一方で撮像された前記検波用画像信号から主要被写体を検出し、
前記第１の検波用の露光時間で撮像された第１の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を増やすように補正し、
前記第２の検波用の露光時間で撮像された第２の検波用画像信号から前記主要被写体が検出された場合には前記制御値を露光量を減らすように補正するように構成された
撮像装置。
【０１５１】
（４）上記（３）に記載の撮像装置であって、
前記検波用画像信号から輝度値毎の画素数を示すヒストグラムの情報を生成する検波部をさらに有し、
前記制御部は、
前記主要被写体の代表的な輝度値の前記ヒストグラムにおける位置情報を算出し、この位置情報をもとに前記制御値を補正するように構成された
撮像装置。
【０１５２】
（５）上記（３）または（４）に記載の撮像装置であって、
前記制御部は、
前記第１の検波用画像信号および前記第２の検波用画像信号の両方から前記主要被写体が検出された場合、前記主要被写体の検出結果を比較し、この比較結果をもとに一方の前記主要被写体について算出された前記位置情報を選択し、この位置情報をもとに前記制御値を補正するように構成された
撮像装置。
【０１５３】
（６）上記（３）ないし（５）のいずれかに記載の撮像装置であって、
前記制御部は、
前記第１の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける下限値の近傍範囲にあるとき、前記第１の検波用の露光時間を延長し、
前記第２の検波用画像信号から検出された前記主要被写体の代表的な輝度値が、前記ヒストグラムにおける上限値の近傍範囲にあるとき、前記第２の検波用の露光時間を短縮するように構成された
撮像装置。
【０１５４】
（７）上記（１）ないし（６）のいずれかに記載の撮像装置であって、
前記制御部は、
前記第１の検波用の露光時間および前記第２の検波用の露光時間が、前記単位時間から前記画像出力用の露光時間を差し引いた残り時間よりも長い場合には、前記第１の検波用の露光時間および前記第２の検波用の露光時間の追加を停止するように構成された
撮像装置。
【０１５５】
（８）上記（４）ないし（７）のいずれかに記載の撮像装置であって、
前記制御部は、前記ヒストグラムの情報を視覚化した表示データを生成し、表示部に表示させるように構成された
撮像装置。
【符号の説明】
【０１５６】
１…撮像装置
１１…撮像部
１２…Ａ／Ｄ変換部
１３…検波部
１４…画像処理部
１５…表示部
１６…記録デバイス
１７…ＣＰＵ
１８…操作部
２０…プログラムＲＯＭ
２１…ＲＡＭ
４１、４３…撮像レンズ
４４…撮像素子
６１…撮像制御部
６２…記録制御部
６３…被写体認識部
【図１】
2016006930.tif 000003
【図２】
2016006930.tif 000004
【図３】
2016006930.tif 000005
【図４】
2016006930.tif 000006
【図５】
2016006930.tif 000007
【図６】
2016006930.tif 000008
【図７】
2016006930.tif 000009
【図８】
2016006930.tif 000010
【図９】
2016006930.tif 000011
【図１０】
2016006930.tif 000012
【図１１】
2016006930.tif 000013
【図１２】
2016006930.tif 000014
【図１３】
2016006930.tif 000015
【図１４】
2016006930.tif 000016
【図１５】
2016006930.tif 000017
【図１６】
2016006930.tif 000018