(57)【特許請求の範囲】
【請求項１】
被写体を撮像可能な撮像素子から、該撮像素子にて各フレーム期間において異なる複数
の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを
取得する合成用画像データ取得手段と、
前記合成用画像データ取得手段で取得した前記２以上の画像データを露光時間の比率に
基づき線形合成して合成画像データを生成する合成画像データ生成手段と、
前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データ
である短露光画像データを取得する色測定用画像データ取得手段と、
前記色測定用画像データ取得手段で取得した短露光画像データから短露光画像の色に係
る情報である色情報を抽出する色情報抽出手段と、
前記色情報抽出手段で抽出した色情報に基づき、前記被写体を撮像時の光源に係る情報
を推定する光源情報推定手段と、
前記光源情報推定手段の推定結果に基づき、ホワイトバランスの調整に用いるゲインを
設定するゲイン設定手段と、
前記ゲイン設定手段で設定したゲインを用いて、当該ゲインの設定に係る前記短露光画
像データと同じフレーム期間の前記２以上の画像データを合成して生成される合成画像デ
ータのホワイトバランスの調整を行うホワイトバランス調整手段と、を備え、
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を
読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間に
おいて露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共
に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番
に各露光時間に対応する画像データを構成する画素信号のデータを出力するようになって
おり、
前記合成用画像データ取得手段は、前記撮像素子から、各フレーム期間における最長の
露光時間に対応する画像データを含む２以上の画像データを取得し、
前記合成画像データ生成手段は、前記最長の露光時間に対応する画像データを含む２以
上の画像データに基づき合成画像データを生成し、
前記色測定用画像データ取得手段は、前記撮像素子から、前記合成用画像データ取得手
段が前記各フレーム期間における最長の露光時間に対応する画像データを取得するよりも
先行して前記短露光画像データを取得し、
前記色情報抽出手段は、前記先行して取得した短露光画像データから前記色情報を抽出
し、
前記光源情報推定手段は、前記先行して取得した短露光画像データから抽出された色情
報に基づき光源に係る情報を推定し、
前記ゲイン設定手段は、前記先行して取得した短露光画像データから抽出された色情報
に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲインを
設定し、
前記ホワイトバランス調整手段は、前記ゲイン設定手段で設定されたゲインを用いて、
該ゲインの設定に係る短露光画像データと同じフレーム期間の前記２以上の画像データに
基づき前記合成画像データ生成手段にて生成された合成画像データのホワイトバランスを
調整することを特徴とする画像処理装置。
【請求項２】
前記光源情報推定手段は、前記光源に係る情報として、光源の種類を推定することを特
徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光源情報推定手段は、前記色情報の示す各指標値と該各指標値に対応する光源の種
類と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽出
された色情報に対応する光源の種類を推定し、
前記ゲイン設定手段は、光源の種類と該光源の各種類に対応する前記ゲインとを対応付
けた情報が登録されたデータベースに基づき、前記光源情報推定手段で推定された光源の
種類に対応するゲインを設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記光源情報推定手段において光源の種類が推定できなかったときは、前記ホワイトバ
ランスの調整を実施しないことを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記光源情報推定手段は、前記光源に係る情報として、光源の色温度を推定することを
特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記光源情報推定手段は、前記色情報の示す各指標値と該各指標値に対応する光源の色
温度と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽
出された色情報に対応する光源の色温度を推定し、
前記ゲイン設定手段は、光源の色温度と前記ゲインとを対応付けた情報が登録されたデ
ータベースに基づき、前記光源情報推定手段で推定された光源の色温度に対応するゲイン
を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記短露光画像データの露光時間を、前記被写体として含まれる光源又は光源の鏡面反
射光に対する画素信号のデータを出力できる最短の時間に設定したことを特徴とする請求
項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記色情報抽出手段で抽出した色情報を記憶する色情報記憶手段を備えることを特徴と
する請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記ホワイトバランス調整手段でホワイトバランスを調整後の合成画像データの輝度を
変換して階調特性の異なる合成画像データを生成する画像変換手段を備えることを特徴と
する請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
被写体を撮像可能な撮像素子から、該撮像素子にて各フレーム期間において異なる複数
の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを
取得する合成用画像データ取得ステップと、
前記合成用画像データ取得ステップにおいて取得した前記２以上の画像データを露光時
間の比率に基づき線形合成して合成画像データを生成する合成画像データ生成ステップと、
前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データ
である短露光画像データを取得する色測定用画像データ取得ステップと、
前記色測定用画像データ取得ステップにおいて取得した短露光画像データから色情報を
抽出する色情報抽出ステップと、
前記色情報抽出ステップにおいて抽出した色情報に基づき、前記被写体を撮像時の光源
に係る情報を推定する光源情報推定ステップと、
前記光源情報推定ステップにおける推定結果に基づき、ホワイトバランスの調整に用い
るゲインを設定するゲイン設定ステップと、
前記ゲイン設定ステップにおいて設定したゲインを用いて、当該ゲインの設定に係る前
記短露光画像データと同じフレーム期間の前記２以上の画像データを合成して生成される
合成画像データのホワイトバランスの調整を行うホワイトバランス調整ステップと、を含
み、
前記色測定用画像データ取得ステップでは、前記撮像素子が、各画素から蓄積電荷を維
持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読
み出すことが可能であり、各フレーム期間において露光時間の短い方から順に前記異なる
複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し
方式で画素信号を読み出し、読み出した順番に各露光時間に対応する画像データを構成す
る画素信号のデータを出力するようになっており、
前記合成用画像データ取得ステップでは、前記撮像素子から、各フレーム期間における
最長の露光時間に対応する画像データを含む２以上の画像データを取得し、
前記合成画像データ生成ステップでは、前記最長の露光時間に対応する画像データを含
む２以上の画像データに基づき合成画像データを生成し、
前記色測定用画像データ取得ステップでは、前記撮像素子から、前記合成用画像データ
取得ステップが前記各フレーム期間における最長の露光時間に対応する画像データを取得
するよりも先行して前記短露光画像データを取得し、
前記色情報抽出ステップでは、前記先行して取得した短露光画像データから前記色情報
を抽出し、
前記光源情報推定ステップでは、前記先行して取得した短露光画像データから抽出され
た色情報に基づき光源に係る情報を推定し、
前記ゲイン設定ステップでは、前記先行して取得した短露光画像データから抽出された
色情報に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲ
インを設定し、
前記ホワイトバランス調整ステップでは、前記ゲイン設定ステップで設定されたゲインを用いて、該ゲインの設定に係る短露光画像データと同じフレーム期間の前記２以上の画像データに基づき前記合成画像データ生成ステップにて生成された合成画像データのホワイトバランスを調整すること
を特徴とする画像処理方法。
【請求項１１】
被写体を撮像可能な撮像素子と、
請求項１乃至請求項９のいずれか１項に記載の画像処理装置と、を備えることを特徴
とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる露光時間で撮像して得られる２以上の画像データを線形合成した合成画像データのホワイトバランスを調整する技術に関する。
【背景技術】
【０００２】
電子カメラは撮像素子のダイナミックレンジ（以下、Ｄレンジと称す）が狭い為、露出制御やホワイトバランスの調整を行う。露出制御においては撮像素子のＤレンジに入るように、電子シャッター速度や絞りにより撮像素子に入力される光量を調整する（例えば、特許文献１参照）。また、ホワイトバランスの調整を自動で行うオートホワイトバランス（ＡＷＢ）の機能を有している。
【０００３】
一方、露出制御が行われ、適正な画像信号が得られた状態であっても、被写体のコントラスト比が高いと、輝度値の高い領域は飽和画素となる。カラーフィルターを搭載したカラー撮像素子においては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかの色の画素がＤレンジを超えて飽和してしまうと、カラーバランスが崩れ、画像の色調が不自然になってしまう。
ＡＷＢ機能は、これを防ぐための技術であり、例えば、図１５のように、ビデオ信号から未飽和で彩度の低い画素のデータを抽出し、それに基づき測光を行って被写体を照射する光源の色温度を推定する。次に、推定した色温度に基づいてＲ、Ｂのレベルを補正するゲインを算出して、算出したゲインをＲ、Ｂのデータに乗算することで、色調が自然になるように調整する（例えば、特許文献２、特許文献３参照）。
【０００４】
このように、ＡＷＢ機能は、カメラ撮像画像をモニターしながら、このモニター画像が自然な発色になるように制御を行うクローズドループ制御となる（Ｒ、Ｇ、Ｂのゲインを変更しつつ、評価値が予め設定された数値の範囲になるようにゲイン値を収束させる）。
なお、特許文献４には、ＡＷＢ機能と人の見え方に関して言及されている。具体的に、ＡＷＢの動作は、人間の脳がもつ働き（視覚特性）を模倣している、と言われている。人間は、全体画像の中で、特に高輝度領域に着目して光源の色温度を推定し、その色温度に基づいて画像全体に対して補正をかけている、と類推できる。特筆すべきは、低Ｄレンジのカメラでは、輝度の高い部分が飽和してしまうため、その領域が白くなる、もしくは色情報が損なわれるので、人が持つ視覚特性によるＡＷＢの能力を使えないことである。言い換えると、カメラで撮像した画像は、物理量としては正しいが、人がカメラからの画像を見たとき、光源の色温度を推定できないので、色調に不自然さを感じる、と言う解釈が出来る。
【０００５】
また、Ｄレンジの広い撮影画像を得ることが可能なカメラとしてＨＤＲカメラが存在する。これは、撮像素子のＤレンジの狭さを補う為、例えば露光時間の異なる画像を複数枚撮像し、それらを合成することで、ダイナミックレンジを拡大したＨＤＲ画像を生成する（特許文献５参照）。ＨＤＲカメラは、飽和画素がないので、光学的な物理量をある程度正確に捉えて画像出力することが出来る。もし、広角ＨＤＲカメラで出力画像に光源情報が含まれていれば、ＨＤＲ画像から、人間の視覚特性によるＡＷＢの能力を正常に機能させることが出来、色調に不自然さを感じさせないという特徴を有する。また、光源情報が無くても、広角ＨＤＲカメラの撮像画像の中に、空、雲、木々の緑などの記憶色があり、それが再現されていれば、視覚特性による補正が機能する。
【０００６】
仮に、最も長い時間で露光した場合の露光量を長時間露光量Ｓ３とし、最も短い露光時間で露光した場合の露光量を短時間露光量Ｓ１とし、これらの中間の露光時間で露光した場合の露光量を中時間露光量Ｓ２とする。ＨＤＲカメラは、Ｓ３とＳ１の比を大きくするほど、そのダイナミックレンジを大きくすることができる。また、ＨＤＲカメラからの出力画像の画質（Ｓ／Ｎ）は、中間の露光時間で撮像した画像の枚数を増やすほど良くなることが知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２４４５３８号公報
【特許文献２】特開平５−１２２７１９号公報
【特許文献３】特開平７−１４３４９７号公報
【特許文献４】特開２００６−３１９８３０号公報
【特許文献５】特開２００９−４９５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のように、広角ＨＤＲカメラからの画像は、人の目の視覚特性（ＡＷＢ）が正常に機能することから、自然なカラー画像出力と認識することができる。しかしながら、例えば、極端な色温度の光源で撮影した画像を、撮影者以外の人が見たとき、つまり、撮像画像中に記憶色がないような場合に、視覚特性がうまく働かずに撮影環境の色温度を推定できないことが考えられる。例えば、トンネル内におけるナトリウムランプでは、オレンジ色を帯びるし、水銀灯では青白い色を帯びる。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、異なる露光時間で撮像して得られる２以上の画像データを線形合成した合成画像データのホワイトバランスを調整するのに好適な画像処理装置、画像処理方法及び撮像装置を提供できる。
【課題を解決するための手段】
【０００９】
〔形態１〕  上記目的を達成するために、形態１の画像処理装置は、
被写体を撮像可能な撮像素子から、該撮像素子にて各フレーム期間において異なる複数
の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを
取得する合成用画像データ取得手段と、前記合成用画像データ取得手段で取得した前記２以上の画像データを露光時間の比率に基づき線形合成して合成画像データを生成する合成画像データ生成手段と、前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データである短露光画像データを取得する色測定用画像データ取得手段と、
前記色測定用画像データ取得手段で取得した短露光画像データから色情報を抽出する色
情報抽出手段と、前記色情報抽出手段で抽出した色情報に基づき、前記被写体を撮像時の光源に係る情報を推定する光源情報推定手段と、前記光源情報推定手段の推定結果に基づき、ホワイトバランスの調整に用いるゲインを設定するゲイン設定手段と、前記ゲイン設定手段で設定したゲインを用いて、当該ゲインの設定に係る前記短露光画像データと同じフレーム期間の前記２以上の画像データを合成して生成される合成画像データのホワイトバランスの調整を行うホワイトバランス調整手段と、を備え、
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を
読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間に
おいて露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共
に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番
に各露光時間に対応する画像データを構成する画素信号のデータを出力するようになって
おり、前記合成用画像データ取得手段は、前記撮像素子から、各フレーム期間における最長の露光時間に対応する画像データを含む２以上の画像データを取得し、前記合成画像データ生成手段は、前記最長の露光時間に対応する画像データを含む２以上の画像データに基づき合成画像データを生成し、前記色測定用画像データ取得手段は、前記撮像素子から、前記合成用画像データ取得手段が前記各フレーム期間における最長の露光時間に対応する画像データを取得するよりも先行して前記短露光画像データを取得し、前記色情報抽出手段は、前記先行して取得した短露光画像データから前記色情報を抽出し、前記光源情報推定手段は、前記先行して取得した短露光画像データから抽出された色情報に基づき光源に係る情報を推定し、前記ゲイン設定手段は、前記先行して取得した短露光画像データから抽出された色情報に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲインを設定し、前記ホワイトバランス調整手段は、前記ゲイン設定手段で設定されたゲインを用いて、該ゲインの設定に係る短露光画像データと同じフレーム期間の前記２以上の画像データに基づき前記合成画像データ生成手段にて生成された合成画像データのホワイトバランスを調整する。
【００１０】
このような構成であれば、合成用画像データ取得手段によって、撮像素子から、各フレーム期間において異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを取得することができる。更に、合成画像データ生成手段によって、取得した前記２以上の画像データを露光時間（露光量）の比率に基づき線形合成して合成画像データを生成することができる。
【００１１】
また、色測定用画像データ取得手段によって、撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データである短露光画像データを取得することができ、色情報抽出手段によって、取得した短露光画像データから色情報を抽出することができる。
更に、光源情報推定手段によって、前記抽出した色情報に基づき、光源情報を推定することができ、ゲイン設定手段によって、推定した光源情報に基づきホワイトバランスの調整に用いるゲインを設定することができる。
【００１２】
更に、ホワイトバランス調整手段によって、前記設定されたゲインを用いて合成画像データのホワイトバランスを調整することができる。
これにより、合成画像データを生成した２以上の画像データの取得フレームと同じフレームに取得される短露光画像データに基づきホワイトバランスを調整するためのゲインを設定することができる。そして、この設定したゲインを用いて、前記同じフレームの２以上の画像データから生成された合成画像データのホワイトバランスを調整することができる。
【００１３】
従来のホワイトバランスの調整は、ゲインの設定（決定）に用いた画像データのフレームとは別のフレームに取得された画像データから構成される合成画像データに対して前記設定されたゲインを用いてホワイトバランスの調整を行っている。つまり、フィードバック型の制御を行う構成となっている。これに対して、本形態の構成では、フィードフォワード型の制御によって、ホワイトバランスの調整を行うことができる。
従って、別フレームとした場合と比較して、例えば、光源が点滅などしていて光源の挙動が予測しにくい状況の場合などでも、常に安定な出力画像を得ることができる。
【００１４】
また、短露光画像データから抽出した色情報に基づき、光源に係る情報を予測することができるので、光源を撮像範囲内に含めたときに、飽和せずに、且つ光源という高輝度の入力光に対して良好なレベルの信号を得ることができる。換言すると、光源と同じ輝度レベルの入力光に対してのみ「０」よりも大きいレベルとなる信号を得ることができる。
ここで、上記「色情報」とは、例えば、各色の画素数、各色の画素値の積算値などが該当する。
【００１５】
また、上記「ホワイトバランスの調整に用いるゲイン」とは、ホワイトバランスを調整するためのアンプ回路、乗算器等のゲインであり、合成画像データの各色の画素信号に対して乗算されるものである。但し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色の画素信号において、例えば、Ｇを基準としてホワイトバランスを調整する場合は、Ｒ及びＢの画素信号に乗算されるゲインとなる。
また、上記「光源情報」とは、光源の種類、光源の色温度等の情報が該当する。
【００１６】
更に、このような構成であれば、撮像素子から、各フレーム期間において異なる露光時間で撮像された画像データを容易に取得することができる。
【００１８】
また、このような構成であれば、撮像素子から他の画像データに先行して出力される短露光画像データを用いて、ホワイトバランスの調整に用いるゲインを設定することができる。更に、設定されたゲインを、短露光画像データと同じフレームで且つ短露光画像データよりも遅れて出力される２以上の画像データを線形合成してなる合成画像データのホワイトバランスの調整に用いることができる。
これにより、例えば、車載カメラやマシンビジョンなどのように実時間性が要求される
アプリケーションにおいて、実時間に近いタイミングでホワイトバランスの調整された合
成画像（映像）の取得を行うのに有効である。
【００１９】
〔形態２〕  更に、形態２の画像処理装置は、形態１の画像処理装置において、
前記光源情報推定手段は、前記光源に係る情報として、光源の種類を推定する。
このような構成であれば、推定された光源の種類に基づき、ホワイトバランスの調整に
用いるゲインを設定することができる。
これにより、光源の種類が既知となるので、光源の種類に応じた適切なホワイトバラン
スの調整を行うことができる。
【００２０】
〔形態３〕  更に、形態３の画像処理装置は、形態２の画像処理装置において、
前記光源情報推定手段は、前記色情報の示す各指標値と該各指標値に対応する光源の種
類と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽出された色情報に対応する光源の種類を推定し、前記ゲイン設定手段は、光源の種類と該光源の各種類に対応する前記ゲインとを対応付けた情報が登録されたデータベースに基づき、前記光源情報推定手段で推定された光源の種類に対応するゲインを設定する。
【００２１】
このような構成であれば、光源の種類が推定されると、該光源の種類に対応付けてゲインの登録されたデータベースの中から、推定された光源の種類に対応するゲインを取得して、該取得したゲインをホワイトバランスの調整に用いるゲインとして設定することができる。
これにより、ゲインの設定において、計算処理等を行わずに済むので、リアルタイム処理等の速度を要するシステムに容易に組み込むことができる。
【００２２】
〔形態４〕  更に、形態４の画像処理装置は、形態２又は３の画像処理装置において、
前記光源情報推定手段において光源の種類が推定できなかったときは、前記ホワイトバ
ランスの調整を実施しない。
このような構成であれば、例えば、撮像領域内に複数種類の光源が存在する場合などに
おいて、不適切なホワイトバランスの調整を行うのを防ぐことができる。
【００２３】
〔形態５〕  更に、形態７の画像処理装置は、形態１の画像処理装置において、
前記光源情報推定手段は、前記光源に係る情報として、光源の色温度を推定する。
このような構成であれば、光源の色温度が既知となるので、色温度に応じた適切なホワ
イトバランスの調整を行うことができる。
【００２４】
〔形態６〕  更に、形態６の画像処理装置は、形態５の画像処理装置において、
前記光源情報推定手段は、前記色情報の示す各指標値と該各指標値に対応する光源の色
温度と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽出された色情報に対応する光源の色温度を推定し、前記ゲイン設定手段は、光源の色温度と前記ゲインとを対応付けた情報が登録されたデータベースに基づき、前記光源情報推定手段で推定された光源の色温度に対応するゲインを設定する。
【００２５】
このような構成であれば、光源の色温度が推定されると、該光源の色温度に対応付けてゲインの登録されたデータベースの中から、推定された光源の色温度に対応するゲインを取得して、該取得したゲインをホワイトバランスの調整に用いるゲインとして設定することができる。
これにより、ゲインの設定において、計算処理等を行わずに済むので、リアルタイム処理等の速度を要するシステムに容易に組み込むことができる。
【００２６】
〔形態７〕  更に、形態７の画像処理装置は、形態１乃至６のいずれか１の画像処理装
置において、
前記短露光画像データの露光時間を、前記被写体として含まれる光源又は光源の鏡面反
射光に対する画素信号のデータを出力できる最短の時間に設定した。
このような構成であれば、撮像素子に、光源又は光源の鏡面反射光の輝度以上の輝度の
入力光に対してのみ「０」よりも大きいレベルの信号を出力させることができる。
これにより、光源情報の推定精度を向上することができる。
【００２７】
〔形態８〕  更に、形態８の画像処理装置は、形態１乃至７のいずれか１の画像処理装置において、
前記色情報抽出手段で抽出した色情報を記憶する色情報記憶手段を備える。
このような構成であれば、色情報記憶手段において、色情報抽出手段で抽出した色情報
を記憶することができるので、外部のＰＣなどにおいて、記憶された色情報を用いた処理
を行うことができる。
【００２８】
〔形態９〕  更に、形態９の画像処理装置は、形態１乃至８のいずれか１の画像処理装置において、
前記ホワイトバランス調整手段でホワイトバランスを調整後の合成画像データの輝度を
変換して階調特性の異なる合成画像データを生成する画像変換手段を備える。
このような構成であれば、ホワイトバランスを調整後の合成画像データについて、例え
ば、表示装置の表示可能な階調範囲に合わせて輝度のレンジを圧縮するなど所望の階調特
性の画像へと変換することができる。
【００２９】
〔形態１０〕  一方、上記目的を達成するために、形態１０の画像処理方法は、
被写体を撮像可能な撮像素子から、該撮像素子にて各フレーム期間において異なる複数
の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを
取得する合成用画像データ取得ステップと、前記合成用画像データ取得ステップにおいて取得した前記２以上の画像データを露光時間の比率に基づき線形合成して合成画像データを生成する合成画像データ生成ステップと、前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データである短露光画像データを取得する色測定用画像データ取得ステップと、前記色測定用画像データ取得ステップにおいて取得した短露光画像データから色情報を抽出する色情報抽出ステップと、前記色情報抽出ステップにおいて抽出した色情報に基づき、前記被写体を撮像時の光源に係る情報を推定する光源情報推定ステップと、前記光源情報推定ステップにおける推定結果に基づき、ホワイトバランスの調整に用いるゲインを設定するゲイン設定ステップと、前記ゲイン設定ステップにおいて設定したゲインを用いて、当該ゲインの設定に係る前記短露光画像データと同じフレーム期間の前記２以上の画像データを合成して生成される合成画像データのホワイトバランスの調整を行うホワイトバランス調整ステップと、を含み、
前記色測定用画像データ取得ステップでは、前記撮像素子が、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間において露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番に各露光時間に対応する画像データを構成する画素信号のデータを出力するようになっており、前記合成用画像データ取得ステップでは、前記撮像素子から、各フレーム期間における最長の露光時間に対応する画像データを含む２以上の画像データを取得し、前記合成画像データ生成ステップでは、前記最長の露光時間に対応する画像データを含む２以上の画像データに基づき合成画像データを生成し、
前記色測定用画像データ取得ステップでは、前記撮像素子から、前記合成用画像データ取得ステップが前記各フレーム期間における最長の露光時間に対応する画像データを取得するよりも先行して前記短露光画像データを取得し、前記色情報抽出ステップでは、前記先行して取得した短露光画像データから前記色情報を抽出し、前記光源情報推定ステップでは、前記先行して取得した短露光画像データから抽出された色情報に基づき光源に係る情報を推定し、前記ゲイン設定ステップでは、前記先行して取得した短露光画像データから抽出された色情報に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲインを設定し、前記ホワイトバランス調整ステップでは、前記ゲイン設定手段で設定されたゲインを用いて、該ゲインの設定に係る短露光画像データと同じフレーム期間の前記２以上の画像データに基づき前記合成画像データ生成手段にて生成された合成画像データのホワイトバランスを調整する。
これにより、形態１の画像処理装置と同等の作用及び効果が得られる。
【００３０】
〔形態１１〕  また、上記目的を達成するために、形態１１の撮像装置は、
被写体を撮像可能な撮像素子と、  形態１乃至９のいずれか１に記載の画像処理装置と、を備える。
このような構成であれば、形態１乃至１１のいずれか１に記載の画像処理装置と同等の
作用及び効果が得られる。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る撮像装置１の構成を示すブロック図である。
【図２】ＨＤＲ撮像素子１０の内部構成を示すブロック図である。
【図３】カラーフィルターアレイ１０ｃの構成を示す図である。
【図４】ＨＤＲセンサー１０ｄのセンサーセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図５】蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。
【図６】ＨＤＲセンサー１０ｄからの画素データの出力形式の一例を示す図である。
【図７】画像処理装置２０の内部構成の一例を示すブロック図である。
【図８】ＨＤＲ本線処理部２６の内部構成の一例を示すブロック図である。
【図９】色測光部２５、ＨＤＲ線形処理部３０及びＷＢ調整部３１の内部構成の一例を示すブロック図である。
【図１０】合成処理部３０ａの内部構成の一例を示すブロック図である。
【図１１】色情報抽出部４０の内部構成の一例を示すブロック図である。
【図１２】光源情報推定部４１の内部構成の一例を示すブロック図である。
【図１３】ＷＢゲイン設定部４２の内部構成の一例を示すブロック図である。
【図１４】各サブフレームにおける画素データの出力タイミングの一例を示す図である。
【図１５】従来のＡＷＢ機能を有する撮像装置の一構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施形態を図面に基づき説明する。図１〜図１４は、本発明に係る画像処理装置、画像処理方法及び撮像装置の実施形態を示す図である。
（１）撮像装置の構成例
まず、本発明に係る撮像装置の構成を図１〜図２に基づき説明する。図１は、本発明に係る撮像装置１の構成を示すブロック図である。また、図２は、ＨＤＲ撮像素子１０の内部構成を示すブロック図である。
【００３３】
撮像装置１は、図１に示すように、ＨＤＲ撮像素子１０と、画像処理装置２０とを含んで構成される。
撮像素子１０は、図２に示すように、撮像レンズ１０ａと、マイクロレンズ１０ｂと、カラーフィルターアレイ１０ｃと、ＨＤＲセンサー１０ｄと、駆動回路１０ｅと、読出回路１０ｆとを含んで構成される。
撮像レンズ１０ａは、被写体からの反射光を集光して、マイクロレンズ１０ｂへと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
【００３４】
マイクロレンズ１０ｂは、撮像レンズ１０ａを透過した光をＨＤＲセンサー１０ｄの有するセンサーセルアレイの各センサーセル（画素）に集光するものである。
カラーフィルターアレイ１０ｃは、マイクロレンズ１０ｂを透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものである。
【００３５】
ＨＤＲセンサー１０ｄは、各センサーセル（画素）がフォトダイオード及びＣＭＯＳ素子から構成されるセンサーセルアレイを有し、電子シャッター方式によって露光時間を制御して露光時間の異なる複数種類の画像データを出力するものである。
駆動回路１０ｅは、不図示のレジスターで設定される駆動モードと画像処理装置２０からの同期信号とに基づき、ＨＤＲセンサー１０ｄと読出回路１０ｆとを駆動するものである。本実施形態においては、異なる露光時間で被写体を撮像するように駆動し、露光時間の異なる複数種類の撮像画像データを出力する。
【００３６】
読出回路１０ｆは、ＨＤＲセンサー１０ｄから撮像画像信号を読み出し、読み出した撮像画像信号（アナログ）に対してＡ／Ｄ変換を含む各種信号処理を施してデジタルの撮像画像データとして画像処理装置２０に出力する。このとき、読出回路１０ｆは、駆動回路１０ｅを介して供給される画像処理装置２０からの同期信号に同期して撮像画像データを出力する。
画像処理装置２０は、ＨＤＲ撮像素子１０から出力される、露光時間の異なる複数種類の撮像画像データに基づき、ノイズ除去処理、合成処理、色処理、輝度画像データ生成処理、輝度値→ゲイン変換処理、レベル変換（トーンマッピング）処理、γ変換処理等を行うものである。なお、詳細な構成は後述する。
【００３７】
（２）カラーフィルターアレイの構成例
次に、図３に基づき、カラーフィルターアレイ１０ｃの構成を説明する。
ここで、図３は、カラーフィルターアレイ１０ｃの構成を示す図である。
図３において、Ｒ、Ｇ、Ｂは、光の３原色（赤色、緑色、青色）のいずれか１色の波長領域の光を選択的に透過するＣＦ部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、Ｒ00であれば、行番号１の第１列目の画素に対応するＲの波長領域の光を透過するフィルター部となる。なお、本実施形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置２は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。
【００３８】
具体的に、カラーフィルターアレイ１０ｃ（以下、ＣＦアレイ１０ｃと称す）は、マイクロレンズ１０ｂを介して入射された光から、赤色に対応する波長領域の光（以下、Ｒ光と称す）、緑色に対応する波長領域の光（以下、Ｇ光と称す）及び青色に対応する波長領域の光（以下、Ｂ光と称す）のうち所定の１色に対応する波長領域の光を分離して、該分離した光をそれぞれ対応する画素に入射する複数のＣＦ部から構成されている。
【００３９】
より具体的に、ＣＦアレイ１０ｃは、図３に示すように、入射光からＲ光を分離して、該分離したＲ光を画素に入射する複数のＲ光透過フィルター部（図３中のＲ）と入射光からＧ光を分離して、該分離したＧ光を画素に入射する複数のＧ光透過フィルター部（図３中のＧ）とがＲ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→・・・の順で水平方向に連続した構成のフィルターラインＲＧＦＬを複数備えている。
【００４０】
更に、複数のＧ光透過フィルター部と、入射光からＢ光を分離して、該分離したＢ光を画素に入射する複数のＢ光透過フィルター部（図３中のＢ）とがＧ→Ｂ→Ｇ→Ｂ→Ｇ→Ｂ→・・・の順で水平方向に連続した構成のフィルターラインＧＢＦＬを複数備えている。これら複数の、フィルターラインＲＧＦＬと、フィルターラインＧＢＦＬとは、図２に示すように、ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→・・・の順で垂直方向に連続して配列されている。つまり、複数のＧ光透過フィルター部と、複数のＢ光透過フィルター部と、複数のＲ光透過フィルター部とがベイヤ型に配列された構成となっている。
【００４１】
（３）ＨＤＲセンサー１０ｄの駆動制御方法について
次に、図４〜図６に基づき、撮像素子１０のＨＤＲセンサー１０ｄの露光時間の制御方法、及びセンサーセルアレイからの画素信号の読み出し方法について説明する。ここで、図４は、ＨＤＲセンサー１０ｄのセンサーセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図５は、蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。また、図６は、ＨＤＲセンサー１０ｄからの画素データの出力形式の一例を示す図である。
【００４２】
ここで、本発明の露光時間の制御は、センサーセルアレイの露光領域（走査領域）に対して、超短露光時間Ｔ_Ｓ１の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ１と、短露光時間Ｔ_Ｓ２の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ２とを設定する。更に、各画素のラインの蓄積電荷のリセット及び標準露光時間Ｔ_Ｓ３の画素信号の読み出しを行う読み出し＆リセットラインＬ３を設定する。
なお、Ｔ_Ｓ１〜Ｔ_Ｓ３の関係は、図５に示すように、「Ｔ_Ｓ１＜Ｔ_Ｓ２＜Ｔ_Ｓ３」となっている。
ここで、超短露光時間Ｔ_Ｓ１は、標準露光時間Ｔ_Ｓ３の１／１００〜１／１０００の時間とすることが望ましく、短露光時間Ｔ_Ｓ２は、標準露光時間Ｔ_Ｓ３の１／１０〜１／１００の時間とすることが望ましい。
【００４３】
また、標準露光時間Ｔ_Ｓ３は、反射率０〜１００％にてＨＤＲセンサー１０ｄから有効な出力が得られるように時間を設定する。一方、超短露光時間Ｔ_Ｓ１は、反射率換算で１０，０００％〜１００，０００％（鏡面反射でも信号出力が未飽和）となるように時間を設定する。
特に、超短露光時間Ｔ_Ｓ１は、光源及び光源の鏡面反射光以外の入射光に対して「０」又は極めて低い信号レベルとなる画素信号を出力する時間に設定することが望ましい。換言すると、超短露光時間Ｔ_Ｓ１は、光源の輝度範囲の光入力に対してのみ「０」よりも大きいレベルの信号出力を行う時間に設定することが望ましい。なお、詳細な理由については後述する。
【００４４】
そして、読み出し＆リセットラインＬ３の設定によって蓄積電荷がリセットされると、まずＴ_Ｓ１経過時に非破壊読み出しラインＬ１が設定される。次にＴ_Ｓ２経過時に非破壊読み出しラインＬ２が設定され、次にＴ_Ｓ３経過時に読み出し＆リセットラインＬ３が設定される。
具体的に、非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３は、図４に示すように、露光領域における画素のラインに順次標準露光時間Ｔ_Ｓ３分の電荷が蓄積されると、読み出し＆リセットラインＬ３が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間Ｔ_Ｓ３の時間分の電荷が蓄積される期間中、超短露光時間Ｔ_Ｓ１及び短露光時間Ｔ_Ｓ２において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインＬ１及びＬ２がそれぞれ設定される。
【００４５】
なお、本実施の形態においては、図４に示すように、リセット直後の超短露光時間Ｔ_Ｓ１に対応する画素信号（アナログデータ）Ｓ１は、第１ラインメモリーに読み出され、短露光時間Ｔ_Ｓ２に対応する画素信号（アナログデータ）Ｓ２は、第２ラインメモリーに読み出される。更に、標準露光時間Ｔ_Ｓ３に対応する画素信号（アナログデータ）Ｓ３は、第３ラインメモリーに読み出される。そして、これら読み出された画素信号Ｓ１〜Ｓ３は、図３に示すように、それぞれ選択回路を経てＡＤＣにＳ１〜Ｓ３の順で順次出力されそこでデジタルデータ（画素データ）に変換される。変換された各画素データは、変換された順に（Ｓ１〜Ｓ３の順に）ライン単位で画像処理装置２０に出力される。
【００４６】
また、上記非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３の画素信号の読み出しタイミングの制御は、図４に示すように、各画素のライン毎に、読み出し＆リセットラインＬ３を順次走査する（図４のスキャン方向）。そして、読み出し＆リセットラインＬ３においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット直前に標準露光時間Ｔ_Ｓ３の露光が行われた画素の画素信号の読み出しを行う。更に、リセット後に、超短露光時間Ｔ_Ｓ１の画素信号の読み出しを行う。
【００４７】
例えば、露光領域の一番目のラインである第１ラインにおいて標準露光時間Ｔ_Ｓ３の画素信号Ｓ３の読み出し及びリセットが行われたとする。以降は、画素信号Ｓ３が第３ラインメモリーから全て外部に読み出される毎に、図４中のスキャン方向に１ラインずつ、読み出し＆リセットラインＬ３の走査が順次行われる。このとき、読み出し＆リセットラインＬ３が再び第１ラインに到達したときに、丁度標準露光時間Ｔ_Ｓ３が経過するタイミングとなるように走査が行われる。このような手順で、センサーセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、標準露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。
【００４８】
一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインＬ１において超短露光時間Ｔ_Ｓ１の露光が行われた画素の画素信号Ｓ１の非破壊読み出しを行い、引き続き、非破壊読み出しラインＬ２において短露光時間Ｔ_Ｓ２の露光が行われた画素の画素信号Ｓ２の非破壊読み出しを行う。このような手順で、センサーセルアレイの各画素のラインに対して、ライン毎に、超短露光時間Ｔ_Ｓ１及び短露光時間Ｔ_Ｓ２で露光時の画素信号Ｓ１及びＳ２の非破壊読み出しを順次行う。
【００４９】
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ライン毎に、第１ラインメモリー〜第３ラインメモリーにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ３の順でアナログの画素データＳ１〜Ｓ３がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ３を、デジタルの画素データＳ１〜Ｓ３に変換する。そして、ＡＤＣからは、図６に示すように、水平同期（ＨＳＹＮＣ）信号に同期して、ライン単位でＳ１〜Ｓ３の順に画素データが順次、画像処理装置２０へと出力される。つまり、画像処理装置２０には、図６に示すように、画素データＳ３に先行して、画素データＳ１〜Ｓ２が、Ｓ１→Ｓ２の順に入力される。
【００５０】
（４）画像処理装置の構成例
次に、図７〜図１３に基づき、画像処理装置２０の詳細な構成を説明する。
ここで、図７は、画像処理装置２０の内部構成の一例を示すブロック図である。また、図８は、ＨＤＲ本線処理部２６の内部構成の一例を示すブロック図である。また、図９は、色測光部２５、ＨＤＲ線形処理部３０及びＷＢ調整部３１の内部構成の一例を示すブロック図である。また、図１０は、合成処理部３０ａの内部構成の一例を示すブロック図である。また、図１１は、色情報抽出部４０の内部構成の一例を示すブロック図である。また、図１２は、光源情報推定部４１の内部構成の一例を示すブロック図である。また、図１３は、ＷＢゲイン設定部４２の内部構成の一例を示すブロック図である。
【００５１】
画像処理装置２０は、図７に示すように、プリプロセス部２１と、遅延部２２〜２４と、色測光部２５と、ＨＤＲ本線処理部２６と、色測光結果記憶部２７とを含んで構成される。
なお、画像処理装置２０は、画像処理用のＤＳＰ（Digital Signal Processor）として構成されており、図示は省略するが、上記各構成部の動作を制御するプロセッサー、上記各構成部の動作に必要なプログラムや制御パラメーター等のデータを記憶するメモリー、上記各構成部の動作タイミングを制御するタイミングジェネレーターなどを備えている。
【００５２】
プリプロセス部２１は、ＨＤＲセンサー１０ｄからの画素信号（画素データＳ１〜Ｓ３）に対して、リセット直後となる超超短露光時間Ｔ０（Ｔ０≦Ｔ１）の画素データＳ０を用いた固定パターンノイズの除去処理、クランプ処理などを行う。
具体的に、固定パターンノイズの除去処理は、各露光時間の画素データＳ１〜Ｓ３から、リセット直後の画素信号に対応する画素データＳ０を各対応する画素毎に減算する処理となる。つまり、画素データＳ０は、電荷の蓄積量が少なく、固定パターンノイズの成分に支配されているので、このデータを、他の露光時間のデータから減算することで、固定パターンノイズの成分のみを除去することができる。なお、リセット直後の画素データＳ０は、超短露光時間の画素データＳ１と同一となる場合があり、その場合は、画素データＳ２〜Ｓ３のみについて減算処理を行う。
【００５３】
また、クランプ処理は、ＨＤＲセンサー１０ｄからの画素データＳ１〜Ｓ３を受信し、それが遮光領域の信号か否かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、全ての入力画素データの直流成分をクランプする処理となる。
そして、固定パターンノイズの除去処理及びクランプ処理を経た画素データＳ１〜Ｓ３は、遅延部２２〜２４を介して出力タイミングを同期させて、ＨＤＲ本線処理部２６に出力される。以下、露光時間Ｔ_Ｓ１〜Ｔ_Ｓ３にそれぞれ対応する撮像画像データ（１フレーム分の画素データ）を、画素データＳ１〜Ｓ３と同様に、撮像画像データＳ１〜Ｓ３と称す。
【００５４】
遅延部２２〜２４は、露光時間の長さに応じて順番に出力される画素データＳ１〜Ｓ３を、遅延量ｄ_Ｓ１〜ｄ_Ｓ３でそれぞれ遅延させる遅延素子を有している。そして、画素データＳ１〜Ｓ３の出力タイミングを同期させる機能を有している。
具体的に、遅延部２２の遅延素子は画素データＳ３を遅延量ｄ_Ｓ３で遅延させ、遅延部２３の遅延素子は画素データＳ２を遅延量ｄ_Ｓ２で遅延させ、遅延部２４の遅延素子は画素データＳ１を遅延量ｄ_Ｓ３で遅延させる（ｄ_Ｓ３＜ｄ_Ｓ２＜ｄ_Ｓ１）。
【００５５】
画素データＳ１に対する画素データＳ２及びＳ３の出力遅延時間を単純にｄＴ２（Ｔ_Ｓ２−Ｔ_Ｓ１）及びｄＴ３（Ｔ_Ｓ３−Ｔ_Ｓ１）とし、その他の処理遅延を補正する遅延量をΔｔ１、Δｔ２、Δｔ３とする。この場合に、「（ｄ_Ｓ３＝Δｔ３＋ｄＴ３）＝（ｄ_Ｓ２＝Δｔ２＋ｄＴ２）＝（ｄ_Ｓ１＝Δｔ１）」の関係が成り立つ。
色測光部２５は、プリプロセス部２１から出力される撮像画像データＳ１に基づき、色情報の抽出処理、光源情報の推定処理及びＷＢゲインの設定処理を行う。
【００５６】
ＨＤＲ本線処理部２６は、遅延部２２〜２４を介して同期して入力される撮像画像データＳ１〜Ｓ３と、色測光部２５から入力されるＷＢゲインとに基づき、ＨＤＲ合成処理、色処理、ホワイトバランス調整処理、レベル補正処理、ガンマ変換処理を行う。そして、ガンマ変換処理後の画像データ信号をビデオ信号として出力する。ビデオ信号は、業界標準の規格に準じた形態で、例えば８ビットのレンジに圧縮された画像信号である。
色測光結果記憶部２７は、色測光部２５において各フレームの画素データＳ１から抽出される色情報を記憶するメモリーと、メモリーインターフェース（ＩＦ）とを有し、色測光部２５からメモリーインターフェースを介して入力される色情報をメモリーに記憶する。
【００５７】
（４−１）色測光部２５の構成例
まず、図９〜図１２に基づき、色測光部２５の詳細な構成について説明する。
色測光部２５は、図９に示すように、１フレーム分の画素データＳ１から色情報を抽出する色情報抽出部４０と、抽出された色情報に基づき光源情報を推定する光源情報推定部４１と、推定された光源情報に基づきＷＢゲインを設定するＷＢゲイン設定部４２とを含んで構成される。
【００５８】
（４−１−１）色情報抽出部４０の構成例
色情報抽出部４０は、図１０に示すように、色分離器６０と、加算器６１ａ〜６１ｃと、Ｒ出力用レジスター６２ａと、Ｇ出力用レジスター６２ｂと、Ｂ出力用レジスター６２ｃとを含んで構成される。
色分離器６０は、図３に示すカラーフィルターアレイ１０ｃの各色の配列規則（ベイヤ配列）に応じた読み出し順番に基づき、その読み出し順に入力される画素データＳ１を、該Ｓ１の色に対応する加算器へと出力する。
【００５９】
具体的に、入力された画素データＳ１がＲ光透過フィルター部を透過したＲ光を受光した画素の画素データＳ１である場合は、その画素信号（以下、Ｒ信号と称す）を加算器６１ａに出力する。また、Ｇ光透過フィルター部を透過したＧ光を受光した画素の画素データＳ１である場合は、その画素信号（以下、Ｇ信号と称す）を加算器６１ｂに出力する。また、Ｂ光透過フィルター部を透過したＢ光を受光した画素の画素データＳ１である場合は、その画素信号（以下、Ｂ信号と称す）を加算器６１ｃに出力する。
【００６０】
加算器６１ａは、色分離器６０から入力されるＲ信号の示す画素値ｒと、Ｒ出力用レジスター６２ａから入力される１つ前のｒの積算値（初期値は０）とを加算して、その加算結果である現在のｒの積算値（以下、ｒ積算値と称す）を示すＲＡ信号をＲ出力用レジスター６２ａに出力する。
加算器６１ｂは、色分離器６０から入力されるＧ信号の示す画素値ｇと、Ｇ出力用レジスター６２ｂから入力される１つ前のｇの積算値（初期値は０）とを加算して、その加算結果である現在のｇの積算値（以下、ｇ積算値と称す）を示すＧＡ信号をＧ出力用レジスター６２ｂに出力する。
【００６１】
加算器６１ｃは、色分離器６０から入力されるＢ信号の示す画素値ｂと、Ｂ出力用レジスター６２ｃから入力される１つ前のｂの積算値（初期値は０）とを加算して、その加算結果である現在のｂの積算値（以下、ｇ積算値と称す）を示すＢＡ信号をＢ出力用レジスター６２ｃに出力する。
Ｒ出力用レジスター６２ａは、加算器６１ａから入力されるＲＡ信号の示すｒ積算値を格納すると共に、加算器６１ａへのＲ信号の入力タイミングに同期して、格納されているｒ積算値を示す信号を加算器６１ａへと出力する。
【００６２】
また、Ｒ出力用レジスター６２ａは、不図示のリセット回路からのフレームリセット信号の入力に応じて、格納しているｒ積算値をリセットする（初期値にする）。
つまり、加算器６１ａ及びＲ出力用レジスター６２ａによって、順次入力される最新のＲ信号の画素値ｒと１つ前の加算結果であるｒ積算値とを加算し、その加算結果を、Ｒ出力用レジスター６２ａに格納（上書き）する処理を繰り返し行う。
Ｇ出力用レジスター６２ｂは、加算器６１ｂから入力されるＧＡ信号の示すｇ積算値を格納すると共に、加算器６１ｂへのＧ信号の入力タイミングに同期して、格納されているｇ積算値を示す信号を加算器６１ｂへと出力する。
【００６３】
また、Ｇ出力用レジスター６２ｂは、不図示のリセット回路からのフレームリセット信号の入力に応じて、格納しているｇ積算値をリセットする（初期値にする）。
つまり、加算器６１ｂ及びＧ出力用レジスター６２ｂによって、順次入力される最新のＧ信号の画素値ｇと１つ前の加算結果であるｇ積算値とを加算し、その加算結果を、Ｇ出力用レジスター６２ｂに格納（上書き）する処理を繰り返し行う。
Ｂ出力用レジスター６２ｃは、加算器６１ｃから入力されるＢＡ信号の示すｂ積算値を格納すると共に、加算器６１ｃへのＢ信号の入力タイミングに同期して、格納されているｂ積算値を示す信号を加算器６１ｃへと出力する。
【００６４】
また、Ｂ出力用レジスター６２ｃは、不図示のリセット回路からのフレームリセット信号の入力に応じて、格納しているｂ積算値をリセットする（初期値にする）。
つまり、加算器６１ｃ及びＢ出力用レジスター６２ｃによって、順次入力される最新のＢ信号の画素値ｂと１つ前の加算結果であるｂ積算値とを加算し、その加算結果を、Ｂ出力用レジスター６２ｃに格納（上書き）する処理を繰り返し行う。
【００６５】
また、本実施形態では、１フレーム分の画素データＳ１に対するｒ，ｇ，ｂ積算値がＲ，Ｇ，Ｂ出力用レジスター６２ａ，６２ｂ，６２ｃのうち各々の対応するレジスターに格納されると、格納されたｒ，ｇ，ｂ積算値が、光源情報推定部４１及び色測光結果記憶部２７によって取得される。具体的に、光源情報推定部４１からの取得信号に応じて、光源情報推定部４１及び色測光結果記憶部２７に各レジスターに格納されたｒ，ｇ，ｂ積算値が出力される。その後、次のフレームの画素データＳ１が加算器６１ａ〜６１ｃに入力される前において、フレームリセット信号により、Ｒ，Ｇ，Ｂ出力用レジスター６２ａ，６２ｂ，６２ｃの各格納値がリセットされる。
つまり、１フレーム分の画素データＳ１に対する、ｒ積算値、ｇ積算値及びｂ積算値が色情報として、光源情報推定部４１及び色測光結果記憶部２７に出力される。
これにより、色測光結果記憶部２７は、色情報抽出部４０からのｒ，ｇ，ｂ積算値をメモリーＩＦを介して受信すると、受信したｒ，ｇ，ｂ積算値をメモリーに記憶する。
【００６６】
ここで、１フレーム分の画素データＳ１を用いて色測光（上記ｒ，ｇ，ｂ積算値の演算処理）を行う理由の一つは、極めて露光時間の短い画素データＳ１には飽和レベルの画素データが無いことである。もう一つの理由は、極めて露光時間が短いので、光源そのものが撮像レンズ１０ａに到達して結像する場合、もしくは光源が鏡面反射して撮像レンズ１０ａに到達して結像する場合などの、比較的高輝度の入射光に対してはＨＤＲセンサー１０ｄから「０」よりも大きいレベルの信号が出力される。その一方で、吸収と乱反射する被写体からの反射光が撮像レンズに到達して結像する場合は、光源や光源の鏡面反射光などと比較して低輝度となるためＨＤＲセンサー１０ｄからの信号レベルがほぼ「０」になることである。例えば、マクベスチャートを撮影した場合、超短露光時間Ｔ_Ｓ１の撮像画像は形成されない（乱反射光で生成される信号レベルはほぼ０）。逆に言うと、超短露光時間Ｔ_Ｓ１は、乱反射する反射光では画像を形成しない短い時間となるように設定する。よって、もし、被写体が赤い布で覆われても、色測光では、それは無視される。このようにすることで、光源の光、もしくは光源の鏡面反射光のみに対する各色信号の画素値を積算することができる。これにより、後段の光源情報推定部４１において、光源情報の推定精度を向上させることができる。
【００６７】
（４−１−２）光源情報推定部４１の構成例
光源情報推定部４１は、図１１に示すように、色情報→光源情報変換部４１ａと、光源情報記憶部４１ｂとを含んで構成される。
色情報→光源情報変換部４１ａは、色情報抽出部４０に１フレームの色測光処理が終了するタイミングで取得信号を出力し、これにより色情報抽出部４０から色情報を取得する。更に、取得した色情報と、光源情報記憶部４１ｂに記憶された光源情報データベースとに基づき、取得した色情報に対応する光源情報を推定する。
光源情報記憶部４１ｂは、色情報と光源情報とを対応付けた情報が登録された光源情報データベースが記憶されたメモリーである。
【００６８】
具体的に、光源情報推定部４１は、ｒ積算値をｉｒ、ｇ積算値をｉｇ、ｂ積算値をｉｂとして、ｉｇを基準とした積算値の比率「Ｒｒｇ＝ｉｒ／ｉｇ」と、「Ｒｂｇ＝ｉｂ／ｉｇ」とを算出する。なお、「Ｒｇｇ＝ｉｇ／ｉｇ＝１」となる。
この比率Ｒｒｇ及びＲｂｇは、光源の光又は光源の鏡面反射光などの入射光に対する信号成分に大部分を支配された超短露光画像の各色に対応する画素値の積算値から計算されているため、光源の色の特性等を判断するのに適している。
【００６９】
また、光源としては、例えば、太陽光（朝、昼、夕）、白熱電球、放電灯、発光ダイオード、レーザーなどがある。
白熱電球は、白熱灯、ハロゲン灯を含み、放電灯は、アーク放電灯とグロー放電灯とに大別され、アーク放電灯に属するものに、水銀灯、ナトリウム灯、キセノン灯、メタルハライド灯などがある。また、水銀灯に属するものに、蛍光灯、高圧水銀灯、超高圧水銀灯などがある。また、グロー放電灯に属するものに、ネオン管灯、ネオン電灯、キセノンフラッシュなどがある。
【００７０】
ここで、光源情報は、上記光源の種類、上記光源の色温度などの光源に係る情報である。
本実施形態において、上記光源情報データベースは、積算値の比率Ｒｒｇ及びＲｂｇと、該比率に対応する光源の種類又は光源の色温度とを対応付けた情報が登録されたデータベースとなる。
なお、光源情報データベースは、予め実験によって、様々な種類の光源に対してＲｒｇ及びＲｂｇを測定したり、様々な色温度の環境下においてＲｒｇ及びＲｂｇを測定したりして、その測定結果に基づいて生成されるものである。
【００７１】
そして、色情報→光源情報変換部４１ａは、算出した積算値の比率Ｒｒｇ及びＲｂｇに対応する光源の種類の情報又は光源の色温度の情報を、光源情報記憶部４１ｂに記憶された光源情報データベースから取得することで、取得した色情報に対応する光源情報を推定する。更に、光源情報推定部４１は、この推定された光源情報を示す信号を、ＷＢゲイン設定部４２に出力する。
なお、光源情報データベースに、取得した色情報に対応する光源情報が無い場合は、その旨を示す信号を、ＷＢゲイン設定部４２に出力する。
【００７２】
（４−１−３）ＷＢゲイン設定部４２の構成例
ＷＢゲイン設定部４２は、図１２に示すように、光源情報→ＷＢゲイン変換部４２ａと、ゲイン情報記憶部４２ｂとを含んで構成される。
光源情報→ＷＢゲイン変換部４２ａは、光源情報推定部４１から取得した光源情報と、ゲイン情報記憶部４２ｂに記憶されたゲイン情報データベースとに基づき、取得した光源情報に対応するＷＢゲインを設定する。
光源情報記憶部４１ｂは、光源情報とＷＢゲインとを対応付けた情報が登録されたゲイン情報データベースが記憶されたメモリーである。
ここで、ＷＢゲインは、Ｒ，Ｇ，Ｂのうちの１色を基準とし、他の２色の信号レベルを補正するためのゲインである。本実施形態では、Ｇを基準（ゲインＧｇ＝１）とし、後述するＨＤＲカラー画像データ信号における、Ｒ_ｈｄｒ信号のレベルを補正するゲインＧｒと、Ｂ_ｈｄｒ信号のレベルを補正するゲインＧｂとがＷＢゲインとなる。
【００７３】
また、本実施形態において、上記ゲイン情報データベースは、光源の種類又は色温度と、該光源の種類又は色温度に対応するＷＢゲインとを対応付けた情報が登録されたデータベースとなる。
なお、ゲイン情報データベースは、予め実験によって、様々な種類の光源に対して適切なＷＢゲインを求めたり、様々な色温度に対して適切なＷＢゲインを求めたりして、その求めた結果に基づいて生成されるものである。
【００７４】
具体的には、様々な種類の光源の下や、様々な色温度の環境下で撮像した撮像画像に対して、ＷＢゲインを可変させながらホワイトバランスを調整し、各光源の種類や色温度に対して、色かぶりの発生していない正常な状態となるＷＢゲインを求める。また、ＷＢゲインの決定（適正な画質の判断等）は、実験者の主観的な判断となるため、例えば、多数の被験者に調整済みの撮像画像を見せて、その判断に基づいて微調整を行うなどして決定することも可能である。
【００７５】
そして、光源情報→ＷＢゲイン変換部４２ａは、光源情報推定部４１から取得した光源情報に対応するＷＢゲインを、ゲイン情報記憶部４２ｂに記憶されたゲイン情報データベースから取得し、取得した光源情報に対応するＷＢゲインをＷＢ調整部３１に出力することでＷＢゲインを設定する。
また、光源情報推定部４１から、光源情報が無い旨を示す信号を取得した場合は、ＷＢゲイン「Ｇｒ＝１」、「Ｇｂ＝１」を、ＷＢ調整部３１に出力する。
【００７６】
（４−２）ＨＤＲ本線処理部２６の構成例
次に、図８、図９及び図１３に基づき、ＨＤＲ本線処理部２６の詳細な構成について説明する。
ＨＤＲ本線処理部２６は、図８に示すように、ＨＤＲ線形処理部３０と、ホワイトバランス（ＷＢ）調整部３１と、レベル補正処理部３２とを含んで構成される。
ＨＤＲ線形処理部３０は、画素データＳ１〜Ｓ３に基づきＨＤＲカラー画像データを生成する。
ＷＢ調整部３１は、色測光部２５において設定されたＷＢゲインを用いてＨＤＲカラー画像データのホワイトバランスを調整する。
レベル補正処理部３２は、ＷＢを調整後のＨＤＲカラー画像データを業界標準（規格）のレンジ（階調範囲）に圧縮しＨＤＲのビデオ信号を出力する。
【００７７】
（４−２−１）ＨＤＲ線形処理部３０の構成例
ＨＤＲ線形処理部３０は、図９に示すように、合成処理部３０ａと、色処理部３０ｂとを含んで構成される。
合成処理部３０ａは、３種類の露光時間Ｔ_Ｓ１，Ｔ_Ｓ２，Ｔ_Ｓ３に対応する画素データＳ１，Ｓ２，Ｓ３の信号を、前記露光時間の比率に基づいて合成し、ＨＤＲ_ＲＡＷ画素データを生成する。
具体的に、合成処理部３０ａは、図１３に示すように、正規化のためのゲインを算出する正規化ゲイン算出部７０，７１と、正規化ゲインを用いて画素データを正規化する正規化部７２，７３と、を含んで構成される。
【００７８】
正規化ゲイン算出部７０は、露光時間Ｔ_Ｓ３及びＴ_Ｓ１の比率に応じた正規化ゲインＲＳ３を算出する。例えば、Ｔ_Ｓ１を基準に正規化を行う場合は、「ＲＳ３＝Ｔ_Ｓ１／Ｔ_Ｓ３」を算出する。
正規化ゲイン算出部７１は、露光時間Ｔ_Ｓ２及びＴ_Ｓ１の比率に応じた正規化ゲインＲＳ２を算出する。例えば、Ｔ_Ｓ１を基準に正規化を行う場合は、「ＲＳ２＝Ｔ_Ｓ１／Ｔ_Ｓ２」を算出する。
【００７９】
正規化部７２は、画素データＳ３に正規化ゲインＲＳ３を乗算して、画素データＳ３を正規化し、正規化画素データＮＳ３を出力する。
正規化部７３は、画素データＳ２に正規化ゲインＲＳ２を乗算して、画素データＳ２を正規化し、正規化画素データＮＳ２を出力する。
合成処理部３０ａは、更に、画像合成時の合成重みＷ１，Ｗ２，Ｗ３を算出する合成重み算出部７４と、合成重みＷ１，Ｗ２，Ｗ３を用いて正規化画素データＮＳ１，ＮＳ２，ＮＳ３を重み付けする重み付け部７５，７６，７７と、を含んで構成される。
【００８０】
合成重み算出部７４は、画素データＳ１，Ｓ２，Ｓ３に基づき、合成重みＷ１，Ｗ２，Ｗ３を算出する。具体的に、下式（１）に示す、画素データＳ１〜Ｓ３を要素ｘとした、重み関数Ｆ（ｘ）を用いて合成重みを算出する。
Ｆ（ｘ）＝（ｘ／ＭＡＸ）n                                      ・・・（１）
上式（１）において、ＭＡＸは、画素データＳ１，Ｓ２，Ｓ３の階調範囲の最大値、例えば、８ビットの階調範囲であれば「ＭＡＸ＝２５５」、１０ビットの階調範囲であれば「ＭＡＸ＝１０２３」となる。
【００８１】
上式（１）を用いて、Ｗ１〜Ｗ３は、例えば、下式（２）〜（４）で算出することができる。
Ｗ１＝Ｆ（Ｓ２）                                                  ・・・（２）
Ｗ２＝Ｆ（Ｓ３）−Ｗ１＝Ｆ（Ｓ３）−Ｆ（Ｓ２）                    ・・・（３）
Ｗ３＝１−Ｗ２−Ｗ１＝１−Ｆ（Ｓ３）                              ・・・（４）
【００８２】
重み付け部７５は、合成重みＷ３を正規化画素データＮＳ３に乗算して、重み付け画素データＷＳ３を出力する。
重み付け部７６は、合成重みＷ２を正規化画素データＮＳ２に乗算して、重み付け画素データＷＳ２を出力する。
重み付け部７７は、合成重みＷ１を画素データＳ１に乗算して、重み付け画素データＷＳ１を出力する。
【００８３】
合成処理部３０ａは、更に、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を合成してＨＤＲ_ＲＡＷ画素データを生成し、生成したＨＤＲ_ＲＡＷ画素データを色処理部３０ｂに出力する合成部７８を含んで構成される。
合成部７８は、例えば、画素データＳ１〜Ｓ３がそれぞれ１０ビットのデータであるとして、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を合成して２０ビットのＨＤＲ_ＲＡＷ画素データを生成する。なお、１フレーム分のＨＤＲ_ＲＡＷ画素データが、ＨＤＲ画像データ（ＨＤＲ＿ＲＡＷ画像データ）となる。
【００８４】
色処理部３０ｂは、不図示のラインメモリーを有しており、ＨＤＲ_ＲＡＷ画素データ（処理すべき画素のデータ）と、ラインメモリーに格納された、処理すべき画素の周辺の画素のＨＤＲ_ＲＡＷ画素データとを用いて色補間処理を行う。すなわち、ラインメモリーにより遅延された、ＨＤＲ_ＲＡＷ画素データを用いて、画像の各点について、ＲＧＢ色空間に規定される色信号（データ）を生成する処理（色信号処理）を行う。
【００８５】
また、色処理部３０ｂは、撮像画像の輪郭部分の明度差および色相差を補正して撮像画像の輪郭部を明瞭にするシャープネス処理も行う。
上記色補間処理によって、ＨＤＲ_ＲＡＷ画素データを、画素毎に、ＲＧＢの各色要素にそれぞれ対応するＨＤＲカラー画素データに変換する。
これにより、画素毎に、Ｒ（赤）の色要素に対応する画素データＲ_ｈｄｒ、Ｇ（緑）の色要素に対応する画素データＧ_ｈｄｒ及びＢ（青）の色要素に対応する画素データＢ_ｈｄｒを有するＨＤＲカラー画素データが生成される。なお、１フレーム分の画素データＳ１〜Ｓ３に対応するＨＤＲカラー画素データＲ_ｈｄｒ、Ｇ_ｈｄｒ及びＢ_ｈｄｒからＨＤＲカラー画像データが構成される。
【００８６】
（４−２−２）ＷＢ調整部３１の構成例
ＷＢ調整部３１は、図９に示すように、乗算器３１ａと、乗算器３１ｂとを含んで構成される。
乗算器３１ａは、ＨＤＲ線形処理部３０から入力されるＨＤＲカラー画素データＲ_ｈｄｒと、色測光部２５から入力されるゲインＧｒとを乗算して、乗算結果をレベル補正処理部３２に出力する。
乗算器３１ｂは、ＨＤＲ線形処理部３０から入力されるＨＤＲカラー画素データＢ_ｈｄｒと、色測光部２５から入力されるゲインＧｂとを乗算して、乗算結果をレベル補正処理部３２に出力する。
なお、ＨＤＲ線形処理部３０からのＨＤＲカラー画素データＲ_ｈｄｒ、Ｂ_ｈｄｒの入力タイミングと、色測光部からのゲインＧｒ、Ｇｂの入力タイミングとは、不図示の遅延部によって、同期するように構成されている。
【００８７】
また、ＨＤＲ線形処理部３０からのＨＤＲカラー画素データＧ_ｈｄｒは、ＷＢ調整部３１を介してレベル補正処理部３２にスルーで出力される。
そして、ＷＢ調整部３１からのＨＤＲカラー画素データＲ_ｈｄｒ、Ｇ_ｈｄｒ、Ｂ_ｈｄｒのレベル補正処理部３２への出力タイミングは、不図示の遅延部によって、同期するように構成されている。
【００８８】
（４−２−３）レベル補正処理部３２の処理について
レベル補正処理部３２は、ＷＢを調整後のＨＤＲカラー画像データの各画素データと輝度レベル補正ゲインとを乗算してレベル変換（トーンマッピング）を行うと共に、レベル変換されたＨＤＲカラー画像データをγ曲線（トーンカーブ）に準じて８ビットに量子化する（レンジ圧縮する）。ここで、レベル変換は、暗い側の領域画像を伸張してヒストグラムを均一に広げる（ブロード化する）動作となる。
具体的に、ＷＢ調整部３１でＷＢが調整されたＨＤＲカラー画像データを輝度画像データＹに変換し、輝度画像データＹに対して、ローパスフィルター（以下、ＬＰＦと称す）を用いたぼかし処理を行う。このぼかし処理を行う目的は、ＨＤＲカラー画像データから照明光成分を分離し、分離した照明光成分の輝度画像を得るためである。
【００８９】
また、レベル補正処理部３２は、入力輝度（照明光成分）に対応する輝度レベル補正ゲインが登録された第１のＬＵＴ（Look Up Table）と、外部表示装置の表示可能な階調範囲（例えば、業界標準の階調範囲）に対応するトーンカーブの情報が登録された第２のＬＵＴとを有している。
そして、第１のＬＵＴから、分離した照明光成分に対応する輝度レベル補正ゲインを取得し、取得した輝度レベル補正ゲインを、対応するＨＤＲカラー画素データに乗算することでレベル変換を行う。
更に、第２のＬＵＴから、レベル変換後のＨＤＲカラー画像データの各画素データの値に対応した変換値を取得し、各画素データの示す階調値（輝度値）を、トーンカーブにおける対応する変換値に置き換えることでγ変換を行う。
【００９０】
例えば、ＨＤＲカラー画像データの階調範囲が２０ビットで、外部表示装置の表示可能な階調範囲が８ビットである場合は、第２のＬＵＴに格納された、２０ビットの階調範囲の輝度値を８ビットの階調範囲の輝度値に変換するトーンカーブの情報から、各入力輝度値に対応した変換値を取得する。このとき、外部表示装置から、その表示可能な階調範囲を示す情報を取得するようにしてもよい。
【００９１】
（５）撮像装置１の動作例
次に、図１４に基づき、本実施形態の撮像装置１の具体的な動作を説明する。
ここで、図１４は、各サブフレームにおける画素データの出力タイミングの一例を示す図である。
被写体の撮像が開始されると、撮影範囲内に被写体に加えて、光源又は光源を鏡面反射する物体が存在する場合に、光源の光（反射光も含む）や被写体から反射された光は、撮像レンズ１０ａで集光されてマイクロレンズ１０ｂに入射される。撮像レンズ１０ａからの入射光は、マイクロレンズ１０ｂにおいて平行化されて、ＣＦアレイ１０ｃの各ＣＦ部を介してセンサーセルアレイの各画素に入射される。ＣＦアレイ１０ｃは、ＲＧＢの三原色に対応するＣＦ部がベイヤ配列された構成となっているので、Ｒ光、Ｇ光及びＢ光のうち各ＣＦ部に対応した色要素の光のみが各画素に入射されることになる。
【００９２】
一方、撮像が開始されると、開始ラインから順に１ラインずつ読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。なお、最初に読み出される画素信号Ｓ３は、標準露光時間Ｔ_Ｓ３での露光がされていないため後段の各構成部において無視するように処理される。引き続き、各走査ラインに対して、各画素のリセット後において超短露光時間Ｔ_Ｓ１の経過タイミングで非破壊読み出しラインＬ１が設定され、画素信号Ｓ１が読み出される。引き続き、各走査ラインに対して、各画素のリセット後において短露光時間Ｔ_Ｓ２の経過タイミングで非破壊読み出しラインＬ２が設定され、画素信号Ｓ２が読み出される。そして、再び、開始ラインから順に読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。このとき読み出される画素信号Ｓ３とその前に読み出された画素信号Ｓ１及びＳ２とが後段の各構成部において処理対象となる。
【００９３】
以降、撮像が行われている間は、上記のＬ１〜Ｌ３の設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
ここで、超短露光時間Ｔ_Ｓ１は、光源又は光源の鏡面反射光の輝度範囲の入射光に対して「０」より大きくなる信号出力が得られるように時間が設定されている。具体的に、対象となる光源の種類及び輝度を考慮して設定した所定輝度以上の入力に対してのみ「０」よりも大きいレベルの信号を出力する時間に設定されている。
【００９４】
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ライン毎に、読出回路１０ｆの第１〜第３ラインメモリーにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ３の順でアナログの画素データＳ１〜Ｓ３がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ３を、デジタルの画素データＳ１〜Ｓ３に変換する。そして、ＡＤＣからは、ライン単位でＳ１〜Ｓ３の順に画素データが順次、画像処理装置２０へと出力される。
【００９５】
一方、画像処理装置２０は、ＨＤＲセンサー１０ｄからの画素データＳ１〜Ｓ３をＳ１から順番に受信すると、プリプロセス部２１において、受信した順に画素データに対して、固定パターンノイズの除去処理、及びクランプ処理を施す。そして、これらの処理が施された画素データＳ１〜Ｓ３のうちＳ１をそのまま色測光部２５に出力し、処理の施された画素データＳ１〜Ｓ３を遅延部２２〜２４に出力する。
遅延部２２〜２４は、画素データＳ１〜Ｓ３のプリプロセス部２１での受信の時間差を吸収し、画素データＳ１〜Ｓ３の出力タイミングを同期させて、これらをＨＤＲ本線処理部２６に出力する。
【００９６】
一方、色測光部２５は、プリプロセス部２１から画素データＳ１が入力されると、色情報抽出部４０の色分離器６０において、入力された画素データＳ１を、加算器６１ａ〜６１ｃのうち画素データＳ１の色に対応する加算器へと出力する。
具体的に、画素データＳ１の色が、赤色の場合はＲ信号を加算器６１ａに出力し、緑色の場合はＧ信号を加算器６１ｂに出力し、青色の場合はＢ信号を加算器６１ｃに出力する。
【００９７】
加算器６１ａは、Ｒ信号が入力されるとその画素値ｒと、Ｒ出力用レジスター６２ａからの１つ前のｒ積算値ｉｒ（初期値は０）とを加算して、その加算結果を示すＲＡ信号をＲ出力用レジスター６２ａに出力する。
同様に、加算器６１ｂは、Ｇ信号が入力されるとその画素値ｇと、Ｇ出力用レジスター６２ｂからの１つ前のｇ積算値ｉｇ（初期値は０）とを加算して、その加算結果を示すＧＡ信号をＧ出力用レジスター６２ｂに出力する。
同様に、加算器６１ｃは、Ｂ信号が入力されるとその画素値ｂと、Ｂ出力用レジスター６２ｃからの１つ前のｂ積算値ｉｂ（初期値は０）とを加算して、その加算結果を示すＢＡ信号をＢ出力用レジスター６２ｃに出力する。
【００９８】
このようにして、プリプロセス部２１から画素データＳ１が入力される毎に、色分離器６０における各色信号の振り分け、加算器６１ａ〜６１ｃにおける各色の画素値と積算値との加算、及び加算結果のＲ，Ｇ，Ｂ出力用レジスター６２ａ，６２ｂ，６２ｃへの格納を繰り返し行う。
このような積算処理を１フレーム分の画素データＳ１に対して繰り返し行うと、１フレーム分の画素データＳ１に対する、ｒ積算値ｉｒがＲ出力用レジスター６２ａに、ｇ積算値ｉｇがＧ出力用レジスター６２ｂに、ｂ積算値ｉｂがＢ出力用レジスター６２ｃにそれぞれ格納される。
【００９９】
そして、光源情報推定部４１からの取得信号に応じて、Ｒ，Ｇ，Ｂ出力用レジスター６２ａ，６２ｂ，６２ｃから、光源情報推定部４１及び色測光結果記憶部２７に各レジスターに格納されているｒ，ｇ，ｂ積算値ｉｒ，ｉｇ，ｉｂが出力される。
その後、不図示のリセット回路からのフレームリセット信号がアクティブとなり、Ｒ，Ｇ，Ｂ出力用レジスター６２ａ，６２ｂ，６２ｃに格納されたｒ，ｇ，ｂ積算値ｉｒ，ｉｇ，ｉｂがリセットされる。
【０１００】
なお、本実施形態では、撮像範囲に光源を含んでいない場合は、超短露光時間Ｔ_Ｓ１の撮像においてＨＤＲセンサー１０ｄからの出力信号レベルがほぼ「０」又は極めて小さくなり、ｒ，ｇ，ｂ積算値ｉｒ，ｉｇ，ｉｂがいずれも「０」又は極めて小さな値となる。
光源情報推定部４１は、色情報抽出部４０からｒ，ｇ，ｂ積算値ｉｒ，ｉｇ，ｉｂを取得すると、色情報→光源情報変換部４１ａにおいて、積算値の比率として、「Ｒｒｇ＝ｉｒ／ｉｇ」と、「Ｒｂｇ＝ｉｂ／ｉｇ」とを算出する。そして、算出したＲｒｇ及びＲｂｇに対応する光源情報を、光源情報記憶部４１ｂに記憶された光源情報データベースから取得する。ここでは、光源情報として、光源の種類の情報を取得することとする。
【０１０１】
光源の色温度は、黒体の温度と黒体が放射する光の波長との関係から、温度が低いときは暗いオレンジ色となり、温度が上昇するごとに、黄色、白色、青みがかった白へと変化していく。
従って、例えば、Ｒｒｇが１以上で且つＲｂｇよりも大きい場合は、赤色の画素が比較的多いと判定でき、この場合は色温度の比較的低い光源であることが推定できる。また、例えば、Ｒｂｇが１以上で且つＲｒｇよりも大きい場合は、青色の画素が比較的多いと判定でき、この場合は色温度の比較的高い光源であることが推定できる。
【０１０２】
色情報→光源情報変換部４１ａは、Ｒｒｇ及びＲｂｇに対応する光源の種類の情報が取得できたときは、取得した光源の種類の情報を、ＷＢゲイン設定部４２に出力する。一方、Ｒｒｇ及びＲｂｇに対応する光源の種類の情報が取得できなかった場合は、光源の種類を推定できなかった旨を示す情報を、ＷＢゲイン設定部４２に出力する。
ＷＢゲイン設定部４２は、光源情報推定部４１から、光源の種類の情報を取得したときは、光源の種類の情報に対応するＷＢゲインを、ゲイン情報記憶部４２ｂに記憶されたゲイン情報データベースから取得する。例えば、光源の種類が太陽光（昼光）であると推定された場合は、昼光に対応するＷＢゲインＧｒ，Ｇｂを取得する。そして、取得したＷＢゲインＧｒ，ＧｂをＷＢ調整部３１に出力する。
【０１０３】
また、ＷＢゲイン設定部４２は、光源情報推定部４１から、光源の種類を推定できなかった旨を示す情報を取得したときは、ＷＢゲインＧｒ，Ｇｂとして、「Ｇｒ＝Ｇｂ＝１」をＷＢ調整部３１に出力する。
また、色測光結果記憶部２７は、色情報抽出部４０からの色測光結果として、ｒ，ｇ，ｂ積算値ｉｒ，ｉｇ，ｉｂを取得すると、これらをメモリーＩＦを介してメモリーに記憶する。色測光結果は、フレームごとに上書きで記憶してもよいし、複数フレーム分を記憶してもよいし、複数フレーム分が記憶された後に古いものから順次上書きして記憶するようにしてもよい。
【０１０４】
一方、ＨＤＲ線形処理部３０は、上記色測光部２５の処理と並行して、遅延部２２〜２４で遅延されて出力タイミングの同期された画素データＳ１〜Ｓ３を受信すると、まず、合成処理部３０ａにおいて、ＨＤＲ＿ＲＡＷ画素データを生成する。
具体的に、合成処理部３０ａは、メモリーに保持又はＨＤＲ撮像素子１０から取得した露光時間Ｔ_Ｓ１〜Ｔ_Ｓ３の情報から、正規化ゲイン算出部７０，７１において、正規化ゲインＲＳ３，ＲＳ２を算出する。
また、並行して、合成重み算出部７４において、画素データＳ１〜Ｓ３から、上式（１）〜（４）を用いて合成重みＷ１〜Ｗ３を算出する。
【０１０５】
次に、正規化部７２，７３において、正規化ゲインＲＳ３，ＲＳ２を画素データＳ３，Ｓ２にそれぞれ乗算して、正規化画素データＮＳ３，ＮＳ２を算出する。
次に、重み付け部７５〜７７において、正規化画素データＮＳ３に合成重みＷ３を乗算し、正規化画素データＮＳ２に合成重みＷ２を乗算し、画素データＳ１に合成重みＷ１を乗算して、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を生成する。
【０１０６】
次に、合成部７８において、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を合成して（足し合わせて）、ＨＤＲ＿ＲＡＷ画素データを生成し、生成したＨＤＲ＿ＲＡＷ画素データを色処理部３０ｂに出力する。
色処理部３０ｂは、合成処理部３０ａからＨＤＲ＿ＲＡＷ画素データが入力されると、入力されたＨＤＲ＿ＲＡＷ画素データをラインメモリーに蓄積する。そして、ラインメモリーに一定量のＨＤＲ＿ＲＡＷ画素データが蓄積されると、色補正処理及びシャープネス処理を行い、ＨＤＲカラー画素データを生成する。そして、生成したＨＤＲカラー画素データを、不図示のラインメモリーに出力する。
【０１０７】
ラインメモリーは、色処理部３０ｂからＨＤＲカラー画素データを受信すると、それを蓄積し、出力タイミングを遅延させる。具体的に、色測光部２５からのＷＢゲインの出力タイミングＧｒ，Ｇｂと、そのゲインに対応するＨＤＲカラー画素データＲ_ｈｄｒ，Ｂ_ｈｄｒの出力タイミングとが同期するように遅延させる。更に、ＨＤＲカラー画素データＧ_ｈｄｒのＷＢ調整部３１からの出力タイミングと、ＷＢ調整後のＨＤＲカラー画素データＲ_ｈｄｒ，Ｂ_ｈｄｒのＷＢ調整部３１からの出力タイミングとが同期するように、Ｇ_ｈｄｒのＷＢ調整部３１への入力タイミングを遅延させる。
【０１０８】
そして、ＷＢ調整部３１に、ラインメモリーからのＨＤＲカラー画素データＲ_ｈｄｒ，Ｇ_ｈｄｒ，Ｂ_ｈｄｒと、色測光部２５のＷＢゲイン設定部４２からのＷＢゲインＧｒ，Ｇｂが入力されると、ホワイトバランスの調整が行われる。
具体的に、ＷＢ調整部３１の乗算器３１ａに、ラインメモリーからのＨＤＲカラー画素データＲ_ｈｄｒが入力され、色測光部２５からのＷＢゲインＧｒが入力され、Ｒ_ｈｄｒにＧｒが乗算される。
【０１０９】
また、ＷＢ調整部３１の乗算器３１ｂに、ラインメモリーからのＨＤＲカラー画素データＢ_ｈｄｒが入力され、色測光部２５からのＷＢゲインＧｂが入力され、Ｂ_ｈｄｒにＧｂが乗算される。
そして、ラインメモリーからのＧ_ｈｄｒと、Ｇｒを乗算後のＲ_ｈｄｒと、Ｇｂを乗算後のＢ_ｈｄｒとを、出力タイミングを同期させて、レベル補正処理部３２に出力する。
【０１１０】
一方、レベル補正処理部３２は、ＷＢを調整後のＨＤＲカラー画素データＲ_ｈｄｒ，Ｇ_ｈｄｒ，Ｂ_ｈｄｒを受信すると、これらを輝度画素データＰ（ｘ，ｙ）へと変換し、変換した輝度画素データＰ（ｘ，ｙ）をＬＰ用ラインメモリー（不図示）に蓄積する。
そして、ＬＰ用ラインメモリーに、ぼかし処理に必要な分の輝度画素データＰ（ｘ，ｙ）が蓄積されると、ガウシアンフィルター（ローパスフィルター）を用いたぼかし処理を実行し、輝度画素データＰ（ｘ，ｙ）を照明光成分データＬ（ｘ，ｙ）へと変換する。
【０１１１】
そして、照明光成分データＬ（ｘ，ｙ）に対応する、輝度レベル補正ゲインを第１ＬＵＴから取得する。更に、内部の乗算器（不図示）において、ＷＢ調整部３１から入力されるＨＤＲカラー画素データに、輝度レベル補正ゲインを乗算して、ＨＤＲカラー画素データのレベル変換（トーンマッピング）を行う。
更に、レベル変換後のＨＤＲカラー画素データに対応するγ変換値を第２ＬＵＴから取得し、取得した変換値を、ＲＧＢのビデオ信号として出力する。
なお、上記したように、各フレームの画素信号Ｓ１〜Ｓ３は、画素データＳ１→Ｓ２→Ｓ３の順番でプリプロセス部２１に入力される。
【０１１２】
また、図１４において、Ｓ１フレーム０〜２、Ｓ２フレーム０〜２、Ｓ３フレーム０〜２は、サブフレームであり、Ｓ１フレーム０の開始からＳ３フレーム０の終了までの期間が１フレームの期間となる。
ＨＤＲ本線処理部２６においては、上記したように、画素データＳ１〜Ｓ３を全て用いてＨＤＲカラー画像データを生成する処理（本線系処理）が行われる。
従って、本実施形態では、本線系処理の開始タイミングを、図１４のＳ３フレーム０〜２に示すように、各サブフレームの最初の画素データＳ３（ライン単位）が入力されたタイミングとしている。各サブフレームにおいては、新たな画素データＳ３が入力される毎に、順次、パイプライン処理のごとく本線系処理が行われる。
【０１１３】
また、上記したように、色測光部２５においては、画素データＳ１から色情報を抽出し、抽出した色情報に基づき光源情報を推定し、推定した光源情報に基づきＷＢゲインを設定する処理が行われる。
本実施形態では、色測光部２５の色測光処理の開始タイミングを、図１４のＳ１フレーム０〜２に示すように、プリプロセス部２１から各サブフレームの最初の画素データＳ１（ライン単位）が入力されたタイミングとしている。各サブフレームにおいては、新たな画素データＳ１が入力される毎に、順次、パイプライン処理のごとく色測光処理が行われる。
【０１１４】
その結果、各サブフレームにおける、Ｓ１フレームの終了タイミングとＳ３フレームの開始タイミングとの間に図１４に示す遅延量が発生する。また、各サブフレームにおける、本線系処理の開始タイミングと、色測光系処理の開始タイミングとには、図１４に示す走査による時間差が発生する。この時間差において、色測光処理（色情報の抽出、光源情報の推定、ＷＢゲインの設定）を完了させることが望ましい。しかし、色情報の抽出には、画素データＳ１が１サブフレーム分必要なため、走査の時間差の期間では不足となる。これに加えて、光源情報の推定処理、ＷＢゲインの設定処理の時間も必要となる。そこで、本実施形態では、本線系処理をこれらの不足分の時間だけ遅延させることで、各フレームにおける色測光結果をこれと同一のフレームの画素データＳ１〜Ｓ３から生成されるＨＤＲカラー画像データに対して反映させることができる。つまり、フィードフォワード型の制御を行うことができる。
従来のフィードバック型の制御では、色測光結果が反映されるのが次のフレームとなるので、１フレーム以上の遅延が発生する。一方、本実施形態では、色測光部２５における遅延分だけで済む。
【０１１５】
（６）作用・効果
以上説明したように、本実施形態の撮像装置１は、色測光部２５において、標準露光時間Ｔ_Ｓ３の画素データＳ３に先立って取得される、超短露光時間Ｔ_Ｓ１の画素データＳ１を使って色情報の抽出処理を行うことができる。
従って、飽和画素がない画像によって色測光処理が可能となり、精度の高い光源の色情報を抽出することができる。
【０１１６】
更に、超短露光時間Ｔ_Ｓ１を、ＨＤＲセンサー１０ｄが、光源の光、又は光源の光を鏡面反射した光に対してのみ「０」よりも大きいレベルの信号を出力するような時間に設定するようにした。具体的には、所定輝度以上の入力に対して「０」よりも大きいレベルの信号を出力する時間に設定するようにした。
従って、光源の色情報を多く含んだ画素データＳ１から色情報の抽出処理を行うことができるので、より高精度に光源の色情報を抽出することができる。
【０１１７】
更に、抽出した色情報に基づき、光源の色温度や種類等の光源情報を推定し、この推定結果に基づき、ホワイトバランスを調整するためのＷＢゲイン設定することができる。
従って、精度の高い色情報を用いて光源情報を推定することができると共に、こうして推定された光源情報に適したＷＢゲイン制御を、自動的に設定することができる。
更に、ＨＤＲ線形処理部３０において、遅延部２２〜２４で出力タイミングを同期させた画素データＳ１〜Ｓ３を線形合成し且つ色補正処理を行ってＨＤＲカラー画素データを生成することができる。
【０１１８】
更に、乗算器３１ａ及び３１ｂにおいて、ＷＢゲインＧｒ，Ｇｂの出力タイミングに合わせて遅延して出力されたＨＤＲカラー画素データＲ_ｈｄｒ，Ｂ_ｈｄｒと、ＷＢゲインＧｒ，Ｇｂとを乗算して、ＨＤＲカラー画素データのホワイトバランスの調整を行うことができる。
従って、各フレームにおける色測光結果をこれと同一のフレームの画素データＳ１〜Ｓ３から生成されるＨＤＲカラー画像データに対して反映させることができ、フィードフォワード型の制御を行うことができる。つまり、色測光対象の画像(フレーム)と輝度制御を行う対象画像(フレーム)を同じにすることができるので、被写体の輝度変動に応じた発振(フリッカ)現象の発生を抑えることが可能である。そのため、常に安定な出力画像が得られる。また、リアルタイム性を要求されるシステムに対して組み込みやすいという利点を有する。
【０１１９】
更に、レベル補正処理部３２において、ＨＤＲカラー画素データから輝度画素データＰ（ｘ，ｙ）を生成し、Ｐ（ｘ，ｙ）から照明光成分データＬ（ｘ，ｙ）を生成することができる。更に、第１ＬＵＴから、照明光成分データＬ（ｘ，ｙ）に対応する輝度レベル補正ゲインを取得することができる。
従って、照明光成分データＬに基づき、ＨＤＲカラー画像データに対して、レベル変換（トーンマップ）処理を施すようにしたので、全ダイナミックレンジにおいて、階調性を維持し、色再現性の良い映像を出力することができる。
【０１２０】
また、色測光対象の画像(フレーム)とＷＢの調整を行う対象画像(フレーム)を同一にしない場合でも、すなわち、色測光した画像(フレーム)の結果が反映されるのが次のフレームの場合でも、色測光処理が、本線系処理に対して先行して行われるので、色測光に要する計算時間を十分確保できる。これにより、色測光結果による動的制御など複雑な制御が可能となる。
【０１２１】
（７）本発明との対応関係
上記実施形態において、ＨＤＲ撮像素子１０は、撮像素子に対応し、プリプロセス部２１は、合成用画像データ取得手段及び色測定用画像データ取得手段に対応し、ＨＤＲ線形処理部３０は、合成画像データ生成手段に対応する。
また、上記実施形態において、色情報抽出部４０は色情報抽出手段に対応し、光源情報推定部４１は、光源情報推定手段に対応し、ＷＢゲイン設定部４２は、ゲイン設定手段に対応し、色測光結果記憶部２７は、色情報記憶手段に対応する。
また、上記実施形態において、ＷＢ調整部３１は、ホワイトバランス調整手段に対応し、レベル補正処理部３２は、画像変換手段に対応する。
【０１２２】
また、上記実施形態において、プリプロセス部２１における画素データＳ１〜Ｓ３を取得する処理は、合成用画像データ取得ステップ及び色測定用画像データ取得ステップに対応し、ＨＤＲ線形処理部３０におけるＨＤＲカラー画像データの生成処理は、合成画像データ生成ステップに対応する。
また、上記実施の形態において、色情報抽出部４０における画素データＳ１からの色情報の抽出処理は、色情報抽出ステップに対応し、光源情報推定部４１における光源情報の推定処理は、光源情報推定ステップに対応する。
また、ＷＢゲイン設定部４２におけるＷＢゲインＧｒ，Ｇｂの設定処理は、ゲイン設定ステップに対応し、ＷＢ調整部３１におけるＨＤＲカラー画像データにおけるホワイトバランスの調整処理は、ホワイトバランス調整ステップに対応する。
【０１２３】
（８）変形例
なお、上記実施形態における、撮像装置１は、表示装置、メモリー装置等の不図示の他の装置と組み合わせて、デジタルカメラ、デジタルビデオカメラなどの電子機器を構成することも可能である。
また、上記実施形態において、色情報として、超短露光時間Ｔ_Ｓ１を制御することによって、光源又は光源の鏡面反射光の入力輝度以上の画素データＳ１の色情報を抽出する構成としたが、この構成に限らない。
例えば、光源以外の輝度成分を含んだ画素データＳ１を撮像し、色情報を抽出する際に所定輝度以上のものについてのみ抽出を行う構成など他の構成としてもよい。
【０１２４】
また、上記実施形態では、色情報として各色の画素値（例えば、輝度値）の積算値を算出する構成としたが、この構成に限らず、例えば、各色の画素データの輝度レベルを判定し、各色の各輝度レベルの画素数を算出するなど、他の色情報を抽出する構成としてもよい。
また、上記各実施形態において、撮像素子１０のＨＤＲセンサー１０ｄが、ＣＭＯＳ技術を用いて構成されたセンサーセルアレイを有する構成としたが、この構成に限らない。例えば、ＣＣＤから構成されるセンサーセルアレイを有する構成など他の構成としてもよい。
【０１２５】
また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【０１２６】
１…撮像装置、１０…ＨＤＲ撮像素子、１０ａ…撮像レンズ、１０ｂ…マイクロレンズ、１０ｃ…カラーフィルターアレイ、１０ｄ…ＨＤＲセンサー、１０ｄ…駆動回路、１０ｆ…読出回路、２０…画像処理装置、２１…プリプロセス部、２２〜２４…遅延部、２５…色測光部、２６…ＨＤＲ本線処理部、３０…ＨＤＲ線形処理部、３０ａ…合成処理部、３０ｂ…色処理部、３１…ＷＢ調整部、３１ａ，３１ｂ…乗算器、３２…レベル補正処理部、４０…色情報抽出部、４１…光源情報推定部、４１ａ…色情報→光源情報変換部、４１ｂ…光源情報記憶部、４２…ＷＢゲイン設定部、４２ａ…光源情報→ＷＢゲイン変換部、４２ｂ…ゲイン情報記憶部、６０…色分離器、６１ａ〜６１ｃ…加算器、６２ａ…Ｒ出力用レジスター、６２ｂ…Ｇ出力用レジスター、６２ｃ…Ｂ出力用レジスター、７０，７１…正規化ゲイン算出部、７２，７３…正規化部、７４…合成重み算出部、７５〜７７…重み付け部、７８…合成部
【図１】
0005699482.tif 000002
【図２】
0005699482.tif 000003
【図３】
0005699482.tif 000004
【図４】
0005699482.tif 000005
【図５】
0005699482.tif 000006
【図６】
0005699482.tif 000007
【図７】
0005699482.tif 000008
【図８】
0005699482.tif 000009
【図９】
0005699482.tif 000010
【図１０】
0005699482.tif 000011
【図１１】
0005699482.tif 000012
【図１２】
0005699482.tif 000013
【図１３】
0005699482.tif 000014
【図１４】
0005699482.tif 000015
【図１５】
0005699482.tif 000016