(57)【要約】【課題】画像の被写体輝度レベルに応じた階調補正を実行する簡易な構成を持つ撮像装置、画像処理装置を提供する。【解決手段】例えば撮像装置において主要被写体の輝度レベルを調整する露出制御によって撮影された画像の補正を行なう構成において、輝度対応の限定された数の階調補正特性データから撮影画像の被写体輝度に対応するデータを選択して階調補正を行なう。具体的には、撮影画像の主要被写体の平均輝度が含まれる領域に対応して設定された階調補正特性を適用して補正処理を行なう。本構成により、例えば撮像装置におけるデシタル信号処理部（ＤＳＰ）の回路規模を増大させることなく、また補正処理を迅速に効率的に実行することができる。【選択図】図１１
2008131530.tif 000002
【特許請求の範囲】
【請求項１】
画像撮影処理を行なう撮像装置において、
撮像装置における撮影画像の補正処理を実行するデジタル信号処理部を有し、
前記デジタル信号処理部は、
撮影画像の被写体平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする撮像装置。
【請求項２】
前記デジタル信号処理部は、
輝度に応じて区分した輝度領域に対応する階調補正特性データを保持し、撮影画像の被写体平均輝度が含まれる輝度領域を判定し、撮影画像の被写体平均輝度が含まれる輝度領域に対応して設定された階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、さらに、
自動露出制御を実行する制御部を有し、
前記制御部は、
撮像装置において取得される画像データに基づいて、被写体の平均輝度および輝度分布範囲を算出し、算出した被写体輝度分布範囲と、被写体対応の必要階調数とに基づいて、被写体の最適平均輝度レベルを決定し、撮影画像における被写体が前記最適平均輝度レベルを持つように露出制御を実行する構成であり、
前記デジタル信号処理部は、
前記制御部の露出制御に基づく撮影画像の補正処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御部は、
撮像装置の取得画像データから主要被写体を判別し、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、主要被写体の最適平均輝度レベルを決定し、撮影画像における主要被写体が前記最適平均輝度レベルを持つように露出制御を実行する構成であり、
前記デジタル信号処理部は、
撮影画像に含まれる主要被写体の平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御部は、
被写体の平均輝度＝ＹＭ、
被写体の輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
白とびの判断をする輝度閾値（スレッショルドレベル）である白とび閾値を、
白とび閾値＝ＴＨ、
被写体対応の必要階調数＝Ｍ、
としたとき、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・式Ａ、
上記式Ａを満足するように、被写体の最適平均輝度レベルＹＭを決定し、撮影画像における被写体が前記最適平均輝度レベルＹＭを持つように露出制御を実行する構成であり、
前記デジタル信号処理部は、
前記制御部の露出制御に基づく撮影画像の補正処理を実行する構成であることを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記制御部は、
撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、
前記式Ａを満足し、かつ前記白とび面積［ＳＨ］と、前記黒つぶれ面積［ＳＬ］の総計が最小値となるように前記最適平均輝度レベル［ＹＭ］を設定する露出制御を行う構成であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記デジタル信号処理部は、
撮影画像の被写体の平均輝度レベルを補正画像の輝度分布の最適値に設定する階調補正処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記デジタル信号処理部は、
輝度に応じて区分した１以上のｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）と、撮影画像の被写体平均輝度ＹＭとに基づくゲイン（Ｙｎ／ＹＭ）を撮影画像に乗じた後、前記輝度領域に対応する代表輝度値Ｙｎを基準として生成された階調補正特性による階調補正処理を実行する構成を有することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記デジタル信号処理部は、
輝度に応じて区分したｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）を基準として生成された階調補正特性ｆｎを保持し、撮影画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍ（ただし１≦ｍ≦ｋ）に対応する２つの階調補正特性ｆｎとｆｍとに基づいて新たな階調補正特性ｆｎｍを生成し、生成した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記デジタル信号処理部は、
撮影画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍに対応する２つの階調補正特性ｆｎとｆｍとに対応する入出力値グラフにおいて、入力値軸方向の距離を（ＹＭ−Ｙｎ）：（Ｙｍ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｎｍとして設定して、設定した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記デジタル信号処理部は、
撮影画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最低輝度領域に対応する代表輝度値Ｙ１以下である場合、代表輝度値Ｙ１に対応する階調補正特性ｆ１に対応する入出力値グラフと、入力値＝０とした直線データとに基づいて、ＹＭ：（Ｙ１−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆ０１として設定して、設定した階調補正特性ｆ０１を適用した階調補正処理を実行する構成を有することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記デジタル信号処理部は、
撮影画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最高輝度領域に対応する代表輝度値Ｙｋより大きい場合、代表輝度値Ｙｋに対応する階調補正特性ｆｋに対応する入出力値グラフと、入力値＝ＹＭＡＸとした直線データとに基づいて、（ＹＭ−Ｙｋ）：（ＹＭＡＸ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｋｋ＋１として設定して、設定した階調補正特性ｆｋｋ＋１を適用した階調補正処理を実行する構成を有することを特徴とする請求項９に記載の撮像装置。
【請求項１３】
画像処理装置であり、
画像の補正処理を実行する画像信号処理部を有し、
前記画像信号処理部は、
補正対象画像の被写体平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする画像処理装置。
【請求項１４】
前記画像信号処理部は、
輝度に応じて区分した輝度領域に対応する階調補正特性データを保持し、補正対象画像の被写体平均輝度が含まれる輝度領域を判定し、補正対象画像の被写体平均輝度が含まれる輝度領域に対応して設定された階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記画像信号処理部は、
補正対象画像に含まれる主要被写体の平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記画像信号処理部は、
補正対象画像の被写体の平均輝度レベルを補正画像の輝度分布の最適値に設定する階調補正処理を実行する構成であることを特徴とする請求項１３に記載の画像処理装置。
【請求項１７】
前記画像信号処理部は、
輝度に応じて区分した１以上のｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）と、補正対象画像の被写体平均輝度ＹＭとに基づくゲイン（Ｙｎ／ＹＭ）を補正対象画像に乗じた後、前記輝度領域に対応する代表輝度値Ｙｎを基準として生成された階調補正特性による階調補正処理を実行する構成を有することを特徴とする請求項１３に記載の画像処理装置。
【請求項１８】
前記画像信号処理部は、
輝度に応じて区分したｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）を基準として生成された階調補正特性ｆｎを保持し、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍ（ただし１≦ｍ≦ｋ）に対応する２つの階調補正特性ｆｎとｆｍとに基づいて新たな階調補正特性ｆｎｍを生成し、生成した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする請求項１３に記載の画像処理装置。
【請求項１９】
前記画像信号処理部は、
補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍに対応する２つの階調補正特性ｆｎとｆｍとに対応する入出力値グラフにおいて、入力値軸方向の距離を（ＹＭ−Ｙｎ）：（Ｙｍ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｎｍとして設定して、設定した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記画像信号処理部は、
補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最低輝度領域に対応する代表輝度値Ｙ１以下である場合、代表輝度値Ｙ１に対応する階調補正特性ｆ１に対応する入出力値グラフと、入力値＝０とした直線データとに基づいて、ＹＭ：（Ｙ１−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆ０１として設定して、設定した階調補正特性ｆ０１を適用した階調補正処理を実行する構成を有することを特徴とする請求項１８に記載の画像処理装置。
【請求項２１】
前記画像信号処理部は、
補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最高輝度領域に対応する代表輝度値Ｙｋより大きい場合、代表輝度値Ｙｋに対応する階調補正特性ｆｋに対応する入出力値グラフと、入力値＝ＹＭＡＸとした直線データとに基づいて、（ＹＭ−Ｙｋ）：（ＹＭＡＸ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｋｋ＋１として設定して、設定した階調補正特性ｆｋｋ＋１を適用した階調補正処理を実行する構成を有することを特徴とする請求項１８に記載の画像処理装置。
【請求項２２】
画像処理装置において画像補正処理を実行する画像処理方法であり、
画像信号処理部が、
補正対象画像の被写体平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう画像補正ステップを実行することを特徴とする画像処理方法。
【請求項２３】
前記画像補正ステップは、
輝度に応じて区分した輝度領域に対応する階調補正特性データを保持し、補正対象画像の被写体平均輝度が含まれる輝度領域を判定し、撮影画像の被写体平均輝度が含まれる輝度領域に対応して設定された階調補正特性による階調補正処理を実行して補正画像の生成を行なうステップであることを特徴とする請求項２２に記載の画像処理方法。
【請求項２４】
前記画像補正ステップは、
補正対象画像に含まれる主要被写体の平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なうステップであることを特徴とする請求項２２に記載の画像処理方法。
【請求項２５】
前記画像補正ステップは、
補正対象画像の被写体の平均輝度レベルを補正画像の輝度分布の最適値に設定する階調補正処理を実行するステップであることを特徴とする請求項２２に記載の画像処理方法。
【請求項２６】
前記画像補正ステップは、
輝度に応じて区分した１以上のｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）と、補正対象画像の被写体平均輝度ＹＭとに基づくゲイン（Ｙｎ／ＹＭ）を補正対象画像に乗じた後、前記輝度領域に対応する代表輝度値Ｙｎを基準として生成された階調補正特性による階調補正処理を実行するステップであることを特徴とする請求項２２に記載の画像処理方法。
【請求項２７】
前記画像補正ステップは、
輝度に応じて区分したｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）を基準として生成された階調補正特性ｆｎを保持し、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍ（ただし１≦ｍ≦ｋ）に対応する２つの階調補正特性ｆｎとｆｍとに基づいて新たな階調補正特性ｆｎｍを生成し、生成した階調補正特性ｆｎｍを適用した階調補正処理を実行するステップであることを特徴とする請求項２２に記載の画像処理方法。
【請求項２８】
前記画像補正ステップは、
補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍに対応する２つの階調補正特性ｆｎとｆｍとに対応する入出力値グラフにおいて、入力値軸方向の距離を（ＹＭ−Ｙｎ）：（Ｙｍ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｎｍとして設定して、設定した階調補正特性ｆｎｍを適用した階調補正処理を実行するステップであることを特徴とする請求項２７に記載の画像処理方法。
【請求項２９】
前記画像補正ステップは、
補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最低輝度領域に対応する代表輝度値Ｙ１以下である場合、代表輝度値Ｙ１に対応する階調補正特性ｆ１に対応する入出力値グラフと、入力値＝０とした直線データとに基づいて、ＹＭ：（Ｙ１−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆ０１として設定して、設定した階調補正特性ｆ０１を適用した階調補正処理を実行するステップであることを特徴とする請求項２７に記載の画像処理方法。
【請求項３０】
前記画像補正ステップは、
補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最高輝度領域に対応する代表輝度値Ｙｋより大きい場合、代表輝度値Ｙｋに対応する階調補正特性ｆｋに対応する入出力値グラフと、入力値＝ＹＭＡＸとした直線データとに基づいて、（ＹＭ−Ｙｋ）：（ＹＭＡＸ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｋｋ＋１として設定して、設定した階調補正特性ｆｋｋ＋１を適用した階調補正処理を実行するステップであることを特徴とする請求項２７に記載の画像処理方法。
【請求項３１】
画像処理装置において画像補正処理を実行させるコンピュータ・プログラムであり、
画像信号処理部に、補正対象画像の被写体平均輝度に応じて適用する階調補正特性を選択させ、選択した階調補正特性による階調補正処理を実行させて補正画像の生成を行なわせる画像補正ステップを実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムに関し、撮影画像の補正処理を行う撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに、詳細には、撮像装置において被写体の白とびや黒つぶれを削減する露出制御を行って撮影された画像の補正処理を行う撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
例えばデジタルスチルカメラ等の撮像装置には、一般的に、自動的に露光量を調整するＡＥ（自動露出）機能が設けられている。露出制御は、視野内の光量を測光し、その測光結果に基づき、レンズの開口度、電子シャッタ量及び撮像素子から出力される電気信号の利得を調整することにより行われる。
【０００４】
光量の測光は専用のセンサを用いるものや、撮像素子の出力信号を用いるものがある。光量を測定する方式としては、画面全体の平均の輝度を測定する全面平均測光方式、画面内の中央部分の輝度を重点的に測定する中央部重点測光方式、画面内を分割してそれぞれの領域で平均の輝度を測定する多分割測光方式、画面内の任意の位置の輝度を測定するスポット測光方式等がある。
【０００５】
さらに測光性能を改善する方法を開示した従来技術として、例えば特許文献１（特開２００３−１５８６７３号公報）がある。この特許文献１は、撮影画像から輝度レベルに対する画素の度数を示すヒストグラムを生成し、生成したヒストグラムに基づいて撮影画像の特徴を検出し、その特徴に応じて露出制御量を補正する方法を開示している。
【０００６】
この露出制御手法は、画面内の主要被写体が最適露光量になるように制御することを基本とし、白とびや黒つぶれが多く発生するような特殊な画像においてその程度を軽減するように露光量を補正することで輝度再現のダイナミックレンジを拡大するものである。しかしながら、補正量の制限がないため画像によっては過補正になる可能性がある。さらに、あまり大きな補正をすると白とびや黒つぶれが軽減される反面で主要被写体の露光量が最適値から大きく外れてしまうという問題がある。
【０００７】
また、白とびや黒つぶれが軽減させるための露出制御を行って撮影された画像は、被写体の輝度分布が、本来の輝度分布とずれる場合があり、この補正処理、すなわち画素値変換を行なうことが必要となる場合がある。この画像補正処理を行なう場合、様々な画像に応じた最適な変換処理を選択的に実行することが望ましいが、撮像装置のような小型化、処理の迅速化が要求される装置においては、多くの計算を要する処理を実行させることや、多数の変換テーブルを格納させることは、装置の大型化、コストアップの要因となり好ましくない。
【特許文献１】特開２００３−１５８６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、例えば上述のような問題点を解決するものであり、撮像装置において被写体の白とびや黒つぶれを削減する露出制御を行って撮影された画像の補正処理を、簡易な構成で、迅速に実行することを可能とした撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、
画像撮影処理を行なう撮像装置において、
撮像装置における撮影画像の補正処理を実行するデジタル信号処理部を有し、
前記デジタル信号処理部は、
撮影画像の被写体平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする撮像装置にある。
【００１０】
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、輝度に応じて区分した輝度領域に対応する階調補正特性データを保持し、撮影画像の被写体平均輝度が含まれる輝度領域を判定し、撮影画像の被写体平均輝度が含まれる輝度領域に対応して設定された階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする。
【００１１】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、自動露出制御を実行する制御部を有し、前記制御部は、撮像装置において取得される画像データに基づいて、被写体の平均輝度および輝度分布範囲を算出し、算出した被写体輝度分布範囲と、被写体対応の必要階調数とに基づいて、被写体の最適平均輝度レベルを決定し、撮影画像における被写体が前記最適平均輝度レベルを持つように露出制御を実行する構成であり、前記デジタル信号処理部は、前記制御部の露出制御に基づく撮影画像の補正処理を実行する構成であることを特徴とする。
【００１２】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、撮像装置の取得画像データから主要被写体を判別し、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、主要被写体の最適平均輝度レベルを決定し、撮影画像における主要被写体が前記最適平均輝度レベルを持つように露出制御を実行する構成であり、前記デジタル信号処理部は、撮影画像に含まれる主要被写体の平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする。
【００１３】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、
被写体の平均輝度＝ＹＭ、
被写体の輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
白とびの判断をする輝度閾値（スレッショルドレベル）である白とび閾値を、
白とび閾値＝ＴＨ、
被写体対応の必要階調数＝Ｍ、
としたとき、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・式Ａ、
上記式Ａを満足するように、被写体の最適平均輝度レベルＹＭを決定し、撮影画像における被写体が前記最適平均輝度レベルＹＭを持つように露出制御を実行する構成であり、前記デジタル信号処理部は、前記制御部の露出制御に基づく撮影画像の補正処理を実行する構成であることを特徴とする。
【００１４】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、前記式Ａを満足し、かつ前記白とび面積［ＳＨ］と、前記黒つぶれ面積［ＳＬ］の総計が最小値となるように前記最適平均輝度レベル［ＹＭ］を設定する露出制御を行う構成であることを特徴とする。
【００１５】
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、撮影画像の被写体の平均輝度レベルを補正画像の輝度分布の最適値に設定する階調補正処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、輝度に応じて区分した１以上のｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）と、撮影画像の被写体平均輝度ＹＭとに基づくゲイン（Ｙｎ／ＹＭ）を撮影画像に乗じた後、前記輝度領域に対応する代表輝度値Ｙｎを基準として生成された階調補正特性による階調補正処理を実行する構成を有することを特徴とする。
【００１７】
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、輝度に応じて区分したｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）を基準として生成された階調補正特性ｆｎを保持し、撮影画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍ（ただし１≦ｍ≦ｋ）に対応する２つの階調補正特性ｆｎとｆｍとに基づいて新たな階調補正特性ｆｎｍを生成し、生成した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、撮影画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍに対応する２つの階調補正特性ｆｎとｆｍとに対応する入出力値グラフにおいて、入力値軸方向の距離を（ＹＭ−Ｙｎ）：（Ｙｍ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｎｍとして設定して、設定した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする。
【００１９】
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、撮影画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最低輝度領域に対応する代表輝度値Ｙ１以下である場合、代表輝度値Ｙ１に対応する階調補正特性ｆ１に対応する入出力値グラフと、入力値＝０とした直線データとに基づいて、ＹＭ：（Ｙ１−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆ０１として設定して、設定した階調補正特性ｆ０１を適用した階調補正処理を実行する構成を有することを特徴とする。
【００２０】
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、撮影画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最高輝度領域に対応する代表輝度値Ｙｋより大きい場合、代表輝度値Ｙｋに対応する階調補正特性ｆｋに対応する入出力値グラフと、入力値＝ＹＭＡＸとした直線データとに基づいて、（ＹＭ−Ｙｋ）：（ＹＭＡＸ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｋｋ＋１として設定して、設定した階調補正特性ｆｋｋ＋１を適用した階調補正処理を実行する構成を有することを特徴とする。
【００２１】
さらに、本発明の第２の側面は、
画像処理装置であり、
画像の補正処理を実行する画像信号処理部を有し、
前記画像信号処理部は、
補正対象画像の被写体平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする画像処理装置にある。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、輝度に応じて区分した輝度領域に対応する階調補正特性データを保持し、補正対象画像の被写体平均輝度が含まれる輝度領域を判定し、補正対象画像の被写体平均輝度が含まれる輝度領域に対応して設定された階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、補正対象画像に含まれる主要被写体の平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう構成を有することを特徴とする。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、補正対象画像の被写体の平均輝度レベルを補正画像の輝度分布の最適値に設定する階調補正処理を実行する構成であることを特徴とする。
【００２５】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、輝度に応じて区分した１以上のｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）と、補正対象画像の被写体平均輝度ＹＭとに基づくゲイン（Ｙｎ／ＹＭ）を補正対象画像に乗じた後、前記輝度領域に対応する代表輝度値Ｙｎを基準として生成された階調補正特性による階調補正処理を実行する構成を有することを特徴とする。
【００２６】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、輝度に応じて区分したｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）を基準として生成された階調補正特性ｆｎを保持し、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍ（ただし１≦ｍ≦ｋ）に対応する２つの階調補正特性ｆｎとｆｍとに基づいて新たな階調補正特性ｆｎｍを生成し、生成した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする。
【００２７】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍに対応する２つの階調補正特性ｆｎとｆｍとに対応する入出力値グラフにおいて、入力値軸方向の距離を（ＹＭ−Ｙｎ）：（Ｙｍ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｎｍとして設定して、設定した階調補正特性ｆｎｍを適用した階調補正処理を実行する構成を有することを特徴とする。
【００２８】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最低輝度領域に対応する代表輝度値Ｙ１以下である場合、代表輝度値Ｙ１に対応する階調補正特性ｆ１に対応する入出力値グラフと、入力値＝０とした直線データとに基づいて、ＹＭ：（Ｙ１−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆ０１として設定して、設定した階調補正特性ｆ０１を適用した階調補正処理を実行する構成を有することを特徴とする。
【００２９】
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最高輝度領域に対応する代表輝度値Ｙｋより大きい場合、代表輝度値Ｙｋに対応する階調補正特性ｆｋに対応する入出力値グラフと、入力値＝ＹＭＡＸとした直線データとに基づいて、（ＹＭ−Ｙｋ）：（ＹＭＡＸ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｋｋ＋１として設定して、設定した階調補正特性ｆｋｋ＋１を適用した階調補正処理を実行する構成を有することを特徴とする。
【００３０】
さらに、本発明の第３の側面は、
画像処理装置において画像補正処理を実行する画像処理方法であり、
画像信号処理部が、
補正対象画像の被写体平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう画像補正ステップを実行することを特徴とする画像処理方法にある。
【００３１】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、輝度に応じて区分した輝度領域に対応する階調補正特性データを保持し、補正対象画像の被写体平均輝度が含まれる輝度領域を判定し、撮影画像の被写体平均輝度が含まれる輝度領域に対応して設定された階調補正特性による階調補正処理を実行して補正画像の生成を行なうステップであることを特徴とする。
【００３２】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、補正対象画像に含まれる主要被写体の平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なうステップであることを特徴とする。
【００３３】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、補正対象画像の被写体の平均輝度レベルを補正画像の輝度分布の最適値に設定する階調補正処理を実行するステップであることを特徴とする。
【００３４】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、輝度に応じて区分した１以上のｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）と、補正対象画像の被写体平均輝度ＹＭとに基づくゲイン（Ｙｎ／ＹＭ）を補正対象画像に乗じた後、前記輝度領域に対応する代表輝度値Ｙｎを基準として生成された階調補正特性による階調補正処理を実行するステップであることを特徴とする。
【００３５】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、輝度に応じて区分したｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）を基準として生成された階調補正特性ｆｎを保持し、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍ（ただし１≦ｍ≦ｋ）に対応する２つの階調補正特性ｆｎとｆｍとに基づいて新たな階調補正特性ｆｎｍを生成し、生成した階調補正特性ｆｎｍを適用した階調補正処理を実行するステップであることを特徴とする。
【００３６】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍに対応する２つの階調補正特性ｆｎとｆｍとに対応する入出力値グラフにおいて、入力値軸方向の距離を（ＹＭ−Ｙｎ）：（Ｙｍ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｎｍとして設定して、設定した階調補正特性ｆｎｍを適用した階調補正処理を実行するステップであることを特徴とする。
【００３７】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最低輝度領域に対応する代表輝度値Ｙ１以下である場合、代表輝度値Ｙ１に対応する階調補正特性ｆ１に対応する入出力値グラフと、入力値＝０とした直線データとに基づいて、ＹＭ：（Ｙ１−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆ０１として設定して、設定した階調補正特性ｆ０１を適用した階調補正処理を実行するステップであることを特徴とする。
【００３８】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最高輝度領域に対応する代表輝度値Ｙｋより大きい場合、代表輝度値Ｙｋに対応する階調補正特性ｆｋに対応する入出力値グラフと、入力値＝ＹＭＡＸとした直線データとに基づいて、（ＹＭ−Ｙｋ）：（ＹＭＡＸ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｋｋ＋１として設定して、設定した階調補正特性ｆｋｋ＋１を適用した階調補正処理を実行するステップであることを特徴とする。
【００３９】
さらに、本発明の第４の側面は、
画像処理装置において画像補正処理を実行させるコンピュータ・プログラムであり、
画像信号処理部に、補正対象画像の被写体平均輝度に応じて適用する階調補正特性を選択させ、選択した階調補正特性による階調補正処理を実行させて補正画像の生成を行なわせる画像補正ステップを実行させることを特徴とするコンピュータ・プログラムにある。
【００４０】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４２】
本発明の一実施例の構成によれば、例えば、撮影画像における主要被写体が最適平均輝度レベルを持つような露出制御を実行して撮影された画像の補正を行なう構成において、限定した数の階調補正特性データから、主要被写体輝度に対応するデータを選択して階調補正を行なう。具体的には、例えば撮影画像の主要被写体の平均輝度が含まれる領域に対応して設定された階調補正特性を選択適用して補正処理を行なう。本構成により、例えば撮像装置におけるデシタル信号処理部（ＤＳＰ）の回路規模を複雑化させることなく画像に応じた最適な画像補正が可能となり、また補正処理を迅速に効率的に実行することができる。
【発明を実施するための最良の形態】
【００４３】
以下、図面を参照しながら本発明の撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムの詳細について説明する。説明は、以下の項目について順次行なう。
１．撮像装置の全体構成および撮影処理の概要について
２．自動露出制御処理について
３．階調補正処理を実現する簡略化構成について
４．画像補正を実行する画像処理装置構成について
【００４４】
［１．撮像装置の全体構成および撮影処理の概要について］
まず、図１、図２を参照して、本発明の撮像装置の全体構成および撮影処理の概要について説明する。図１は、本発明の撮像装置の一実施例としての撮像装置（デジタルカメラ）１０の外観を示す図である。図１（ａ）は、撮像装置１０の上面図、（ｂ）は正面図、（ｃ）は背面図である。（ａ）上面図のレンズ部分は断面図として示してある。
【００４５】
撮像装置１０は、電源スイッチ１１、画像取り込みタイミングを設定するトリガ手段、すなわちシャッタとして機能するレリーズスイッチ１２、撮像装置によって撮影される画像（スルー画像）や操作情報などを表示するモニタ１３、撮像素子（例えばＣＣＤ）としてのイメージャ１４、各種の操作情報を入力する操作ボタン１５、撮像装置によって取得される画像（スルー画像）を確認するためのビューファインダ１６、フォーカス調整において駆動されるフォーカスレンズ１７、ズーム調整に際して駆動されるズームレンズ１８、撮影モードを設定するためのモードダイアル１９、フォーカスレンズ１７を駆動するためのフォーカスレンズモータ（Ｍ１）２１、ズームレンズ１８を駆動するためのズームレンズモータ（Ｍ２）２２、露出制御の際に駆動される絞り羽根２５、絞り羽根を駆動する絞り駆動部２６、および、ストロボ発光手段３１を有する。
【００４６】
被写体画像は、ビューファインダ１６およびモニタ１３に表示される。ビューファインダ１６およびモニタ１３は例えばＬＣＤによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１６またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッタとしてのレリーズスイッチ１２を押すことで画像の記録処理が実行されることになる。
【００４７】
図２を参照して本発明の一実施例に係る撮像装置（デジタルカメラ）１００の内部構成について説明する。撮像装置１００は、図２に示すように、レンズ部１０１と、ＣＣＤ１０２と、タイミング信号発生回路（ＴＧ）１０３と、サンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ：Ｓａｍｐｌｉｎｇ  Ｈｏｌｄ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路等から構成されるアナログ信号処理部１０４と、Ａ／Ｄコンバータ１０５と、デジタル信号処理部（ＤＳＰ）１０６と、モニタ１０７、ビューファインダ１０８、記録デバイス１０９、検波部１１０、シャッタ等の操作部１１５、シャッタ判定部１１６、制御部１２０を備えている。
【００４８】
ＣＣＤ１０２は、レンズ部１０１を介して受光面に結像された被写体の撮像光を、画素毎に電気信号に変換し、画像信号を出力する。ＣＣＤ１０２により蓄積された画像信号は、所定のタイミング（画像更新周期）で、アナログ信号処理部１０４に供給され、アナログ信号処理部１０４においてノイズ除去、ゲイン制御等のアナログ信号処理が施される。これらの処理回路として、アナログ信号処理部１０４は、サンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ）回路を備えている。
【００４９】
タイミング信号発生回路１０３は、ＣＣＤ１０２が１画面毎の画像信号の読み出しに必要とする各種の駆動パルス、並びに、ＣＣＤ１０２に蓄積される電荷の蓄積時間を制御する電子シャッタパルスを発生する。タイミング信号発生回路１０３から発生された各種パルスは、ＣＣＤ１０２に供給され、画像信号の撮像処理や出力処理のタイミング信号として用いられる。また、タイミング信号発生回路１０３は、操作部１１５に構成される電子シャッタのシャッタスピードを、制御部１２０からの制御命令に従い制御する。
【００５０】
サンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ）回路を備えたアナログ信号処理部１０４は、ＣＣＤ１０２から供給された画像信号に対して、サンプリング処理や増幅処理等のアナログ処理を行う。Ｓ／Ｈ・ＧＣ回路から出力されたアナログの画像信号は、Ａ／Ｄコンバータ１０５に供給される。また、ＣＣＤ１０２から供給された画像信号の増幅度は、制御部１２０により制御される。
【００５１】
Ａ／Ｄコンバータ１０５は、アナログ信号処理部１０４から供給されたアナログの画像信号を所定のサンプリングレートでサンプリングして、デジタルの画像信号に変換する。Ａ／Ｄコンバータ１０５から出力されたデジタル画像信号は、デジタル信号処理部（ＤＳＰ）１０６に供給されるとともに、ＲＡＷ画像記録モードにおいては記録デバイス１０９にも供給される。
【００５２】
デジタル信号処理部（ＤＳＰ）１０６は、Ａ／Ｄコンバータ１０５から供給されたデジタル画像信号から、例えば、ＮＴＳＣフォーマットや記録メディアに必要なフォーマット等のデジタルの映像信号を生成し、外部に出力する。デジタル信号処理部（ＤＳＰ）１０６は、フレーミング時には、デジタル画像信号から表示画像信号を生成し、モニタ１０７やビューファインダ１０８に供給する。デジタル信号処理部（ＤＳＰ）１０６は、静止画像撮像時には、デジタル画像信号から１枚の静止画像信号を生成し、それを圧縮等した後、記録デバイス１０９に供給する。これらの信号処理において露出制御結果情報に基づき階調補正を行うが、この詳細については後述する。
【００５３】
モニタ１０７やビューファインダ１０８は、例えば液晶パネル等から構成された電子式の表示装置であり、フレーミング時に、デジタル信号処理部（ＤＳＰ）１０６から表示画像信号が入力され、その画像信号を表示する。
【００５４】
記録デバイス１０９は静止画像撮像時に例えばメモリカード等の記憶メディアに画像信号を記録するが、画像記録モードによって動作が異なる。通常画像記録モードではデジタル信号処理部（ＤＳＰ）１０６から供給される静止画像信号を記録し、ＲＡＷ画像記録モードではＡ／Ｄコンバータ１０５から供給されるＲＡＷ画像信号を記録する。ＲＡＷ画像記録モードにおいてはＲＡＷ画像信号とともにデジタル信号処理部（ＤＳＰ）１０６から供給される静止画像信号を記録してもよい。
【００５５】
検波部１１０は、デジタル信号処理部（ＤＳＰ）１０６から供給される映像信号から、オートフォーカス（ＡＦ）、自動露出（ＡＥ）等に必要となる各種検波信号を生成する。各種検波信号は、制御部１２０により例えば１フレーム毎に読み出される。制御部１２０は、ＣＰＵ１２１，メモリ１２２を備え、読み出した各種検波信号に基づき、適切な画像が撮像できるようにレンズ部１０１等を制御する。
【００５６】
具体的な検波部１１０が検出する検波信号としては、例えばオートフォーカスに関する検波信号や自動露出制御に関する検波信号等がある。検波部１１０は、オートフォーカスに関する検波信号として、撮像画像上の所定の位置に設定されたＡＦ検波エリア内における輝度のエッジ成分を検出し、そのエッジ成分を積算して得られるコントラスト値を出力する。また、検波部１１０は、自動露出制御に関する検波信号として、主要被写体の平均輝度と輝度分布範囲および画像全体における白とび部分の面積と黒つぶれ部分の面積を制御部１２０に出力する。
【００５７】
制御部１２０はこれらのデータから主要被写体の階調が十分取れる範囲で白とび、黒つぶれが最小限になるように露出制御を行う。なお、この露出制御に関する詳細については後段において説明する。また、上記各種検波信号は検波部１１０で得られるとしたが、検波部１１０の代わりに別途光学センサを設けて検出する構成としてもよい。検波部や光学センサを制御部１２０の構成用素として、制御部において検波処理、すなわち、主要被写体の平均輝度と輝度分布範囲および画像全体における白とび部分の面積と黒つぶれ部分の面積の算出処理を実行する構成としてもよい。
【００５８】
操作部１１５は、例えばシャッタレリーズスイッチを含む。シャッタレリーズスイッチは、例えばユーザにより操作されるモーメンタリ型の押圧スイッチである。このシャッタレリーズスイッチは、スイッチを全く押さない状態（オフ）と、スイッチを押しきった状態（全押し）と、スイッチを半分程度まで押した状態（半押し）との３つの状態を区別してスイッチングする機能が設けられている。このシャッタレリーズスイッチの３つの押圧状態（オフ、半押し、全押し）は、シャッタ判定部１１６により判別がされ、その判別情報が制御部１２０に供給される。
【００５９】
レンズ部１０１は、ズームレンズ１３１と、フォーカスレンズ１３２と、絞り羽根１３３と、絞り羽根１３３を駆動する絞り羽根駆動部１３４とを備えている。また、レンズ部１０１は、これらの他に、例えば、入射光の赤外線をカットする赤外カットフィルタ、入射光を遮光するシャッタ羽根等の光学系や、ズームレンズ１３１を駆動するズームレンズ駆動部、フォーカスレンズを駆動するフォーカスレンズ駆動部、シャッタ羽根を駆動するシャッタ駆動部等も備えている。
【００６０】
レンズ部１０１内のズームレンズ１３１は、その光軸が、ＣＣＤ１０２の受光面の略中心から延ばした鉛直線と一致する位置に設けられている。ズームレンズ１３１は、光軸上を前後に直線移動可能に設けられ、その移動位置に応じてＣＣＤ１０２の受光面上の結像画像の撮像倍率を変える。ズームレンズ１３１は、その移動位置が、ズームレンズ駆動部を介して制御部１２０により制御される。
【００６１】
レンズ部１０１内のフォーカスレンズ１３２は、その光軸が、ＣＣＤ１０２の受光面の略中心から延ばした鉛直線と一致する位置に設けられている。フォーカスレンズ１３２は、光軸上を前後に直線移動可能に設けられ、その移動位置に応じてＣＣＤ１０２上の受光面上の結像画像の焦点位置を変える。フォーカスレンズ１３２は、その移動位置が、フォーカスレンズ駆動部を介して制御部１２０により制御される。
【００６２】
絞り羽根１３３は、ＣＣＤ１０２の受光面に結像される撮像光の光量を調整する。絞り羽根１３３は、レンズ部１０１の光学系の光軸を中心とした孔を形成し、その孔径を変化させることにより、光の量を制御する。すなわち、この絞り羽根１３３は、カメラの絞り値（Ｆ値）を制御する。絞り羽根１３３は、その孔径が、絞り駆動部１３４を介して制御部１２０により制御される。
【００６３】
制御部１２０は、撮像装置１００の各部の制御を行う。例えば、操作部１１５を構成するシャッタレリーズスイッチの押圧状態に基づき、フレーミング処理制御（オフ）、オートフォーカス処理制御（半押し）、静止画像記録制御（全押し）を行う。
【００６４】
フレーミング処理とは、画面内の被写体の位置や画面の構図を、ユーザが撮影前に確認することができるように、ＣＣＤ１０２に撮像されている画像をモニタ１０７やビューファインダ１０８に表示する処理である。このフレーミング処理時には、一定の画像更新周期毎（例えば１／３０秒毎）にＣＣＤ１０２が１画面分の撮像処理を行い、撮像して得られた画像信号が出力される。そのため、モニタ１０７やビューファインダ１０８に表示される画像も、一定時間毎（例えば１／３０秒毎）に更新され、ユーザは表示されている撮像画像を、動画で確認することができる。通常ＣＣＤ１０２の画素数よりもモニタ１０７やビューファインダ１０８の画素数が少ないため、フレーミング処理時にはＣＣＤ１０２の出力信号を間引きして出力することで、画像処理の負荷を軽減し滑らかな動画像をモニタ１０７やビューファインダ１０８に表示できる。このフレーミング処理は、撮像装置１００自体が撮影可能な状態になっており、且つ、シャッタレリーズスイッチがオフの状態のとき、つまりユーザがシャッタレリーズスイッチを押していない状態のときに行われる。
【００６５】
オートフォーカス処理とは、静止画の撮像対象となる被写体画像のフォーカスを、自動的に設定する処理である。つまり、オートフォーカス処理は、自動的にフォーカスレンズ１３２の移動位置を調整して、撮像画像のピント調整を行う処理である。撮像装置１００は、フレーミング処理を実行中、シャッタレリーズスイッチの半押し状態の検出がなされると、撮像画像に基づき合焦点位置を検出するオートフォーカス処理を開始する。
【００６６】
具体的には、オートフォーカス処理時に制御部１２０は、フォーカスレンズ１３２を移動させながら各位置におけるこのコントラスト値を検波部１１０から取得し、フォーカスレンズ１３２の各移動位置に対するコントラスト値の増減を判断する。そして、制御部１２０は、そのコントラスト値の増減から、フォーカスレンズ１３２の移動位置に対する画像のフォーカスの合焦の度合いを判断し、もっともその合焦度合いが高い位置にフォーカスレンズ１３２を移動する。
【００６７】
また、この撮像装置１００では、このオートフォーカス処理時に、静止画像記録時の絞り羽根１３３の開度や電子シャッタのスピード等の設定、つまり、カメラの絞り値（Ｆ値）やシャッタスピードの設定も行うことができる。ただし、オートフォーカス時に特別なカメラの絞り値（Ｆ値）やシャッタスピード等を設定する時には、オートフォーカス処理後に静止画像記録時のＦ値やシャッタスピードの再設定を行う。
【００６８】
静止画像撮影処理とは、被写体画像を１画面分撮像して、その１画面分の被写体画像をメディアに記録する処理である。撮像装置１００の制御部１２０は、オートフォーカス処理を完了したのちに、操作部１１５のシャッタレリーズスイッチが全押しされたことを検出すると、フォーカスレンズ１３２の移動位置、並びに、絞り羽根１３３の開度、電子シャッタ時間、及びアナログ信号処理部１０４のＳ／Ｈ・ＧＣの利得を設定して、１画面分の静止画像をＣＣＤ１０２で取り込む。取り込まれた静止画像は、Ａ／Ｄコンバータ１０５によりデジタルの画像信号に変換され、ＲＡＷ画像信号としてメディアに保存されるとともに、デジタル信号処理部（ＤＳＰ）１０６等により圧縮等の処理がされたのち、メディアに保存される。
【００６９】
［２．自動露出制御処理について］
つぎに、本発明の撮像装置において実行する自動露出制御処理について説明をする。
自動露出制御処理は、フレーミング処理時やオートフォーカス処理時において、撮影した被写体画像が最適な露出となるように、図２に示す各構成部の制御を行う。具体的には、
（ａ）絞り羽根１３３の開口度の設定、
（ｂ）ＣＣＤ１０２の電子シャッタスピードの設定、
（ｃ）アナログ信号処理部１０４のサンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ）回路に設定される増幅度（ゲイン値）の設定、
これらの設定を決定して最適な露出制御を行う。
【００７０】
これらの各設定は、制御部１２０の内部メモリ１２２内に格納される露出制御パラメータに応じて制御部１２０の制御の下、実行される。露出制御パラメータに基づく露出制御は、例えば、露出制御パラメータの各値に対する絞り羽根１３３の開口度数、電子シャッタスピード量、画像信号の増幅度数等が示されたテーブルや、露出制御パラメータからこれらのデータを算出する演算数式を用いて行われる。
【００７１】
制御部１２０は、露出制御パラメータの値が大きくなれば画像を明るくする方向に露出を制御し、露出制御パラメータの値が小さくなれば画像を暗くする方向に露出を制御する。つまり、制御部１２０は、
（１）露出制御パラメータが大きくなれば、
（１ａ）絞り羽根１３３の開口度を大きくする（絞り羽根１３３を開く）、
（１ｂ）電子シャッタスピードを遅くする（ＣＣＤ１０２の露光時間を長くする）、
（１ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を大きくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を大きくする）
といった方向に制御をする。
【００７２】
反対に、制御部１２０は、
（２）露出制御パラメータが小さくなれば、
（２ａ）絞り羽根１３３の開口度を小さくする（絞り羽根１３３を閉じる）、
（２ｂ）電子シャッタスピードを早くする（ＣＣＤ１０２の露光時間を短くする）、
（２ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を小さくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を小さくする）
といった方向に制御をする。
【００７３】
制御部１２０の内部メモリ１２２に格納される露出制御パラメータは、検波部１１０で検出された主要被写体の平均輝度と輝度分布範囲および画像全体における白とび部分の面積と黒つぶれ部分の面積に基づき、例えば１フレーム毎に逐次補正がされていく。
【００７４】
主要被写体の検出処理態様としては、様々な手法が適用可能である。例えば、
＊画面の中央部分を主要被写体とする手法、
＊画面を複数領域に分割してその輝度分布から主要被写体を推定する手法、
＊画像のヒストグラムから主要被写体を推定する手法、
＊ユーザが主要被写体を指定する手法、
これらの種々の方法が適用可能である。また、主要被写体を特定せず画面全体を主要被写体として判断した処理を行なう構成としてもよい。
【００７５】
Ａ／Ｄコンバータ１０５の出力データにおける主要被写体の平均輝度を、
平均輝度＝ＹＭ、
主要被写体の輝度分布範囲を、
輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
白とびおよび黒つぶれの判断をする輝度閾値（スレッショルドレベル）をそれぞれ、
白とび閾値＝ＴＨ
黒つぶれ閾値＝ＴＬ
とする。
【００７６】
あるサンプル画像データにおける、上記の各値と画像の輝度分布の関係を示すヒストグラム（度数分布）の一例を図３に示す。図３において横軸が輝度レベルであり、縦軸が、各輝度を持つ画素数に相当する輝度の度数を示している。輝度レベルの横軸には、左から、
黒つぶれ閾値［ＴＬ］、
主要被写体の輝度分布範囲の最低輝度［ａ×ＹＭ］、
主要被写体の輝度分布範囲の最高輝度［ｂ×ＹＭ］、
白とび閾値［ＴＨ］
これらの各輝度値を示している。
【００７７】
輝度分布範囲（ａ×ＹＭ〜ｂ×ＹＭ）にある被写体を良好に再現するために必要な階調数をＭとする。Ｍは想定する主要被写体の種類やノイズのレベルに応じて決定される。被写体表現のために必要な階調数の設定例について、図４を参照して説明する。撮像装置の制御部１２０のメモリには、例えば図４に示すような必要階調数決定テーブルが格納され、制御部１２０は、必要階調数Ｍを撮像装置において取得される画像情報とテーブルとに基づいて必要階調数Ｍを決定する。
【００７８】
必要階調数Ｍは、固定データを適用する構成としてもよいが、［被写体の種類］、［撮影モード］、［被写体の大きさ］、［被写体の重要度］、これらの条件によって変更する構成としてもよい。
【００７９】
１）必要階調数Ｍを被写体の種類によって変える場合は、図４（１）に示すような、被写体の種類に応じた必要階調数決定テーブルを適用する。たとえば、被写体が人物の時は肌色の階調には敏感であること、また人物以外の背景の重要度は低い可能性が高いことから、被写体が人物であると判定された場合には、被写体を重視してＭを大きくする設定とする。例えば、撮像装置に顔認識処理を実行させて、撮像装置において取得された画像から顔認識がなされた場合に、必要階調数Ｍを上げる設定とする。
【００８０】
２）必要階調数Ｍを撮影モードによって変える場合は、図４（２）に示すように撮像装置において設定可能なモードに対応する必要階調数Ｍを設定したテーブルを適用し、設定モードに応じて必要階調数Ｍを決定する。たとえば、ポートレートモードでは被写体が人物の可能性が高いのでＭを大きくする。
【００８１】
３）必要階調数Ｍを被写体の大きさによって変える場合は、図４（３）に示すような、被写体の大きさに応じた必要階調数決定テーブルを適用する。被写体が大きいほど階調変化が認識しやすいこと、また被写体以外の背景の重要度は低い可能性が高いことから被写体が大きくなるほどＭを大きくする。なお、被写体の大きさは、例えば、撮影画像に占める人物領域の大きさであり、前述の顔認識処理構成を撮像装置に備えることで人物の占める領域を算出して被写体の大きさを求めることができる。
【００８２】
４）必要階調数Ｍを被写体の重要度によって変える場合は、図４（４）に示すように被写体の重要度に応じた必要階調数決定テーブルを適用する。主要被写体を重視しそれ以外はあまり考慮しなくて良いという場合には必要階調数Ｍを大きく設定する。このような設定により、背景は白とびしたりする可能性が高くなるが主要被写体の階調表現が良好になる。なお、この重要度情報は、ユーザが操作部を介して入力し、制御部１２０が入力情報と、図４（４）に示すテーブルに基づいて必要階調数Ｍを決定する。
【００８３】
上記のように、必要階調数Ｍは、［被写体の種類］、［撮影モード］、［被写体の大きさ］、［被写体の重要度］、これらの条件の少なくともいずれか、あるいは複合的に適用して決定する構成が可能である。なお、被写体についての様々な条件、すなわち、人物か否か、被写体の大きさ、被写体の重要度は、ユーザが設定する構成としても良い。たとえば被写体が人物であるかどうかを設定したり、被写体の重要度を設定したりして、それに応じてＭの値を制御する構成としてもよい。
【００８４】
このようにして、制御部１２０は、輝度分布範囲（ａ×ＹＭ〜ｂ×ＹＭ）にある被写体を良好に再現するために必要な階調数Ｍを決定する。この必要階調数を確保するためには、
被写体の輝度分布範囲［ａ×ＹＭ〜ｂ×ＹＭ］が必要階調数［Ｍ］以上であればよい。すなわち、
ｂ×ＹＭ−ａ×ＹＭ≧Ｍ・・・（式１）
上記式が満足されればよい。
このとき、上記（式１）の条件が満足され被写体の最低輝度を黒つぶれしない設定（ＴＬ以上）とすれば、主要被写体は黒つぶれしない。また、主要被写体が白とびしないためには、
ｂ×ＹＭ＜ＴＨ・・・（式２）
上記式が満足されればよい。
【００８５】
これらの式１、および式２より、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式３を満足するように露出制御パラメータを制御すれば主要被写体の構成画素を白とびさせず、かつ主要被写体に十分な階調が確保できることとなる。
【００８６】
画像全体において、
白とび部分の面積すなわち輝度がＴＨ以上の部分の面積をＳＨ、
黒つぶれ部分の面積すなわち輝度がＴＬ以下の部分の面積をＳＬとし、
ＳＨ、ＳＬの許容値をＲＨ、ＲＬとする。
上記［式３］を満たす範囲内でＳＨ、ＳＬを最小となるように露出を制御すれば主要被写体の階調を確保した上で最もダイナミックレンジの広い画像が得られる。
【００８７】
具体的な様々な画像のケース各々についての処理について説明する。
（ケース１：白とび面積（ＳＨ）のみが許容値（ＲＨ）より大きい場合）
たとえば白とび面積（ＳＨ）が許容値（ＲＨ）より大きく黒つぶれ面積（ＳＬ）が許容値（ＲＬ）以下（ＳＨ＞ＲＨ、ＳＬ≦ＲＬ）のときは、上述した式３、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が小さくなるように露出制御パラメータを変更する。すなわち、全体として輝度を低下させて白とび面積を減少させる。
【００８８】
（ケース２：黒つぶれ面積（ＳＬ）のみが許容値（ＲＬ）より大きい場合）
白とび面積（ＳＨ）が許容値（ＲＨ）以下で黒つぶれ面積（ＳＬ）のみが許容値（ＲＬ）より大きい（ＳＨ≦ＲＨ、ＳＬ＞ＲＬ）ときは、上述した式３、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更する。すなわち、全体として輝度を高くして黒つぶれ面積を減少させる。
【００８９】
（ケース３：白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値以下の場合）
白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値以下（ＳＨ≦ＲＨ、ＳＬ≦ＲＬ）のときは露出制御パラメータを変更しなくても良いが、白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）の大きい方をより小さくするように露出制御パラメータを変更しても良いし、Ｓ／Ｎ比をより良くするために、上記［式３］の範囲内で主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更しても良い。
【００９０】
（ケース４：白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値より大きい場合）
白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値より大きい（ＳＨ＞ＲＨ、ＳＬ＞ＲＬ）ときは許容値に比べてより大きく離れている方を軽減するように露出制御パラメータを変更する。
たとえば、白とびが目立つ画像、具体的には、
ＳＨ−ＲＨ＞ＳＬ−ＲＬ、
上記の関係式が成立する場合、上記［式３］、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が小さくなるように露出制御パラメータを変更する。すなわち全体輝度を低下させて白とびをめだたなくする。
【００９１】
一方、黒つぶれが目立つ画像、具体的には、
ＳＨ−ＲＨ＜ＳＬ−ＲＬ、
上記の関係式が成立する場合、上記［式３］、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更する。すなわち全体輝度を上げて黒つぶれをめだたなくする。
【００９２】
なお、上記（ケース４）の場合は、適用する比較式（ＳＨ−ＲＨ＞ＳＬ−ＲＬ，ＳＨ−ＲＨ＜ＳＬ−ＲＬ）において両辺に重み付けをしても良い。すなわち、
（ＳＨ−ＲＨ）と（ＳＬ−ＲＬ）
を比較する場合、重み付けパラメータｃ，ｄを適用し、
ｃ×（ＳＨ−ＲＨ）とｄ×（ＳＬ−ＲＬ）
上記の重み付けパラメータを適用した値を算出して比較処理を行なう構成としてもよい。
【００９３】
例えば、白とびを少なくすることを重視するならば、
重み付けパラメータｃ，ｄの設定を、
ｃ＞ｄとし、
黒つぶれを少なくすることを重視するならば、
ｃ＜ｄ
とする。
どちらを重視するかについては、たとえば全体の輝度分布によって決定することが可能である。画像が高輝度に偏っている場合は白とびを重視し、逆ならば黒つぶれを重視する方法がある。前記比較式において差分の代わりに比率（ＳＨ／ＲＨ、ＳＬ／ＲＬ）を用いても良い。
【００９４】
以下、本発明の一実施例に係る撮像装置の実行する露出制御処理の具体的な処理シーケンスについて、図５に示すフローチャートを用いて説明をする。撮像装置では、電源が投入されて動作を開始すると、露出制御処理を、以下のステップＳ１０１から開始する。
【００９５】
ステップＳ１０１では制御部１２０は、内部メモリ１２２内に保持している露出制御パラメータに基づき露出制御を行う。内部メモリ１２２内には、図５に示すフロー制御の開始時には、例えば、予め不揮発性メモリ等にプリセットしておいた露出制御パラメータが格納される。また、本フロー制御が一回以上ループ処理された後には、内部メモリ１２２に前ループにおけるステップＳ１０４での処理で求められた新たな露出制御パラメータが格納される。
【００９６】
なお、露出制御パラメータは、先に説明したように、
（ａ）絞り羽根１３３の開口度の設定値、
（ｂ）電子シャッタスピードの設定値、
（ｃ）ＣＣＤ１０２から出力される画像信号の増幅度、すなわち、Ｓ／Ｈ・ＧＣ回路のゲイン（利得）の設定値、
これらの値であり、制御部１２０は、露出制御パラメータの値が大きくなれば画像を明るくする方向に露出を制御し、露出制御パラメータの値が小さくなれば画像を暗くする方向に露出を制御する。
【００９７】
具体的には、制御部１２０は、
（１）露出制御パラメータが大きくなれば、
（１ａ）絞り羽根１３３の開口度を大きくする（絞り羽根１３３を開く）、
（１ｂ）電子シャッタスピードを遅くする（ＣＣＤ１０２の露光時間を長くする）、
（１ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を大きくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を大きくする）
といった方向に制御を実行し、
（２）露出制御パラメータが小さくなれば、
（２ａ）絞り羽根１３３の開口度を小さくする（絞り羽根１３３を閉じる）、
（２ｂ）電子シャッタスピードを早くする（ＣＣＤ１０２の露光時間を短くする）、
（２ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を小さくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を小さくする）
といった方向に制御をする。
【００９８】
ステップＳ１０２では画面内の主要被写体を検出する。検出方法は前述のように各種の方法がある。すなわち、
＊画面の中央部分を主要被写体とする手法、
＊画面を複数領域に分割してその輝度分布から主要被写体を推定する手法、
＊画像のヒストグラムから主要被写体を推定する手法、
＊ユーザが主要被写体を指定する手法、
これらの種々の方法が適用可能である。また、主要被写体を特定せず画面全体を主要被写体として判断した処理を行なう構成としてもよい。
【００９９】
ステップＳ１０３では、ステップＳ１０２において特定した主要被写体の平均輝度［ＹＭ］、輝度分布範囲［ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）］、および画面全体の白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］を求める。なお、これらの算出処理は、前述したように検波部１１０において実行し、算出結果を制御部１２０に入力する構成としてもよいし、専用の光学センサを用いて、これらの値の算出処理を行なう構成としてもよい。また、検波部や光学センサを制御部の一構成用素として、制御部においてこれらの処理を実行する構成としてもよい。
【０１００】
ステップＳ１０４では、前述の［式３］、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
に示す輝度制御範囲を算出する。なお、前述したように輝度分布範囲（ａ×ＹＭ〜ｂ×ＹＭ）にある被写体を良好に再現するために必要な階調数をＭとする。Ｍは想定する主要被写体の種類やノイズのレベルに応じて決定される。
【０１０１】
ステップＳ１０５では白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］から露出制御パラメータを変更し、制御部１２０の内部メモリ１２２に格納する。ステップＳ１０５の処理の詳細は後に述べる。
制御部１２０は、ステップＳ１０１からステップＳ１０５までの処理を、例えば１フレーム毎に行い、次のフレームに対する処理を行う際には、再度ステップＳ１０１から処理を開始する。
【０１０２】
ステップ１０５における処理、すなわち、白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］から露出制御パラメータを変更し、制御部１２０の内部メモリ１２２に格納する処理の詳細について、図６に示すフローチャートを参照して説明する。図６に示すフローは制御部１２０の処理として実行される露出制御パラメータ決定処理である。
【０１０３】
ステップＳ２０１では白とび面積［ＳＨ］とその許容値［ＲＨ］を比較しＳＨ≦ＲＨならばステップＳ２０２に移り、ＳＨ＞ＲＨならばステップＳ２０３に移る。
ステップＳ２０２では黒つぶれ面積［ＳＬ］とその許容値［ＲＬ］を比較しＳＬ≦ＲＬならばステップＳ２０４に移り、ＳＬ＞ＲＬならば画像を明るくしたほうが良いと判断してステップＳ２０６に移る。
ステップＳ２０３では黒つぶれ面積［ＳＬ］とその許容値［ＲＬ］を比較しＳＬ≦ＲＬならば画像を暗くしたほうが良いと判断してステップＳ２０７に移り、ＳＬ＞ＲＬならばステップＳ２０５に移る。
ステップＳ２０４では白とび面積［ＳＨ］と黒つぶれ面積［ＳＬ］を比較しＳＨ＞ＳＬならば画像を暗くしたほうが良いと判断してステップＳ２０７に移り、ＳＨ＜ＳＬならば画像を明るくしたほうが良いと判断してステップＳ２０６に移り、ＳＨ＝ＳＬならば処理を終了する。
【０１０４】
ステップＳ２０５では白とび面積［ＳＨ］とその許容値［ＲＨ］の差分（ＳＨ−ＲＨ）と黒つぶれ面積［ＳＬ］とその許容値［ＲＬ］の差分（ＳＬ−ＲＬ）を比較しＳＨ−ＲＨ＞ＳＬ−ＲＬならば画像を暗くしたほうが良いと判断してステップＳ２０７に移り、ＳＨ−ＲＨ＜ＳＬ−ＲＬならば画像を明るくしたほうが良いと判断してステップＳ２０６に移り、ＳＨ−ＲＨ＝ＳＬ−ＲＬならば処理を終了する。
【０１０５】
ステップＳ２０６では画像を明るくするために露出制御パラメータを増加させて処理を終了する。この場合、具体的には、制御部１２０は、露出制御パラメータを増加させて、
（１ａ）絞り羽根１３３の開口度を大きくする（絞り羽根１３３を開く）、
（１ｂ）電子シャッタスピードを遅くする（ＣＣＤ１０２の露光時間を長くする）、
（１ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を大きくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を大きくする）
といった方向での露出制御を実行することになる。
【０１０６】
ステップＳ２０７では画像を暗くするために露出制御パラメータを減少させて処理を終了する。この場合、具体的には、制御部１２０は、
（２ａ）絞り羽根１３３の開口度を小さくする（絞り羽根１３３を閉じる）、
（２ｂ）電子シャッタスピードを早くする（ＣＣＤ１０２の露光時間を短くする）、
（２ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を小さくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を小さくする）
といった方向での露出制御を実行することになる。
【０１０７】
主要被写体の輝度分布範囲、すなわち、
輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
は、画像の中で特に良好に再現したい輝度範囲であり、上述した実施例では、主要被写体の輝度分布範囲として処理をおこなってきたが、たとえば主要被写体とその周囲を含む画像の輝度分布範囲とする構成としてもよい。ただしこれらの輝度分布範囲の設定に応じて前述の必要階調数［Ｍ］に最適な値を設定することが必要である。
【０１０８】
本発明の露出制御を実行することによって得られる画像データについて、従来の露出制御方式によって得られる画像データと比較して説明する。以下、画像のタイプ毎に、順次説明する。
【０１０９】
（処理例１．被写体のダイナミックレンジが小さい場合）
まず、被写体のダイナミックレンジが小さい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する。図７は、
（ａ）従来の露出制御によって撮影した画像の輝度分布を示すヒストグラム、
（ｂ）本発明の露出制御を適用して撮影した画像の輝度分布を示すヒストグラム、
である。
なお、（ｂ）に示す画像データは、本発明の撮像装置におけるＡ／Ｄコンバータ１０５の出力画像に相当する。このＡ／Ｄコンバータ１０５の出力画像に対してデジタル信号処理部（ＤＳＰ）１０６において、適宜、補正処理が実行されて最終出力画像が得られる。デジタル信号処理部（ＤＳＰ）１０６において実行する補正処理については後段で説明する。
【０１１０】
なお、図７（ａ）に示す従来方式の画像では主要被写体の平均輝度［ＹＭ］を輝度レベルの中心付近に制御するものとした。この場合、従来方式の図７（ａ）では高輝度部分のデータ、すなわち図７（ａ）に示す輝度領域３０１の高輝度データが存在せずＡ／Ｄコンバータ１０５のダイナミックレンジが無駄になっている。
【０１１１】
一方、本発明に従った露出制御を実行して撮影した画像の輝度分布を示す図７（ｂ）では、黒つぶれ閾値［ＴＬ］〜白とび閾値［ＴＨ］間にデータが存在し、有効にＡ／Ｄコンバータ１０５のダイナミックレンジを利用した画像データが得られる。
【０１１２】
このケースは、先に説明したケース３の場合に相当する。すなわち、先に説明したように、（ケース３：白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値以下の場合）では、露出制御パラメータを変更しなくても良いが、白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）の大きい方をより小さくするように露出制御パラメータを変更しても良いし、Ｓ／Ｎ比をより良くするために、上記［式３］の範囲内で主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更しても良い。
【０１１３】
本処理例は、主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更した例である。この結果、図７（ｂ）に示すように、黒つぶれ閾値［ＴＬ］〜白とび閾値［ＴＨ］間にデータが存在し、有効にＡ／Ｄコンバータ１０５のダイナミックレンジを利用した画像データが得られる。
【０１１４】
（処理例２．被写体のダイナミックレンジが大きい場合）
次に、被写体のダイナミックレンジが大きい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する。図８は、
（ａ）従来の露出制御によって撮影した画像の輝度分布を示すヒストグラム、
（ｂ）本発明の露出制御を適用して撮影した画像の輝度分布を示すヒストグラム、
である。
【０１１５】
図８に示す例は、被写体のダイナミックレンジが大きく、特に高輝度側に大きく広がっていて画像全体の白とび面積が許容値以下に出来ない場合の例である。なお、従来方式では主要被写体の平均輝度［ＹＭ］を輝度レベルの中心付近に制御するものとした。
【０１１６】
図８（ａ）に示す従来方式の露出制御によって得られる画像の輝度分布ヒストグラムでは、白とび面積、すなわち輝度レベルで白とび閾値［ＴＨ］以上の画素数が多くなっているが、図８（ｂ）に示す本発明に従った露出制御を実行して得られる画像の輝度分布ヒストグラムでは白とび面積、すなわち輝度レベルで白とび閾値［ＴＨ］以上の画素数が大幅に小さくなっている。
なお、図８においても、（ｂ）に示す画像データは、Ａ／Ｄコンバータ１０５の出力画像に相当し、デジタル信号処理部（ＤＳＰ）１０６において、さらなる補正処理を行って最終画像を生成して出力する。この処理については後段で説明する。
【０１１７】
この図８に示すケースは、先に説明したケース１の場合に相当する。すなわち、本発明に従った露出制御では、白とび面積（ＳＨ）のみが許容値（ＲＨ）より大きい場合の処理に相当する。白とび面積（ＳＨ）が許容値（ＲＨ）より大きく黒つぶれ面積（ＳＬ）が許容値（ＲＬ）以下（ＳＨ＞ＲＨ、ＳＬ≦ＲＬ）のときは、上述した式３、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が小さくなるように露出制御パラメータを変更する。結果として、全体として輝度を低下させて白とび面積を減少させることが可能となり、図８（ｂ）に示すような輝度分布の画像、すなわち白とび画素の面積を小さくした画像データが得られる。
【０１１８】
以上、説明したように本発明に従った露出制御方式を適用することで、Ａ／Ｄコンバータ１０５のダイナミックレンジを最大限有効活用することが可能となる。しかし、上述した処理においては、主要被写体の平均輝度［ＹＭ］の調整を行うため、このままの調整画像を出力してしまうと、本来の被写体の平均輝度と異なる平均輝度を持つ画像となってしまうことがある。
【０１１９】
そこで、本発明の撮像装置では、最終的な出力画像において最適な画像とするためにデジタル信号処理部（ＤＳＰ）１０６において主要被写体の輝度が最適になるように階調補正を行う。階調補正特性は基本的に主要被写体の平均輝度によって決定されるが、さらに画像の輝度分布に応じて最適化することでより好ましい輝度再現を実現することが出来る。
【０１２０】
たとえば主要被写体の平均輝度を輝度レベルの中心に補正するとした場合の階調補正例について図９を参照して説明する。
図９は、図７（ｂ）を参照して説明した画像データのように、本発明に従った露出制御において主要被写体の平均輝度［ＹＭ］を中心値より大きい値に制御した場合の例を示している。図９には、（ａ），（ｂ），（ｃ）のグラフを示しているが、各グラフは、以下のデータである。
図９（ａ）は、本発明の露出制御処理によって撮影された画像の輝度分布ヒストグラムである。図７（ｂ）に相当し、Ａ／Ｄコンバータ１０５の出力する画像に相当する。
図９（ｂ）は、デジタル信号処理部（ＤＳＰ）１０６において主要被写体の輝度が最適になるように階調補正を行うために適用する階調補正用の変換テーブルである。デジタル信号処理部（ＤＳＰ）１０６はこのような階調補正用の変換テーブルをメモリに保持し、この変換テーブルを適用した階調補正処理を実行する。
図９（ｃ）は、図９（ｂ）に示す階調補正テーブルを適用した階調補正処理を実行した結果得られる補正後画像データの輝度分布ヒストグラムである。
【０１２１】
デジタル信号処理部（ＤＳＰ）１０６は、図９（ａ）に示す輝度分布を持つ画像データをＡ／Ｄコンバータ１０５から入力して、図９（ｂ）に示す階調補正用の変換テーブルを適用した階調補正処理を実行して、図９（ｃ）に示す輝度分布を持つ画像データを生成して出力する。
【０１２２】
図９に示す例は、図７を参照して説明した本発明に従った露出制御、すなわち、主要被写体の平均輝度［ＹＭ］を中心値より大きい値に制御した場合の補正処理例を示している。図９（ａ）が、本発明の露出制御処理によって撮影された画像の輝度分布ヒストグラムであり、図７（ｂ）に相当し、Ａ／Ｄコンバータ１０５の出力する画像に相当する。このまま出力すると、主要被写体全体が明るすぎる輝度を持つ画像となってしまう。デジタル信号処理部（ＤＳＰ）１０６は、この輝度分布画像を図９（ｂ）に示す階調補正用の変換テーブルを適用した階調補正処理を実行して、図９（ｃ）に示す輝度分布を持つ画像データを生成して出力する。
【０１２３】
図９（ｂ）に示す階調補正用の変換テーブルは横軸が入力輝度レベルであり、縦軸が出力輝度レベルとなっている。例えば、図９（ａ）に示す平均輝度［ＹＭ］＝Ｐ１は、変換テーブルにおいて、出力輝度［Ｐ２］に変換される。
【０１２４】
この変換テーブルによる輝度レベルの変換処理によって、図９（ａ）に示される主要被写体の平均輝度［ＹＭ］＝Ｐ１は、図９（ｃ）に示すように出力画像の出力輝度の最適値、例えばほぼ中心値に変換される。さらに、この変換テーブルの変換により、主要被写体の輝度分布範囲に多くの階調が割り当てられる。
【０１２５】
図９（ｂ）に示す変換テーブルは、傾きがほぼ４５度の領域Ｑ２と、４５度より傾斜が小さい領域Ｑ１，Ｑ３を有する。傾きがほぼ４５度の領域Ｑ２では、入力輝度値と出力輝度値がほぼ１対１に対応するが、傾きが小さい領域Ｑ１，Ｑ３では、入力輝度値の範囲が圧縮されて輝度範囲が小さくされた出力とされる。この変換テーブルの変換により、主要被写体の輝度分布範囲に多くの階調が割り当てられ、その他の低輝度領域や高輝度領域の階調の割り当ては少なくなる。
【０１２６】
この変換テーブルによって変換された補正画像においては、図９（ｃ）に示すように、主要被写体の平均輝度［ＹＭ２］＝Ｐ２は、出力画像の持つ輝度範囲のほぼ中心に位置するようになり、最適な出力画像が得られる。
【０１２７】
図１０も、図９と同様、デジタル信号処理部（ＤＳＰ）１０６において主要被写体の輝度が最適になるように階調補正を行った例を示している。図１０にも、
（ａ）本発明の露出制御処理によって撮影された画像の輝度分布ヒストグラム
（ｂ）デジタル信号処理部（ＤＳＰ）１０６において適用する階調補正用の変換テーブル
（ｃ）（ｂ）に示す階調補正テーブルを適用した階調補正処理を実行した結果得られる補正後画像データの輝度分布ヒストグラム
これらのデータを示している。
【０１２８】
ただし、図１０（ｂ）に示す変換テーブルは、図９（ｂ）に示す変換テーブルとは異なる変換処理を行なうテーブルである。デジタル信号処理部（ＤＳＰ）１０６は、階調補正用の様々な変換テーブルをメモリに保持し、最適な変換テーブルを選択して適用して階調補正処理を実行する。
【０１２９】
図１０（ａ）に示す露出制御の結果得られた画像（Ａ／Ｄコンバータ１０５の出力画像）も、図９と同様、被写体の平均輝度［ＹＭ］を画像全体の輝度分布の中心値より大きい値に制御している。従って、この被写体の平均輝度［ＹＭ］を画像全体の輝度分布の中心に設定する操作を図１０（ｂ）に示す変換テーブルを用いて実行する点は、図９を参照して説明した変換処理と同様である。
【０１３０】
図１０に示す例では、さらに、図１０（ａ）に示す露出制御の結果得られた画像の輝度分布において、度数が非常に少ない部分がある。図１０（ａ）に示す輝度領域３２１である。この領域に多くの階調を割り当てることは結果として無駄になることが明らかであるため、この輝度領域の階調数を減らし度数の多い部分により多くの階調を割り当てるという変換処理を実行する。
【０１３１】
このような変換処理を行なうために適用する変換テーブルが図１０（ｂ）に示す変換テーブルであり、図１０（ａ）に示す輝度領域３２１に対応する領域の傾斜を小さくした図１０（ｂ）に示す変換テーブルが適用される。この傾斜の小さい部分は、入力輝度範囲より出力輝度の範囲が小さくなり、階調の割り当てがより少なくなる。
【０１３２】
この変換テーブルによって変換された補正画像においては、図１０（ｃ）に示すように、主要被写体の平均輝度［ＹＭ２］は、出力画像の持つ輝度範囲のほぼ中心に位置するようになり、また、度数の少ない部分の輝度範囲が狭められ、画像に適合した最適な出力画像が得られる。
【０１３３】
なお、デジタル信号処理部（ＤＳＰ）１０６は、階調補正用の変換テーブルを適用した階調補正処理を実行するが、画像に応じた変換処理を行なうばかりでなく、階調補正特性（変換特性）を画面全体で一様とするのではなく、画素ごとあるいはブロックごとに変えた補正特性（変換特性）を適用する構成としてもよい。
【０１３４】
このようにデジタル信号処理部（ＤＳＰ）１０６において、露出制御で決定された輝度レベルや輝度分布に応じた階調補正を行うことによりＡ／Ｄコンバータ１０５のダイナミックレンジを最大限活用しつつ、最終画像における輝度再現を最適にすることが出来る。
【０１３５】
［３．階調補正処理を実現する簡略化構成について］
上述したように、デジタル信号処理部（ＤＳＰ）１０６は、主要被写体の平均輝度［ＹＭ］と輝度分布を考慮して最適な階調補正を実行する。例えば、階調補正用の変換テーブルを適用した階調補正処理を実行する。しかし、図９、図１０を参照して説明したように、入力する画像データに対応した最適な変換処理を実現するには、それぞれの輝度分布に応じた異なる階調補正特性を用いることが必要となる。例えば、様々な画像に応じた多くの階調補正用の変換テーブルを準備し、これらのテーブルから最適なテーブルを選択して階調補正を行なうことを必要とする。
【０１３６】
しかしながら、撮像装置の小型化の要請から、撮像装置におけるデジタル信号処理回路（ＤＳＰ）１０６についても、その回路規模はなるべく小さく実現することが望まれる。従って、階調補正処理を実行するための回路や処理の複雑化や、多数の変換テーブルを必要とする構成は好ましくない。すなわち、より簡易な構成によって迅速な処理を行なうことが要求される。以下では、このような実装上の要請に応える画像補正処理構成について説明する。具体的には、階調補正をすべての場合において最適にするのではなく、いくつかの代表的な被写体平均輝度［ＹＭ］に対応する階調補正特性を用意し、実際の補正対象画像の被写体平均輝度［ＹＭ］に応じて使用する階調補正特性を選択する構成とするものである。以下、本発明に従った階調補正処理構成の３つの実施例について、順次説明する。
【０１３７】
（３−１．階調補正処理構成の実施例１）
階調補正処理の簡略化の第一の実施例について、図１１、図１２を参照して説明する。図１１に示すように、本処理例では、３つのタイプの階調補正処理のいずれかを選択して実行する。図１１（１），（２），（３）のいずれかの変換テーブルによる階調補正処理である。図１１（１），（２），（３）は、先に図９（ｂ），図１０（ｂ）に示す変換テーブルと同様であり、横軸が入力画像の輝度値、縦軸が出力画像の輝度値に対応する。図１１（４）は、撮像装置におけるデジタル信号処理回路（ＤＳＰ）１０６に入力する補正対象の画像の被写体平均輝度［ＹＭ］の位置を示す。
【０１３８】
本処理例では、図１１（４）に示すように、補正対象画像の被写体平均輝度［ＹＭ］の輝度レベル範囲を３つの領域（領域１，２，３）に区分し、各領域それぞれの代表値Ｙ１、Ｙ２、Ｙ３を定め、そのレベルに応じた階調補正処理を実行する。この各領域に対応する３つの階調補正特性が図１１（１），（２），（３）に示す変換テーブルの階調補正特性、すなわち、ｆ１、ｆ２、ｆ３である。
【０１３９】
本処理例では、補正対象画像の被写体平均輝度［ＹＭ］の輝度レベルが、領域１にある場合は、図１１（１）の階調補正特性［ｆ１］を適用した画素値（輝度値）変換としての階調補正処理を実行し、補正対象画像の被写体平均輝度［ＹＭ］の輝度レベルが、領域２にある場合は、図１１（２）の階調補正特性［ｆ２］を適用した画素値（輝度値）変換としての階調補正処理を実行し、補正対象画像の被写体平均輝度［ＹＭ］の輝度レベルが、領域３にある場合は、図１１（３）の階調補正特性［ｆ３］を適用した画素値（輝度値）変換としての階調補正処理を実行する。このように３つの階調補正特性のみから、１つを選択して補正処理を行なう。この場合は、変換テーブルとして３つの変換テーブルのみを備えるのみでよい。
【０１４０】
図１１（４）に示すように輝度レベルＬｏｗ〜Ｈｉｇｈ間に３つの領域１，２，３を設定して、各領域に対応する代表値Ｙ１、Ｙ２、Ｙ３を定める。各領域の範囲は均等であっても良いが、この例では中心部を狭く設定している。これは被写体平均輝度［ＹＭ］が中心付近になることが多く、最大値、最小値付近になることは少ないということを考慮したものである。また各領域における代表値Ｙ１〜Ｙ３は各領域内で任意に設定可能である。図に示す例では各領域の中で輝度レベル範囲の中心値に近い位置に、各領域の代表値Ｙ１〜Ｙ３を設定している。すなわち領域１では代表値Ｙ１は領域内の最大値付近、領域２では代表値Ｙ２は領域内の中心値付近、領域３では代表値Ｙ３は領域内の最小値付近にそれぞれ設定している。この理由は次の図１２の説明において述べる。
【０１４１】
図１１に示す階調補正特性を用いて階調補正を行う方法を図１２に示す。図１２（ａ）、（ｅ）はＡＤコンバータ１０５の出力信号の輝度分布であり、図１２（ａ）は、先に図６〜図８を参照して説明した露出制御処理、すなわち、被写体の平均輝度および輝度分布範囲を算出し、算出した被写体輝度分布範囲と、被写体対応の必要階調数とに基づいて、被写体の最適平均輝度レベルを決定し、撮影画像における被写体が最適平均輝度レベルを持つように露出制御を実行して得られた画像データの輝度分布を示すヒストグラムであり、図１２（ｅ）は従来方式の露光制御を行って得られた画像の輝度分布を示すヒストグラムである。
【０１４２】
図１２（ａ）は主要被写体の平均輝度［ＹＭ］が図１１で設定した領域の領域１に含まれている場合である。なお、他の領域に含まれている場合でも以下に説明する手法と同様の方法が適用できる。まず、図１２（ａ）に示す主要被写体の平均輝度［ＹＭ］を、領域１における代表値として予め設定された代表値［Ｙ１］に合わせるため画像全体に（Ｙ１／ＹＭ）倍のゲインをかける。
【０１４３】
画像全体に（Ｙ１／ＹＭ）倍のゲインをかけた結果が図１２（ｂ）である。これに図１１で設定した領域１に対応する階調補正特性ｆ１を適用して階調補正処理を実行する。すなわち、図１２（ｃ）に示す階調補正特性ｆ１を持つ変換テーブルによって階調補正処理を実行する。この補正処理結果として得られる出力画像の輝度分布を示すヒストグラムが図１２（ｄ）である。
【０１４４】
こうして得られる出力画像の図１２（ｄ）に示す輝度分布では、図１２（ａ）から（ｂ）へのゲイン（Ｙ１／ＹＭ）をかけた時に輝度が全体として高くなり、高輝度部分では、さらに高輝度に移行することで白とび部分が増加し、ゲインをかけずに最適な階調補正を行う場合よりもダイナミックレンジが狭くなるが、従来方式の結果である図１２（ｅ）よりは明らかにダイナミックレンジが広くなっている。すなわち、図１２（ｅ）においては高輝度部分に多くの白とび画素が存在するが、先に説明した露出制御において、白とびを減少させるような露出制御を行って撮影することで、図１２（ａ）に示す輝度分布を持つ画像が得られ、この図１２（ａ）に示す輝度分布においては、図１２（ｅ）に示す白とび部分が、白とびとならない画素値を持つ設定であり、この画像に対するゲイン（Ｙ１／ＹＭ）をかけて得られる図１２（ｂ）の画像は、図１２（ｅ）に示すほど白とびが発生することがなく、この図１２（ｂ）に示す画像を、図１２（ｃ）に示す階調補正特性ｆ１を持つ変換テーブルによって階調補正処理を実行して得られる図１２（ｄ）の補正画像も、白とび領域は、図１２（ｅ）に比較すれば減少しており、ダイナミックレンジの広い画像データを生成して出力することができる。
【０１４５】
図１２（ａ）から（ｂ）の移行処理、すなわち補正対象画像に対してゲイン（Ｙ１／ＹＭ）をかける場合においてゲインが１より小さいと主要被写体の階調を減らすことになり、ゲインが１より大きいと白とびの部分を増やすことになる。従って、主要被写体の平均輝度［ＹＭ］が補正対象画像の輝度分布の中心値より小さいとき、すなわち暗いときには、白とびの増加の恐れはさほど大きくなく階調をより増加させるべくゲイン（Ｙ１／ＹＭ）を１以上にし、主要被写体の平均輝度［ＹＭ］が中心値より大きいとき、すなわち明るいときには白とびが増加するのを防止するためゲイン（Ｙ１／ＹＭ）は１以下にするのが良い。すなわち各領域の代表値は各領域の中で全体の輝度レベル範囲の中心値に近い値に設定するのが望ましい。これが、図１１において領域１，２，３の代表値Ｙ１、Ｙ２、Ｙ３を中心位置に偏らせた理由である。
【０１４６】
すなわち、図１１において、主要被写体の平均輝度［ＹＭ］が領域１にある場合、すなわち主要被写体の平均輝度が暗い場合には、ゲイン（Ｙ１／ＹＭ）が１以上になるように代表値Ｙ１を、領域１における高輝度部分に設定し、主要被写体の平均輝度［ＹＭ］が領域３にある場合、すなわち主要被写体の平均輝度が明るい場合には、ゲイン（Ｙ１／ＹＭ）が１以下になるように代表値Ｙ３を、領域３における低輝度部分に設定している。この階調補正によって主要被写体の平均輝度が暗い場合には、多くの場合、ゲイン（Ｙ１／ＹＭ）が１以上に設定され、階調をより増加させる補正処理が実現され、主要被写体の平均輝度が明るい場合には、多くの場合、ゲイン（Ｙ１／ＹＭ）が１以下に設定され、白とびの増加を防いだ階調変換処理が実現される。なお、主要被写体の平均輝度［ＹＭ］は、図１１に示す領域１，２，３いずれの場合も、出力画像の輝度分布のほぼ中心位置に設定されるような補正がなされることになる。
【０１４７】
この階調補正処理構成の実施例１の具体的な階調補正処理シーケンスについて、図１３に示すフローチャートを用いて説明する。この図１３に示すフローチャートに従った処理を実行するのは、図２に示す撮像装置１００におけるデジタル信号処理部（ＤＳＰ）１０６である。
【０１４８】
ステップＳ３０１では主要被写体の平均輝度［ＹＭ］が、図１１を参照して説明した輝度領域１〜３のどの領域にあるかを判断し、領域１にあればステップＳ３０２に、領域２にあればステップＳ３０４に、領域３にあればステップＳ３０６に進む。
【０１４９】
主要被写体の平均輝度［ＹＭ］が輝度領域１にある場合、ステップＳ３０２に進み、ステップＳ３０２において、補正対象となる画像信号に（Ｙ１／ＹＭ）倍のゲインをかけてステップＳ３０３に進む。この処理は、図１２（ａ）から図１２（ｂ）への処理に相当する。ステップＳ３０３では画像信号に階調補正特性ｆ１を適用して、階調補正処理を実行して、補正画像を得て処理を終了する。階調補正特性ｆ１は、図１１（１）に示す補正特性である。この処理は、図１２（ｂ）に対応する画像に対して、図１２（ｃ）に示す変換テーブルを適用して階調補正を実行して、図１２（ｄ）に対応する補正画像を得る処理に相当する。このようにして生成された補正画像は、例えば、図２に示すモニタ１０７、ビューファインダ１０８に出力され、記録デバイス１０９に記録される。
【０１５０】
主要被写体の平均輝度［ＹＭ］が輝度領域２にある場合、ステップＳ３０４に進み、ステップＳ３０４において、補正対象となる画像信号に（Ｙ２／ＹＭ）倍のゲインをかけてステップＳ３０５に進む。ステップＳ３０５では画像信号に階調補正特性ｆ２を適用して、階調補正処理を実行して、補正画像を得て処理を終了する。階調補正特性ｆ２は、図１１（２）に示す補正特性である。
【０１５１】
主要被写体の平均輝度［ＹＭ］が輝度領域３にある場合、ステップＳ３０６に進み、ステップＳ３０６において、補正対象となる画像信号に（Ｙ３／ＹＭ）倍のゲインをかけてステップＳ３０７に進む。ステップＳ３０７では画像信号に階調補正特性ｆ３を適用して、階調補正処理を実行して、補正画像を得て処理を終了する。階調補正特性ｆ３は、図１１（３）に示す補正特性である。
【０１５２】
このように、本実施例では、主要被写体の平均輝度［ＹＭ］が図１１（４）に示す輝度領域１，２，３のいずれにあるかに応じて、各領域それぞれの代表値Ｙ１、Ｙ２、Ｙ３を適用したゲイン調整を実行して、さらに、各領域１，２，３各々に対応する階調補正特性ｆ１、ｆ２、ｆ３を選択的に適用して階調補正を実行する。すなわち、適用する変換テーブルは、図１１（１），（２），（３）に示す変換テーブルのみであり、主要被写体の平均輝度［ＹＭ］が図１１（４）に示す輝度領域１，２，３のいずれにあるかに応じて３パターンの画像補正処理のいずれかを実行するのみとなり、デジタル信号処理部（ＤＳＰ）１０６の処理が簡略化され迅速な処理が可能になる。
【０１５３】
（３−２．階調補正処理構成の実施例２）
階調補正処理の簡略化の第二の実施例について、図１４を参照して説明する。本処理例は、先に説明した実施例１におけるゲインを掛けるステップを省略したものである。本処理例においても、先の処理例と同様、主要被写体の平均輝度［ＹＭ］が図１１（４）に示す輝度領域１，２，３のいずれにあるかに応じて、各領域１，２，３各々に対応する階調補正特性ｆ１、ｆ２、ｆ３を選択的に適用して階調補正を実行する。
【０１５４】
図１４（ａ）はＡＤコンバータ１０５の出力信号の輝度分布である。図１４（ａ）は主要被写体の平均輝度［ＹＭ］が図１１（４）に示す３つの領域の領域１に含まれている場合の例である。他の領域に含まれている場合でも以下の説明と同様の方法が適用できる。
【０１５５】
図１４（ａ）に示す画像に、例えば図１１（１）〜（３）に示す階調補正特性ｆ１、ｆ２、ｆ３を選択的に適用して階調補正を実行する。この場合、領域１に対応する図１１（１）に示す階調補正特性ｆ１を適用する。これが、図１４（ｂ）に示す階調補正特性ｆ１である。
【０１５６】
この図１４（ｂ）に示す階調補正特性ｆ１を持つ変換テーブルを適用して出力画像を得る。出力画像の輝度値分布を示すヒストグラムが、図１４（ｃ）に示すデータとなる。こうして得られる図１４（ｃ）の輝度分布では、主要被写体の平均輝度［ＹＭ］の階調補正結果が最適値からずれるが、第一の例のような白とび部分の増加は起こらないため入力のダイナミックレンジを十分活かすことが出来る。
【０１５７】
なお、この実施例２において適用する変換テーブルは、各領域１〜３に対応して異なる階調補正特性ｆ１、ｆ２、ｆ３を持つテーブルとなるが、これらの階調補正特性ｆ１、ｆ２、ｆ３の生成に際しては、その基準値として図１１（４）に示す各領域１〜３の代表値Ｙ１〜Ｙ３を決定することが必要となる。この代表値Ｙ１〜Ｙ３は、各領域の任意の位置に設定することが可能であるが、ＹＭの階調補正結果のずれを小さくするためには、先に説明した実施例１とは異なり、各領域１〜３の代表値Ｙ１〜Ｙ３は各領域の中心付近に設定するのが良い。すなわち、階調補正特性ｆ１、ｆ２、ｆ３を持つ変換テーブルは、各領域の中心付近に設定した代表値Ｙ１〜Ｙ３に基づいて設定するのが好ましい。例えば、代表値Ｙ１〜Ｙ３の近傍を１対１の入出力関係を持ち、代表値Ｙ１〜Ｙ３から遠く離れる輝度レベルでは、階調を圧縮する処理態様となる変換テーブルを生成する。
【０１５８】
また、先に説明した露出制御において主要被写体の平均輝度［ＹＭ］を先に説明した式３、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式３を満足するように露出制御パラメータを制御して撮影を行なうとしたが、前述の各領域１〜３の代表値Ｙ１〜Ｙ３の値が予め設定されている場合、この３つの代表値Ｙ１〜Ｙ３のいずれか上記式３の範囲内にある値を選択して、この選択した値またはその近辺に主要被写体の平均輝度［ＹＭ］を制御するように露出制御を行なって撮影を実行すれば、露出制御の自由度は減るが、撮影画像において、例えば、主要被写体の平均輝度［ＹＭ］を代表値Ｙ１にほぼ等しく設定する構成とすれば、図１４（ａ）に示すＹＭとＹ１はほぼ重なる位置に設定され、変換テーブルを適用した変換処理を実行した場合における階調補正に基づく諧調のずれを小さくすることが出来る。
【０１５９】
この第二の実施例の具体的な処理シーケンスを図１５に示すフローチャートを用いて説明する。図１５に示すフローチャートは、先に実施例１の処理シーケンスとして説明した図１３に示すフローチャートのゲインを掛けるステップ（ステップＳ３０２、Ｓ３０４、Ｓ３０６）を省略したものである。この図１５に示すフローチャートに従った処理を実行するのは、図２に示す撮像装置１００におけるデジタル信号処理部（ＤＳＰ）１０６である。
【０１６０】
ステップＳ３５１では主要被写体の平均輝度［ＹＭ］が、図１１を参照して説明した輝度領域１〜３のどの領域にあるかを判断し、領域１にあればステップＳ３５２に、領域２にあればステップＳ３５３に、領域３にあればステップＳ３５４に進む。
【０１６１】
主要被写体の平均輝度［ＹＭ］が輝度領域１にある場合、ステップＳ３５２に進み、画像信号に階調補正特性ｆ１を適用して、階調補正処理を実行して、補正画像を得て処理を終了する。階調補正特性ｆ１は、例えば図１１（１）に示す補正特性である。この処理は、図１４（ａ）に対応する画像に対して、図１４（ｂ）に示す変換テーブルを適用して階調補正を実行して、図１４（ｃ）に対応する補正画像を得る処理に相当する。このようにして生成された補正画像は、例えば、図２に示すモニタ１０７、ビューファインダ１０８に出力され、記録デバイス１０９に記録される。
【０１６２】
主要被写体の平均輝度［ＹＭ］が輝度領域２にある場合、ステップＳ３５３に進み、画像信号に階調補正特性ｆ２を適用して、階調補正処理を実行して、補正画像を得て処理を終了する。階調補正特性ｆ２は、例えば図１１（２）に示す補正特性である。
【０１６３】
主要被写体の平均輝度［ＹＭ］が輝度領域３にある場合、ステップＳ３５４に進み、画像信号に階調補正特性ｆ３を適用して、階調補正処理を実行して、補正画像を得て処理を終了する。階調補正特性ｆ３は、図１１（３）に示す補正特性である。
【０１６４】
このように、本実施例では、主要被写体の平均輝度［ＹＭ］が図１１（４）に示す輝度領域１，２，３のいずれにあるかに応じて、各領域１，２，３各々に対応する階調補正特性ｆ１、ｆ２、ｆ３を選択的に適用して階調補正を実行する。すなわち、適用する変換テーブルは、例えば図１１（１），（２），（３）に示す変換テーブルのみであり、主要被写体の平均輝度［ＹＭ］が図１１（４）に示す輝度領域１，２，３のいずれにあるかに応じて３パターンの画像補正処理のいずれかを実行するのみとなり、デジタル信号処理部（ＤＳＰ）１０６の処理が簡略化され迅速な処理が可能になる。
【０１６５】
（３−３．階調補正処理構成の実施例３）
階調補正処理の簡略化の第三の実施例について、図１６、図１７を参照して説明する。階調補正処理の簡略化の第三の実施例は、先に説明した第一の実施例におけるゲインをかけるステップ（図１２（ａ）から（ｂ））を省略するとともに、例えば変換テーブルを適用した階調補正処理を行なうために適用する階調補正特性を、先に図１１を参照して説明した輝度領域１，２，３に対応する３つの階調補正特性ｆ１、ｆ２、ｆ３を利用して、さらに、これらの階調補正特性と異なる新たな階調補正特性を生成して、生成した新たな階調補正特性を適用して階調変換を実行するものである。
【０１６６】
たとえば、主要被写体の平均輝度［ＹＭ］が、図１１を参照して説明した輝度領域１の代表値［Ｙ１］と、輝度領域２の代表値［Ｙ２］の間にあるときは領域１と領域２に対応する階調補正特性ｆ１、ｆ２を適用した階調補正を実行するのではなく、領域１と領域２のそれぞれに対応する階調補正特性ｆ１、ｆ２の間の補正特性を持つ新たな階調補正特性ｆ１２を生成して階調補正を行う。この新たな階調補正特性の生成処理に際しては、入力［ＹＭ］に対する出力が出力画像の輝度分布のほぼ中心値になるような特性曲線として生成する。
【０１６７】
本処理例では、予め輝度領域１，２，３に対応する３つの階調補正特性ｆ１、ｆ２、ｆ３を保持する点では、実施例１，２と同様であるが、本実施例では、これらの３つの階調補正特性ｆ１、ｆ２、ｆ３のみを利用するのではなく、これらの３つの階調補正特性ｆ１、ｆ２、ｆ３からさらに、新たな補正特性を持つ補正特性曲線を生成して適用する。
【０１６８】
新たな階調補正特性の生成方法の例について、図１６を参照して説明する。主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域１の代表値［Ｙ１］と輝度領域２の代表値［Ｙ２］の間にあるときは各領域に対応する階調補正特性ｆ１、ｆ２の間で入力値軸方向の距離が（ＹＭ−Ｙ１）：（Ｙ２−ＹＭ）の割合になるカーブｆ１２を作成し、このカーブを階調変換に適用する階調補正特性とする。
【０１６９】
また、主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域２の代表値［Ｙ２］と輝度領域３の代表値［Ｙ３］の間にあるときは各領域に対応する階調補正特性ｆ２、ｆ３の間で入力値軸方向の距離が（ＹＭ−Ｙ２）：（Ｙ３−ＹＭ）の割合になるカーブｆ２３を作成し、このカーブを階調変換に適用する階調補正特性とする。
【０１７０】
また、主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域１の代表値［Ｙ１］より小さい場合は、（図１６ではＹＭ'として示す）は入力値＝０の直線と階調補正特性ｆ１の間で入力値軸方向の距離が（ＹＭ−０）：（Ｙ１−ＹＭ）、すなわち、ＹＭ：（Ｙ１−ＹＭ）の割合になるカーブｆ０１を作成し、このカーブを階調変換に適用する階調補正特性とする。
【０１７１】
同様に主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域３の代表値［Ｙ３］より大きい場合は、領域３に対応する階調補正特性ｆ３と入力値＝最大値ＹＭＡＸの間で入力値軸方向の距離が（ＹＭ−Ｙ３）：（ＹＭＡＸ−ＹＭ）の割合になるカーブｆ３４を作成し、このカーブを階調変換に適用する階調補正特性とする。
【０１７２】
こうして得られた階調補正特性を用いて階調変換を行う場合の例を図１７に示す。図１７（ａ）は、補正対象画像、すなわちＡＤコンバータ１０５の出力画像信号の輝度分布である。図１７（ａ）は主要被写体の平均輝度［ＹＭ］が図１１（４）に示す輝度領域１の代表値［Ｙ１］より小さい場合である。なお、それ以外の場合でも、処理はいかに説明する処理と同様である。
【０１７３】
図１７（ａ）に示す輝度分布を持つ補正対象画像に図１１（４）に示す輝度領域１の代表値［Ｙ１］に対応して設定された階調補正特性ｆ１と、入力値＝０の直線から新たな階調補正特性ｆ０１を生成して適用する。階調補正特性ｆ０１は、図１６を参照して説明したように、入力値＝０の直線と階調補正特性ｆ１の間で入力値軸方向の距離が（ＹＭ−０）：（Ｙ１−ＹＭ）、すなわち、ＹＭ：（Ｙ１−ＹＭ）の割合になるカーブｆ０１である。このカーブを階調変換に適用する階調補正特性とする。この諧調補正特性ｆ０１が、図１７（ｂ）に示すカーブとなる。
【０１７４】
この新たに生成した諧調補正特性ｆ０１を適用して、図１７（ａ）に示す輝度分布を持つ画像の階調変換処理を実行して得られる画像の輝度分布ヒストグラムが、図１７（ｃ）となる。こうして得られる図１７（ｃ）の輝度分布では第一の例のような白とび部分の増加は起こらないため入力のダイナミックレンジを十分活かすことが出来るとともに、第二の例のようにＹＭの階調補正結果が最適値からずれることもない。
【０１７５】
ここで、この第三の例の具体的な処理シーケンスについて、図１８に示すフローチャートを用いて説明をする。この図１８に示すフローチャートに従った処理を実行するのは、図２に示す撮像装置１００におけるデジタル信号処理部（ＤＳＰ）１０６である。
【０１７６】
ステップＳ４０１では、主要被写体の平均輝度［ＹＭ］と、図１１（４）に示す輝度領域１，２，３に対応する予め設定された代表輝度値Ｙ１〜Ｙ３の大小関係を判断する。
【０１７７】
ＹＭ≦Ｙ１であればステップＳ４０２に、Ｙ１＜ＹＭ≦Ｙ２であればステップＳ４０４に、Ｙ２＜ＹＭ≦Ｙ３であればステップＳ４０６に、Ｙ３＜ＹＭであればステップＳ４０８に進む。
【０１７８】
主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域１に対応する予め設定された代表輝度値Ｙ１以下、すなわち、ＹＭ≦Ｙ１であるときは、ステップＳ４０２に進む。ステップＳ４０２では、入力値＝０の直線と階調補正特性ｆ１の間に新たな階調補正特性ｆ０１を生成してステップＳ４０３に進む。ステップＳ４０３で生成する階調補正特性ｆ０１は、図１６を参照して説明したように、入力値＝０の直線と階調補正特性ｆ１の間で入力値軸方向の距離が（ＹＭ−０）：（Ｙ１−ＹＭ）、すなわち、ＹＭ：（Ｙ１−ＹＭ）の割合になるカーブｆ０１である。
【０１７９】
ステップＳ４０３では、ステップＳ４０２において生成した階調補正特性ｆ０１を適用して、入力画像の輝度値変換処理を実行する。この処理は図１７を参照して説明した処理である。
【０１８０】
また、主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域１に対応する予め設定された代表輝度値Ｙ１と、輝度領域２に対応する予め設定された代表輝度値Ｙ２との間、すなわち、Ｙ１＜ＹＭ≦Ｙ２であるときは、ステップＳ４０４に進む。ステップＳ４０４では、階調補正特性ｆ１と階調補正特性ｆ２の間に新たな階調補正特性ｆ１２を生成してステップＳ４０５に進む。ステップＳ４０４で生成する階調補正特性ｆ１２は、図１６を参照して説明したように、各領域に対応する階調補正特性ｆ１、ｆ２の間で入力値軸方向の距離が（ＹＭ−Ｙ１）：（Ｙ２−ＹＭ）の割合になるカーブｆ１２である。
【０１８１】
ステップＳ４０５では、ステップＳ４０４において生成した階調補正特性ｆ１２を適用して、入力画像の輝度値変換処理を実行する。
【０１８２】
また、主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域２に対応する予め設定された代表輝度値Ｙ２と、輝度領域３に対応する予め設定された代表輝度値Ｙ３との間、すなわち、Ｙ２＜ＹＭ≦Ｙ３であるときは、ステップＳ４０６に進む。ステップＳ４０６では、階調補正特性ｆ２と階調補正特性ｆ３の間に新たな階調補正特性ｆ２３を生成してステップＳ４０７に進む。ステップＳ４０６で生成する階調補正特性ｆ２３は、図１６を参照して説明したように、各領域に対応する階調補正特性ｆ２、ｆ３の間で入力値軸方向の距離が（ＹＭ−Ｙ２）：（Ｙ３−ＹＭ）の割合になるカーブｆ２３である。
【０１８３】
ステップＳ４０７では、ステップＳ４０６において生成した階調補正特性ｆ２３を適用して、入力画像の輝度値変換処理を実行する。
【０１８４】
また、主要被写体の平均輝度［ＹＭ］が、図１１（４）に示す輝度領域３に対応する予め設定された代表輝度値Ｙ３より大きい、すなわち、Ｙ３＜ＹＭであるときは、ステップＳ４０８に進む。ステップＳ４０８では、階調補正特性ｆ３と入力値＝最大値（ＭＡＸ）の直線との間に新たな階調補正特性ｆ３４を生成してステップＳ４０９に進む。ステップＳ４０８で生成する階調補正特性ｆ３４は、図１６を参照して説明したように、領域３に対応する階調補正特性ｆ３と入力値＝最大値ＹＭＡＸの間で入力値軸方向の距離が（ＹＭ−Ｙ３）：（ＹＭＡＸ−ＹＭ）の割合になるカーブｆ３４である。
【０１８５】
ステップＳ４０９では、ステップＳ４０８において生成した階調補正特性ｆ３４を適用して、入力画像の輝度値変換処理を実行する。
【０１８６】
なお、上述した実施例１〜３では輝度レベル範囲を３つの領域に分けた場合を説明したが、分割領域数は３に限らず、様々な分割数が設定可能である。例えば分割数を増やすことで、本来の画像の持つ特性をずらすことなく最適な変換処理が可能となる。また、上述の実施例では、各領域に対応する階調補正特性は１対１の対応として説明したが、１つの領域に複数の適用可能な階調補正特性を対応付けて、処理対象となる画像の特性に応じて、適宜選択して変換を行なう構成としてもよい。例えば、被写体の輝度分布に応じて適用する階調補正特性の選択を行なうようにすればさらに最適な変換が可能となる。
【０１８７】
上述した実施例１〜３で説明したように露出制御で決定された輝度レベルや輝度分布に応じた階調補正を行うことによりＡＤコンバータ１０５のダイナミックレンジを最大限活用しつつ、最終画像における輝度再現を最適にすることが出来る。さらに階調補正処理の簡略化を適用することでデジタル信号処理回路（ＤＳＰ）１０６において回路規模をより小さく実現することが可能となる。
【０１８８】
［４．画像補正を実行する画像処理装置構成について］
ＲＡＷ画像記録モードで記録されるＲＡＷ画像には露出制御で決定された主要被写体の平均輝度［ＹＭ］の値も記録される。ＲＡＷ画像を画像再生装置やコンピュータの現像プログラムを適用して現像処理を行なう場合には前記の主要被写体の平均輝度［ＹＭ］の値に合わせた階調補正を行うことで最適な輝度再現画像が得られる。例えばＰＣ等の画像処理装置において、デジタル信号処理部（ＤＳＰ）１０６での階調補正と同様の補正を実行することができる。この階調補正処理には、上述した［３．階調補正処理を実現する簡略化構成について］の項目において説明した各実施例１〜３に対応する簡略化した処理を適用するこができる。また、画像再生装置やコンピュータの現像プログラムにおいて画像解析を行い、さらに最適な階調補正を行うこともできる。
【０１８９】
なお、先に説明した露出制御と階調補正を適用する一例として次のようなシステムが実現できる。撮像装置において先に説明した露出制御と、簡略化した階調補正を適用し、ＲＡＷ現像プログラムにおいては簡略化しない最適な階調補正を適用する。これにより従来よりもダイナミックレンジの広い撮像が可能でありながら回路規模の増加を最小限に抑えた撮像装置が実現できる。
【０１９０】
一方、撮像装置で得られたＲＡＷ画像ファイルには階調補正の簡略化の影響が及ばないため、ＲＡＷ現像プログラムでより最適な階調補正特性を適用して現像することにより、さらに広いダイナミックレンジや最適な輝度再現を実現した画像を得ることができる。
【０１９１】
以上の説明では主要被写体の平均輝度をＹＭとしてこれが最適になるように露出制御および階調補正を行うとしたが、他の値をＹＭと定めて前記処理を行っても良い。たとえば特に重視したい部分のスポット的な輝度をＹＭとしても良い。
【０１９２】
なお、デジタル信号処理回路（ＤＳＰ）１０６やＲＡＷ記録画像データを現像するための画像再生装置やコンピュータの現像プログラムには前記階調補正の他に従来からガンマ補正などの階調補正が含まれており、階調補正特性はこれらの階調補正特性を考慮して決定される。
【０１９３】
例えば、ＰＣ等の画像処理装置において、入力画像に基づく簡易的な階調補正を実行する場合、図１１〜図１８を参照して説明した輝度領域に対応して設定された複数の階調補正特性を持つ変換テーブルをメモリに格納して、これらの変換テーブルを選択的に適用して階調変換処理を行なう。
【０１９４】
例えば、ＰＣ等の画像処理装置は、画像の補正処理を実行する画像信号処理部を有し、画像信号処理部において補正対象画像の主要被写体の平均輝度に応じて適用する階調補正特性を選択し、選択した階調補正特性による階調補正処理を実行して補正画像の生成を行なう。すなわち、画像信号処理部は、先に図１１を参照して説明したように輝度に応じて区分した輝度領域に対応する階調補正特性データを保持し、補正対象画像の被写体平均輝度が含まれる輝度領域を判定し、補正対象画像の被写体平均輝度が含まれる輝度領域に対応して設定された階調補正特性による階調補正処理を実行して補正画像の生成を行なう。例えば先に図１１〜図１８を参照して説明したように、補正対象画像の被写体の平均輝度レベルを補正画像の輝度分布のほぼ中心に設定する階調補正処理を実行する。
【０１９５】
画像信号処理部は、上述した［階調補正処理構成の実施例１〜３］のいずれかを適用した補正処理を行なう。実施例１に従った処理を実行する場合は、画像信号処理部は、輝度に応じて区分した１以上のｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）と、補正対象画像の被写体平均輝度ＹＭとに基づくゲイン（Ｙｎ／ＹＭ）を補正対象画像に乗じた後、前記輝度領域に対応する代表輝度値Ｙｎを基準として生成された階調補正特性による階調補正処理を実行する。実施例２に従った処理を実行する場合は、ゲインを乗じる処理を省略した処理を実行する。
【０１９６】
また、先に説明した階調補正処理構成の実施例３に従った処理を実行する場合は、以下の処理を行なうことになる。画像処理装置の画像信号処理部は、輝度に応じて区分したｋ個の輝度領域各々に対応する代表輝度値Ｙｎ（ただし１≦ｎ≦ｋ）を基準として生成された階調補正特性ｆｎを保持し、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍ（ただし１≦ｍ≦ｋ）に対応する２つの階調補正特性ｆｎとｆｍとに基づいて新たな階調補正特性ｆｎｍを生成し、生成した階調補正特性ｆｎｍを適用した階調補正処理を実行する。なお、この処理を行う場合は、画像信号処理部は、先に図１６を参照して説明したように補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルを挟む２つの代表輝度値ＹｎとＹｍに対応する２つの階調補正特性ｆｎとｆｍとに対応する入出力値グラフにおいて、入力値軸方向の距離を（ＹＭ−Ｙｎ）：（Ｙｍ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｎｍとして設定して、設定した階調補正特性ｆｎｍを適用した階調補正処理を実行する。
【０１９７】
なお、この処理において、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最低輝度領域に対応する代表輝度値Ｙ１以下である場合、代表輝度値Ｙ１に対応する階調補正特性ｆ１に対応する入出力値グラフと、入力値＝０とした直線データとに基づいて、ＹＭ：（Ｙ１−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆ０１として設定して、設定した階調補正特性ｆ０１を適用した階調補正処理を実行し、補正対象画像の被写体平均輝度ＹＭが存在する輝度レベルが、予め設定された最高輝度領域に対応する代表輝度値Ｙｋより大きい場合、代表輝度値Ｙｋに対応する階調補正特性ｆｋに対応する入出力値グラフと、入力値＝ＹＭＡＸとした直線データとに基づいて、（ＹＭ−Ｙｋ）：（ＹＭＡＸ−ＹＭ）の割合に分割する曲線を算出し、該曲線を新たな階調補正特性ｆｋｋ＋１として設定して、設定した階調補正特性ｆｋｋ＋１を適用した階調補正処理を実行する。
【０１９８】
なお、図２に示す撮像装置１００において、Ａ／Ｄコンバータ１０５の出力データはＣＣＤ１０２の色フィルタに対応したデータであり、たとえば原色フィルタの場合は輝度信号ではなくＲＧＢ信号で構成されるが、そこから適当な信号を生成することにより本方式を適用することが出来る。たとえば、ＲＧＢ信号から合成した輝度信号に対して前記露出制御を適用できる。あるいはＧ信号を輝度信号の代わりに用いて露出制御を適用できる。
【０１９９】
なお、上述した実施例はデジタルスチルカメラとしたがデジタルビデオカメラにおいても本発明は適用可能である。また撮像素子はＣＣＤとしたが、たとえばＣＭＯＳなどの他の撮像素子でも良い。
【０２００】
本発明の一実施系に係る撮像装置あるいは画像処理装置では、限られた数の階調補正特性データを適用して、簡略化した処理によって最適な階調補正を行なう構成としたので、回路規模の増加を最小限に抑えつつ従来よりも広いダイナミックレンジの高品質な画像を生成して出力することができる。例えば、撮像装置で得られるＲＡＷ画像には階調補正特性の簡略化の影響は及ばないため、ＲＡＷ現像プログラムにおいてより最適な階調補正特性を適用することで、さらに良好な画像を得ることが出来る。
【０２０１】
また、本発明の一実施形態に係る撮像装置では、主要被写体の平均輝度と輝度分布範囲から被写体の階調が十分取れる輝度制御範囲を求め、その範囲内で白とび、黒つぶれが最小限になるように露出制御を行い、さらにデジタル信号処理回路やＲＡＷ現像処理プログラムにおいて露出制御結果情報に基づき階調補正を行うことで最終画像における輝度再現を最適にすることが出来る。このように輝度制御範囲を設定することで露出の過度の補正などを防ぎ露出制御の誤制御が防止可能となる。また、露出制御においては撮像素子のダイナミックレンジを最大限に活かすことを第一とし、信号処理で最終画像の輝度再現を最適にするように補正するため、従来よりも広いダイナミックレンジの画像を撮像することが出来る。
【０２０２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２０３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０２０４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２０６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０７】
以上、説明したように、本発明の一実施例の構成によれば、例えば、撮影画像における主要被写体が最適平均輝度レベルを持つような露出制御を実行して撮影された画像の補正を行なう構成において、限定した数の階調補正特性データから、主要被写体輝度に対応するデータを選択して階調補正を行なう。具体的には、例えば撮影画像の主要被写体の平均輝度が含まれる領域に対応して設定された階調補正特性を選択適用して補正処理を行なう。本構成により、例えば撮像装置におけるデシタル信号処理部（ＤＳＰ）の回路規模を複雑化させることなく画像に応じた最適な画像補正が可能となり、また補正処理を迅速に効率的に実行する撮像装置や画像処理装置が提供できる。
【図面の簡単な説明】
【０２０８】
【図１】本発明の一実施例に係る撮像装置の外観構成例について説明する図である。
【図２】本発明の一実施例に係る撮像装置のハードウェア構成例について説明する図である。
【図３】サンプル画像データにおける、画像および被写体対応の輝度値と輝度分布の関係を示すヒストグラム（度数分布）の一例について説明する図である。
【図４】被写体表現のために必要な階調数の設定例について説明する図である。
【図５】本発明の一実施例に係る撮像装置の実行する露出制御処理の具体的な処理シーケンスについて説明するフローチャートを示す図である。
【図６】本発明の一実施例に係る撮像装置の実行する白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］から露出制御パラメータを変更し、制御部１２０の内部メモリ１２２に格納する処理シーケンスについて説明するフローチャートを示す図である。
【図７】被写体のダイナミックレンジが小さい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する図である。
【図８】被写体のダイナミックレンジが大きい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する図である。
【図９】デジタル信号処理部（ＤＳＰ）において被写体の平均輝度を輝度レベルの中心に補正する階調補正例について説明する図である。
【図１０】デジタル信号処理部（ＤＳＰ）において実行する階調補正例について説明する図である。
【図１１】階調補正処理の簡略化の第一の実施例の処理について説明する図である。
【図１２】階調補正処理の簡略化の第一の実施例の処理について説明する図である。
【図１３】階調補正処理の簡略化の第一の実施例の処理シーケンスについて説明するフローチャートを示す図である。
【図１４】階調補正処理の簡略化の第二の実施例の処理について説明する図である。
【図１５】階調補正処理の簡略化の第二の実施例の処理シーケンスについて説明するフローチャートを示す図である。
【図１６】階調補正処理の簡略化の第三の実施例の処理について説明する図である。
【図１７】階調補正処理の簡略化の第三の実施例の処理について説明する図である。
【図１８】階調補正処理の簡略化の第三一の実施例の処理シーケンスについて説明するフローチャートを示す図である。
【符号の説明】
【０２０９】
１０  撮像装置
１１  電源スイッチ
１２  レリーズスイッチ
１３  モニタ
１４  イメージャ
１５  操作ボタン
１６  ビューファインダ
１７  フォーカスレンズ
１８  ズームレンズ
１９  モードダイアル
２１  フォーカスレンズモータ（Ｍ１）
２２  ズームレンズモータ（Ｍ２）
２５  絞り羽根
２６  絞り駆動部
３１  ストロボ発光手段
１００  撮像装置
１０１  レンズ部
１０２  撮像素子
１０３  タイミングジェネレータ（ＴＡ）
１０４  アナログ信号処理部
１０５  Ａ／Ｄコンバータ
１０６  デジタル信号処理部
１０７  モニタ
１０８  ビューファインダ
１０９  記録デバイス
１１０  検波部
１１５  操作部
１１６  シャッタ判定部
１２０  システムコントローラ
１２１  ＣＰＵ
１２２  メモリ
１３１  ズームレンズ
１３２  フォーカスレンズ
１３３  絞り羽根
１３４  絞り羽根駆動部
【図２】
2008131530.tif 000003
【図３】
2008131530.tif 000004
【図４】
2008131530.tif 000005
【図５】
2008131530.tif 000006
【図６】
2008131530.tif 000007
【図７】
2008131530.tif 000008
【図８】
2008131530.tif 000009
【図９】
2008131530.tif 000010
【図１０】
2008131530.tif 000011
【図１１】
2008131530.tif 000012
【図１２】
2008131530.tif 000013
【図１３】
2008131530.tif 000014
【図１４】
2008131530.tif 000015
【図１５】
2008131530.tif 000016
【図１６】
2008131530.tif 000017
【図１７】
2008131530.tif 000018
【図１８】
2008131530.tif 000019
【図１】
2008131530.tif 000020