(57)【要約】【課題】既存の自動露出制御、撮像素子の動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化する。【解決手段】撮影画像（リニア画像）を補正するに当たり、動作点設定情報に基づき、常に一定になるよう処理したリニア画像から撮影シーンの判別処理を行う。そして、その判別結果に基づいて、前記リニア画像に対する階調処理条件を設定し、階調変換処理を行う。そして、前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理（ガンマ変換処理）を行う。【選択図】図２５
2007258890.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記撮影手段による撮影によって形成されたリニア画像を取得する画像取得手段と、
前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得手段と、
前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理手段と、
前記シーン判別処理手段による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、
前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像取得手段は、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理手段は、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記シーン判別処理手段は、
前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、
前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得手段を備え、
前記シーン判別処理手段は、
前記輝度情報取得手段により取得された輝度情報に基づいて撮影シーンの判別処理を行い、
前記階調処理条件設定手段は、
前記輝度情報取得手段により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、
を備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、
前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、
前記第２混合係数設定手段により設定された第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、
前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
撮影によって形成されたリニア画像を取得する画像取得手段と、
前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得手段と、
前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理手段と、
前記シーン判別処理手段による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、
前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
前記画像取得手段は、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理手段は、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記シーン判別処理手段は、
前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、
前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得手段を備え、
前記シーン判別処理手段は、
前記輝度情報取得手段により取得された輝度情報に基づいて撮影シーンの判別処理を行い、
前記階調処理条件設定手段は、
前記輝度情報取得手段により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする請求項８乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項８乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、
を備えることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、
前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、
前記第２混合係数設定手段により設定された第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、
前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項１２又は１３に記載の画像処理装置。
【請求項１５】
撮影によって形成されたリニア画像を取得する画像取得工程と、
前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得工程と、
前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理工程と、
前記シーン判別処理工程による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定工程と、
前記階調処理条件設定工程により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理工程と、
前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理工程と、
を含むことを特徴とする画像処理方法。
【請求項１６】
前記画像取得工程では、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理工程では、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記シーン判別処理工程では、
前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、
前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする請求項１５又は１６に記載の画像処理方法。
【請求項１８】
前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得工程を含み、
前記シーン判別処理工程では、
前記輝度情報取得工程により取得された輝度情報に基づいて撮影シーンの判別処理を行い、
前記階調処理条件設定工程では、
前記輝度情報取得工程により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする請求項１５乃至１７の何れか１項に記載の画像処理方法。
【請求項１９】
前記シーン判別処理工程では、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項１５乃至１８の何れか１項に記載の画像処理方法。
【請求項２０】
前記シーン判別処理工程は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出工程と、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別工程と、
を含むことを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記階調処理条件設定工程は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定工程と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定工程と、
前記第１混合係数設定工程により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定工程と、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定工程と、
前記第２混合係数設定工程により設定された第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出工程と、を含み、
前記シーン判別処理工程による判別結果と、前記階調調整パラメータ算出工程により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項１９又は２０に記載の画像処理方法。
【請求項２２】
画像処理を制御するコンピュータを、
撮影によって形成されたリニア画像を取得する画像取得手段、
前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得手段、
前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理手段、
前記シーン判別処理手段による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段、
前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段、
として機能させることを特徴とする画像処理プログラム。
【請求項２３】
前記画像取得手段は、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理手段は、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項２２に記載の画像処理プログラム。
【請求項２４】
前記シーン判別処理手段は、
前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、
前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする請求項２２又は２３に記載の画像処理プログラム。
【請求項２５】
前記コンピュータを、
前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得手段として機能させ、
前記シーン判別処理手段は、
前記輝度情報取得手段により取得された輝度情報に基づいて撮影シーンの判別処理を行い、
前記階調処理条件設定手段は、
前記輝度情報取得手段により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする請求項２２乃至２４の何れか１項に記載の画像処理プログラム。
【請求項２６】
前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項２２乃至２５の何れか１項に記載の画像処理プログラム。
【請求項２７】
前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出し、
取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出し、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出し、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出し、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出し、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出し、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出し、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出し、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別することを特徴とする請求項２６に記載の画像処理プログラム。
【請求項２８】
前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定し、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定し、
設定された前記第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定し、
前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定し、
設定された前記第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出し、
前記シーン判別処理手段による判別結果と、算出された前記階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項２６又は２７に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に対する画像処理を行う撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラで取得された撮影画像データからプリントを作成する際、主要被写体（例えば、人物顔領域）の明るさが適正に仕上がるように、撮影画像データの明るさを調整することが行われている。このような明るさ調整方法において、撮影画像データの主要被写体を解析して得られた情報に基づいて、その撮影画像データの明るさを自動的に最適化するための補正量及び階調変換ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）の設定方法が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００２−２４７３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、通常のデジタルカメラで取得されるＪＰＥＧ等の撮影画像データは、被写体の輝度値を記録した画像データ（以下、「リニア画像」と称す）から、モニタなどの表示媒体上での鑑賞に最適となる画像データ（以下、「ノンリニア画像」と称す）へと階調変換処理が施されたものであるため、撮影直後の「リニア画像」に比べ、情報量（Ｓ／Ｎ）がかなり低下した状態にある。このため、逆光やオーバー撮影シーンのような輝度範囲の大きいシーンでは、補正量を大きくする程、情報量（Ｓ／Ｎ）の低下、明部、暗部及び高彩度部の飽和などの画質劣化が深刻化するため、補正量を大幅に制限せざるを得ないという問題があった。
【０００４】
この問題を解決するために、撮像素子のダイナミックレンジの範囲内に納まる被写体の輝度範囲を規定する、撮像素子の動作点を変更するようにしたデジタルカメラが知られている。具体的には、デジタルカメラの露出をアンダー側にずらす、即ち露出制御の基礎となる撮像素子の設定感度を高くすることにより、標準輝度部分に対する撮像素子の出力値を低下させ、撮影可能範囲を拡大させるというものである。このアンダー撮影した「リニア画像」から、適正露出の「ノンリニア画像」へと階調変換処理を施す手法によって、輝度範囲の大きいシーンに対して高い補正量を適用したときに生じる「白とび」などの問題が、ある程度緩和される改善効果が得られている。
【０００５】
一方、通常のデジタルカメラでは、搭載可能なＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）性能、高速処理、操作性などに対する要求から、自動露出制御アルゴリズムや、記憶媒体へ記録する前の画像処理をより複雑なものとすることができず、この対策として、「リニア画像」を、所謂「Ｒａｗデータ」として記録し、所謂「現像ソフト」を用いて「Ｒａｗデータ」から「ノンリニア画像」へと変換する、ユーザ自身による作業を前提とした手段を提供している。しかしながら、「現像ソフト」の利用及び画像データの管理にはかなり煩雑な操作を伴うため、誰もが簡単に利用できるものであるとは言い難く、デジタルカメラの更なる性能向上が望まれている。
【０００６】
本発明の目的は、上記課題を解決し、既存の自動露出制御、撮像素子の動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化することができる撮像装置、画像処理装置、画像処理方法、及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明は以下のような特徴を有する。
【０００８】
１．  被写体を撮影する撮影手段と、前記撮影手段による撮影によって形成されたリニア画像を取得する画像取得手段と、前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得手段と、前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理手段と、前記シーン判別処理手段による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、を備えることを特徴とする撮像装置。
【０００９】
２．  前記画像取得手段は、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、前記シーン判別処理手段は、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする１に記載の撮像装置。
【００１０】
３．  前記シーン判別処理手段は、前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする１又は２に記載の撮像装置。
【００１１】
４．  前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得手段を備え、前記シーン判別処理手段は、前記輝度情報取得手段により取得された輝度情報に基づいて撮影シーンの判別処理を行い、前記階調処理条件設定手段は、前記輝度情報取得手段により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする１乃至３の何れか１項に記載の撮像装置。
【００１２】
５．  前記シーン判別処理手段は、前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする１乃至４の何れか１項に記載の撮像装置。
【００１３】
６．  前記シーン判別処理手段は、前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、を備えることを特徴とする５に記載の撮像装置。
【００１４】
７．  前記階調処理条件設定手段は、前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、前記第２混合係数設定手段により設定された第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする５又は６に記載の撮像装置。
【００１５】
８．  撮影によって形成されたリニア画像を取得する画像取得手段と、前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得手段と、前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理手段と、前記シーン判別処理手段による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、を備えることを特徴とする画像処理装置。
【００１６】
９．  前記画像取得手段は、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、前記シーン判別処理手段は、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする８に記載の画像処理装置。
【００１７】
１０．  前記シーン判別処理手段は、前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする８又は９に記載の画像処理装置。
【００１８】
１１．  前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得手段を備え、前記シーン判別処理手段は、前記輝度情報取得手段により取得された輝度情報に基づいて撮影シーンの判別処理を行い、前記階調処理条件設定手段は、前記輝度情報取得手段により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする８乃至１０の何れか１項に記載の画像処理装置。
【００１９】
１２．  前記シーン判別処理手段は、前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする８乃至１１の何れか１項に記載の画像処理装置。
【００２０】
１３．  前記シーン判別処理手段は、前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、を備えることを特徴とする１２に記載の画像処理装置。
【００２１】
１４．  前記階調処理条件設定手段は、前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、前記第２混合係数設定手段により設定された第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする１２又は１３に記載の画像処理装置。
【００２２】
１５．  撮影によって形成されたリニア画像を取得する画像取得工程と、前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得工程と、前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理工程と、前記シーン判別処理工程による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定工程と、前記階調処理条件設定工程により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理工程と、前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理工程と、を含むことを特徴とする画像処理方法。
【００２３】
１６．  前記画像取得工程では、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、前記シーン判別処理工程では、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする１５に記載の画像処理方法。
【００２４】
１７．  前記シーン判別処理工程では、前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする１５又は１６に記載の画像処理方法。
【００２５】
１８．  前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得工程を含み、前記シーン判別処理工程では、前記輝度情報取得工程により取得された輝度情報に基づいて撮影シーンの判別処理を行い、前記階調処理条件設定工程では、前記輝度情報取得工程により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする１５乃至１７の何れか１項に記載の画像処理方法。
【００２６】
１９．  前記シーン判別処理工程では、前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする１５乃至１８の何れか１項に記載の画像処理方法。
【００２７】
２０．  前記シーン判別処理工程は、前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出工程と、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出工程と、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出工程と、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別工程と、を含むことを特徴とする１９に記載の画像処理方法。
【００２８】
２１．  前記階調処理条件設定工程は、前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定工程と、前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定工程と、前記第１混合係数設定工程により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定工程と、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定工程と、前記第２混合係数設定工程により設定された第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出工程と、を含み、前記シーン判別処理工程による判別結果と、前記階調調整パラメータ算出工程により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする１９又は２０に記載の画像処理方法。
【００２９】
２２．  画像処理を制御するコンピュータを、撮影によって形成されたリニア画像を取得する画像取得手段、前記リニア画像の撮影時に設定された、撮像素子の動作点設定情報を取得する動作点設定情報取得手段、前記リニア画像と前記動作点設定情報に基づいて、撮影シーンの判別処理を行うシーン判別処理手段、前記シーン判別処理手段による判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段、前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段、前記階調変換処理が適用されたリニア画像を、前記動作点設定情報に基づいて、ノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段、として機能させることを特徴とする画像処理プログラム。
【００３０】
２３．  前記画像取得手段は、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、前記シーン判別処理手段は、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする２２に記載の画像処理プログラム。
【００３１】
２４．  前記シーン判別処理手段は、前記リニア画像から、前記動作点設定情報に基づいて階調変換処理を適用したリニア画像を取得し、前記階調変換処理が適用されたリニア画像を用いて、撮影シーンの判別処理を行うことを特徴とする２２又は２３に記載の画像処理プログラム。
【００３２】
２５．  前記コンピュータを、前記リニア画像の撮影時に算出される輝度情報を取得する輝度情報取得手段として機能させ、前記シーン判別処理手段は、前記輝度情報取得手段により取得された輝度情報に基づいて撮影シーンの判別処理を行い、前記階調処理条件設定手段は、前記輝度情報取得手段により取得された輝度情報に基づいて階調処理条件を設定することを特徴とする２２乃至２４の何れか１項に記載の画像処理プログラム。
【００３３】
２６．  前記シーン判別処理手段は、前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする２２乃至２５の何れか１項に記載の画像処理プログラム。
【００３４】
２７．  前記シーン判別処理手段は、前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出し、取得された前記色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出し、前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出し、前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出し、前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出し、少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出し、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出し、前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出し、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別することを特徴とする２６に記載の画像処理プログラム。
【００３５】
２８．  前記階調処理条件設定手段は、前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度指標に基づいて、当該リニア画像に対する複数の第１仮補正量を設定し、前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定し、設定された前記第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定し、前記露出撮影度指標、前記自然光指標及び前記輝度比指標に基づいて、少なくとも一つの前記第１仮補正量と、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定し、設定された前記第２混合係数と、少なくとも１つの前記第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出し、前記シーン判別処理手段による判別結果と、算出された前記階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする２６又は２７に記載の画像処理プログラム。
【００３６】
以下、本発明で使用される用語について説明する。
【００３７】
まず、「リニア画像」、「ノンリニア画像」について詳述する。
【００３８】
一般撮影シーンは照明のムラが多く、輝度比が１０００倍を超える事も稀ではない（例えば、日本色彩学会編  色彩科学ハンドブック第２版、東京大学出版会，ｐ９２５−９２６  （１９９８）を参照）。これに対して、各種メディアが表示できる輝度比は１００倍オーダーである。必然的に写真階調はシーン階調と異なる事になり、１００倍オーダーの輝度比のメディア上で、１０００倍オーダーの輝度比シーンの印象をいかに適切に演出するかが写真設計の基本である。
【００３９】
このシーン階調から写真階調への変換は、シーンの状態（構図内の輝度比・主要被写体の輝度等）により適切なマッピング条件が異なり、一律に決定する事ができない。そこで銀塩写真の場合には下記のアーキテクチャが採用されている。
［設計１］  ネガフィルムは、数千倍オーダーの輝度比に応じてリニアに濃度が変化する軟調設計にする。これにより、シーンの輝度情報は漏れなくネガフィルムに記録される。
［設計２］  上記の軟調なネガフィルム画像を、硬調な印画紙に焼き付ける事で、鑑賞に適した階調とする。焼き付け露光量を調節することで、幅広いシーン輝度のどこを中心に写真階調を再現するかを選択する。
【００４０】
上記設計２では、ネガフィルム画像をプリンタが自動解析することで適切な条件を算出している。この算出結果が撮影意図と合致しなかった場合、ユーザがその旨を指摘して「焼き直し」をすれば、適切な写真を作成する事ができる。たとえば、風景描写を優先したプリントに対して、日陰の人物を重視したいと指摘する等の例が挙げられる。
【００４１】
一方でリバーサルフィルムの場合は、フィルム現像で直接鑑賞用画像を生成する為、上記設計１のような軟調設計ができない。ゆえにリバーサルフィルムは記録できる輝度比の幅が狭く、適正な画像を撮影するためには、撮影時に撮影条件（照明・絞り・シャッター）を慎重に設定する必要があり、もちろん撮影後に「焼き直し」等で修正する事はできない。このため、リバーサルフィルムはプロ・ハイエンドアマチュア専用の商品として販売されている。
【００４２】
このように、銀塩写真におけるネガフィルムとポジフィルムは、ネガ・ポジの階調差以外に、画像の性格が異なるということを指摘することができる。
【００４３】
上記の観点でＤＳＣ（Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）と銀塩写真のアーキテクチャを比較すると、一般用の（ｓＲＧＢの可視画像ファイルを生成する）ＤＳＣの機構は、リバーサルフィルムの機構に相当する。即ち、幅広いシーン輝度のどこを中心に写真階調を再現するかは露出制御プログラムの精度に依存しており、撮影後に修正する事はできない。一方プロユーザはＲａｗデータ（ＣＣＤが受光した生データ）を記録するＤＳＣを利用し、撮影後に現像ソフトでシーン輝度のどこを中心に写真階調を再現するかを指定している。この方法はネガフィルムの機構に相当する。ここでも一般用ＤＳＣが生成するｓＲＧＢ画像とＲａｗデータでは、画像データの性格が異なるということを指摘することができる。
【００４４】
このような画像の性格の差は、画像データのレンダリング状態の差異に起因するものであり、この「画像データのレンダリング状態」を示す概念として「Ｉｍａｇｅ  Ｓｔａｔｅ」という用語が用いられている。（Ｉｍａｇｅ  Ｓｔａｔｅの詳細な定義は、例えば下記の文献に示されている。“Requirements for Unambiguous Specification of a Color Encoding ISO 22028-1”, Kevin Spaulding, in Proc. Tenth Color Imaging Conference: Color Science and Engineering Systems, Technologies, Applications, IS&T, Springfield, VA, p.106-111 (2002)）．
Ｉｍａｇｅ  Ｓｔａｔｅの種類を示す用語として、ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ及びｏｕｔｐｕｔ−ｒｅｆｅｒｒｅｄがある。ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄとは、風景シーンの色度評価値を表現した状態を意味する。例えばＤＳＣのＲａｗデータに分光感度等の校正のみを施し、意図的な強調を加えていない画像の状態が相当する。「リニア画像」は、シーンの色度評価値を相対的に表現したものであるが、付加的なスケール情報をも参照することで絶対的な色度評価値に換算する事も可能である。スケール情報としては、ＯＥＣＦ（光電変換特性、ＩＳＯ１４５２４で定義）・絞りのＦナンバー・露光時間が挙げられる。
【００４５】
ｏｕｔｐｕｔ−ｒｅｆｅｒｒｅｄとは、特定の出力機器・観察条件に対して適切な表現にレンダリングされた状態を意味する。例えば、一般的なＤＳＣが生成するＪＰＥＧ画像はディスプレイ表示に最適化されているので「ノンリニア画像」に該当する。
【００４６】
本発明における「リニア画像」とは、上記のｓｃｅｎｅ−ｒｅｆｅｒｒｅｄのＩｍａｇｅ  Ｓｔａｔｅに属する画像データの一種であり、特に記録された画素の輝度値とシーン輝度の関係が実質的に一次直線の関係にあるものを意味している。また、本発明における「ノンリニア画像」とは、上記のｏｕｔｐｕｔ−ｒｅｆｅｒｒｅｄのＩｍａｇｅ  Ｓｔａｔｅに属する画像データを意味している。
【００４７】
即ち、「リニア画像」とは、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度をＲＩＭＭ  ＲＧＢ、ＥＲＩＭＭ  ＲＧＢ、ｓｃＲＧＢなどの色空間（後述の「輝度拡張色空間」）にマッピング済みであり、特定の出力機器・観察条件での画像鑑賞時の効果を向上する為に、データ内容を改変する階調変換・鮮鋭性強調・彩度強調などが省略された状態の画像データを意味する。またリニア画像は、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ  ｃｏｎｖｅｒｓｉｏｎ  ｆｕｎｃｔｉｏｎ、例えば、コロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編、４７９頁参照）の補正を行ったものであることが好ましい。標準化されたリニア画像の情報量（例えば階調数）は、Ａ／Ｄ変換器の性能に準じ、後述の「ノンリニア画像」で必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えばノンリニア画像の階調数が１チャンネルあたり８ｂｉｔである場合、リニア画像の階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００４８】
「ノンリニア画像」とはＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、或いは銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の「出力媒体」上のハードコピー画像生成に用いるデジタル画像データを意味する。ＣＲＴ、液晶、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう処理が施されている。撮影により形成された画像データが、「リニア画像」であるとき、「出力媒体上での鑑賞に最適化された画像データ」が「ノンリニア画像」に相当する。前記「Ｒａｗデータ」、又は「リニア画像」から、「ノンリニア画像」を生成することを、「電子現像処理」（又は単に「現像処理」）と称し、このような処理機能を備えたアプリケーションソフトウェアを「電子現像ソフト」（又は単に「現像ソフト」）と称される。
【００４９】
「リニア画像に対する階調変換処理」とは、前記Ｒａｗデータ（ＣＣＤが受光した生データ）を記録するＤＳＣを利用し、撮影後に現像ソフトでシーン輝度のどこを中心に写真階調を再現するかをユーザ自身が撮影駒毎に指定する煩雑な操作に相当する。本階調変換処理は、露出制御プログラムの作用と同等であるので、処理後の画像データは、特定の出力機器・観察条件に対して適切な表現にレンダリングされた状態ではなく、シーンの色度評価値を相対的に表現された状態であるので、上記のｓｃｅｎｅ−ｒｅｆｅｒｒｅｄのＩｍａｇｅ  Ｓｔａｔｅに属する「リニア画像」と定義することができる。
【００５０】
「動作点設定情報」とは、設定感度（ＩＳＯ感度）とＣＣＤの実際の感度との関係を定義するものである。「設定感度」とは、露出制御の基礎となる感度、即ち、絞り値及びシャッタースピードの算出の基礎となる感度であり、例えば５０、１００、２００（ＡＰＥＸ単位換算では、それぞれ、ＳＶ＝４、５、６）である。以下、設定感度（ＩＳＯ感度）がＣＣＤの実際の感度と同じ値に設定された状態を「ノーマルモード」、高い値に設定された状態を「ワイドモード」と称す。また逆に、設定感度（ＩＳＯ感度）がＣＣＤの実際の感度より低い値に設定された状態を「ナローモード」と称す。
【００５１】
「動作点設定情報取得手段」とは、動作点設定が「ノーマルモード」、「ワイドモード」、或いは「ナローモード」の何れに設定されているかを示す情報を取得する手段である。なお、「ナローモード」は、本発明の効果とは関わらないため、以下説明記載より省略するが、「ナローモード」を追加設定可能であることは言うまでもない。
【００５２】
「リニア画像と動作点設定情報に基づき撮影シーンの判別処理を行う」とは、如何なる動作点設定で撮影された「リニア画像」を用いた場合でも、同じ撮影シーンの判別処理結果が得られるように、動作点設定情報に応じて、「リニア画像」に予め所定の変換処理を施した後に、撮影シーンの判別処理を行うことを意味する。具体的には、「ワイドモード」で取得されたアンダー撮影「リニア画像」から、撮影シーンの判別処理に不要な高輝度域を削除して、「ノーマルモード」で取得されたのと同等の「リニア画像」を再現するために、「ワイドモード」用階調変換ＬＵＴ（図２６（ｂ）のＬ２を参照）を適用する。
【００５３】
「ワイドモード」時の設定感度（ＩＳＯ感度）は、ＣＣＤの実際の感度に対して倍の値に設定されていることが望ましい。本設定により、「リニア画像」は常に１ＥＶアンダーで取得され、適正露出による撮影で記録することが出来る輝度域と同じ幅の高輝度域情報を保持することが可能となる。
【００５４】
図２６（ｂ）のＬ２は、「ワイドモード」時の設定感度（ＩＳＯ感度）が、ＣＣＤの実際の感度に対して倍の値に設定されている場合に適用される階調変換ＬＵＴを示している。動作点設定が「ワイドモード」であるとき、「リニア画像」に対し、Ｌ２の「ワイドモード」用階調変換ＬＵＴを適用する（「ノーマルモード」設定時は、Ｌ１のラインを適用する、又は処理しない）。Ｌ２の「ワイドモード」用階調変換ＬＵＴの適用により、「リニア画像」から、撮影シーンの判別処理に不要な高輝度域情報（図２６（ｂ）の横軸で２０４８〜４０９６の範囲）の除外された、「ノーマルモード」で取得されたのと同一の「リニア画像」が形成される。
【００５５】
「リニア画像をノンリニア画像に変換する階調変換処理」とは、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得るための「ガンマ補正」処理であり、例えばｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合、ｓＲＧＢ規格の色域内で最適な色再現が得られるように処理される。このときの処理設定は、「ガンマ特性」と称される。
【００５６】
銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、グレーバランス調整、彩度調整或いは覆い焼き処理等の階調圧縮処理が行われることは言うまでもない。
【００５７】
「リニア画像を動作点設定情報に基づきノンリニア画像に変換する」とは、如何なる動作点設定で撮影された「リニア画像」からでも、ほぼ同一の「ノンリニア画像」が得られるように、動作点設定情報に応じて、所定の（動作点設定毎に予め定義した）変換処理を「リニア画像」に施すことにより、「ノンリニア画像」を得ることを意味する。具体的には、「ワイドモード」で取得されたアンダー撮影「リニア画像」から、全体を明るくし、かつ高輝度域を圧縮する「ワイドモード」用階調変化ＬＵＴ（図１０（ｂ）のＹ２を参照）を適用することにより、高輝度域の情報が保持され、かつ「ノーマルモード」で取得されたのとほぼ同一の明るさを示す「ノンリニア画像」を再現することである。
【００５８】
図１０（ｂ）は、「ワイドモード」時の設定感度（ＩＳＯ感度）が、ＣＣＤの実際の感度に対して倍の値に設定されている場合に適用される階調変換ＬＵＴを示している。動作点設定が「ワイドモード」であるとき、「リニア画像」に対し、Ｙ２の「ワイドモード」用階調変換ＬＵＴを適用する。
【００５９】
Ｙ２の「ワイドモード」用階調変換ＬＵＴの適用により、高輝度域が圧縮され、白とびが抑制（高輝度域の情報が保持）されている点を除いては、「ノーマルモード」で取得されたのとほぼ同等の「ノンリニア画像」が形成される。
【００６０】
動作点設定は、「ワイドモード」に固定されていても良いし、「ノーマルモード」と「ワイドモード」を、撮影モード切替スイッチにより切り替えられる態様の何れであっても良い。
【００６１】
「自然光」とは、人工的な光源である定常光や閃光（「フラッシュ」、「スピードライト」などと称される）ではなく、太陽を光源とする光のことである。日中光とも言う。デーライトは、日中光に近い色温度（約５５００Ｋ）の人工的な光源を示す用語であるため、「自然光」とは異なる。
【００６２】
「屋外撮影度」（「自然光指標」ともいう）とは、撮影画像データが「自然光」を用いて撮影されたものであるかどうかを推定し、その結果を定量的に示した数値である。「自然光」を用いて撮影され、明るさ補正を要するシーンには逆光シーンが多く、画面上部に高輝度領域或いは高彩度の空色領域、画面下部に、低輝度領域或いは肌色や緑色が分布する確率が高い。一方、「自然光」を用いないで撮影された屋内撮影或いはオーバー撮影シーンには、画面中央に高輝度領域或いは低彩度の肌色領域、画面周辺には低輝度領域或いは低輝度の肌色や高彩度の肌色が分布する傾向にある。このような経験則を基に、「自然光」を用いて撮影されかどうかを、「屋外撮影度」として定量的に示すことが可能である。画面上部の輝度や空色色相の画素数、画面下部の輝度や肌色色相の画素数など、多くの変量から１つの傾向を導き出す統計処理手法としては、多変量解析を用いることが望ましい。
【００６３】
「ダイナミックレンジの大きさを表す輝度比指標」とは、逆光シーンやオーバー撮影シーンのような、撮影時の光源条件に起因して、主要被写体領域と背景領域の明るさが異なる程度を定量的に示す値のことである。例えば、逆光シーンでは、撮影者がカメラを太陽の方角に向け、人物を撮影することに起因して、人物顔領域が暗く、背景領域である空が明るい画像となっている。即ち、人物顔領域と背景領域との明るさの差分値が得られれば、差分値を指標の１つとすることができる。一般的には、画差撮影画像データのヒストグラムを作図することにより差分値を得ることが知られている。
【００６４】
リニア画像の「明るさ解析値」とは、画素値の分布状態を調べることで得られる、画像の平均的な明るさを示す数値である。「明るさ解析値」は、撮影画像データで最も重要な被写体（主要被写体）の明るさであることが望ましい。人物顔領域の探索は、色相・彩度・明度を用いた表色系における照合により行う。より高い精度を得るためには、目・鼻・口・顔の輪郭など、顔を構成するパーツを照合する所謂「顔検出」を用いることが好ましい。また、撮影時の露出設定に起因する露出撮影度（アンダー撮影、オーバー撮影）を表す露出撮影度指標を算出し、この露出撮影度指標を明るさ解析値として用いてもよい。更に、明るさ解析値の解析方法は、リニア画像の解析に限定するものではなく、例えば、撮像装置の自動露出情報や自動露出情報の記録された付加情報を解析して得られた明るさであってもよい。
【００６５】
「再現目標値」とは、例えば、リニア画像の主要被写体である人物顔領域が、撮影画像データを出力する出力デバイスにおいて最適に再現されるために必要な明るさを示す数値である。即ち、リニア画像の「明るさ解析値」が「再現目標値」に近似した値であれば、出力デバイスにおいて最適に再現される確率が高いことを意味する。
【００６６】
「第１仮補正量」とは、「明るさ解析値」を「再現目標値」へと近似させるために必要な補正量を、一時的なものとして示した数値である。「第１仮補正量を設定する」とは、例えば、予め「明るさ解析値」と「第１仮補正量」、との関係を定義した１次元ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）などを作成しておき、この１次元ＬＵＴと「明るさ解析値」に基づき、「第１仮補正量」を決定する等の操作を意味する。更に、「複数の第１仮補正量を設定する」とは、「明るさ解析値」を条件違いで算出する方法、異なる「再現目標値」を設定する方法（複数の１次元ＬＵＴを定義しておくことと同一）の一方又は双方により、少なくとも２つの「第１仮補正量」を一時的に得ることである。
【００６７】
後述する実施形態では、逆光シーンと、主要被写体がオーバーであるオーバー撮影シーンの場合の人物顔領域の明るさ補正を想定した、それぞれ２つの「第１仮補正量」設定用の１次元ＬＵＴを定義する。また、逆光シーンとオーバー撮影シーンの中間的なシーンでは、アンダーとオーバー撮影シーンにおける画像全体の明るさ補正を想定した、少なくとも１つの「第１仮補正量」設定用の１次元ＬＵＴを定義することが望ましい。
【００６８】
「第１仮補正量」設定用の１次元ＬＵＴの作成に際しては、明部及び暗部がつぶれたり、高彩度の色が飽和してつぶれたり、色相が変わるなどの現象が実際に発生する逆光シーンやオーバー撮影シーンを予め「学習用画像（「教師データ」とも云う）」として多数用意し、人物顔領域の明るさと、これらの現象の発生を観察しながら行うことが望ましい。
【００６９】
「明るさの再現目標値」と「輝度比指標」に基づいて、「第１仮補正量を設定する」とは、撮影画像データのダイナミックレンジが、撮影画像データを出力する出力デバイスのダイナミックレンジ内に適切に収まるように、主要被写体の明るさに基づいて設定された明るさ補正量を弱め、輝度比指標に基づいて明るさ補正量を設定することを意味する。
【００７０】
自然光指標に基づいて「第１混合係数を設定する」とは、例えば、予め「自然光指標」と、各第１仮補正量に乗算する「第１混合係数」との関係を定義した１次元ＬＵＴなどを、第１仮補正量の数だけ作成しておき、この１次元ＬＵＴと「自然光指標」に基づき、各第１仮補正量に乗算する「第１混合係数」を決定する等の操作を意味する。なお、輝度比指標に基づいて、第１混合係数を調整するようにしてもよい。
【００７１】
例えば、自然光指標が、高い屋外撮影度の数値を示した場合、逆光シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：肌色平均輝度、出力：第１仮補正量）の「第１混合係数」が高くなるように、１次元ＬＵＴを定義する。
【００７２】
一方、自然光指標が、低い屋外撮影度の数値を示した場合、オーバー撮影シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：肌色平均輝度、出力：第１仮補正量）の「第１混合係数」が高くなるように、１次元ＬＵＴを定義する。
【００７３】
また、自然光指標が、曖昧な屋外撮影度の数値を示した場合、アンダー撮影シーンとオーバー撮影シーンにおける画像全体の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：全体平均輝度又はアンダー・オーバー撮影指標、出力：第１仮補正量）の「第１混合係数」が高くなるように１次元ＬＵＴを定義する。
【００７４】
撮影画像データが予め逆光画像とわかっている場合には、「輝度比指標」に基づき、明るさ補正量と階調変換曲線を修正することができ、撮影画像データの明部及び暗部がつぶれたり、高彩度の色が飽和してつぶれたり、色相が変化することが抑制される。しかしながら、逆光シーンとオーバー撮影シーンとでは、ダイナミックレンジの大きさが同程度であっても、明るさ補正の方向が全く逆であるため、人物顔領域を適正な明るさに補正する処理を自動化するには、逆光シーンかオーバー撮影シーンあるか否かを定量的に示した予測数値（自然光指標）に応じて、ダイナミックレンジの大きさを表す輝度比指標に基づく第１仮補正量の適用量を定義しなくてはならない。そこで、逆光シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：輝度比指標、出力：第１仮補正量）の「第１混合係数」が高くなるように、「自然光指標」と「第１混合係数」との関係を定義した１次元ＬＵＴを定義する。
【００７５】
「第２仮補正量」は、第１仮補正量と第１混合係数に基づいて算出されるもので、式（１）のように定義される。式（１）において、第１仮補正量設定手段により設定される複数の第１仮補正量のうち、ｍ個の第１仮補正量を計算対象とし、ｉ番目の第１仮補正量をｋｅｙ＿ａｕｔｏ［ｉ］、第１仮補正量ｋｅｙ＿ａｕｔｏ［ｉ］に乗算する第１混合係数をｗｇｔ［ｉ］としている。
【００７６】
【数１】
2007258890.tif 000003
【発明の効果】
【００７７】
本発明の撮像装置、画像処理装置、画像処理方法、そして画像処理プログラムによれば、撮影シーンに基づいて撮影画像の補正処理を行うに際して、撮影時の動作点設定情報に基づき、常に一定になるよう処理したリニア画像からシーン判別を行うことにより、動作点設定の違いによらず安定したシーン判別結果を得ることが出来、また、シーン判別処理結果に基づく階調処理条件を、リニア画像取得時の露出変化で定義したことにより、撮影に関わる自動露出制御、撮像素子の動作点変更、ならびに「リニア画像」から「ノンリニア画像」への階調処理条件を変更することなく、主要被写体（例えば、人物顔領域）を、所望の明るさへと補正することが可能となる。
【発明を実施するための最良の形態】
【００７８】
以下、図面を参照して、本発明の実施形態を説明する。
【００７９】
（第１の実施形態）
まず、本発明に係る第１の実施形態（撮像装置）における構成について説明する。
【００８０】
（撮像装置１の構成）
図１（ａ）に、本発明の実施形態に係る撮像装置１の前面図を示し、図１（ｂ）に、撮像装置１の背面図を示す。撮像装置１は、例えば、デジタルカメラであり、金属又は合成樹脂等の材料で構成された筐体２１の内部又は表面に、十字キー２２、撮影光学系２３、フラッシュ２４、ファインダ２５、電源スイッチ２６、表示部２７、レリーズボタン２８、撮影モード切替ボタンが設けられている。
【００８１】
図２に、撮像装置１の内部構成を示す。撮像装置１は、図２に示すように、プロセッサ３１、メモリ３２、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の撮像素子３３、撮影光学系２３、タイミングジェネレータ４１、シャッタユニット４２、絞りユニット４３、フォーカスユニット４４、表示部２７、操作部３８、画像データ出力部３７により構成される。プロセッサ３１は、撮影制御や撮影画像の処理を行う撮影処理部２０と、画像処理を行う画像処理部１０により構成される。
【００８２】
十字キー２２は、上下左右の４方向のボタンからなり、ユーザが種々のモードを選択又は設定するためのものである。撮影モード切替ボタン２９は、「ノーマルモード」、「ワイドモード」などの撮影モードを切り替える。撮影モードについては、後述する。
【００８３】
撮影光学系２３は、複数のレンズ、鏡胴等によって構成され、ズーム機能を有する。撮影光学系２３は、レンズが受光した光を撮像素子３３に結像させる。フラッシュ２４は、被写体輝度が低い時に、プロセッサ３１からの制御信号により補助光を照射する。
【００８４】
ファインダ２５は、ユーザが接眼して撮影対象及び撮影領域を確認するためのものである。電源スイッチ２６は、撮像装置１における動作のＯＮ／ＯＦＦを操作するためのスイッチである。
【００８５】
表示部２７は、液晶パネルにより構成され、プロセッサ３１から入力される表示制御信号に従って、撮像素子３３に現在写っている画像、過去に撮影した画像、メニュー画面、設定画面等を表示する。
【００８６】
レリーズボタン２８は、筐体２１の上面に設けられており、ユーザによる半押し状態（予備撮影）と全押し状態（本撮影）とを区別して検出可能な２段階押し込みスイッチである。
【００８７】
メモリ３２は、撮影によって得られた画像データを記憶（保存）する。また、メモリ３２は、撮像装置１において実行される各種処理プログラム及び当該処理プログラムで利用されるデータ等を記憶する。
【００８８】
画像データ出力部３７は、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）にメモリ３２内の画像データを転送、記録する、或いは外部装置へ転送する。画像データ出力部３７はプロセッサ３１により制御される。
【００８９】
撮像素子３３は、結像された光を電荷に変換する。これにより、例えば、図１２（ａ）に示すような画像データが得られる。この画像には、撮像範囲（撮影範囲）にある物、即ち、撮影対象物（撮影の目標物）とそれ以外の物（背景）とが含まれている。この全体画像の各画素のＲＧＢ値は、例えば、２５６階調で表される。
【００９０】
シャッタユニット４２は、レリーズボタン２８によって検出された状態（半押し状態又は全押し状態）に基づいて撮像素子３３をリセットするタイミング及び電荷変換を行うタイミングなどを制御する。タイミングの制御はタイミングジェネレータ４１により行われる。シャッタユニット４２による露光量制御については後述する。
【００９１】
撮像素子３３が受光する光量の調節は、絞りユニット４３及び／又はシャッタユニット４２によって行われる。フォーカスユニット４４は、撮影光学系２３を駆動させ撮影被写体に対して焦点を合わせる制御動作を実行する。フォーカスユニット４４による合焦点制御については後述する。
【００９２】
（撮影処理部２０の内部構成）
図３に、撮影処理部２０の内部構成を示す。撮影処理部２０は、撮影時に撮影条件に関わる制御や、撮影された画像の処理を行う。撮影処理部２０は、図３に示すように、撮影条件に関わるＡＥ制御部５１、ＡＦ制御部５２、撮影モードに関わる撮影モード設定部５６、動作点設定部５７、ＬＵＴ設定部５８、そして撮影された画像に対して画像処理を行う信号処理部５０、即ち画素補間部５３、ＡＷＢ制御部５４、ガンマ補正部５５などにより構成される。
【００９３】
ＡＥ制御部５１は、画像撮影時にその露光量の自動制御を行う。通常、撮影待機時の露光量制御は、絞り開放でシャッタ速度を制御することによって行われ、撮影時の露光量は絞りとシャッタ速度とで制御される。
【００９４】
ＡＥ制御部５１における撮影待機時の露光量制御は、例えば以下のように行われる（図４（ａ）のフローチャート参照）。
【００９５】
まず絞りユニット４３により、絞りが開放固定絞りに設定される（ステップＳ１１１）。ＡＥ制御部５１により、撮像素子３３によって得られた画像データから所定の測光エリアのデータが読み出され（ステップＳ１１２）、輝度値に相当する情報が取得される（ステップＳ１１３）。この輝度値に相当する情報は、ＡＥ制御のための情報として用いられ、簡易的にＲＧＢ３色成分のうちのＧ値が用いられることが多い（以下これを輝度情報Ｇと呼ぶ）。この輝度情報Ｇに応じて撮像素子３３の次のフレームにおける電荷蓄積時間が設定され（ステップＳ１１４）、タイミングジェネレータ４１により、所定の輝度レベルとなるように、次のフレームにおける電荷蓄積時間が制御される（ステップＳ１１７）。これがシャッタ速度の制御であり、電荷が蓄積される様子を図５に示す。即ち、取得した輝度レベルが大きい（明るい）ときは電荷蓄積時間が短くなり、輝度レベルが小さい（暗い）ときは電荷蓄積時間が長くなることで、露光量を安定させる。
【００９６】
このように撮影待機時の露光量制御が行われることで、撮影者は液晶ディスプレイ等の表示部２７で、露光量制御されたライブビュー画像を観察することができる。
【００９７】
ＡＥ制御部５１における実際の撮影時の露光量制御は、上記のシャッタ速度制御に加えて、絞りの制御も行われる（図４（ｂ）のフローチャート参照）。上記同様（ステップＳ１１２、Ｓ１１３）に得られた測光エリアの輝度情報Ｇに応じて、絞りユニット４３が制御され、絞り値が設定される（ステップＳ１１６）。即ち、取得した輝度レベルが大きい（明るい）ときは絞り値を小さくし、輝度レベルが小さい（暗い）ときは絞り値を大きくすることで、露光量を安定させる。シャッタ速度と組み合わせての調節レベルは、予め定められたプログラム線図のデータに基づき、例えば、撮像素子３３の電荷蓄積時間が絞り値に応じて調整されるなどの制御が行われる（ステップＳ１１５、Ｓ１１７）。
【００９８】
このように撮影時に露光量制御が行われることで、撮影者は任意の、或いは既定の、絞り値とシャッタ速度の組み合わせで、撮影画像に対する露光量設定を自動的に行うことができる。
【００９９】
ＡＦ制御部５２は、画像撮影時に画像の焦点を合わせる自動制御を行う。この合焦点制御は、例えば以下のように撮影光学系を駆動することで合焦点位置を検知し、その位置に合わせて停止させることで行われる（図６のフローチャート参照）。
【０１００】
撮影光学系２３の駆動が開始されると（ステップＳ１２１）、その駆動に伴い逐次、ＡＦ制御部５２は、撮像素子３３によって得られた画像データから所定の測距エリアのデータを読み出し（ステップＳ１２２）、このデータに応じてコントラスト情報を取得する（ステップＳ１２３）。これは、合焦点位置に達したかどうかを検知するためであり、次のように判定される。即ち、コントラスト情報は、測距エリアのデータの各隣接画素間の差を取ることにより、エッジ部のシャープさに依存するように設定、算出されるものであり、測距エリア全体での総和が最大に達した状態が合焦点と判断される（ステップＳ１２４、Ｓ１２５）。合焦点位置でないと判断された場合は、撮影光学系の移動が継続される（ステップＳ１２６）。
【０１０１】
撮影光学系２３の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を図７に示す。上記動作は、光学系を駆動しながら逐次コントラスト情報を取得して、合焦点位置を求めるという測距演算が行われたものであり、その焦点距離に合わせて撮影光学系２３は停止される（ステップＳ１２７）。
【０１０２】
このようなＡＦ制御により、撮影時に常に自動的にピントのあった撮影画像を得ることができる。
【０１０３】
画素補間部５３は、撮像素子３３におけるＲＧＢ各色成分を分散配置したＣＣＤ配列に対して、各色成分ごとに画素間の補間を行い、同一画素位置で各色成分値が得られるように画像データを処理する（図８のフローチャート参照）。
【０１０４】
画素補間部５３は、撮像素子３３によって得られたＲＧＢ画像データ（ステップＳ１４１）をＲＧＢの各画素フィルタパターンでマスキングし（ステップＳ１４２、Ｓ１４４、Ｓ１４６）、その後で平均補間（画素補間ともいう）を行う（ステップＳ１４３、Ｓ１４５、Ｓ１４７）。このうち、高帯域にまで画素を有するＧの画素フィルタパターンは、周辺４画素の中間２値の平均値に置換して平均補間を行うメディアン（中間値）フィルタであり、ＲとＢの画素フィルタパターンは、周辺９画素から同色に対して平均補間を行うものである。
【０１０５】
ＡＷＢ制御部５４は、撮影画像におけるホワイトバランスを自動的に調整する。撮影された画像は、その中にＲＧＢのカラーバランスがとれている（総和すればホワイト）被写体領域があるものという想定で、その領域のホワイトバランスを達成するように、画像のＲＧＢの各成分値に対するレベル調整を行う。このホワイトバランス処理は、例えば以下のように行われる（図９のフローチャート参照）。
【０１０６】
ＡＷＢ制御部５４は、撮像素子３３によって得られた画像データの輝度や彩度のデータから（ステップＳ１３１）、本来ホワイトであると思われる領域を推測する（ステップＳ１３２）。その領域について、ＲＧＢ各成分値の平均強度、及びＧ／Ｒ比、Ｇ／Ｂ比を求め、Ｇ値に対するＲ値、Ｂ値の補正ゲインを算出する（ステップＳ１３３、Ｓ１３４）。これに基づき、画像全体における各色成分に対するゲインの補正を行う（ステップＳ１３５）。
【０１０７】
このようなＡＷＢ制御により、撮影時に生ずる画面全体のカラーバランスの崩れを自動的に補正することができ、実際の被写体の照明状態に拘わらず、安定した色調の画像を得ることができる。
【０１０８】
ガンマ補正部５５は、撮影画像の階調性を出力媒体の特性に適するように変換する処理を行う。
【０１０９】
ガンマ特性とは階調特性のことであり、入力階調に対してどのように出力階調を設定するかを補正値或いは補正曲線などで示すものである。図１０（ｂ）に、入力値に対して、補正した出力値を示す補正曲線の例を示す。ガンマ補正は、この補正値或いは補正曲線などに従い、入力値に対する出力値への変換を行う変換処理となる。出力媒体によってこの階調特性は異なるため、その出力媒体に適した階調とするために、このガンマ特性の補正を行う必要がある。これにより、リニア画像はノンリニア画像に変換されることになる。
【０１１０】
出力媒体としては一般的にはモニタが設定され、一般的なモニタのガンマ特性に合うように撮影画像のガンマ補正は行われる。
【０１１１】
本実施形態において、ガンマ補正部５５は、画像処理部１０内の階調変換処理部１０８で階調変換処理が施されたリニア画像をノンリニア画像に変換する処理を行う。従って、ガンマ補正部５５は、第２の階調変換処理手段として機能する。
【０１１２】
なお、リニア画像に適用されるガンマ特性は、特定の出力機器・観察条件に応じて予め複数設定しておき、その複数のガンマ特性の中から選択するようにすることが好ましい。
【０１１３】
また、本実施形態においては、撮影モードの切り替えによる動作点設定が可能であり、その設定に対応してＬＵＴ設定部５８で使用するＬＵＴを選択し、ガンマ補正部５５での上記第２の階調変換処理を行うようになっている。
【０１１４】
次に撮影モードとそれによる動作点設定、さらに動作点設定に対応したガンマ補正の実施について説明する。
【０１１５】
＜撮影モード設定に関わる機能構成＞
以下では、撮影モードの設定に係る機能的構成について、図３のブロック図を参照しながら説明する。図３における、撮影モード設定部５６、ＬＵＴ設定部５８、動作点設定部５７、及びＡＥ制御部５１は、マイクロコンピュータである撮影制御部２０が、メモリ３２に格納された制御プログラムを実行することにより実現される機能を表現した機能ブロックである。
【０１１６】
撮影モード設定部５６は、撮影モード切替スイッチ２９の押下を検出し、検出結果に基づいて、撮影モードを、ノーマルモード又はワイドモードのいずれかに設定する。具体的には、撮影モード設定部５６は、撮影モード切替スイッチ２９の押下を検出すると、ノーマルモード、ワイドモードの間で撮影モードを切り替える。設定された撮影モードは、動作点設定部５７及びＬＵＴ設定部５８に与えられる。
【０１１７】
撮影モードについては、ノーマルモード、ワイドモード以外にナローモード（被写体の輝度範囲がより狭い場合に適当、設定感度はより低い）があってもよい。本実施形態では、直接効果に関わらないため、ナローモードは備えていない。
【０１１８】
動作点設定部５７は、設定された撮影モードに基づいて、撮像素子３３の動作点を可変に設定する。具体的には、動作点設定部５７は、設定された撮影モードがノーマルモード又はワイドモードである場合、動作点の一表現である設定感度（ＩＳＯ感度、以下も同様）を、それぞれ、１００、２００（ＡＰＥＸ単位換算では、それぞれ、ＳＶ＝５、６）に設定する。
【０１１９】
なお、ここでいう「設定感度」とは、露出制御の基礎となる感度、即ち、絞り値及びシャッタスピードの算出の基礎となる感度であり、撮像素子３３の実際の感度とは必ずしも一致しない。従って、設定感度が上昇しても信号処理部５０に含まれるＡＧＣ回路のゲインは上昇しない。即ち、設定感度を変更して撮影可能輝度範囲を変更しても、アナログアンプによる増幅に起因するＳ／Ｎ比の悪化は起こらない。
【０１２０】
なお、ノーマルモードにおける設定感度を撮像素子３３の実際の感度と同じ値にしておけば、ノーマルモードにおいては、通常のデジタルカメラと同様の感覚で撮影を行うことが可能である。
【０１２１】
ＬＵＴ設定部５８は、設定された撮影モードに基づいて、ガンマ補正回路５５における第２の階調変換の階調変換特性（ガンマ補正のガンマ変換特性）の具体的表現である階調変換ＬＵＴを可変に設定する。具体的には、ＬＵＴ設定部５８は、設定された撮影モードがノーマルモード又はワイドモードである場合、それぞれ、ノーマルモード用階調変換ＬＵＴ又はワイドモード用階調変換ＬＵＴを、「ノンリニア画像」生成用の階調変換ＬＵＴとして設定する。
【０１２２】
これらの階調変換ＬＵＴは、動作点が変更されても、標準輝度部分の階調変換後の画像における輝度が一定に維持されるように定められている。これにより、標準輝度部分が、どの撮影モードでも、階調変換後の画像において同じ輝度で適切に再現される。
【０１２３】
撮影モード設定部５６、動作点設定部５７及びＬＵＴ設定部５８により、動作点設定部５７で設定される動作点と、ＬＵＴ設定部５８で設定される階調変換ＬＵＴとは、撮影モードの変更にあわせて、同期して変更される。
【０１２４】
ＡＥ制御部５１は、動作点設定部５７から取得される、撮像素子３３の動作点、即ち設定感度と、信号処理部５０から取得される、撮影画像内に設定された測光領域における被写体輝度（以下では、「測光輝度」とも称する、前述した輝度情報Ｇであってもよい）とに基づいて、絞り値及びシャッタスピードを決定する。
【０１２５】
なお、設定感度、測光輝度、絞り値及びシャッタスピードの関係は、適正露出を実現するため、次のような条件式で表現される。
【０１２６】
ＳＶ＋ＢＶ＝ＡＶ＋ＴＶ
上式におけるＳＶ、ＢＶ、ＡＶ、ＴＶは、それぞれ、設定感度、測光輝度、絞り値、シャッタスピードのＡＰＥＸ単位換算値である。
【０１２７】
また、ＡＥ制御部５１は、メモリ３２に記憶されたプログラム線図を参照して、絞り値及びシャッタスピードを決定する。ＡＥ制御部５１の機能については、前述したとおりである。なお、測光輝度は、撮像素子３３とは別の測光用センサを設けて、当該測光用センサから取得してもよい。
【０１２８】
このようにして、ＡＥ制御により、撮像素子３３のダイナミックレンジの範囲内に納まる被写体の輝度範囲が変更可能である。即ち、撮像素子３３の設定感度が高く設定され、絞り値及びシャッタスピードのＡＰＥＸ単位換算値ＡＶ、ＴＶの和が大きくなる（露出がアンダー側にずらされる）と、撮像素子３３のダイナミックレンジの範囲内に納まる被写体の輝度範囲が拡大する。
【０１２９】
なお、ＡＥ制御により撮影可能輝度範囲を変更することで、撮像素子３３そのもののダイナミックレンジが固定されていても撮影可能輝度範囲が変更可能となるので、撮影可能輝度範囲が可変な撮像装置を簡潔に構成可能である。
【０１３０】
＜動作点及び階調変換ＬＵＴ＞
以下では、動作点及び第２の階調変換処理に用いる階調変換ＬＵＴの具体例について、図１０を参照しながら説明する。図１０（ａ）は、被写体輝度と撮像素子３３の出力値との関係を示すグラフであり、図１０（ｂ）は、ガンマ補正回路５５の入力値と出力値との関係を示すグラフである。
【０１３１】
図１０（ａ）には、動作点設定部５７において設定された設定感度が１００である場合（Ｘ１）、そして２００である場合（Ｘ２）のそれぞれのグラフが図示されており、図１０（ｂ）には、ＬＵＴ設定部５８において設定された階調変換ＬＵＴがノーマルモード用階調変換ＬＵＴである場合（Ｙ１）、そしてワイドモード用階調変換ＬＵＴである場合（Ｙ２）のそれぞれのグラフが図示されている。図１０（ａ）の縦軸（撮像素子３３の出力値）と、図１０（ｂ）の縦軸（ガンマ補正回路５５の入力値）とのスケールは共通となっている。
【０１３２】
図１０（ａ）に示すように、例えば設定感度が１００（Ｘ１）から２００（Ｘ２）へと変化すると、被写体輝度の増加に対して撮像素子３３の出力値が増加する範囲、即ち、撮像素子３３のダイナミックレンジの範囲内に納まる被写体の輝度範囲は、ΔＢ１からΔＢ２へと拡大する。
【０１３３】
しかしながら、設定感度が１００から２００へと変化すると、標準的な輝度ＢＳに対する撮像素子３３の出力値は、Ｉ１からＩ２へと小さくなる。従って、ガンマ補正回路５５による処理が行われる前の画像においては、撮影可能輝度範囲を拡大するほど、標準輝度部分（ＢＳに対応する）が記録画像において暗くなってしまう。
【０１３４】
そこで、撮影可能輝度範囲の拡大に起因する標準輝度部分の明るさの低下を補償するために、入力値Ｉ１、Ｉ２に対する出力値を一定値ＯＣとするような、ガンマ値の異なる複数の階調変換ＬＵＴ（ノーマルモード用階調変換ＬＵＴ及びワイドモード用階調変換ＬＵＴ）を予め準備しておく。
【０１３５】
なお、図１０（ｂ）から明らかなように、原点Ｏに近い低輝度領域においては、入力値の一定の増加に対する出力値の増加量は、ノーマルモード用階調変換ＬＵＴと比べてワイドモード用階調変換ＬＵＴの方が大きくなる。このため、撮影可能輝度範囲を拡大するにつれて、低輝度領域ではノイズが強調され、Ｓ／Ｎ比が劣化する。
【０１３６】
このような特徴により、輝度分布が広い被写体に対しては、撮影モードをワイドモードに設定すれば、ノイズの面では不利であるものの、記録画像において階調を適切に表現することができる。本実施形態の撮像装置１では、撮影モード切替スイッチを用いて撮影モードを選択可能であるので、ユーザは、被写体の輝度分布に応じて撮影モードを選択することにより、被写体の輝度分布にあわせた適切な撮影を実行することができる。
【０１３７】
（画像処理部１０の内部構成）
図１１に、画像処理部１０の内部構成を示す。画像処理部１０は、撮像装置１での撮影画像に対して、シーン判別に基づく階調の補正動作を制御するものであり、撮影処理部２０での処理後に、或いはその処理とは独立して、画像取得、シーン判別、階調処理条件設定などの一連の処理を実行する。
【０１３８】
画像処理部１０は、図１１に示すように、第１画像取得部１０１、動作点設定情報取得部１０１ａ、第２画像取得部１０２、第３画像取得部１０６、占有率算出部１０３、指標算出部１０４、シーン判別部１０５、階調処理条件設定部１０７、そして階調変換処理部１０８により構成される。
【０１３９】
第１画像取得部１０１は、レリーズボタン２８が全押しされたタイミングで、撮像素子３３に写った最新の画像の画像データを第１の画像として取得する。ここで、第１の画像は、リニア画像に対応する。即ち、ガンマ補正部５５による第２の階調変換処理前の画像データである。
【０１４０】
また、第１画像取得部１０１は、撮影時に算出される輝度情報も合わせて取得する。即ち、第１画像取得部１０１は、輝度情報取得手段として機能する。本実施形態で取得する輝度情報は輝度値（Ｂｒｉｇｈｔｎｅｓｓ  Ｖａｌｕｅ、以後ＢＶと称する）であり、撮影時における測光値から算出され、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）データとして画像データに付加記録されるものである。取得した第１の画像の画像データ及び輝度情報ＢＶはメモリ３２に保持される。
【０１４１】
動作点設定情報取得部１０１ａは、撮影モード設定部５６からノーマルモード、或いはワイドモードといった撮影モードの情報を取得する。この撮影モードは、動作点設定部５６における動作点設定と対応しており、この動作点設定情報に基づいて、後で第３の画像が取得される。従って、動作点設定情報取得部１０１ａは、動作点設定情報取得手段として機能する。
【０１４２】
第２画像取得部１０２は、取得した第１の画像を、Ｎ×Ｍ個の矩形の領域（垂直方向にＭ個及び水平方向にＮ個に分割された領域）に分割する。図１２（ａ）に、第１の画像の一例を示し、図１２（ｂ）に、当該第１の画像が２２×１４個の領域に分割された例を示す。なお、分割領域の数は特に限定されない。本実施形態では、分割された各領域を画像データの「画素」と見なし、分割された画像を実質的にサイズが縮小された画像として扱う。この縮小された画像が、第２の画像であり、上記操作により第２の画像を取得することになる。
【０１４３】
以上のように、第１画像取得部１０１及び第２画像取得部１０２は、画像取得手段として機能する。
【０１４４】
続く第３画像取得部１０６、占有率算出部１０３、指標算出部１０４、そしてシーン判別部１０５は、シーン判別処理手段として機能する。
【０１４５】
第３画像取得部１０６は、取得した第２の画像を、やはり取得した動作点設定情報に基づいて階調変換処理し、第３の画像を取得する。具体的には、ノーマルモード、ワイドモード、それぞれに対応した、階調変換用ＬＵＴを用いて変換処理する。変換処理の意図は、動作点変更しない状態（ノーマルモード）での特性に戻して、シーン判別処理を行うことであり、得られた画像は依然として「リニア画像」である。詳細は、後で図２６を用いて説明する。
【０１４６】
占有率算出部１０３は、第３の画像の画像データ、即ち画像を構成する各画素に対して、色情報を取得する。取得された色情報に基づいて、画像の各画素を、明度と色相の組み合わせからなる所定の階級に分類し（図２９参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。即ち、占有率算出部１０３は、第１の占有率算出手段として機能する。
【０１４７】
また、占有率算出部１０３は、各画素を、第３の画像の画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類し（図３０参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第２の占有率を算出する。即ち、占有率算出部１０３は、第２の占有率算出手段としても機能する。
【０１４８】
占有率算出部１０３において実行される占有率算出処理については、後に図２８を参照して詳細に説明する。
【０１４９】
指標算出部１０４は、占有率算出部１０３で算出された第１の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標１及び指標２を算出する。即ち、指標算出部１０４は、第１の指標算出手段及び第２の指標算出手段として機能する。
【０１５０】
また、指標算出部１０４は、占有率算出部１０３で算出された第２の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標３を算出する。即ち、指標算出部１０４は第３の指標算出手段としても機能する。
【０１５１】
更に、指標算出部１０４は、第３の画像の画面中央部における平均輝度値と、最大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための露出撮影度指標を算出する。即ち、指標算出部１０４は、第４の指標算出手段としても機能する。
【０１５２】
また、指標算出部１０４は、第３の画像の画面中央部における肌色領域の平均輝度値（指標７とする）と、指標１及び指標３と、前述の撮影時の輝度情報ＢＶとに、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな自然光指標を算出する。即ち、指標算出部１０４は、第５の指標算出手段としても機能する。
【０１５３】
また、指標算出部１０４は、前記平均輝度値と、指標２及び指標３と、前述の撮影時の輝度情報ＢＶとに、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな輝度比指標を算出する。即ち、指標算出部１０４は第６の指標算出手段としても機能する。
【０１５４】
指標算出部１０４において実行される指標算出処理については、後に図３１を参照して詳細に説明する。
【０１５５】
シーン判別部１０５は、指標算出部１０４で算出された各指標に基づいて、第１の画像の撮影シーンを判別する。即ち、シーン判別部１０５は、シーン判別手段として機能する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度などもこれに含まれる。撮影シーン判別の方法については、後に詳細に説明する。
【０１５６】
以上のように、第３画像取得部１０６、占有率算出部１０３、指標算出部１０４及びシーン判別部１０５は、シーン判別処理手段として機能する。
【０１５７】
階調処理条件設定部１０７は、シーン判別部１０５で判別された撮影シーンに基づいて、第１の画像に対する階調処理条件を設定する。即ち、階調処理条件設定部１０７は、階調処理条件設定手段として機能する。階調処理条件の設定処理については、後に図３６を参照して詳細に説明する。
【０１５８】
階調変換処理部１０８は、階調処理条件設定部１０７において設定された階調処理条件に従い、第１の画像（リニア画像）に対する階調変換処理を実行する。従って、階調変換処理部１０８は、第１の階調変換処理手段として機能する。
【０１５９】
プロセッサ３１は、上記画像処理部１０で行われる処理以外に、公知技術に基づいて、自動ホワイトバランス処理、ガンマ変換処理などの撮影処理部２０での処理や、またその他画像処理、画像フォーマット変換、画像データの記録などの処理動作を制御する機能を有する。
【０１６０】
またプロセッサ３１における各部の処理は、基本的にハードウエア処理によって行われるが、一部についてはメモリ３２に記憶（保存）されているプログラムを実行するなどしてソフトウェア処理によって行われる。
【０１６１】
＜階調処理条件設定部１０７の内部構成＞
図１３に、階調処理条件設定部１０７の内部構成を示す。階調処理条件設定部１０７は、第１仮補正量設定部２０１、第１混合係数設定部２０２、第２仮補正量演算部２０３、第２混合係数設定部２０４、明るさ補正量演算部２０５により構成される。
【０１６２】
第１仮補正量設定部２０１は、リニア画像の明るさ解析値と、明るさの再現目標値と、指標算出部１０４で算出された輝度比指標及び露出撮影度指標に基づいて、当該リニア画像に対する第１仮補正量を設定する。ｎ個の明るさ解析値が入力された場合、第１仮補正量設定部２０１は、各明るさ解析値を再現目標値へと近似するために必要な補正量としての第１仮補正量をｎ＋４個設定する。即ち、第１仮補正量設定部２０１は、第１仮補正量設定手段として機能する。
【０１６３】
図１４に、輝度比指標と第１仮補正量ｋｅｙ＿ａｕｔｏ［０］との関係を定義した１次元ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）を示し、図１５に、露出撮影度指標と第１仮補正量ｋｅｙ＿ａｕｔｏ［１］との関係を定義した１次元ＬＵＴを示し、図１６に、肌色平均輝度と第１仮補正量ｋｅｙ＿ａｕｔｏ［２］との関係を定義した１次元ＬＵＴを示し、図１７に、肌色平均輝度又は全体平均輝度と第１仮補正量ｋｅｙ＿ａｕｔｏ［３］との関係を定義した１次元ＬＵＴを示し、図１８に、輝度比指標と第１仮補正量ｋｅｙ＿ａｕｔｏ［４］との関係を定義した１次元ＬＵＴを示し、図１９に、露出撮影度指標と第１仮補正量ｋｅｙ＿ａｕｔｏ［５］との関係を定義した１次元ＬＵＴを示す。
【０１６４】
本実施形態では、階調処理条件設定部１０７に入力される明るさ解析値は、肌色平均輝度及び全体平均輝度（即ち、ｎ＝２）とする。この場合、第１仮補正量設定部２０１では、図１４〜図１９に示した１次元ＬＵＴを用いて、第１仮補正量として６個の仮補正量（ｋｅｙ＿ａｕｔｏ［０］〜［５］）が設定される。
【０１６５】
第１混合係数設定部２０２は、指標算出部１０４で算出された自然光指標に基づいて、第１仮補正量設定部２０１で設定されたｎ＋４個の第１仮補正量のうちのｎ＋２個（ｋｅｙ＿ａｕｔｏ［０］〜［３］）に乗算する重み係数としての第１混合係数をｎ＋２個設定する。即ち、第１混合係数設定部２０２は、第１混合係数設定手段として機能する。図２０〜図２３に、自然光指標と第１混合係数ｗｇｔ［０］〜ｗｇｔ［３］との関係を定義した１次元ＬＵＴを示す。
【０１６６】
なお、図１４〜図１９の１次元ＬＵＴと、図２０〜図２３の１次元ＬＵＴは、メモリ３２に格納されている。
【０１６７】
第２仮補正量演算部２０３は、ｎ＋２個の第１仮補正量（ｋｅｙ＿ａｕｔｏ［０］〜［３］）と、第１混合係数設定部２０２で設定されたｎ＋２個の第１混合係数ｗｇｔ［０］〜ｗｇｔ［３］に基づいて、リニア画像に対する第２仮補正量を設定する。即ち、第２仮補正量演算部２０３は、第２仮補正量設定手段として機能する。式（２）に、第２仮補正量の算出式を示す。
【０１６８】
第２仮補正量＝ｋｅｙ＿ａｕｔｏ［０］×ｗｇｔ［０］
＋ｋｅｙ＿ａｕｔｏ［１］×ｗｇｔ［１］
＋ｋｅｙ＿ａｕｔｏ［２］×ｗｇｔ［２］
＋ｋｅｙ＿ａｕｔｏ［３］×ｗｇｔ［３］                  …（２）
以後、式（２）の第２仮補正量をｋｅｙ＿ａｕｔｏ［６］と表記する。
【０１６９】
第２混合係数設定部２０４は、指標算出部１０４で算出された自然光指標、輝度比指標、露出撮影度指標の値と、撮影シーンを判別するための判別マップに基づいて、２個の第１仮補正量ｋｅｙ＿ａｕｔｏ［４］、ｋｅｙ＿ａｕｔｏ［５］と、第２仮補正量ｋｅｙ＿ａｕｔｏ［６］の各々に乗算する重み係数として３個の第２混合係数ｗｇｔ［４］〜［６］を設定する。即ち、第２混合係数設定部２０４は、第２混合係数設定手段として機能する。
【０１７０】
図２４（ａ）に、自然光指標及び輝度比指標に基づいてリニア画像の撮影シーン（順光、逆光、主要被写体がオーバー、アンダー、低確度領域）を判別するための判別マップを示し、図２４（ｂ）に自然光指標及び露出撮影度指標に基づいてリニア画像の撮影シーン（順光、逆光、主要被写体がオーバー、アンダー、低確度領域）を判別するための判別マップを示す。図２４において、低確度領域とは、順光、逆光、主要被写体がオーバー、アンダーと判別される確度が（所定値より）低い領域を表している。
【０１７１】
表１は、撮影シーン別に第２混合係数ｗｇｔ［４］〜［６］の値を表す係数算出テーブルを示している。この係数算出テーブルは、メモリ３２に格納されている。表１において、撮影シーン項目に示された各数字は、図２４の各撮影シーンに付与された数字である。例えば、表１において、撮影シーン項目の“３”は、図２４（ａ）の低確度領域（３）を表す。
【０１７２】
【表１】
2007258890.tif 000004
【０１７３】
明るさ補正量演算部２０５は、２個の第１仮補正量ｋｅｙ＿ａｕｔｏ［４］、ｋｅｙ＿ａｕｔｏ［５］と、第２仮補正量ｋｅｙ＿ａｕｔｏ［６］と、第２混合係数設定部２０４で設定された３個の第２混合係数ｗｇｔ［４］〜［６］から、式（３）に示すように、階調調整パラメータとしての明るさ補正量を算出する。
【０１７４】
明るさ補正量＝ｋｅｙ＿ａｕｔｏ［４］×ｗｇｔ［４］
＋ｋｅｙ＿ａｕｔｏ［５］×ｗｇｔ［５］
＋ｋｅｙ＿ａｕｔｏ［６］×ｗｇｔ［６］                  …（３）
即ち、明るさ補正量演算部２０５は、階調調整パラメータ算出手段として機能する。
【０１７５】
（撮像装置１の動作フロー）
次に、本実施形態における撮像装置１の動作について説明する。
【０１７６】
以下では、撮影対象物を「主要被写体」と呼ぶことにする。
【０１７７】
まず、図２５のフローチャートを参照して、撮像装置１において実行される処理の全体の流れを説明する。
【０１７８】
まず、電源スイッチ２６がＯＮに操作されると（電源が投入されると）、メモリ３２のリセット等の前処理が行われる。またこの時点で、撮影モード切替スイッチ２９により撮影モードが設定されている（ステップＳ１）。ユーザは、主要被写体が撮像装置１の被写界に入るように撮像装置１をその主要被写体の方に向け、撮影のための操作を関始する。
【０１７９】
次いで、レリーズボタン２８が押されて撮影が行われる（ステップＳ２）。撮影により撮像素子３３に結像した画像は電気信号として取り込まれ、ＣＣＤ配列に基づく補間処理が行われる（ステップＳ３）。次いで、撮影画像として、第１の画像（リニア画像）が取得され（ステップＳ４）、メモリ３２に保持される。
【０１８０】
一方、撮影が行われると、輝度情報取得工程であるステップＳ１５では、輝度情報ＢＶの取り込みが行われる。ステップＳ１５で取得される輝度情報ＢＶは、撮影時に測光値から算出され、後で撮影画像がＥｘｉｆ形式で記録される際に、合わせて記録されるものである。取得された輝度情報ＢＶはメモリ３２に保持される。
【０１８１】
また、動作点設定情報取得工程であるステップＳ１４では、撮影モード切替スイッチ２９により設定された撮影モード情報が、撮影モード設定部５６により取得される。取得されたノーマルモード、或いはワイドモードである撮影モード情報は、既に述べたように動作点設定情報として動作点設定部５７、ＬＵＴ設定部に伝達される。また、メモリ３２に保持され、次に述べる第３の画像作成に利用される。
【０１８２】
撮影により取得された第１の画像（リニア画像）には、ＡＷＢ（自動ホワイトバランス）の処理が施される（ステップＳ５）。これは、以下に述べる第２の画像（縮小リニア画像）の取得が行われてから、第１の画像と第２の画像とに対して別途処理されてもよい。
【０１８３】
ＡＷＢ処理の後、第１の画像の画像データは、一方で複数の分割領域からなる分割画像、即ち第２の画像（縮小リニア画像）として取得される（ステップＳ６）。ステップＳ４及びステップＳ６は、画像取得工程に対応する。分割画像の各分割領域は第２の画像の画素であり、第２の画像は第１の画像のサイズを縮小した画像となる。図１２（ａ）に、第１の画像の一例を示し、図１２（ｂ）に、当該第１の画像が２２×１４個のセルに分割された例を示す。各セルが第２の画像の一画素に相当する。実際の画像データのサイズ縮小方法は、単純平均やバイリニア法やバイキュービック法など公知の技術を用いることができる。
【０１８４】
次いで、ステップＳ７とステップＳ８は、シーン判別処理工程に対応する。
【０１８５】
ステップＳ７では、第２の画像（縮小リニア画像）に対して、階調変換処理を行い、第３の画像（縮小リニア画像）を取得する。第３の画像取得部１０１ａは、動作点設定情報に応じて、ノーマルモード用とワイドモード用との２種類のＬＵＴを備えており、動作点設定情報に応じて階調変換用のＬＵＴをその２種類から選択し、適用することで、第３の画像を取得する。その意図については、後述する。
【０１８６】
次いで、第３の画像取得に続くシーン判別処理工程であるステップＳ８では、ステップＳ７で取得された第３の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる。ステップＳ８におけるシーン判別処理については、後に図２７を参照して詳細に説明する。
【０１８７】
次いで、階調処理条件設定工程であるステップＳ９では、ステップＳ８のシーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な条件を設定する処理が行われる。ステップＳ９の階調処理条件設定処理については、後に図３６を参照して説明する。
【０１８８】
第１の階調変換処理工程であるステップＳ１０では、第３の画像に基づいて設定された階調処理条件に基づいて、撮影画像である第１の画像の画像データに対する階調変換処理が行われる。ステップＳ１０の階調変換処理は、シーン輝度のどこを中心に写真階調を再現するか、或いは撮影シーンの光源条件などによる階調への影響を補正するものであり、ステップＳ８でのシーン判別結果によりステップＳ９で設定された階調処理条件に基づいて行われるものである。
【０１８９】
第２の階調変換処理工程であるステップＳ１１では、ＡＷＢ処理、階調変換処理後の第１の画像（リニア画像）に対しガンマ変換処理を施すことによって、当該リニア画像がノンリニア画像に変換される。具体的には、既に図１０を参照して説明したように、動作点設定情報に基づきＬＵＴ設定部５８で選択された、ノーマルモード用或いはワイドモード用の階調変換ＬＵＴを用いることにより、「リニア画像」を「ノンリニア画像」に変換する。
【０１９０】
なお、本実施形態では、ステップＳ９で階調処理条件を設定し、ステップＳ１０でそれに基づく第１の階調変換処理を行う形態としているが、第１の画像に対する画像処理以外に、例えばその撮影シーンに対する最適な画像を取得するための露出条件をリアルタイムに算出し、撮影操作に反映するといった処理などを行うようにしてもよい。
【０１９１】
次いで、画像記録のため、画像フォーマットの変換が行われる（ステップＳ１２）。一般的にはＪＰＥＧ形式の画像に変換処理される。その後、ＪＰＥＧ形式の画像データが、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）に記録される（ステップＳ１３）。Ｅｘｉｆ形式の画像記録においては、輝度情報ＢＶもＥｘｉｆデータとして付加的に記録される。次の撮影に移るか、或いは電源スイッチ２６がＯＦＦに操作されると、撮像装置１における動作は終了する。
【０１９２】
なお、ステップＳ１０で階調変換処理後のリニア画像をＲａｗデータとして保存し、現像ソフトウェアを用いてノンリニア画像に変換するようにしてもよい。
【０１９３】
（第３の画像取得のフロー）
図２６を用いて、第３の画像取得のフローについて説明する。図２６（ａ）は被写体輝度と撮像素子３３の出力値との関係を示すグラフである。図２６（ｂ）は、第３画像取得部１０１ａの入力値と出力値との関係を示すグラフである。
【０１９４】
既述したように、撮影モード、即ちノーマルモード、ワイドモード（場合によってはナローモードがあってもよい）に応じて、意図的に撮像素子３３の設定感度を変え、動作点設定を変更することにより、被写体の輝度範囲と合うように撮像素子３３のダイナミックレンジの範囲を変更してリニア画像を取得し、ガンマ補正によるノンリニア画像への変換、即ち第２の階調変換処理の段階で、動作点設定に応じたＬＵＴを使用することで、被写体の輝度範囲に応じて最適の階調再現が達成できる。例えば被写体の輝度範囲が広くても、ワイドモードでは高輝度部分の白飛びが抑制される。輝度範囲が狭ければノーマルモードが使用でき、低輝度部でのノイズなどが抑制できる。
【０１９５】
本実施形態では、この間のリニア画像の段階で、シーン判別処理を行い、最終的に取得されるノンリニア画像での補正効果を実現するのであるが、その場合、そのままでは、動作点設定により、シーン判別処理に用いる画像（リニア画像）が異なってくる。
【０１９６】
これに対して、第３画像取得部１０１ａは、ステップＳ７（図２５）で第３の画像を取得する。即ち、第２の階調変換処理で行うのと同様に、動作点設定に応じて、ノーマルモード用とワイドモード用の２種類の階調変換ＬＵＴを使い分けて第３の画像を取得することにより、シーン判別処理に用いる画像を、動作点設定によらず常に一定とする。
【０１９７】
図２６（ａ）は、図１０（ａ）と同じ図であり、動作点設定部５７において設定された設定感度が１００である場合（ノーマルモード、即ちＸ１）、そして２００である場合（ワイドモード、即ちＸ２）のそれぞれのグラフが図示されている。図２６（ｂ）は、第３画像取得部１０１ａで使用するＬＵＴで実現される入出力の関係を示すが、ノーマルモードとワイドモードのＬＵＴに対応するのは、それぞれＬ１とＬ２である。
【０１９８】
ノーマルモードで撮影された場合のリニア画像は、Ｘ１で示されるように高輝度域が削除されている。即ち、被写体の輝度範囲が狭い場合のみに適当である。この場合、その出力に対して、Ｌ１が適用され第３の画像が得られる。Ｌ１は入出力の関係が等しいため、Ｘ１で出力された階調のリニア画像がそのままシーン判別に使用されることになる。
【０１９９】
ワイドモードで撮影された場合のリニア画像は、Ｘ２で示されるように被写体の輝度域が高輝度域も含め、そのまま出力されている。即ち、被写体の輝度範囲が広い場合に適当である。この場合、その出力に対して、Ｌ２が適用され第３の画像が得られる。Ｌ２は入力に対して硬調であり、高輝度域が削除されるため、ワイドモードＸ２で撮影され、Ｌ２で出力された画像は、ノーマルモードＸ１で撮影され、Ｌ１で出力された画像と同等の階調のリニア画像がシーン判別に使用されることになる。
【０２００】
このように取得した第３の画像を以下に述べるシーン判別に用いることにより、被写体の輝度範囲が広い場合、撮影モード切替スイッチ２９によりワイドモードの動作点設定を選択すると、高輝度域の情報を保持して白飛びが抑制され、かつ主要被写体（例えば、人物顔領域）の明るさの最適化された画像データを得ることができる。
【０２０１】
（シーン判別処理１のフロー）
次に、図２７のフローチャートを参照して、画像処理部１０において実行される、第３の画像取得に引き続くシーン判別処理（図２５のステップＳ８）について説明する。
【０２０２】
第３の画像取得後のシーン判別処理は、図２７に示すように、色空間変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別（ステップＳ２３）の各処理により構成される。以下、図２８〜図３５を参照して、図２７に示す各処理について詳細に説明する。
【０２０３】
ステップＳ２０の色空間変換処理では、まず、撮影された第１の画像から得られた第３の画像の各画素のＲＧＢ値、輝度値及びホワイトバランスを示す情報が取得される。なお、輝度値としては、ＲＧＢ値を公知の変換式に代入して算出した値を用いてもよい。次いで、取得されたＲＧＢ値がＨＳＶ表色系に変換され、画像の色情報が取得される。ＨＳＶ表色系とは、画像データを色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ又はＢｒｉｇｈｔｎｅｓｓ）の３つの要素で表すものであり、マンセルにより提案された表色体系を元にして考案されたものである。ＨＳＶ表色系への変換は、ＨＳＶ変換プログラム等を用いて行われ、通常、入力であるＲ、Ｇ、Ｂに対して、算出された色相値Ｈは、スケールを０〜３６０と定義し、彩度値Ｓ、明度値Ｖは、単位を０〜２５５と定義している。
【０２０４】
なお、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意昧である。以下の記載において、ＨＳＶ表色系のＶ（０〜２５５）を「明度」として用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。
【０２０５】
また、本実施形態において、「色相」は特に注釈を設けない限り一般に用いられる「色」の意味である。以下の記載において、ＨＳＶ表色系のＨ（０〜３６０）を「色相」として用いるが、例えば赤色差値（Ｃｒ）や青色差値（Ｃｂ）によって表現される色を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。ステップＳ２０では、上記のようにして求められたＨ、Ｓ、Ｖの値が色情報として取得される。
【０２０６】
＜占有率算出処理１＞
次に、図２８のフローチャートを参照して、ステップＳ２１の占有率算出処理について説明する。
【０２０７】
まず、色空間変換処理で算出されたＨＳＶ値に基づいて、第３の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
【０２０８】
図２９に、明度と色相の組み合わせからなる階級を示す。ステップＳ３０では、明度（Ｖ）は、明度値が０〜５（ｖ１）、６〜１２（ｖ２）、１３〜２４（ｖ３）、２５〜７６（ｖ４）、７７〜１０９（ｖ５）、１１０〜１４９（ｖ６）、１５０〜２５５（ｖ７）の７つの階級に分割される。図２９に示すように、最も低明度の階級における明度の範囲よりも、最も高明度の階級における明度の範囲の方が広い。
【０２０９】
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。なお、赤色色相領域（Ｈ５）は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割される。以下、肌色色相領域（Ｈ＝０〜３９、３３０〜３５９）のうち、下記の式（５）を満たす色相’（Ｈ）を肌色領域（Ｈ１）とし、式（５）を満たさない領域を（Ｈ２）とする。
【０２１０】
１０＜彩度（Ｓ）＜１７５；
色相’（Ｈ）＝色相（Ｈ）＋６０    （０≦色相（Ｈ）＜３００のとき）；
色相’（Ｈ）＝色相（Ｈ）−３００  （３００≦色相（Ｈ）＜３６０のとき）．
輝度（Ｙ）＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１      …（４）
として、
色相’（Ｈ）／輝度（Ｙ）＜３．０×（彩度（Ｓ）／２５５）＋０．７      …（５）
従って、第３の画像における階級の数は４×７＝２８個となる。また、最大の明度値（２５５）の１割の値以内に、少なくとも３つの階級（ｖ１、ｖ２、ｖ３）を有する。なお、式（４）及び式（５）において明度（Ｖ）を用いることも可能である。
【０２１１】
ステップＳ３０の後、第３の画像の各画素が、画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３１）。
【０２１２】
図３０（ａ）に、ステップＳ３１において、第３の画像の画面の外縁からの距離に応じて分割された３つの領域ｎ１〜ｎ３を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり．領域ｎ３が第３の画像の中央部の領域である。ここでｎ１〜ｎ３は略同等の画素数となるように分割することが好ましい。また本実施形態においては３つの分割としたがこれに限定されるものではない。また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。図３０（ｂ）に、３つの領域ｎ１〜ｎ３と明度の組み合わせからなる階級を示す。図３０（ｂ）に示すように、第３の画像を画面の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は３×７＝２１個となる。
【０２１３】
ステップＳ３０において２次元ヒストグラムが作成されると、明度と色相の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数（Ｎ×Ｍ個）に占める割合を示す第１の占有率が算出される（ステップＳ３２）。即ち、ステップＳ３０とステップＳ３２は第１の占有率算出工程に対応する。
【０２１４】
明度領域ｖｉ、色相領域Ｈｊの組み合わせからなる階級において算出された第１の占有率をＲｉｊとすると、各階級における第１の占有率は表２のように表される。
【０２１５】
【表２】
2007258890.tif 000005
【０２１６】
ステップＳ３１において２次元ヒストグラムが作成されると、画面の外縁からの距離と明度の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数に占める割合を示す第２の占有率が算出され（ステップＳ３３）、本占有率算出処理が終了する。即ち、ステップＳ３１とステップＳ３３は第２の占有率算出工程に対応する。
【０２１７】
明度領域ｖｉ、画面領域ｎｊの組み合わせからなる各階級において算出された第２の占有率をＱｉｊとすると、各階級における第２の占有率は表３のように表される。
【０２１８】
【表３】
2007258890.tif 000006
【０２１９】
なお、各画素を画面の外縁からの距離、明度及び色相からなる階級に分類し、分類された階級毎に累積画素数を算出することによって３次元ヒストグラムを作成してもよい。以下では、２次元ヒストグラムを用いる方式を採用するものとする。
【０２２０】
＜指標算出処理１＞
次に、図３１のフローチャートを参照して、指標算出部１０４において実行される指標算出処理（図２７のステップＳ２２）について説明する。
【０２２１】
まず、第１の指標算出工程であるステップＳ４０では、占有率算出処理において階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された係数（第１の係数）を乗算して和をとることにより、撮影シーンを特定するための指標１が算出される。指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０２２２】
次いで、第２の指標算出工程であるステップＳ４１では、同じく階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された第１の係数とは異なる係数（第２の係数）を乗算して和をとることにより、撮影シーンを特定するための指標２が算出される。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０２２３】
以下、指標１及び指標２の算出方法について詳細に説明する。
【０２２４】
表４に、指標１を算出するために必要な第１の係数を階級別に示す。表４に示された各階級の係数は、表２に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０２２５】
【表４】
2007258890.tif 000007
【０２２６】
表４によると、高明度（ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図３２は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表４及び図３２によると、高明度（Ｖ＝７７〜１５０）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
【０２２７】
明度領域ｖｉ、色相領域Ｈｊにおける第１の係数をＣｉｊとすると、指標１を算出するためのＨｋ領域の和は、式（６）のように定義される。
【０２２８】
【数２】
2007258890.tif 000008
【０２２９】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（６−１）〜（６−４）のように表される。
【０２３０】
Ｈ１領域の和＝Ｒ１１×０＋Ｒ２１×０＋（中略）…＋Ｒ７１×（−８）…（６−１）
Ｈ２領域の和＝Ｒ１２×（−２）＋Ｒ２２×（−１）＋（中略）…
＋Ｒ７２×（−１０）                                …（６−２）
Ｈ３領域の和＝Ｒ１３×５＋Ｒ２３×（−２）＋（中略）…
＋Ｒ７３×（−１２）                                …（６−３）
Ｈ４領域の和＝Ｒ１４×０＋Ｒ２４×（−１）＋（中略）…
＋Ｒ７４×（−１２）                                …（６−４）
指標１は、式（６−１）〜（６−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（７）のように定義される。
【０２３１】
指標１＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋１．５…（７）
表５に、指標２を算出するために必要な第２の係数を階級別に示す。表５に示された各階級の係数は、表２に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０２３２】
【表５】
2007258890.tif 000009
【０２３３】
表５によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４、ｖ５）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には係数０が用いられる。図３３は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表５及び図３３によると、肌色色相領域の、明度値が２５〜１５０の中間明度領域の第２の係数の符号は負（−）であり、明度値６〜２４の低明度（シャドー）領域の第２の係数は０であり、両領域での係数に大きな違いがあることがわかる。
【０２３４】
明度領域ｖｉ、色相領域Ｈｊにおける第２の係数をＤｉｊとすると、指標２を算出するためのＨｋ領域の和は、式（８）のように定義される。
【０２３５】
【数３】
2007258890.tif 000010
【０２３６】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（８−１）〜（８−４）のように表される。
【０２３７】
Ｈ１領域の和＝Ｒ１１×０＋Ｒ２１×０＋（中略）…＋Ｒ７１×２      …（８−１）
Ｈ２領域の和＝Ｒ１２×（−２）＋Ｒ２２×（−１）＋（中略）…
＋Ｒ７２×２                                        …（８−２）
Ｈ３領域の和＝Ｒ１３×２＋Ｒ２３×１＋（中略）…＋Ｒ７３×３      …（８−３）
Ｈ４領域の和＝Ｒ１４×０＋Ｒ２４×（−１）＋（中略）…＋Ｒ７４×３…（８−４）
指標２は、式（８−１）〜（８−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（９）のように定義される。
【０２３８】
指標２＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋１．７…（９）
指標１及び指標２は、第３の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
【０２３９】
指標１及び指標２が算出されると、第３の指標算出工程であるステップＳ４２で、占有率算出処理において階級毎に算出された第２の占有率に、撮影条件に応じて予め設定された第３の係数（第１の係数、第２の係数とは異なる係数）を乗算して和をとることにより、撮影シーンを特定するための指標３が算出される。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。
【０２４０】
以下、指標３の算出方法について説明する。
【０２４１】
表６に、指標３を算出するために必要な第３の係数を階級別に示す。表６に示された各階級の係数は、表３に示した各階級の第２の占有率Ｑｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０２４２】
【表６】
2007258890.tif 000011
【０２４３】
図３４は、画面領域ｎ１〜ｎ３における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【０２４４】
明度領域ｖｉ、画面領域ｎｊにおける第３の係数をＥｉｊとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（１０）のように定義される。
【０２４５】
【数４】
2007258890.tif 000012
【０２４６】
従って、ｎ１〜ｎ３領域の和は、下記の式（１０−１）〜（１０−３）のように表される。
【０２４７】
ｎ１領域の和＝Ｑ１１×１２＋Ｑ２１×１０＋（中略）…＋Ｑ７１×０…（１０−１）
ｎ２領域の和＝Ｑ１２×５＋Ｑ２２×３＋（中略）…＋Ｑ７２×０    …（１０−２）
ｎ３領域の和＝Ｑ１３×（−１）＋Ｑ２３×（−４）＋（中略）…
＋Ｑ７３×（−８）                                …（１０−３）
指標３は、式（１０−１）〜（１０−３）で示されたｎ１〜ｎ３領域の和を用いて、式（１１）のように定義される。
【０２４８】
指標３＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋０．７            …（１１）
指標３は、第３の画像の明度の分布位置による構図的な特徴（全体画像の画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
【０２４９】
また、例えば公知の方法によって検出された焦点検出領域に応じて、画面の外縁からの距離と明度の所定の階級から算出される第２占有率に対して乗算される第３の係数の重みを変えることで、より高精度にシーンを判別する指標を算出することが可能である。
【０２５０】
指標１〜３が算出されると、第４の指標算出工程であるステップＳ４３で、第３の画像の画面中央部における肌色の平均輝度値と、第３の画像の最大輝度植と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための露出撮影度指標が算出される。
【０２５１】
以下、図３５のフローチャートを参照して、露出撮影度指標の算出処理について詳細に説明する。
【０２５２】
まず、第３の画像のＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）値から、式（４）を用いて輝度Ｙが算出される。次いで、第３の画像の画面中央部における肌色領域の平均輝度値ｘ１が算出される（ステップＳ５０）。ここで、画面中央部とは、例えば、図３０（ａ）に示した領域ｎ３により構成される領域である。次いで、第３の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値が算出される（ステップＳ５１）。
【０２５３】
次いで、第３の画像の輝度の標準偏差ｘ３が算出され（ステップＳ５２）、画面中央部における平均輝度値ｘ４が算出される（ステップＳ５３）。次いで、第３の画像における肌色領域の最大輝度値Ｙｓｋｉｎ＿ｍａｘと最小輝度値Ｙｓｋｉｎ＿ｍｉｎの差分値と、肌色領域の平均輝度値Ｙｓｋｉｎ＿ａｖｅとの比較値ｘ５が算出される（ステップＳ５４）。この比較値ｘ５は、下記の式（１２−１）のように表される。
【０２５４】
ｘ５＝（Ｙｓｋｉｎ＿ｍａｘ−Ｙｓｋｉｎ＿ｍｉｎ）／２−Ｙｓｋｉｎ＿ａｖｅ                                                                        …（１２−１）
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、露出撮影度指標が算出され（ステップＳ５５）、露出撮影度指標算出処理が終了する。露出撮影度指標は、下記の式（１２−２）のように定義される。
【０２５５】
露出撮影度指標＝０．０５×ｘ１＋１．４１×ｘ２＋（−０．０１）×ｘ３
＋（−０．０１）×ｘ４＋０．０１×ｘ５−５．３４  …（１２−２）
この露出撮影度指標は、第３の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
【０２５６】
図３１に戻る。露出撮影度指標が算出されると、第５の指標算出工程であるステップＳ４４において、指標１、指標３、輝度情報ＢＶ及び第３の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第５の係数）を乗算することにより、自然光指標が算出される。
【０２５７】
更に、第６の指標算出工程であるステップＳ４５において、指標２、指標３、輝度情報ＢＶ、及び第３の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第６の係数）を乗算することにより、輝度比指標が算出され、本指標算出処理が終了する。
【０２５８】
以下、自然光指標及び輝度比指標の算出方法について詳細に説明する。
【０２５９】
第３の画像の画面中央部における肌色領域の平均輝度値を指標７とする。ここでの画面中央部とは、例えば、図３０（ａ）の領域ｎ２及び領域ｎ３から構成される領域である。このとき、自然光指標は、指標１、指標３、指標７、及び輝度情報ＢＶを用いて式（１３）のように定義され、輝度比指標は、指標２、指標３、指標７、及び輝度情報ＢＶを用いて式（１４）のように定義される。
【０２６０】
自然光指標＝０．４５×指標１＋０．１６×指標３＋０．００３×指標７
−０．６４×ＢＶ＋４．００                                …（１３）
輝度比指標＝０．７４×指標２＋０．０８×指標３＋０．０１１×指標７
−０．０１×ＢＶ＋１．３５                                …（１４）
ここで式（１３）及び式（１４）において各指標に乗算される係数は、撮影条件に応じて予め設定されている。
【０２６１】
また輝度情報ＢＶに基づいて、自然光指標、輝度比指標を算出する代わりに、指標１、指標２、指標３を算出するのに輝度情報ＢＶを用いてもよい。その場合、自然光指標、輝度比指標を算出するのに輝度情報ＢＶを用いる必要はない。
【０２６２】
なお、図３５における平均輝度値（例えば、全体平均輝度値）の算出方法としては、撮像装置１の各受光部から得られた個別輝度データの単純な加算平均値を求めてもよいし、撮像装置１の測光方式としてよく用いられる中央重点平均測光に類似した、画面中心付近の受光部より得られた輝度データに重み付けを高く、画面の周辺付近の受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法を用いてもよい。また、焦点検出領域に対応した受光部付近より得られた輝度データに重み付けを高くし、焦点検出位置から離れた受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法等を用いてもよい。
【０２６３】
＜シーン判別１＞
図２７に戻って、シーン判別について説明する。
【０２６４】
露出撮影度指標、自然光指標、輝度比指標が算出されると、これらの指標の値に基づいて撮影シーンが判別される（ステップＳ２３）。表７に、露出撮影度指標、自然光指標及び輝度比指標の値による撮影シーンの判別内容を示す。撮影時の輝度情報ＢＶに基づき自然光指標及び輝度比指標は算出されており、輝度情報ＢＶは撮影シーンの判別に間接的に寄与している。
【０２６５】
【表７】
2007258890.tif 000013
【０２６６】
表７に示した判別内容を、自然光指標、輝度比指標及び露出撮影度指標の座標系を用いて表したものが、図２４の判別マップである。なお、表７では、図２４に示した低確度領域については省略している。
【０２６７】
（階調処理条件設定処理のフロー）
次に、図３６のフローチャートを参照して、階調処理条件設定部１０７において実行される階調処理条件設定処理について説明する。
【０２６８】
まず、図１４〜図１９の１次元ＬＵＴから、リニア画像の明るさ解析値（ｎ個：ここでは、肌色平均輝度、全体平均輝度の２個）と、図３１の指標算出処理で算出された自然光指標、輝度比指標、露出撮影度指標に対応する値を抽出することにより、ｎ＋４個（６個）の第１仮補正量ｋｅｙ＿ａｕｔｏ［０］〜［５］が設定される（ステップＳ６１）。
【０２６９】
次いで、図２０〜図２３の１次元ＬＵＴから、自然光指標に対応する値を抽出することにより、ｎ＋２個（４個）の第１混合係数ｗｇｔ［０］〜［３］がｎ個設定される（ステップＳ６２）。次いで、４個の第１仮補正量ｋｅｙ＿ａｕｔｏ［０］〜［３］と、４個の第１混合係数ｗｇｔ［０］〜［３］を用いて、式（２）より第２仮補正量ｋｅｙ＿ａｕｔｏ［６］が算出される（ステップＳ６３）。
【０２７０】
次いで、係数算出テーブル（表１）から、判別マップ（図２４）を用いて判別された撮影シーンに対応する３個の第２混合係数ｗｇｔ［４］〜［６］が抽出され、設定される（ステップＳ６４）。次いで、２個の第１仮補正量ｋｅｙ＿ａｕｔｏ［４］、ｋｅｙ＿ａｕｔｏ［５］と、第２仮補正量ｋｅｙ＿ａｕｔｏ［６］と、３個の第２混合係数ｗｇｔ［４］〜［６］を用いて、式（３）により、階調調整パラメータとしての明るさ補正量が算出される（ステップＳ６５）。
【０２７１】
次いで、ステップＳ６５で算出された明るさ補正量と、シーン判別処理によって判別された撮影シーンから、リニア画像に対する階調処理条件が設定され（ステップＳ６６）、本階調処理条件設定処理が終了する。
【０２７２】
図３７（ａ）に、撮影シーンが順光である場合の階調変換曲線を階調調整パラメータ別に示し、図３７（ｂ）に、撮影シーンが逆光である場合の階調変換曲線を階調調整パラメータ別に示す。ステップＳ６６では、ステップＳ６５で算出された階調調整パラメータ（明るさ補正量）に対応する階調変換曲線が、階調処理条件として設定される。
【０２７３】
図３６におけるステップＳ６１〜Ｓ６５の各ステップは、それぞれ、第１仮補正量設定工程、第１混合係数設定工程、第２仮補正量設定工程、第２混合係数設定工程、階調調整パラメータ算出工程に対応する。
【０２７４】
以上のように、第１の実施形態の撮像装置１によれば、動作点設定情報に基づき一定の輝度範囲となるよう補正したリニア画像を用いて撮影シーンを判別することにより、また、当該撮影シーンの判別結果に基づく階調処理条件を、リニア画像取得時の露出補正と等価となるように定義したことにより、既存の自動露出制御、撮像素子の動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化することが可能となる。
【０２７５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【０２７６】
まず、第２の実施形態（画像処理装置）における構成について説明する。以下では、第１の実施形態と同様の機能を有する構成要素には同一の符号を付すものとする。
【０２７７】
（画像処理装置２の外観構成）
図３８に、第２の実施形態に係る画像処理装置２の外観構成の一例を示す。画像処理装置２は、図３８に示すように、筐体１１の一側面に感光材料を装填する装填部１３を備えている。筐体１１の内部には、感光材料に露光する露光処理部８６と、露光された感光材料を現像処理してプリントを作成するプリント作成部１６を備えている。筐体１１の他側面には、プリント作成部１６で作成されたプリントを排出するトレー１７を備えている。
【０２７８】
筐体１１の上部には、表示装置としてのＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）８５、透過原稿を読み込む装置であるフィルムスキャナ部８１、反射原稿入力装置８２、操作部７１を備えている。さらに筐体１１には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読み込み部１４、各種デジタル記録媒体に画像信号を書き込み可能な画像書き込み部１５を備え、また筐体１１の内部には、これらの各部を制御する制御部７２を備えている。画像読み込み部１４は後述の画像転送手段８３を含み、画像書き込み部１５は後述の画像搬送部８８を含んでいる。
【０２７９】
これらの各構成要素は全て必要であるわけではなく、また一体的に備えられた構造になっている必要もない。何れか一つ以上を画像処理装置２と別体として切り離す、或いは外部装置として接続するようにしてもよい。
【０２８０】
（画像処理装置２の構成）
図３９に、第２の実施形態に係る画像処理装置２の概略構成を示す。画像処理装置２は、図３９に示すように、操作部７１、制御部７２、画像処理部１０、フィルムスキャンデータ処理部７３、反射原稿スキャンデータ処理部７４、画像データ書式解読処理部７５、ＣＲＴ固有処理部７６、プリンタ固有処理部Ａ７７、プリンタ固有処理部Ｂ７８、画像データ書式作成処理部７９により構成される。
【０２８１】
フィルムスキャンデータ処理部７３は、フィルムスキャナ部８１から入力された画像データに対し、フィルムスキャナ部８１固有の校正操作、ネガポジ反転（ネガ原稿の場合）、ゴミキズ除去、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等の処理を施し、処理済の画像データを画像処理部１０に出力する。また、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えば、ＡＰＳの記載情報内容）等も併せて画像処理部１０に出力する。
【０２８２】
反射原稿スキャンデータ処理部７４は、反射原稿入力装置８２から入力された画像データに対し、反射原稿入力装置８２固有の校正操作、ネガポジ反転（ネガ原稿の場合）、ゴミキズ除去、コントラスト調整、ノイズ除去、鮮鋭化強調等の処理を施し、処理済の画像データを画像処理部１０に出力する。
【０２８３】
画像データ書式解読処理部７５は、画像転送手段８３及び／又は通信手段（入力）８４から入力された画像データに対し、その画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等の処理を施し、画像処理部１０内の演算に適したデータ形式に変換し、画像処理部１０に出力する。
【０２８４】
また、画像データ書式解読処理部７５は、操作部７１、通信手段（入力）８４、画像転送手段８３の何れかから出力画像の条件が指定された場合、その指定された情報を検出し、画像処理部１０に出力する。なお、画像転送手段８３により指定される出力画像の条件についての情報は、画像転送手段８３が取得した画像データのヘッダ情報、タグ情報に埋め込まれている。
【０２８５】
画像処理部１０は、操作部７１又は制御部７２の指令に基づいて、フィルムスキャナ部８１、反射原稿入力装置８２、画像転送手段８３、通信手段（入力）８４の何れかから受け取った画像データに対し、後述の画像処理を施して、出力媒体上での鑑賞に最適化された画像形成用のデジタル画像データを生成し、ＣＲＴ固有処理部７６、プリンタ固有処理部Ａ７７、プリンタ固有処理部Ｂ７８、画像データ書式作成処理部７９の何れかに出力する。
【０２８６】
画像処理装置２内の画像処理部１０の内部構成については、後に図１１を用いて詳細に説明する。
【０２８７】
ＣＲＴ固有処理部７６は、画像処理部１０から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ８５に出力する。
【０２８８】
プリンタ固有処理部Ａ７７は、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等の処理を行い、処理済の画像データを露光処理部８６に出力する。
【０２８９】
画像処理装置２に、外部プリンタ８７が接続可能な場合には、接続するプリンタ装置毎にプリンタ固有処理部Ｂ７８が備えられている。このプリンタ固有処理部Ｂ７８は、プリンタ固有の校正処理、カラーマッチング、画素数変更等の処理を施し、処理済の画像データを外部プリンタ８７に出力する。
【０２９０】
画像データ書式作成処理部７９は、画像処理部１０から入力された画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ、ビットマップ等に代表される各種の汎用画像フォーマットへの変換を施し、処理済の画像データを画像搬送部８８や通信手段（出力）８９に出力する。
【０２９１】
なお、図３９に示したフィルムスキャンデータ処理部７３、反射原稿スキャンデータ処理部７４、画像データ書式解読処理部７５、画像処理部１０、ＣＲＴ固有処理部７６、プリンタ固有処理部Ａ７７、プリンタ固有処理部Ｂ７８、画像データ書式作成処理部７９、という区分は、画像処理装置２の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵによるソフトウェア処理の種類の区分として実現されてもよい。
【０２９２】
（画像処理部１０の内部構成）
図１１に、画像処理部１０の内部構成を示す。画像処理部１０は、画像処理装置２の入力画像に対して、シーン判別に基づく階調の補正動作を制御するものであり、画像取得、シーン判別、階調処理条件設定などの一連の処理を実行する。本実施形態では入力画像が撮影画像（Ｒａｗデータなどのリニア画像データであり、第１の実施形態、即ち撮像装置１で述べた動作点設定がなされているものとする）データであるとし、図１１を用いて、画像処理部１０の内部構成を説明する。
【０２９３】
図１１に示すように、画像処理部１０は、第１画像取得部１０１、動作点設定情報取得部１０１ａ、第２画像取得部１０２、第３画像取得部１０６、占有率算出部１０３、指標算出部１０４、シーン判別部１０５、階調処理条件設定部１０７、階調変換処理部１０８により構成される。
【０２９４】
第１画像取得部１０１は、各入力データ処理部からの入力画像データを取得する。入力画像は撮影画像データであるので、例えば画像転送手段８３或いは通信手段（入力）８４を経て画像データ書式解読処理部７５に入力された撮影画像データが、その画像データのデータ書式に従って、必要に応じて圧縮符号の復元、データの表現方法の変換等の処理が施され、画像処理部１０によって第１の画像として取得される。撮影画像データは通常撮影時にＪＰＥＧ画像形式などのノンリニア画像に変換され、記録されている。ここでは、ノンリニア画像に変換前のリニア画像（例えば、Ｒａｗデータ）を第１の画像として取得するものとする。
【０２９５】
また、第１画像取得部１０１は、例えば撮影時にリニア画像のタグ領域に記録された付加情報などを読み出し、撮影時に算出される輝度情報も合わせて取得する。即ち、第１画像取得部１０１は輝度情報取得手段としても機能する。本実施形態で取得する輝度情報ＢＶは輝度値であり、撮影時における測光値から算出され、メタデータとして画像データのタグ領域に付加記録されたものである。取得した第１の画像の画像データ及び輝度情報ＢＶは、画像処理部１０内のメモリ（不図示）に保持される。
【０２９６】
動作点設定情報取得部１０１ａは、第１の画像の取得時に、画像データのタグ領域に付加データとして記録された動作点設定情報を取得する。動作点設定情報は、ノーマルモード、或いはワイドモードといった撮影モードの情報である。この撮影モードに基づき、動作点設定と対応したガンマ補正を後に行うものである。またこの情報に基づいて、後で第３の画像が取得される。従って、動作点設定情報取得部１０１ａは、動作点設定情報取得手段として機能する。
【０２９７】
第２画像取得部１０２は、第１の実施形態の場合と同様に、第１の画像から、実質的に縮小された第２の画像を取得する。
【０２９８】
第１画像取得部１０１及び第２画像取得部１０２は、第１の実施形態と同様に、画像取得手段として機能する。
【０２９９】
続く第３画像取得部１０６、占有率算出部１０３、指標算出部１０４、そしてシーン判別部１０５は、シーン判別処理手段として機能する。以下、第１の実施形態の撮像装置１と同様の機能を有する構成要素については、説明を簡略にする。
【０３００】
第３画像取得部１０６は、取得した第２の画像を、やはり取得した動作点設定情報に基づいて階調変換処理し、第３の画像を取得する。具体的には、ノーマルモード、ワイドモード、それぞれに対応した、階調変換用ＬＵＴを用いて変換処理する。変換処理の意図は、動作点変更しない状態（ノーマルモード）での特性に戻して、シーン判別処理を行うことであり、得られた画像は依然として「リニア画像」である。詳細は、第１の実施形態の場合と同様であり、図２６を用いて既述した。
【０３０１】
占有率算出部１０３は、第１の占有率算出手段として機能し、第３の画像の画像データに対して取得した色情報に基づいて、画像を明度と色相の組み合わせからなる所定の階級に分類し、分類された階級毎に各階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。
【０３０２】
また、占有率算出部１０３は、第２の占有率算出手段としても機能し、同じく第３の画像を画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、各階級毎に第２の占有率を算出する。
【０３０３】
占有率算出部１０３において実行される占有率算出処理において、第１の実施形態と異なる点については、後に図２８を参照して説明する。
【０３０４】
指標算出部１０４は、占有率算出部１０３で算出された第１の占有率から指標１及び指標２を算出する。即ち、指標算出部１０４は、第１の指標算出手段及び第２の指標算出手段として機能する。
【０３０５】
また、指標算出部１０４は、占有率算出部１０３で算出された第２の占有率から指標３を算出する。即ち、指標算出部１０４は、第３の指標算出手段としても機能する。
【０３０６】
更に、指標算出部１０４は、第３の画像の画面中央部における平均輝度値と、最大輝度値と平均輝度値との差分値から露出撮影度指標を算出する。即ち、指標算出部１０４は、第４の指標算出手段としても機能する。
【０３０７】
また、指標算出部１０４は、第３の画像の画面中央部における肌色領域の平均輝度値（指標７）と、指標１及び指標３と、前述の撮影時の輝度情報ＢＶとから、新たな自然光指標を算出する。即ち、指標算出部１０４は、第５の指標算出手段としても機能する。
【０３０８】
また、指標算出部１０４は、前記平均輝度値と、指標２及び指標３と、前述の撮影時の輝度情報ＢＶとから、新たな輝度比指標を算出する。即ち、指標算出部１０４は、第６の指標算出手段としても機能する。
【０３０９】
指標算出部１０４において実行される指標算出処理において、第１の実施形態の場合と異なる点については、後に図３１を参照して詳細に説明する。
【０３１０】
シーン判別部１０５は、指標算出部１０４で算出された各指標に基づいて、第１の画像の撮影シーンを判別する。即ち、シーン判別部１０５は、シーン判別手段として機能する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度などもこれに含まれる。
【０３１１】
以上のように、第３画像取得部１０６、占有率算出部１０３、指標算出部１０４及びシーン判別部１０５は、第１の実施形態と同様に、シーン判別処理手段として機能する。
【０３１２】
階調処理条件設定部１０７は、シーン判別部１０５で判別された撮影シーンに基づいて第１の画像に対する階調処理条件を設定する。階調処理条件の設定方法は、第１の実施形態の場合と同様である。即ち、階調処理条件設定部１０７は、階調処理条件設定手段として機能する。
【０３１３】
階調変換処理部１０８は、階調処理条件設定部１０７で設定された階調処理条件に従って、第１の画像に対する階調変換処理を実行する。また、階調変換処理部１０８は、第１の実施形態における撮像装置１のガンマ補正部５５と同様に、当該階調変換処理が施された第１の画像（リニア画像）をノンリニア画像に変換する処理を行う。従って、階調変換処理部１０８は、第１の階調変換処理手段及び第２の階調変換処理手段として機能する。
【０３１４】
（画像処理装置２の動作フロー）
次に、本実施形態における画像処理装置２の動作について説明する。
【０３１５】
以下では、撮影画像を対象とし、その撮影対象物を「主要被写体」と呼ぶことにする。
【０３１６】
まず、図４０のフローチャートを参照して、画像処理装置２において実行される処理の全体の流れを説明する。
【０３１７】
まず、画像処理装置２への入力操作が行われると、各入力処理部７３〜７５の何れかにおいて入力処理が行われる（ステップＳ７０）。撮影画像に対しては、画像データ書式解読処理部７５での処理を経て、画像処理部１０に送られる。次いで、画像処理部１０において、撮影画像として第１の画像（リニア画像）が取得される（ステップＳ７１）。
【０３１８】
一方、輝度情報取得工程であるステップＳ８２では、取得した第１の画像に付加されたタグ情報が読み出され、輝度情報ＢＶの取り込みが行われる。取得される輝度情報ＢＶは、撮影時に測光値から算出され、撮影画像データが記録される際に、タグデータとして付加的に記録されたものである。取得した輝度情報ＢＶはメモリに保持される。
【０３１９】
また、動作点設定情報取得工程であるステップＳ８１では、撮影時に記録された撮影モード情報が取得される。取得されたノーマルモード、或いはワイドモードである撮影モード情報は、メモリに保持され、既に述べたように動作点設定情報としてガンマ補正、即ち第２の階調変換に利用される。また、次に述べる第３の画像作成に利用される。
【０３２０】
その後、第１の画像の画像データは、一方で複数の分割領域からなる分割画像、即ち第２の画像（縮小リニア画像）として取得される（ステップＳ７２）。第２の画像が第１の画像のサイズを縮小した画像となるのは第１の実施形態の場合と同様である。ステップＳ７１及びステップＳ７２は、画像取得工程に対応する。
【０３２１】
次いで、ステップＳ７３とステップＳ７４は、シーン判別処理工程に対応する。
【０３２２】
ステップＳ７３では、第２の画像（縮小リニア画像）に対して、階調変換処理を行い、第３の画像（縮小リニア画像）を取得する。第３の画像取得部１０１ａは、動作点設定情報に応じて、ノーマルモード用とワイドモード用との２種類のＬＵＴを備えており、動作点設定情報に応じて階調変換用のＬＵＴをその２種類から選択し、適用することで、第３の画像を取得する。
【０３２３】
次いで、第３の画像取得に続くシーン判別処理工程であるステップＳ７４では、取得された第３の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる。ステップＳ７４におけるシーン判別処理については、後に図２７を参照して、第１の実施形態の場合と異なる点を説明する。
【０３２４】
次いで、階調処理条件設定工程であるステップＳ７５では、第１の実施形態の場合と同様に、ステップＳ７４のシーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な条件を設定する階調処理条件設定処理が行われる。
【０３２５】
第１の階調変換処理工程であるステップＳ７６では、第３の画像に基づいて設定された階調処理条件に基づいて、撮影画像である第１の画像の画像データに対する階調変換処理が行われる。ステップＳ７６の階調変換処理は、シーン輝度のどこを中心に写真階調を再現するか、或いは撮影シーンの光源条件などによる階調への影響を補正するものであり、ステップＳ７４でのシーン判別結果によりステップＳ７５で設定された階調処理条件に基づいて行われるものである。
【０３２６】
第２の階調変換処理工程であるステップＳ７７では、上記階調変換処理後の第１の画像（リニア画像）に対しガンマ変換処理を施すことによって、当該リニア画像がノンリニア画像に変換される。ガンマ変換処理は、取得した動作点設定情報に基づき、ノーマルモード或いはワイドモード用に対応した階調変換用ＬＵＴを用いて行われる。その方法については、第１の実施形態の場合と同様である。
【０３２７】
なお本実施形態では、ステップＳ７５で階調処理条件を設定し、ステップＳ７６で階調変換処理を行う形態としているが、撮影シーンに基づいて上記階調処理以外に他の画像特性、例えば色調整の最適化処理などを行うようにしてもよい。
【０３２８】
次いで、ガンマ変換処理後の画像データに対し、その他の画像処理（ノイズ処理、シャープネス処理等）が適宜行われる（ステップＳ７８）。その後、画像データは、各出力処理部７６〜７９で処理され、出力される。或いは、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）に記録される（ステップＳ７９）。出力又は記録が終わると、画像処理装置２における動作は終了する。
【０３２９】
なお、ステップＳ７６で階調変換処理後のリニア画像をＲａｗデータとして保存し、現像ソフトウェアを用いてノンリニア画像に変換するようにしてもよい。
【０３３０】
（シーン判別処理２のフロー）
第３の画像取得の詳細説明については、第１の実施形態での図２６を用いた説明と同様であり、省略する。次に、図２７のフローチャートを参照して、画像処理装置２における、第３の画像取得に引き続くシーン判別処理２（図４０のステップＳ７４）について説明する。以下では、第１の実施形態（撮像装置１）と異なる点を説明し、同一内容の部分は適宜省略する。
【０３３１】
第３の画像取得後のシーン判別処理は、第１の実施形態と同様、図２７に示すように、色空間変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別（ステップＳ２３）の各処理により構成される。以下、適宜上記図面を参照して、図２７に示す各処理について説明する。
【０３３２】
まず、図２７のステップＳ２０において、色空間変換処理が行われる。処理内容は第１の実施形態の場合と同様であるため、ここでの説明は省略する。
【０３３３】
＜占有率算出処理２＞
次に、図２８のフローチャートを参照して、ステップＳ２１の占有率算出処理について説明する。
【０３３４】
まず、色空間変換処理で算出されたＨＳＶ値に基づいて、第３の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
【０３３５】
明度の分割については、第１の実施形態の場合と異なる場合を説明する。ステップＳ３０では、明度（Ｖ）は、明度値が０〜２５（ｖ１）、２６〜５０（ｖ２）、５１〜８４（ｖ３）、８５〜１６９（ｖ４）、１７０〜１９９（ｖ５）、２００〜２２４（ｖ６）、２２５〜２５５（ｖ７）の７つの階級に分割される。
【０３３６】
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。これらは第１の実施形態の場合と同様である。また、肌色色相領域が、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割されるのも同様である。
【０３３７】
ステップＳ３１の２次元ヒストグラム作成も第１の実施形態の場合と同様である。
【０３３８】
図４１に、ステップＳ３１において、第３の画像の画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり．領域ｎ３が領域ｎ２のさらに内側の領域であり、領域ｎ４が第３の画像の中央部の領域である。また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。従って、第３の画像を画面の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は４×７＝２８個となる。
【０３３９】
ステップＳ３２が、ステップＳ３０とともに、第１の占有率算出工程に対応し、第１の占有率が算出されるのは第１の実施形態の場合と同様である。
【０３４０】
明度領域ｖｉ、色相領域Ｈｊの組み合わせからなる階級において算出された第１の占有率をＲｉｊとすると、各階級における第１の占有率は表８のように表される。
【０３４１】
【表８】
2007258890.tif 000014
【０３４２】
ステップＳ３３が、ステップＳ３１とともに、第２の占有率算出工程に対応し、第２の占有率が算出されるのも第１の実施形態の場合と同様である。
【０３４３】
明度領域ｖｉ、画面領域ｎｊの組み合わせからなる各階級において算出された第２の占有率をＱｉｊとすると、各階級における第２の占有率は表９のように表される。
【０３４４】
【表９】
2007258890.tif 000015
【０３４５】
＜指標算出処理２＞
次に、図３１のフローチャートを参照して、指標算出処理（図２７のステップＳ２２）について説明する。
【０３４６】
まず、第１の指標算出工程であるステップＳ４０では、第１の占有率に予め設定された第１の係数を乗算して和をとることにより、指標１が算出され、次いで、第２の指標算出工程であるステップＳ４１では、同じく第１の占有率に予め設定された第２の係数を乗算して和をとることにより、指標２が算出されるのは、第１の実施形態の場合と同様である。
【０３４７】
指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０３４８】
以下、指標１及び指標２の算出方法について説明する。
【０３４９】
表１０に、指標１を算出するために必要な第１の係数を階級別に示す。表１０に示された各階級の係数は、表２に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０３５０】
【表１０】
2007258890.tif 000016
【０３５１】
表１０によると、高明度（ｖ５、ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図４２は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表１０及び図４２によると、高明度（Ｖ＝１７０〜２２４）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
【０３５２】
明度領域ｖｉ、色相領域Ｈｊにおける第１の係数をＣｉｊとすると、指標１を算出するためのＨｋ領域の和は、式（６）のように定義される。
【０３５３】
【数５】
2007258890.tif 000017
【０３５４】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（６−５）〜（６−８）のように表される。
【０３５５】
Ｈ１領域の和＝Ｒ１１×（−４４）＋Ｒ２１×（−１６）＋（中略）…
＋Ｒ７１×（−１１．３）                            …（６−５）
Ｈ２領域の和＝Ｒ１２×０＋Ｒ２２×８．６＋（中略）…
＋Ｒ７２×（−１１．１）                            …（６−６）
Ｈ３領域の和＝Ｒ１３×０＋Ｒ２３×（−６．３）＋（中略）…
＋Ｒ７３×（−１０）                                …（６−７）
Ｈ４領域の和＝Ｒ１４×０＋Ｒ２４×（−１．８）＋（中略）…
＋Ｒ７４×（−１４．６）                            …（６−８）
指標１は、式（６−５）〜（６−８）で示されたＨ１〜Ｈ４領域の和を用いて、式（２１）のように定義される。
【０３５６】
指標１＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋４．４２４
…（２１）
表１１に、指標２を算出するために必要な第２の係数を階級別に示す。表１１に示された各階級の係数は、表２に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０３５７】
【表１１】
2007258890.tif 000018
【０３５８】
表１１によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には正（＋）の係数が用いられる。図４３は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表１１及び図４３によると、肌色色相領域の、明度値が２６〜８４の低明度領域の第２の係数の符号は正（＋）であり、明度値０〜２５の最低明度領域と、明度値８５〜２５５の中間及び高明度領域の第２の係数の符号は負（−）であり、両領域での係数に大きな違いがあることがわかる。
【０３５９】
明度領域ｖｉ、色相領域Ｈｊにおける第２の係数をＤｉｊとすると、指標２を算出するためのＨｋ領域の和は、式（８）のように定義される。
【０３６０】
【数６】
2007258890.tif 000019
【０３６１】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（８−５）〜（８−８）のように表される。
【０３６２】
Ｈ１領域の和＝Ｒ１１×（−２７）＋Ｒ２１×４．５＋（中略）…
＋Ｒ７１×（−２４）                                …（８−５）
Ｈ２領域の和＝Ｒ１２×０＋Ｒ２２×４．７＋（中略）…
＋Ｒ７２×（−８．５）                            …（８−６）
Ｈ３領域の和＝Ｒ１３×０＋Ｒ２３×０＋（中略）…＋Ｒ７３×０    …（８−７）
Ｈ４領域の和＝Ｒ１４×０＋Ｒ２４×（−５．１）＋（中略）…
＋Ｒ７４×７．２                                  …（８−８）
指標２は、式（８−５）〜（８−８）で示されたＨ１〜Ｈ４領域の和を用いて、式（２２）のように定義される。
【０３６３】
指標２＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋１．５５４
…（２２）
指標１及び指標２は、第３の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
【０３６４】
指標１及び指標２が算出されると、第３の指標算出工程であるステップＳ４２で、第２の占有率に、予め設定された第３の係数を乗算して和をとることにより、指標３が算出される。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。
【０３６５】
以下、指標３の算出方法について説明する。
【０３６６】
表１２に、指標３を算出するために必要な第３の係数を階級別に示す。表１２に示された各階級の係数は、表３に示した各階級の第２の占有率Ｑｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０３６７】
【表１２】
2007258890.tif 000020
【０３６８】
図４４は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【０３６９】
明度領域ｖｉ、画面領域ｎｊにおける第３の係数をＥｉｊとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（１０）のように定義される。
【０３７０】
【数７】
2007258890.tif 000021
【０３７１】
従って、ｎ１〜ｎ４領域の和は、下記の式（１０−５）〜（１０−８）のように表される。
【０３７２】
ｎ１領域の和＝Ｑ１１×４０．１＋Ｑ２１×３７＋（中略）…
＋Ｑ７１×２２                                    …（１０−５）
ｎ２領域の和＝Ｑ１２×（−１４．８）＋Ｑ２２×（−１０．５）＋（中略）…
＋Ｑ７２×０                                      …（１０−６）
ｎ３領域の和＝Ｑ１３×２４．６＋Ｑ２３×１２．１＋（中略）…
＋Ｑ７３×１０．１                                …（１０−７）
ｎ４領域の和＝Ｑ１４×１．５＋Ｑ２４×（−３２．９）＋（中略）…
＋Ｑ７４×（−５２．２）                          …（１０−８）
指標３は、式（１０−５）〜（１０−８）で示されたｎ１〜ｎ４領域の和を用いて、式（２３）のように定義される。
【０３７３】
指標３＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋ｎ４領域の和＋１２．６０２１                                                                      …（２３）
指標３は、第３の画像の明度の分布位置による構図的な特徴（全体画像の画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
【０３７４】
指標１〜３が算出されると、第４の指標算出工程であるステップＳ４３で、第２の画像の画面中央部における肌色の平均輝度値と、最大輝度植と平均輝度値との差分値のそれぞれに、予め設定された係数を乗算することにより、露出撮影度指標が算出される。
【０３７５】
以下、図３５のフローチャートを参照して、露出撮影度指標の算出処理について説明する。
【０３７６】
まず、ステップＳ５０からステップＳ５４に至る、第３の画像の画面中央部における肌色領域の平均輝度値ｘ１、第２の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値、第２の画像の輝度の標準偏差ｘ３、画面中央部における平均輝度値ｘ４、そして第２の画像における肌色領域の最大輝度値Ｙｓｋｉｎ＿ｍａｘと最小輝度値Ｙｓｋｉｎ＿ｍｉｎの差分値と、肌色領域の平均輝度値Ｙｓｋｉｎ＿ａｖｅとの比較値ｘ５を算出する処理については、第１の実施形態の場合と同様であるため、ここでの説明を省略する。
【０３７７】
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、露出撮影度指標が算出され（ステップＳ５５）、露出撮影度指標算出処理が終了する。露出撮影度指標は、下記の式（１２−３）のように定義される。
【０３７８】
露出撮影度指標＝０．０６×ｘ１＋１．１３×ｘ２＋０．０２×ｘ３
＋（−０．０１）×ｘ４＋０．０３×ｘ５−６．５０  …（１２−３）
この露出撮影度指標は、第２の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
【０３７９】
露出撮影度指標が算出されると、第５の指標算出工程であるステップＳ４４において、指標１、指標３、輝度情報ＢＶ、及び第３の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第５の係数）を乗算することにより、自然光指標が算出される。
【０３８０】
更に、第６の指標算出工程であるステップＳ４５において、指標２、指標３、輝度情報ＢＶ、及び第３の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第６の係数）を乗算することにより、輝度比指標が算出され、本指標算出処理が終了する。
【０３８１】
以下、自然光指標及び輝度比指標の算出方法について説明する。
【０３８２】
第３の画像の画面中央部における肌色領域の平均輝度値を指標７とする。ここでの画面中央部とは、例えば、図４１の領域ｎ２、領域ｎ３及び領域ｎ４から構成される領域である。このとき、自然光指標は、指標１、指標３、指標７、及び輝度情報ＢＶを用いて式（２４）のように定義され、輝度比指標は、指標２、指標３、指標７、及び輝度情報ＢＶを用いて式（２５）のように定義される。
自然光指標＝０．１８×指標１＋０．１９×指標３＋０．００４×指標７
−０．６８×ＢＶ＋４．３９                                  …（２４）
輝度比指標＝０．２４×指標２＋０．１６×指標３＋０．０３４×指標７
−０．０５×ＢＶ＋４．６１                                  …（２５）
ここで式（２４）及び式（２５）において各指標に乗算される係数は、撮影条件に応じて予め設定されている。
【０３８３】
また輝度情報ＢＶに基づいて、自然光指標、輝度比指標を算出する代わりに、指標１、指標２、指標３を算出するのに輝度情報ＢＶを用いてもよい。その場合、自然光指標、輝度比指標を算出するのに輝度情報ＢＶを用いる必要はない。
【０３８４】
＜シーン判別２＞
図２７のステップＳ２３（シーン判別）に戻る。
【０３８５】
露出撮影度指標、自然光指標、輝度比指標が算出されると、これらの指標の値に基づいて撮影シーンが判別されるが、シーン判別方法は第１の実施形態の場合と同様であるため、ここでの説明は省略する。
【０３８６】
（階調処理条件設定のフロー）
第１の画像に対する階調処理条件設定処理（図４０のステップＳ７５）は、第１の実施形態の場合と同様であり、図３６のフローチャートを用いて説明したとおりであるため、ここでの説明は省略する。
【０３８７】
以上のように、第２の実施形態の画像処理装置２によれば、上述の第１の実施形態と同様に、動作点設定情報に基づき一定の輝度範囲となるよう補正したリニア画像を用いて撮影シーンを判別することにより、また、当該撮影シーンの判別結果に基づく階調処理条件を、リニア画像取得時の露出補正と等価となるように定義したことにより、既存の自動露出制御、撮像素子の動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化することが可能となる。
【０３８８】
なお、上記各実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【０３８９】
【図１】本発明の実施形態に係る撮像装置の外観構成例を示す図である。
【図２】撮像装置の内部構成を示すブロック図である。
【図３】撮影処理部の内部構成を示すブロック図である。
【図４】ＡＥ制御部での露光量制御を示すフローチャートである。
【図５】シャッタ速度の制御において撮像素子に電荷が蓄積する様子を示す図である。
【図６】ＡＦ制御部での画像の焦点を合わせる制御を示すフローチャートである。
【図７】撮影光学系の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を示す図である。
【図８】画素補間部での、ＲＧＢ各色成分ごとに画素間の補間を行う画像データの処理を示すフローチャートである。
【図９】ＡＷＢ制御部での、撮影画像におけるホワイトバランスを自動的に調整する処理を示すフローチャートである。
【図１０】（ａ）撮像素子の動作点の違いと、（ｂ）それに対応するガンマ補正曲線の違いの一例を示す図である。
【図１１】画像処理部の内部構成を示すブロック図である。
【図１２】撮影された第１の画像の一例を示す図（ａ）と、第１の画像を分割し、Ｍ×Ｎ画素の縮小画像とした第２の画像の一例を示す図（ｂ）である。
【図１３】階調処理条件設定部の内部構成を示すブロック図である。
【図１４】輝度比指標と仮補正量ｋｅｙ＿ａｕｔｏ［０］との関係を示すＬＵＴである。
【図１５】露出撮影度指標と仮補正量ｋｅｙ＿ａｕｔｏ［１］との関係を示すＬＵＴである。
【図１６】肌色平均輝度と仮補正量ｋｅｙ＿ａｕｔｏ［２］との関係を示すＬＵＴである。
【図１７】肌色平均輝度又は全体平均輝度と仮補正量ｋｅｙ＿ａｕｔｏ［３］との関係を示すＬＵＴである。
【図１８】輝度比指標と仮補正量ｋｅｙ＿ａｕｔｏ［４］との関係を示すＬＵＴである。
【図１９】露出撮影度指標と仮補正量ｋｅｙ＿ａｕｔｏ［５］との関係を示すＬＵＴである。
【図２０】自然光指標と混合係数ｗｇｔ［０］との関係を示すＬＵＴである。
【図２１】自然光指標と混合係数ｗｇｔ［１］との関係を示すＬＵＴである。
【図２２】自然光指標と混合係数ｗｇｔ［２］との関係を示すＬＵＴである。
【図２３】自然光指標と混合係数ｗｇｔ［３］との関係を示すＬＵＴである。
【図２４】自然光指標、輝度比指標、露出撮影度指標から撮影シーンを判別するための判別マップを示す図である。
【図２５】撮像装置１において実行される処理の全体の流れを示すフローチャートである。
【図２６】（ａ）撮像素子の動作点の違いと、（ｂ）それに対応する階調変換処理の違いの一例を示す図である。
【図２７】画像処理部において実行されるシーン判別処理を示すフローチャートである。
【図２８】占有率算出処理を示すフローチャートである。
【図２９】明度と色相からなる階級を示す図である。
【図３０】画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ３を示す図（ａ）と、領域ｎ１〜ｎ３と明度からなる階級を示す図（ｂ）である。
【図３１】指標算出処理を示すフローチャートである。
【図３２】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。
【図３３】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。
【図３４】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ３）に示す図である。
【図３５】露出撮影度指標算出処理を示すフローチャートである。
【図３６】階調処理条件設定部において実行される階調処理条件設定処理を示すフローチャートである。
【図３７】撮影シーンが順光である場合の階調変換曲線（ａ）と、撮影シーンが逆光である場合の階調変換曲線（ｂ）を示す図である。
【図３８】本発明の第２の実施形態に係る画像処理装置の外観構成例を示す図である。
【図３９】画像処理装置の内部構成を示すブロック図である。
【図４０】画像処理装置において実行される処理の全体の流れを示すフローチャートである。
【図４１】画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図である。
【図４２】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。
【図４３】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。
【図４４】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図である。
【符号の説明】
【０３９０】
１  撮像装置
２  画像処理装置
１０  画像処理部
１１  筐体
１３  装填部
１４  画像読み込み部
１５  画像書き込み部
１６  プリント作成部
１７  トレー
２０  撮影処理部
２１  筐体
２２  十字キー
２３  撮影光学系
２４  フラッシュ
２５  ファインダ
２６  電源スイッチ
２７  表示部
２８  レリーズボタン
２９  撮影モード切替ボタン
３１  プロセッサ
３２  メモリ
３３  撮像素子
３７  画像データ出力部
３８  操作部
４１  タイミングジェネレータ
４２  シャッタユニット
４３  絞りユニット
４４  フォーカスユニット
５０  信号処理部
５１  ＡＥ制御部
５２  ＡＦ制御部
５３  画素補間部
５４  ＡＷＢ制御部
５５  ガンマ補正部
５６  撮影モード設定部
５７  動作点設定部
５８  ＬＵＴ設定部
７１  操作部
７２  制御部
７３  フィルムスキャンデータ処理部
７４  反射原稿スキャンデータ処理部
７５  画像データ書式解読処理部
７６  ＣＲＴ固有処理部
７７  プリンタ固有処理部Ａ
７８  プリンタ固有処理部Ｂ
７９  画像データ書式作成処理部
８１  フィルムスキャナ部
８２  反射原稿入力装置
８３  画像転送手段
８４  通信手段（入力）
８５  ＣＲＴ
８６  露光処理部
８７  外部プリンタ
８８  画像搬送部
８９  通信手段（出力）
１０１  第１画像取得部
１０１ａ  動作点設定情報取得部
１０２  第２画像取得部
１０３  占有率算出部
１０４  指標算出部
１０５  シーン判別部
１０６  第３画像取得部
１０７  階調処理条件設定部
１０８  階調変換処理部
２０１  第１仮補正量設定部
２０２  第１混合係数設定部
２０３  第２仮補正量演算部
２０４  第２混合係数設定部
２０５  明るさ補正量演算部
【図１】
2007258890.tif 000022
【図２】
2007258890.tif 000023
【図３】
2007258890.tif 000024
【図４】
2007258890.tif 000025
【図５】
2007258890.tif 000026
【図６】
2007258890.tif 000027
【図７】
2007258890.tif 000028
【図８】
2007258890.tif 000029
【図９】
2007258890.tif 000030
【図１０】
2007258890.tif 000031
【図１１】
2007258890.tif 000032
【図１２】
2007258890.tif 000033
【図１３】
2007258890.tif 000034
【図１４】
2007258890.tif 000035
【図１５】
2007258890.tif 000036
【図１６】
2007258890.tif 000037
【図１７】
2007258890.tif 000038
【図１８】
2007258890.tif 000039
【図１９】
2007258890.tif 000040
【図２０】
2007258890.tif 000041
【図２１】
2007258890.tif 000042
【図２２】
2007258890.tif 000043
【図２３】
2007258890.tif 000044
【図２４】
2007258890.tif 000045
【図２５】
2007258890.tif 000046
【図２６】
2007258890.tif 000047
【図２７】
2007258890.tif 000048
【図２８】
2007258890.tif 000049
【図２９】
2007258890.tif 000050
【図３０】
2007258890.tif 000051
【図３１】
2007258890.tif 000052
【図３２】
2007258890.tif 000053
【図３３】
2007258890.tif 000054
【図３４】
2007258890.tif 000055
【図３５】
2007258890.tif 000056
【図３６】
2007258890.tif 000057
【図３７】
2007258890.tif 000058
【図３８】
2007258890.tif 000059
【図３９】
2007258890.tif 000060
【図４０】
2007258890.tif 000061
【図４１】
2007258890.tif 000062
【図４２】
2007258890.tif 000063
【図４３】
2007258890.tif 000064
【図４４】
2007258890.tif 000065