(57)【要約】【課題】既存の自動露出制御、撮像素子の動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化する。【解決手段】撮像装置１は、撮影によって形成されたリニア画像を取得し（Ｓ５、Ｓ７）、撮影時に設定された撮影条件を取得する（Ｓ３）。そして、前記リニア画像に基づいて撮影シーンの判別処理を行う（Ｓ８）。そして、シーン判別処理による判別結果及び撮影条件に基づいて、前記リニア画像に対する階調処理条件を設定し（Ｓ９）、その設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う（Ｓ１０）。そして、前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理（ガンマ変換処理）を行う（Ｓ１１）。【選択図】図２６
2007235204.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記撮影手段による撮影によって形成されたリニア画像を取得する画像取得手段と、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得手段と、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理手段と、
前記シーン判別処理手段により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、を備え、
前記階調処理条件設定手段は、
前記撮影条件取得手段により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴とする撮像装置。
【請求項２】
前記撮影条件取得手段は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像取得手段は、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理手段は、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、
を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、
前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、
前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
撮影によって形成されたリニア画像を取得する画像取得手段と、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得手段と、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理手段と、
前記シーン判別処理手段により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、を備え、
前記階調処理条件設定手段は、
前記撮影条件取得手段により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴とする画像処理装置。
【請求項８】
前記撮影条件取得手段は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像取得手段は、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理手段は、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項７〜９の何れか一項に記載の画像処理装置。
【請求項１１】
前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、
を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、
前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、
前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項１０又は１１に記載の画像処理装置。
【請求項１３】
撮影によって形成されたリニア画像を取得する画像取得工程と、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得工程と、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理工程と、
前記シーン判別処理工程により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定工程と、
前記階調処理条件設定工程により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理工程と、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理工程と、を含み、
前記階調処理条件設定工程では、
前記撮影条件取得工程により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴とする画像処理方法。
【請求項１４】
前記撮影条件取得工程では、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記画像取得工程では、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理工程では、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項１３又は１４に記載の画像処理方法。
【請求項１６】
前記シーン判別処理工程では、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項１３〜１５の何れか一項に記載の画像処理方法。
【請求項１７】
前記シーン判別処理工程は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出工程と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別工程と、
を含むことを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記階調処理条件設定工程は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定工程と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定工程と、
前記第１混合係数設定工程により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定工程と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定工程と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出工程と、を含み、
前記シーン判別処理工程による判別結果と、前記階調調整パラメータ算出工程により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項１６又は１７に記載の画像処理方法。
【請求項１９】
画像処理を制御するコンピュータに、
撮影によって形成されたリニア画像を取得する画像取得手段、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得手段、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理手段、
前記シーン判別処理手段により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段、として機能させ、
前記階調処理条件設定手段は、
前記撮影条件取得手段により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴とする画像処理プログラム。
【請求項２０】
前記撮影条件取得手段は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴とする請求項１９に記載の画像処理プログラム。
【請求項２１】
前記画像取得手段は、
前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理手段は、
前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴とする請求項１９又は２０に記載の画像処理プログラム。
【請求項２２】
前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項１９〜２１の何れか一項に記載の画像処理プログラム。
【請求項２３】
前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出し、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出し、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出し、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出し、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出し、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出し、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出し、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出し、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別することを特徴とする請求項２２に記載の画像処理プログラム。
【請求項２４】
前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定し、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定し、
前記第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定し、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定し、
前記第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出し、
前記シーン判別処理手段による判別結果と、前記算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴とする請求項２２又は２３に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に対する画像処理を行う撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラで取得された撮影画像データからプリントを作成する際、主要被写体（例えば、人物顔領域）の明るさが適正に仕上がるように、撮影画像データの明るさを調整することが行われている。このような明るさ調整方法において、撮影画像データの主要被写体を解析して得られた情報に基づいて、その撮影画像データの明るさを自動的に最適化するための補正量及び階調変換ＬＵＴの設定方法が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００２−２４７３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、通常のデジタルカメラで取得されるＪＰＥＧ（Joint Photographic Coding Experts Group）等の撮影画像データは、被写体の輝度値を記録した画像データ（以下、「リニア画像」と称す）から、モニタなどの表示媒体上での鑑賞に最適となる画像データ（以下、「ノンリニア画像」と称す）へと階調変換処理が施されたものであるため、撮影直後の「リニア画像」に比べ、情報量（S/N）がかなり低下した状態にある。このため、逆光やオーバー撮影シーンのような輝度範囲の大きいシーンでは、補正量を大きくする程、情報量（S/N）の低下、明部、暗部および高彩度部の飽和などの画質劣化が深刻化するため、補正量を大幅に制限せざるを得ないという問題があった。
【０００４】
この問題を解決するために、撮像素子のダイナミックレンジの範囲内に納まる被写体の輝度範囲を規定する、撮像素子の動作点を変更するようにしたデジタルカメラが知られている。具体的には、デジタルカメラの露出をアンダー側にずらす、即ち露出制御の基礎となる撮像素子の設定感度を高くすることにより、標準輝度部分に対する撮像素子の出力値を低下させ、撮影可能範囲を拡大させるというものである。このアンダー撮影した「リニア画像」から、適正露出の「ノンリニア画像」へと階調変換処理を施す手法によって、輝度範囲の大きいシーンに対して高い補正量を適用したときに生じる「白とび」などの問題が、ある程度緩和される改善効果が得られている。
【０００５】
一方、通常のデジタルカメラでは、搭載可能なＣＰＵ（Central Processing Unit）性能、高速処理、操作性などに対する要求から、自動露出制御アルゴリズムや、記憶媒体へ記録する前の画像処理をより複雑なものとすることができず、この対策として、「リニア画像」を、所謂「Ｒａｗデータ」として記録し、所謂「現像ソフト」を用いて「Ｒａｗデータ」から「ノンリニア画像」へと変換する、ユーザ自身による作業を前提とした手段を提供している。しかしながら、「現像ソフト」の利用及び画像データの管理にはかなり煩雑な操作を伴うため、誰もが簡単に利用できるものであるとは言い難く、デジタルカメラの更なる性能向上が望まれている。
【０００６】
本発明の課題は、既存の自動露出制御、撮像素子の動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１に記載の撮像装置は、
被写体を撮影する撮影手段と、
前記撮影手段による撮影によって形成されたリニア画像を取得する画像取得手段と、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得手段と、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理手段と、
前記シーン判別処理手段により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、を備え、前記階調処理条件設定手段は、
前記撮影条件取得手段により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴としている。
【０００８】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記撮影条件取得手段は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴としている。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、前記画像取得手段は、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、前記シーン判別処理手段は、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、前記シーン判別処理手段は、前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴としている。
【００１１】
請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記シーン判別処理手段は、前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、を備えることを特徴としている。
【００１２】
請求項６に記載の発明は、請求項４又は５に記載の撮像装置において、前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、
前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、
前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴としている。
【００１３】
請求項７に記載の画像処理装置は、撮影によって形成されたリニア画像を取得する画像取得手段と、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得手段と、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理手段と、
前記シーン判別処理手段により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段と、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段と、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段と、を備え、
前記階調処理条件設定手段は、
前記撮影条件取得手段により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴としている。
【００１４】
請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記撮影条件取得手段は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴としている。
【００１５】
請求項９に記載の発明は、請求項７又は８に記載の画像処理装置において、前記画像取得手段は、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、前記シーン判別処理手段は、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴としている。
【００１６】
請求項１０に記載の発明は、請求項７〜９の何れか一項に記載の画像処理装置において、前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴としている。
【００１７】
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出手段と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別手段と、を備えることを特徴としている。
【００１８】
請求項１２に記載の発明は、請求項１０又は１１に記載の画像処理装置において、前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定手段と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定手段と、
前記第１混合係数設定手段により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定手段と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定手段と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出手段と、を備え、
前記シーン判別処理手段による判別結果と、前記階調調整パラメータ算出手段により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴としている。
【００１９】
請求項１３に記載の画像処理方法は、撮影によって形成されたリニア画像を取得する画像取得工程と、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得工程と、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理工程と、
前記シーン判別処理工程により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定工程と、
前記階調処理条件設定工程により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理工程と、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理工程と、を含み、
前記階調処理条件設定工程では、
前記撮影条件取得工程により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴としている。
【００２０】
請求項１４に記載の発明は、請求項１３に記載の画像処理方法において、前記撮影条件取得工程では、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴としている。
【００２１】
請求項１５に記載の発明は、請求項１３又は１４に記載の画像処理方法において、前記画像取得工程では、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、
前記シーン判別処理工程では、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴としている。
【００２２】
請求項１６に記載の発明は、請求項１３〜１５の何れか一項に記載の画像処理方法において、前記シーン判別処理工程では、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴としている。
【００２３】
請求項１７に記載の発明は、請求項１６に記載の画像処理方法において、前記シーン判別処理工程は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出する第４の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出工程と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別工程と、を含むことを特徴としている。
【００２４】
請求項１８に記載の発明は、請求項１６又は１７に記載の画像処理方法において、前記階調処理条件設定工程は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定する第１仮補正量設定工程と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定工程と、
前記第１混合係数設定工程により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定する第２仮補正量設定工程と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定工程と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出工程と、を含み、
前記シーン判別処理工程による判別結果と、前記階調調整パラメータ算出工程により算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴としている。
【００２５】
請求項１９に記載の画像処理プログラムは、画像処理を制御するコンピュータに、
撮影によって形成されたリニア画像を取得する画像取得手段、
前記リニア画像の撮影時に設定された撮影条件を取得する撮影条件取得手段、
前記リニア画像に基づいて撮影シーンの判別処理を行うシーン判別処理手段、
前記シーン判別処理手段により得られたシーン判別結果に基づいて、前記リニア画像に対する階調処理条件を設定する階調処理条件設定手段、
前記階調処理条件設定手段により設定された階調処理条件に基づいて、前記リニア画像に対する階調変換処理を行う第１の階調変換処理手段、
前記階調変換処理が適用されたリニア画像をノンリニア画像に変換する階調変換処理を行う第２の階調変換処理手段、として機能させ、
前記階調処理条件設定手段は、
前記撮影条件取得手段により取得された撮影条件に基づいて、前記シーン判別結果に基づいて設定された階調処理条件を補正することを特徴としている。
【００２６】
請求項２０に記載の発明は、請求項１９に記載の画像処理プログラムにおいて、前記撮影条件取得手段は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む撮影条件を取得することを特徴としている。
【００２７】
請求項２１に記載の発明は、請求項１９又は２０に記載の画像処理プログラムにおいて、前記画像取得手段は、前記リニア画像から、画像サイズを縮小したリニア画像を取得し、前記シーン判別処理手段は、前記画像サイズを縮小したリニア画像を用いて撮影シーンの判別処理を行うことを特徴としている。
【００２８】
請求項２２に記載の発明は、請求項１９〜２１の何れか一項に記載の画像処理プログラムにおいて、前記シーン判別処理手段は、
前記リニア画像の自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、
前記算出された各指標に基づいて撮影シーンを判別することを特徴としている。
【００２９】
請求項２３に記載の発明は、請求項２２に記載の画像処理プログラムにおいて、前記シーン判別処理手段は、
前記リニア画像について色情報を取得し、当該取得された色情報に基づいて、前記リニア画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出し、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出し、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出し、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出し、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出し、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度指標を算出し、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出し、
前記指標１、前記指標２、前記指標３のうち少なくとも一つ以上の指標に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出し、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別することを特徴としている。
【００３０】
請求項２４に記載の発明は、請求項２２又は２３に記載の画像処理プログラムにおいて、前記階調処理条件設定手段は、
前記リニア画像の明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該リニア画像に対する複数の第１仮補正量を設定し、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定し、
前記第１混合係数と、前記複数の第１仮補正量に基づいて、前記リニア画像に対する第２仮補正量を設定し、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定し、
前記第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出し、
前記シーン判別処理手段による判別結果と、前記算出された階調調整パラメータとに基づいて、前記リニア画像に対する階調処理条件を設定することを特徴としている。
【００３１】
以下、本発明で使用される用語について説明する。
【００３２】
まず、「リニア画像」、「ノンリニア画像」について詳述する。
一般撮影シーンは照明のムラが多く、輝度比が1000倍を超える事も稀ではない（例えば、日本色彩学会編  色彩科学ハンドブック第２版, 東京大学出版会, p925-926 (1998)を参照）。これに対して、各種メディアが表示できる輝度比は100倍オーダーである。必然的に写真階調はシーン階調と異なる事になり、100倍オーダーの輝度比のメディア上で、1000倍オーダーの輝度比シーンの印象をいかに適切に演出するかが写真設計の基本である。
【００３３】
このシーン階調から写真階調への変換は、シーンの状態（構図内の輝度比・主要被写体の輝度等）により適切なマッピング条件が異なり、一律に決定することができない。そこで銀塩写真の場合には下記のアーキテクチャが採用されている。
[設計１]  ネガフィルムは、数千倍オーダーの輝度比に応じてリニアに濃度が変化する軟調設計にする。これにより、シーンの輝度情報は漏れなくネガフィルムに記録される。
[設計２]  上記の軟調なネガフィルム画像を、硬調な印画紙に焼き付けることで、鑑賞に適した階調とする。焼き付け露光量を調節することで、幅広いシーン輝度のどこを中心に写真階調を再現するかを選択する。
【００３４】
上記設計２では、ネガフィルム画像をプリンタが自動解析することで適切な条件を算出している。この算出結果が撮影意図と合致しなかった場合、ユーザがその旨を指摘して「焼き直し」をすれば、適切な写真を作成する事ができる。たとえば、風景描写を優先したプリントに対して、日陰の人物を重視したいと指摘する等の例が挙げられる。
【００３５】
一方でリバーサルフィルムの場合は、フィルム現像で直接鑑賞用画像を生成する為、上記設計１のような軟調設計ができない。ゆえにリバーサルフィルムは記録できる輝度比の幅が狭く、適正な画像を撮影するためには、撮影時に撮影条件（照明・絞り・シャッター）を慎重に設定する必要があり、もちろん撮影後に「焼き直し」等で修正する事はできない。このため、リバーサルフィルムはプロ・ハイエンドアマチュア専用の商品として販売されている。
【００３６】
このように、銀塩写真におけるネガフィルムとポジフィルムは、ネガ・ポジの階調差以外に、画像の性格が異なるということを指摘することができる。
【００３７】
上記の観点でＤＳＣ（Digital Still Camera）と銀塩写真のアーキテクチャを比較すると、一般用の（sRGBの可視画像ファイルを生成する）ＤＳＣの機構は、リバーサルフィルムの機構に相当する。即ち、幅広いシーン輝度のどこを中心に写真階調を再現するかは露出制御プログラムの精度に依存しており、撮影後に修正する事はできない。一方プロユーザはＲａｗデータ（ＣＣＤが受光した生データ）を記録するＤＳＣを利用し、撮影後に現像ソフトでシーン輝度のどこを中心に写真階調を再現するかを指定している。この方法はネガフィルムの機構に相当する。ここでも一般用ＤＳＣが生成するsRGB画像とＲａｗデータでは、画像データの性格が異なるということを指摘することができる。
【００３８】
このような画像の性格の差は、画像データのレンダリング状態の差異に起因するものであり、この「画像データのレンダリング状態」を示す概念として「Image State」という用語が用いられている。（Image State の詳細な定義は、例えば下記の文献に示されている。“Requirements for Unambiguous Specification of a Color Encoding ISO 22028-1”, Kevin Spaulding, in Proc. Tenth Color Imaging Conference: Color Science and Engineering Systems, Technologies, Applications, IS&T, Springfield, VA, p.106-111 (2002)）．
【００３９】
Image Stateの種類を示す用語として、scene-referred及び output-referredがある。scene-referredとは、風景シーンの色度評価値を表現した状態を意味する。例えばＤＳＣのRawデータに分光感度等の校正のみを施し、意図的な強調を加えていない画像の状態が相当する。「リニア画像」は、シーンの色度評価値を相対的に表現したものであるが、付加的なスケール情報をも参照することで絶対的な色度評価値に換算する事も可能である。スケール情報としては、OECF（光電変換特性, ISO14524で定義）・絞りのＦナンバー・露光時間が挙げられる。
【００４０】
output-referredとは、特定の出力機器・観察条件に対して適切な表現にレンダリングされた状態を意味する。例えば、一般的なＤＳＣが生成するＪＰＥＧ画像はディスプレイ表示に最適化されているので「ノンリニア画像」に該当する。
【００４１】
本発明における「リニア画像」とは、上記のscene-referredのimage stateに属する画像データの一種であり、特に記録された画素の輝度値とシーン輝度の関係が実質的に一次直線の関係にあるものを意味している。また、本発明における「ノンリニア画像」とは、上記のoutput-referredのimage stateに属する画像データを意味している。
【００４２】
即ち、「リニア画像」とは、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度をRIMM RGB、ERIMM RGB、scRGBなどの色空間（後述の「輝度拡張色空間」）にマッピング済みであり、特定の出力機器・観察条件での画像鑑賞時の効果を向上する為に、データ内容を改変する階調変換・鮮鋭性強調・彩度強調などが省略された状態の画像データを意味する。またリニア画像は、撮像装置の光電変換特性(ISO1452が定義するopto-electronic conversion function, 例えば、コロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編、479頁参照)の補正を行ったものであることが好ましい。標準化されたリニア画像の情報量（例えば階調数）は、Ａ/Ｄ変換器の性能に準じ、後述の「ノンリニア画像」で必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えばノンリニア画像の階調数が１チャンネルあたり8bitである場合、リニア画像の階調数は12bit以上が好ましく、14bit以上がより好ましく、また16bit以上がさらに好ましい。
【００４３】
「リニア画像をノンリニア画像に変換する階調変換処理」とは、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得るための「ガンマ補正」処理であり、例えばsRGB規格に準拠したCRTディスプレイモニタに表示することを前提とした場合、sRGB規格の色域内で最適な色再現が得られるように処理される。このときの処理設定は、「ガンマ特性」と称される。
【００４４】
銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、16bitから8bitへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性(ＬＵＴ)への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、グレーバランス調整、彩度調整或いは覆い焼き処理等の階調圧縮処理が行われることは言うまでもない。
【００４５】
「ノンリニア画像」とはＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、或いは銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の「出力媒体」上のハードコピー画像生成に用いるデジタル画像データを意味する。CRT、液晶、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう処理が施されている。撮影により形成された画像データが、「リニア画像」であるとき、「出力媒体上での鑑賞に最適化された画像データ」が「ノンリニア画像」に相当する。前記「Rawデータ」、又は「リニア画像」から、「ノンリニア画像」を生成することを、「電子現像処理」（又は単に「現像処理」）と称し、このような処理機能を備えたアプリケーションソフトウェアを「電子現像ソフト」（又は単に「現像ソフト」）と称される。
【００４６】
「リニア画像に対する階調変換処理」とは、前記Ｒａｗデータ（ＣＣＤが受光した生データ）を記録するＤＳＣを利用し、撮影後に現像ソフトでシーン輝度のどこを中心に写真階調を再現するかをユーザ自身が撮影駒毎に指定する煩雑な操作に相当する。本階調変換処理は、露出制御プログラムの作用と同等であるので、処理後の画像データは、特定の出力機器・観察条件に対して適切な表現にレンダリングされた状態ではなく、シーンの色度評価値を相対的に表現された状態であるので、上記のscene-referredのimage stateに属する「リニア画像」と定義することができる。
【００４７】
「自然光」とは、人工的な光源である定常光や閃光（「フラッシュ」、「スピードライト」などと称される。）ではなく、太陽を光源とする光のことである。日中光とも言う。デーライトは、日中光に近い色温度（約5500K）の人工的な光源を示す用語であるため、「自然光」とは異なる。
【００４８】
「屋外撮影度」（「自然光指標」ともいう。）とは、撮影画像データが「自然光」を用いて撮影されたものであるかどうかを推定し、その結果を定量的に示した数値である。「自然光」を用いて撮影され、明るさ補正を要するシーンには逆光シーンが多く、画面上部に高輝度領域或いは高彩度の空色領域、画面下部に、低輝度領域或いは肌色や緑色が分布する確率が高い。一方、「自然光」を用いないで撮影された屋内撮影或いはオーバー撮影シーンには、画面中央に高輝度領域或いは低彩度の肌色領域、画面周辺には低輝度領域或いは低輝度の肌色や高彩度の肌色が分布する傾向にある。このような経験側を基に、「自然光」を用いて撮影されかどうかを、「屋外撮影度」として定量的に示すことが可能である。画面上部の輝度や空色色相の画素数、画面下部の輝度や肌色色相の画素数など、多くの変量から１つの傾向を導き出す統計処理手法としては、多変量解析を用いることが望ましい。
【００４９】
「ダイナミックレンジの大きさを表す輝度比指標」とは、逆光シーンやオーバー撮影シーンのような、撮影時の光源条件に起因して、主要被写体領域と背景領域の明るさが異なる程度を定量的に示す値のことである。例えば、逆光シーンでは、撮影者がカメラを太陽の方角に向け、人物を撮影することに起因して、人物顔領域が暗く、背景領域である空が明るい画像となっている。即ち、人物顔領域と背景領域との明るさの差分値が得られれば、差分値を指標の１つとすることができる。一般的には、画差撮影画像データのヒストグラムを作図することにより差分値を得ることが知られている。
【００５０】
リニア画像の「明るさ解析値」とは、画素値の分布状態を調べることで得られる、画像の平均的な明るさを示す数値である。「明るさ解析値」は、撮影画像データで最も重要な被写体（主要被写体）の明るさであることが望ましい。人物顔領域の探索は、色相・彩度・明度を用いた表色系における照合により行う。より高い精度を得るためには、目・鼻・口・顔の輪郭など、顔を構成するパーツを照合する所謂「顔検出」を用いることが好ましい。また、撮影時の露出設定に起因する露出撮影度（アンダー撮影、オーバー撮影）を表す露出撮影度指標を算出し、この露出撮影度指標を明るさ解析値として用いてもよい。更に、明るさ解析値の解析方法は、リニア画像の解析に限定するものではなく、例えば、撮像装置の自動露出情報や自動露出情報の記録された付加情報を解析して得られた明るさであってもよい。
【００５１】
「再現目標値」とは、例えば、リニア画像の主要被写体である人物顔領域が、撮影画像データを出力する出力デバイスにおいて最適に再現されるために必要な明るさを示す数値である。即ち、リニア画像の「明るさ解析値」が「再現目標値」に近似した値であれば、出力デバイスにおいて最適に再現される確率が高いことを意味する。
【００５２】
「第１仮補正量」とは、「明るさ解析値」を「再現目標値」へと近似させるために必要な補正量を、一時的なものとして示した数値である。「第１仮補正量を設定する」とは、予め「明るさ解析値」と「第１仮補正量」、との関係を定義した1次元ＬＵＴ（Look Up Table）などを作成しておき、この１次元ＬＵＴと「明るさ解析値」に基づき、「第１仮補正量」を決定することを意味する。更に、「複数の第１仮補正量を設定する」とは、「明るさ解析値」を条件違いで算出する方法、異なる「再現目標値」を設定する方法（複数の1次元ＬＵＴを定義しておくことと同一）の一方又は双方により、少なくとも２つの「第１仮補正量」を一時的に得ることである。
【００５３】
本発明では、逆光シーンと、主要被写体がオーバーであるオーバー撮影シーンの場合の人物顔領域の明るさ補正を想定した、それぞれ２つの「第１仮補正量」設定用の1次元ＬＵＴを定義する。また、逆光シーンとオーバー撮影シーンの中間的なシーンでは、アンダーとオーバー撮影シーンにおける画像全体の明るさ補正を想定した、少なくとも１つの「第１仮補正量」設定用の１次元ＬＵＴを定義することが望ましい。
【００５４】
本発明の効果を十分に発揮させるために、「第１仮補正量」設定用の１次元ＬＵＴの作成に際しては、明部及び暗部がつぶれたり、高彩度の色が飽和してつぶれたり、色相が変わるなどの現象が実際に発生する逆光シーンやオーバー撮影シーンを予め「学習用画像（「教師データ」とも云う）」として多数用意し、人物顔領域の明るさと、これらの現象の発生を観察しながら行うことが望ましい。
【００５５】
「明るさの再現目標値」と「輝度比指標」に基づいて、「第１仮補正量を設定する」とは、撮影画像データのダイナミックレンジが、撮影画像データを出力する出力デバイスのダイナミックレンジ内に適切に収まるように、主要被写体の明るさに基づいて設定された明るさ補正量を弱め、輝度比指標に基づいて明るさ補正量を設定することを意味する。
【００５６】
自然光指標に基づいて「第１混合係数を設定する」とは、予め「自然光指標」と、各第１仮補正量に乗算する「第１混合係数」との関係を定義した１次元ＬＵＴなどを、第１仮補正量の数だけ作成しておき、この１次元ＬＵＴと「自然光指標」に基づき、各第１仮補正量に乗算する「第１混合係数」を決定することを意味する。なお、輝度比指標に基づいて、第１混合係数を調整するようにしてもよい。
【００５７】
例えば、自然光指標が、高い屋外撮影度の数値を示した場合、逆光シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：肌色平均輝度、出力：第１仮補正量）の「第１混合係数」が高くなるように、１次元ＬＵＴを定義する。
【００５８】
一方、自然光指標が、低い屋外撮影度の数値を示した場合、オーバー撮影シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：肌色平均輝度、出力：第１仮補正量）の「第１混合係数」が高くなるように、１次元ＬＵＴを定義する。
【００５９】
また、自然光指標が、曖昧な屋外撮影度の数値を示した場合、アンダー撮影シーンとオーバー撮影シーンにおける画像全体の明るさ補正を想定した、「第１仮補正量」設定用の1次元ＬＵＴ（入力：全体平均輝度又はアンダー・オーバー撮影指標、出力：第１仮補正量）の「第１混合係数」が高くなるように１次元ＬＵＴを定義する。
【００６０】
撮影画像データが予め逆光画像とわかっている場合には、「輝度比指標」に基づき、明るさ補正量と階調変換曲線を修正することができ、撮影画像データの明部及び暗部がつぶれたり、高彩度の色が飽和してつぶれたり、色相が変化することが抑制される。しかしながら、逆光シーンとオーバー撮影シーンとでは、ダイナミックレンジの大きさが同程度であっても、明るさ補正の方向が全く逆であるため、人物顔領域を適正な明るさに補正する処理を自動化するには、逆光シーンかオーバー撮影シーンあるか否かを定量的に示した予測数値（自然光指標）に応じて、ダイナミックレンジの大きさを表す輝度比指標に基づく第１仮補正量の適用量を定義しなくてはならない。そこで、逆光シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の1次元ＬＵＴ（入力：輝度比指標、出力：第１仮補正量）の「第１混合係数」が高くなるように、「自然光指標」と「第１混合係数」との関係を定義した1次元ＬＵＴを定義する。
【００６１】
「第２仮補正量」は、第１仮補正量と第１混合係数に基づいて算出されるもので、式（１）のように定義される。式（１）において、第１仮補正量設定手段により設定される複数の第１仮補正量のうち、ｍ個の第１仮補正量を計算対象とし、ｉ番目の第１仮補正量をkey_auto[i]、第１仮補正量key_auto[i]に乗算する第１混合係数をwgt[i]としている。
【数１】
2007235204.tif 000003
【発明の効果】
【００６２】
本発明によれば、既存の自動露出制御、動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化することが可能となる。
【発明を実施するための最良の形態】
【００６３】
以下、図面を参照して、本発明の実施形態を説明する。
【００６４】
（第１の実施形態）
まず、本発明に係る第１の実施形態（撮像装置）における構成について説明する。
【００６５】
（撮像装置１の構成）
図１（ａ）に、本発明の実施形態に係る撮像装置１の前面図を示し、図１（ｂ）に、撮像装置１の背面図を示す。撮像装置１は、例えば、デジタルカメラであり、金属又は合成樹脂等の材料で構成された筐体２１の内部又は表面に、十字キー２２、撮影光学系２３、フラッシュ２４、ファインダ２５、電源スイッチ２６、表示部２７、レリーズボタン２８が設けられている。
【００６６】
図２に、撮像装置１の内部構成を示す。撮像装置１は、図２に示すように、プロセッサ３１、メモリ３２、ＣＣＤ（Charge Coupled Device）等の撮像素子３３、撮影光学系２３、タイミングジェネレータ４１、シャッタユニット４２、絞りユニット４３、フォーカスユニット４４、表示部２７、操作部３８、画像データ出力部３７により構成される。プロセッサ３１は、撮影制御や撮影画像の処理を行う撮影処理部２０と、画像処理を行う画像処理部１０により構成される。
【００６７】
十字キー２２は、上下左右の４方向のボタンからなり、ユーザが種々のモードを選択又は設定するためのものである。
【００６８】
撮影光学系２３は、複数のレンズ、鏡胴等によって構成され、ズーム機能を有する。撮影光学系２３は、レンズが受光した光を撮像素子３３に結像させる。フラッシュ２４は、被写体輝度が低い時に、プロセッサ３１からの制御信号により補助光を照射する。
【００６９】
ファインダ２５は、ユーザが接眼して撮影対象及び撮影領域を確認するためのものである。電源スイッチ２６は、撮像装置１における動作のＯＮ／ＯＦＦを操作するためのスイッチである。
【００７０】
表示部２７は、液晶パネルにより構成され、プロセッサ３１から入力される表示制御信号に従って、撮像素子３３に現在写っている画像、過去に撮影した画像、メニュー画面、設定画面等を表示する。
【００７１】
レリーズボタン２８は、筐体２１の上面に設けられており、ユーザによる半押し状態（予備撮影）と全押し状態（本撮影）とを区別して検出可能な２段階押し込みスイッチである。
【００７２】
メモリ３２は、撮影によって得られた画像データを記憶（保存）する。また、メモリ３２は、撮像装置１において実行される各種処理プログラム及び当該処理プログラムで利用されるデータ等を記憶する。
【００７３】
画像データ出力部３７は、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）にメモリ３２内の画像データを転送、記録する、或いは外部装置へ転送する。画像データ出力部３７はプロセッサ３１により制御される。
【００７４】
撮像素子３３は、結像された光を電荷に変換する。これにより、例えば、図１２（ａ）に示すような画像データが得られる。この画像には、撮像範囲（撮影範囲）にある物、即ち、撮影対象物（撮影の目標物）とそれ以外の物（背景）とが含まれている。この全体画像の各画素のＲＧＢ値は、例えば、２５６階調で表される。
【００７５】
シャッタユニット４２は、レリーズボタン２８によって検出された状態（半押し状態又は全押し状態）に基づいて撮像素子３３をリセットするタイミング及び電荷変換を行うタイミングなどを制御する。タイミングの制御はタイミングジェネレータ４１により行われる。シャッタユニット４２による露光量制御については後述する。
【００７６】
撮像素子３３が受光する光量の調節は、絞りユニット４３及び／又はシャッタユニット４２によって行われる。フォーカスユニット４４は、撮影光学系２３を駆動させ撮影被写体に対して焦点を合わせる制御動作を実行する。フォーカスユニット４４による合焦点制御については後述する。
【００７７】
（撮影処理部２０の内部構成）
図３に、撮影処理部２０の内部構成を示す。撮影処理部２０は、撮影時に撮影条件に関わる制御や、撮影された画像の処理を行う。撮影処理部２０は、図３に示すように、撮影条件に関わるＡＥ制御部５１、ＡＦ制御部５２、そして撮影された画像に対して画像処理を行う画素補間部５３、ＡＷＢ制御部５４、ガンマ補正部５５などにより構成される。
【００７８】
ＡＥ制御部５１は、画像撮影時にその露光量の自動制御を行う。通常、撮影待機時の露光量制御は、絞り開放でシャッタ速度を制御することによって行われ、撮影時の露光量は絞りとシャッタ速度とで制御される。
【００７９】
ＡＥ制御部５１における撮影待機時の露光量制御は、例えば以下のように行われる（図４（ａ）のフローチャート参照）。
【００８０】
まず絞りユニット４３により、絞りが開放固定絞りに設定される（ステップＳ１１１）。ＡＥ制御部５１により、撮像素子３３によって得られた画像データから所定の測光エリアのデータが読み出され（ステップＳ１１２）、輝度値に相当する情報が取得される（ステップＳ１１３）。この輝度値に相当する情報は、ＡＥ制御のための情報として用いられ、簡易的にＲＧＢ３色成分のうちのＧ値が用いられることが多い（以下これを輝度情報Ｇと呼ぶ）。この輝度情報Ｇに応じて撮像素子３３の次のフレームにおける電荷蓄積時間が設定され（ステップＳ１１４）、タイミングジェネレータ４１により、所定の輝度レベルとなるように、次のフレームにおける電荷蓄積時間が制御される（ステップＳ１１７）。これがシャッタ速度の制御であり、電荷が蓄積される様子を図５に示す。即ち、取得した輝度レベルが大きい（明るい）ときは電荷蓄積時間が短くなり、輝度レベルが小さい（暗い）ときは電荷蓄積時間が長くなることで、露光量を安定させる。
【００８１】
このように撮影待機時の露光量制御が行われることで、撮影者は液晶ディスプレイ等の表示部２７で、露光量制御されたライブビュー画像を観察することができる。
【００８２】
ＡＥ制御部５１における実際の撮影時の露光量制御は、上記のシャッタ速度制御に加えて、絞りの制御も行われる（図４（ｂ）のフローチャート参照）。上記同様（ステップＳ１１２、Ｓ１１３）に得られた測光エリアの輝度情報Ｇに応じて、絞りユニット４３が制御され、絞り値が設定される（ステップＳ１１６）。即ち、取得した輝度レベルが大きい（明るい）ときは絞り値を小さくし、輝度レベルが小さい（暗い）ときは絞り値を大きくすることで、露光量を安定させる。シャッタ速度と組み合わせての調節レベルは、予め定められたプログラム線図のデータに基づき、例えば、撮像素子３３の電荷蓄積時間が絞り値に応じて調整されるなどの制御が行われる（ステップＳ１１５、Ｓ１１７）。
【００８３】
このように撮影時に露光量制御が行われることで、撮影者は任意の、或いは既定の、絞り値とシャッタ速度の組み合わせで、撮影画像に対する露光量設定を自動的に行うことができる。
【００８４】
ＡＦ制御部５２は、画像撮影時に画像の焦点を合わせる自動制御を行う。この合焦点制御は、例えば以下のように撮影光学系を駆動することで合焦点位置を検知し、その位置に合わせて停止させることで行われる（図６のフローチャート参照）。
【００８５】
撮影光学系２３の駆動が開始されると（ステップＳ１２１）、その駆動に伴い逐次、ＡＦ制御部５２は、撮像素子３３によって得られた画像データから所定の測距エリアのデータを読み出し（ステップＳ１２２）、このデータに応じてコントラスト情報を取得する（ステップＳ１２３）。これは、合焦点位置に達したかどうかを検知するためであり、次のように判定される。即ち、コントラスト情報は、測距エリアのデータの各隣接画素間の差を取ることにより、エッジ部のシャープさに依存するように設定、算出されるものであり、測距エリア全体での総和が最大に達した状態が合焦点と判断される（ステップＳ１２４、Ｓ１２５）。合焦点位置でないと判断された場合は、撮影光学系の移動が継続される（ステップＳ１２６）。
【００８６】
撮影光学系２３の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を図７に示す。上記動作は、光学系を駆動しながら逐次コントラスト情報を取得して、合焦点位置を求めるという測距演算が行われたものであり、その焦点距離に合わせて撮影光学系２３は停止される（ステップＳ１２７）。
【００８７】
このようなＡＦ制御により、撮影時に常に自動的にピントのあった撮影画像を得ることができる。
【００８８】
画素補間部５３は、撮像素子３３におけるＲＧＢ各色成分を分散配置したＣＣＤ配列に対して、各色成分ごとに画素間の補間を行い、同一画素位置で各色成分値が得られるように画像データを処理する（図８のフローチャート参照）。
【００８９】
画素補間部５３は、撮像素子３３によって得られたＲＧＢ画像データ（ステップＳ１４１）をＲＧＢの各画素フィルタパターンでマスキングし（ステップＳ１４２、Ｓ１４４、Ｓ１４６）、その後で平均補間（画素補間ともいう）を行う（ステップＳ１４３、Ｓ１４５、Ｓ１４７）。このうち、高帯域にまで画素を有するＧの画素フィルタパターンは、周辺４画素の中間２値の平均値に置換して平均補間を行うメディアン（中間値）フィルタであり、ＲとＢの画素フィルタパターンは、周辺９画素から同色に対して平均補間を行うものである。
【００９０】
ＡＷＢ制御部５４は、撮影画像におけるホワイトバランスを自動的に調整する。撮影された画像は、その中にＲＧＢのカラーバランスがとれている（総和すればホワイト）被写体領域があるものという想定で、その領域のホワイトバランスを達成するように、画像のＲＧＢの各成分値に対するレベル調整を行う。このホワイトバランス処理は、例えば以下のように行われる（図９のフローチャート参照）。
【００９１】
ＡＷＢ制御部５４は、撮像素子３３によって得られた画像データの輝度や彩度のデータから（ステップＳ１３１）、本来ホワイトであると思われる領域を推測する（ステップＳ１３２）。その領域について、ＲＧＢ各成分値の平均強度、及びＧ／Ｒ比、Ｇ／Ｂ比を求め、Ｇ値に対するＲ値、Ｂ値の補正ゲインを算出する（ステップＳ１３３、Ｓ１３４）。これに基づき、画像全体における各色成分に対するゲインの補正を行う（ステップＳ１３５）。
【００９２】
このようなＡＷＢ制御により、撮影時に生ずる画面全体のカラーバランスの崩れを自動的に補正することができ、実際の被写体の照明状態に拘わらず、安定した色調の画像を得ることができる。
【００９３】
ガンマ補正部５５は、撮影画像の階調性を出力媒体の特性に適するように変換する処理を行う。
【００９４】
ガンマ特性とは階調特性のことであり、入力階調に対してどのように出力階調を設定するかを補正値或いは補正曲線などで示すものである。図１０に、入力値に対して、補正した出力値を示す補正曲線の例を示す。ガンマ補正は、この補正値或いは補正曲線などに従い、入力値に対する出力値への変換を行う変換処理となる。出力媒体によってこの階調特性は異なるため、その出力媒体に適した階調とするために、このガンマ特性の補正を行う必要がある。これにより、リニア画像はノンリニア画像に変換されることになる。
【００９５】
出力媒体としては一般的にはモニタが設定され、一般的なモニタのガンマ特性に合うように撮影画像のガンマ補正は行われる。
【００９６】
本実施形態において、ガンマ補正部５５は、画像処理部１０内の階調変換処理部１０８で階調変換処理が施されたリニア画像をノンリニア画像に変換する処理を行う。従って、ガンマ補正部５５は、第２の階調変換処理手段として機能する。
【００９７】
なお、リニア画像に適用されるガンマ特性の一例を図１０に示したが、特定の出力機器・観察条件に応じてガンマ特性を予め複数設定しておき、その複数のガンマ特性の中から選択するようにすることが好ましい。
【００９８】
（画像処理部１０の内部構成）
図１１に、画像処理部１０の内部構成を示す。画像処理部１０は、撮像装置１での撮影画像に対して、シーン判別に基づく階調の補正動作を制御するものであり、撮影処理部２０での処理後に、或いはその処理とは独立して、画像取得、シーン判別、階調処理条件設定などの一連の処理を実行する。
【００９９】
画像処理部１０は、図１１に示すように、第１画像取得部１０１、第２画像取得部１０２、占有率算出部１０３、指標算出部１０４、シーン判別部１０５、階調処理条件設定部１０７、そして階調変換処理部１０８により構成される。
【０１００】
第１画像取得部１０１は、レリーズボタン２８が全押しされたタイミングで、撮像素子３３に写った最新の画像の画像データを第１の画像として取得する。ここで、第１の画像は、本発明のリニア画像に対応する。また、第１画像取得部１０１は、撮影時における撮影条件もあわせて取得する。即ち、第１画像取得部１０１は、撮影条件取得手段として機能する。本実施形態において第１画像取得部１０１によって取得される撮影条件は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む。露出モードの具体例としては、マニュアル（撮影）、オート（撮影）、オートブラケット撮影等がある。撮影シーンタイプの具体例としては、夜景、標準、人物、風景等がある。これらの撮影条件は、撮影時における測光値から算出され、メタデータとして画像データのタグ領域に付加的に記録されたものである。第１画像取得部１０１で取得された第１の画像の画像データ及び撮影条件のデータはメモリ３２に保持される。
【０１０１】
第２画像取得部１０２は、第１画像取得部１０１で取得された第１の画像を、Ｎ×Ｍ個の矩形の領域（垂直方向にＭ個及び水平方向にＮ個に分割された領域）に分割する。図１２（ａ）に、第１の画像の一例を示し、図１２（ｂ）に、当該第１の画像が２２×１４個の領域に分割された例を示す。なお、分割領域の数は特に限定されない。本実施形態では、分割された各領域を画像データの「画素」と見なし、分割された画像を実質的にサイズが縮小された画像として扱う。この縮小された画像が、第２の画像であり、上記操作により第２の画像を取得することになる。
以上のように、第１画像取得部１０１及び第２画像取得部１０２は、画像取得手段として機能する。
【０１０２】
占有率算出部１０３は、第２の画像の画像データ、即ち画像を構成する各画素に対して、色情報を取得する。取得された色情報に基づいて、画像の各画素を、明度と色相の組み合わせからなる所定の階級に分類し（図２９参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。即ち、占有率算出部１０３は、第１の占有率算出手段として機能する。
【０１０３】
また、占有率算出部１０３は、各画素を、第２の画像の画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類し（図３０参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第２の占有率を算出する。即ち、占有率算出部１０３は、第２の占有率算出手段としても機能する。
【０１０４】
占有率算出部１０３において実行される占有率算出処理については、後に図２８を参照して詳細に説明する。
【０１０５】
指標算出部１０４は、占有率算出部１０３で算出された第１の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標１及び指標２を算出する。即ち、指標算出部１０４は、第１の指標算出手段及び第２の指標算出手段として機能する。
【０１０６】
また、指標算出部１０４は、占有率算出部１０３で算出された第２の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標３を算出する。即ち、指標算出部１０４は第３の指標算出手段としても機能する。
【０１０７】
更に、指標算出部１０４は、第２の画像の画面中央部における平均輝度値と、最大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数（第４の係数）を乗算することにより、撮影シーンを特定するための露出撮影度指標を算出する。即ち、指標算出部１０４は、第４の指標算出手段としても機能する。
【０１０８】
また、指標算出部１０４は、第２の画像の画面中央部における肌色領域の平均輝度値（指標７とする）と、指標１及び指標３に、それぞれ、撮影条件に応じて予め設定された係数（第５の係数）を乗算して和をとることにより自然光指標を算出する。即ち、指標算出部１０４は、第５の指標算出手段としても機能する。
【０１０９】
また、指標算出部１０４は、前記平均輝度値と、指標２及び指標３に、それぞれ、撮影条件に応じて予め設定された係数（第６の係数）を乗算して和をとることにより輝度比指標を算出する。即ち、指標算出部１０４は第６の指標算出手段としても機能する。
【０１１０】
指標算出部１０４において実行される指標算出処理については、後に図３１を参照して詳細に説明する。
【０１１１】
シーン判別部１０５は、指標算出部１０４で算出された各指標に基づいて、第１の画像の撮影シーンを判別する。即ち、シーン判別部１０５は、シーン判別手段として機能する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度などもこれに含まれる。撮影シーンの判別方法については、後に詳細に説明する。
【０１１２】
以上のように、占有率算出部１０３、指標算出部１０４及びシーン判別部１０５は、シーン判別処理手段として機能する。
【０１１３】
階調処理条件設定部１０７は、指標算出部１０４で算出された各指標と、シーン判別部１０５で判別された撮影シーンに基づいて、第１の画像に対する階調処理条件を設定する。即ち、階調処理条件設定部１０７は、階調処理条件設定手段として機能する。また、階調処理条件設定部１０７は、第１画像取得部１０１で取得された撮影条件に基づいて、シーン判別結果に基づいて設定された階調処理条件を補正する。階調処理条件設定部１０７において実行される階調処理条件の設定処理については、後に図３６を参照して詳細に説明する。
【０１１４】
階調変換処理部１０８は、階調処理条件設定部１０７において設定された階調処理条件に従い、第１の画像（リニア画像）に対する階調変換処理を実行する。従って、階調変換処理部１０８は、第１の階調変換処理手段として機能する。
【０１１５】
プロセッサ３１は、画像処理部１０で行われる処理以外に、公知技術に基づいて、自動ホワイトバランス処理、ガンマ変換処理などの撮影処理部２０での処理や、またその他画像処理、画像フォーマット変換、画像データの記録などの処理動作を制御する機能を有する。
【０１１６】
またプロセッサ３１における各部の処理は、基本的にハードウエア処理によって行われるが、一部についてはメモリ３２に記憶（保存）されているプログラムを実行するなどしてソフトウェア処理によって行われる。
【０１１７】
図１３に、階調処理条件設定部１０７の内部構成を示す。階調処理条件設定部１０７は、第１仮補正量設定部２０１、第１混合係数設定部２０２、第２仮補正量演算部２０３、第２混合係数設定部２０４、明るさ補正量演算部２０５により構成される。
【０１１８】
第１仮補正量設定部２０１は、リニア画像の明るさ解析値と、明るさの再現目標値と、指標算出部１０４で算出された輝度比指標及び露出撮影度指標に基づいて、当該リニア画像に対する第１仮補正量を設定する。ｎ個の明るさ解析値が入力された場合、第１仮補正量設定部２０１は、各明るさ解析値を再現目標値へと近似するために必要な補正量としての第１仮補正量をｎ＋４個設定する。即ち、第１仮補正量設定部２０１は、第１仮補正量設定手段として機能する。
【０１１９】
図１４に、輝度比指標と第１仮補正量key_auto[0]との関係を定義した１次元ＬＵＴ（Look Up Table）を示し、図１５に、露出撮影度指標と第１仮補正量key_auto[1]との関係を定義した１次元ＬＵＴを示し、図１６に、肌色平均輝度と第１仮補正量key_auto[2]との関係を定義した１次元ＬＵＴを示し、図１７に、肌色平均輝度又は全体平均輝度と第１仮補正量key_auto[3]との関係を定義した１次元ＬＵＴを示し、図１８に、輝度比指標と第１仮補正量key_auto[4]との関係を定義した１次元ＬＵＴを示し、図１９に、露出撮影度指標と第１仮補正量key_auto[5]との関係を定義した１次元ＬＵＴを示す。
【０１２０】
本実施形態では、階調処理条件設定部１０７に入力される明るさ解析値は、肌色平均輝度及び全体平均輝度（即ち、ｎ＝２）とする。この場合、第１仮補正量設定部２０１では、図１４〜図１９に示した１次元ＬＵＴを用いて、第１仮補正量として６個の仮補正量（key_auto[0]〜[5]）が設定される。
【０１２１】
第１混合係数設定部２０２は、指標算出部１０４で算出された自然光指標に基づいて、第１仮補正量設定部２０１で設定されたｎ＋４個の第１仮補正量のうちのｎ＋２個（key_auto[0]〜[3]）に乗算する重み係数としての第１混合係数をｎ＋２個設定する。即ち、第１混合係数設定部２０２は、第１混合係数設定手段として機能する。図２０〜図２３に、自然光指標と第１混合係数wgt[0]〜wgt[3]との関係を定義した１次元ＬＵＴを示す。
【０１２２】
なお、図１４〜図１９の１次元ＬＵＴと、図２０〜図２３の１次元ＬＵＴは、メモリ３２に格納されている。
【０１２３】
第２仮補正量演算部２０３は、ｎ＋２個の第１仮補正量（key_auto[0]〜[3]）と、第１混合係数設定部２０２で設定されたｎ＋２個の第１混合係数wgt[0]〜wgt[3]に基づいて、リニア画像に対する第２仮補正量を設定する。即ち、第２仮補正量演算部２０３は、第２仮補正量設定手段として機能する。式（２）に、第２仮補正量の算出式を示す。
第２仮補正量＝key_auto[0]×wgt[0]＋key_auto[1]×wgt[1]＋key_auto[2]×wgt[2]＋key_auto[3]×wgt[3]      …（２）
以後、式（２）の第２仮補正量をkey_auto[6]と表記する。
【０１２４】
第２混合係数設定部２０４は、指標算出部１０４で算出された自然光指標、輝度比指標、露出撮影度指標の値と、撮影シーンを判別するための判別マップに基づいて、２個の第１仮補正量key_auto[4]、key_auto[5]と、第２仮補正量key_auto[6]の各々に乗算する重み係数として３個の第２混合係数wgt[4]〜[6]を設定する。即ち、第２混合係数設定部２０４は、第２混合係数設定手段として機能する。
【０１２５】
図２４（ａ）に、自然光指標及び輝度比指標に基づいてリニア画像の撮影シーン（順光、逆光、主要被写体がオーバー、アンダー、低確度領域）を判別するための判別マップを示し、図２４（ｂ）に自然光指標及び露出撮影度指標に基づいてリニア画像の撮影シーン（順光、逆光、主要被写体がオーバー、アンダー、低確度領域）を判別するための判別マップを示す。図２４において、低確度領域とは、順光、逆光、主要被写体がオーバー、アンダーと判別される確度が（所定値より）低い領域を表している。
【０１２６】
図２５は、撮影シーン別に第２混合係数wgt[4]〜[6]の値を表す係数算出テーブルを示している。この係数算出テーブルは、メモリ３２に格納されている。図２５において、撮影シーン項目に示された各数字は、図２４の各撮影シーンに付与された数字である。例えば、図２５において、撮影シーン項目の“３”は、図２４（ａ）の低確度領域(3)を表す。
【０１２７】
明るさ補正量演算部２０５は、２個の第１仮補正量key_auto[4]、key_auto[5]と、第２仮補正量key_auto[6]と、第２混合係数設定部２０４で設定された３個の第２混合係数wgt[4]〜[6]から、式（３）に示すように、階調調整パラメータとしての明るさ補正量を算出する。
明るさ補正量
＝key_auto[4]×wgt[4]＋key_auto[5]×wgt[5]＋key_auto[6]×wgt[6]    …（３）
即ち、明るさ補正量演算部２０５は、階調調整パラメータ算出手段として機能する。
【０１２８】
また、明るさ補正量演算部２０５は、第１画像取得部１０１で取得された撮影条件に基づいて、式（３）の明るさ補正量を変換（補正）する（後述の式（１５）参照）。
【０１２９】
（撮像装置１の動作フロー）
次に、本実施形態における撮像装置１の動作について説明する。
以下では、撮影対象物を「主要被写体」と呼ぶことにする。
【０１３０】
まず、図２６のフローチャートを参照して、撮像装置１において実行される処理の全体の流れを説明する。
【０１３１】
まず、電源スイッチ２６がＯＮに操作されると（電源が投入されると）、メモリ３２のリセット等の前処理が行われる（ステップＳ１）。ユーザは、主要被写体が撮像装置１の被写界に入るように撮像装置１をその主要被写体の方に向け、撮影のための操作を関始する。次いで、レリーズボタン２８が押されて撮影が行われる（ステップＳ２）。撮影により撮像素子３３に結像した画像は電気信号として取り込まれ、ＣＣＤ配列に基づく補間処理が行われる（ステップＳ４）。次いで、撮影画像として、第１の画像（リニア画像）が取得され（ステップＳ５）、メモリ３２に保持される。
【０１３２】
一方、撮影が行われると、撮影条件取得工程であるステップＳ３では、撮影条件の取り込みが行われる。ステップＳ３で取得される撮影条件は、後で撮影画像がＥｘｉｆ（Exchangeable Image File Format）形式で記録される際にあわせて記録されるものであり、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプが含まれる。ステップＳ３で取得された撮影条件のデータは、メモリ３２に保持される。
【０１３３】
撮影により取得された第１の画像（リニア画像）には、ＡＷＢ（自動ホワイトバランス）の処理が施される（ステップＳ６）。これは、以下に述べる第２の画像（縮小リニア画像）の取得が行われてから、第１の画像と第２の画像とに対して別途処理されてもよい。
【０１３４】
ＡＷＢ処理の後、第１の画像の画像データは、一方で複数の分割領域からなる分割画像、即ち第２の画像（縮小リニア画像）として取得される（ステップＳ７）。ステップＳ５及びステップＳ７は、本発明の画像取得工程に対応する。分割画像の各分割領域は第２の画像の画素であり、第２の画像は第１の画像のサイズを縮小した画像となる。図１２（ａ）に、第１の画像の一例を示し、図１２（ｂ）に、当該第１の画像が２２×１４個のセルに分割された例を示す。各セルが第２の画像の一画素に相当する。実際の画像データのサイズ縮小方法は、単純平均やバイリニア法やバイキュービック法など公知の技術を用いることができる。
【０１３５】
次いで、シーン判別処理工程であるステップＳ８では、ステップＳ７で取得された第２の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる。ステップＳ８におけるシーン判別処理については、後に図２７を参照して詳細に説明する。
【０１３６】
次いで、階調処理条件設定工程であるステップＳ９では、ステップＳ８のシーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な条件（階調処理条件）を設定する処理が行われる。また、ステップＳ９では、ステップＳ３で取得された撮影条件に基づいて、シーン判別結果に基づいて設定された階調処理条件を補正する処理が行われる。ステップＳ９の階調処理条件設定処理については、後に図３６を参照して説明する。
【０１３７】
第１の階調変換処理工程であるステップＳ１０では、第２の画像に基づいて設定された階調処理条件に基づいて、撮影画像である第１の画像の画像データに対する階調変換処理が行われる。ステップＳ１０の階調変換処理は、シーン輝度のどこを中心に写真階調を再現するか、或いは撮影シーンの光源条件などによる階調への影響を補正するものであり、ステップＳ８でのシーン判別結果によりステップＳ９で設定された階調処理条件に基づいて行われるものである。
【０１３８】
第２の階調変換処理工程であるステップＳ１１では、ＡＷＢ処理、階調変換処理後の第１の画像（リニア画像）に対しガンマ変換処理を施すことによって、当該リニア画像がノンリニア画像に変換される。
【０１３９】
なお、本実施形態では、ステップＳ９で階調処理条件を設定し、ステップＳ１０で階調変換処理を行う形態としているが、第１の画像に対する画像処理以外に、例えばその撮影シーンに対する最適な画像を取得するための露出条件をリアルタイムに算出し、撮影操作に反映するといった処理などを行うようにしてもよい。
【０１４０】
次いで、画像記録のため、画像フォーマットの変換が行われる（ステップＳ１２）。ステップＳ１２では、一般的にＪＰＥＧ形式の画像に変換処理される。その後、ＪＰＥＧ形式の画像データが、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）に記録される（ステップＳ１３）。次の撮影に移るか、或いは電源スイッチ２６がＯＦＦに操作されると、撮像装置１における動作は終了する。
【０１４１】
なお、階調変換処理後のリニア画像をＲａｗデータとして保存し、現像ソフトを用いてノンリニア画像に変換するようにしてもよい。
【０１４２】
（シーン判別処理１のフロー）
次に、図２７のフローチャートを参照して、画像処理部１０において実行されるシーン判別処理（図２６のステップＳ８）について説明する。
【０１４３】
シーン判別処理は、図２７に示すように、色空間変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別（ステップＳ２３）の各処理により構成される。以下、図２８〜図３５を参照して、図２７に示す各処理について詳細に説明する。
【０１４４】
ステップＳ２０の色空間変換処理では、まず、撮影された第１の画像から得られた第２の画像の各画素のＲＧＢ値、輝度値及びホワイトバランスを示す情報が取得される。なお、輝度値としては、ＲＧＢ値を公知の変換式に代入して算出した値を用いてもよい。次いで、取得されたＲＧＢ値がＨＳＶ表色系に変換され、画像の色情報が取得される。ＨＳＶ表色系とは、画像データを色相（Hue）、彩度（Saturation）、明度（Value又はBrightness）の３つの要素で表すものであり、マンセルにより提案された表色体系を元にして考案されたものである。ＨＳＶ表色系への変換は、ＨＳＶ変換プログラム等を用いて行われ、通常、入力であるＲ、Ｇ、Ｂに対して、算出された色相値Ｈは、スケールを０〜３６０と定義し、彩度値Ｓ、明度値Ｖは、単位を０〜２５５と定義している。
【０１４５】
なお、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意昧である。以下の記載において、ＨＳＶ表色系のＶ（０〜２５５）を「明度」として用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。
【０１４６】
また、本実施形態において、「色相」は特に注釈を設けない限り一般に用いられる「色」の意味である。以下の記載において、ＨＳＶ表色系のＨ（０〜３６０）を「色相」として用いるが、例えば赤色差値（Ｃｒ）や青色差値（Ｃｂ）によって表現される色を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。ステップＳ２０では、上記のようにして求められたＨ、Ｓ、Ｖの値が色情報として取得される。
【０１４７】
＜占有率算出処理１＞
次に、図２８のフローチャートを参照して、ステップＳ２１の占有率算出処理について説明する。
【０１４８】
まず、色空間変換処理で算出されたＨＳＶ値に基づいて、第２の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
【０１４９】
図２９に、明度と色相の組み合わせからなる階級を示す。ステップＳ３０では、明度（Ｖ）は、明度値が０〜５（ｖ１）、６〜１２（ｖ２）、１３〜２４（ｖ３）、２５〜７６（ｖ４）、７７〜１０９（ｖ５）、１１０〜１４９（ｖ６）、１５０〜２５５（ｖ７）の７つの階級に分割される。図２９に示すように、最も低明度の階級における明度の範囲よりも、最も高明度の階級における明度の範囲の方が広い。
【０１５０】
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。なお、赤色色相領域（Ｈ５）は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割される。以下、肌色色相領域（Ｈ＝０〜３９、３３０〜３５９）のうち、下記の式（５）を満たす色相’（Ｈ）を肌色領域（Ｈ１）とし、式（５）を満たさない領域を（Ｈ２）とする。
【０１５１】
１０＜彩度（Ｓ）＜１７５；
色相’（Ｈ）＝色相（Ｈ）＋60    （０≦色相（Ｈ）＜300のとき）；
色相’（Ｈ）＝色相（Ｈ）−300  （300≦色相（Ｈ）＜360のとき）．
輝度（Ｙ）＝Ｒ×0.30＋Ｇ×0.59＋Ｂ×0.11    …（４）
として、
色相’（Ｈ）／輝度（Ｙ）＜3.0×（彩度（Ｓ）／255）＋0.7    …（５）.
従って、第２の画像における階級の数は４×７＝２８個となる。また、最大の明度値（２５５）の１割の値以内に、少なくとも３つの階級（ｖ１、ｖ２、ｖ３）を有する。なお、式（４）及び式（５）において明度（Ｖ）を用いることも可能である。
【０１５２】
ステップＳ３０の後、第２の画像の各画素が、画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３１）。
【０１５３】
図３０（ａ）に、ステップＳ３１において、第２の画像の画面の外縁からの距離に応じて分割された３つの領域ｎ１〜ｎ３を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり．領域ｎ３が第２の画像の中央部の領域である。ここでｎ１〜ｎ３は略同等の画素数となるように分割することが好ましい。また本実施形態においては３つの分割としたがこれに限定されるものではない。また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。図３０（ｂ）に、３つの領域ｎ１〜ｎ３と明度の組み合わせからなる階級を示す。図３０（ｂ）に示すように、第２の画像を画面の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は３×７＝２１個となる。
【０１５４】
ステップＳ３０において２次元ヒストグラムが作成されると、明度と色相の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数（Ｎ×Ｍ個）に占める割合を示す第１の占有率が算出される（ステップＳ３２）。即ち、ステップＳ３０とステップＳ３２は第１の占有率算出工程に対応する。
【０１５５】
明度領域ｖｉ、色相領域Ｈｊの組み合わせからなる階級において算出された第１の占有率をＲｉｊとすると、各階級における第１の占有率は表１のように表される。
【表１】
2007235204.tif 000004
【０１５６】
ステップＳ３１において２次元ヒストグラムが作成されると、画面の外縁からの距離と明度の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数に占める割合を示す第２の占有率が算出され（ステップＳ３３）、本占有率算出処理が終了する。即ち、ステップＳ３１とステップＳ３３は第２の占有率算出工程に対応する。
【０１５７】
明度領域ｖｉ、画面領域ｎｊの組み合わせからなる各階級において算出された第２の占有率をＱｉｊとすると、各階級における第２の占有率は表２のように表される。
【表２】
2007235204.tif 000005
【０１５８】
なお、各画素を画面の外縁からの距離、明度及び色相からなる階級に分類し、分類された階級毎に累積画素数を算出することによって３次元ヒストグラムを作成してもよい。以下では、２次元ヒストグラムを用いる方式を採用するものとする。
＜指標算出処理１＞
次に、図３１のフローチャートを参照して、指標算出部１０４において実行される指標算出処理（図２７のステップＳ２２）について説明する。
【０１５９】
まず、第１の指標算出工程であるステップＳ４０では、占有率算出処理において階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された係数（第１の係数）を乗算して和をとることにより、撮影シーンを特定するための指標１が算出される。指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０１６０】
次いで、第２の指標算出工程であるステップＳ４１では、同じく階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された第１の係数とは異なる係数（第２の係数）を乗算して和をとることにより、撮影シーンを特定するための指標２が算出される。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０１６１】
以下、指標１及び指標２の算出方法について詳細に説明する。
【０１６２】
表３に、指標１を算出するために必要な第１の係数を階級別に示す。表３に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【表３】
2007235204.tif 000006
【０１６３】
表３によると、高明度（ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図３２は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図３２によると、高明度（Ｖ＝７７〜１５０）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
【０１６４】
明度領域ｖｉ、色相領域Ｈｊにおける第１の係数をＣｉｊとすると、指標１を算出するためのＨｋ領域の和は、式（６）のように定義される。
【数２】
2007235204.tif 000007
【０１６５】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（６−１）〜（６−４）のように表される。
Ｈ１領域の和＝R11×0＋R21×0＋（中略）…＋R71×（−8）    …（６−１）
Ｈ２領域の和
＝R12×（−2）＋R22×（−1）＋（中略）…＋R72×（−10）    …（６−２）
Ｈ３領域の和＝R13×5＋R23×（−2）＋（中略）…＋R73×（−12）    …（６−３）
Ｈ４領域の和＝R14×0＋R24×（−1）＋（中略）…＋R74×（−12）    …（６−４）
【０１６６】
指標１は、式（６−１）〜（６−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（７）のように定義される。
指標１＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.5  …（７）
【０１６７】
表４に、指標２を算出するために必要な第２の係数を階級別に示す。表４に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【表４】
2007235204.tif 000008
【０１６８】
表４によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４、ｖ５）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には係数０が用いられる。図３３は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表４及び図３３によると、肌色色相領域の、明度値が２５〜１５０の中間明度領域の第２の係数の符号は負（−）であり、明度値６〜２４の低明度（シャドー）領域の第２の係数は０であり、両領域での係数に大きな違いがあることがわかる。
【０１６９】
明度領域ｖｉ、色相領域Ｈｊにおける第２の係数をＤｉｊとすると、指標２を算出するためのＨｋ領域の和は、式（８）のように定義される。
【数３】
2007235204.tif 000009
【０１７０】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（８−１）〜（８−４）のように表される。
Ｈ１領域の和＝R11×0＋R21×0＋（中略）…＋R71×2    …（８−１）
Ｈ２領域の和＝R12×（−2）＋R22×（−1）＋（中略）…＋R72×2    …（８−２）
Ｈ３領域の和＝R13×2＋R23×１＋（中略）…＋R73×3    …（８−３）
Ｈ４領域の和＝R14×0＋R24×（−1）＋（中略）…＋R74×3    …（８−４）
【０１７１】
指標２は、式（８−１）〜（８−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（９）のように定義される。
指標２＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.7    …（９）
【０１７２】
指標１及び指標２は、第２の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
【０１７３】
指標１及び指標２が算出されると、第３の指標算出工程であるステップＳ４２で、占有率算出処理において階級毎に算出された第２の占有率に、撮影条件に応じて予め設定された第３の係数（第１の係数、第２の係数とは異なる係数）を乗算して和をとることにより、撮影シーンを特定するための指標３が算出される。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。
【０１７４】
以下、指標３の算出方法について説明する。
【０１７５】
表５に、指標３を算出するために必要な第３の係数を階級別に示す。表５に示された各階級の係数は、表２に示した各階級の第２の占有率Ｑｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【表５】
2007235204.tif 000010
【０１７６】
図３４は、画面領域ｎ１〜ｎ３における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【０１７７】
明度領域ｖｉ、画面領域ｎｊにおける第３の係数をＥｉｊとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（１０）のように定義される。
【数４】
2007235204.tif 000011
【０１７８】
従って、ｎ１〜ｎ３領域の和は、下記の式（１０−１）〜（１０−３）のように表される。
ｎ１領域の和＝Q11×12＋Q21×10＋（中略）…＋Q71×0    …（１０−１）
ｎ２領域の和＝Q12×5＋Q22×3＋（中略）…＋Q72×0    …（１０−２）
ｎ３領域の和
＝Q13×（−1）＋Q23×（−4）＋（中略）…＋Q73×（−8）    …（１０−３）
【０１７９】
指標３は、式（１０−１）〜（１０−３）で示されたｎ１〜ｎ３領域の和を用いて、式（１１）のように定義される。
指標３＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋0.7    …（１１）
【０１８０】
指標３は、第２の画像の明度の分布位置による構図的な特徴（全体画像の画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
【０１８１】
また、例えば公知の方法によって検出された焦点検出領域に応じて、画面の外縁からの距離と明度の所定の階級から算出される第２占有率に対して乗算される第３の係数の重みを変えることで、より高精度にシーンを判別する指標を算出することが可能である。
【０１８２】
指標１〜３が算出されると、第４の指標算出工程であるステップＳ４３で、第２の画像の画面中央部における肌色の平均輝度値と、第２の画像の最大輝度植と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための露出撮影度指標が算出される。
【０１８３】
以下、図３５のフローチャートを参照して、露出撮影度指標の算出処理について詳細に説明する。
【０１８４】
まず、第２の画像のＲＧＢ（Red、Green、Blue）値から、式（４）を用いて輝度Ｙが算出される。次いで、第２の画像の画面中央部における肌色領域の平均輝度値ｘ１が算出される（ステップＳ５０）。ここで、画面中央部とは、例えば、図３０（ａ）に示した領域ｎ３により構成される領域である。次いで、第２の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値が算出される（ステップＳ５１）。
【０１８５】
次いで、第２の画像の輝度の標準偏差ｘ３が算出され（ステップＳ５２）、画面中央部における平均輝度値ｘ４が算出される（ステップＳ５３）。次いで、第２の画像における肌色領域の最大輝度値Yskin＿maxと最小輝度値Yskin＿minの差分値と、肌色領域の平均輝度値Yskin＿aveとの比較値ｘ５が算出される（ステップＳ５４）。この比較値ｘ５は、下記の式（１２−１）のように表される。
ｘ５＝（Yskin＿max−Yskin＿min）／２−Yskin＿ave    …（１２−１）
【０１８６】
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、露出撮影度指標が算出され（ステップＳ５５）、露出撮影度指標算出処理が終了する。露出撮影度指標は、下記の式（１２−２）のように定義される。
露出撮影度指標＝0．05×ｘ１＋1．41×ｘ２＋（−0．01）×ｘ３＋（−0．01）×ｘ４＋0．01×ｘ５−5．34    …（１２−２）
この露出撮影度指標は、第２の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
【０１８７】
図３１に戻る。露出撮影度指標が算出されると、第５の指標算出工程であるステップＳ４４において、指標１、指標３及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第５の係数）を乗算することにより、自然光指標が算出される。
【０１８８】
更に、第６の指標算出工程であるステップＳ４５において、指標２、指標３及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第６の係数）を乗算することにより、輝度比指標が算出され、本指標算出処理が終了する。
【０１８９】
以下、自然光指標及び輝度比指標の算出方法について詳細に説明する。
【０１９０】
第２の画像の画面中央部における肌色領域の平均輝度値を指標７とする。ここでの画面中央部とは、例えば、図３０（ａ）の領域ｎ２及び領域ｎ３から構成される領域である。このとき、自然光指標は、指標１、指標３、指標７を用いて式（１３）のように定義され、輝度比指標は、指標２、指標３、指標７を用いて式（１４）のように定義される。
自然光指標＝0.54×指標１＋0.50×指標３＋0.01×指標７−0.65    …（１３）
輝度比指標＝0.83×指標２＋0.23×指標３＋0.01×指標７−1.17    …（１４）
【０１９１】
なお、図３５における平均輝度値（例えば、全体平均輝度値）の算出方法としては、撮像装置１の各受光部から得られた個別輝度データの単純な加算平均値を求めてもよいし、撮像装置１の測光方式としてよく用いられる中央重点平均測光に類似した、画面中心付近の受光部より得られた輝度データに重み付けを高く、画面の周辺付近の受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法を用いてもよい。また、焦点検出領域に対応した受光部付近より得られた輝度データに重み付けを高くし、焦点検出位置から離れた受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法等を用いてもよい。
＜シーン判別１＞
図２７に戻って、シーン判別について説明する。
【０１９２】
露出撮影度指標、自然光指標、輝度比指標が算出されると、これらの指標の値に基づいて撮影シーンが判別される（ステップＳ２３）。表６に、露出撮影度指標、自然光指標及び輝度比指標の値による撮影シーンの判別内容を示す。
【０１９３】
【表６】
2007235204.tif 000012
表６に示した判別内容を、自然光指標、輝度比指標及び露出撮影度指標の座標系を用いて表したものが、図２４の判別マップである。なお、表６では、図２４に示した低確度領域については省略している。
【０１９４】
次に、図３６のフローチャートを参照して、階調処理条件設定部１０７において実行される階調処理条件設定処理について説明する。
【０１９５】
まず、図１４〜図１９の１次元ＬＵＴから、リニア画像の明るさ解析値（ｎ個：ここでは、肌色平均輝度、全体平均輝度の２個）と、図３１の指標算出処理で算出された自然光指標、輝度比指標、露出撮影度指標に対応する値を抽出することにより、ｎ＋４個（６個）の第１仮補正量key_auto[0]〜[5]が設定される（ステップＳ６１）。
【０１９６】
次いで、図２０〜図２３の１次元ＬＵＴから、自然光指標に対応する値を抽出することにより、ｎ＋２個（４個）の第１混合係数wgt[0]〜[3]が設定される（ステップＳ６２）。次いで、４個の第１仮補正量key_auto[0]〜[3]と、４個の第１混合係数wgt[0]〜[3]を用いて、式（２）より第２仮補正量key_auto[6]が算出される（ステップＳ６３）。
【０１９７】
次いで、係数算出テーブル（図２５）から、判別マップ（図２４）を用いて判別された撮影シーンに対応する３個の第２混合係数wgt[4]〜[6]が抽出され、設定される（ステップＳ６４）。次いで、２個の第１仮補正量key_auto[4]、key_auto[5]と、第２仮補正量key_auto[6]と、３個の第２混合係数wgt[4]〜[6]を用いて、式（３）により、階調調整パラメータとしての明るさ補正量が算出される（ステップＳ６５）。
【０１９８】
次いで、ステップＳ６５で算出された明るさ補正量と、シーン判別処理によって判別された撮影シーンから、リニア画像に対する階調処理条件が設定される（ステップＳ６６）。
【０１９９】
図３７（ａ）に、撮影シーンが順光である場合の階調変換曲線を階調調整パラメータ別に示し、図３７（ｂ）に、撮影シーンが逆光である場合の階調変換曲線を階調調整パラメータ別に示す。ステップＳ６６では、ステップＳ６５で算出された階調調整パラメータ（明るさ補正量）に対応する階調変換曲線が、階調処理条件として設定される。
【０２００】
ステップＳ６６で階調処理条件が設定されると、ステップＳ３で取得された撮影条件に基づいて当該階調処理条件が補正され（ステップＳ６７）、当該補正された階調処理条件が最終的な階調処理条件として設定され、本階調処理条件設定処理が終了する。
【０２０１】
図３６におけるステップＳ６１〜Ｓ６５の各ステップは、それぞれ、本発明における第１仮補正量設定工程、第１混合係数設定工程、第２仮補正量設定工程、第２混合係数設定工程、階調調整パラメータ算出工程に対応する。
【０２０２】
ステップＳ６７の処理は、リニア画像に対する最終的な階調変換曲線を決定する前に、撮影条件に基づく階調変換量を算出し、階調調整の抑制を行う処理である。以下、ステップＳ６７における階調処理条件の補正処理について詳細に説明する。以下では、階調調整パラメータとしての明るさ補正量を第１階調変換量Ｘとし、撮影条件に基づいて算出される階調変換量を第２階調変換量Ｙとする。
【０２０３】
撮影条件としては、既に少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプが取得されている。ここで画像の状態のみに基づいて階調変換処理が決定されると、ユーザの意図に沿わない画像が得られる恐れがある。例えば、露出モードでオートブラケット撮影が選択されている場合や、撮影シーンタイプで夜景の撮影が選択されている場合など、ユーザの意図に合わせて自動的な階調の補正は控えめにした方がよい。
【０２０４】
またＩＳＯスピードレイトが高感度の設定になっている場合は、過度にノイズが増加することのないように階調の補正を控えめにした方がよい。
【０２０５】
具体的に、第２階調変換量Ｙは、第１階調変換量Ｘを用いて式（１５）のように算出される。
【数５】
2007235204.tif 000013
ここで、｜β｜は変換量閾値、αは｜α｜≦１を満たす係数であり、何れも予め定められた定数である。
【０２０６】
αとβの値を適切に定めておくことにより、階調変換処理の抑制の程度を制御することができる。例えば、露出モードでオートブラケット撮影が選択された場合には、階調変換量を実質的に０に近くなるよう設定することが好ましい。また、露出モードでマニュアルが選択された場合や、撮影シーンタイプで夜景の撮影が選択された場合などには、適切な補正量となるように式（１５）のα、βの値を設定する。
【０２０７】
また、ＩＳＯスピードレイトについては、その設定値により式（１５）のα、βの値が変わり、第２階調変換量が調整されるような設定が好ましい。例えば、ＩＳＯスピードレイトが高くなるにつれて、｜β｜の値を大きくするか、又はαの値を０に近づける、或いはその両方を行うことが望ましい。
【０２０８】
また、ＩＳＯスピードレイト、露出モード、撮影シーンタイプが何れも補正を抑制する方向の設定であった場合、そのうち最大の抑制量となるような第２階調変換量Ｙが算出されることが望ましい。
【０２０９】
また、Ｅｘｉｆ情報としては、他にも撮影者の意図を反映した情報として、露出プログラム、測光方式、ホワイトバランス、ゲイン制御、撮影コントラスト、撮影彩度、撮影シャープネス等から、適宜、撮影条件を取得し、第２階調変換量の算出に反映させてもよい。
【０２１０】
このように、撮影条件に基づいて、第１階調変換量Ｘから、抑制された第２階調変換量Ｙを算出することによって、シーン判別結果に基づく階調処理条件が補正され、第２階調変換量Ｙに対応する階調変換曲線が、最終的な階調処理条件として設定されることになる。
【０２１１】
以上のように、第１の実施形態の撮像装置１によれば、リニア画像を用いて撮影シーンを判別し、当該撮影シーンの判別結果に基づく階調処理条件を、リニア画像取得時の露出補正と等価となるように定義したことにより、既存の自動露出制御、撮像素子の動作点変更、リニア画像からノンリニア画像への階調処理条件の変更を行うことなく、主要被写体（例えば、人物顔領域）の明るさを最適化することが可能となる。
【０２１２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
まず、第２の実施形態（画像処理装置）における構成について説明する。以下では、第１の実施形態と同様の機能を有する構成要素には同一の符号を付すものとする。
【０２１３】
（画像処理装置２の外観構成）
図３８に、第２の実施形態に係る画像処理装置２の外観構成の一例を示す。画像処理装置２は、図３８に示すように、筐体１１の一側面に感光材料を装填する装填部１３を備えている。筐体１１の内部には、感光材料に露光する露光処理部８６と、露光された感光材料を現像処理してプリントを作成するプリント作成部１６を備えている。筐体１１の他側面には、プリント作成部１６で作成されたプリントを排出するトレー１７を備えている。
【０２１４】
筐体１１の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８５、透過原稿を読み込む装置であるフィルムスキャナ部８１、反射原稿入力装置８２、操作部７１を備えている。さらに筐体１１には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読み込み部１４、各種デジタル記録媒体に画像信号を書き込み可能な画像書き込み部１５を備え、また筐体１１の内部には、これらの各部を制御する制御部７２を備えている。画像読み込み部１４は後述の画像転送手段８３を含み、画像書き込み部１５は後述の画像搬送部８８を含んでいる。
【０２１５】
これらの各構成要素が全て必要であるわけではなく、また一体的に備えられた構造になっている必要もない。何れか一つ以上を画像処理装置２と別体として切り離す、或いは外部装置として接続するようにしてもよい。
【０２１６】
（画像処理装置２の構成）
図３９に、第２の実施形態に係る画像処理装置２の概略構成を示す。画像処理装置２は、図３９に示すように、操作部７１、制御部７２、画像処理部１０、フィルムスキャンデータ処理部７３、反射原稿スキャンデータ処理部７４、画像データ書式解読処理部７５、ＣＲＴ固有処理部７６、プリンタ固有処理部Ａ７７、プリンタ固有処理部Ｂ７８、画像データ書式作成処理部７９により構成される。
【０２１７】
フィルムスキャンデータ処理部７３は、フィルムスキャナ部８１から入力された画像データに対し、フィルムスキャナ部８１固有の校正操作、ネガポジ反転（ネガ原稿の場合）、ゴミキズ除去、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等の処理を施し、処理済の画像データを画像処理部１０に出力する。また、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えば、ＡＰＳの記載情報内容）等も併せて画像処理部１０に出力する。
【０２１８】
反射原稿スキャンデータ処理部７４は、反射原稿入力装置８２から入力された画像データに対し、反射原稿入力装置８２固有の校正操作、ネガポジ反転（ネガ原稿の場合）、ゴミキズ除去、コントラスト調整、ノイズ除去、鮮鋭化強調等の処理を施し、処理済の画像データを画像処理部１０に出力する。
【０２１９】
画像データ書式解読処理部７５は、画像転送手段８３及び／又は通信手段（入力）８４から入力された画像データに対し、その画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等の処理を施し、画像処理部１０内の演算に適したデータ形式に変換し、画像処理部１０に出力する。
【０２２０】
また、画像データ書式解読処理部７５は、操作部７１、通信手段（入力）８４、画像転送手段８３の何れかから出力画像の条件が指定された場合、その指定された情報を検出し、画像処理部１０に出力する。なお、画像転送手段８３により指定される出力画像の条件についての情報は、画像転送手段８３が取得した画像データのヘッダ情報、タグ情報に埋め込まれている。
【０２２１】
画像処理部１０は、操作部７１又は制御部７２の指令に基づいて、フィルムスキャナ部８１、反射原稿入力装置８２、画像転送手段８３、通信手段（入力）８４の何れかから受け取った画像データに対し、後述の画像処理を施して、出力媒体上での鑑賞に最適化された画像形成用のデジタル画像データを生成し、ＣＲＴ固有処理部７６、プリンタ固有処理部Ａ７７、プリンタ固有処理部Ｂ７８、画像データ書式作成処理部７９の何れかに出力する。
【０２２２】
画像処理装置２内の画像処理部１０の内部構成については、後に図１１を用いて詳細に説明する。
【０２２３】
ＣＲＴ固有処理部７６は、画像処理部１０から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ８５に出力する。
【０２２４】
プリンタ固有処理部Ａ７７は、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等の処理を行い、処理済の画像データを露光処理部８６に出力する。
【０２２５】
本発明の画像処理装置２に、外部プリンタ８７が接続可能な場合には、接続するプリンタ装置毎にプリンタ固有処理部Ｂ７８が備えられている。このプリンタ固有処理部Ｂ７８は、プリンタ固有の校正処理、カラーマッチング、画素数変更等の処理を施し、処理済の画像データを外部プリンタ８７に出力する。
【０２２６】
画像データ書式作成処理部７９は、画像処理部１０から入力された画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、ビットマップ等に代表される各種の汎用画像フォーマットへの変換を施し、処理済の画像データを画像搬送部８８や通信手段（出力）８９に出力する。
【０２２７】
なお、図３９に示したフィルムスキャンデータ処理部７３、反射原稿スキャンデータ処理部７４、画像データ書式解読処理部７５、画像処理部１０、ＣＲＴ固有処理部７６、プリンタ固有処理部Ａ７７、プリンタ固有処理部Ｂ７８、画像データ書式作成処理部７９、という区分は、画像処理装置２の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵによるソフトウェア処理の種類の区分として実現されてもよい。
【０２２８】
（画像処理部１０の内部構成）
図１１に、画像処理部１０の内部構成を示す。画像処理部１０は、画像処理装置２の入力画像に対して、シーン判別に基づく階調の補正動作を制御するものであり、画像取得、シーン判別、階調処理条件設定などの一連の処理を実行する。本実施形態では入力画像が撮影画像データであるとし、図１１を用いて、画像処理部１０の内部構成を説明する。
【０２２９】
図１１に示すように、画像処理部１０は、第１画像取得部１０１、第２画像取得部１０２、占有率算出部１０３、指標算出部１０４、シーン判別部１０５、階調処理条件設定部１０７、階調変換処理部１０８により構成される。
【０２３０】
第１画像取得部１０１は、各入力データ処理部からの入力画像データを取得する。入力画像は撮影画像データであるので、例えば画像転送手段８３或いは通信手段（入力）８４を経て画像データ書式解読処理部７５に入力された撮影画像データが、その画像データのデータ書式に従って、必要に応じて圧縮符号の復元、データの表現方法の変換等の処理が施され、画像処理部１０によって第１の画像として取得される。撮影画像データは通常撮影時にＪＰＥＧ画像形式などのノンリニア画像に変換され、記録されている。ここでは、ノンリニア画像に変換前のリニア画像（例えば、Ｒａｗデータ）を第１の画像として取得するものとする。
【０２３１】
また、第１画像取得部１０１は、例えば撮影時にリニア画像のタグ領域に記録された付加情報などを読み出し、撮影時に算出される撮影条件もあわせて取得する。即ち、第１画像取得部１０１は撮影条件取得手段として機能する。本実施形態において第１画像取得部１０１によって取得される撮影条件は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む。露出モードの具体例としては、マニュアル（撮影）、オート（撮影）、オートブラケット撮影等がある。撮影シーンタイプの具体例としては、夜景、標準、人物、風景等がある。これらの撮影条件は、撮影時における測光値から算出され、メタデータとして画像データのタグ領域に付加的に記録されたものである。第１画像取得部１０１において取得された第１の画像の画像データ及び撮影条件のデータは、画像処理部１０内のメモリ（不図示）に保持される。
【０２３２】
第２画像取得部１０２は、第１の実施形態の場合と同様に、第１の画像から、実質的に縮小された第２の画像を取得する。
即ち、第１画像取得部１０１及び第２画像取得部１０２は、第１の実施形態と同様に、画像取得手段として機能する。
【０２３３】
以下、第１の実施形態の撮像装置１と同様の機能を有する構成要素については、説明を簡略にする。
【０２３４】
占有率算出部１０３は、第１の占有率算出手段として機能し、第２の画像の画像データに対して取得した色情報に基づいて、画像を明度と色相の組み合わせからなる所定の階級に分類し、分類された階級毎に各階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。
【０２３５】
また、占有率算出部１０３は、第２の占有率算出手段としても機能し、同じく画像を画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、各階級毎に第２の占有率を算出する。
【０２３６】
占有率算出部１０３において実行される占有率算出処理において、第１の実施形態と異なる点については、後に図２８を参照して説明する。
【０２３７】
指標算出部１０４は、占有率算出部１０３で算出された第１の占有率から指標１及び指標２を算出する。即ち、指標算出部１０４は、第１の指標算出手段及び第２の指標算出手段として機能する。
【０２３８】
また、指標算出部１０４は、占有率算出部１０３で算出された第２の占有率から指標３を算出する。即ち、指標算出部１０４は、第３の指標算出手段としても機能する。
【０２３９】
更に、指標算出部１０４は、第２の画像の画面中央部における平均輝度値と、最大輝度値と平均輝度値との差分値から露出撮影度指標を算出する。即ち、指標算出部１０４は、第４の指標算出手段としても機能する。
【０２４０】
また、指標算出部１０４は、第２の画像の画面中央部における肌色領域の平均輝度値（指標７）と、指標１及び指標３とから、自然光指標を算出する。即ち、指標算出部１０４は、第５の指標算出手段としても機能する。
【０２４１】
また、指標算出部１０４は、前記平均輝度値と、指標２及び指標３とから、輝度比指標を算出する。即ち、指標算出部１０４は、第６の指標算出手段としても機能する。
【０２４２】
指標算出部１０４において実行される指標算出処理において、第１の実施形態の場合と異なる点については、後に図３１を参照して詳細に説明する。
【０２４３】
シーン判別部１０５は、指標算出部１０４で算出された各指標に基づいて、第１の画像の撮影シーンを判別する。即ち、シーン判別部１０５は、シーン判別手段として機能する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度などもこれに含まれる。
【０２４４】
以上のように、占有率算出部１０３、指標算出部１０４及びシーン判別部１０５は、第１の実施形態と同様に、シーン判別処理手段として機能する。
【０２４５】
階調処理条件設定部１０７は、シーン判別部１０５で判別された撮影シーンに基づいて第１の画像に対する階調処理条件を設定する。階調処理条件の設定方法は、第１の実施形態の場合と同様である。即ち、階調処理条件設定部１０７は、階調処理条件設定手段として機能する。
【０２４６】
階調変換処理部１０８は、階調処理条件設定部１０７で設定された階調処理条件に従って、第１の画像に対する階調変換処理を実行する。また、階調変換処理部１０８は、撮像装置１のガンマ補正部５５と同様に、当該階調変換処理が施された第１の画像（リニア画像）をノンリニア画像に変換する処理を行う。従って、階調変換処理部１０８は、第１の階調変換処理手段及び第２の階調変換処理手段として機能する。
【０２４７】
（画像処理装置２の動作フロー）
次に、本実施形態における画像処理装置２の動作について説明する。
以下では、撮影画像を対象とし、その撮影対象物を「主要被写体」と呼ぶことにする。
【０２４８】
まず、図４０のフローチャートを参照して、画像処理装置２において実行される処理の全体の流れを説明する。
【０２４９】
まず、画像処理装置２への入力操作が行われると、各入力処理部７３〜７５の何れかにおいて入力処理が行われる（ステップＳ７０）。撮影画像に対しては、画像データ書式解読処理部７５での処理を経て、画像処理部１０に送られる。次いで、画像処理部１０において、撮影画像として第１の画像（リニア画像）が取得される（ステップＳ７１）。
【０２５０】
一方、撮影条件取得工程であるステップＳ７２では、ステップＳ７１で取得された第１の画像に付加されたＥｘｉｆ情報が読み出され、撮影条件の取り込みが行われる。ステップＳ７２で取得される撮影条件は、少なくとも、ＩＳＯスピードレイト、露出モード又は撮影シーンタイプを含む。ステップＳ７２で取得された撮影条件のデータはメモリに保持される。
【０２５１】
その後、第１の画像の画像データは、一方で複数の分割領域からなる分割画像、即ち第２の画像（縮小リニア画像）として取得される（ステップＳ７３）。第２の画像が第１の画像のサイズを縮小した画像となるのは第１の実施形態の場合と同様である。ステップＳ７１及びステップＳ７３は、本発明の画像取得工程に対応する。
【０２５２】
次いで、シーン判別処理工程であるステップＳ７４では、取得された第２の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる。ステップＳ７４におけるシーン判別処理については、後に図２７を参照して、第１の実施形態の場合と異なる点を説明する。
【０２５３】
次いで、階調処理条件設定工程であるステップＳ７５では、第１の実施形態の場合と同様に、ステップＳ７４のシーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な条件を設定する階調処理条件設定処理が行われる。また、ステップＳ７５では、ステップＳ７２で取得された撮影条件に基づいて、シーン判別結果に基づいて設定された階調処理条件を補正する処理が行われる。
【０２５４】
第１の階調変換処理工程であるステップＳ７６では、第２の画像に基づいて設定された階調処理条件に基づいて、撮影画像である第１の画像の画像データに対する階調変換処理が行われる。ステップＳ７６の階調変換処理は、シーン輝度のどこを中心に写真階調を再現するか、或いは撮影シーンの光源条件などによる階調への影響を補正するものであり、ステップＳ７４でのシーン判別結果によりステップＳ７５で設定された階調処理条件に基づいて行われるものである。
【０２５５】
第２の階調変換処理工程であるステップＳ７７では、ＡＷＢ処理、階調変換処理後の第１の画像（リニア画像）に対しガンマ変換処理を施すことによって、当該リニア画像がノンリニア画像に変換される。
【０２５６】
なお本実施形態では、ステップＳ７５で階調処理条件を設定し、ステップＳ７６で階調変換処理を行う形態としているが、撮影シーンに基づいて上記階調処理以外に他の画像特性、例えば色調整の最適化処理などを行うようにしてもよい。
【０２５７】
次いで、ガンマ変換処理後の画像データに対し、その他の画像処理（ノイズ処理、シャープネス処理等）が適宜行われる（ステップＳ７８）。その後、画像データは、各出力処理部７６〜７９で処理され、出力される。或いは、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）に記録される（ステップＳ７９）。出力又は記録が終わると、画像処理装置２における動作は終了する。
【０２５８】
なお、階調変換処理後のリニア画像をＲａｗデータとして保存し、現像ソフトウェアを用いてノンリニア画像に変換するようにしてもよい。
【０２５９】
（シーン判別処理２のフロー）
次に、図２７のフローチャートを参照して、画像処理装置２におけるシーン判別処理２（図４０のステップＳ７４）について説明する。以下では、第１の実施形態（撮像装置１）と異なる点を説明し、同一内容の部分は適宜省略する。
【０２６０】
シーン判別処理は、第１の実施形態と同様、図２７に示すように、色空間変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別（ステップＳ２３）の各処理により構成される。以下、適宜上記図面を参照して、図２７に示す各処理について説明する。
【０２６１】
まず、図２７のステップＳ２０において、色空間変換処理が行われる。処理内容は第１の実施形態の場合と同様であるため、ここでの説明は省略する。
【０２６２】
＜占有率算出処理２＞
次に、図２８のフローチャートを参照して、ステップＳ２１の占有率算出処理について説明する。
【０２６３】
まず、色空間変換処理で算出されたＨＳＶ値に基づいて、第２の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
【０２６４】
明度の分割については、第１の実施形態の場合と異なる。これはリニア画像とノンリニア画像との違いによるものである。ステップＳ３０では、明度（Ｖ）は、明度値が０〜２５（ｖ１）、２６〜５０（ｖ２）、５１〜８４（ｖ３）、８５〜１６９（ｖ４）、１７０〜１９９（ｖ５）、２００〜２２４（ｖ６）、２２５〜２５５（ｖ７）の７つの階級に分割される。
【０２６５】
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。これらは第１の実施形態の場合と同様である。また、肌色色相領域が、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割されるのも同様である。
【０２６６】
ステップＳ３１の２次元ヒストグラム作成も第１の実施形態の場合と同様である。
【０２６７】
図４１に、ステップＳ３１において、第２の画像の画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり．領域ｎ３が領域ｎ２のさらに内側の領域であり、領域ｎ４が第２の画像の中央部の領域である。また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。従って、第２の画像を画面の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は４×７＝２８個となる。
【０２６８】
ステップＳ３２が、ステップＳ３０とともに、第１の占有率算出工程に対応し、第１の占有率が算出されるのは第１の実施形態の場合と同様である。
【０２６９】
明度領域ｖｉ、色相領域Ｈｊの組み合わせからなる階級において算出された第１の占有率をＲｉｊとすると、各階級における第１の占有率は表７のように表される。
【０２７０】
【表７】
2007235204.tif 000014
【０２７１】
ステップＳ３３が、ステップＳ３１とともに、第２の占有率算出工程に対応し、第２の占有率が算出されるのも第１の実施形態の場合と同様である。
【０２７２】
明度領域ｖｉ、画面領域ｎｊの組み合わせからなる各階級において算出された第２の占有率をＱｉｊとすると、各階級における第２の占有率は表８のように表される。
【０２７３】
【表８】
2007235204.tif 000015
【０２７４】
＜指標算出処理２＞
次に、図３１のフローチャートを参照して、指標算出処理（図２７のステップＳ２２）について説明する。
【０２７５】
まず、第１の指標算出工程であるステップＳ４０では、第１の占有率に予め設定された第１の係数を乗算して和をとることにより、指標１が算出され、次いで、第２の指標算出工程であるステップＳ４１では、同じく第１の占有率に予め設定された第２の係数を乗算して和をとることにより、指標２が算出されるのは、第１の実施形態の場合と同様である。
【０２７６】
指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０２７７】
以下、指標１及び指標２の算出方法について説明する。
【０２７８】
表９に、指標１を算出するために必要な第１の係数を階級別に示す。表９に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０２７９】
【表９】
2007235204.tif 000016
【０２８０】
表９によると、高明度（ｖ５、ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図４２は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表９及び図４２によると、高明度（Ｖ＝１７０〜２２４）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
【０２８１】
明度領域ｖｉ、色相領域Ｈｊにおける第１の係数をＣｉｊとすると、指標１を算出するためのＨｋ領域の和は、式（６）のように定義される。
【数６】
2007235204.tif 000017
【０２８２】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（６−５）〜（６−８）のように表される。
Ｈ１領域の和
＝R11×（−44）＋R21×（−16）＋（中略）…＋R71×（−11.3）    …（６−５）
Ｈ２領域の和＝R12×0＋R22×8.6＋（中略）…＋R72×（−11.1）    …（６−６）
Ｈ３領域の和
＝R13×0＋R23×（−6.3）＋（中略）…＋R73×（−10）    …（６−７）
Ｈ４領域の和
＝R14×0＋R24×（−1.8）＋（中略）…＋R74×（−14.6）    …（６−８）
【０２８３】
指標１は、式（６−５）〜（６−８）で示されたＨ１〜Ｈ４領域の和を用いて、式（２１）のように定義される。
指標１
＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋4.424    …（２１）
【０２８４】
表１０に、指標２を算出するために必要な第２の係数を階級別に示す。表１０に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０２８５】
【表１０】
2007235204.tif 000018
【０２８６】
表１０によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には正（＋）の係数が用いられる。図４３は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表１０及び図４３によると、肌色色相領域の、明度値が２６〜８４の低明度領域の第２の係数の符号は正（＋）であり、明度値０〜２５の最低明度領域と、明度値８５〜２５５の中間及び高明度領域の第２の係数の符号は負（−）であり、両領域での係数に大きな違いがあることがわかる。
【０２８７】
明度領域ｖｉ、色相領域Ｈｊにおける第２の係数をＤｉｊとすると、指標２を算出するためのＨｋ領域の和は、式（８）のように定義される。
【数７】
2007235204.tif 000019
【０２８８】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（８−５）〜（８−８）のように表される。
Ｈ１領域の和
＝R11×（−27）＋R21×4.5＋（中略）…＋R71×（−24）    …（８−５）
Ｈ２領域の和＝R12×0＋R22×4.7＋（中略）…＋R72×（−8.5）    …（８−６）
Ｈ３領域の和＝R13×0＋R23×0＋（中略）…＋R73×0    …（８−７）
Ｈ４領域の和＝R14×0＋R24×（−5.1）＋（中略）…＋R74×7.2    …（８−８）
【０２８９】
指標２は、式（８−５）〜（８−８）で示されたＨ１〜Ｈ４領域の和を用いて、式（２２）のように定義される。
指標２
＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.554    …（２２）
【０２９０】
指標１及び指標２は、第２の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
【０２９１】
指標１及び指標２が算出されると、第３の指標算出工程であるステップＳ４２で、第２の占有率に、予め設定された第３の係数を乗算して和をとることにより、指標３が算出される。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。
【０２９２】
以下、指標３の算出方法について説明する。
【０２９３】
表１１に、指標３を算出するために必要な第３の係数を階級別に示す。表１１に示された各階級の係数は、表２に示した各階級の第２の占有率Ｑｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０２９４】
【表１１】
2007235204.tif 000020
【０２９５】
図４４は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【０２９６】
明度領域ｖｉ、画面領域ｎｊにおける第３の係数をＥｉｊとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（１０）のように定義される。
【数８】
2007235204.tif 000021
【０２９７】
従って、ｎ１〜ｎ４領域の和は、下記の式（１０−５）〜（１０−８）のように表される。
ｎ１領域の和＝Q11×40.1＋Q21×37＋（中略）…＋Q71×22    …（１０−５）
ｎ２領域の和
＝Q12×（−14.8）＋Q22×（−10.5）＋（中略）…＋Q72×0    …（１０−６）
ｎ３領域の和＝Q13×24.6＋Q23×12.1＋（中略）…＋Q73×10.1    …（１０−７）
ｎ４領域の和
＝Q14×1.5＋Q24×（−32.9）＋（中略）…＋Q74×（−52.2）    …（１０−８）
【０２９８】
指標３は、式（１０−５）〜（１０−８）で示されたｎ１〜ｎ４領域の和を用いて、式（２３）のように定義される。
指標３
＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋ｎ４領域の和＋12.6201    …（２３）
【０２９９】
指標３は、第２の画像の明度の分布位置による構図的な特徴（全体画像の画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
【０３００】
指標１〜３が算出されると、第４の指標算出工程であるステップＳ４３で、第２の画像の画面中央部における肌色の平均輝度値と、最大輝度植と平均輝度値との差分値のそれぞれに、予め設定された係数を乗算することにより、露出撮影度指標が算出される。
【０３０１】
以下、図３５のフローチャートを参照して、露出撮影度指標の算出処理について説明する。
【０３０２】
まず、ステップＳ５０からステップＳ５４に至る、第２の画像の画面中央部における肌色領域の平均輝度値ｘ１、第２の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値、第２の画像の輝度の標準偏差ｘ３、画面中央部における平均輝度値ｘ４、そして第２の画像における肌色領域の最大輝度値Yskin＿maxと最小輝度値Yskin＿minの差分値と、肌色領域の平均輝度値Yskin＿aveとの比較値ｘ５を算出する処理については、第１の実施形態の場合と同様であるため、ここでの説明を省略する。
【０３０３】
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、露出撮影度指標が算出され（ステップＳ５５）、露出撮影度指標算出処理が終了する。露出撮影度指標は、下記の式（１２−３）のように定義される。
【０３０４】
露出撮影度指標＝0．06×ｘ１＋1.13×ｘ２＋0．02×ｘ３＋（−0．01）×ｘ４＋0．03×ｘ５−6．50    …（１２−３）
この露出撮影度指標は、第２の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
【０３０５】
露出撮影度指標が算出されると、第５の指標算出工程であるステップＳ４４において、指標１、指標３及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第５の係数）を乗算することにより、自然光指標が算出される。
【０３０６】
更に、第６の指標算出工程であるステップＳ４５において、指標２、指標３及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第６の係数）を乗算することにより、輝度比指標が算出され、本指標算出処理が終了する。
【０３０７】
以下、自然光指標及び輝度比指標の算出方法について説明する。
【０３０８】
第２の画像の画面中央部における肌色領域の平均輝度値を指標７とする。ここでの画面中央部とは、例えば、図４１の領域ｎ２、領域ｎ３及び領域ｎ４から構成される領域である。このとき、自然光指標は、指標１、指標３、指標７を用いて式（２４）のように定義され、輝度比指標は、指標２、指標３、指標７を用いて式（２５）のように定義される。
自然光指標＝0.46×指標１＋0.61×指標３＋0.01×指標７−0.79    …（２４）
輝度比指標＝0.58×指標２＋0.18×指標３＋(−0.03)×指標７＋3.34    …（２５）
【０３０９】
＜シーン判別２＞
図２７のステップＳ２３（シーン判別）に戻る。
【０３１０】
露出撮影度指標、自然光指標、輝度比指標が算出されると、これらの指標の値に基づいて撮影シーンが判別されるが、シーン判別方法は第１の実施形態の場合と同様であるため、ここでの説明は省略する。
【０３１１】
（階調処理条件設定のフロー）
第１の画像に対する階調処理条件設定処理（図４０のステップＳ７５）は、第１の実施形態の場合と同様であり、図３６のフローチャートを用いて説明したとおりであるため、ここでの説明は省略する。
【０３１２】
以上のように、第２の実施形態の画像処理装置２によれば、上述の第１の実施形態と同様に、主要被写体（例えば、人物顔領域）の明るさを最適化することが可能となる。
【０３１３】
なお、上記各実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【０３１４】
【図１】本発明の実施形態に係る撮像装置の外観構成例を示す図である。
【図２】撮像装置の内部構成を示すブロック図である。
【図３】撮影処理部の内部構成を示すブロック図である。
【図４】ＡＥ制御部での露光量制御を示すフローチャートである。
【図５】シャッタ速度の制御において撮像素子に電荷が蓄積する様子を示す図である。
【図６】ＡＦ制御部での画像の焦点を合わせる制御を示すフローチャートである。
【図７】撮影光学系の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を示す図である。
【図８】画素補間部での、ＲＧＢ各色成分ごとに画素間の補間を行う画像データの処理を示すフローチャートである。
【図９】ＡＷＢ制御部での、撮影画像におけるホワイトバランスを自動的に調整する処理を示すフローチャートである。
【図１０】ガンマ補正曲線の一例を示す図である。
【図１１】画像処理部の内部構成を示すブロック図である。
【図１２】撮影された第１の画像の一例を示す図（ａ）と、第１の画像を分割し、Ｍ×Ｎ画素の縮小画像とした第２の画像の一例を示す図（ｂ）である。
【図１３】階調処理条件設定部の内部構成を示すブロック図である。
【図１４】輝度比指標と仮補正量key_auto[0]との関係を示すＬＵＴである。
【図１５】露出撮影度指標と仮補正量key_auto[1]との関係を示すＬＵＴである。
【図１６】肌色平均輝度と仮補正量key_auto[2]との関係を示すＬＵＴである。
【図１７】肌色平均輝度又は全体平均輝度と仮補正量key_auto[3]との関係を示すＬＵＴである。
【図１８】輝度比指標と仮補正量key_auto[4]との関係を示すＬＵＴである。
【図１９】露出撮影度指標と仮補正量key_auto[5]との関係を示すＬＵＴである。
【図２０】自然光指標と混合係数wgt[0]との関係を示すＬＵＴである。
【図２１】自然光指標と混合係数wgt[1]との関係を示すＬＵＴである。
【図２２】自然光指標と混合係数wgt[2]との関係を示すＬＵＴである。
【図２３】自然光指標と混合係数wgt[3]との関係を示すＬＵＴである。
【図２４】自然光指標、輝度比指標、露出撮影度指標から撮影シーンを判別するための判別マップを示す図である。
【図２５】撮影シーン別に混合係数wgt[4]〜[6]の値を表す係数算出テーブルを示す図である。
【図２６】撮像装置１において実行される処理の全体の流れを示すフローチャートである。
【図２７】画像処理部において実行されるシーン判別処理を示すフローチャートである。
【図２８】占有率算出処理を示すフローチャートである。
【図２９】明度と色相からなる階級を示す図である。
【図３０】画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ３を示す図（ａ）と、領域ｎ１〜ｎ３と明度からなる階級を示す図（ｂ）である。
【図３１】指標算出処理を示すフローチャートである。
【図３２】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。
【図３３】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。
【図３４】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ３）に示す図である。
【図３５】露出撮影度指標算出処理を示すフローチャートである。
【図３６】階調処理条件設定部において実行される階調処理条件設定処理を示すフローチャートである。
【図３７】撮影シーンが順光である場合の階調変換曲線（ａ）と、撮影シーンが逆光である場合の階調変換曲線（ｂ）を示す図である。
【図３８】本発明の第２の実施形態に係る画像処理装置の外観構成例を示す図である。
【図３９】画像処理装置の内部構成を示すブロック図である。
【図４０】画像処理装置において実行される処理の全体の流れを示すフローチャートである。
【図４１】画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図である。
【図４２】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。
【図４３】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。
【図４４】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図である。
【符号の説明】
【０３１５】
１  撮像装置
２  画像処理装置
１０  画像処理部
１１  筐体
１３  装填部
１４  画像読み込み部
１５  画像書き込み部
１６  プリント作成部
１７  トレー
２０  撮影処理部
２１  筐体
２２  十字キー
２３  撮影光学系
２４  フラッシュ
２５  ファインダ
２６  電源スイッチ
２７  表示部
２８  レリーズボタン
３１  プロセッサ
３２  メモリ
３３  撮像素子
３７  画像データ出力部
３８  操作部
４１  タイミングジェネレータ
４２  シャッタユニット
４３  絞りユニット
４４  フォーカスユニット
５１  ＡＥ制御部
５２  ＡＦ制御部
５３  画素補間部
５４  ＡＷＢ制御部
５５  ガンマ補正部
７１  操作部
７２  制御部
７３  フィルムスキャンデータ処理部
７４  反射原稿スキャンデータ処理部
７５  画像データ書式解読処理部
７６  ＣＲＴ固有処理部
７７  プリンタ固有処理部Ａ
７８  プリンタ固有処理部Ｂ
７９  画像データ書式作成処理部
８１  フィルムスキャナ部
８２  反射原稿入力装置
８３  画像転送手段
８４  通信手段（入力）
８５  ＣＲＴ
８６  露光処理部
８７  外部プリンタ
８８  画像搬送部
８９  通信手段（出力）
１０１  第１画像取得部
１０２  第２画像取得部
１０３  占有率算出部
１０４  指標算出部
１０５  シーン判別部
１０７  階調処理条件設定部
１０８  階調変換処理部
２０１  第１仮補正量設定部
２０２  第１混合係数設定部
２０３  第２仮補正量演算部
２０４  第２混合係数設定部
２０５  明るさ補正量演算部
【図１】
2007235204.tif 000022
【図２】
2007235204.tif 000023
【図３】
2007235204.tif 000024
【図４】
2007235204.tif 000025
【図５】
2007235204.tif 000026
【図６】
2007235204.tif 000027
【図７】
2007235204.tif 000028
【図８】
2007235204.tif 000029
【図９】
2007235204.tif 000030
【図１０】
2007235204.tif 000031
【図１１】
2007235204.tif 000032
【図１２】
2007235204.tif 000033
【図１３】
2007235204.tif 000034
【図１４】
2007235204.tif 000035
【図１５】
2007235204.tif 000036
【図１６】
2007235204.tif 000037
【図１７】
2007235204.tif 000038
【図１８】
2007235204.tif 000039
【図１９】
2007235204.tif 000040
【図２０】
2007235204.tif 000041
【図２１】
2007235204.tif 000042
【図２２】
2007235204.tif 000043
【図２３】
2007235204.tif 000044
【図２４】
2007235204.tif 000045
【図２５】
2007235204.tif 000046
【図２６】
2007235204.tif 000047
【図２７】
2007235204.tif 000048
【図２８】
2007235204.tif 000049
【図２９】
2007235204.tif 000050
【図３０】
2007235204.tif 000051
【図３１】
2007235204.tif 000052
【図３２】
2007235204.tif 000053
【図３３】
2007235204.tif 000054
【図３４】
2007235204.tif 000055
【図３５】
2007235204.tif 000056
【図３６】
2007235204.tif 000057
【図３７】
2007235204.tif 000058
【図３８】
2007235204.tif 000059
【図３９】
2007235204.tif 000060
【図４０】
2007235204.tif 000061
【図４１】
2007235204.tif 000062
【図４２】
2007235204.tif 000063
【図４３】
2007235204.tif 000064
【図４４】
2007235204.tif 000065