(57)【要約】【課題】ライブビュー表示用の画像と記録用の画像それぞれに対して、適正な画像処理を行う。【解決手段】撮像素子３３ａにより、ライブビュー表示用の第１の画像を取得し、撮像素子３３ｂにより、記録用の第２の画像を取得する撮像装置１００において、第１の画像の画像データに基づいて撮影シーンを判別し、撮影シーンに応じた階調変換処理を第１の画像に対して行い、第２の画像の画像データに基づいて撮影シーンを判別し、撮影シーンに応じた階調変換処理を第２の画像に対して行う。また、第１の画像の撮影シーンの判別結果に基づいて露出調整量を算出し、この露出調整量に基づいて、ライブビュー表示用の第１の画像を取得する際と、記録用の第２の画像を取得する際の露出を制御する。【選択図】図２
2007288245.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像素子により、ライブビュー表示用の第１の画像を取得する第１の撮像手段と、
第２の撮像素子により、記録用の第２の画像を取得する第２の撮像手段と、
前記第１の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別し、前記第２の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別するシーン判別処理手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記シーン判別処理手段による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の画像に対する階調処理条件を設定する第１の階調処理条件設定手段を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記シーン判別処理手段による前記第２の画像の撮影シーンの判別結果に基づいて、前記第２の画像に対する階調処理条件を設定する第２の階調処理条件設定手段を備えたことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記シーン判別処理手段による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の撮像手段の露出調整量を算出する露出調整量算出手段と、
前記露出調整量算出手段により算出された露出調整量に基づいて、前記第１の撮像手段の露出を制御する第１の露出制御手段と、
を備えたことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記第２の撮像手段により前記第２の画像を取得する直前に算出された前記露出調整量に基づいて、前記第２の撮像手段の露出を制御する第２の露出制御手段を備えたことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１の撮像手段により取得された第１の画像から画像サイズを縮小した第３の画像を取得する第３の画像取得手段を備え、
前記シーン判別処理手段は、前記第３の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別することを特徴とする請求項１〜５の何れか一項に記載の撮像装置。
【請求項７】
前記第２の撮像手段により取得された第２の画像から画像サイズを縮小した第４の画像を取得する第４の画像取得手段を備え、
前記シーン判別処理手段は、前記第４の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別することを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
【請求項８】
前記シーン判別処理手段は、
前記第３の画像の画像データから色情報を取得する色情報取得手段と、
前記取得された色情報に基づいて、前記第３の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
前記取得された色情報に基づいて、前記第３の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出手段と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出手段と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出手段と、
少なくとも前記第３の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出手段と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出手段と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出手段と、
前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第１の画像の撮影シーンを特定するシーン判別手段と、
を備えたことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記シーン判別処理手段は、
前記第４の画像の画像データから色情報を取得する色情報取得手段と、
前記取得された色情報に基づいて、前記第４の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
前記取得された色情報に基づいて、前記第４の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出手段と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出手段と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出手段と、
少なくとも前記第４の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出手段と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出手段と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出手段と、
前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第２の画像の撮影シーンを特定するシーン判別手段と、
を備えたことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
第１の撮像素子により、ライブビュー表示用の第１の画像を取得する第１の撮像工程と、
第２の撮像素子により、記録用の第２の画像を取得する第２の撮像工程と、
前記第１の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別し、前記第２の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別するシーン判別処理工程と、
を含むことを特徴とする画像処理方法。
【請求項１１】
前記シーン判別処理工程における前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の画像に対する階調処理条件を設定する第１の階調処理条件設定工程を含むことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記シーン判別処理工程における前記第２の画像の撮影シーンの判別結果に基づいて、前記第２の画像に対する階調処理条件を設定する第２の階調処理条件設定工程を含むことを特徴とする請求項１０又は１１に記載の画像処理方法。
【請求項１３】
前記シーン判別処理工程における前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の撮像工程における露出調整量を算出する露出調整量算出工程と、
前記露出調整量算出工程において算出された露出調整量に基づいて、前記第１の撮像工程における露出を制御する第１の露出制御工程と、
を含むことを特徴とする請求項１０〜１２の何れか一項に記載の画像処理方法。
【請求項１４】
前記第２の撮像工程において前記第２の画像を取得する直前に算出された前記露出調整量に基づいて、前記第２の撮像工程における露出を制御する第２の露出制御工程を含むことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記第１の撮像工程において取得された第１の画像から画像サイズを縮小した第３の画像を取得する第３の画像取得工程を含み、
前記シーン判別処理工程では、前記第３の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別することを特徴とする請求項１０〜１４の何れか一項に記載の画像処理方法。
【請求項１６】
前記第２の撮像工程において取得された第２の画像から画像サイズを縮小した第４の画像を取得する第４の画像取得工程を含み、
前記シーン判別処理工程では、前記第４の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別することを特徴とする請求項１０〜１５の何れか一項に記載の画像処理方法。
【請求項１７】
前記シーン判別処理工程は、
前記第３の画像の画像データから色情報を取得する色情報取得工程と、
前記取得された色情報に基づいて、前記第３の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
前記取得された色情報に基づいて、前記第３の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出工程と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出工程と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出工程と、
少なくとも前記第３の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出工程と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出工程と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出工程と、
前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第１の画像の撮影シーンを特定するシーン判別工程と、
を含むことを特徴とする請求項１５に記載の画像処理方法。
【請求項１８】
前記シーン判別処理工程は、
前記第４の画像の画像データから色情報を取得する色情報取得工程と、
前記取得された色情報に基づいて、前記第４の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
前記取得された色情報に基づいて、前記第４の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出工程と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出工程と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出工程と、
少なくとも前記第４の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出工程と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出工程と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出工程と、
前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第２の画像の撮影シーンを特定するシーン判別工程と、
を含むことを特徴とする請求項１６に記載の画像処理方法。
【請求項１９】
コンピュータに、
第１の撮像素子により、ライブビュー表示用の第１の画像を取得する第１の撮像機能と、
第２の撮像素子により、記録用の第２の画像を取得する第２の撮像機能と、
前記第１の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別し、前記第２の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別するシーン判別処理機能と、
を実現させるための画像処理プログラム。
【請求項２０】
前記コンピュータに、さらに、
前記シーン判別処理機能による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の画像に対する階調処理条件を設定する第１の階調処理条件設定機能を実現させることを特徴とする請求項１９に記載の画像処理プログラム。
【請求項２１】
前記コンピュータに、さらに、
前記シーン判別処理機能による前記第２の画像の撮影シーンの判別結果に基づいて、前記第２の画像に対する階調処理条件を設定する第２の階調処理条件設定機能を実現させることを特徴とする請求項１９又は２０に記載の画像処理プログラム。
【請求項２２】
前記コンピュータに、さらに、
前記シーン判別処理機能による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の撮像機能における露出調整量を算出する露出調整量算出機能と、
前記露出調整量算出機能により算出された露出調整量に基づいて、前記第１の撮像機能における露出を制御する第１の露出制御機能と、
を実現させることを特徴とする請求項１９〜２１の何れか一項に記載の画像処理プログラム。
【請求項２３】
前記コンピュータに、さらに、
前記第２の撮像機能により前記第２の画像を取得する直前に算出された前記露出調整量に基づいて、前記第２の撮像機能における露出を制御する第２の露出制御機能を実現させることを特徴とする請求項２２に記載の画像処理プログラム。
【請求項２４】
前記コンピュータに、さらに、
前記第１の撮像機能により取得された第１の画像から画像サイズを縮小した第３の画像を取得する第３の画像取得機能を実現させ、
前記シーン判別処理機能は、前記第３の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別することを特徴とする請求項１９〜２３の何れか一項に記載の画像処理プログラム。
【請求項２５】
前記コンピュータに、さらに、
前記第２の撮像機能により取得された第２の画像から画像サイズを縮小した第４の画像を取得する第４の画像取得機能を実現させ、
前記シーン判別処理機能は、前記第４の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別することを特徴とする請求項１９〜２４の何れか一項に記載の画像処理プログラム。
【請求項２６】
前記シーン判別処理機能は、
前記第３の画像の画像データから色情報を取得する色情報取得機能と、
前記取得された色情報に基づいて、前記第３の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出機能と、
前記取得された色情報に基づいて、前記第３の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出機能と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出機能と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出機能と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出機能と、
少なくとも前記第３の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出機能と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出機能と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出機能と、
前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第１の画像の撮影シーンを特定するシーン判別機能と、
を含むことを特徴とする請求項２４に記載の画像処理プログラム。
【請求項２７】
前記シーン判別処理機能は、
前記第４の画像の画像データから色情報を取得する色情報取得機能と、
前記取得された色情報に基づいて、前記第４の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出機能と、
前記取得された色情報に基づいて、前記第４の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出機能と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出機能と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出機能と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出機能と、
少なくとも前記第４の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出機能と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出機能と、
前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出機能と、
前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第２の画像の撮影シーンを特定するシーン判別機能と、
を含むことを特徴とする請求項２５に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像を取得する撮像装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ（携帯電話機やラップトップパソコン等の機器に組み込まれたものを含む。以下、ＤＳＣと略称する。）の普及とともに、ＤＳＣで撮影された画像をハードコピー画像として出力したり、ＣＲＴ等の媒体やＤＳＣに付属の表示装置に表示したりして鑑賞する機会が増えてきている。
【０００３】
一般的に、ＤＳＣで撮影された画像は、撮影時の露出調整の不備等により、そのままでは鑑賞用画像として適切でない場合が多い。
【０００４】
そこで、例えば、撮影範囲を複数の領域に分割し、分割領域毎の輝度情報を行方向及び列方向のうち少なくとも一方に平均化した複数の平均輝度情報を得るとともに、撮影範囲内の明るさ変化の傾向を算出することで逆光判別を行い、撮影範囲内の平均輝度値の傾きから露出補正量を算出する方法（特許文献１参照）や、ＤＳＣの撮影時に、分割測光結果から画面内コントラストの強弱や輝度分布状態等の被写体情報を得て、この被写体情報から画像データの階調変換特性を適正化する方法（特許文献２参照）が提案されている。
【特許文献１】特開２００２−２９６６３５号公報
【特許文献２】特開２００１−５４０１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された方法では、典型的な逆光撮影の場合には正しく逆光を判定することができるが、輝度情報のみを用いているため、典型的な構図に当てはまらない場合には正しく撮影シーンを判別できないという問題があった。また、特許文献１では、平均輝度値の傾きから露出補正量を算出しているが、必ずしも主要被写体の明るさを考慮したものではなく、撮影シーンを定量的に表したものではないという問題があった。また、特許文献２では、コントラストの強弱によって階調変換特性を変更しているが、撮影シーンを高精度に判別することができないため、撮影シーンに応じて適切な階調を選択することができないという問題があった。
【０００６】
また、近年、ライブビュー表示用の撮像素子と、記録用の撮像素子とを別々に持つ一眼レフレックス方式のＤＳＣが提案されている。このようなＤＳＣにおいても、撮影時の露出調整の不備等により、そのままではライブビューで鑑賞する画像及び記録用の画像として最適な画像を得ることができない場合が多い。
【０００７】
一般的に、このようなＤＳＣでは、記録用の撮像素子は高解像度でノイズの少ないものが用いられ、ライブビュー表示用の撮像素子はコストダウンのため低解像度のものが用いられるので、同一対象を撮像した場合でも異なる画像データとなる。記録用、ライブビュー表示用の画像として最適なものとするためには、それぞれの画像データに対して個別に適正な画像処理を行うことが重要である。
【０００８】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、ライブビュー表示用の画像と記録用の画像それぞれに対して、適正な画像処理を行うことを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に記載の撮像装置は、第１の撮像素子により、ライブビュー表示用の第１の画像を取得する第１の撮像手段と、第２の撮像素子により、記録用の第２の画像を取得する第２の撮像手段と、前記第１の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別し、前記第２の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別するシーン判別処理手段と、を備えたことを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記シーン判別処理手段による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の画像に対する階調処理条件を設定する第１の階調処理条件設定手段を備えたことを特徴とする。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、前記シーン判別処理手段による前記第２の画像の撮影シーンの判別結果に基づいて、前記第２の画像に対する階調処理条件を設定する第２の階調処理条件設定手段を備えたことを特徴とする。
【００１２】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、前記シーン判別処理手段による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の撮像手段の露出調整量を算出する露出調整量算出手段と、前記露出調整量算出手段により算出された露出調整量に基づいて、前記第１の撮像手段の露出を制御する第１の露出制御手段と、を備えたことを特徴とする。
【００１３】
請求項５に記載の発明は、請求項４に記載の撮像装置において、前記第２の撮像手段により前記第２の画像を取得する直前に算出された前記露出調整量に基づいて、前記第２の撮像手段の露出を制御する第２の露出制御手段を備えたことを特徴とする。
【００１４】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の撮像装置において、前記第１の撮像手段により取得された第１の画像から画像サイズを縮小した第３の画像を取得する第３の画像取得手段を備え、前記シーン判別処理手段は、前記第３の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別することを特徴とする。
【００１５】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の撮像装置において、前記第２の撮像手段により取得された第２の画像から画像サイズを縮小した第４の画像を取得する第４の画像取得手段を備え、前記シーン判別処理手段は、前記第４の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別することを特徴とする。
【００１６】
請求項８に記載の発明は、請求項６に記載の撮像装置において、前記シーン判別処理手段は、前記第３の画像の画像データから色情報を取得する色情報取得手段と、前記取得された色情報に基づいて、前記第３の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、前記取得された色情報に基づいて、前記第３の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出手段と、前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出手段と、前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出手段と、少なくとも前記第３の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出手段と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出手段と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出手段と、前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第１の画像の撮影シーンを特定するシーン判別手段と、を備えたことを特徴とする。
【００１７】
請求項９に記載の発明は、請求項７に記載の撮像装置において、前記シーン判別処理手段は、前記第４の画像の画像データから色情報を取得する色情報取得手段と、前記取得された色情報に基づいて、前記第４の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、前記取得された色情報に基づいて、前記第４の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出手段と、前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出手段と、前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出手段と、少なくとも前記第４の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出手段と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出手段と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出手段と、前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第２の画像の撮影シーンを特定するシーン判別手段と、を備えたことを特徴とする。
【００１８】
請求項１０に記載の画像処理方法は、第１の撮像素子により、ライブビュー表示用の第１の画像を取得する第１の撮像工程と、第２の撮像素子により、記録用の第２の画像を取得する第２の撮像工程と、前記第１の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別し、前記第２の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別するシーン判別処理工程と、を含むことを特徴とする。
【００１９】
請求項１１に記載の発明は、請求項１０に記載の画像処理方法において、前記シーン判別処理工程における前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の画像に対する階調処理条件を設定する第１の階調処理条件設定工程を含むことを特徴とする。
【００２０】
請求項１２に記載の発明は、請求項１０又は１１に記載の画像処理方法において、前記シーン判別処理工程における前記第２の画像の撮影シーンの判別結果に基づいて、前記第２の画像に対する階調処理条件を設定する第２の階調処理条件設定工程を含むことを特徴とする。
【００２１】
請求項１３に記載の発明は、請求項１０〜１２の何れか一項に記載の画像処理方法において、前記シーン判別処理工程における前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の撮像工程における露出調整量を算出する露出調整量算出工程と、前記露出調整量算出工程において算出された露出調整量に基づいて、前記第１の撮像工程における露出を制御する第１の露出制御工程と、を含むことを特徴とする。
【００２２】
請求項１４に記載の発明は、請求項１３に記載の画像処理方法において、前記第２の撮像工程において前記第２の画像を取得する直前に算出された前記露出調整量に基づいて、前記第２の撮像工程における露出を制御する第２の露出制御工程を含むことを特徴とする。
【００２３】
請求項１５に記載の発明は、請求項１０〜１４の何れか一項に記載の画像処理方法において、前記第１の撮像工程において取得された第１の画像から画像サイズを縮小した第３の画像を取得する第３の画像取得工程を含み、前記シーン判別処理工程では、前記第３の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別することを特徴とする。
【００２４】
請求項１６に記載の発明は、請求項１０〜１５の何れか一項に記載の画像処理方法において、前記第２の撮像工程において取得された第２の画像から画像サイズを縮小した第４の画像を取得する第４の画像取得工程を含み、前記シーン判別処理工程では、前記第４の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別することを特徴とする。
【００２５】
請求項１７に記載の発明は、請求項１５に記載の画像処理方法において、前記シーン判別処理工程は、前記第３の画像の画像データから色情報を取得する色情報取得工程と、前記取得された色情報に基づいて、前記第３の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、前記取得された色情報に基づいて、前記第３の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出工程と、前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出工程と、前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出工程と、少なくとも前記第３の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出工程と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出工程と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出工程と、前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第１の画像の撮影シーンを特定するシーン判別工程と、を含むことを特徴とする。
【００２６】
請求項１８に記載の発明は、請求項１６に記載の画像処理方法において、前記シーン判別処理工程は、前記第４の画像の画像データから色情報を取得する色情報取得工程と、前記取得された色情報に基づいて、前記第４の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、前記取得された色情報に基づいて、前記第４の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出工程と、前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出工程と、前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出工程と、少なくとも前記第４の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出工程と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出工程と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出工程と、前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第２の画像の撮影シーンを特定するシーン判別工程と、を含むことを特徴とする。
【００２７】
請求項１９に記載の発明は、コンピュータに、第１の撮像素子により、ライブビュー表示用の第１の画像を取得する第１の撮像機能と、第２の撮像素子により、記録用の第２の画像を取得する第２の撮像機能と、前記第１の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別し、前記第２の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別するシーン判別処理機能と、を実現させるための画像処理プログラムである。
【００２８】
請求項２０に記載の発明は、請求項１９に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記シーン判別処理機能による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の画像に対する階調処理条件を設定する第１の階調処理条件設定機能を実現させることを特徴とする。
【００２９】
請求項２１に記載の発明は、請求項１９又は２０に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記シーン判別処理機能による前記第２の画像の撮影シーンの判別結果に基づいて、前記第２の画像に対する階調処理条件を設定する第２の階調処理条件設定機能を実現させることを特徴とする。
【００３０】
請求項２２に記載の発明は、請求項１９〜２１の何れか一項に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記シーン判別処理機能による前記第１の画像の撮影シーンの判別結果に基づいて、前記第１の撮像機能における露出調整量を算出する露出調整量算出機能と、前記露出調整量算出機能により算出された露出調整量に基づいて、前記第１の撮像機能における露出を制御する第１の露出制御機能と、を実現させることを特徴とする。
【００３１】
請求項２３に記載の発明は、請求項２２に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記第２の撮像機能により前記第２の画像を取得する直前に算出された前記露出調整量に基づいて、前記第２の撮像機能における露出を制御する第２の露出制御機能を実現させることを特徴とする。
【００３２】
請求項２４に記載の発明は、請求項１９〜２３の何れか一項に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記第１の撮像機能により取得された第１の画像から画像サイズを縮小した第３の画像を取得する第３の画像取得機能を実現させ、前記シーン判別処理機能は、前記第３の画像の画像データに基づいて、前記第１の画像の撮影シーンを判別することを特徴とする。
【００３３】
請求項２５に記載の発明は、請求項１９〜２４の何れか一項に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記第２の撮像機能により取得された第２の画像から画像サイズを縮小した第４の画像を取得する第４の画像取得機能を実現させ、前記シーン判別処理機能は、前記第４の画像の画像データに基づいて、前記第２の画像の撮影シーンを判別することを特徴とする。
【００３４】
請求項２６に記載の発明は、請求項２４に記載の画像処理プログラムにおいて、前記シーン判別処理機能は、前記第３の画像の画像データから色情報を取得する色情報取得機能と、前記取得された色情報に基づいて、前記第３の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出機能と、前記取得された色情報に基づいて、前記第３の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第３の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出機能と、前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出機能と、前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出機能と、前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出機能と、少なくとも前記第３の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出機能と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出機能と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出機能と、前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第１の画像の撮影シーンを特定するシーン判別機能と、を含むことを特徴とする。
【００３５】
請求項２７に記載の発明は、請求項２５に記載の画像処理プログラムにおいて、前記シーン判別処理機能は、前記第４の画像の画像データから色情報を取得する色情報取得機能と、前記取得された色情報に基づいて、前記第４の画像の画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出機能と、前記取得された色情報に基づいて、前記第４の画像の画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記第４の画像の画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出機能と、前記第１の占有率に予め設定された第１の係数を乗算することにより、第１の指標を算出する第１の指標算出機能と、前記第１の占有率に予め設定された第２の係数を乗算することにより、第２の指標を算出する第２の指標算出機能と、前記第２の占有率に予め設定された第３の係数を乗算することにより、第３の指標を算出する第３の指標算出機能と、少なくとも前記第４の画像の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第４の指標算出機能と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第５の係数を乗算することにより、第５の指標を算出する第５の指標算出機能と、前記第１の指標、前記第２の指標及び前記第３の指標のうち少なくとも一つ以上の指標に予め設定された第６の係数を乗算することにより、第６の指標を算出する第６の指標算出機能と、前記第４の指標、前記第５の指標及び前記第６の指標に基づいて、前記第２の画像の撮影シーンを特定するシーン判別機能と、を含むことを特徴とする。
【発明の効果】
【００３６】
請求項１、１０、１９に記載の発明によれば、ライブビュー表示用の第１の画像と記録用の第２の画像の撮影シーンをそれぞれ判別するので、第１の画像と第２の画像それぞれに対して、適正な画像処理を行うことができる。
【００３７】
請求項２、１１、２０に記載の発明によれば、第１の画像の撮影シーンに応じた階調処理条件を設定するので、第１の画像に対して、適正な階調変換処理を行うことができる。
【００３８】
請求項３、１２、２１に記載の発明によれば、第２の画像の撮影シーンに応じた階調処理条件を設定するので、第２の画像に対して、適正な階調変換処理を行うことができる。
【００３９】
請求項４、１３、２２に記載の発明によれば、第１の画像の撮影シーンに応じた露出調整量に基づいて、第１の画像を取得する際の露出を制御するので、適正な露出制御を行うことができる。
【００４０】
請求項５、１４、２３に記載の発明によれば、第１の画像の撮影シーンに応じた露出調整量に基づいて、第２の画像を取得する際の露出を制御するので、適正な露出制御を行うことができる。
【００４１】
請求項６、７、１５、１６、２４、２５に記載の発明によれば、画像サイズを縮小した画像の画像データに基づいて、撮影シーンを判別するので、処理の高速化を図ることができる。
【００４２】
請求項８、９、１７、１８、２６、２７に記載の発明によれば、撮影シーンを正確に特定することができる。
【発明を実施するための最良の形態】
【００４３】
（撮像装置１００の構成）
まず、本発明の実施形態における撮像装置１００の構成について説明する。
図１（ａ）は、撮像装置１００の前面図であり、図１（ｂ）は、撮像装置１００の背面図である。撮像装置１００は、デジタルカメラであり、金属又は合成樹脂等の材料で構成された筐体１の内部又は表面に、方向選択キー２、撮影光学系３、フラッシュ４、ファインダ５、電源スイッチ６、表示部７、レリーズボタン８が設けられている。
【００４４】
図２に、撮像装置１００の内部構成を示す。撮像装置１００は、図２に示すように、プロセッサ３１、メモリ３２、ライブビュー表示用の撮像素子３３ａ、記録用の撮像素子３３ｂ、撮影光学系３、画像データ出力部３４、操作部３５、タイミングジェネレータ３６、シャッタユニット３７、絞りユニット３８、フォーカスユニット３９、表示部７により構成される。プロセッサ３１は、画像処理を行う画像処理部１０と、撮影制御や撮影画像の処理を行う撮影処理部２０とを含む。
【００４５】
方向選択キー２は、上下左右の４方向を選択可能なキーであり、ユーザが種々のモードを選択又は設定するためのものである。
【００４６】
撮影光学系３は、複数のレンズ、鏡胴等によって構成され、ズーム機能を有している。撮影光学系３は、レンズが受光した光をＣＣＤ（Charge Coupled Device）等の撮像素子３３ａ，３３ｂに結像させる。フラッシュ４は、被写体輝度が低い時に、プロセッサ３１からの制御信号により補助光を照射する。
【００４７】
ファインダ５は、ユーザが接眼して撮影対象及び撮影領域を確認するための接眼式のファインダである。撮影光学系３のレンズを介して入射した光（被写体像）は、図示しないハーフミラー及びプリズム等を介して、ファインダ５に到達する。すなわち、ファインダ５は光学式ファインダである。
【００４８】
電源スイッチ６は、撮像装置１００における動作のＯＮ／ＯＦＦを操作するためのスイッチである。
【００４９】
表示部７は、液晶パネルにより構成され、プロセッサ３１から入力される表示制御信号に従って、撮像素子３３ａに現在写っている画像、撮像素子３３ｂで記録した画像、メニュー画面、設定画面等を表示する。
【００５０】
表示部７は、撮影待機状態において、撮像素子３３ａにて所定時間毎に取得される画像を表示（ライブビュー表示）し、被写体像をユーザに確認させるビューファインダとして機能する。すなわち、表示部７は電子式ファインダである。また、表示部７は、ファインダ５とは異なり、眼を離した状態でその表示内容を視認するための非接眼式のファインダである。
【００５１】
レリーズボタン８は、ユーザによる半押し状態（予備撮影）と全押し状態（本撮影）とを区別して検出可能な２段階押し込みスイッチである。
【００５２】
メモリ３２は、撮影によって得られた画像データを記憶（保存）する。また、メモリ３２は、撮像装置１００において実行される各種処理プログラム及び当該処理プログラムで利用されるデータ等を記憶する。
【００５３】
画像データ出力部３４は、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）にメモリ３２内の画像データを転送し、記録する。あるいは外部装置へ転送する。画像データ出力部３４はプロセッサ３１により制御される。
【００５４】
撮像素子３３ａ，３３ｂは、結像された光を電荷に変換する。これにより、例えば、図１２（ａ）に示すような画像データが得られる。この画像には、撮像範囲（撮影範囲）にある物、すなわち、撮影対象物（撮影の目標物）とそれ以外の物（背景）とが含まれている。この全体画像の各画素のＲＧＢ値は、例えば、２５６階調で表される。撮像素子３３ａは、ライブビュー表示用の画像（第１の画像）を取得するための撮像素子であり、撮像素子３３ｂは、記録用の画像（第２の画像）を取得するための撮像素子である。
【００５５】
シャッタユニット３７は、レリーズボタン８によって検出された状態（半押し状態又は全押し状態）に基づいて撮像素子３３ｂをリセットするタイミング及び電荷変換を行うタイミング等を制御する。タイミングの制御はタイミングジェネレータ３６により行われる。
【００５６】
撮像素子３３ａ，３３ｂが受光する光量の調節は、絞りユニット３８及び／又はシャッタユニット３７によって行われる。フォーカスユニット３９は、撮影光学系３を駆動させ撮影被写体に対して焦点を合わせる制御動作を実行する。
【００５７】
（撮影処理部２０の内部構成）
図３に、撮影処理部２０の内部構成を示す。撮影処理部２０は、撮影時に撮影条件に関わる制御や、撮影された画像の処理を行う。
【００５８】
図３に示すように、撮影処理部２０は、撮影条件に関わるＡＥ制御部２１、ＡＦ制御部２２、画素補間部２３、ＡＷＢ制御部２４、ガンマ補正部２５等により構成される。
【００５９】
ＡＥ制御部２１は、画像撮影時にその露出量の自動制御を行う。通常、撮影待機時の露出量制御は、絞り開放でシャッタ速度を制御することによって行われ、撮影時の露出量は絞りとシャッタ速度とで制御される。
【００６０】
図４（ａ）のフローチャートを参照して、ＡＥ制御部２１におけるライブビュー画像を取得する際の露出量制御例を説明する。
【００６１】
まず、絞りユニット３８により、絞りが開放固定絞りに設定される（ステップＳ１１１）。ＡＥ制御部２１により、撮像素子３３ａによって得られた画像データから所定の測光エリアのデータが読み出され（ステップＳ１１２）、輝度値に相当する情報が取得される（ステップＳ１１３）。この輝度値に相当する情報としては、簡易的にＲＧＢ３色成分のうちのＧ値が用いられることが多い（以下、これを輝度値データＧと呼ぶ）。
【００６２】
次いで、シーン判別結果より算出された露出調整量が取得される（ステップＳ１１４）。ここで取得される露出調整量は、１回前の画像データに基づいて算出された露出調整量である。なお、処理負荷軽減のために、画像データを取得する毎に露出量を算出するのではなく、画像データの取得について複数回毎に１回、露出調整量を算出することとしてもよい。露出調整量の算出については後で述べる。
【００６３】
次に、輝度値データＧ及び露出調整量に応じて撮像素子３３ａの次のフレームにおける電荷蓄積時間が設定され（ステップＳ１１５）、タイミングジェネレータ３６により、所定の輝度レベルとなるように、次のフレームにおける電荷蓄積時間が制御される（ステップＳ１１８）。これがシャッタ速度の制御であり、電荷が蓄積される様子を図５に示す。具体的には、取得した輝度レベルが大きい（明るい）ときは電荷蓄積時間を短くし、輝度レベルが小さい（暗い）ときは電荷蓄積時間を長くし、さらに、シーン判別結果により調整することで、露出量を安定させる。
【００６４】
このように、ライブビュー画像用の露出量制御が行われ、さらに、後に述べる階調変換処理が行われることにより、撮影者は表示部７で最適なライブビュー画像を見ることができる。
【００６５】
記録用画像の撮影時の露出量制御は、上記のシャッタ速度制御に加えて、絞りの制御も行われる（図４（ｂ）のフローチャート参照）。上記同様に、測光エリアの輝度値データＧが取得され（ステップＳ１１２、Ｓ１１３）、シーン判別結果より算出された露出調整量が取得される（ステップＳ１１４）。ここで取得される露出調整量は、記録用画像の撮影直前に撮像素子３３ａにより取得された画像データに基づいて算出された露出調整量である。
【００６６】
次いで、予め定められたプログラム線図のデータに基づいて、輝度値データＧ及び露出調整量に応じて、絞り値とシャッタ速度（電荷蓄積時間）の組み合わせが設定される（ステップＳ１１６）。そして、絞り値に応じて絞りユニット３８が制御され（ステップＳ１１７）、タイミングジェネレータ３６により、所定の輝度レベルとなるように、次のフレームにおける電荷蓄積時間が制御される（ステップＳ１１８）。具体的には、取得した輝度レベルが大きい（明るい）ときは絞り値を小さくし、輝度レベルが小さい（暗い）ときは絞り値を大きくし、さらに、シーン判別結果により調整することで、露出量を安定させる。
【００６７】
このように、記録用画像の撮影時に露出量制御が行われ、さらに、後に述べる階調変換処理が行われることにより、撮影者は任意の、あるいは既定の、絞り値とシャッタ速度の組み合わせで、撮影画像に対する露出量設定を自動的に行うことができ、最適な記録用画像を得ることができる。
【００６８】
ＡＦ制御部２２は、画像撮影時に画像の焦点を合わせる自動制御を行う。この合焦点制御は、例えば、図６のフローチャートに示すように、撮影光学系３を駆動することで合焦点位置を検知し、その位置に合わせて停止させることで行われる。
【００６９】
撮影光学系３の駆動が開始されると（ステップＳ１２１）、その駆動に伴い逐次、ＡＦ制御部２２により、撮像素子３３ａによって得られた画像データから所定の測距エリアのデータが読み出され（ステップＳ１２２）、このデータに応じてコントラスト情報が取得される（ステップＳ１２３）。これは、合焦点位置に達したかどうかを検知するためであり、次のように判定される。すなわち、コントラスト情報は、測距エリアのデータの各隣接画素間の差を取ることにより、エッジ部のシャープさに依存するように設定、算出されるものであり、測距エリア全体での総和が最大に達した状態が合焦点と判断される（ステップＳ１２４、Ｓ１２５）。合焦点位置でないと判断された場合は（ステップＳ１２５；Ｎｏ）、撮影光学系３の駆動が継続される（ステップＳ１２６）。
【００７０】
撮影光学系３の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を図７に示す。上記動作は、光学系を駆動しながら逐次コントラスト情報を取得して、合焦点位置を求めるという測距演算が行われたものであり、その焦点距離に合わせて撮影光学系３は停止される（ステップＳ１２７）。
【００７１】
このようなＡＦ制御により、撮影時に常に自動的にピントの合った撮影画像を得ることができる。
【００７２】
画素補間部２３は、撮像素子３３ａ，３３ｂにおけるＲＧＢ各色成分を分散配置したＣＣＤ配列に対して、各色成分毎に画素間の補間を行い、同一画素位置で各色成分値が得られるように画像データを処理する。
【００７３】
図８のフローチャートに示すように、画素補間部２３は、撮像素子３３ａ，３３ｂによって得られたＲＧＢ画像データ（ステップＳ１３１）をＲＧＢの各画素フィルタパターンでマスキングし（ステップＳ１３２、Ｓ１３４、Ｓ１３６）、その後で平均補間（画素補間ともいう）を行う（ステップＳ１３３、Ｓ１３５、Ｓ１３７）。このうち、高帯域にまで画素を有するＧの画素フィルタパターンは、周辺４画素の中間２値の平均値に置換して平均補間を行うメディアン（中間値）フィルタであり、ＲとＢの画素フィルタパターンは、周辺９画素から同色に対して平均補間を行うものである。
【００７４】
ＡＷＢ制御部２４は、撮影画像におけるホワイトバランスを自動的に調整する。撮影された画像は、その中にＲＧＢのカラーバランスがとれている（総和すればホワイト）被写体領域があるものという想定で、その領域のホワイトバランスを達成するように、画像のＲＧＢの各成分値に対するレベル調整を行う。このホワイトバランス処理は、例えば以下のように行われる。
【００７５】
図９のフローチャートに示すように、ＡＷＢ制御部２４は、撮像素子３３ａ，３３ｂによって得られた画像データの輝度や彩度のデータから（ステップＳ１４１）、本来ホワイトであると思われる領域を推測する（ステップＳ１４２）。その領域について、ＲＧＢ各成分値の平均強度、及びＧ／Ｒ比、Ｇ／Ｂ比を求め、Ｇ値に対するＲ値、Ｂ値の補正ゲインを算出する（ステップＳ１４３、Ｓ１４４）。これに基づき、画像全体における各色成分に対するゲインの補正を行う（ステップＳ１４５）。
【００７６】
このようなＡＷＢ制御により、撮影時に生ずる画面全体のカラーバランスの崩れを自動的に補正することができ、実際の被写体の照明状態に拘わらず、安定した色調の画像を得ることができる。
【００７７】
ガンマ補正部２５は、撮影画像の階調性を出力機器のガンマ特性に適するように変換する処理を行う。
【００７８】
ガンマ特性とは階調特性のことであり、入力階調に対してどのように出力階調を設定するかを補正値あるいは補正曲線等で示すものである。図１０に、入力値に対して、補正した出力値を示す補正曲線の例を示す。ガンマ補正は、この補正値あるいは補正曲線等に従い、入力値に対する出力値への変換を行う変換処理である。出力機器によってこの階調特性は異なるため、その出力機器に適した階調とするために、このガンマ特性の補正を行う必要がある。これにより撮影されたリニア画像はノンリニア画像に変換されることになる。
【００７９】
（画像処理部１０の内部構成）
図１１に、画像処理部１０の内部構成を示す。画像処理部１０は、撮像装置１００における撮影画像に対して、シーン判別に基づく階調の補正動作を制御するものであり、撮影処理部２０での処理後に、あるいはその処理とは独立して、画像取得、シーン判別、階調処理条件設定等の一連の処理を実行する。
【００８０】
図１１に示すように、画像処理部１０は、第１画像取得部１１ａ、第２画像取得部１１ｂ、第３画像取得部１２ａ、第４画像取得部１２ｂ、占有率算出部１３、指標算出部１４、シーン判別部１５、階調処理条件設定部１６、階調変換処理部１７、露出調整量算出部１８により構成される。
【００８１】
第１画像取得部１１ａは、撮像素子３３ａに写った最新の画像の画像データを第１の画像として取得する。また、撮影時における撮影条件も合わせて取得する。取得した第１の画像の画像データ及び撮影条件はメモリ３２に保持される。
【００８２】
第３画像取得部１２ａは、取得した第１の画像を、Ｎ×Ｍ個の矩形の領域（垂直方向にＭ個及び水平方向にＮ個に分割された領域）に分割する。図１２（ａ）に、第１の画像の一例を示し、図１２（ｂ）に、当該第１の画像が２２×１４個の領域に分割された例を示す。なお、分割領域の数は特に限定されない。分割された各領域が第３の画像の画像データの１画素に相当する。すなわち、第３の画像は、実質的に第１の画像の画像サイズが縮小された画像となる。この縮小された画像が第３の画像であり、上記操作により第３の画像を取得することになる。
【００８３】
第２画像取得部１１ｂは、レリーズボタン８が全押しされたタイミングで、撮像素子３３ｂに写った画像の画像データを第２の画像として取得する。また、撮影時における撮影条件も合わせて取得する。取得した第２の画像の画像データ及び撮影条件はメモリ３２に保持される。
【００８４】
第４画像取得部１２ｂは、取得した第２の画像を、Ｎ×Ｍ個の矩形の領域（垂直方向にＭ個及び水平方向にＮ個に分割された領域）に分割する。分割された各領域が第４の画像の画像データの１画素に相当する。すなわち、第４の画像は、実質的に第２の画像の画像サイズが縮小された画像となる。この縮小された画像が第４の画像であり、上記操作により第４の画像を取得することになる。
【００８５】
占有率算出部１３は、第３の画像の画像データ又は第４の画像の画像データ、すなわち、縮小された画像を構成する各画素から色情報を取得する。取得された色情報に基づいて、画像の各画素を、明度と色相の組み合わせからなる所定の階級に分類し（図１７参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。
【００８６】
また、占有率算出部１３は、各画素を、第３の画像又は第４の画像の画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類し（図１８参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第２の占有率を算出する。
【００８７】
占有率算出部１３において実行される占有率算出処理については、後に図１６を参照して詳細に説明する。
【００８８】
指標算出部１４は、占有率算出部１３で算出された第１の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標１及び指標２を算出する。すなわち、指標算出部１４は、第１の指標算出手段及び第２の指標算出手段として機能する。
【００８９】
また、指標算出部１４は、占有率算出部１３で算出された第２の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標３を算出する。すなわち、指標算出部１４は、第３の指標算出手段として機能する。
【００９０】
さらに、指標算出部１４は、第３の画像又は第４の画像の画面中央部における肌色領域の平均輝度値（指標７とする）、最大輝度値と平均輝度値との差分値等に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標４を算出する。すなわち、指標算出部１４は、第４の指標算出手段として機能する。
【００９１】
また、指標算出部１４は、第３の画像又は第４の画像の画面中央部における肌色領域の平均輝度値と、指標１及び指標３に、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな指標５を算出する。すなわち、指標算出部１４は、第５の指標算出手段として機能する。
【００９２】
また、指標算出部１４は、第３の画像又は第４の画像の画面中央部における肌色領域の平均輝度値と、指標２及び指標３に、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな指標６を算出する。すなわち、指標算出部１４は、第６の指標算出手段として機能する。
【００９３】
指標算出部１４において実行される指標算出処理については、後に図１９を参照して詳細に説明する。
【００９４】
シーン判別部１５は、第３の画像の画像データに基づいて算出された各指標に基づいて、第１の画像の撮影シーンを特定し、第４の画像の画像データに基づいて算出された各指標に基づいて、第２の画像の撮影シーンを特定する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度等もこれに含まれる。撮影シーンの判別方法については、後に詳細に説明する。
【００９５】
以上のように、占有率算出部１３、指標算出部１４、そしてシーン判別部１５がシーン判別処理手段として機能する。
【００９６】
階調処理条件設定部１６は、シーン判別部１５で判別された第１の画像の撮影シーンに基づいて、第１の画像に対する階調処理条件を設定し、シーン判別部１５で判別された第２の画像の撮影シーンに基づいて、第２の画像に対する階調処理条件を設定する。
【００９７】
階調処理条件設定部１６は、まず、指標算出部１４で算出された各指標に基づいて、第１の画像又は第２の画像に対する階調調整のための階調調整パラメータを算出し、階調調整パラメータに基づいて、第１の画像又は第２の画像に対する階調処理条件を設定する。階調処理条件の設定については、後に図２６を参照して詳細に説明する。
【００９８】
階調変換処理部１７は、階調処理条件設定部１６において設定された階調処理条件に基づいて、第１の画像又は第２の画像に対して階調変換処理を行う。
【００９９】
露出調整量算出部１８は、シーン判別部１５による第１の画像の撮影シーンの判別結果に基づいて、第１の画像を取得する際の露出調整量を算出する。
【０１００】
プロセッサ３１は、画像処理部１０で行われる処理以外に、公知技術に基づいて、自動ホワイトバランス処理、ガンマ変換処理等の撮影処理部２０での処理や、その他の画像処理、画像フォーマット変換、画像データの記録等の処理動作を制御する機能を有する。
【０１０１】
またプロセッサ３１における各部の処理は、基本的にハードウェア処理によって行われるが、一部についてはメモリ３２に記憶（保存）されているプログラムを実行する等してソフトウェア処理によって行われる。
【０１０２】
（撮像装置１００の動作）
次に、本実施形態における撮像装置１００の動作について説明する。以下では、撮影対象物を「主要被写体」と呼ぶことにする。
【０１０３】
まず、図１３のフローチャートを参照して、撮像装置１００において実行されるライブビュー表示処理を説明する。
【０１０４】
まず、電源スイッチ６がＯＮに操作されると（電源が投入されると）、メモリ３２のリセット等の前処理が行われる。ユーザは、主要被写体が撮像装置１００の被写界に入るように撮像装置１００をその主要被写体の方に向け、撮影のための操作を関始する。
【０１０５】
図１３に示すように、まず、ＡＥ制御部２１により、撮像素子３３ａによって得られた画像データの輝度値データＧに基づいて、ＡＥ露出量が算出される（ステップＳ１５１）。
【０１０６】
次に、ステップＳ１５６において算出された露出調整量が取得される（ステップＳ１５２）。この露出調整量の取得は、図４（ａ）のステップＳ１１４に相当する。そして、輝度値データＧと露出調整量に基づいて露出が制御され（図４（ａ）のステップＳ１１８）、第１画像取得部１１ａにより、撮像素子３３ａからの画像データがライブビュー表示用の第１の画像として取得され、メモリ３２に保持される（ステップＳ１５３）。第１の画像はリニア画像（ＲＡＷ画像）である。
【０１０７】
また、第１画像取得部１１ａにより、撮影条件も合わせて取得され、取得した撮影条件はメモリ３２に保持される。
【０１０８】
次に、第３画像取得部１２ａにより、第１の画像の画像データの画像サイズが縮小され、第３の画像として取得される（ステップＳ１５４）。実際の画像データのサイズ縮小方法は、単純平均やバイリニア法やバイキュービック法等の公知の技術を用いることができる。
【０１０９】
次に、取得された第３の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる（ステップＳ１５５）。シーン判別処理については、後に図１５を参照して説明する。
【０１１０】
次に、シーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、露出調整量算出処理が行われる（ステップＳ１５６）。露出調整量算出処理については、後に図２５を参照して説明する。
【０１１１】
次に、シーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な条件を設定する階調処理条件設定が行われる（ステップＳ１５７）。階調処理条件設定については、後に図２６を参照して説明する。
【０１１２】
一方、第１の画像に対してガンマ変換処理が行われ、ノンリニア画像に変換される（ステップＳ１５８）。ただし、ガンマ変換処理は階調の変換処理であり、次に述べるステップＳ１５９の階調変換処理と合わせて行ってもよい。
【０１１３】
次に、第３の画像に基づいて設定された階調処理条件に基づいて、第１の画像の画像データに対する階調変換処理が行われる（ステップＳ１５９）。ステップＳ１５８のガンマ変換処理は視覚に合わせてノンリニアの階調に変換するものであるが、ステップＳ１５９の階調変換処理は撮影シーンの光源条件等による階調への影響を補正するものである。
【０１１４】
次に、階調変換処理後の画像データに対して、その他の画像処理（ノイズ処理やシャープネス処理等）が行われる（ステップＳ１６０）。
【０１１５】
そして、画像処理後の画像データに基づいて、表示部７にライブビュー画像が表示される（ステップＳ１６１）。
【０１１６】
ここで、電源スイッチ６がＯＦＦされたか否かが判断され（ステップＳ１６２）、電源スイッチ６がＯＦＦされた場合には（ステップＳ１６２；Ｙｅｓ）、本処理が終了する。
【０１１７】
電源スイッチ６がＯＦＦされない場合には（ステップＳ１６２；Ｎｏ）、レリーズボタン８が押下されたか否かが判断される（ステップＳ１６３）。レリーズボタン８が押下された場合には（ステップＳ１６３；Ｙｅｓ）、撮影処理が行われる（ステップＳ１６４）。
【０１１８】
ステップＳ１６３において、レリーズボタン８が押下されない場合（ステップＳ１６３；Ｎｏ）、又は、撮影処理の後（ステップＳ１６４）、ステップＳ１５１に戻り、処理が繰り返される。
【０１１９】
次に、図１４のフローチャートを参照して、撮像装置１００において実行される撮影処理（図１３のステップＳ１６４）を説明する。
【０１２０】
レリーズボタン８が押下されると、ＡＥ制御部２１により、撮像素子３３ａによって得られた画像データの輝度値データＧに基づいて、ＡＥ露出量が算出される（ステップＳ１７１）。
【０１２１】
次に、撮影処理の直前にステップＳ１５６において算出された露出調整量が取得される（ステップＳ１７２）。この露出調整量の取得は、図４（ｂ）のステップＳ１１４に相当する。そして、輝度値データＧと露出調整量に基づいて露出が制御され（図４（ｂ）のステップＳ１１８）、第２画像取得部１１ｂにより、撮像素子３３ｂからの画像データが記録用の第２の画像として取得され、メモリ３２に保持される（ステップＳ１７３）。第２の画像はリニア画像（ＲＡＷ画像）である。
【０１２２】
また、第２画像取得部１１ｂにより、撮影条件も合わせて取得される。撮影条件は、後に撮影画像がＥｘｉｆ形式（Exchangeable Image File Format）で記録される際に、合わせて記録されるものである。取得した撮影条件はメモリ３２に保持される。
【０１２３】
次に、第４画像取得部１２ｂにより、第２の画像の画像データの画像サイズが縮小され、第４の画像として取得される（ステップＳ１７４）。実際の画像データのサイズ縮小方法は、単純平均やバイリニア法やバイキュービック法等の公知の技術を用いることができる。
【０１２４】
次に、取得された第４の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる（ステップＳ１７５）。シーン判別処理については、後に図１５を参照して説明する。
【０１２５】
次に、シーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第２の画像の階調変換処理のために必要な条件を設定する階調処理条件設定が行われる（ステップＳ１７６）。階調処理条件設定については、後に図２６を参照して説明する。
【０１２６】
一方、第２の画像に対してガンマ変換処理が行われ、ノンリニア画像に変換される（ステップＳ１７７）。ただし、ガンマ変換処理は階調の変換処理であり、次に述べるステップＳ１７８の階調変換処理と合わせて行ってもよい。
【０１２７】
次に、第４の画像に基づいて設定された階調処理条件に基づいて、第２の画像の画像データに対する階調変換処理が行われる（ステップＳ１７８）。
【０１２８】
次に、階調変換処理後の画像データに対して、その他の画像処理（ノイズ処理やシャープネス処理等）が行われる（ステップＳ１７９）。
【０１２９】
次いで、画像記録のため、ＪＰＥＧ形式、ＴＩＦＦ形式、ＢＭＰ形式等の画像へと画像フォーマットの変換が行われる（ステップＳ１８０）。そして、画像フォーマット変換後の画像データが、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）に記録され（ステップＳ１８１）、図１３のステップＳ１５１に戻る。
【０１３０】
（シーン判別処理）
次に、図１５〜図２４を参照して、撮像装置１００でのシーン判別処理（図１３のステップＳ１５５、図１４のステップＳ１７５）について説明する。シーン判別処理は、第３の画像の画像データに基づいて第１の画像の撮影シーンを判別する処理、又は、第４の画像の画像データに基づいて第２の画像の撮影シーンを判別する処理である。以下、第１の画像の撮影シーンを判別する場合を例にして説明する。第２の画像の撮影シーンの判別については、同様の処理であるため、説明を省略する。
【０１３１】
シーン判別処理は、図１５に示すように、色空間変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別（ステップＳ２３）の各処理により構成される。以下、図１５に示す各処理について詳細に説明する。
【０１３２】
＜色空間変換処理＞
図１５のステップＳ２０の色空間変換処理では、まず、撮影された第１の画像から得られた第３の画像の各画素のＲＧＢ値、輝度値及びホワイトバランスを示す情報が取得される。なお、輝度値としては、ＲＧＢ値を公知の変換式に代入して算出した値を用いてもよい。次いで、取得されたＲＧＢ値がＨＳＶ表色系に変換され、画像の色情報が取得される。ＨＳＶ表色系とは、画像データを色相（Hue）、彩度（Saturation）、明度（Value又はBrightness）の３つの要素で表すものであり、マンセルにより提案された表色体系を元にして考案されたものである。ＨＳＶ表色系への変換は、ＨＳＶ変換プログラム等を用いて行われ、通常、入力であるＲ、Ｇ、Ｂに対して、算出された色相値Ｈは、スケールを０〜３６０と定義し、彩度値Ｓ、明度値Ｖは、単位を０〜２５５と定義している。
【０１３３】
なお、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意昧である。以下の記載において、ＨＳＶ表色系のＶ（０〜２５５）を「明度」として用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。
【０１３４】
また、本実施形態において、「色相」は特に注釈を設けない限り一般に用いられる「色」の意味である。以下の記載において、ＨＳＶ表色系のＨ（０〜３６０）を「色相」として用いるが、例えば赤色差値（Ｃｒ）や青色差値（Ｃｂ）によって表現される色を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。ステップＳ２０では、上記のようにして求められたＨ、Ｓ、Ｖの値が色情報として取得される。
【０１３５】
＜占有率算出処理＞
次に、図１６のフローチャートを参照して、占有率算出処理（図１５のステップＳ２１）について説明する。
【０１３６】
まず、色空間変換処理で算出されたＨＳＶ値に基づいて、第３の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
【０１３７】
図１７に、明度と色相の組み合わせからなる階級を示す。ステップＳ３０では、明度（Ｖ）は、明度値が０〜５（ｖ１）、６〜１２（ｖ２）、１３〜２４（ｖ３）、２５〜７６（ｖ４）、７７〜１０９（ｖ５）、１１０〜１４９（ｖ６）、１５０〜２５５（ｖ７）の７つの階級に分割される。図１７に示すように、最も低明度の階級における明度の範囲よりも、最も高明度の階級における明度の範囲の方が広い。
【０１３８】
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。なお、赤色色相領域（Ｈ５）は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割される。以下、肌色色相領域（Ｈ＝０〜３９、３３０〜３５９）のうち、下記の式（１）を満たす色相’（Ｈ）を肌色領域（Ｈ１）とし、式（１）を満たさない領域を（Ｈ２）とする。
【０１３９】
10＜彩度（Ｓ）＜175；
色相’（Ｈ）＝色相（Ｈ）＋60     （0≦色相（Ｈ）＜300のとき）；
色相’（Ｈ）＝色相（Ｈ）−300    （300≦色相（Ｈ）＜360のとき）．
輝度（Ｙ）＝Ｒ×0.30＋Ｇ×0.59＋Ｂ×0.11                    （Ａ）
として、
色相’（Ｈ）／輝度（Ｙ）＜3.0×（彩度（Ｓ）／255）＋0.7        （１）
【０１４０】
従って、第３の画像を明度と色相の組み合わせからなる階級に分類した場合の階級の数は４×７＝２８個となる。また、最大の明度値（２５５）の１割の値以内に、少なくとも３つの階級（ｖ１、ｖ２、ｖ３）を有する。なお、式（Ａ）及び式（１）において明度（Ｖ）を用いることも可能である。
【０１４１】
ステップＳ３０の後、第３の画像の各画素が、画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３１）。
【０１４２】
図１８（ａ）に、ステップＳ３１において、第３の画像の画面の外縁からの距離に応じて分割された３つの領域ｎ１〜ｎ３を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり．領域ｎ３が第３の画像の中央部の領域である。ここで、ｎ１〜ｎ３は略同等の画素数となるように分割することが好ましい。また本実施形態においては３つの分割としたがこれに限定されるものではない。また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。図１８（ｂ）に、３つの領域ｎ１〜ｎ３と明度の組み合わせからなる階級を示す。図１８（ｂ）に示すように、第３の画像を画面の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は３×７＝２１個となる。
【０１４３】
ステップＳ３０において２次元ヒストグラムが作成されると、色相と明度の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数（Ｎ×Ｍ個）に占める割合を示す第１の占有率が算出される（ステップＳ３２）。すなわち、ステップＳ３０及びステップＳ３２は第１の占有率算出工程に相当する。
【０１４４】
明度領域ｖi、色相領域Ｈjの組み合わせからなる階級において算出された第１の占有率をＲijとすると、各階級における第１の占有率は表１のように表される。
【０１４５】
【表１】
2007288245.tif 000003
【０１４６】
ステップＳ３１において２次元ヒストグラムが作成されると、画面の外縁からの距離と明度の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数に占める割合を示す第２の占有率が算出され（ステップＳ３３）、占有率算出処理が終了する。すなわち、ステップＳ３１及びステップＳ３３は第２の占有率算出工程に相当する。
【０１４７】
明度領域ｖi、画面領域ｎjの組み合わせからなる各階級において算出された第２の占有率をＱijとすると、各階級における第２の占有率は表２のように表される。
【０１４８】
【表２】
2007288245.tif 000004
【０１４９】
なお、各画素を画面の外縁からの距離、明度及び色相からなる階級に分類し、分類された階級毎に累積画素数を算出することによって３次元ヒストグラムを作成してもよい。以下では、２次元ヒストグラムを用いる方式を採用するものとする。
【０１５０】
＜指標算出処理＞
次に、図１９のフローチャートを参照して、指標算出処理（図１５のステップＳ２２）について説明する。
【０１５１】
まず、占有率算出処理において階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された係数（第１の係数）を乗算して和をとることにより、撮影シーンを特定するための指標１が算出される（ステップＳ４０）。指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０１５２】
次いで、同じく階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された第１の係数とは異なる係数（第２の係数）を乗算して和をとることにより、撮影シーンを特定するための指標２が算出される
（ステップＳ４１）。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
【０１５３】
以下、指標１及び指標２の算出方法について詳細に説明する。
表３に、指標１を算出するために必要な第１の係数を階級別に示す。表３に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０１５４】
【表３】
2007288245.tif 000005
【０１５５】
表３によると、高明度（ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図２０は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図２０によると、高明度（Ｖ＝７７〜１５０）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
【０１５６】
明度領域ｖi、色相領域Ｈjにおける第１の係数をＣijとすると、指標１を算出するためのＨｋ領域の和は、式（２）のように定義される。
【０１５７】
【数１】
2007288245.tif 000006
【０１５８】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（２−１）〜（２−４）のように表される。
Ｈ１領域の和＝Ｒ11×0＋Ｒ21×0＋(中略)…＋Ｒ71×(-8)             （２−１）
Ｈ２領域の和＝Ｒ12×(-2)＋Ｒ22×(-1)＋(中略)…＋Ｒ72×(-10)      （２−２）
Ｈ３領域の和＝Ｒ13×5＋Ｒ23×(-2)＋(中略)…＋Ｒ73×（-12）       （２−３）
Ｈ４領域の和＝Ｒ14×0＋Ｒ24×(-1)＋(中略)…＋Ｒ74×（-12）       （２−４）
【０１５９】
指標１は、式（２−１）〜（２−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（３）のように定義される。
指標１＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.5
（３）
【０１６０】
表４に、指標２を算出するために必要な第２の係数を階級別に示す。表４に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０１６１】
【表４】
2007288245.tif 000007
【０１６２】
表４によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４、ｖ５）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には係数０が用いられる。図２１は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表４及び図２１によると、肌色色相領域の、明度値が２５〜１５０の中間明度領域の第２の係数の符号は負（−）であり、明度値６〜２４の低明度（シャドー）領域の第２の係数は０であり、両領域での係数に大きな違いがあることがわかる。
【０１６３】
明度領域ｖi、色相領域Ｈjにおける第２の係数をＤijとすると、指標２を算出するためのＨｋ領域の和は、式（４）のように定義される。
【０１６４】
【数２】
2007288245.tif 000008
【０１６５】
従って、Ｈ１〜Ｈ４領域の和は、下記の式（４−１）〜（４−４）のように表される。
Ｈ１領域の和＝Ｒ11×0＋Ｒ21×0＋(中略)…＋Ｒ71×2            （４−１）
Ｈ２領域の和＝Ｒ12×(-2)＋Ｒ22×(-1)＋(中略)…＋Ｒ72×2      （４−２）
Ｈ３領域の和＝Ｒ13×2＋Ｒ23×1＋(中略)…＋Ｒ73×3            （４−３）
Ｈ４領域の和＝Ｒ14×0＋Ｒ24×(-1)＋(中略)…＋Ｒ74×3         （４−４）
【０１６６】
指標２は、式（４−１）〜（４−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（５）のように定義される。
指標２＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.7
（５）
【０１６７】
指標１及び指標２は、第３の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
【０１６８】
指標１及び指標２が算出されると、占有率算出処理において階級毎に算出された第２の占有率に、撮影条件に応じて予め設定された第３の係数（第１の係数、第２の係数とは異なる係数）を乗算して和をとることにより、撮影シーンを特定するための指標３が算出される（ステップＳ４２）。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。
【０１６９】
以下、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を階級別に示す。表５に示された各階級の係数は、表２に示した各階級の第２の占有率Ｑijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【０１７０】
【表５】
2007288245.tif 000009
【０１７１】
図２２は、画面領域ｎ１〜ｎ３における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【０１７２】
明度領域ｖi、画面領域ｎjにおける第３の係数をＥijとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（６）のように定義される。
【０１７３】
【数３】
2007288245.tif 000010
【０１７４】
従って、ｎ１〜ｎ３領域の和は、下記の式（６−１）〜（６−３）のように表される。
ｎ１領域の和＝Ｑ11×12＋Ｑ21×10＋(中略)…＋Ｑ71×0             （６−１）
ｎ２領域の和＝Ｑ12×5＋Ｑ22×3＋(中略)…＋Ｑ72×0               （６−２）
ｎ３領域の和＝Ｑ13×(-1)＋Ｑ23×(-4)＋(中略)…＋Ｑ73×(-8)      （６−３）
【０１７５】
指標３は、式（６−１）〜（６−３）で示されたｎ１〜ｎ３領域の和を用いて、式（７）のように定義される。
指標３＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋0.7      （７）
【０１７６】
指標３は、第３の画像の明度の分布位置による構図的な特徴（全体画像の画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
【０１７７】
また、例えば公知の方法によって検出された焦点検出領域に応じて、画面の外縁からの距離と明度の所定の階級から算出される第２占有率に対して乗算される第３の係数の重みを変えることで、より高精度にシーンを判別する指標を算出することが可能である。
【０１７８】
指標１〜３が算出されると、第３の画像の画面中央部における肌色領域の平均輝度値、第３の画像の最大輝度植と平均輝度値との差分値等に、撮影条件に応じて予め設定された係数（第４の係数）を乗算することにより、撮影シーンを特定するための指標４が算出される（ステップＳ４３）。
【０１７９】
以下、図２３のフローチャートを参照して、指標４算出処理について詳細に説明する。
まず、第３の画像のＲＧＢ（Red、Green、Blue）値から、式（Ａ）を用いて輝度Ｙが算出される。次いで、第３の画像の画面中央部における肌色領域の平均輝度値ｘ１が算出される（ステップＳ５０）。ここで、画面中央部とは、例えば図１８（ａ）に示した領域ｎ３により構成される領域である。次いで、第３の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値が算出される（ステップＳ５１）。
【０１８０】
次いで、第３の画像の輝度の標準偏差ｘ３が算出され（ステップＳ５２）、画面中央部における平均輝度値ｘ４が算出される（ステップＳ５３）。次いで、第３の画像における肌色領域の最大輝度値Ｙskin_maxと最小輝度値Ｙskin_minの差分値と、肌色領域の平均輝度値Ｙskin_aveとの比較値ｘ５が算出される（ステップＳ５４）。この比較値ｘ５は、下記の式（８−１）のように表される。
ｘ５＝（Ｙskin_max−Ｙskin_min）／２−Ｙskin_ave      （８−１）
【０１８１】
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、指標４が算出され（ステップＳ５５）、指標４算出処理が終了する。指標４は、下記の式（８−２）のように定義される。
指標４＝0.05×ｘ１＋1.41×ｘ２＋(-0.01)×ｘ３
＋(-0.01)×ｘ４＋0.01×ｘ５−5.34              （８−２）
【０１８２】
この指標４は、第３の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
【０１８３】
図１９に戻り、指標４が算出されると、指標１、指標３及び第３の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第５の係数）を乗算することにより、指標５が算出される（ステップＳ４４）。
【０１８４】
さらに、指標２、指標３及び第３の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第６の係数）を乗算することにより、指標６が算出され（ステップＳ４５）、本指標算出処理が終了する。
【０１８５】
以下、指標５及び指標６の算出方法について詳細に説明する。
第３の画像の画面中央部における肌色領域の平均輝度値を指標７とする。ここでの画面中央部とは、例えば、図１８（ａ）の領域ｎ２及び領域ｎ３から構成される領域である。このとき、指標５は、指標１、指標３、指標７を用いて式（９）のように定義され、指標６は、指標２、指標３、指標７を用いて式（１０）のように定義される。
指標５＝0.54×指標１＋0.50×指標３＋0.01×指標７−0.65      （９）
指標６＝0.83×指標２＋0.23×指標３＋0.01×指標７−1.17      （１０）
【０１８６】
なお、図２３における平均輝度値（例えば、全体平均輝度値）の算出方法としては、撮像装置１００の各受光部から得られた個別輝度データの単純な加算平均値を求めてもよいし、撮像装置１００の測光方式としてよく用いられる中央重点平均測光に類似した、画面中心付近の受光部より得られた輝度データに重み付けを高く、画面の周辺付近の受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法を用いてもよい。また、焦点検出領域に対応した受光部付近より得られた輝度データに重み付けを高くし、焦点検出位置から離れた受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法等を用いてもよい。
【０１８７】
＜シーン判別＞
図１５に戻って、シーン判別（ステップＳ２３）を説明する。
指標４〜６が算出されると、これらの指標の値に基づいて撮影シーンが判別される。表６に、指標４、指標５及び指標６の値による撮影シーンの判別内容を示す。
【０１８８】
【表６】
2007288245.tif 000011
【０１８９】
図２４は、表６に示した判別内容を、指標４〜６の座標系を用いて表した判別マップである。
【０１９０】
（露出調整量算出処理）
次に、図２５を参照して、露出調整量算出処理（図１３のステップＳ１５６）について説明する。露出調整量算出処理は、第１の画像の撮影シーンに基づいて、露出調整量を算出する処理である。
【０１９１】
まず、第１の画像の画像サイズを縮小した第３の画像の画像データに基づいて算出された指標４〜６が取得され（ステップＳ６０）、第３の画像の画像データに基づいて判別された第１の画像の撮影シーンが取得される（ステップＳ６１）。
【０１９２】
次に、指標４〜６及び判別された撮影シーンに基づいて、適性露出となるように露出調整量が算出される（ステップＳ６２）。露出調整量は下記式（１１）のように定義される。
露出調整量＝調整係数×｛（指標４／６）×指標４の重み＋（指標５／６）×指標５の重み＋（指標６／６）×指標６の重み｝      （１１）
【０１９３】
表７に、式（１１）における調整係数、指標４の重み、指標５の重み、指標６の重みを示す。表７に示すように、調整係数及び各指標の重みは、判別された撮影シーンに応じて設定されている。なお、露出調整量の算出方法は、特に式（１１）に限ったものではなく、例えば、縮小画像において肌色と判定された分割領域の平均輝度値と指標値に基づいて算出されてもよい。
【０１９４】
【表７】
2007288245.tif 000012
【０１９５】
算出された露出調整量に基づいて、絞りユニット３８（又はシャッタユニット３７）が制御される。
【０１９６】
（階調処理条件設定）
次に、図２６のフローチャートを参照して、第１の画像又は第２の画像に対する階調処理条件設定（図１３のステップＳ１５７、図１４のステップＳ１７６）について説明する。階調処理条件設定は、第１の画像の撮影シーンの判別結果に基づいて、第１の画像に対する階調処理条件を設定する処理、又は、第２の画像の撮影シーンの判別結果に基づいて、第２の画像に対する階調処理条件を設定する処理である。以下、第１の画像の撮影シーンの判別結果に基づいて、第１の画像に対する階調処理条件を設定する場合を例にして説明する。第２の画像に対する階調処理条件の設定については、同様の処理であるため、説明を省略する。
【０１９７】
まず、判別された撮影シーンに応じて、ガンマ変換処理後の第１の画像の画像データに対する階調調整方法が決定され（ステップＳ７０）、階調調整パラメータが算出される（ステップＳ７１）。そして、階調調整パラメータに基づいて階調処理条件（階調変換曲線）が設定される（ステップＳ７２）。
【０１９８】
＜階調調整方法決定＞
ステップＳ７０で階調調整方法を決定する場合、図２７に示すように、撮影シーンが順光である場合は階調調整方法Ａ（図２７（ａ））が選択され、逆光である場合は階調調整方法Ｂ（図２７（ｂ））が選択され、主要被写体がオーバーである場合は階調調整方法Ｃ（図２７（ｃ））が選択され、アンダーである場合は、階調調整方法Ｂ（図２７（ｂ））が選択される。
【０１９９】
なお、本実施形態においては、ガンマ変換処理後の第１の画像へ適用する階調変換曲線を決定する方法を示したが、階調変換処理をガンマ変換処理の前に実施する場合には、図２７の階調変換曲線に対して、ガンマ変換の逆変換を施した曲線で階調変換が行われる。
【０２００】
＜階調調整パラメータ算出＞
階調調整方法が決定されると、ステップＳ７１では、指標算出処理で算出された各指標に基づいて、階調調整に必要なパラメータが算出される。以下、階調調整パラメータの算出方法について説明する。なお、以下では、８bitの撮影画像データは１６bitへと事前に変換されているものとし、撮影画像データの値の単位は１６bitであるものとする。
【０２０１】
階調調整に必要なパラメータ（階調調整パラメータ）として、下記のＰ１〜Ｐ９のパラメータが算出される。
Ｐ１：撮影画面全体の平均輝度
Ｐ２：ブロック分割平均輝度
Ｐ３：肌色領域（Ｈ１）の平均輝度
Ｐ４：輝度補正値１＝Ｐ１−Ｐ２
Ｐ５：再現目標修正値＝輝度再現目標値（30360）−Ｐ４
Ｐ６：オフセット値１＝Ｐ５−Ｐ１
Ｐ７：キー補正値
Ｐ７’：キー補正値２
Ｐ８：輝度補正値２
Ｐ９：オフセット値２＝Ｐ５−Ｐ８−Ｐ１
【０２０２】
ここで、図２８及び図２９を参照して、パラメータＰ２（ブロック分割平均輝度）の算出方法について説明する。
まず、画像データを正規化するために、ＣＤＦ（累積密度関数）を作成する。次いで、得られたＣＤＦから最大値と最小値を決定する。この最大値と最小値は、ＲＧＢ毎に求める。ここで、求められたＲＧＢ毎の最大値と最小値を、それぞれ、Ｒmax、Ｒmin、Ｇmax、Ｇmin、Ｂmax、Ｂminとする。
【０２０３】
次いで、画像データの任意の画素（Ｒx、Ｇx、Ｂx）に対する正規化画像データを算出する。ＲプレーンにおけるＲxの正規化データをＲpoint、ＧプレーンにおけるＧxの正規化データをＧpoint、ＢプレーンにおけるＢxの正規化データをＢpointとすると、正規化データＲpoint、Ｇpoint、Ｂpointは、それぞれ、式（１２）〜式（１４）のように表される。
【０２０４】
Ｒpoint＝｛（Ｒx−Ｒmin）／（Ｒmax−Ｒmin）｝×65535      （１２）；
Ｇpoint＝｛（Ｇx−Ｇmin）／（Ｇmax−Ｇmin）｝×65535      （１３）；
Ｂpoint＝｛（Ｂx−Ｂmin）／（Ｂmax−Ｂmin）｝×65535      （１４）．
【０２０５】
次いで、式（１５）により画素（Ｒx、Ｇx、Ｂx）の輝度Ｎpointを算出する。
Ｎpoint＝（Ｂpoint＋Ｇpoint＋Ｒpoint）／３        （１５）
【０２０６】
図２８（ａ）は、正規化する前のＲＧＢ画素の輝度の度数分布（ヒストグラム）である。図２８（ａ）において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、ＲＧＢ毎に作成する。輝度のヒストグラムが作成されると、式（１２）〜式（１４）により、画像データに対し、プレーン毎に正規化を行う。図２８（ｂ）は、式（１５）により算出された輝度のヒストグラムを示す。撮影画像データが６５５３５で正規化されているため、各画素は、最大値が６５５３５で最小値が０の間で任意の値をとる。
【０２０７】
図２８（ｂ）に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図２８（ｃ）に示すような度数分布が得られる。図２８（ｃ）において、横軸はブロック番号（輝度）、縦軸は頻度である。
【０２０８】
次いで、図２８（ｃ）に示された輝度ヒストグラムから、ハイライト、シャドー領域を削除する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇のシーンでは平均輝度は非常に低くなっているため、ハイライト、シャドー領域は、平均輝度制御に悪影響を与えてしまうことによる。そこで、図２８（ｃ）に示した輝度ヒストグラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少させる。図２９（ａ）（又は図２８（ｃ））に示す輝度ヒストグラムにおいて、高輝度領域（ハイライト領域）及び低輝度領域（シャドー領域）を削除すると、図２９（ｂ）のようになる。
【０２０９】
次いで、図２９（ｃ）に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分のデータが、撮影画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じやすいことによる。そこで、図２９（ｃ）に示すように、輝度ヒストグラムにおいて、閾値以上の画素数を制限する。図２９（ｄ）は、画素数の制限処理を行った後の輝度ヒストグラムである。
【０２１０】
正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、さらに、累積画素数を制限することによって得られた輝度ヒストグラム（図２９（ｄ））の各ブロック番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータＰ２である。
【０２１１】
パラメータＰ１は、画像データ全体の輝度の平均値であり、パラメータＰ３は、画像データのうち肌色領域（Ｈ１）の輝度の平均値である。パラメータＰ７のキー補正値、パラメータＰ７’のキー補正値２、パラメータＰ８の輝度補正値２は、それぞれ、式（１６）、式（１７）、式（１８）のように定義される。
【０２１２】
Ｐ７（キー捕正値）＝{Ｐ３−((指標６／６)×18000＋22000)}／24.78  （１６）
Ｐ７’（キー補正値２）＝{Ｐ３−((指標４／６)×10000＋30000)}／24.78
（１７）
Ｐ８（輝度補正値２）＝（指標５／６）×17500                      （１８）
【０２１３】
＜シーン毎の階調処理条件設定＞
図２６に戻り、階調調整パラメータが算出されると、ステップＳ７２では、その算出された階調調整パラメータに基づいて、撮影画像データに対する階調処理条件が設定される。具体的には、既に決定された階調調整方法に対応して予め設定された複数の階調変換曲線の中から、撮影シーンに応じて選択されたパラメータの値に対応する階調変換曲線が選択（決定）される。あるいは、パラメータの値に基づいて、階調変換曲線を算出するようにしてもよい。
【０２１４】
以下、各撮影シーン（光源条件及び露出条件）毎に、階調変換曲線の決定方法（ステップＳ７２での階調処理条件の設定）について説明する。
【０２１５】
＜＜順光の場合＞＞
撮影シーンが順光である場合、パラメータＰ６を用いて、Ｐ１をＰ５と一致させるオフセット補正（８bit値の平行シフト）を下記の式（１９）により行う。
出力画像のＲＧＢ値＝入力画像のＲＧＢ値＋Ｐ６                    （１９）
【０２１６】
従って、撮影シーンが順光の場合、図２７（ａ）に示す複数の階調変換曲線の中から、式（１９）に対応する階調変換曲線が選択される。または、式（１９）に基づいて階調変換曲線を算出（決定）してもよい。
【０２１７】
＜＜逆光の場合＞＞
撮影シーンが逆光である場合、図２７（ｂ）に示す複数の階調変換曲線の中から、パラメータＰ７（キー補正値）に対応する階調変換曲線が選択される。図２７（ｂ）の階調変換曲線の具体例を図３０に示す。パラメータＰ７の値と、選択される階調変換曲線の対応関係を以下に示す。
【０２１８】
−50＜Ｐ７＜＋50    の場合→Ｌ３
＋50≦Ｐ７＜＋150   の場合→Ｌ４
＋150≦Ｐ７＜＋250   の場合→Ｌ５
−150＜Ｐ７≦−50    の場合→Ｌ２
−250＜Ｐ７≦−150   の場合→Ｌ１
【０２１９】
なお、撮影シーンが逆光の場合、この階調変換処理とともに、覆い焼き処理を併せて行うことが好ましい。この場合、逆光度を示す指標６に応じて覆い焼き処理の程度も調整されることが望ましい。
【０２２０】
＜＜アンダーの場合＞＞
撮影シーンがアンダーである場合、図２７（ｂ）に示す複数の階調変換曲線の中から、パラメータＰ７’（キー補正値２）に対応する階調変換曲線が選択される。具体的には、撮影シーンが逆光の場合の階調変換曲線の選択方法と同様に、図３０に示す階調変換曲線の中から、パラメータＰ７’の値に対応した階調変換曲線が選択される。なお、撮影シーンがアンダーである場合は、逆光の場合に示したような覆い焼き処理は行わない。
【０２２１】
＜＜主要被写体がオーバーの場合＞＞
主要被写体がオーバーである場合、パラメータＰ９を用いてオフセット補正（８bit値の平行シフト）を式（２０）により行う。
出力画像のＲＧＢ値＝入力画像のＲＧＢ値十Ｐ９                    （２０）
【０２２２】
従って、主要被写体がオーバーの場合、図２７（ｃ）に示す複数の階調変換曲線の中から、パラメータＰ９に対応する階調変換曲線が選択される。または、式（２０）に基づいて階調変換曲線を算出（決定）してもよい。なお、式（２０）のパラメータＰ９の値が、予め設定された所定値αを上回った場合、図３０に示す曲線Ｌ１〜Ｌ５の中から、キー補正値がＰ９−αに対応する曲線が選択される。
【０２２３】
なお、本実施形熊では、実際に撮影画像データに対して階調変換処理を施す場合、上述の階調変換処理条件を１６bitから８bitへ変更するものとする。
【０２２４】
以上説明したように、撮像装置１００によれば、ライブビュー表示用の第１の画像と記録用の第２の画像の撮影シーンをそれぞれ判別するので、第１の画像と第２の画像それぞれに対して、適正な画像処理を行うことができる。
【０２２５】
具体的には、第１の画像に対しては、第１の画像の撮影シーンに応じた階調処理条件を設定するので、ライブビュー表示用の第１の画像に対して、適正な階調変換処理を行うことができる。また、第２の画像に対しては、第２の画像の撮影シーンに応じた階調処理条件を設定するので、記録用の第２の画像に対して、適正な階調変換処理を行うことができる。  
【０２２６】
また、第１の画像の撮影シーンに応じた露出調整量に基づいて、ライブビュー画像を取得する際の露出、及び、記録用画像の撮影時の露出を制御するので、適正な露出制御を行うことができる。
【０２２７】
また、画像サイズを縮小した第３の画像又は第４の画像の画像データに基づいて、撮影シーンを判別するので、処理の高速化を図ることができる。
【０２２８】
なお、上記実施形態における記述は、本発明に係る撮像装置の例であり、これに限定されるものではない。撮像装置を構成する各部の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【０２２９】
【図１】本発明の実施形態における撮像装置１００の外観構成図である。
【図２】撮像装置１００の内部構成を示すブロック図である。
【図３】撮影処理部２０の内部構成を示すブロック図である。
【図４】ＡＥ制御部２１での露出量制御を示すフローチャートである。
【図５】シャッタ速度の制御において撮像素子に電荷が蓄積される様子を示す図である。
【図６】ＡＦ制御部２２での画像の焦点を合わせる制御を示すフローチャートである。
【図７】撮影光学系３の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を示す図である。
【図８】画素補間部２３での、ＲＧＢ各色成分毎に画素間の補間を行う画像データの処理を示すフローチャートである。
【図９】ＡＷＢ制御部２４での、撮影画像におけるホワイトバランスを自動的に調整する処理を示すフローチャートである。
【図１０】ガンマ補正曲線の例を示す図である。
【図１１】画像処理部１０の内部構成を示すブロック図である。
【図１２】（ａ）は、撮影された第１の画像の一例を示す図であり、（ｂ）は、第１の画像を分割し、Ｎ×Ｍ画素の縮小画像とした第３の画像の一例を示す図である。
【図１３】撮像装置１００において実行されるライブビュー表示処理を示すフローチャートである。
【図１４】撮像装置１００において実行される撮影処理を示すフローチャートである。
【図１５】シーン判別処理を示すフローチャートである。
【図１６】占有率算出処理を示すフローチャートである。
【図１７】明度と色相からなる階級を示す図である。
【図１８】（ａ）は、画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ３を示す図であり、（ｂ）は、領域ｎ１〜ｎ３と明度からなる階級を示す図である。
【図１９】指標算出処理を示すフローチャートである。
【図２０】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。
【図２１】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。
【図２２】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ３）に示す図である。
【図２３】指標４算出処理を示すフローチャートである。
【図２４】撮影シーン（順光、逆光、オーバー、アンダー）と指標４〜６の関係を示すプロット図である。
【図２５】露出調整量算出処理を示すフローチャートである。
【図２６】階調処理条件設定を示すフローチャートである。
【図２７】各階調調整方法に対応する階調変換曲線を示す図である。
【図２８】（ａ）は、輝度の度数分布（ヒストグラム）であり、（ｂ）は、正規化されたヒストグラムであり、（ｃ）は、ブロック分割されたヒストグラムである。
【図２９】（ａ）及び（ｂ）は、輝度のヒストグラムからの低輝度領域及び高輝度領域の削除を説明する図であり、（ｃ）及び（ｄ）は、輝度の頻度の制限を説明する図である。
【図３０】撮影シーンが逆光又はアンダーである場合の階調処理条件を表す階調変換曲線を示す図である。
【符号の説明】
【０２３０】
１００  撮像装置
１  筐体
２  方向選択キー
３  撮影光学系
４  フラッシュ
５  ファインダ
６  電源スイッチ
７  表示部
８  レリーズボタン
１０  画像処理部
１１ａ  第１画像取得部
１１ｂ  第２画像取得部
１２ａ  第３画像取得部
１２ｂ  第４画像取得部
１３  占有率算出部
１４  指標算出部
１５  シーン判別部
１６  階調処理条件設定部
１７  階調変換処理部
１８  露出調整量算出部
２０  撮影処理部
２１  ＡＥ制御部
２２  ＡＦ制御部
２３  画素補間部
２４  ＡＷＢ制御部
２５  ガンマ補正部
３１  プロセッサ
３２  メモリ
３３ａ，３３ｂ  撮像素子
３４  画像データ出力部
３５  操作部
３６  タイミングジェネレータ
３７  シャッタユニット
３８  絞りユニット
３９  フォーカスユニット
【図１】
2007288245.tif 000013
【図２】
2007288245.tif 000014
【図３】
2007288245.tif 000015
【図４】
2007288245.tif 000016
【図５】
2007288245.tif 000017
【図６】
2007288245.tif 000018
【図７】
2007288245.tif 000019
【図８】
2007288245.tif 000020
【図９】
2007288245.tif 000021
【図１０】
2007288245.tif 000022
【図１１】
2007288245.tif 000023
【図１２】
2007288245.tif 000024
【図１３】
2007288245.tif 000025
【図１４】
2007288245.tif 000026
【図１５】
2007288245.tif 000027
【図１６】
2007288245.tif 000028
【図１７】
2007288245.tif 000029
【図１８】
2007288245.tif 000030
【図１９】
2007288245.tif 000031
【図２０】
2007288245.tif 000032
【図２１】
2007288245.tif 000033
【図２２】
2007288245.tif 000034
【図２３】
2007288245.tif 000035
【図２４】
2007288245.tif 000036
【図２５】
2007288245.tif 000037
【図２６】
2007288245.tif 000038
【図２７】
2007288245.tif 000039
【図２８】
2007288245.tif 000040
【図２９】
2007288245.tif 000041
【図３０】
2007288245.tif 000042