(57)【要約】【課題】画像中の顔の有無にかかわらず、画像データに対して適切な階調補正を行う。【解決手段】画像データの撮影シーンを判別し、シーン判別結果に基づいて、画像データに対する階調補正方法及び第１の階調補正量を決定する。次に、画像データから画像中の顔領域を検出し、顔領域の平均輝度に基づいて第２の階調補正量を決定する。顔検出信頼度に基づいて、第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する。そして、第３の階調補正量と階調補正方法を用いて、画像データに階調補正処理を施す。【選択図】図４
2006319714.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像を表す複数画素の信号からなる画像データを取得する取得工程と、
前記画像データから画像の撮影シーンを判別するシーン判別工程と、
前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定工程と、
前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定工程と、
前記画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出工程と、
前記顔検出工程において検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定工程と、
前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定工程と、
前記第３の階調補正量と前記階調補正方法を用いて、前記画像データに階調補正処理を施す階調補正処理工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記シーン判別工程は、
前記画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出工程と、
前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出工程と、
前記画像データを前記画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出工程と、
前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出工程と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出工程と、
前記算出された第１、第２、第３及び第４の指標に基づいて、前記画像データの撮影シーンを判別する工程と、
を含むことを特徴とする画像処理方法。
【請求項３】
カラー画像を表す複数画素の信号からなる第１の画像データを取得する取得工程と、
前記第１の画像データから画像サイズを縮小した第２の画像データを作成する画像縮小工程と、
前記第２の画像データから画像の撮影シーンを判別するシーン判別工程と、
前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定工程と、
前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定工程と、
前記第２の画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出工程と、
前記顔検出工程において検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定工程と、
前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定工程と、
前記第３の階調補正量と前記階調補正方法を用いて、前記第１の画像データに階調補正処理を施す階調補正処理工程と、
を含むことを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記シーン判別工程は、
前記第２の画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出工程と、
前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出工程と、
前記第２の画像データを前記第２の画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出工程と、
前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出工程と、
少なくとも前記第２の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出工程と、
前記算出された第１、第２、第３及び第４の指標に基づいて、前記第２の画像データの撮影シーンを判別する工程と、
を含むことを特徴とする画像処理方法。
【請求項５】
カラー画像を表す複数画素の信号からなる画像データを取得する取得手段と、
前記画像データから画像の撮影シーンを判別するシーン判別手段と、
前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定手段と、
前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定手段と、
前記画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出手段と、
前記顔検出手段により検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定手段と、
前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定手段と、
前記第３の階調補正量と前記階調補正方法を用いて、前記画像データに階調補正処理を施す階調補正処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記シーン判別手段は、
前記画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出手段と、
前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出手段と、
前記画像データを前記画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出手段と、
前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出手段と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出手段と、
前記算出された第１、第２、第３及び第４の指標に基づいて、前記画像データの撮影シーンを判別する手段と、
を備えたことを特徴とする画像処理装置。
【請求項７】
カラー画像を表す複数画素の信号からなる第１の画像データを取得する取得手段と、
前記第１の画像データから画像サイズを縮小した第２の画像データを作成する画像縮小手段と、
前記第２の画像データから画像の撮影シーンを判別するシーン判別手段と、
前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定手段と、
前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定手段と、
前記第２の画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出手段と、
前記顔検出手段により検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定手段と、
前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定手段と、
前記第３の階調補正量と前記階調補正方法を用いて、前記第１の画像データに階調補正処理を施す階調補正処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記シーン判別手段は、
前記第２の画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出手段と、
前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出手段と、
前記第２の画像データを前記第２の画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出手段と、
前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出手段と、
少なくとも前記第２の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出手段と、
前記算出された第１、第２、第３及び第４の指標に基づいて、前記第２の画像データの撮影シーンを判別する手段と、
を備えたことを特徴とする画像処理装置。
【請求項９】
コンピュータに、
カラー画像を表す複数画素の信号からなる画像データを取得する取得機能と、
前記画像データから画像の撮影シーンを判別するシーン判別機能と、
前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定機能と、
前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定機能と、
前記画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出機能と、
前記検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定機能と、
前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定機能と、
前記第３の階調補正量と前記階調補正方法を用いて、前記画像データに階調補正処理を施す階調補正処理機能と、
を実現させるための画像処理プログラム。
【請求項１０】
請求項９に記載の画像処理プログラムにおいて、
前記シーン判別機能は、
前記画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出機能と、
前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出機能と、
前記画像データを前記画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出機能と、
前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出機能と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出機能と、
前記算出された第１、第２、第３及び第４の指標に基づいて、前記画像データの撮影シーンを判別する機能と、
を有することを特徴とする画像処理プログラム。
【請求項１１】
コンピュータに、
カラー画像を表す複数画素の信号からなる第１の画像データを取得する取得機能と、
前記第１の画像データから画像サイズを縮小した第２の画像データを作成する画像縮小機能と、
前記第２の画像データから画像の撮影シーンを判別するシーン判別機能と、
前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定機能と、
前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定機能と、
前記第２の画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出機能と、
前記検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定機能と、
前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定機能と、
前記第３の階調補正量と前記階調補正方法を用いて、前記第１の画像データに階調補正処理を施す階調補正処理機能と、
を実現させるための画像処理プログラム。
【請求項１２】
請求項１１に記載の画像処理プログラムにおいて、
前記シーン判別機能は、
前記第２の画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出機能と、
前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出機能と、
前記第２の画像データを前記第２の画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出機能と、
前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出機能と、
少なくとも前記第２の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出機能と、
前記算出された第１、第２、第３及び第４の指標に基づいて、前記第２の画像データの撮影シーンを判別する機能と、
を有することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像データに画像処理を行う画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ（携帯電話機やラップトップパソコン等の機器に組み込まれたものも含み、以下ＤＳＣ（Digital Still Camera）と略称する。）が広く普及し、従来のカラー写真フィルムのシステムと同様に、ハードコピー画像として出力したり、ＣＲＴ(Cathode Ray Tube)等の媒体に表示したり、ＣＤ−Ｒ（CD-recordable）等の記録媒体に記録したりするシステムが広く知られている。
【０００３】
一般的にＤＳＣで撮影された画像は、撮影時の露出調整の不備等により、そのままでは鑑賞する画像として最適な画像を得ることができない場合が多い。画像を鑑賞する場合において最も注目されるのは人物の顔であるので、品質の高い画像とするためには、顔を最適な明るさにすることが重要である。そのため、画像中の人物の顔を検出し、顔の検出結果に基づき画像を補正する、種々の方法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開平８−６３５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像中の顔を検出し、顔検出結果に基づいて画像を補正する構成では、例えば画像中に顔が写っていなかった場合や、顔が写っているにもかかわらず顔として検出されなかった場合には、補正が必要な画像であっても補正を行うことができなかった。また、画像中の顔でない領域を顔として誤判定してしまった場合には、誤った補正によりかえって画像品質を低下させてしまうおそれがあった。
【０００５】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、画像中の顔の有無にかかわらず、画像データに対して適切な階調補正を行うことを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、カラー画像を表す複数画素の信号からなる画像データを取得する取得工程と、前記画像データから画像の撮影シーンを判別するシーン判別工程と、前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定工程と、前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定工程と、前記画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出工程と、前記顔検出工程において検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定工程と、前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定工程と、前記第３の階調補正量と前記階調補正方法を用いて、前記画像データに階調補正処理を施す階調補正処理工程と、を含むことを特徴とする画像処理方法である。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記シーン判別工程は、前記画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出工程と、前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出工程と、前記画像データを前記画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出工程と、前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出工程と、少なくとも前記画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出工程と、前記算出された第１、第２、第３及び第４の指標に基づいて、前記画像データの撮影シーンを判別する工程と、を含むことを特徴とする。
【０００８】
請求項３に記載の発明は、カラー画像を表す複数画素の信号からなる第１の画像データを取得する取得工程と、前記第１の画像データから画像サイズを縮小した第２の画像データを作成する画像縮小工程と、前記第２の画像データから画像の撮影シーンを判別するシーン判別工程と、前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定工程と、前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定工程と、前記第２の画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出工程と、前記顔検出工程において検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定工程と、前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定工程と、前記第３の階調補正量と前記階調補正方法を用いて、前記第１の画像データに階調補正処理を施す階調補正処理工程と、を含むことを特徴とする画像処理方法である。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理方法において、前記シーン判別工程は、前記第２の画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出工程と、前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出工程と、前記第２の画像データを前記第２の画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出工程と、前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出工程と、少なくとも前記第２の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出工程と、前記算出された第１、第２、第３及び第４の指標に基づいて、前記第２の画像データの撮影シーンを判別する工程と、を含むことを特徴とする。
【００１０】
請求項５に記載の発明は、カラー画像を表す複数画素の信号からなる画像データを取得する取得手段と、前記画像データから画像の撮影シーンを判別するシーン判別手段と、前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定手段と、前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定手段と、前記画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出手段と、前記顔検出手段により検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定手段と、前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定手段と、前記第３の階調補正量と前記階調補正方法を用いて、前記画像データに階調補正処理を施す階調補正処理手段と、を備えたことを特徴とする画像処理装置である。
【００１１】
請求項６に記載の発明は、請求項５に記載の画像処理装置において、前記シーン判別手段は、前記画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出手段と、前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出手段と、前記画像データを前記画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出手段と、前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出手段と、少なくとも前記画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出手段と、前記算出された第１、第２、第３及び第４の指標に基づいて、前記画像データの撮影シーンを判別する手段と、を備えたことを特徴とする。
【００１２】
請求項７に記載の発明は、カラー画像を表す複数画素の信号からなる第１の画像データを取得する取得手段と、前記第１の画像データから画像サイズを縮小した第２の画像データを作成する画像縮小手段と、前記第２の画像データから画像の撮影シーンを判別するシーン判別手段と、前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定手段と、前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定手段と、前記第２の画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出手段と、前記顔検出手段により検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定手段と、前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定手段と、前記第３の階調補正量と前記階調補正方法を用いて、前記第１の画像データに階調補正処理を施す階調補正処理手段と、を備えたことを特徴とする画像処理装置である。
【００１３】
請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記シーン判別手段は、前記第２の画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出手段と、前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出手段と、前記第２の画像データを前記第２の画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出手段と、前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出手段と、少なくとも前記第２の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出手段と、前記算出された第１、第２、第３及び第４の指標に基づいて、前記第２の画像データの撮影シーンを判別する手段と、を備えたことを特徴とする。
【００１４】
請求項９に記載の発明は、コンピュータに、カラー画像を表す複数画素の信号からなる画像データを取得する取得機能と、前記画像データから画像の撮影シーンを判別するシーン判別機能と、前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定機能と、前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定機能と、前記画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出機能と、前記検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定機能と、前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定機能と、前記第３の階調補正量と前記階調補正方法を用いて、前記画像データに階調補正処理を施す階調補正処理機能と、を実現させるための画像処理プログラムである。
【００１５】
請求項１０に記載の発明は、請求項９に記載の画像処理プログラムにおいて、前記シーン判別機能は、前記画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出機能と、前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出機能と、前記画像データを前記画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出機能と、前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出機能と、少なくとも前記画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出機能と、前記算出された第１、第２、第３及び第４の指標に基づいて、前記画像データの撮影シーンを判別する機能と、を有することを特徴とする。
【００１６】
請求項１１に記載の発明は、コンピュータに、カラー画像を表す複数画素の信号からなる第１の画像データを取得する取得機能と、前記第１の画像データから画像サイズを縮小した第２の画像データを作成する画像縮小機能と、前記第２の画像データから画像の撮影シーンを判別するシーン判別機能と、前記シーン判別の結果に基づいて階調補正方法を決定する階調補正方法決定機能と、前記シーン判別の結果に基づいて第１の階調補正量を決定する第１の階調補正量決定機能と、前記第２の画像データから画像中の顔領域を検出し、かつ顔検出信頼度を算出する顔検出機能と、前記検出された顔領域の平均輝度に基づいて第２の階調補正量を決定する第２の階調補正量決定機能と、前記顔検出信頼度に基づいて前記第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する第３の階調補正量決定機能と、前記第３の階調補正量と前記階調補正方法を用いて、前記第１の画像データに階調補正処理を施す階調補正処理機能と、を実現させるための画像処理プログラムである。
【００１７】
請求項１２に記載の発明は、請求項１１に記載の画像処理プログラムにおいて、前記シーン判別機能は、前記第２の画像データを所定の明度と色相との組み合わせからなる領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第１の占有率を算出する第１占有率算出機能と、前記第１の占有率に、予め設定された異なる第１及び第２の係数をそれぞれ乗算することにより、第１及び第２の指標を算出する第１指標算出機能と、前記第２の画像データを前記第２の画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記第２の画像データ全体に占める割合を示す第２の占有率を算出する第２占有率算出機能と、前記第２の占有率に、予め設定された第３の係数を乗算することにより、第３の指標を算出する第２指標算出機能と、少なくとも前記第２の画像データの画面中央部における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、第４の指標を算出する第３指標算出機能と、前記算出された第１、第２、第３及び第４の指標に基づいて、前記第２の画像データの撮影シーンを判別する機能と、を有することを特徴とする。
【発明の効果】
【００１８】
請求項１、５、９に記載の発明によれば、顔検出信頼度に基づいて、シーン判別の結果に基づく第１の階調補正量と、顔領域の平均輝度に基づく第２の階調補正量と、の重み付けを変えるので、画像中の顔の有無にかかわらず、画像データに対して適切な階調補正を行うことができる。
【００１９】
請求項２、６、１０に記載の発明によれば、画像データの撮影シーンを定量的に示す第１、第２、第３及び第４の指標を算出し、それらの指標に基づいて画像データの撮影シーンを判別するので、画像データの撮影シーンを正確に特定することができる。
【００２０】
請求項３、７、１１に記載の発明によれば、顔検出信頼度に基づいて、シーン判別の結果に基づく第１の階調補正量と、顔領域の平均輝度に基づく第２の階調補正量と、の重み付けを変えるので、画像中の顔の有無にかかわらず、画像データに対して適切な階調補正を行うことができる。また、第１の画像データから画像サイズを縮小した第２の画像データを用いて撮影シーンの判別及び顔領域の検出を行うことにより、処理時間を短縮することができる。
【００２１】
請求項４、８、１２に記載の発明によれば、第２の画像データの撮影シーンを定量的に示す第１、第２、第３及び第４の指標を算出し、それらの指標に基づいて画像データの撮影シーンを判別するので、第２の画像データの撮影シーンを正確に特定することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図１〜図２４を参照して、本発明に係る実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【００２３】
＜画像処理装置１の外観構成＞
まず、本発明の実施の形態の画像処理装置１について説明する。
図１は、画像処理装置１の概観構成を示す斜視図である。
【００２４】
図１に示すように、画像処理装置１には、本体２の一側面に感光材料を装填するためのマガジン装填部３が設けられている。本体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するプリント作成部５が設けられている。作成されたプリントは、本体２の他側面に設けられたトレー６に排出される。
【００２５】
また、本体２の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。さらに、本体２には、各種デジタル記録媒体に記録された画像データを読み取り可能な画像読込部１４、各種デジタル記録媒体に画像データを書き込み（出力）可能な画像書込部１５が備えられている。また、本体２の内部には、これらの各部を集中制御する制御部７が備えられている。
【００２６】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフロッピーディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、デジタルカメラで撮像された複数の画像データが記録されたメモリを有する。フロッピーディスク１３ｂには、例えば、デジタルカメラで撮像された複数の画像データが記録されている。その他、画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等が挙げられる。
【００２７】
画像書込部１５には、フロッピーディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、各々、フロッピーディスク１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっており、画像データを画像記録メディアに書き込むことができるようになっている。光ディスク１６ｃとしては、ＣＤ−Ｒ（Compact Disc-Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）等がある。
【００２８】
なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、本体２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。
【００２９】
なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【００３０】
＜画像処理装置１の内部構成＞
図２は、画像処理装置１の内部構成を示すブロック図である。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント作成部５、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、操作部１１、画像読込部１４、画像書込部１５、通信手段（入力）３２、通信手段（出力）３３、データ蓄積手段７１から構成される。
【００３１】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。
【００３２】
制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段（入力）３２を介して入力された画像データに対して、画像処理を施して出力用画像データを生成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。
【００３３】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰａ，Ｐｂ，Ｐｃを作成する。プリントＰａは、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰｂは、Ａ４サイズのプリントであり、プリントＰｃは、名刺サイズのプリントである。
【００３４】
フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。
【００３５】
反射原稿入力装置１０は、図示しないフラットベッドスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。
【００３６】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像データ等を表示する。
【００３７】
画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピーディスク用アダプタ１４ｂ等を有し、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピーディスク用アダプタ１４ｂに差し込まれたフロッピーディスク１３ｂに記録された画像データを読み出して制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【００３８】
画像書込部１５は、画像搬送部３１として、フロッピーディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピーディスク用アダプタ１５ａに差し込まれたフロッピーディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、生成された画像データを書き込む。
【００３９】
通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【００４０】
通信手段（出力）３３は、画像処理を施した後の撮影画像を表す画像データと注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【００４１】
データ蓄積手段７１は、画像データとそれに対応する注文情報とを記憶し、順次蓄積する。
【００４２】
＜画像処理部７０の構成＞
図３は、画像処理装置１の画像処理部７０の機能的構成を示すブロック図である。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。
【００４３】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。
【００４４】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。
【００４５】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。
【００４６】
画像調整処理部７０４は、操作部１１又は制御部７の指令に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から受け取った画像に対して各種画像処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段７１へ処理済みの画像信号を出力する。
【００４７】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等、表示が必要な情報と合成した表示用の画像データをＣＲＴ８に出力する。
【００４８】
プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【００４９】
画像処理装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【００５０】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、必要に応じてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【００５１】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウェア処理の種類の区分として実現されてもよい。また、本実施の形態における画像処理装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【００５２】
図４に、画像調整処理部７０４の内部構成を示す。画像調整処理部７０４は、図４に示すように、画像縮小部７０９、シーン判別部７１０、階調補正方法決定部７３０、階調補正パラメータ算出部７３１、第１の階調補正量決定部７３２、顔検出部７３３、顔検出信頼度算出部７３４、第２の階調補正量決定部７３５、第３の階調補正量決定部７３６、画像処理実行部７３７により構成される。
【００５３】
画像縮小部７０９は、第１の画像データとしての元画像データから画像サイズを縮小し、第２の画像データとしての縮小画像データを作成する。画像サイズを縮小する方法としては、バイリニア法、バイキュービック法等の公知の方法を用いることができる。縮小率は特に限定しないが、処理速度とシーン判別処理及び顔検出処理における精度の観点から、１／２〜１／１０程度が好ましい。
【００５４】
シーン判別部７１０は、縮小画像データから画像の撮影シーンを判別する。
図５（ａ）に、シーン判別部７１０の内部構成を示す。シーン判別部７１０は、図５（ａ）に示すように、割合算出部７１２、指標算出部７１３、シーン判別実行部７１４により構成される。図５（ｂ）に、割合算出部７１２の内部構成を示す。割合算出部７１２は、図５（ｂ）に示すように、表色系変換部７１５、ヒストグラム作成部７１６、占有率演算部７１７により構成される。
【００５５】
表色系変換部７１５は、画像データのＲＧＢ（Red, Green, Blue）値をＨＳＶ表色系に変換する。ＨＳＶ表色系とは、画像データを、色相（Hue）、彩度（Saturation）、明度（Value又はBrightness）の３つの要素で表すものであり、マンセルにより提案された表色体系を元にして考案されたものである。
【００５６】
なお、本実施の形態において、「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意味である。以下の記載において、ＨＳＶ表色系のＶ(0〜255)を「明度」として用いるが、他のいかなる表色系の明るさを表す単位系を用いてもよい。その際、本実施の形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。また、本実施の形態における画像データは、人物を主要被写体とする画像データであるものとする。
【００５７】
ヒストグラム作成部７１６は、画像データを、所定の色相と明度の組み合わせからなる領域に分割し、分割された領域毎に累積画素数を算出することによって２次元ヒストグラムを作成する。また、ヒストグラム作成部７１６は、画像データを、当該画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、分割された領域毎に累積画素数を算出することによって２次元ヒストグラムを作成する。なお、画像データを、画像データの画面の外縁からの距離、明度及び色相の組み合わせからなる領域に分割し、分割された領域毎に累積画素数を算出することによって３次元ヒストグラムを作成するようにしてもよい。以下では、２次元ヒストグラムを作成する方式を説明する。
【００５８】
図５（ｃ）に、占有率演算部７１７の内部構成を示す。占有率演算部７１７は、図５（ｃ）に示すように、第１占有率算出部７１８、第２占有率算出部７１９により構成される。第１占有率算出部７１８は、明度と色相との組み合わせによって分割された領域毎に、ヒストグラム作成部７１６において算出された累積画素数の全画素数（画像データ全体）に占める割合を示す第１の占有率（後述の表１参照）を算出する。第２占有率算出部７１９は、画像データの画面の外縁からの距離と明度との組み合わせによって分割された領域毎に、ヒストグラム作成部７１６において算出された累積画素数の全画素数（画像データ全体）に占める割合を示す第２の占有率（後述の表２参照）を算出する。
【００５９】
図５（ｄ）に、指標算出部７１３の内部構成を示す。指標算出部７１３は、図５（ｄ）に示すように、第１指標算出部７２０、第２指標算出部７２１、第３指標算出部７２２により構成される。
【００６０】
第１指標算出部７２０は、第１占有率算出部７１８において領域毎に算出された第１の占有率に、撮影条件に応じて予め（例えば、判別分析によって）設定された第１の係数（後述の表３参照）を乗算して和をとることにより、撮影シーンを特定するための第１の指標ａ１を算出する。ここで、撮影シーンとは、順光、逆光、ストロボ等の、被写体を撮影する時の光源条件及び、アンダー撮影等の露出条件を示す。第１の指標ａ１は、屋内撮影度、近接撮影度、顔色高明度等のストロボ撮影時の特徴を示すもので、「ストロボ」と判別されるべき画像を他の撮影シーンから分離するためのものである。
【００６１】
第１の指標ａ１の算出の際、第１指標算出部７２０は、所定の高明度の肌色色相領域と、当該高明度の肌色色相領域以外の色相領域とで、異なる符号の係数を用いる。ここで、所定の高明度の肌色色相領域には、ＨＳＶ表色系の明度値で１７０〜２２４の領域が含まれる。また、所定の高明度の肌色色相領域以外の色相領域には、青色色相領域（色相値１６１〜２５０）、緑色色相領域（色相値４０〜１６０）の少なくとも一方の高明度領域が含まれる。
【００６２】
また、第１指標算出部７２０は、第１占有率算出部７１８において領域毎に算出された第１の占有率に、撮影条件に応じて予め（例えば、判別分析によって）設定された第２の係数（後述の表４参照）を乗算して和をとることにより、撮影シーンを特定するための第２の指標ａ２を算出する。第２の指標ａ２は、屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に示すもので、「逆光」と判別されるべき画像を他の撮影シーンから分離するためのものである。
【００６３】
第２の指標ａ２の算出の際、第１指標算出部７２０は、肌色色相領域（色相値０〜３９、３３０〜３５９）の中間明度領域と、当該中間明度領域以外の明度領域とで、異なる符号の係数を用いる。この肌色色相領域の中間明度領域には、明度値８５〜１６９の領域が含まれる。また、当該中間明度領域以外の明度領域には、例えば、シャドー領域（明度値２６〜８４）が含まれる。
【００６４】
第２指標算出部７２１は、第２占有率算出部７１９において領域毎に算出された第２の占有率に、撮影条件に応じて予め（例えば、判別分析によって）設定された第３の係数（後述の表５参照）を乗算して和をとることにより、撮影シーンを特定するための第３の指標ａ３を算出する。第３の指標ａ３は、逆光とストロボとの間における、画像データの画面の中心と外側との明暗関係の差異を示すものであり、逆光又はストロボと判別されるべき画像のみを定量的に示すものである。第３の指標ａ３の算出の際、指標算出部７１３は、画像データの画面の外縁からの距離に応じて異なる値の係数を用いる。
【００６５】
第３指標算出部７２２は、少なくとも、画像データの画面中央部における肌色の平均輝度値に、撮影条件に応じて予め（例えば、判別分析によって）設定された第４の係数を乗算して和をとることにより、撮影シーンを特定するための第４の指標ａ４を算出する。より好ましくは、画像データの画面中央部における肌色の平均輝度値だけでなく、画像の最大輝度値と平均輝度値との差分値（後述の式（９）参照）、輝度標準偏差、画面中央部における平均輝度値、画像の肌色最大輝度値及び肌色最小輝度値の差分値と肌色平均輝度値との比較値（後述の式（１０）参照）に、予め設定された第４の係数を乗算して和をとることにより、撮影シーンを特定するための第４の指標ａ４を算出する。ここで、用いる変数によって第４の係数を変えることは言うまでもない。第４の指標ａ４は、ストロボ撮影シーンとアンダー撮影シーンにおける、画像データの画面の中心と外側の明暗関係の差異を示すだけでなく、輝度ヒストグラムにおける分布情報を示すものであり、ストロボ撮影シーン又はアンダー撮影シーンと判別されるべき画像のみを定量的に示すものである。
【００６６】
第４の指標ａ４を算出する際、第３指標算出部７２２では、画像データの画面中央部における肌色の平均輝度値、画像の最大輝度値と平均輝度値との差分値、輝度標準偏差、画面中央部における平均輝度値、画像の肌色最大輝度値及び肌色最小輝度値の差分値と肌色平均輝度値との比較値を用いているが、ここでいう輝度値とは、明るさを表す指標であり、それ以外の明るさを表す指標（例えば、ＨＳＶ表色系の明度値等）を用いてもよい。また、最大輝度値、肌色最大輝度値、肌色最小輝度値には、最大及び最小輝度値からの累積画素数が全画素に対して所定の割合に達した画素の輝度値を用いてもよい。
【００６７】
第３指標算出部７２２は、第１の指標ａ１、第３の指標ａ３に、それぞれ、撮影条件に応じて予め（例えば、判別分析によって）設定された係数を乗算して和をとることにより第５の指標ａ５を算出する。より好ましくは、第１の指標ａ１、第３の指標ａ３及び第４’の指標ａ４’（画面中央部における肌色の平均輝度値）に、それぞれ、撮影条件に応じて予め（例えば、判別分析によって）設定された係数を乗算して和をとることにより第５の指標ａ５を算出してもよい。更に、第３指標算出部７２２は、第２の指標ａ２、第３の指標ａ３に、それぞれ、撮影条件に応じて予め（例えば、判別分析によって）設定された係数を乗算して合成することにより第６の指標ａ６を算出する。より好ましくは第２の指標ａ２、第３の指標ａ３、第４’の指標ａ４’に、それぞれ、撮影条件に応じて予め設定された係数を乗算して合成することにより第６の指標ａ６を算出してもよい。
【００６８】
シーン判別実行部７１４は、指標算出部７１３において算出された第４の指標ａ４、第５の指標ａ５、第６の指標ａ６の値に基づいて、画像データの撮影シーン（光源条件及び露出条件）を判別する。
【００６９】
なお、指標算出部７１３における第１の指標ａ１〜第６の指標ａ６の具体的な算出方法、シーン判別実行部７１４における撮影シーンの判別方法は、後述の本実施の形態の動作説明において詳細に説明する。
【００７０】
図４において、階調補正方法決定部７３０は、シーン判別部７１０により判別された画像データの撮影シーンに基づいて階調補正方法を決定する。例えば、撮影シーンが順光である場合は、後述の図１８（ａ）に示すように、入力された画像データの画素値を平行移動（オフセット）補正する方法（階調補正方法Ａ）が適用される。撮影シーンが逆光である場合は、後述の図１８（ｂ）に示すように、入力された画像データの画素値をガンマ補正する方法（階調補正方法Ｂ）が適用される。撮影シーンがストロボである場合、後述の図１８（ｃ）に示すように、入力された画像データの画素値をガンマ補正及び平行移動（オフセット）補正する方法（階調補正方法Ｃ）が適用される。撮影シーンがアンダーである場合、図１８（ｂ）に示すように、入力された画像データの画素値をガンマ補正する方法（階調補正方法Ｂ）が適用される。
【００７１】
階調補正パラメータ算出部７３１は、シーン判別部７１０により算出された第４の指標ａ４、第５の指標ａ５、第６の指標ａ６の値に基づいて、階調補正に必要なパラメータ（キー補正値等）を算出する。
【００７２】
第１の階調補正量決定部７３２は、階調補正パラメータ算出部７３１により算出されたパラメータに基づいて、階調補正方法決定部７３０により決定された階調補正方法の第１の階調補正量を決定する。
【００７３】
顔検出部７３３は、縮小画像データから画像中の顔領域を検出する。具体的には、顔検出部７３３は、縮小画像データから低周波画像を作成し、低周波画像から肌色を表す画素を特定し、その画素から単純領域拡張方法により顔候補領域を抽出する。そして、顔検出部７３３は、顔候補領域の特性値を入力パラメータとして、ニューラルネットワークにより当該顔候補領域が顔であるか否かを判定し、顔領域を検出する。顔検出処理については、後述の動作説明において詳細に説明する。
【００７４】
顔検出信頼度算出部７３４は、顔検出部７３３により検出された顔領域の信頼度を示す顔検出信頼度を算出する。顔検出処理にニューラルネットワークを用いる場合には、一般的に、顔であるか否かの判定結果を０〜１の連続値として出力するが、例えば、出力値０．９以下を「絶対に顔ではない」と判定し、０．９〜１を段階的に「顔検出信頼度低」〜「顔検出信頼度高」とすることにより顔検出信頼度を求めることができる。また、パターンマッチングを用いて顔であるか否かを判定する場合でも、パターンマッチングの度合いにより同様に顔検出信頼度を求めることができる。
【００７５】
本実施の形態では、顔検出部７３３と顔検出信頼度算出部７３４とにより、特許請求の範囲に記載の顔検出手段が実現される。
【００７６】
第２の階調補正量決定部７３５は、顔検出部７３３により検出された顔領域の平均輝度に基づいて、第２の階調補正量を決定する。第２の階調補正量は、例えば、顔領域の平均輝度値を算出し、算出された平均輝度値と予め定められた目標輝度値との差分値に基づいて求めることができる。また、目標輝度値はシーン判別処理で得られるシーン分類毎に変更してもかまわない。なお、複数の顔領域が検出された場合には、最も顔検出信頼度が高い顔領域により第２の階調補正量を求めることが好ましい。
【００７７】
第３の階調補正量決定部７３６は、顔検出信頼度算出部７３４により算出された顔検出信頼度に基づいて、第１の階調補正量及び第２の階調補正量を重み付け平均し、第３の階調補正量を決定する。この際、例えば、顔検出信頼度が高い場合には第２の階調補正量の重みを高くし、顔検出信頼度が低い場合には第１の階調補正量の重みを高くして平均化する。また、顔が検出されなかった場合には第１の階調補正量のみを使用して第３の階調補正量とする。
【００７８】
画像処理実行部７３７は、階調補正方法決定部７３０により決定された階調補正方法と、第３の階調補正量決定部７３６により決定された第３の階調補正量とに基づいて、元画像データに階調補正処理を施し、さらにその他の画像処理を施す。
【００７９】
次に、本実施の形態における動作について説明する。本実施の形態における撮像画像データの画像処理は、操作部１１からの画像処理実行入力等をトリガとして、画像処理部７０において、記憶部（図示略）から読み出されてＲＡＭ（図示略）に展開された画像処理プログラムと、ＣＰＵ（図示略）との協働により実行される。
【００８０】
図６に、画像処理の流れを示す。図６に示すように、まず、画像調整処理部７０４において、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３を介して、元画像データが取得される（ステップＳ１）。本実施の形態の画像処理（階調補正処理）は、ＤＳＣで撮影された画像データに対して行うことが特に好ましい。
【００８１】
次に、画像縮小部７０９により、元画像データから画像サイズが縮小され、縮小画像データが作成される（ステップＳ２）。
【００８２】
そして、シーン判別部７１０により、縮小画像データから画像の撮影シーンを判別するシーン判別処理が実行される（ステップＳ３）。
【００８３】
図７に、画像処理中のシーン判別処理の流れを示す。図７に示すように、ステップＳ３のシーン判別処理では、第１占有率算出部７１８により、画像データが所定の画像領域に分割され、各分割領域が画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出処理が実行される（ステップＳ３１）。
【００８４】
図８に、シーン判別処理中の第１の占有率算出処理の流れを示す。図８に示すように、ステップＳ３１の第１の占有率算出処理では、まず、表色系変換部７１５により、画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ３１１）。
【００８５】
次いで、ヒストグラム作成部７１６により、画像データが、所定の明度と色相との組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ３１２）。以下、画像データの領域分割について詳細に説明する。
【００８６】
明度（V）は、明度値が0〜25（v1），26〜50（v2），51〜84（v3），85〜169（v4），170〜199（v5），200〜224（v6），225〜255（v7）の７つの領域に分割される。色相（H）は、色相値が0〜39、330〜359の肌色色相領域（H1及びH2）、色相値が40〜160の緑色色相領域（H3）、色相値が161〜250の青色色相領域（H4）、赤色色相領域（H5）の４つの領域に分割される。なお、赤色色相領域（H5）は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域（H1）と、それ以外の領域（H2）に分割される。以下、肌色色相領域（H＝0〜39、330〜359）のうち、下記の式（２）を満たす色相’（H）を肌色領域（H1）とし、式（２）を満たさない領域を（H2）とする。ただし、入力画像データの値をInR、InG、InBとする。
【００８７】
10 ＜ 彩度(S) ＜175、
色相’(H) = 色相(H) + 60      (0 ≦ 色相(H) ＜ 300のとき)、
色相’(H) = 色相(H) − 300    (300 ≦ 色相(H) ＜ 360のとき)、
輝度(Y) = InR × 0.30 + InG × 0.59 + InB × 0.11    …（１）
として、
色相’(H)／輝度(Y) ＜ 3.0 × (彩度(S)／255) ＋ 0.7    …（２）
【００８８】
従って、画像データの分割領域の数は４×７＝２８個となる。なお、式（１）、（２）において明度（V）を用いることも可能である。
【００８９】
２次元ヒストグラムが作成されると、第１占有率算出部７１８により、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第１の占有率が算出され（ステップＳ３１３）、第１の占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第１の占有率をRijとすると、各分割領域における第１の占有率は表１のように表される。
【表１】
2006319714.tif 000003
【００９０】
次いで、図７において、第２占有率算出部７１９により、第３の指標ａ３を算出するために用いる第２の占有率を算出する第２の占有率算出処理が実行される（ステップＳ３２）。
【００９１】
図９に、シーン判別処理中の第２の占有率算出処理の流れを示す。図９に示すように、ステップＳ３２の第２の占有率算出処理では、まず、表色系変換部７１５により、画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ３２１）。ステップＳ３２１は、ステップＳ３１１と共通のステップにしてもよい。次いで、ヒストグラム作成部７１６により、画像データが、画像データの画面の外縁からの距離と明度との組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ３２２）。以下、画像データの領域分割について詳細に説明する。
【００９２】
図１０（ａ）〜（ｄ）に、画像データの画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。図１０（ａ）に示す領域ｎ１が外枠であり、図１０（ｂ）に示す領域ｎ２が、外枠の内側の領域であり、図１０（ｃ）に示す領域ｎ３が、領域ｎ２の更に内側の領域であり、図１０（ｄ）に示す領域ｎ４が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の７つの領域に分割するものとする。従って、画像データを、撮影画像画面の外縁からの距離と明度との組み合わせからなる領域に分割した場合の分割領域の数は４×７＝２８個となる。
【００９３】
２次元ヒストグラムが作成されると、第２占有率算出部７１９により、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第２の占有率が算出され（ステップＳ３２３）、第２の占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第２の占有率をQijとすると、各分割
領域における第２の占有率は表２のように表される。
【表２】
2006319714.tif 000004
【００９４】
次いで、図７において、第１指標算出部７２０により、割合算出部７１２において算出された第１の占有率に、撮影条件に応じて予め設定された第１、第２の係数がそれぞれ乗算され、撮影シーンを特定する（光源条件を定量的に表す）指標としての第１、第２の指標ａ１，ａ２が算出され、第２指標算出部７２１により、割合算出部７１２において算出された第２の占有率に、撮影条件に応じて予め設定された第３の係数が乗算され、撮影シーンを特定する指標としての第３の指標ａ３が算出される（ステップＳ３３）。
【００９５】
表３に、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す第１の指標ａ１を算出するために必要な第１の係数を分割領域別に示す。表３に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表３】
2006319714.tif 000005
【００９６】
図１１に、明度（V）−色相（H）平面を示す。表３によると、図１１において高明度の肌色色相領域に分布する領域（r1）から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域（r2）から算出される第１の占有率には、負（−）の係数が用いられる。図１２は、肌色領域（H1）における第１の係数と、その他の領域（緑色色相領域（H3））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図１２によると、高明度（V＝170〜224）の領域では、肌色領域（H1）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（H3））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
【００９７】
明度領域vi、色相領域Hjにおける第１の係数をCijとすると、第１の指標ａ１を算出するためのHk領域の和は、式（３）のように定義される。
【数１】
2006319714.tif 000006
従って、H1〜H4領域の和は、下記の式（３−１）〜（３−４）のように表される。
H1領域の和＝R11×(-44.0)＋R21×(-16.0)＋（中略）...＋R71×(-11.3) …（３−１）
H2領域の和＝R12×0.0＋R22×8.6＋（中略）...＋R72×(-11.1) …（３−２）
H3領域の和＝R13×0.0＋R23×(-6.3)＋（中略）...＋R73×(-10.0) …（３−３）
H4領域の和＝R14×0.0＋R24×(-1.8)＋（中略）...＋R74×(-14.6) …（３−４）
【００９８】
第１の指標ａ１は、式（３−１）〜（３−４）で示されたH1〜H4領域の和を用いて、式（４）のように定義される。
ａ１＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋4.424 …（４）
【００９９】
表４に、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す第２の指標ａ２を算出するために必要な第２の係数を分割領域別に示す。表４に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表４】
2006319714.tif 000007
【０１００】
図１３に、明度（V）−色相（H）平面を示す。表４によると、図１３において肌色色相領域の中間明度に分布する領域（r4）から算出される第１の占有率には負（−）の係数が用いられ、肌色色相領域の低明度（シャドー）領域（r3）から算出される第１の占有率には正（＋）の係数が用いられる。図１４は、肌色領域（H1）における第２の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表４及び図１４によると、肌色色相領域の、明度値が85〜169（v4）の中間明度領域の第２の係数の符号は負（−）であり、明度値が26〜84（v2,v3）の低明度（シャドー）領域の第２の係数の符号は正（＋）であり、両領域での係数の符号が異なっていることがわかる。
【０１０１】
明度領域vi、色相領域Hjにおける第２の係数をDijとすると、第２の指標ａ２を算出するためのHk領域の和は、式（５）のように定義される。
【数２】
2006319714.tif 000008
従って、H1〜H4領域の和は、下記の式（５−１）〜（５−４）のように表される。
H1領域の和＝R11×(-27.0)＋R21×4.5＋（中略）...＋R71×(-24.0) …（５−１）
H2領域の和＝R12×0.0＋R22×4.7＋（中略）...＋R72×(-8.5)   …（５−２）
H3領域の和＝R13×0.0＋R23×0.0＋（中略）...＋R73×0.0 …（５−３）
H4領域の和＝R14×0.0＋R24×(-5.1)＋（中略）...＋R74×7.2 …（５−４）
【０１０２】
第２の指標ａ２は、式（５−１）〜（５−４）で示されたH1〜H4領域の和を用いて、式（６）のように定義される。
ａ２＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋1.554 …（６）
第１及び第２の指標ａ１，ａ２は、画像データの明度と色相との分布量に基づいて算出されるため、画像データがカラー画像である場合の撮影シーンの判別に有効である。
【０１０３】
次いで、表５に、第３の指標ａ３を算出するために必要な第３の係数を分割領域別に示す。表５に示された各分割領域の係数は、表２に示した各分割領域の第２の占有率Qijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
【表５】
2006319714.tif 000009
図１５は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【０１０４】
明度領域vi、画面領域njにおける第３の係数をEijとすると、第３の指標ａ３を算出するためのnk領域（画面領域nk）の和は、式（７）のように定義される。
【数３】
2006319714.tif 000010
従って、n1〜n4領域の和は、下記の式（７−１）〜（７−４）のように表される。
n1領域の和＝Q11×40.1＋Q21×37.0＋（中略）...＋Q71×22.0  …（７−１）
n2領域の和＝Q12×(-14.8)＋Q22×(-10.5)＋（中略）...＋Q72×0.0 …（７−２）
n3領域の和＝Q13×24.6＋Q23×12.1＋（中略）...＋Q73×10.1  …（７−３）
n4領域の和＝Q14×1.5＋Q24×(-32.9)＋（中略）...＋Q74×(-52.2) …（７−４）
【０１０５】
第３の指標ａ３は、式（７−１）〜（７−４）で示されたn1〜n4領域の和を用いて、式（８）のように定義される。
ａ３＝n1領域の和＋n2領域の和＋n3領域の和＋n4領域の和−12.6201 …（８）
第３の指標ａ３は、画像データの明度の分布位置による構図的な特徴（画像データの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
【０１０６】
次いで、図７において、第３指標算出部７２２により、撮影シーンを特定する指標としての第４の指標ａ４を算出する第４の指標算出処理が実行される（ステップＳ３４）。
【０１０７】
図１６に、シーン判別処理中の第４の指標算出処理の流れを示す。第４の指標算出処理では、図１６に示すように、まず、第３指標算出部７２２により、画像データのＲＧＢ値から、上記式（１）を用いて輝度Yが算出され、画像データの画面中央部における肌色の平均輝度値x1が算出される（ステップＳ３４１）。そして、第３指標算出部７２２により、画像データの画像の最大輝度値と平均輝度値との差分値x2が算出される（ステップＳ３４２）。最大輝度値と平均輝度値との差分値x2は、次式（９）のように表される。
x2＝Ymax−Yave  …(９)
【０１０８】
そして、第３指標算出部７２２により、画像データの輝度標準偏差x3が算出される（ステップＳ３４３）。そして、第３指標算出部７２２により、画像データの画面中央部における平均輝度値x4が算出される（ステップＳ３４４）。そして、第３指標算出部７２２により、画像データの画像の肌色最大輝度値及び肌色最小輝度値の差分値と、肌色平均輝度値と、の比較値x5が算出される（ステップＳ３４５）。画像の肌色最大輝度値及び肌色最小輝度値の差分値と肌色平均輝度値との比較値x5は、次式（１０）のように表される。
x5＝（Yskin_max−Yskin_min）／２−Yskin_ave …(１０)
【０１０９】
そして、第３指標算出部７２２により、画面中央部における肌色の平均輝度値x1、画像の最大輝度値と平均輝度値との差分値x2、輝度標準偏差x3、画面中央部における平均輝度値x4、画像の肌色最大輝度値及び肌色最小輝度値の差分値と肌色平均輝度値との比較値x5の各々に、撮影条件に応じて予め設定された第４の係数が乗算されて和がとられることにより第４の指標ａ４が算出され（ステップＳ３４６）、第４の指標算出処理が終了する。
【０１１０】
第４の指標ａ４は、式（１１）のように定義される。
ａ４＝0.06×x1＋1.13×x2＋0.02×x3＋(-0.01)×x4＋0.03×x5−6.50  …（１１）
第４の指標ａ４は、画像データの画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特にストロボ撮影シーン及びアンダー撮影シーンの判別に有効である。
【０１１１】
次いで、図７において、第３指標算出部７２２により、撮影シーンを特定する指標としての第５の指標ａ５及び第６の指標ａ６が算出される（ステップＳ３５）。
【０１１２】
ここで、画像データの画面中央部における肌色の平均輝度値を第４’の指標ａ４’とする。ここでの画面中央部とは、例えば、図１０の領域ｎ２、領域ｎ３及び領域ｎ４から構成される領域である。第５の指標ａ５は、第１の指標ａ１、第３の指標ａ３及び第４’の指標ａ４’を用いて式（１２）のように定義され、第６の指標ａ６は、第２の指標ａ２、第３の指標ａ３、第４’の指標ａ４’を用いて式（１３）のように定義される。
ａ５＝0.46×ａ１＋0.61×ａ３＋0.01×ａ４’−0.79  …（１２）
ａ６＝0.58×ａ２＋0.18×ａ３＋(-0.03)×ａ４’＋3.34  …（１３）
ここで、式（１２）、（１３）において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
【０１１３】
そして、図７において、シーン判別実行部７１４により、指標算出部７１３において算出された第４の指標ａ４、第５の指標ａ５、第６の指標ａ６の値に基づいて、画像データの撮影シーンが判別され（ステップＳ３６）、シーン判別処理が終了する。以下、撮影シーンの判別方法について説明する。
【０１１４】
図１７（ａ）は、順光、逆光、ストロボの各光源条件で６０枚ずつ撮影し、合計１８０枚のデジタル画像データについて、第５の指標ａ５、第６の指標ａ６を算出し、各光源条件での第５の指標ａ５、第６の指標ａ６の値をプロットしたものである。図１７（ａ）によれば、第５の指標ａ５の値が０．５より大きい場合、ストロボ撮影シーンが多く、第５の指標ａ５の値が０．５以下で、第６の指標ａ６の値が−０．５より大きい場合、逆光撮影シーンが多く、第５の指標ａ５の値が０．５以下で、第６の指標ａ６の値が−０．５以下の場合、順光撮影シーンが多いことがわかる。このように第５の指標ａ５、第６の指標ａ６の値により撮影シーンを定量的に判別することができる。
【０１１５】
順光、逆光、ストロボの各撮影シーンを判別できる第５の指標ａ５、第６の指標ａ６に、さらに、第４の指標ａ４を加えることで、３次元的に撮影シーンが判別可能となり、撮影シーンの判別精度を一層向上させることが可能となる。第４の指標ａ４は、特に、画像全体を暗くする階調補正が行われるストロボ撮影シーンと、画像全体を明るくする階調補正が行われるアンダー撮影シーンとを判別するのに有効である。
【０１１６】
図１７（ｂ）は、ストロボ撮影シーンとアンダー撮影シーンとの画像データ各６０枚のうち、第５の指標ａ５が０．５より大きい画像データの第４の指標ａ４及び第５の指標ａ５を算出しプロットしたものである。図１７（ｂ）によれば、第４の指標ａ４の値が０より大きい場合、ストロボ撮影シーンが多く、第４の指標ａ４の値が０以下の場合、アンダー撮影シーンが多いことがわかる。表６に、第４の指標ａ４〜第６の指標ａ６の値による撮影シーンの判別内容を示す。
【表６】
2006319714.tif 000011
【０１１７】
そして、図６において、階調補正方法決定部７３０により、ステップＳ３で判別された撮影シーンのシーン判別結果に基づいて、画像データに対する階調補正方法が決定され、階調補正パラメータ算出部７３１により、指標算出部７１３において算出された指標に基づいて、階調補正に必要なパラメータ（階調補正パラメータ）が算出され、第１の階調補正量決定部７３２により、その算出された階調補正パラメータに基づいて第１の階調補正量が決定される（ステップＳ４）。
【０１１８】
階調補正方法の決定は、図１８に示すように、撮影シーンが順光である場合は階調補正方法Ａ（図１８（ａ））が選択され、逆光である場合は階調補正方法Ｂ（図１８（ｂ））が選択され、ストロボである場合は階調補正方法Ｃ（図１８（ｃ））が選択され、アンダーである場合は階調補正方法Ｂ（図１８（ｂ））が選択される。
【０１１９】
以下、ステップＳ４において算出される階調補正パラメータの算出方法について説明する。なお、以下では、8bitの画像データは16bitへと事前に変換されているものとし、画像データの値の単位は16bitであるものとする。
【０１２０】
階調補正に必要なパラメータ（階調補正パラメータ）として、下記のP1〜P9のパラメータが算出される。
P1：撮影画面全体の平均輝度
P2：ブロック分割平均輝度
P3：肌色領域（H1）の平均輝度
P4：第１の輝度補正値＝P1−P2
P5：再現目標修正値＝輝度再現目標値(30360)−P4
P6：第１のオフセット値＝P5−P1
P7：第１のキー補正値
P7’：第２のキー補正値
P8：第２の輝度補正値
P9：第２のオフセット値＝P5−P8−P1
【０１２１】
ここで、図１９及び図２０を参照して、パラメータP2の算出方法について説明する。まず、画像データを正規化するために、ＣＤＦ（累積密度関数）を作成する。次いで、得られたＣＤＦから最大値と最小値を決定する。この最大値と最小値は、ＲＧＢ毎に求める。ここで、求められたＲＧＢ毎の最大値と最小値を、それぞれ、Rmax、Rmin、Gmax、Gmin、Bmax、Bminとする。
【０１２２】
次いで、画像データの任意の画素（Rx，Gx，Bx）に対する正規化画像データを算出する。ＲプレーンにおけるRxの正規化データをRpoint、ＧプレーンにおけるGxの正規化データをGpoint、ＢプレーンにおけるBxの正規化データをBpointとすると、正規化データRpoint、Gpoint、Bpointは、それぞれ、式（１４）〜（１６）のように表される。
Rpoint＝｛（Rx−Rmin）／（Rmax−Rmin）｝×65535 …（１４）
Gpoint＝｛（Gx−Gmin）／（Gmax−Gmin）｝×65535 …（１５）
Bpoint＝｛（Bx−Bmin）／（Bmax−Bmin）｝×65535 …（１６）
次いで、式（１７）により画素（Rx，Gx，Bx）の輝度Npointを算出する。
Npoint＝（Bpoint＋Gpoint＋Rpoint）／３  …（１７）
【０１２３】
図１９（ａ）は、正規化する前のＲＧＢ画素の輝度の度数分布（ヒストグラム）である。図１９（ａ）において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、ＲＧＢ毎に作成する。輝度のヒストグラムが作成されると、式（１４）〜（１６）により、画像データに対し、プレーン毎に正規化を行う。図１９（ｂ）は、式（１７）により算出された輝度のヒストグラムを示す。画像データが65535で正規化されているため、各画素は、最大値が65535で最小値が０の間で任意の値をとる。
【０１２４】
図１９（ｂ）に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図１９（ｃ）に示すような度数分布が得られる。図１９（ｃ）において、横軸はブロック番号（輝度）、縦軸は頻度である。
【０１２５】
次いで、図１９（ｃ）に示された輝度ヒストグラムから、ハイライト、シャドー領域を削除する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇のシーンでは平均輝度は非常に低くなっているため、ハイライト、シャドー領域は、平均輝度制御に悪影響を与えてしまうことによる。そこで、図１９（ｃ）に示した輝度ヒストグラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少させる。図２０（ａ）（又は図１９（ｃ））に示す輝度ヒストグラムにおいて、高輝度領域（ハイライト領域）及び低輝度領域（シャドー領域）を削除すると、図２０（ｂ）のようになる。
【０１２６】
次いで、図２０（ｃ）に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分のデータが、撮影画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じやすいことによる。そこで、図２０（ｃ）に示すように、輝度ヒストグラムにおいて、閾値以上の画素数を制限する。図２０（ｄ）は、画素数の制限処理を行った後の輝度ヒストグラムである。
【０１２７】
正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、更に、累積画素数を制限することによって得られた輝度ヒストグラム（図２０（ｄ））の各ブロック番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータP2である。
【０１２８】
パラメータP1は、画像データ全体の輝度の平均値であり、パラメータP3は、画像データのうち肌色領域（H1）の輝度の平均値である。パラメータP7の第１のキー補正値、パラメータP7’の第２のキー補正値、パラメータP8の第２の輝度補正値は、それぞれ、式（１８）〜（２０）のように定義される。
P7（第１のキー補正値）＝｛P3−（（ａ６／6）×18000＋22000）｝／24.78 …（１８）
P7’（第２のキー補正値）＝｛P3−（（ａ４／6）×10000＋30000）｝／24.78 …（１９）
P8（第２の輝度補正値）＝（ａ５／6）×17500 …（２０）
【０１２９】
算出された階調補正パラメータに基づく、画像データに対する第１の階調補正量の決定では、具体的には、決定された階調補正方法に対応して予め設定された複数の階調補正曲線の中から、算出された階調補正パラメータに対応する階調補正曲線が選択（決定）される。なお、算出された階調補正パラメータに基づいて、階調補正曲線（階調補正量）を算出するようにしてもよい。
【０１３０】
以下、各撮影シーンの階調補正曲線の決定方法について説明する。
＜順光の場合＞
撮影シーンが順光である場合、パラメータP1をP5と一致させるオフセット補正（8bit値の平行シフト）を次式（２１）により行う。
出力画像のＲＧＢ値＝入力画像のＲＧＢ値＋P6  …（２１）
従って、撮影シーンが順光の場合、図１８（ａ）に示す複数の階調補正曲線の中から、式（２１）に対応する階調補正曲線が選択される。又は、式（２１）に基づいて階調補正曲線を算出（決定）してもよい。
【０１３１】
＜逆光の場合＞
撮影シーンが逆光である場合、図１８（ｂ）に示す複数の階調補正曲線の中から、式（１８）に示すパラメータP7（第１のキー補正値）に対応する階調補正曲線を選択する。図１８（ｂ）の階調補正曲線の具体例を図２１に示す。パラメータP7の値と、選択される階調補正曲線の対応関係を以下に示す。
−50 ＜ P7 ＜ ＋50 の場合 → Ｌ３
＋50 ≦ P7 ＜ ＋150 の場合 → Ｌ４
＋150 ≦ P7 ＜ ＋250 の場合 → Ｌ５
−150 ＜ P7 ≦ −50 の場合 → Ｌ２
−250 ＜ P7 ≦ −150 の場合 → Ｌ１
なお、撮影シーンが逆光の場合、この階調補正処理とともに、覆い焼き処理を併せて行うことが好ましい。この場合、逆光度を示す第５の指標ａ５に応じて覆い焼き処理の程度も調整されることが望ましい。
【０１３２】
＜アンダーの場合＞
撮影シーンがアンダーである場合、図１８（ｂ）に示す複数の階調補正曲線の中から、式（１９）に示すパラメータP7’（第２のキー補正値）に対応する階調補正曲線が選択される。具体的には、撮影シーンが逆光の場合の階調補正曲線の選択方法と同様に、図２１に示す階調補正曲線の中から、パラメータP7’の値に対応した階調補正曲線が選択される。なお、撮影シーンがアンダーである場合は、逆光の場合に示したような覆い焼き処理は行わない。
【０１３３】
＜ストロボの場合＞
撮影シーンがストロボである場合、オフセット補正（8bit値の平行シフト）を次式（２２）により行う。
出力画像のＲＧＢ値＝入力画像のＲＧＢ値＋P9  …（２２）
従って、撮影シーンがストロボの場合、図１８（ｃ）に示す複数の階調補正曲線の中から、式（２２）に対応する階調補正曲線が選択される。又は、式（２２）に基づいて階調補正曲線を算出（決定）してもよい。なお、式（２２）のパラメータP9の値が、予め設定された所定値αを上回った場合、図２１に示す曲線Ｌ１〜Ｌ５の中から、キー補正値がP9−αに対応する曲線を選択する。
【０１３４】
本実施の形態では、実際に画像データに対して階調補正処理を施す場合、上述の各画像処理条件を16bitから8bitへ変更するものとする。
【０１３５】
なお、順光、逆光、ストロボ間で階調補正方法が大きく異なる場合、撮影シーンの誤判別時の画質への影響が懸念されるため、順光、逆光、ストロボ間に、階調補正方法が緩やかに移行する中間領域を設定することが望ましい。
【０１３６】
次に、図６において、顔検出部７３３及び顔検出信頼度算出部７３４により、画像縮小部７０９で作成された縮小画像データを用いて顔検出処理が行われる（ステップＳ５）。
【０１３７】
図２２に、顔検出処理の流れを示す。図２２に示すように、顔検出部７３３により、縮小画像データが取得され（ステップＳ５１）、取得された縮小画像データに基づいて顔候補領域抽出処理が行われる（ステップＳ５２）。
【０１３８】
図２３に、顔候補領域抽出処理の流れを示す。まず、縮小画像データに対する低周波画像が作成される（ステップＳ５２１）。低周波画像の作成は、公知のローパスフィルターを用いて行うことも可能であるが、二項ウェーブレット変換によって得られる低周波成分を用いて行うことが好ましい。
【０１３９】
次に、ステップＳ５２１で作成された低周波画像に対し、肌色を表す画像信号を識別して抽出するための抽出条件を一つ用いて、当該抽出条件を満たす画像信号の画素の中から初期画素（一又は複数の画素によって成る。）が特定される（ステップＳ５２２）。そして、初期画素から単純領域拡張方法を用いて肌色領域が抽出される。上記抽出条件は予め設定されており、データ蓄積手段７１や制御部７の内蔵メモリ等に格納されているものとする。
【０１４０】
この抽出条件は、予め決められたＲＧＢ値に基づいて設定されるものであってもよいし、ユーザが画像上の点（画素）をマウス等で指定し、当該指定された画素の画像信号に基づいて設定されるものであってもよい。この際、人物の肌色は略同一の光源下では一定範囲内の色相（Hue）、彩度（Saturation）を有するため、初期画素は、色相及び彩度を規定した条件に基づいて選択されることが好ましい。また、色相、彩度を規定した条件は、撮影時の光源種により変更されることが好ましく、更に、撮影時の光源種は公知の方法により自動的に判別されることが好ましい。
【０１４１】
次に、隣接画素間の画像信号の差が順次比較され（ステップＳ５２３）、隣接画素の画像信号が抽出条件を満たしているか否かが判定される（ステップＳ５２４）。隣接画素の画像信号が抽出条件を満たしている場合には（ステップＳ５２４；ＹＥＳ）、当該隣接画素が同一の顔候補領域に含められる（ステップＳ５２５）。ここで、顔候補領域に含められた画素について、それぞれの位置を表す情報（画素を識別するための情報）がデータ蓄積手段７１や制御部７の内蔵メモリ等に順次蓄積されていく。
【０１４２】
そして、ステップＳ５２５の後、ステップＳ５２３に移行して、上記処理が繰り返し行われる。その過程で、ステップＳ５２４の段階で隣接画素の画像信号が抽出条件を満たさない場合には（ステップＳ５２４；ＮＯ）、単純領域拡張を用いた顔候補領域の抽出処理が終了する。また、予め画像のエッジを抽出しておき、エッジ部分で領域拡張を終了することとしてもよい。
【０１４３】
ここで、目や口等は、顔候補領域中に形成されているにもかかわらず単純領域拡張された肌色領域の一部としては抽出されない。目や口は肌色領域内で閉領域として含まれているため、閉領域が単純領域拡張された肌色領域の一部として含まれている場合には、当該閉領域を当該肌色領域に含めるように処理することが好ましく、これにより、目や口等も単純領域拡張された肌色領域に含ませて抽出可能となる。
【０１４４】
なお、顔候補領域の抽出方法については、画像からエッジを抽出して楕円等の特定の形状パターンを抽出する方法、パターンマッチングを利用する方法、又はこれらを組み合わせた方法等を用いることができる。
【０１４５】
次に、図２２において、顔候補領域から目候補画素及び口候補画素が抽出され、顔候補領域に対する目及び口の面積率が算出される（ステップＳ５３）。目候補画素及び口候補画素の抽出は、顔候補領域の画像を表す画像信号を輝度信号と色情報信号とに変換し、輝度信号を用いて抽出したエッジ（輪郭）を示すエッジ情報と色情報信号とを併用して行うことが好ましい。目及び口の面積率とは、目候補画素及び口候補画素が顔候補領域を構成する画素数に対してどの程度の比率を占めるかを示したパラメータである。例えば、一番簡易なものでは、下記式（２３）により求められる。
面積率＝（抽出した目又は口の画素数）／（顔候補領域を構成する画素数）…（２３）
【０１４６】
次に、顔候補領域の円形度及びアスペクト比が算出される（ステップＳ５４）。
【０１４７】
次に、目及び口の面積率、円形度、アスペクト比等の顔候補領域の特性値を入力パラメータとして、当該顔候補領域が顔であるか否かを判定するためのニューラルネットワークにより顔領域が検出される（ステップＳ５５）。
【０１４８】
そして、顔検出信頼度算出部７３４により、顔検出信頼度が算出され（ステップＳ５６）、顔検出処理が終了する。
【０１４９】
次に、図６において、第２の階調補正量決定部７３５により、顔検出部７３３により検出された顔領域の平均輝度値が算出され、算出された平均輝度値と目標輝度値との差分値に基づいて第２の階調補正量が決定される（ステップＳ６）。
【０１５０】
次に、第３の階調補正量決定部７３６により、顔検出信頼度に基づいて、第１の階調補正量及び第２の階調補正量が重み付け平均され、第３の階調補正量が決定される（ステップＳ７）。第１の階調補正量、第２の階調補正量に対する重みをそれぞれW１，W２（０≦W１≦１，W２＝１−W１）とすると、第３の階調補正量は、下記式（２４）のように表される。
第３の階調補正量＝W１×（第１の階調補正量）＋W２×（第２の階調補正量） …（２４）
【０１５１】
図２４に、第３の階調補正量を決定する際の重み付けの例を示す。ここでは、ニューラルネットワークにおける出力値を顔検出信頼度とし、出力値０．９以下を「絶対に顔ではない」と判定し、０．９〜１を段階的に「顔検出信頼度低」〜「顔検出信頼度高」としている。図２４（ａ）に示す重み付け例１は、顔検出信頼度に応じて重みW１，W２がリニアに変化する場合の例である。第２の階調補正量は顔領域の平均輝度に基づいて決定されるため、顔検出信頼度が高いほど第２の階調補正量に対する重みW２を高くしている。顔検出信頼度が低い場合には、第２の階調補正量に基づく補正が適正でないおそれがあるため、シーン判別結果に基づく第１の階調補正量に対する重みW１を高くしている。なお、第１の階調補正量、第２の階調補正量に対する重み付けはこれに限定されず、図２４（ｂ）に示す重み付け例２のように重みW１，W２を設定することとしてもよい。
【０１５２】
次に、画像処理実行部７３７により、ステップＳ４で決定された階調補正方法と、ステップＳ７で決定された第３の階調補正量とを用いて、元画像データに階調補正処理が施される（ステップＳ８）。そして、画像処理実行部７３７により、階調補正後の画像データに、ノイズ除去処理、鮮鋭強調処理等、その他の画像処理が施され（ステップＳ９）、画像処理が終了する。
【０１５３】
画像処理が施された画像データは、ＣＲＴ固有処理部７０５、プリント固有処理部（１）７０６、プリント固有処理部（２）７０７、画像データ書式作成処理部７０８を介して、ＣＲＴ８、露光処理部４、外部プリンタ３４、画像搬送部３１、通信手段（出力）３３に出力される。
【０１５４】
以上、本実施の形態によれば、顔検出信頼度に基づいて、シーン判別の結果に基づく第１の階調補正量と、顔領域の平均輝度に基づく第２の階調補正量と、の重み付けを変えるので、画像中の顔の有無にかかわらず、画像データに対して適切な階調補正を行うことができる。また、元画像データから画像サイズを縮小した縮小画像データを用いてシーン判別処理及び顔検出処理を行うことにより、処理時間を短縮することができる。
【０１５５】
また、画像データの撮影シーンを定量的に示す第１、第２、第３及び第４の指標ａ１，ａ２，ａ３，ａ４を算出し、それらの指標に基づいて画像データの撮影シーンを判別するので、画像データの撮影シーンを正確に特定することができる。
【０１５６】
なお、上記実施の形態における記述は、本発明に係る画像処理方法、画像処理装置及び画像処理プログラムの一例を示すものであるが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲で適宜変更可能である。
【０１５７】
例えば、上記実施の形態では、シーン判別処理及び顔検出処理において、縮小画像データを用いることとしたが、元画像データを用いることとしてもよい。
【図面の簡単な説明】
【０１５８】
【図１】本発明の実施の形態における画像処理装置１の概観構成を示す斜視図である。
【図２】画像処理装置１の内部構成を示すブロック図である。
【図３】画像処理装置１の画像処理部７０の機能的構成を示すブロック図である。
【図４】画像調整処理部７０４の内部構成を示すブロック図である。
【図５】（ａ）はシーン判別部７１０の内部構成を示すブロック図であり、（ｂ）は割合算出部７１２の内部構成を示すブロック図であり、（ｃ）は占有率演算部７１７の内部構成を示すブロック図であり、（ｄ）は指標算出部７１３の内部構成を示すブロック図である。
【図６】画像調整処理部７０４において実行される画像処理を示すフローチャートである。
【図７】画像処理中のシーン判別処理を示すフローチャートである。
【図８】シーン判別処理中の第１の占有率算出処理を示すフローチャートである。
【図９】シーン判別処理中の第２の占有率算出処理を示すフローチャートである。
【図１０】画像データの画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図である。
【図１１】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ１及び領域ｒ２を示す図である。
【図１２】第１の指標ａ１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。
【図１３】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ３及び領域ｒ４を示す図である。
【図１４】第２の指標ａ２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。
【図１５】第３の指標ａ３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図である。
【図１６】シーン判別処理中の第４の指標算出処理を示すフローチャートである。
【図１７】（ａ）は、撮影シーンと第５の指標ａ５、第６の指標ａ６の関係を示すプロット図である。（ｂ）は、撮影シーンと第４の指標ａ４、第５の指標ａ５の関係を示すプロット図である。
【図１８】各階調補正方法に対応する階調補正曲線を示す図である。
【図１９】（ａ）は輝度の度数分布（ヒストグラム）を示す図であり、（ｂ）は正規化されたヒストグラムを示す図であり、（ｃ）はブロック分割されたヒストグラムを示す図である。
【図２０】（ａ）及び（ｂ）は、輝度のヒストグラムからの低輝度領域及び高輝度領域の削除を説明する図であり、（ｃ）及び（ｄ）は、輝度の頻度の制限を説明する図である。
【図２１】撮影シーンが逆光である場合の画像処理条件（階調補正条件）を表す階調補正曲線を示す図である。
【図２２】画像処理中の顔検出処理を示すフローチャートである。
【図２３】顔検出処理中の顔候補領域抽出処理を示すフローチャートである。
【図２４】第３の階調補正量を決定する際の重み付けの例を示すグラフである。
【符号の説明】
【０１５９】
１  画像処理装置
４  露光処理部
５  プリント作成部
７  制御部
８  ＣＲＴ
９  フィルムスキャナ部
１０  反射原稿入力装置
１１  操作部
１４  画像読込部
１５  画像書込部
３０  画像転送手段
３１  画像搬送部
３２  通信手段（入力）
３３  通信手段（出力）
３４  外部プリンタ
７０  画像処理部
７０１  フィルムスキャンデータ処理部
７０２  反射原稿スキャンデータ処理部
７０３  画像データ書式解読処理部
７０４  画像調整処理部
７０５  ＣＲＴ固有処理部
７０６  プリンタ固有処理部（１）
７０７  プリンタ固有処理部（２）
７０８  画像データ書式作成処理部
７０９  画像縮小部
７１０  シーン判別部
７１２  割合算出部
７１３  指標算出部
７１４  シーン判別実行部
７１５  表色系変換部
７１６  ヒストグラム作成部
７１７  占有率演算部
７１８  第１占有率算出部
７１９  第２占有率算出部
７２０  第１指標算出部
７２１  第２指標算出部
７２２  第３指標算出部
７３０  階調補正方法決定部
７３１  階調補正パラメータ算出部
７３２  第１の階調補正量決定部
７３３  顔検出部
７３４  顔検出信頼度算出部
７３５  第２の階調補正量決定部
７３６  第３の階調補正量決定部
７３７  画像処理実行部
７１  データ蓄積手段
【図１】
2006319714.tif 000012
【図２】
2006319714.tif 000013
【図３】
2006319714.tif 000014
【図４】
2006319714.tif 000015
【図５】
2006319714.tif 000016
【図６】
2006319714.tif 000017
【図７】
2006319714.tif 000018
【図８】
2006319714.tif 000019
【図９】
2006319714.tif 000020
【図１０】
2006319714.tif 000021
【図１１】
2006319714.tif 000022
【図１２】
2006319714.tif 000023
【図１３】
2006319714.tif 000024
【図１４】
2006319714.tif 000025
【図１５】
2006319714.tif 000026
【図１６】
2006319714.tif 000027
【図１７】
2006319714.tif 000028
【図１８】
2006319714.tif 000029
【図１９】
2006319714.tif 000030
【図２０】
2006319714.tif 000031
【図２１】
2006319714.tif 000032
【図２２】
2006319714.tif 000033
【図２３】
2006319714.tif 000034
【図２４】
2006319714.tif 000035