(57)【要約】【課題】デジタルカメラで撮影した人物画像を表示、印刷する画像処理装置を用いて自動的に画像データを補正して最適な特性の人物画像を出力することができる画像処理装置、画像処理方法、その記録媒体およびそのプログラムを提供する。【解決手段】画像取得処理部１３は、人物を含む画像の画像データを記録した記録媒体から画像データを取得する。顔領域抽出処理部１４は、画像取得処理部１３が取得した画像データから人物の顔領域を抽出する。画像特徴量算出部１５は、画像データから顔領域抽処理部１４が抽出した顔領域の画像特徴量を算出する。補正効果推定処理部１６は、画像特徴量算出部１５が算出した画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定する。画像補正処理部１７は、補正効果推定処理部１６が補正効果を得られると推定した場合に、画像特徴量に基づき画像データの特性を補正する。【選択図】　図１
2004062651.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記録した記録媒体から前記画像データを取得する画像取得手段と、
前記画像取得手段が取得した前記画像データから前記人物の顔領域を抽出する顔領域抽出手段と、
前記画像データから前記顔領域抽出手段が抽出した前記顔領域の画像特徴量を算出する画像特徴量算出手段と、
前記画像特徴量算出手段が算出した前記画像特徴量を基に前記画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する補正効果推定手段と、
前記補正効果推定手段が前記第一の推定結果で補正効果を得られると推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力する画像補正手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記画像データを撮影する撮影装置は複数種類の撮影モードを有し、前記撮影モードの内の一つに人物を撮影するのに最適な人物モードを含み、前記記録媒体に前記画像データと共に前記撮影モードに関する情報を含む撮影情報が記録されている場合に、前記画像取得手段は、前記記録媒体から前記画像データと共に前記撮影情報を取得し、
前記画像取得手段が取得した前記撮影情報に含まれる前記撮影モードが前記人物モードであるか否かを判別する撮影モード判別手段と、
前記撮影モード判別手段が前記人物モードと判別した場合にのみ、前記顔領域抽出手段と、前記画像特徴量算出手段と、前記補正効果推定手段と、前記画像補正手段とによる前記画像データの補正処理を行うよう制御する補正処理制御手段と
を更に具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴量算出手段は前記画像特徴量として少なくとも前記顔領域の面積を算出し、
前記補正効果推定手段は、前記画像特徴量算出手段の算出した前記顔領域の面積から前記補正効果を推定し前記第一の推定結果を出力すること
を特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記補正効果推定手段が前記第一の推定結果で補正効果を得られると推定した場合に、前記顔領域の画像特徴量を用いて、前記顔領域の特性を補正して補正後顔領域データを出力する顔領域補正手段を更に具備し、
前記画像特徴量算出手段は、前記顔領域補正手段が出力する前記補正後顔領域データの画像特徴量である補正後画像特徴量を更に算出し、
前記補正効果推定手段は、前記画像特徴量算出手段が同一の前記顔領域より算出した補正前の前記画像特徴量と補正後の前記補正後画像特徴量とを比較して補正することで補正効果が得られるか否かを更に推定して第二の推定結果を出力し、
前記画像補正手段は、前記補正効果推定手段が第二の推定結果で補正効果を得られると更に推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力すること
を特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像特徴量および前記補正後画像特徴量は、前記顔領域の画素データの統計的な分布であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画素データの統計的な分布は、各画素の明度または色相の分布を示す明度ヒストグラムまたは色相ヒストグラムであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像補正手段は、前記顔領域補正手段が補正に用いたパラメータを用いて前記画像データの特性を補正することを特徴とする請求項４から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
画像データを記録した記録媒体から前記画像データを取得する第一のステップと、
前記第一のステップで取得した前記画像データから前記人物の顔領域を抽出する第二のステップと、
前記画像データから前記第二のステップで抽出した前記顔領域の画像特徴量を算出する第三のステップと、
前記第三のステップで算出した前記画像特徴量を基に前記画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する第四のステップと、
前記第四のステップが前記第一の推定結果で補正効果を得られると推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力する第五のステップと
を有することを特徴とする画像処理方法。
【請求項９】
前記第四のステップで前記第一の推定結果において補正効果を得られると推定した場合に、前記顔領域の画像特徴量を用いて、前記顔領域の特性を補正して補正後顔領域データを出力する顔領域補正ステップと、
前記顔領域補正ステップで出力する前記補正後顔領域データの画像特徴量である補正後画像特徴量を算出する特徴量算出ステップと、
前記第二のステップおよび前記特徴量算出ステップにより同一の前記顔領域より算出した補正前の前記画像特徴量と補正後の前記補正後画像特徴量とを比較して補正することで補正効果が得られるか否かを更に推定して第二の推定結果を出力する補正効果推定ステップと
を更に有し、
前記第五のステップは、前記補正効果推定ステップで出力した前記第二の推定結果において前記補正効果を得られると推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力する
ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
画像データを記録した記録媒体から前記画像データを取得する第一のステップと、
前記第一のステップで取得した前記画像データから前記人物の顔領域を抽出する第二のステップと、
前記画像データから前記第二のステップで抽出した前記顔領域の画像特徴量を算出する第三のステップと、
前記第三のステップで算出した前記画像特徴量を基に前記画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する第四のステップと、
前記第四のステップが前記第一の推定結果で補正効果を得られると推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力する第五のステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
前記第四のステップで前記第一の推定結果において補正効果を得られると推定した場合に、前記顔領域の画像特徴量を用いて、前記顔領域の特性を補正して補正後顔領域データを出力する顔領域補正ステップと、
前記顔領域補正ステップで出力する前記補正後顔領域データの画像特徴量である補正後画像特徴量を算出する特徴量算出ステップと、
前記第二のステップおよび前記特徴量算出ステップにより同一の前記顔領域より算出した補正前の前記画像特徴量と補正後の前記補正後画像特徴量とを比較して補正することで補正効果が得られるか否かを更に推定して第二の推定結果を出力する補正効果推定ステップと、
前記補正効果推定ステップで出力した前記第二の推定結果において前記補正効果を得られると推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力する出力ステップと
を更にコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な請求項１０に記載の記録媒体。
【請求項１２】
画像データを記録した記録媒体から前記画像データを取得する第一のステップと、
前記第一のステップで取得した前記画像データから前記人物の顔領域を抽出する第二のステップと、
前記画像データから前記第二のステップで抽出した前記顔領域の画像特徴量を算出する第三のステップと、
前記第三のステップで算出した前記画像特徴量を基に前記画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する第四のステップと、
前記第四のステップが前記第一の推定結果で補正効果を得られると推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力する第五のステップと
をコンピュータに実行させるためのプログラム。
【請求項１３】
前記第四のステップで前記第一の推定結果において補正効果を得られると推定した場合に、前記顔領域の画像特徴量を用いて、前記顔領域の特性を補正して補正後顔領域データを出力する顔領域補正ステップと、
前記顔領域補正ステップで出力する前記補正後顔領域データの画像特徴量である補正後画像特徴量を算出する特徴量算出ステップと、
前記第二のステップおよび前記特徴量算出ステップにより同一の前記顔領域より算出した補正前の前記画像特徴量と補正後の前記補正後画像特徴量とを比較して補正することで補正効果が得られるか否かを更に推定して第二の推定結果を出力する補正効果推定ステップと、
前記補正効果推定ステップで出力した前記第二の推定結果において前記補正効果を得られると推定した場合に、前記画像特徴量に基づき前記画像データの特性を補正して補正後画像データを出力する出力ステップと
を更にコンピュータに実行させるための請求項１２に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデジタルカメラ等により撮影した画像の階調・色再現特性の補正を行う画像処理装置、画像処理方法、その記録媒体およびそのプログラムに関するものである。
【０００２】
【従来の技術】
従来、デジタルカメラで撮影した画像を、例えばＰＣ（パーソナルコンピュータ）に取り込み、そのままＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等のディスプレイに表示したり、インクジェットプリンタ等のプリンタに印刷したりする場合には、最適な特性（明るさ、色再現性など）の画像が出力できない場合があった。そして、デジタルカメラの露出制御や色処理の改良によって画像の特性の改善が行われている。例えば逆光で人物を撮影した場合に被写体の顔部分が暗くなったり、全体のホワイトバランスの調整によって人物の顔色が黄色くなったりすることがある。特に、人物画像においては上述した特性の改良が望まれている。また、人物の肌の領域における階調再現や色再現に関しては人間が好ましいと感じる特性に再現することが望まれている。
【０００３】
このような特定の被写体において好ましい色再現に画像データを補正する方法として以下に示す技術が開示されている。例えば特開２００１−９２９５６において各代表色を人間が好ましいと感じる色特性に変換する方法の第一提案が開示されている。また、特開２００１−２３８１７７において人物モードで撮影された画像データにおいて顔領域を抽出し、肌が美しく仕上がるように処理する方法の第二提案が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した第一提案においては、代表色を定めるために画像中から特定対象物の領域を指定する必要があり、操作が煩雑であるという問題があった。また、上述した第二提案においては、顔を含む画像に対して処理効果の期待できる画像と効果の期待できない画像があり、さらには逆効果（以下、副作用とする）となる画像も存在するという問題があった。以上に示したように、デジタルカメラで撮影した人物画像を表示、印刷する画像処理装置において、自動的に画像データを補正して最適な特性の人物画像を出力する機能に対する要望が高まっていた。
【０００５】
この発明は、上述した事情を考慮してなされたもので、デジタルカメラで撮影した人物画像を表示、印刷する画像処理装置を用いて自動的に画像データを補正して最適な特性の人物画像を出力することができる画像処理装置、画像処理方法、その記録媒体およびそのプログラムを提供することを目的とする。
また、デジタルカメラで撮影した人物画像を表示、印刷する画像処理装置を用いて自動的に画像データを補正する際に、補正処理による副作用を事前に排除して最適な特性の人物画像を出力することができる画像処理装置、画像処理方法、その記録媒体およびそのプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明による画像処理装置においては、画像データを記録した記録媒体から画像データを取得する画像取得手段と、画像取得手段が取得した画像データから人物の顔領域を抽出する顔領域抽出手段と、画像データから顔領域抽出手段が抽出した顔領域の画像特徴量を算出する画像特徴量算出手段と、画像特徴量算出手段が算出した画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する補正効果推定手段と、補正効果推定手段が第一の推定結果で補正効果を得られると推定した場合に、画像特徴量に基づき画像データの特性を補正して補正後画像データを出力する画像補正手段とを具備することを特徴とする。
【０００７】
また、本発明による画像処理方法においては、画像データを記録した記録媒体から画像データを取得する第一のステップと、第一のステップで取得した画像データから人物の顔領域を抽出する第二のステップと、画像データから第二のステップで抽出した顔領域の画像特徴量を算出する第三のステップと、第三のステップで算出した画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する第四のステップと、第四のステップが第一の推定結果で補正効果を得られると推定した場合に、画像特徴量に基づき画像データの特性を補正して補正後画像データを出力する第五のステップとを有することを特徴とする。
【０００８】
また、本発明による記録媒体は、画像データを記録した記録媒体から画像データを取得する第一のステップと、第一のステップで取得した画像データから人物の顔領域を抽出する第二のステップと、画像データから第二のステップで抽出した顔領域の画像特徴量を算出する第三のステップと、第三のステップで算出した画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する第四のステップと、第四のステップが第一の推定結果で補正効果を得られると推定した場合に、画像特徴量に基づき画像データの特性を補正して補正後画像データを出力する第五のステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０００９】
また、本発明によるプログラムは、画像データを記録した記録媒体から画像データを取得する第一のステップと、第一のステップで取得した画像データから人物の顔領域を抽出する第二のステップと、画像データから第二のステップで抽出した顔領域の画像特徴量を算出する第三のステップと、第三のステップで算出した画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定して第一の推定結果を出力する第四のステップと、第四のステップが第一の推定結果で補正効果を得られると推定した場合に、画像特徴量に基づき画像データの特性を補正して補正後画像データを出力する第五のステップとをコンピュータに実行させるためのプログラムである。
【００１０】
これにより、本発明の画像処理装置、画像処理方法、その記録媒体およびそのプログラムにおいては、画像データを記録した記録媒体から画像データを取得し、その画像データから人物の顔領域を抽出し、その顔領域の画像特徴量を算出し、その画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定し、補正効果が得られると推定した場合に、画像特徴量に基づき画像データの特性を補正するので、抽出した顔領域を基に人物画像の画像データを補正して最適な特性の人物画像を出力することができる。また、補正効果があると判断された場合にのみ画像データを補正するので、人物画像の画像データを補正する際に、補正処理による副作用を事前に排除して最適な特性の人物画像を出力することができる。
【００１１】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
また、以下に示す実施形態ではデジタルカメラで撮影し、記録媒体に記録した画像データをＰＣなどの画像処理装置にインストールされたアプリケーションプログラムで画像処理して、表示装置に画像データを表示し、プリンタで画像データを印刷する画像処理システムについて説明する。また、以下に示す実施形態における画像処理装置の処理として、特に人物モードで撮影された画像データ（被写体に人物が含まれている）の画像補正処理について説明する。
【００１２】
尚、人物モードとは、デジタルカメラが複数備える撮影モードの一つであり、人物を撮影するのに最適な自動制御（露光時間やホワイトバランス等の自動制御）を行う撮影モードである。尚、撮影モードの他の例としては、風景を撮影するのに最適な風景モードなどがある。また、以下に示す実施形態の画像処理装置は、人物を含む画像に対する画像補正処理の一例として人物の顔領域が適正な明るさの画像になるように補正する処理を行うが、この限りではない。
【００１３】
まず、本発明の一実施形態における画像処理装置の機能構成および画像処理装置を含む画像処理システムの概略構成について図を用いて説明する。図１は、本発明の一実施形態における画像処理装置の機能構成および画像処理装置を含む画像処理システムの概略構成を示すブロック図である。図１において、符号１は、画像処理システムであり、デジタルカメラで撮影した画像データが記録された記録媒体３より画像データを読み取り、画像処理を行う画像処理装置２と、画像処理装置２が処理した画像を表示する表示装置４と、画像処理装置２が処理した画像を印刷するプリンタ５とを具備する。
【００１４】
尚、記録媒体３は、デジタルカメラに着脱可能な記録媒体であって、画像データ等を記録する。これにより、画像処理装置は、この記録媒体とのインターフェースを備えることで画像データを読み取ることができる。また、表示装置４は、例えばＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）や液晶表示装置などである。また、図１には示していないが画像処理装置２は、キーボードやマウスなどの入力装置を具備する。
【００１５】
ここで、デジタルカメラが記録媒体へ画像データを記録する処理から、画像処理システム１が表示装置４やプリンタ５に画像出力を行うまでの処理について簡単に説明する。
【００１６】
まず、デジタルカメラにおいて、撮影した画像を記録媒体３に記録する。この時、記録媒体３に画像データとともに撮影情報も付帯情報として記録する。この撮影情報とは、例えば撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ＯＮ／ＯＦＦ、撮影モード等の情報である。また、記録媒体３に記録されている画像データは、通常ＪＰＥＧ等の所定のデータ形式で圧縮された圧縮画像データとして記録されている。次に、画像処理装置２は、その圧縮方式に対応した所定アルゴリズムにて記録媒体３より取得した圧縮画像データを伸長して、ＲＧＢデータで構成される二次元画素配列からなる画像データに展開する。次に、画像処理装置２は、展開した画像データを表示装置４に表示し、プリンタ５で印刷する。
【００１７】
次に、画像処理装置２の内部構成について説明する。
符号１０は、制御部であり、画像処理装置内の各処理部やデータの流れを制御する。１１は、記録媒体インターフェース部であり、記録媒体３よりデータを読み取ったり、記録媒体３へデータを書き込んだりする。具体的には、記録媒体インターベース部１１は、記録媒体３より画像データおよび撮像情報を読み取る。１２は、画像情報データベースであり、記録媒体インターフェース部１１が記録媒体３から読み出した画像データおよび撮像情報を“画像ファイル名”に関連付けて格納する。
【００１８】
ここで、画像情報データベース１２に格納する画像情報の構成例について説明する。図２は、図１に示した画像情報データベース１２に格納する画像情報の構成例を示す図である。図２に示すように、各画像データに固有のファイル名である“画像ファイル名”に関連付けて種々の情報を格納する。“画像データ”とは、“画像ファイル名”で特定されるＪＰＥＧ形式の画像データそのものである。“撮影情報”とは、上述したように、“画像ファイル名”で特定される画像データを撮影した時のデジタルカメラの状態に関する情報であり、撮影モード、撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ＯＮ／ＯＦＦ等の情報である。
【００１９】
“データ形式情報”とは、“画像ファイル名”で特定される画像データのデータ形式（ＪＰＥＧ形式など）や画像サイズや画素数（または解像度）などの情報である。“撮影日時情報”とは、“画像ファイル名”で特定される画像データを撮影した日時に関する情報である。“補正履歴情報”とは、“画像ファイル名”で特定される画像データを画像処理装置２で補正した履歴に関する情報である。“補正後画像データ”とは、画像ファイル名”で特定される画像データを画像処理装置２で補正した補正後画像データに関する情報である。
【００２０】
次に、画像処理装置２の構成の説明に戻る。
１３は、画像取得処理部（画像取得手段）であり、記録媒体インターフェース１１を介して人物を含む画像の画像データを記録した記録媒体３から画像データおよび上述した撮像情報を取得する。また、画像取得処理部１３が取得した画像データおよび撮像情報は、“画像ファイル名”に関連付けて画像情報データベース１２に格納される。１４は、顔領域抽出処理部（顔領域抽出手段）であり、画像取得処理部１３が取得した画像データから人物の顔領域を抽出する。尚、顔領域抽出処理部１４の詳細な処理については後述する。
【００２１】
１５は、画像特徴量算出部（画像特徴量算出手段）であり、画像データから顔領域抽出処理部１４が抽出した顔領域の画像特徴量を算出する。具体的には、画像特徴量算出部１５は、画像データを基に画像特徴量として肌色領域の画素の明度の分布や顔領域の面積を算出する。尚、画像特徴量算出部１５が処理する画像データは、画像取得処理部１３が取得した画像データに限らず、画像情報データベース１２に格納されている“画像データ”や“補正後画像データ”でもよい。
【００２２】
１６は、補正効果推定処理部（補正効果推定手段）であり、画像特徴量算出部１５が算出した画像特徴量を基に画像データの特性（明度、色相など）を補正することで補正効果が得られるか否かを推定して推定結果（第一の推定結果）を出力する。具体的には、補正効果推定処理部１６は、画像特徴量算出部１５の算出した顔領域の面積の大小により補正効果の有無を推定する。１７は、画像補正処理部（画像補正手段）であり、補正効果推定処理部１６で補正効果が得られると推定した場合に、画像特徴量に基づき画像データの特性を補正して補正後画像データを出力する。
【００２３】
１８は、撮影モード判別処理部（撮影モード判別手段）であり、画像取得処理部１３が取得した撮影情報に含まれる撮影モードが人物モードであるか否かを判別する。１９は、補正処理制御部（補正処理制御手段）であり、記撮影モード判別処理部１８が人物モードと判別した場合に、上述した顔領域抽出処理部１４や、画像特徴量算出部１５や、補正効果推定処理部１６や、画像補正処理部１７による画像データの補正処理を行うよう制御する。また、記撮影モード判別処理部１８が人物モードと判別しなかった場合には、補正処理制御部１９は、上述した顔領域抽出処理部１４や、画像特徴量算出部１５や、補正効果推定処理部１６や、画像補正処理部１７による画像データの補正処理を行わないよう制御する。
【００２４】
１Ａは、顔領域補正処理部（顔領域補正手段）であり、補正効果推定処理部１６が補正効果を推定する前に、顔領域の画像特徴量を用いて、顔領域の特性を補正して補正後顔領域データを出力する。この時、画像特徴量算出部１５は、顔領域補正処理部１Ａが出力する補正後顔領域データの画像特徴量である補正後画像特徴量を算出する。また、補正効果推定処理部１６は、画像特徴量算出部１５が同一の顔領域より算出した補正前の画像特徴量と補正後の補正後画像特徴量とを比較して補正することで補正効果が得られるか否かを推定して推定結果（第二の推定結果）を出力する。尚、顔領域補正処理部１Ａは、補正効果推定処理部１６が顔領域の面積の大小により補正効果が有ると推定した画像データの顔領域にのみ処理を行う。
【００２５】
１Ｂは、展開処理部であり、画像取得処理部１３がＪＰＥＧ形式などの圧縮された画像データを取得した場合に、その圧縮方式に対応した所定アルゴリズムにて圧縮画像データを伸長して、ＲＧＢデータで構成されるの二次元画素配列からなる画像データに展開する。２０は、表示処理部であり、表示装置４へ画像処理装置２が画像処理した画像データを表示させるための処理を行う。２１は、印刷処理部であり、プリンタ５へ画像処理装置２が画像処理した画像データを印刷させるための処理を行う。
以上に示した構成により、画像処理装置２は、補正効果を推定して効果がある場合にのみ画像補正処理を行うことができる。
【００２６】
また、ここで、顔領域抽出処理１４の処理の具体例について図を用いて説明する。
図３（ａ）、（ｂ）、（ｃ）は、図１に示した顔領域抽出処理１４の処理の具体例を示す図である。次に、画像データから顔領域の抽出を行う。まず、顔領域抽出処理１４は、画像データを所定の画像サイズにローパスフィルタ処理を行うと同時に縮小する。例えばデジタルカメラで撮影した画像データであって、画像取得処理部１３が記録媒体３より取得した１２８０×９６０画素程度の画像データを、顔領域抽出処理１４は、２×２の平均値処理（ローバスフィルタ）を行うと同時に６４０×４８０画素に縮小する。
【００２７】
次に、顔領域抽出処理１４は、縮小された画像データの各画素値において局所的にＲＧＢの各成分が小さい領域を目の画像領域の候補（以下、目候補とする）として抽出する。次に、顔領域抽出処理１４は、図３（ａ）に示すように抽出された目候補を２つずつ組にして領域の大きさの均等性、輝度の差、水平に対する角度などから組にした２つの領域が目であるか否かを判定し、２つで一組の目候補３１を抽出する。
【００２８】
次に、顔領域抽出処理１４は、図３（ｂ）に示すように、目候補３１の２つの位置からあらかじめ設定された所定の位置関係のパラメータに基づき矩形領域３２を設定する。次に、顔領域抽出処理１４は、図３（ｃ）に示すように、矩形領域３２の境界付近のエッジおよび領域内の色情報から顔領域３３の確定を行う。この時、顔領域抽出処理１４は、エッジについては境界付近の所定幅の領域に所定強度を超えるエッジ成分が所定比率以上占有しているか否かにを判定する。また、顔領域抽出処理１４は、色情報については矩形領域３２内の画素値の平均値を計算し、あらかじめ設定した肌色領域内に平均値が入っているか否かを判定する。次に、顔領域抽出処理１４は、上述した判定においてエッジ、色情報の条件が両立して満たされている場合、顔領域３３と判定し、画像中での範囲を顔領域３３として抽出する。以上により、顔領域抽出処理１４は、一つの画像データから一つまたは複数個の顔領域３３を抽出する。
【００２９】
尚、図１に示した各処理部は、専用のハードウェアにより実現されるものであってもよく、また、各処理部はメモリおよびＣＰＵにより構成され、各処理部の機能を実現する為のプログラムをメモリに読み込んで実行することによりその機能を実現させるものであってもよい。また、上述したプログラムは、画像処理用のアプリケーションプログラムの一部であってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、上述したＲＡＭ２１６のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【００３０】
次に、上述した画像処理装置２および画像処理システム１の動作について処理例を挙げて説明する。
図４は、図１に示した画像処理装置２および画像処理システム１の動作を示すフロー図である。以下、このフロー図に沿って処理例１を示して説明する。
尚、図４に示したフロー図の開始時点において、人物モードで撮影された画像データ及び撮像情報を格納する記録媒体３が、記録媒体インターフェース部１１に設置されているとする。また、表示装置４には、記録媒体３内に格納されている画像データのファイル一覧が指定可能な状態で表示されているとする。
【００３１】
ここで、利用者がマウスのクリックなどにより、記録媒体３に記録された画像データのファイルを指定すると、画像取得処理部１３は、撮影条件に関する情報である撮影情報と共に画像データを取得する（ステップＳ１０１）。これにより、画像処理装置２の画像情報データベース１２に画像データおよび撮影情報が格納される。このとき、展開処理部１Ｂは、画像データをＪＰＥＧ方式に対応した所定アルゴリズムにて伸長して、ＲＧＢ値の二次元画素配列からなる画像データに展開する。
【００３２】
次に、撮影モード判別処理部１８は、展開された画像データに付帯する撮影情報のうち撮影モードを参照して、画像データが人物モードで撮影されたものか否かを判別する（ステップＳ１０２）。ここで、人物モードで撮影された画像の場合（ステップＳ１０２のＹＥＳ）には、補正処理制御部１９の制御により次のステップＳ１０３へ進む。またそれ以外の撮影モードで撮影された画像の場合（ステップＳ１０２のＮＯ）には、補正処理制御部１９の制御により以下に説明する処理は行わないで、別途定めた処理を行う。尚、本実施形態の画像処理装置においては撮影モードに関する情報を参照して人物を含む画像であることを判定しているが、この限りではなく、画像データに人物（特に顔部分）が含まれていることを判定する種々の方法を用いて好適である。
【００３３】
次に、顔領域抽出処理部１４は、取得処理部１３が取得し、展開された画像データから図３（ｃ）に示すような顔領域３３の抽出を行う（ステップＳ１０３）。次に、画像特徴量算出部１５は、顔領域抽出処理部１４が抽出した顔領域３３内の画像の特徴量である画像特徴量を算出する（ステップＳ１０３）。具体的には、画像特徴量算出部１５は、抽出された顔領域３３内の各画素値が所定の肌色領域に属する画素であるかを判断し、肌色領域の画素について明度の分布を表す統計量を算出する。この時、画像特徴量算出部１５が算出する明度は例えば、各画素のＲＧＢ値の平均値を計算することで求める。また、上述した統計量として、例えば画像特徴量算出部１５は、顔領域３３における画素別に明度や色相等のヒストグラム、平均、分散を計算したり、顔領域３３に含まれる画素の総数を計算したりする。以上に示した顔領域３３の画像特徴量の計算を画像特徴量算出部１５は、顔領域抽出処理部１４が抽出した全顔領域３３について行う。
【００３４】
次に、補正効果推定処理部１６は、画像特徴量算出部１５が算出した画像特徴量から画像補正処理の効果があるかを以下のように推定する（ステップＳ１０５）。具体的には、まず、補正効果推定処理部１６は、画像特徴量算出部１５が算出した顔領域３３の面積（画素の総数）を基に補正効果の推定を行う。以下に上述した推定の根拠を述べる。
【００３５】
画像の補正を行い場合に、画像補正処理部１７は、画像中から抽出された顔領域３３が最適な明るさになるように画像補正を行う。この時に、例えば、画像中の人物の顔が小さい場合には必ずしも抽出された顔領域３３を最適な明るさに補正することが好ましい画像になるとは限らない。また、顔領域３３が小さい場合には、画像特徴量算出部１５が算出する画像特徴量は、画像中のノイズの影響を受けやすくなり不正確な値となる可能性がある。このため、画像補正処理部１７がその不正確な画像特徴量をもとに補正処理を行えば画像補正による副作用が生じる恐れがある。したがって、顔領域３３の面積が所定の値より小さい場合は画像の補正効果は期待できないと推定する。
【００３６】
尚、顔領域３３の面積の閾値は様々な画像データにおいて補正処理の効果の有無と面積との相関関係を調査し、あらかじめ求めておく。また、顔領域３３が複数抽出された場合には、補正効果推定処理部１６は、各顔領域３３の面積の最大値で判定を行う。
【００３７】
次に、補正効果推定処理部１６が顔領域３３の面積を基に効果ありと推定した画像データの顔領域３３に対して、顔領域補正処理部１Ａが補正処理を行い、補正後顔領域データを出力する。次に、画像特徴量算出部１５は、顔領域補正処理部１Ａが出力する補正後顔領域データの画像特徴量である補正後画像特徴量（明度ヒストグラムを含む）を算出する。また、補正効果推定処理部１６は、画像特徴量算出部１５が同一の顔領域３３より算出した補正前の明度ヒストグラムと補正後の明度ヒストグラムとを比較して補正することで補正効果が得られるか否かを推定する。以下に上述した推定の根拠を述べる。
【００３８】
例えば、被写体である人物が帽子をかぶっていた場合など顔の一部に影があると自動的に明るさの補正をするのが困難になり、肌の部分の階調性が表現できなくなってしまう。このような場合には画像の補正を行うと顔領域の明度ヒストグラムの形状が大きく変化する。したがって、あらかじめ顔領域補正処理部１Ａが顔領域の画像特徴量を用いて行われる画像補正処理での画素値の変換を行い、補正効果推定処理部１６が処理前後の明度ヒストグラムを比較し、ヒストグラム形状が所定の量以上変化したかで処理効果の有無の推定を行う。
【００３９】
尚、顔領域が複数ある場合には、画像処理装置２は、面積の判定で補正効果ありと推定された顔領域（大きな顔領域）についてのみ顔領域の補正と補正効果の推定を行い、補正効果なしの領域があった場合は副作用が生じる恐れがあるので画像全体では補正効果はないと推定する。
【００４０】
次に、画像補正処理部１７は、顔領域の画像特徴量から明度補正のパラメータを求め、画像補正処理を行う（ステップＳ１０６）。この時、明度補正のパラメータはステップＳ１０５で補正効果ありと推定した際に顔領域補正処理部１Ａが補正に用いたパラメータと同じものを用いる。具体例として、画像補正処理部１７が顔領域の画像特徴量を用いて明度補正のパラメータを求め、画像補正を行う処理について以下に説明する。
【００４１】
まず、あらかじめ様々な顔画像において人間が好ましいと感じる肌色の明度の範囲を調査しておき、その中心値、分散を明度の目標値としてパラメータ化し画像補正処理部１７が保持しておく。例えば、変換前後の画素値をそれぞれｖ、ｖ’、顔領域の肌色画素の平均値、標準偏差（分散の平方根）をそれぞれμ、σ、明度の目標値の中心値、標準偏差をそれぞれμ’、σ’とするとき、画像補正処理部１７は、ｖ’を以下に示す（式１）の計算にて求める。
ｖ’＝ｋ×ｖ＋μ’−μ、ｋ＝σ’／σ　…（式１）
但し、ｖ’が所定の範囲を越える場合は所定範囲内での上限、下限の値とする。
【００４２】
上述した（式１）の計算を各画素のＲＧＢ値それぞれに行い、それを画像全体について行う。尚、顔領域が複数ある場合には例えば面積の判定で効果ありと判定された各顔領域（大きな顔領域）での画像特徴量の平均値を用いてパラメータを求める。
【００４３】
次に、画像補正処理部１７が補正処理した画像データを表示処理部２０が表示装置４に表示し、これを利用者が画面にて確認後に印刷操作を行うことで、印刷処理部２１が表示した画像データをプリンタ５にて印刷する（ステップＳ１０７）。以上に示したように、画像処理装置２は、画像の補正が有効と推定される場合にのみ補正処理を行うことができる。
【００４４】
次に、図４に示した画像処理装置２および画像処理システム１の動作について、上述した処理例１と別の処理例２について説明する。本処理例２では画像の補正処理を行う際に人物の顔領域に対して、人間が好ましいと感じる適正な肌色の画像になるように補正する処理について説明する。尚、本処理例２の画像処理装置２は、図１に示した画像処理装置２と同様の機能構成である。また、本処理例２においては、図４に示した動作フローで処理を行うが、具体的な処理の部分で上述した処理例１のステップＳ１０４〜Ｓ１０６の処理と異なるので、この部分の処理についてのみ説明を行う。また、他のステップにおける共通の処理については説明を省略する。
【００４５】
ステップＳ１０３においては、画像特徴量算出部１５は、顔領域抽出処理部１４が抽出した顔領域３３内の各画素値から以下の処理により画像特徴量を算出する。まず、画像特徴量算出部１５は、顔領域抽出処理部１４が抽出した顔領域３３内の各画素値が所定の肌色領域に属する画素であるか否かを判断する。次に、画像特徴量算出部１５は、肌色領域に属すると判断した画素について色相の分布を表す統計量を算出する。
【００４６】
例えば、画像特徴量算出部１５は、色相ｈを、以下に示す（式２）により計算する。
ｈ＝ｔａｎ−１［√３×（ｇ−ｂ）／｛（ｒ−ｇ）＋（ｒ−ｂ）｝］…（式２）
但し、ｒ、ｇ、ｂは、それぞれ各画素のＲＧＢ値であり、色相ｈの取り得る範囲は［０、２π］とする。また、画像特徴量算出部１５は、統計量としては例えば、画素別の明度や色相などのヒストグラム、平均、分散、画素の総数を計算する。以上に示した顔領域の画像特徴量の計算を、画像特徴量算出部１５は、図４のステップＳ１０３で顔領域抽出処理部１４が抽出した全顔領域３３について行う。（以上、処理例１のステップＳ１０４に相当する処理である）
【００４７】
次に、補正効果推定処理部１６は、画像特徴量算出部１５が算出した画像特徴量から補正効果の有無を以下の処理により推定する。まず、補正効果推定処理部１６は、画像特徴量算出部１５が算出した顔領域３３の面積（画素の総数）から補正効果の推定を行う。この処理は処理例１と同様である。次に、補正効果推定処理部１６が顔領域３３の面積を基に補正効果有りと推定した画像データの顔領域３３について、顔領域補正処理部１Ａは、補正して補正後顔領域データを出力する。
【００４８】
次に、画像特徴量算出部１５は、顔領域補正処理部１Ａが出力する補正後顔領域データの画像特徴量である補正後画像特徴量（色相ヒストグラムを含む）を算出する。また、補正効果推定処理部１６は、画像特徴量算出部１５が同一の顔領域３３より算出した補正前の色相ヒストグラムと補正後の色相ヒストグラムとを比較して補正することで補正効果が得られるか否かを推定する。尚、顔領域３３が複数ある場合には面積の推定で効果ありと推定された顔領域３３（大きな顔領域）についてのみ補正効果の推定を行い、補正効果なしの顔領域３３があった場合は副作用が生じる恐れがあるので画像全体では補正効果はないと推定する。（以上、処理例１のステップＳ１０５に相当する処理である）
【００４９】
次に、画像補正処理部１７は、顔領域３３の画像特徴量から色補正のパラメータを求め、以下に示す画像の補正処理を行う。色補正のパラメータは補正効果の推定において、補正効果ありと推定した時に顔領域補正処理部１Ａで補正に用いたパラメータを用いる。具体的には画像補正処理部１７は、あらかじめ様々な顔画像において人間が好ましいと感じる肌色の色相の範囲を調査しておき、その中心値、分散を肌色の目標値としてパラメータ化して保持しておく。
【００５０】
また、画像補正処理部１７は、例えば、補正前後の画素の色相をそれぞれｈ、ｈ’、顔領域３３における肌色の色相の平均値、標準偏差（分散の平方根）をそれぞれμｈ、σｈ、色相の目標値の中心値、標準偏差をそれぞれμｈ’、σｈ’とするとき、例えば、ｈ’を以下にしめす（式３）の計算にて求める。
ｈ’＝ｋｈ×ｈ＋μｈ’−μｈ、ｋｈ＝σｈ’／σｈ　…（式３）
但し、ｈ’が［０，２π］を越える場合は３６０度位相をずらして所定範囲内に収める。
【００５１】
次に、画像補正処理部１７は、明度、彩度の値が補正前の値を維持し、色相成分が（式３）の計算後の値になるように画素ごとにＲＧＢ成分の値を求め、これを画像全体について行う。尚、顔領域３３が複数ある場合には例えば面積の判定で効果ありと判定された各顔領域３３（大きな顔領域）での画像特徴量の平均値を用いてパラメータを求める。（以上、処理例１のステップＳ１０６に相当する処理である）
【００５２】
以上に示したように、画像処理装置２は、画像補正を行う前に顔領域の面積によって補正効果の有無を推定し、補正効果の期待できる場合のみ画像補正を行うようにしたので、顔画像が比較的小さいような補正効果の期待できない場合に補正処理を回避することができる。また、画像処理装置２は、補正処理が画像取得時のノイズの影響を受けやすいような場合にも補正処理を回避することができる。
【００５３】
また、画像処理装置２は、補正処理を行う前に顔領域のヒストグラムが補正によってどう変化するかを確認し、補正効果の有無を推定するようにしたので、補正処理によって顔領域の階調性が表現できなくなるような副作用を回避することができる。また、画像処理装置２は、画像データに付帯した撮影モードの情報が人物モードの時のみ動作するようにしたので、風景画像等に誤って処理を適用することを回避することができる。
【００５４】
以上に示した実施形態においては、画像全体で（式１）または（式３）に基づいた変換を行うことによって補正処理を行っているが、この限りではなく、例えば、ステップＳ１０３で抽出された顔領域３３内でのみ補正処理を行うようにしてもよい。また、画像処理装置２は、顔領域３３以外の領域においては顔領域３３で行う画像補正に比較し、程度の弱い補正処理を行うようにしてもよい。また、画像処理装置２は、顔領域３３が複数抽出された場合には、各顔領域３３で補正パラメータを求めるようにし、顔領域３３ごとにそれぞれのパラメータにて画像補正を行うようにしてもよい。
【００５５】
尚、上述した画像処理システム１は、画像処理装置２、表示装置４、プリンタ５で構成されていたが、この限りではなく、画像処理装置２が表示装置４を具備した形態や、プリンタ５を具備しない形態であってもよい。また、画像処理装置２は、画像データとしてデジタルカメラで撮影した画像データを用いたがこの限りではなく、画像処理装置２がインターネット等のネットワークへ接続する機能を具備するならば、そのネットワークを介して取得した画像であってもよく、ビデオカメラにて撮影した動画像の１フレームを静止画像とする画像データなどでもよい。更には、プリンタ５が画像処理装置２の機能を実現する各処理部を備えてもよい。
【００５６】
また、図１において各種処理を行う処理部の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」とは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００５７】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５９】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００６０】
【発明の効果】
以上説明したように、本発明の画像処理装置、画像処理方法、その記録媒体およびそのプログラムにおいては、画像データを記録した記録媒体から画像データを取得し、その画像データから人物の顔領域を抽出し、その顔領域の画像特徴量を算出し、その画像特徴量を基に画像データの特性を補正することで補正効果が得られるか否かを推定し、補正効果が得られると推定した場合に、画像特徴量に基づき画像データの特性を補正するので、抽出した顔領域を基に人物画像の画像データを補正して最適な特性の人物画像を出力することができる。また、人物画像の画像データを補正する際に、補正処理による副作用を事前に排除して最適な特性の人物画像を出力することができる。これにより、補正効果をあらかじめ推定し、補正効果があると判断された場合にのみ画像データを補正するので、自動的に人物画像の画像データを補正して最適な明るさ、色再現の画像を出力できる。また、補正処理による副作用を事前に排除することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像処理装置の機能構成および画像処理装置を含む画像処理システムの概略構成を示すブロック図である。
【図２】図１に示した画像情報データベース１２に格納する画像情報の構成例を示す図である。
【図３】図１に示した顔領域抽出処理１４の処理の具体例を示す図である。
【図４】図１に示した画像処理装置２および画像処理システム１の動作を示すフロー図である。
【符号の説明】
１　　　画像処理システム　　　　　　　　　，２　　　画像処理装置
３　　　記録媒体　　　　　　　　　　　　　，４　　　表示装置
５　　　プリンタ　　　　　　　　　　　　　，１０　　制御部
１１　　記録媒体インターフェース部　　　　，１２　　画像情報データベース
１３　　画像取得処理部　　　　　　　　　　，１４　　顔領域抽出処理部
１５　　画像特徴量算出部　　　　　　　　　，１６　　補正効果推定処理部
１７　　画像補正処理部　　　　　　　　　　，１８　　撮影モード判別処理部
１９　　補正処理制御部　　　　　　　　　　，１Ａ　　顔領域補正処理部
１Ｂ　　展開処理部　　　　　　　　　　　　，２０　　表示処理部
２１　　印刷処理部
【図１】
2004062651.tif 000003
【図２】
2004062651.tif 000004
【図３】
2004062651.tif 000005
【図４】
2004062651.tif 000006