(57)【要約】  【課題】  一般デジタル写真において黒髪以外の色の頭髪についても確実に頭髪を抽出し、顔と頭髪の色を補正して、顔の明度・色を自然な態様で適正かつ効率的に補正する。  【解決手段】  領域指定部３１が、操作者が指定した人物画像Ｉｎ上の領域を補正対象となる単一人物の顔と頭髪を含む指定領域Ｒuとして指定し、頭髪色種別情報取得部３３が、その頭髪の色の種別を表す頭髪色種別情報Ｖhを、指定領域Ｒuの色情報等に基づいて取得する。頭髪領域抽出部３４は、この情報Ｖhが表す種別に応じた所定のアルゴリズムによりその頭髪領域を抽出する。補正手段（３６，４０，５０）は、肌領域抽出部３２が指定領域Ｒuの色情報に基づいて抽出した顔を含む肌領域と頭髪領域抽出部３４が抽出した頭髪領域とからなる補正対象領域の色を補正する。【選択図】          図１
2007087123.tif 000002
【特許請求の範囲】
【請求項１】
人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定ステップと、
前記指定領域の色の情報に基づいて、前記単一人物の顔を含む肌領域を抽出する肌領域抽出ステップと、
前記単一人物の頭髪の色の種別を表す頭髪色種別情報を取得する頭髪色種別情報取得ステップと、
前記頭髪色種別情報が表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、前記単一人物の頭髪領域を抽出する頭髪領域抽出ステップと、
前記肌領域と前記頭髪領域とからなる領域を補正対象領域として設定する補正対象領域設定ステップと、
該補正対象領域における色相、彩度および明度のうち少なくともいずれかを補正する補正ステップとを有することを特徴とする画像補正方法。
【請求項２】
前記頭髪色種別情報取得ステップが、前記操作者から入力された頭髪の色の種別を表す情報を、前記髪色種別情報として取得するステップであることを特徴とする請求項１記載の画像補正方法。
【請求項３】
前記髪色種別情報取得ステップが、
前記単一人物の頭髪上の部分領域を操作者からの入力に応じて指定し、
前記部分領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、
該判定された種別を表す情報を前記頭髪色種別情報として生成するステップであることを特徴とする請求項１記載の画像補正方法。
【請求項４】
前記指定領域が、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、
前記頭髪色種別情報取得ステップが、
前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、
前記指定領域から、前記肌領域と、前記指定領域の輪郭および前記頭髪領域の上部輪郭によって囲まれる領域とを除いた領域のうち、前記指定領域の上寄り１／２から１／４の矩形領域内の領域を頭髪暫定領域として抽出し、
前記頭髪暫定領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、
該判定された種別を表す情報を前記頭髪色種別情報として生成するステップであることを特徴とする請求項１記載の画像補正方法。
【請求項５】
前記頭髪領域抽出ステップが、前記頭髪色種別情報が表す種別が黒髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より小さい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するステップであることを特徴とする請求項１から４いずれか記載の画像補正方法。
【請求項６】
前記頭髪領域抽出ステップが、前記頭髪色種別情報が表す種別が白髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より大きい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するステップであることを特徴とする請求項１から４いずれか記載の画像補正方法。
【請求項７】
前記頭髪領域抽出ステップが、前記頭髪色種別情報が表す種別が金髪または茶髪のいずれか所定の種別であるときに、前記指定領域の画像を構成する画素の色相値のヒストグラムを求め、色相値が前記所定の種別の頭髪の平均的な色相値を含む所定の範囲内である前記ヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を前記頭髪領域として抽出するステップであることを特徴とする請求項１から４いずれか記載の画像補正方法。
【請求項８】
人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、
前記指定領域の色の情報に基づいて、前記単一人物の顔を含む肌領域を抽出する肌領域抽出手段と、
前記単一人物の頭髪の色の種別を表す頭髪色種別情報を取得する頭髪色種別情報取得手段と、
前記頭髪色種別情報が表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、前記単一人物の頭髪領域を抽出する頭髪領域抽出手段と、
前記肌領域と前記頭髪領域とからなる領域を補正対象領域として設定する補正対象領域設定手段と、
該補正対象領域における色相、彩度および明度のうち少なくともいずれかを補正する補正手段とを備えたことを特徴とする画像補正装置。
【請求項９】
前記頭髪色種別情報取得手段が、前記操作者から入力された頭髪の色の種別を表す情報を、前記髪色種別情報として取得するものであることを特徴とする請求項８記載の画像補正装置。
【請求項１０】
前記髪色種別情報取得手段が、
前記単一人物の頭髪上の部分領域を操作者からの入力に応じて指定し、
前記部分領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、
該判定された種別を表す情報を前記頭髪色種別情報として生成するものであることを特徴とする請求項８記載の画像補正装置。
【請求項１１】
前記指定領域が、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、
前記頭髪色種別情報取得手段が、
前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、
前記指定領域から、前記肌領域と、前記指定領域の輪郭および前記頭髪領域の上部輪郭によって囲まれる領域とを除いた領域のうち、前記指定領域の上寄り１／２から１／４の矩形領域内の領域を頭髪暫定領域として抽出し、
前記頭髪暫定領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、
該判定された種別を表す情報を前記頭髪色種別情報として生成するものであることを特徴とする請求項８記載の画像補正装置。
【請求項１２】
前記頭髪領域抽出手段が、前記頭髪色種別情報が表す種別が黒髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より小さい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであることを特徴とする請求項８から１１いずれか記載の画像補正装置。
【請求項１３】
前記頭髪領域抽出手段が、前記頭髪色種別情報が表す種別が白髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より大きい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであることを特徴とする請求項８から１１いずれか記載の画像補正装置。
【請求項１４】
前記頭髪領域抽出手段が、前記頭髪色種別情報が表す種別が金髪または茶髪のいずれか所定の種別であるときに、前記指定領域の画像を構成する画素の色相値のヒストグラムを求め、色相値が前記所定の種別の頭髪の平均的な色相値を含む所定の範囲内である前記ヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を前記頭髪領域として抽出するものであることを特徴とする請求項８から１１いずれか記載の画像補正装置。
【請求項１５】
コンピュータを、
人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、
前記指定領域の色の情報に基づいて、前記単一人物の顔を含む肌領域を抽出する肌領域抽出手段と、
前記単一人物の頭髪の色の種別を表す頭髪色種別情報を取得する頭髪色種別情報取得手段と、
前記頭髪色種別情報が表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、前記単一人物の頭髪領域を抽出する頭髪領域抽出手段と、
前記肌領域と前記頭髪領域とからなる領域を補正対象領域として設定する補正対象領域設定手段と、
該補正対象領域における色相、彩度および明度のうち少なくともいずれかを補正する補正手段として機能させるためのプログラム。
【請求項１６】
前記頭髪色種別情報取得手段が、前記操作者から入力された頭髪の色の種別を表す情報を、前記髪色種別情報として取得するものであることを特徴とする請求項１５記載のプログラム。
【請求項１７】
前記髪色種別情報取得手段が、
前記単一人物の頭髪上の部分領域を操作者からの入力に応じて指定し、
前記部分領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、
該判定された種別を表す情報を前記頭髪色種別情報として生成するものであることを特徴とする請求項１５記載のプログラム。
【請求項１８】
前記指定領域が、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、
前記頭髪色種別情報取得手段が、
前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、
前記指定領域から、前記肌領域と、前記指定領域の輪郭および前記頭髪領域の上部輪郭によって囲まれる領域とを除いた領域のうち、前記指定領域の上寄り１／２から１／４の矩形領域内の領域を頭髪暫定領域として抽出し、
前記頭髪暫定領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、
該判定された種別を表す情報を前記頭髪色種別情報として生成するものであることを特徴とする請求項１５記載のプログラム。
【請求項１９】
前記頭髪領域抽出手段が、前記頭髪色種別情報が表す種別が黒髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より小さい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであることを特徴とする請求項１５から１８いずれか記載のプログラム。
【請求項２０】
前記頭髪領域抽出手段が、前記頭髪色種別情報が表す種別が白髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より大きい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであることを特徴とする請求項１５から１８いずれか記載のプログラム。
【請求項２１】
前記頭髪領域抽出手段が、前記頭髪色種別情報が表す種別が金髪または茶髪のいずれか所定の種別であるときに、前記指定領域の画像を構成する画素の色相値のヒストグラムを求め、色相値が前記所定の種別の頭髪の平均的な色相値を含む所定の範囲内である前記ヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を前記頭髪領域として抽出するものであることを特徴とする請求項１５から１８いずれか記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像における人物の顔や肌等の部分的な領域について明度や色を補正する画像補正方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラを用いて撮影したり、紙媒体等に出力された写真をスキャナで読み込んだりして得られるデジタル写真画像の中には、撮影条件や被写体の特性によってその明度や色が適正な態様もしくは所望の態様で表現されていないものがあり、その明度や色を補正したい場合があるが、画像全体に一定の補正処理を施すことが適当でない場合がある。
【０００３】
例えば、アンダー露光や逆光で撮影された人物を被写体とする写真画像では、その人物の顔が暗くなるので、その人物の顔を適正な明度に補正したい場合があるが、顔の明度を適正にするような階調変換処理を画像全体に施してしまうと背景が白とびしてしまうことがある。また、スタジオで撮影された集合写真において後列の隅の人物に照明が届かずその人物だけ暗く写ってしまった写真画像や、二人の人物が撮影された写真において一方の人物が極端に日焼けしている写真画像等では、一人の人物の顔が暗くなるので、その人物の顔の明るさを他の人物の顔の明るさに合わせる補正をしたい場合があるが、その一人の人物の顔を明るくするような階調変換処理を画像全体に施してしまうと他の人物の顔が適正な範囲を超えて明るくなりすぎてしまうことがある。
【０００４】
このような問題を回避するため、画像全体ではなく人物の顔や肌のみ等、部分的な補正が望まれる場合があり、画像の部分的な補正に関してこれまでに種々の手法が提案されている。
【０００５】
例えば、特許文献１には、人物のみに対して画像処理を施す証明写真システムが記載されており、ここでは、画像を人物の領域と人物以外の背景領域とに自動分離して、人物については肌色を自動調整し、背景については別に用意された背景と置き換えて、自動調整後の人物とその別背景とを合成する手法が提案されている。
【０００６】
また、特許文献２には、顔の自動覆い焼き技術が記載されており、ここでは、顔領域を抽出して、顔領域については肌領域に好ましい処理を施して顔領域以外と合成する手法が提案されている。
【０００７】
また、特許文献３には、顔抽出方法が記載されており、ここでは、指定された領域内で肌色部分の画素を基準とした色を顔として抽出すると誤抽出する場合があるので、写真画像の横にワイヤーフレーム等で構成された顔テンプレートを表示して、画像中の顔とその顔テンプレートとの位置合せを行って、その結果を基に顔を抽出する手法が提案されている。
【０００８】
なお、顔領域の抽出や顔の補正に関する技術ではないが、特許文献４において、オペレータが予め赤目領域を簡単に指定することで、自動赤目補正の効率を向上させる手法が提案されており、部分的な領域を指定してからその領域中の特定の領域を抽出する方法について開示がなされている。
【０００９】
しかしながら、上記の特許文献１から４の各手法には、それぞれ下記に述べるような問題点がある。
【００１０】
特許文献１の証明写真システムは、背景が単純である証明写真を対象としているので、人物と背景との自動分離が比較的容易であるが（髪や衣服も抽出可能）、一般写真は背景が複雑であることが多いため、このシステムを一般写真に単純に適用することができない。また、実際には、肌色を自動調整しても適正な補正がなされない場合があり、マニュアルで補正する手段が必要である。
【００１１】
特許文献２の顔の自動覆い焼き方法は、補正処理済の顔と背景とを単純に合成しており、顔領域の抽出精度によっては顔の輪郭に歪み等が現れ、不自然な合成結果となる場合がある。また、顔の肌領域のみを考慮した覆い焼きの結果となるので、顔と髪の色との組合せが不自然になる場合もある。さらに、一般画像は背景が複雑であることが多いため、顔の自動抽出に失敗する確率も高い。
【００１２】
特許文献３の顔抽出方法では、顔テンプレートの位置合せをする作業が煩雑であり、効率が悪い。
【００１３】
特許文献４の領域指定方法は、手動で指定した領域から特定の領域を抽出する手法について開示しているだけで、顔や肌の補正についての効率的な手法を提案するものではない。
【００１４】
なお、上記手法のほか、例えばPhotoshop（登録商標）等の市販の画像処理ソフトを用いて手作業で部分的な画像処理を施す手法も考えられるが、作業が煩雑であり、効率が悪い。
【００１５】
そこで、次のような画像補正方法が本出願人により提案されている。すなわち、デジタル画像上で顔を含む部分的な領域をユーザが指定し、この指定領域の中から、指定領域またはその近傍の画像の色情報等に基づいて顔領域と頭髪領域を抽出し、顔領域と頭髪領域からなる領域を補正対象領域として定め、この補正対象領域の色を補正する。
【００１６】
この画像補正方法によれば、ユーザが指定した領域またはその周辺から顔領域と頭髪領域を抽出し、その抽出された顔領域と頭髪領域を合わせた領域を補正対象領域としているので、顔を含む領域を指定するというユーザからの簡単な操作により、顔の位置が略特定され、顔を精度よく抽出することができ、さらに、補正対象領域を顔だけでなく顔と頭髪からなる領域としているので、補正後の顔と頭髪との色のアンバランスを解消することができ、一般自然画写真でも顔を確実に抽出し、その顔の色を不自然とならない態様で適正にかつ効率的に補正することが可能となる。
【特許文献１】特開２００１−１８６３２３号公報
【特許文献２】特開平１０−１２６１８４号公報
【特許文献３】特開２００１−２０９８０２号公報
【特許文献４】特開２００１−１４８７８０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、本出願人により提案されている上記の画像補正方法は、補正対象となる頭髪の色の種別が黒髪であることを前提としており、黒髪以外の場合には頭髪領域の抽出の精度が悪くなるという問題がある。
【００１８】
例えば、若年者に多く見られるカラーリングによって染められた栗毛髪、茶髪、金髪、高齢者に多く見られる白髪、西洋人に多く見られる地毛としてのブロンド髪やシルバー髪など、頭髪の種別によって頭髪の明度や色相がそれぞれ異なるため、黒髪用の抽出アルゴリズムだけでは対応しきれない。
【００１９】
本発明は、上記事情に鑑み、デジタル画像上で指定された顔を含む領域またはその近傍から顔領域と頭髪領域を抽出し、顔領域と頭髪領域からなる補正対象領域の色を補正する画像補正処理において、黒髪だけでなく他の種別の頭髪に対しても精度よく頭髪領域を抽出し、補正対象領域を正確に抽出して適正な色補正をすることが可能な画像補正方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００２０】
本発明の画像補正方法は、人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定ステップと、前記指定領域の色の情報に基づいて、前記単一人物の顔を含む肌領域を抽出する肌領域抽出ステップと、前記単一人物の頭髪の色の種別を表す頭髪色種別情報を取得する頭髪色種別情報取得ステップと、前記頭髪色種別情報が表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、前記単一人物の頭髪領域を抽出する頭髪領域抽出ステップと、前記肌領域と前記頭髪領域とからなる領域を補正対象領域として設定する補正対象領域設定ステップと、該補正対象領域における色相、彩度および明度のうち少なくともいずれかを補正する補正ステップとを有することを特徴とする方法である。
【００２１】
本発明の画像補正方法において、前記頭髪色種別情報取得ステップは、前記操作者から入力された頭髪の色の種別を表す情報を、前記髪色種別情報として取得するステップであってもよい。
【００２２】
また、本発明の画像補正方法において、前記髪色種別情報取得ステップは、前記単一人物の頭髪上の部分領域を操作者からの入力に応じて指定し、前記部分領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、該判定された種別を表す情報を前記頭髪色種別情報として生成するステップであってもよい。
【００２３】
また、本発明の画像補正方法において、前記指定領域は、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、前記頭髪色種別情報取得ステップは、前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、前記指定領域から、前記肌領域と、前記指定領域の輪郭および前記頭髪領域の上部輪郭によって囲まれる領域とを除いた領域のうち、前記指定領域の上寄り１／２から１／４の矩形領域内の領域を頭髪暫定領域として抽出し、前記頭髪暫定領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、該判定された種別を表す情報を前記頭髪色種別情報として生成するステップであってもよい。
【００２４】
本発明の画像補正方法において、前記頭髪領域抽出ステップは、前記頭髪色種別情報が表す種別が黒髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より小さい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するステップであってもよい。
【００２５】
また、本発明の画像補正方法において、前記頭髪領域抽出ステップは、前記頭髪色種別情報が表す種別が白髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より大きい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するステップであってもよい。
【００２６】
また、本発明の画像補正方法において、前記頭髪領域抽出ステップは、前記頭髪色種別情報が表す種別が金髪または茶髪のいずれか所定の種別であるときに、前記指定領域の画像を構成する画素の色相値のヒストグラムを求め、色相値が前記所定の種別の頭髪の平均的な色相値を含む所定の範囲内である前記ヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を前記頭髪領域として抽出するステップであってもよい。
【００２７】
本発明の画像補正装置は、人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、前記指定領域の色の情報に基づいて、前記単一人物の顔を含む肌領域を抽出する肌領域抽出手段と、前記単一人物の頭髪の色の種別を表す頭髪色種別情報を取得する頭髪色種別情報取得手段と、前記頭髪色種別情報が表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、前記単一人物の頭髪領域を抽出する頭髪領域抽出手段と、前記肌領域と前記頭髪領域とからなる領域を補正対象領域として設定する補正対象領域設定手段と、該補正対象領域における色相、彩度および明度のうち少なくともいずれかを補正する補正手段とを備えたことを特徴とするものである。
【００２８】
本発明の画像補正装置において、前記頭髪色種別情報取得手段は、前記操作者から入力された頭髪の色の種別を表す情報を、前記髪色種別情報として取得するものであってもよい。
【００２９】
また、本発明の画像補正装置において、前記髪色種別情報取得手段は、前記単一人物の頭髪上の部分領域を操作者からの入力に応じて指定し、前記部分領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、該判定された種別を表す情報を前記頭髪色種別情報として生成するものであってもよい。
【００３０】
また、本発明の画像補正装置において、前記指定領域は、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、前記頭髪色種別情報取得手段は、前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、前記指定領域から、前記肌領域と、前記指定領域の輪郭および前記頭髪領域の上部輪郭によって囲まれる領域とを除いた領域のうち、前記指定領域の上寄り１／２から１／４の矩形領域内の領域を頭髪暫定領域として抽出し、前記頭髪暫定領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、該判定された種別を表す情報を前記頭髪色種別情報として生成するものであってもよい。
【００３１】
本発明の画像補正装置において、前記頭髪領域抽出手段は、前記頭髪色種別情報が表す種別が黒髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より小さい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであってもよい。
【００３２】
また、本発明の画像補正装置において、前記頭髪領域抽出手段は、前記頭髪色種別情報が表す種別が白髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より大きい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであってもよい。
【００３３】
また、本発明の画像補正装置において、前記頭髪領域抽出手段は、前記頭髪色種別情報が表す種別が金髪または茶髪のいずれか所定の種別であるときに、前記指定領域の画像を構成する画素の色相値のヒストグラムを求め、色相値が前記所定の種別の頭髪の平均的な色相値を含む所定の範囲内である前記ヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を前記頭髪領域として抽出するものであってもよい。
【００３４】
本発明のプログラムは、コンピュータを、人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、前記指定領域の色の情報に基づいて、前記単一人物の顔を含む肌領域を抽出する肌領域抽出手段と、前記単一人物の頭髪の色の種別を表す頭髪色種別情報を取得する頭髪色種別情報取得手段と、前記頭髪色種別情報が表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、前記単一人物の頭髪領域を抽出する頭髪領域抽出手段と、前記肌領域と前記頭髪領域とからなる領域を補正対象領域として設定する補正対象領域設定手段と、該補正対象領域における色相、彩度および明度のうち少なくともいずれかを補正する補正手段として機能させるためのプログラムである。
【００３５】
本発明のプログラムにおいて、前記頭髪色種別情報取得手段は、前記操作者から入力された頭髪の色の種別を表す情報を、前記髪色種別情報として取得するものであってもよい。
【００３６】
また、本発明のプログラムにおいて、前記髪色種別情報取得手段は、前記単一人物の頭髪上の部分領域を操作者からの入力に応じて指定し、前記部分領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、該判定された種別を表す情報を前記頭髪色種別情報として生成するものであってもよい。
【００３７】
また、本発明のプログラムにおいて、前記指定領域は、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、前記頭髪色種別情報取得手段は、前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、前記指定領域から、前記肌領域と、前記指定領域の輪郭および前記頭髪領域の上部輪郭によって囲まれる領域とを除いた領域のうち、前記指定領域の上寄り１／２から１／４の矩形領域内の領域を頭髪暫定領域として抽出し、前記頭髪暫定領域の色の情報に基づいて前記単一人物の頭髪の色の種別を判定し、該判定された種別を表す情報を前記頭髪色種別情報として生成するものであってもよい。
【００３８】
本発明のプログラムにおいて、前記頭髪領域抽出手段は、前記頭髪色種別情報が表す種別が黒髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より小さい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであってもよい。
【００３９】
また、本発明のプログラムにおいて、前記頭髪領域抽出手段は、前記頭髪色種別情報が表す種別が白髪であるときに、前記指定領域の画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より大きい前記ヒストグラム上の領域に相当する画素からなる画像領域を前記頭髪領域として抽出するものであってもよい。
【００４０】
また、本発明のプログラムにおいて、前記頭髪領域抽出手段は、前記頭髪色種別情報が表す種別が金髪または茶髪のいずれか所定の種別であるときに、前記指定領域の画像を構成する画素の色相値のヒストグラムを求め、色相値が前記所定の種別の頭髪の平均的な色相値を含む所定の範囲内である前記ヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を前記頭髪領域として抽出するものであってもよい。
【発明の効果】
【００４１】
本発明の画像補正方法および装置並びにそのためのプログラムによれば、抽出対象となる頭髪の色の種別を所定の手段によって予め求めておき、操作者によって指定された領域またはその近傍の色の情報に基づいて、その指定領域またはその近傍から人物の顔領域を抽出するとともに、その予め求めた頭髪の色の種別に応じた所定のアルゴリズムにしたがって頭髪領域を抽出し、顔領域と頭髪領域からなる補正対象領域の色の補正を行うので、黒髪だけでなく他の種別の頭髪に対しても精度よく頭髪領域を抽出することができ、一般自然画写真において、人物の頭髪が黒髪以外の種別であっても顔領域と頭髪領域からなる補正対象領域を確実に抽出し、その顔の色を不自然とならない態様で適正にかつ効率的に補正することが可能となる。
【発明を実施するための最良の形態】
【００４２】
以下、図面を参照して本発明の実施の形態について説明する。
【００４３】
図１は、本発明の画像補正装置の第１の実施形態の構成を示すブロック図である。本画像補正装置は、アナログ写真技術におけるいわゆる覆い焼きと同じ効果をデジタル画像上で得るための装置であり、画像上で暗く表現されている顔やその周辺の肌のみを部分的に明るく補正するものである。
【００４４】
図１に示すように、画像補正装置１は、複数の画像データを保存する画像データ保存部１０、画像データ保存部１０に保存されている画像データの中から補正の対象となる人物の画像データを選択する画像選択部２０、画像選択部２０により選択された人物の画像データが表す人物画像Ｉｎ上で単一人物の顔を含む部分的な領域を操作者の入力に応じて指定する領域指定部３１、領域指定部３１により指定された指定領域Ｒuの色の情報に基づいてその単一人物の顔を含む肌領域Ｒsを抽出する肌領域抽出部３２、その単一人物の頭髪の色の種別を表す頭髪色種別情報Ｖhを取得する頭髪色種別情報取得部３３、頭髪色種別情報Ｖｈが表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、その単一人物の頭髪領域Ｒhを抽出する頭髪領域抽出部３４、抽出された肌領域Ｒsと頭髪領域Ｒhとからなる領域を補正対象領域Ｒmとして設定する補正対象領域設定部３５、補正対象領域Ｒm内の各画素において施される補正の重みを定めるマスク画像Ｍａｓｋを作成するマスク作成部３６、人物画像Ｉｎの画像全体における色相、彩度および明度のうち少なくともいずれかを補正して全体補正画像Ｍｏｄを得る画像補正部４０、人物画像Ｉｎ、マスク画像Ｍａｓｋおよび全体補正画像Ｍｏｄを合成して補正対象領域Ｒmのみが部分的に補正された補正済画像Ｉｎ′を得る画像合成部５０、画像データ保存部１０に保存されているそれぞれの画像データが表す画像のほか、人物画像Ｉｎ、マスク画像Ｍａｓｋ、補正済画像Ｉｎ′等を操作者からの入力に応じてまたは自動で、所定のレイアウトで後述の画像表示部７０の画面に表示する制御を行う表示制御部６０、表示制御部６０の制御を受けて種々の画像を画面に表示する画像表示部７０、画像選択部２０による画像の選択や画像表示部７０に表示させる画像の選択等、種々の要求を示す情報を各部に入力する入力操作部８０を備えた構成である。
【００４５】
なお、本実施形態におけるマスク作成部３３、画像補正部４０および画像合成部５０が本発明の画像補正装置における補正手段として機能するものである。
【００４６】
画像データ保存部１０は、複数の画像データを保存するものであり、デジタルカメラによる撮影によって取得された画像データやスキャナによる読取りによって取得された画像データ等を格納しておくハードディスクなどの磁気記録装置から構成されている。
【００４７】
画像選択部２０は、操作者によって入力操作部８０を通じて入力された補正対象となる画像データを特定する情報に基づいて、画像データ保存部１０に保存されている画像データの中から補正の対象となる人物画像の画像データを選択するものである。例えば、画像表示部７０の画面には、表示制御部６０の制御を受けて、画像データ保存部１０に保存されている画像データが表す画像の一覧がサムネイル画像として表示されており、操作者は、その画面を見ながら補正対象とする所望の画像をＧＵＩ（グラフィカル・ユーザ・インターフェース）によって選択する。
【００４８】
領域指定部３１は、画像選択部２０により選択された人物の画像データが表す人物画像Ｉｎ上で単一人物の顔を含む部分的な領域を操作者の入力に応じて指定するものである。例えば、操作者が、入力操作部８０を構成するマウスやキーボード等を用いて、画像表示部７０の画面に表示された人物画像Ｉｎ上において、所定の２点をポインタで指定すると、領域指定部３１は、その２点を結んだ直線を対角線とする矩形領域を指定する。
【００４９】
肌領域抽出部３２は、領域指定部３１により指定された領域（以下、指定領域という）Ｒuの色の情報に基づいて、その単一人物の顔を含む肌領域Ｒsを抽出するものである。この肌領域Ｒsを抽出する方法の詳細については後述する。
【００５０】
頭髪色種別情報取得部３３は、その単一人物の頭髪の色の種別を表す頭髪色種別情報Ｖhを取得するものである。この第１の実施形態においては、頭髪色種別情報取得部３３は、操作者から入力された頭髪の色の種別を表す情報を、頭髪色種別情報Ｖhとして取得する。すなわち、操作者が画像表示部７０の画面に表示された人物画像Ｉｎを見て、その単一人物の頭髪の色の種別を判断し、予め用意された複数の選択肢の中からいずれかを選択する形式により、その頭髪の色の種別を表す情報を入力するものとする。
【００５１】
なお、頭髪の色の種別としては、髪の毛のメラニン色素の種類、量、分布により、“黒褐色系”（黒髪）、“黄赤色系”（金髪）、これらの中間に位置する“栗色系”（茶髪，栗毛）、そして、色素の抜けた“白髪系”があると言われている。そこで、本実施形態においては、これらの種別を考慮して、上記の選択肢を、黒髪、白髪、金髪・茶髪、その他（金髪・茶髪以外のカラー色）とする。
【００５２】
頭髪領域抽出部３４は、頭髪色種別情報Ｖhが表す頭髪の種別に応じた所定のアルゴリズムにしたがって、その単一人物の頭髪領域Ｒhを抽出するものである。頭髪領域Ｒhは特殊な場合を除き、略同じ色でまとまって存在していることが多いという特徴を有する。そのため、頭髪領域Ｒhは、抽出対象領域における色の情報を用いて抽出されるのが一般的である。しかし、頭髪の色が異なると、その色の情報の特徴、すなわち、明度、色相および彩度の特徴が異なるため、予め決められた１つのアルゴリズムで様々な色の頭髪を抽出することは容易ではない。そこで、頭髪を色別におおまかな種別に分類し、各種別毎に用意された所定のアルゴリズムにしたがって頭髪領域Ｒhを抽出することにより、より精度の高い頭髪領域Ｒhの抽出が可能になる。
【００５３】
補正対象領域設定部３５は、肌領域抽出部３２によって抽出された肌領域Ｒsと頭髪領域抽出部３４によって抽出された頭髪領域Ｒhとからなる領域を補正対象領域Ｒmとして設定するものである。
【００５４】
マスク作成部３６は、補正対象領域Ｒm内の各画素において施される補正の重み（補正度）を定めるマスク画像Ｍａｓｋを作成するものであり、人物画像Ｉｎの画像全体が補正された後述の全体補正画像Ｍｏｄと掛け合わせたときに、補正対象領域Ｒmのみにその補正が施された画像が得られるようなマスク画像Ｍａｓｋを作成する。
【００５５】
マスク画像Ｍａｓｋは、人物画像Ｉｎと同じ画像サイズ（解像度）を有し、その各画素は、その画素に対して施される補正度に応じて０〜１（補正度が０％のときに０、補正度が１００％のときに１とする）の重みに相当する画素値を有するものである。また、マスク画像Ｍａｓｋは、補正対象領域Ｒmの各位置に対して施される補正度を、補正対象領域Ｒmの境界近傍においてこの領域の内側から外側に向かって低くなるように設定される。なお、この補正度は、補正対象領域Ｒmの内外の明度差が小さいほど補正対象領域Ｒmの境界近傍においてより緩やかに変化するように設定する。
【００５６】
画像補正部４０は、補正対象領域Ｒmの補正後の目標となる所定の明度と補正対象領域Ｒmにおける明度の平均値もしくは中間値との差分に基づいて、補正対象領域Ｒmを補正する際の補正量として適正と思われる補正量（画像上の所定の成分毎の補正の程度）を算出し、これを初期値として用いて人物画像Ｉｎの画像全体を補正するものである。その後補正された画像は、表示制御部６０の制御を受けて、画像表示部７０の画面に表示されるが、操作者がその画面を見ながらさらに補正量を微調整できるように、画像補正部４０は、操作者によって入力された補正量を微調整する情報に基づいてその補正量を変更する機能を有する。そして、調整された補正量で再び画像が補正され、その補正された画像が画像表示部７０の画面に表示されることとなる。なお、補正できる画像上の成分は、特に限定しなくてもよいが、ここでは、補正に係る操作性をよくするため、色相、彩度および明度のうち少なくともいずれかに係る数種類の成分として予め決められており、操作者は、それらの中からいずれかの成分を選択してその成分を増減することができる。例えば、補正可能な画像上の成分を、シアンＣ、マゼンタＭ、エイローＹの３色の強度と明度Ｄの４種類に定め、画像表示部７０の画面には、表示制御部６０の制御を受けて、これらの成分の項目が表示されるとともに、それぞれの成分の項目の横にその成分の補正レベルを段階的に表示するカウンタと、その補正レベルを１段階ずつ増減できる増減ボタンが表示され、操作者は、これら各成分の補正レベルをＧＵＩによって調整する。
【００５７】
画像合成部５０は、全体補正画像Ｍｏｄともとの人物画像Ｉｎとを対応する各画素毎にマスク画像Ｍａｓｋが表す所定の重みで合成することによって、補正対象領域Ｒmのみが部分的に補正された補正済画像Ｉｎ′を得るものである。すなわち、下記の式（１）にしたがってこれらの画像を合成して、補正済画像Ｉｎ′を得るものである。
【数１】
2007087123.tif 000003
【００５８】
ここで、ｘ，ｙは、それぞれの画像におけるｘ座標とｙ座標を表し、Ｍａｓｋ（ｘ，ｙ）の取り得る値は、１≧Ｍａｓｋ（ｘ，ｙ）≧０である。
【００５９】
表示制御部６０は、入力操作部８０を通じて操作者によって入力された、各種の要求を指示する情報に基づいて、画像表示部７０の画面に表示する画像やそのレイアウトを制御するものである。
【００６０】
画像表示部７０は、表示制御部６０の制御を受けて、画面に各種の画像を表示するＣＲＴモニタや液晶パネル等で構成されている。
【００６１】
入力操作部８０は、ＧＵＩを実現するためのインターフェースで接続されたキーボード、マウス等で構成されている。
【００６２】
次に、本実施形態の画像補正装置１における処理の流れについて説明する。図２は、画像補正装置１における処理の流れを示したフローチャートである。
【００６３】
はじめに、画像表示部６０の画面には、操作者からの要求に応じてまたは自動で、表示制御部６０の制御により、画像データ保存部１０により保存されているそれぞれの画像データが表す画像の一覧がサムネイル画像として表示される。ここで、操作者が、それらの画像の中からある人物画像を特定する情報をＧＵＩによって入力すると、画像選択部２０はその情報に基づいてその人物画像を補正の対象となる人物画像Ｉｎとして選択する（ステップＳ１）。図３（１）は、このようにして選択された人物画像Ｉｎの一例を示す図である。図３（１）に示す人物画像Ｉｎは、男女二人が撮影された写真画像であり、男性が女性に比べてかなり日焼けしている状態を表している。
【００６４】
補正の対象となる人物画像Ｉｎが選択されると、画像表示部６０の画面には、図４に示すように、もとの人物画像Ｉｎもしくは補正の効果が反映された場合の人物画像（補正済画像）Ｉｎ′のいずれかを大きく表示するエリアＡＲ１、マスク画像Ｍａｓｋと人物画像Ｉｎにおける補正対象領域Ｒmの画像とを位置的に重ねて表示するエリアＡＲ２、人物画像Ｉｎ上で補正対象となる単一人物の頭髪の色の種別の候補を選択ボタンとして表示するＡＲ３、人物画像Ｉｎの補正対象領域Ｒmに対して上述のＣ、Ｍ、Ｙ、Ｄの各成分のレベルとそれら各成分の増減ボタンを表示するエリアＡＲ４から構成されたウィンドウＷｉｎが表示される。なお、この段階では、エリアＡＲ１に人物画像Ｉｎが表示されており、エリアＡＲ２には何も表示されていない。
【００６５】
ここで、操作者が、その表示された人物画像Ｉｎ上で、補正したい顔や肌を有する単一人物の顔および頭髪を含む矩形領域を特定する情報をＧＵＩによって入力すると、領域指定部３１はその情報に基づいてその矩形領域を指定領域Ｒuとする（ステップＳ２）。
【００６６】
また、操作者が、エリアＡＲ３に表示された頭髪の種別の選択ボタンの中から、その単一人物の頭髪の色の種別として最も近いと考える種別のボタンを押すと、頭髪色種別情報取得部３３は、その選択された種別を表す情報を頭髪色種別情報Ｖhとして生成し取得する（ステップＳ３）。
【００６７】
次に、肌領域抽出部３２は、指定領域Ｒuの色の情報に基づいて、指定領域Ｒuの中から上記の単一人物の顔を含む肌領域Ｒsを抽出する（ステップＳ４）。一方、頭髪領域抽出部３４は、頭髪色種別情報Ｖhが表す頭髪の色の種別に応じた所定のアルゴリズムにしたがって、指定領域Ｒuの中からその単一人物の頭髪領域Ｒhを抽出する（ステップＳ５）。そして、補正対象領域設定部３５が、抽出されたこれら肌領域Ｒsと頭髪領域Ｒhとを囲む領域を補正対象領域Ｒmとして設定する（ステップＳ６）。なお、肌領域Ｒsを抽出する処理と頭髪領域Ｒhを抽出する処理（以下、これら両処理を合わせた処理を補正対象領域Ｒmを抽出する処理と称する場合がある）の詳細については後述する。
【００６８】
マスク作成部３６は、抽出された補正対象領域Ｒmに対する補正度が上述の条件となるようなマスク画像Ｍａｓｋを作成する（ステップＳ７）。なお、このマスク画像Ｍａｓｋを作成する処理の詳細については後述する。図３（３）は、このようにして作成されたマスク画像Ｍａｓｋの一例を示す図である。図３（３）に示すマスク画像Ｍａｓｋは、被写体である男性の顔を含む肌と頭髪を囲む領域が補正対象領域Ｒmとして抽出されたときのマスク画像であり、その領域の境界がぼかされている。ここで、画像表示部７０の画面に表示されたウィンドウＷｉｎ内のエリアＡＲ２には、マスク画像Ｍａｓｋと人物画像Ｉｎにおける補正対象領域Ｒmの画像とが位置的に重ねられて表示される。操作者はこの画像を見ることにより、抽出された補正対象領域Ｒmが所望の領域であるか否かを確認することができる。
【００６９】
画像補正部４０は、まず、抽出された補正対象領域Ｒmの中から肌色領域を検出して、その肌色領域の明度が適正な明度となるような補正量を算出する。すなわち、補正対象領域Ｒmにおける各画素の彩度を求め、補正対象領域Ｒmのうちこの彩度が所定の閾値を下回る画素を除いた他の領域を抽出する。これにより、補正対象領域Ｒm中の頭髪、眉、黒目、影を除いた肌色領域が抽出される。そして、この肌色領域における各画素の明度を求め、その明度の平均値Ｄaveもしくは中間値Ｄmidを算出する。それから、写真画像における人物の肌の明度として好ましいとされる明度、すなわち、補正後の目標とする明度Ｄidealから上記のＤaveもしくはＤmidを減算して、明度の補正量Ｄmodを求める（Ｄmod＝Ｄideal−（Ｄave or Ｄmid））。そして、明度の補正量Ｄmodの値に基づいて、画像上の各成分の補正量の初期値が設定される。例えば、Ｃ，Ｍ，Ｙ（Ｒ，Ｇ，Ｂでもよい）の各成分毎に補正する補正量が補正量レベルとして定義され、各画素の色成分毎の信号値は、この補正量レベルにそれぞれ対応する変換曲線（例えば、1次元ルックアップテーブル）によって変換される。
【００７０】
画像補正部４０は、この補正量の初期値を用いて人物画像Ｉｎの画像全体を補正し、補正された全体画像は、表示制御部６０の制御を受けて、画像表示部７０の画面に表示される。操作者はその画面を見ながら、さらに補正量を適正にすべく、ＧＵＩによって画像表示部７０の画面に表示されたウィンドウＷｉｎ内のエリアＡＲ３に表示されたＣ、Ｍ、Ｙ、Ｄの各成分の補正量の増減ボタンを押して各成分の補正量を微調整する。
【００７１】
画像補正部４０は、その調整された補正量の設定にしたがって、再び人物画像Ｉｎの画像全体に補正を施し、全体補正画像Ｍｏｄを得（ステップＳ８）、その補正済みの全体画像が画面に表示される。図３（２）は、このようにして得られた全体補正画像Ｍｏｄの一例を示す図である。図３（２）に示す全体補正画像Ｍｏｄは、被写体である男性の顔を含む肌の領域が補正前の人物画像Ｉｎにおける女性の肌と同程度の明るさになるように、人物画像Ｉｎの画像全体の明度が高い方に補正された状態の画像である。
【００７２】
画像合成部５０は、上記の式（１）にしたがってこれらの画像を合成し、補正対象領域Ｒmのみに所望の補正が施され、かつ、補正対象領域Ｒmの境界付近においてその補正の効果がぼかされたような人物画像が得られる（ステップＳ９）。表示制御部６０は、この画像を画像表示部７０の画面上のエリアＡＲ１に更新する形で表示させる制御を行う。
【００７３】
そして、ステップＳ８とステップＳ９が必要に応じて繰り返され、最終的に、人物画像Ｉｎに所望の補正が施された補正済画像Ｉｎ′が得られる（ステップＳ１０）。図３（４）は、このようにして得られた補正済画像Ｉｎ′の一例を示す図である。図３（４）に示す補正済画像Ｉｎ′は、男性の肌領域と女性の肌領域とが同程度の明るさとなるように、男性の肌領域が明るく補正された図である。
【００７４】
次に、上記の、補正対象領域Ｒmを抽出する処理とマスク画像Ｍａｓｋを作成する処理について詳細に説明する。ここでは、まずこれらの処理の流れを概略的に説明し、その後、より具体的な処理について説明することにする。
【００７５】
図５は、補正対象領域Ｒmの抽出およびマスク画像Ｍａｓｋの作成における基本的な処理の流れを示したフローチャートである。この基本的な処理のアルゴリズムは大きく分けて、肌の種（たね）の抽出、肌の種の成長、頭髪の検出、マスクの作成、の４つの部に分けることができる。なお、「肌の種」とは肌領域に属するものとして高い信頼度で抽出された一かたまりの画素群のことをいう。
【００７６】
「肌の種の抽出」の部では、操作者によって指定された矩形の指定領域Ｒuにおける色相、彩度および明度のヒストグラムを用いて信頼度の高い肌の画素（以下、高信頼肌画素という）を抽出する（ステップＳ１１）。肌の種として充分な数の画素が得られたかどうかを判定し（ステップＳ１２）、充分でない場合には、その高信頼肌画素の抽出において、色相、彩度および明度に基づく閾値判定による分離の条件を緩めて、再度、指定領域Ｒu内で高信頼肌画素を抽出する（ステップＳ１３）。高信頼肌画素の抽出の後、モフォロジフィルタのクロージング処理を用いてその高信頼肌画素間の隙間を埋め、指定領域Ｒuにおいて幾つかの不連続な肌領域を得る（ステップＳ１４）。得られた複数の肌領域のうちの幾つかは背景に属することがあるので、これらのうち最も面積が大きい肌領域をその領域を拡げて成長させるもととなる肌の種として選択する。
【００７７】
「肌の種の成長」の部では、上記の肌の種の領域の輪郭を抽出し、この輪郭上の画素を所定の間隔でサンプリングし、サンプリングされた各画素を、肌の種を成長させるもととなる種画素とする。そして、それぞれの種画素について、種画素に隣接する所定領域の色相、彩度および明度を調べ、所定の条件を満たす領域を肌領域として加え、肌領域を成長させる。すべての種画素に対して肌領域の成長を行うと、より面積の大きい肌領域が得られる。そして、この成長した肌領域について、さらに、輪郭の抽出、種画素の設定、肌領域の成長といった上記と同様の処理を行うことにより、より面積の大きい肌領域が得られる。このような処理を、成長させるべき近隣の画素がなくなるか、もしくはこの処理の繰返し回数が所定数に達するまで繰り返す（ステップＳ１５，Ｓ１６）。
【００７８】
「頭髪の検出」の部では、抽出しようとする頭髪の色の種別に応じた所定のアルゴリズムにしたがい、人物画像Ｉｎの肌領域に属さない領域における画素の明度または色相のヒストグラムを求め、そのヒストグラム上で所定の条件を満たす領域に相当する画素群を、頭髪領域Ｒhとして抽出する（ステップＳ１７）。このようにして抽出された顔を含む肌領域Ｒsと頭髪領域Ｒhとを囲む領域を、補正対象領域Ｒmとして抽出する。
【００７９】
マスクの作成の部では、人物画像Ｉｎと同じ画像サイズで、抽出された補正対象領域以外の領域を切り取ったマスク画像Ｍａｓｋを作成するが、この際、補正対象領域Ｒmの内外の明度差（コントラスト）に応じて、補正対象領域Ｒmの境界をぼかす処理を施す（ステップＳ１８）。
【００８０】
これより、上記の各部における細かい処理について説明する。
【００８１】
（肌の種の抽出）
この部では、操作者によって指定された矩形の局所領域Ｒuにおいて最も肌らしい画素群を、肌領域を成長させるもととなる肌の種として抽出する。肌領域は、色相成分の分布図において幅の狭い所定の範囲に現れるということが、本出願人の経験から明らかとなっている。図６は、階調を０〜２５５としたときの、肌領域における色相、彩度、明度のそれぞれの分布を表した図である。図６の分布図によると、肌領域の色相は、２３５〜２５５と０〜３０の限られた比較的狭い範囲に見られるが、彩度と明度はより広く、０〜２５５の全範囲に見られる。これらの色相、彩度および明度の分布図から、肌領域の抽出においては、色相の分布が他の２つの成分の分布に比してより当てにできると言える。
【００８２】
まず、図７に示すように、操作者によって指定された指定領域Ｒu内で、信頼度の高い矩形の信頼領域Ｒtを選択する。信頼領域Ｒtは、指定領域Ｒuの縦幅の画素数をＨ、横幅の画素数をＷとしたときに、中心を指定領域Ｒuの中心から下方にＨ／１０画素分ずらした点とし、縦幅を１００画素または２１×Ｈ／４０画素のいずれか小さい方とし、横幅を１００画素または２×Ｗ／３画素のいずれか小さい方とする矩形領域である。操作者が指定する指定領域の中心は、肌領域である場合もあるが、目や眉である場合もある。後者の場合、その中心の近隣は肌領域として採用することができない。また、指定領域Ｒuには、肌に類似した背景部分が含まれることがあるが、指定領域Ｒuの中心は、ほとんどの場合、顔に属するため、その中心に近くて小さい領域は略全体が肌領域となる場合が多い。このような理由から、上記のように規定される信頼領域Ｒtを選択し、この領域における画像の情報を取得するようにしている。
【００８３】
信頼領域Ｒtの選択の後、その信頼領域Ｒt内で色相が２５０〜２５５および０〜２０の範囲にある画素を、最も肌らしい画素として選択する。そして、これらの画素の色相のヒストグラムを求める。図８に示すように、色相のヒストグラムにおいて所定の幅（例えば２０）で画素数が最大となる区域［Ｈcl，Ｈch］を抽出する。同様に、彩度と明度のヒストグラムにおいても所定の幅（例えば、彩度に対しては３０、明度に対しては４０）で画素数が最大となる区域［Ｓcl，Ｓch］，［Ｉcl，Ｉch］を抽出する。そして、これらの区域を用いて肌の分離閾値を設定する。まず、信頼領域Ｒtにおいて画素を抽出した場合と同様の方法により、指定領域Ｒuにおいて色相が上記２５０〜２５５および０〜２０の区域（この区域を［Ｈl，Ｈh］とする）にある画素を抽出する。指定領域Ｒuにおいて色相が［Ｈl，Ｈh］の区域にある画素について彩度と明度のヒストグラムを求める。彩度のヒストグラムにおいて［（Ｓcl＋Ｓch）／２−３０，（Ｓcl＋Ｓch）／２＋３０］の区域の外側のビンを０（ゼロ）にセットし、明度のヒストグラムにおいて［（Ｉcl＋Ｉch）／２−４０，（Ｉcl＋Ｉch）／２＋４０］の区域の外側のビンを０（ゼロ）にセットする。このように両端を切り落としたヒストグラムにおいて所定の幅（例えば、彩度に対しては３０、明度に対しては４０）で画素値が最大となる区域［Ｓl，Ｓh］，［Ｉl，Ｉh］を抽出する。図９は、彩度のヒストグラムにおける区域抽出の例を示した図である。
【００８４】
最後に、指定領域Ｒuにおいて、色相が区域［Ｈl，Ｈh］にあり、彩度が区域［Ｓl，Ｓh］にあり、明度が区域［Ｉl，Ｉh］にある画素を、最も肌らしい画素として抽出する。これらの画素は、閾値判定による分離によって得られるので、これらの画素の間には多数の小さな隙間が存在し、幾つかの不連続な領域を構成している。そこで、モフォロジフィルタのクロージング処理を用いてこれらの隙間を埋め、面積が最大となる領域を肌の種Ｒskin１として選択する。
【００８５】
上記のアルゴリズムによって抽出された肌の種が、充分な画素数（例えば、１０００画素またはＨ×Ｗ／８）を有さない場合は、肌の種の抽出の条件を緩める。すなわち、信頼領域Ｒtにおいて色相が上記の所定の範囲にある画素を抽出し、これらの画素をそのまま最も肌らしい画素として設定する。そして、モフォロジフィルタのクロージング処理を用いてこれらの画素の間にある隙間を埋め、面積が最大となる領域を肌の種Ｒskin1として選択する。
【００８６】
（肌の種の成長）
肌の種領域が得られたら、適応性領域成長手法により、その肌の種領域を成長させる。まず、肌の種領域Ｒskin1の輪郭ＣR1を抽出し、その輪郭上において所定の間隔で点［Ｐ1，Ｐ2，・・・，Ｐn］をサンプリングする（例えば、計３２個の点をとる）。そして、図１０（１）に示すように、この各点Ｐiに対して領域成長手法を同時に適用する。肌の種領域は連続した領域であり、肌の種の成長時には、種の内部は輪郭上の種点と同等である。その輪郭上には多数の画素があり、それほど離れていない２点の画素間では色の情報が類似している。そこで、種を成長させる処理の回数を少なく抑えるため、このように所定の間隔をおいて種点を設定するようにしている。種の領域を成長させるには、まず成長の条件を設定する必要があるが、ここでは、次のように設定する。
【００８７】
図１０（２）に示すように、種点Ｐiに対して点Ｐiを中心に半径３０画素の円を描き、この円内において既に肌領域として抽出されている内側領域Ｒinとまだ抽出されていない外側領域Ｒoutの２つの領域を得る。内側領域Ｒinにおいて、色相、彩度、明度のそれぞれのヒストグラムＨｉｓｔhin，ＨｉｓｔsinおよびＨｉｓｔiinを求める。外側領域Ｒoutにおいても同様に、ヒストグラムＨｉｓｔhout，ＨｉｓｔsoutおよびＨｉｓｔioutを求める。まず、Ｈｉｓｔhin，ＨｉｓｔsinおよびＨｉｓｔiinを用いて、最初の色相、彩度および明度の各区域［Ｈpi0l，Ｈpi0h］，［Ｓpi0l，Ｓpi0h］および［Ｉpi0l，Ｉpi0h］を選択する。これらの区域はそれぞれ、図１１に示すように、色相のヒストグラムにおいてビンが１０画素を超える区域、彩度のヒストグラムにおいてその面積が彩度の上下１０％を除いた場合の残り８０％の画素が含まれる区域、明度のヒストグラムにおいてその面積が明度の上下１０％を除いた残り８０％の画素が含まれる区域である。また、領域ＲinとＲoutにおいて、色相、彩度、明度のそれぞれについての極大範囲を求める。極大範囲は、所定の間隔（例えば、色相に対しては１０、彩度に対しては１５、明度に対しては２０）において画素値が最大となる区域である。ここで、これらの極大範囲は、Ｒinにおいては［Ｈinpeakl，Ｈinpeakh］，［Ｓinpeakl，Ｓinpeakh］および［Ｉinpeakl，Ｉinpeakh］とし、Ｒoutにおいては［Ｈoutpeakl，Ｈoutpeakh］，［Ｓoutpeakl，Ｓoutpeakh］および［Ｉoutpeakl，Ｉoutpeakh］と表す。そして、Ｒinにおける区域とＲoutにおける区域とを比較し、この２つの区域が充分に近い場合には、その区域の幅を拡張する。区域の拡張の詳細は次の通りである。
【数２】
2007087123.tif 000004
【００８８】
すなわち、区域［Ｈinpeakl，Ｈinpeakh］の中間値と区域［Ｈoutpeakl，Ｈoutpeakh］の中間値との差分が１５より小さいときは、区域［Ｈpi0l，Ｈpi0h］を区域［min(Ｈoutpeakl，Ｈpi0l)，max(Ｈoutpeakh，Ｈpi0h)］に拡げる。また、区域［Ｓinpeakl，Ｓinpeakh］の中間値と区域［Ｓoutpeakl，Ｓoutpeakh］の中間値との差分が３０より小さいときは、区域［Ｓpi0l，Ｓpi0h］を区域［min(Ｓoutpeakl，Ｓpi0l)，max(Ｓoutpeakh，Ｓpi0h)］に拡げる。また、区域［Ｉinpeakl，Ｉinpeakh］の中間値と区域［Ｉoutpeakl，Ｉoutpeakh］の中間値との差分が１５より小さいときは、区域［Ｉpi0l，Ｉpi0h］を区域［min(Ｉoutpeakl，Ｉpi0l)，max(Ｉoutpeakh，Ｉpi0h)］に拡げる。ここで、min(α，β)はαとβのいずれか小さい方、max(α，β)はαとβのいずれか大きい方とをとる関数である。
【００８９】
そして、顔が明るい肌および暗い肌である場合にも適用できるように、さらに区域を拡張する。経験則から、明るい肌や暗い肌では、明度や彩度は非常に幅広い値をとるが、色相はほとんど変わらないことが明らかとなっている。そこで、色相の区域は固定したまま、明度と彩度の区域をより拡げるようにする。
【００９０】
このようにして、領域の成長における基準となる区域、すなわち、肌領域として含めるべき色相、彩度、明度のそれぞれに対する区域を得ることができる。そして、領域成長過程においては、成長させるべき近隣の画素がなくなるまで、近隣の画素がこれらの区域内にある場合に、それらの画素を肌領域に含めるようにする。この領域成長を各種点に対して実施し、すべての種点について成長し終わると、より大きな肌領域Ｒskin2が得られる。そして、さらに、この肌領域Ｒskin2に対して、上記と同様の領域成長手法を適用してゆく。このような処理を例えば５回程度繰り返すようにする。
【００９１】
ただし、肌領域に類似した背景から肌領域Ｒsを分離するのは難しく、背景が肌色に近い色相である場合には、この肌色の背景も肌領域Ｒsとして抽出されてしまうことが考えられる。このような場合には、図１３に示すように、操作者によって人物画像Ｉｎにおける単一人物の顔および頭髪に略外接する矩形を輪郭とする領域が指定領域Ｒuとして指定されることを前提として、その指定領域Ｒuの輪郭に内接する楕円状の弧を描き、顔領域の下部輪郭をその楕円状の弧に近似して抽出するようにする。
【００９２】
なお、本処理において、肌領域Ｒsとして抽出する色相、彩度、明度それぞれの区域を決定するために、既に肌領域Ｒsとして抽出された領域の内部とその外部のそれぞれの色の情報を用いているが、この理由について説明する。領域の成長は、類似した画素を選択してゆく作業であるため、本出願人はその経験から、当初、その領域の成長に用いる情報は肌領域Ｒsの内部の情報だけで充分であると考えていた。しかし、実際には、顔や肌の一部のみしか抽出できなかった。その理由は、肌は、彩度や明度において広い範囲に属する傾向があり、たとえ同じ色相を有する領域であっても、肌領域Ｒs内部の種にはその近隣の外部の画素の情報が含まれないためである。故に、本処理では、近隣の外部の画素の情報を考慮するようにしている。
【００９３】
（頭髪の検出）
肌領域Ｒsが抽出されると、残る領域は頭髪領域Ｒhと背景領域に属することとなる。したがって、頭髪領域Ｒhを抽出するには、指定領域Ｒuから肌領域を除いた領域において、頭髪領域Ｒhと背景領域を分離する形で頭髪領域Ｒhを抽出すればよい。ここでは、既に取得された頭髪色種別情報Ｖhが表す頭髪の色の種別に応じて、次のようなアルゴリズムを用いることにより頭髪領域Ｒhを抽出する。
【００９４】
まず、頭髪色種別情報Ｖhが表す種別が黒髪である場合、指定領域Ｒuの画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値より小さいこのヒストグラム上の領域に相当する画素からなる画像領域を頭髪領域Ｒhとして抽出する。頭髪が黒髪の場合、頭髪領域Ｒhの色相と彩度は非常にばらつく傾向があるので、頭髪領域の抽出においては、これら色相や彩度の成分は使い辛い。しかしながら、明度の分布は、ほとんどの場合、狭い区域に納まり、その明度も低い。そこで、本処理では、背景領域と頭髪領域Ｒhとを区別するため２値化分離手法を用いる。図１２は、この２値化分離手法であるOotu（大津氏）の手法を表したものであるが、頭髪領域Ｒhを精度よく検出することができる。この手法では、所定のルールにしたがって明度値のヒストグラムにおいて閾値Ｔiを選択し（例えば、明度値の累積ヒストグラムの変化率が最も低くなる画素値を閾値Ｔiとする）、明度値がその閾値Ｔiより小さい画素を、頭髪らしい画素とする。この手法により、多数の頭髪らしき領域が検出される。これらの領域のうち最も面積の大きい領域を頭髪領域Ｒhとして選択する。なお、明度値のヒストグラムにおいて２つ以上の極大点が現れることもあるが、このような場合には、Ootuの手法では頭髪領域Ｒhをうまく検出することができない。基本的な考え方としては、信頼度の低い極大点を除外して信頼できる極大点を２つだけ残し、Ootuの手法を適用すればよいのだが、そのヒストグラム上で多数の極大点の存在をどのように知ればよいか、また、信頼度の低い極大点をどのように見つければよいかという問題がある。この問題を解決するため、下記の手法を適用することを考える。既に述べたように、頭髪領域Ｒhのほとんどの画素の明度値は小さいことが明らかである。そこで、ある値（例えば、１２８）より大きいビンを０（ゼロ）にセットした後、Ootuの手法を適用する。この手法であれば、所定の値（ここでは、１２８）より大きい明度値のビンによる影響を避けることができ、上記の問題を解決することができる。実際、実験においても、この手法により頭髪領域Ｒhをうまく検出することができた。
【００９５】
次に、頭髪色種別情報Ｖhが表す種別が白髪である場合、指定領域Ｒuの画像を構成する画素の明度値のヒストグラムを求め、明度値が所定の閾値Ｔiより大きいこのヒストグラム上の領域に相当する画素からなる画像領域を頭髪領域として抽出する。なお、この明度値のヒストグラムにおいて極大値が３つ以上ある場合には、より明るい側の極大点を残すため、明度値が所定の値（例えば、１２８）より小さいビンを０（ゼロ）にセットするなどの工夫をする。
【００９６】
また、頭髪色種別情報Ｖhが表す種別が金髪・茶髪である場合には、指定領域Ｒuの画像を構成する画素の色相値のヒストグラムを求め、色相値が金髪・茶髪の平均的な色相値を含む所定の範囲内（色相値をＨ、金髪・茶髪に対応する色相値の下限値をＨlim0、上限値をＨlim1として、Ｈlim0＜Ｈ＜Ｈlim1となる範囲内）であるこのヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を頭髪領域Ｒhとして抽出する。
【００９７】
そして、頭髪色種別情報Ｖhが表す種別が黒髪、白髪、金髪・茶髪以外の他の色の種別である場合には、指定領域Ｒuの輪郭が補正対象である単一人物の顔および頭髪に略外接するものであることを前提として、まず、指定領域Ｒuの中で頭髪領域Ｒh内である確率が高い位置、例えば、指定領域Ｒuの中心から上方に指定領域Ｒuの垂直方向の幅の１／３の距離だけ移動した場所にある所定の大きさの部分領域における色相情報を求める。次に、指定領域Ｒuの画像を構成する画素の色相値のヒストグラムを求め、色相値が上記部分領域の平均色相値を含む所定の範囲内（色相値をＨ、平均色相値をＨ0、所定の幅をＨwとして、Ｈ0−Ｈw＜Ｈ＜Ｈ0＋Ｈw）であるこのヒストグラム上の山のうち面積が最大のものに相当する画素からなる画像領域を頭髪領域として抽出する。
【００９８】
なお、上記の所定の閾値や所定の範囲は、目的の種別の頭髪が最も効果的に抽出される値または範囲を経験則から求めるようにする。
【００９９】
このように、頭髪の色の種別に応じて、アルゴリズムを切り替えることにより、頭髪領域Ｒhを精度よく抽出することができる。ただし、背景が頭髪の色に類似している場合には背景領域と頭髪領域Ｒhとを精度よく分離することは難しく、背景領域と頭髪領域Ｒhとの境界が不正確となることがある。このような場合には、図１３に示すように、操作者によって人物画像Ｉｎにおける単一人物の顔および頭髪に略外接する矩形を輪郭とする領域が指定領域Ｒuとして指定されることを前提として、その指定領域Ｒuの輪郭に内接する楕円状の弧を描き、頭髪領域Ｒhの上部輪郭をその楕円状の弧に近似して抽出するようにする。背景領域と頭髪領域Ｒhの色が類似しているか否かは、例えば、指定領域Ｒuの輪郭位置を基準として、頭髪領域Ｒh内である確率が高い所定の位置にある画素または画素群の色相と背景領域内である確率が高い所定の位置にある画素または画素群の色相とを比較し、その差分がある閾値以内であるか否かにより判定するようにすればよい。
【０１００】
このようにして、肌領域Ｒsおよび頭髪領域Ｒhが抽出されたら、これらを囲む領域を補正対象領域Ｒmとして設定する。
【０１０１】
（マスクの作成）
補正対象領域Ｒmが抽出されたら、人物画像Ｉｎの画像全体が補正された全体補正画像Ｍｏｄともとの人物画像Ｉｎとを対応する画素毎に所定の重み付けで足し合わせて合成したときに、補正対象領域Ｒmのみにその補正が施された画像が得られるような上記重みを表すマスク画像Ｍａｓｋを作成する。
【０１０２】
マスク画像Ｍａｓｋは、人物画像Ｉｎと同じ画像サイズ（解像度）を有し、その各画素は、その画素に対して施される補正の程度に応じて０〜１（補正の程度が０％のときに０、１００％のときに１となる）の重みに相当する画素値を有するものである。なお、本実施例では、重み０〜１に相当する画素値として、０〜２５５をとるものとする。
【０１０３】
ここで、人物画像Ｉｎ、全体補正画像Ｍｏｄおよびマスク画像Ｍａｓｋを合成して最終的に得られる、部分的に補正がなされた補正済画像Ｉｎ′が不自然とならないように、マスクをぼかす処理を施す。すなわち、マスク画像Ｍａｓｋにおける補正対象領域Ｒmの境界近傍において、その補正度が補正対象領域Ｒmの内側から外側に向かって低くなるようにマスク画像Ｍａｓｋの画素値を設定する。ここでは、マスクをぼかすために、このマスク画像Ｍａｓｋにガウスぼかし処理を適用する。マスクの頭部側では、そのぼかす幅は、選択された矩形の指定領域Ｒuとの関係に基づいて規定する（例えば、水平方向の幅をＷ／４、垂直方向の幅をＨ／４とする）。その他の肌側では、まずマスクにおける肌の境界を抽出し、そのぼかす幅は、その境界の位置の水平方向の幅および垂直方向の幅との関係に基づいて規定する（水平方向の幅をＷ／４、垂直方向の幅をＨ／４とする）。
【０１０４】
背景が暗い場合におけるその悪影響をより抑えるため、頭髪領域Ｒhの輪郭においては、マスクにおける値をゆっくり変化させる。すなわち、マスクにおける値が、０か２５５の２値ではなく、０〜２５５と変化するようにする。なお、指定領域Ｒuの輪郭に内接する楕円状の弧が頭髪領域の上部輪郭Ｌhuとして近似して選択された場合には、図１４に示すように、マスクが外側から内側へ向かって０〜２５５の値をとるように変化させる。
【０１０５】
なお、マスクについての検討段階においては、選択された領域の色情報を変えることのみを考え、他の領域へ影響を与えることは考えていながったが、マスクの境界の内外の色相関（ここで色相関とは、比較対象となる画像における色成分や明度の相関を表すものであり、例えば、明度差、赤（Ｒ）成分の差分と緑（Ｇ）成分の差分と青（Ｂ）成分の差分の和、色相の差分と彩度の差分と明度の差分の和などが考えられる）が大きい場合には、同一のぼかし具合では、補正による改善を望まない領域に対しても影響が出てしまい、不自然な描写となる傾向にあった。そこで、適応性のぼかし処理、すなわち、マスクの境界の内外の色相関に応じてぼかしの程度を変える処理を施すようにした。すなわち、補正度を、補正対象領域Ｒmの内外の色相関が小さいほど補正対象領域Ｒmの境界近傍においてより緩やかに変化するように設定する（例えば、ガウシアン関数の半径を広げる）。
【０１０６】
このように、色相関が小さいほど、補正対象領域Ｒmの境界近傍における補正度をより緩やかに変化するように設定する理由は、以下のような事実に基づいている。一般的に、補正対象領域Ｒmの内外の明度差が大きいときは、補正した補正対象領域Ｒmとその外側との間でグラデーションが目立ちやすくなるため（いかにも補正したといった表現になる）、補正対象領域の境界近傍においては、補正度は急峻に変化することが好ましく、また、補正対象領域Ｒmの内外の明度差が小さいときは、補正対象領域Ｒmの境界の抽出精度が悪い可能性があり、その抽出の悪さが目立ちやすくなるため（境界がずれていたり、でこぼこになったりする）、補正対象領域Ｒmの境界近傍においては、補正度を緩やかに変化させることが好ましい。しかし、明度差が小さいときであっても、色相がまったく異なる場合などは、上記のルールに従って補正度の変化を緩やかにしてしまうと、かえって色のグラデーションが目立つ結果となる場合があるので、このような場合には、各色の成分の差分の和も利用し、色相が近いかどうかも考慮するようにするとよい。すなわち、補正対象領域の内外の色相が近い場合には、補正対象領域の境界近傍においては、補正度は緩やかに変化することが好ましく、また、その色相が離れている場合には、補正対象領域の近傍において、補正度は急峻に変化することが好ましい。
【０１０７】
なお、上記の同一のぼかし具合によるぼかし処理では、マスクの境界を滑らかにならすのに、ガウシアン・カーネルを用いる。ここで、マスクはＭａｓｋ（ｉ，ｊ）、１次元のガウシアン・カーネルは、ｎ画素を半径として、Ｇ＝［ｇ-n，ｇ-(n-1)，・・・，ｇn-1，ｇn］である。マスクのぼかしは、水平方向と垂直方向のそれぞれに適用可能である。１次元のぼかしは、次式のように表すことができる。
【数３】
2007087123.tif 000005
【０１０８】
一方、適応性のぼかし処理では、ぼかしの重みを導入し、ぼかし処理の式は、例えば、以下のように書き換えることができる。
【数４】
2007087123.tif 000006
【０１０９】
ここで、ｔｈは調整用のパラメータであり、ｔｈが大きいほど、明度差：ａｂｓ（Ｉ（ｉ，ｊ）−Ｉ（ｉ−ｋ，ｊ））またはａｂｓ（Ｉ（ｉ，ｊ）−Ｉ（ｉ，ｊ−ｋ））がぼかしの影響を弱くする。なお、このｔｈの値としては、例えば、８０とすることができる。
【０１１０】
このような第１の実施形態による画像補正装置によれば、抽出対象となる頭髪の色の種別を所定の手段によって予め求めておき、操作者によって指定された領域またはその近傍の色の情報に基づいて、その指定領域またはその近傍から人物の顔領域を抽出するとともに、その予め求めた頭髪の色の種別に応じた所定のアルゴリズムにしたがって頭髪領域を抽出し、顔を含む肌領域Ｒsと頭髪領域Ｒhからなる補正対象領域Ｒmの色の補正を行うので、黒髪だけでなく他の種別の頭髪に対しても精度よく頭髪領域Ｒhを抽出することができ、一般自然画写真において、人物の頭髪が黒髪以外の種別であっても肌領域Ｒsと頭髪領域Ｒhからなる補正対象領域Ｒmを確実に抽出し、その顔の色を不自然とならない態様で適正にかつ効率的に補正することが可能となる。
【０１１１】
次に、本発明の画像補正装置の第２の実施形態について説明する。この第２の実施形態による画像補正装置の構成および各部の機能は、頭髪色種別情報取得部３３の機能を除き、第１の実施形態と同じである。
【０１１２】
第１の実施形態においては、頭髪種別情報取得部３３は、操作者からの入力に応じて頭髪色種別情報Ｖhを取得するものである。すなわち、操作者が画面に表示された人物画像Ｉｎを見て、補正対象である単一人物の頭髪の色の種別を自ら判断し、その種別を指定する。頭髪色種別情報取得部３３は、その指定された種別を表す情報を頭髪色種別情報Ｖhとして取得している。
【０１１３】
一方、第２の実施形態においては、頭髪色種別情報取得部３３は、補正対象である単一人物の頭髪上の部分領域Ｒbを操作者からの入力に応じて指定し、その部分領域Ｒbの色の情報に基づいてその単一人物の頭髪の色の種別を判定し、この判定された種別を表す情報を頭髪色種別情報Ｖhとして生成するものである。すなわち、操作者は、図１５に示すように、その単一人物の頭髪が存在する領域だけを指定し、その頭髪の色の種別は、操作者によって指定された領域の色の情報に基づいて画像補正装置側が判定することとなる。
【０１１４】
なお、この頭髪の色の種別の判定は、例えば、下記のような処理によって行うことができる。
【０１１５】
図１６は、この頭髪の色の種別を判定する処理の流れを示したフローチャートである。まず、人物画像Ｉｎにおける補正対象である単一人物の頭髪上の部分領域Ｒbについて、この領域の画像を構成する画素の明度値の平均値Ｉ0、色相値の平均値Ｈ0、彩度値の平均値Ｓ0をそれぞれ算出する（ステップＳ２１）。そして、彩度値の平均値Ｓ0が所定の閾値Ｓ_lim_bkwhtより小さいか否かを判定する（ステップＳ２２）。すなわち、その単一人物の頭髪が、彩度の高い、金髪・茶髪系、カラーリングされた髪系に属するか、彩度の低い、黒髪系、白髪系に属するか判別する。ここで、彩度値の平均値Ｓ0が閾値Ｓ_lim_bkwhtより小さいと判定された場合には、その単一人物の頭髪が、彩度の低い、黒髪系または白髪系であると判別し、さらに、明度値の平均値Ｉ0が所定の閾値Ｉ_lim_whtより小さいか否かを判定する（ステップＳ２３）。一方、ステップＳ２２において、彩度値の平均値Ｓ0が閾値Ｓ_lim_bkwht以上であると判定された場合には、その単一人物の頭髪が、彩度の高い、金髪・茶髪系またはカラーリングされた髪系であると判別し、さらに、色相値の平均値Ｈ0が金髪や茶髪等の色相に相当するＨlim0からＨlim1までの所定の範囲内であるか否かを判定する（ステップＳ２４）。ステップＳ２３において、明度値の平均値Ｉ0が閾値Ｉ_lim_whtより小さいと判定された場合には、その頭髪は、明度の低い、黒髪系と判別され（ステップＳ２５）、明度値の平均値Ｉ0が閾値Ｉ_lim_wht以上であると判定された場合には、その頭髪は、明度の高い、白髪系と判別される（ステップＳ２６）。また、ステップＳ２４において、色相値の平均値Ｈ0がこの所定の範囲内であると判定された場合には、その頭髪は、金髪・茶髪系と判別され（ステップＳ２７）、色相値の平均値Ｈ0がこの所定の範囲外であると判定された場合には、その頭髪は、その他のカラーリングされた髪系と判別される（ステップＳ２８）。
【０１１６】
頭髪色種別情報取得部３３により、頭髪の色の種別が判定され、その頭髪の色の種別を表す頭髪色種別情報Ｖhが取得された後は、第１の実施形態と同様に、頭髪領域抽出部３４により、その頭髪の色の種別に応じた所定のアルゴリズムにしたがって、頭髪領域Ｒhが抽出され、肌領域抽出部３２により抽出された肌領域Ｒsとその頭髪領域Ｒhとを囲む補正対象領域Ｒmの色や明度が補正される。
【０１１７】
このような第２の実施形態による画像補正装置によれば、第１の実施形態において説明した効果のほか、下記のような効果も認められる。すなわち、この画像補正装置によれば、操作者により指定された、人物画像Ｉｎ上の補正対象となる単一人物の頭髪上の部分領域Ｒbの色情報に基づいて、その頭髪の色の種別を判定するようにしているので、上記の部分領域Ｒbを指定するという操作者による単純な操作だけで、頭髪の色の情報を確実に取得して精度のよい頭髪の色の種別の判定を行い、頭髪領域Ｒhを精度よく抽出し、結果的に、補正対象領域Ｒmを精度よく抽出することができ、操作者への負担が軽いにもかかわらず、色の異なる多種の頭髪に対応した自然な補正が可能となる。
【０１１８】
次に、本発明の画像補正装置の第３の実施形態について説明する。この第３の実施形態による画像補正装置の構成および各部の機能は、頭髪色種別情報取得部３３の機能を除き、第１の実施形態と同じである。
【０１１９】
第１の実施形態においては、頭髪種別情報取得部３３は、操作者からの入力に応じて頭髪色種別情報Ｖhを取得するものである。すなわち、操作者が画面に表示された人物画像Ｉｎを見て、補正対象である単一人物の頭髪の色の種別を自ら判断し、その種別を指定する。頭髪色種別情報取得部３３は、その指定された種別を表す情報を頭髪色種別情報Ｖhとして取得している。
【０１２０】
一方、第３の実施形態においては、領域指定部３１により指定された指定領域Ｒuが単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であることを前提として、頭髪色種別情報取得部３３は、図１７に示すように、指定領域Ｒuの輪郭位置情報に基づいて、その単一人物の頭髪領域の上部輪郭Ｌhuを指定領域Ｒuの輪郭に内接する楕円状の弧に近似して抽出し、指定領域Ｒuから、肌領域抽出部３１により抽出された肌領域Ｒsと、指定領域Ｒuの輪郭および上記の頭髪領域の上部輪郭Ｌhuによって囲まれる領域とを除いた領域のうち、指定領域Ｒuの上寄り１／３の矩形領域内の領域を頭髪暫定領域Ｒhtとして抽出し、頭髪暫定領域Ｒhtの色の情報に基づいてその単一人物の頭髪の色の種別を判定し、判定された種別を表す情報を頭髪色種別情報Ｖhとして生成するものである。すなわち、操作者は、人物画像Ｉｎ上で補正対象となる単一人物の顔および頭髪に略外接する領域を指定するだけであり、その頭髪の色の種別は、指定領域Ｒuの色の情報と輪郭位置情報に基づいて画像補正装置側がすべて自動で判定することとなる。
【０１２１】
なお、この頭髪の色の種別の判定は、基本的に、第２の実施形態における頭髪の色の種別の判定と略同じ判定処理を用いることができる。この場合、上記の頭髪上の部分領域Ｒbを上記の頭髪暫定領域Ｒhtに置き換えて考えるようにすればよい。
【０１２２】
また、頭髪暫定領域Ｒhtは、上記のような手順により抽出するほか、単純に指定領域Ｒuの上側１／３の領域において、最も多い色を基礎にしてその単一人物の頭髪の色の種別を判定するようにしてもよい。
【０１２３】
このような第３の実施形態による画像補正装置によれば、第１の実施形態において説明した効果のほか、下記のような効果も認められる。すなわち、この画像補正装置によれば、操作者により指定された、人物画像Ｉｎ上の補正対象となる単一人物の顔および頭髪に略外接する矩形領域を指定領域Ｒuとし、その指定領域Ｒuの色の情報と輪郭位置情報とに基づいて、頭髪領域に相当すると思われる領域を頭髪暫定領域Ｒhtとして抽出し、その頭髪暫定領域Ｒhtの色の情報に基づいてその頭髪の色の種別を判定するようにしているので、指定領域Ｒuを指定するという操作者による基本的な操作だけで、頭髪の色の情報を的確に取得して精度のよい頭髪の色の種別の判定を行い、頭髪領域Ｒhを精度よく抽出し、結果的に、補正対象領域Ｒmを精度よく抽出することができ、操作者への負担がほとんどないにもかかわらず、色の異なる多種の頭髪に対応した自然な補正が可能となる。
【０１２４】
なお、上記第１から第３の実施形態による画像補正装置では、以下のような効果も認められる。すなわち、操作者によって指定された領域内において人物の顔領域を含む補正対象領域Ｒmを自動で抽出する、いわゆるセミオートマティック（半自動）な補正対象領域Ｒmの抽出を行い、補正の程度を補正対象領域Ｒmの境界付近でなだらかにして補正しているので、背景が複雑で自動では検出しにくい人物画像であっても、人物の顔領域を含む補正対象領域Ｒmを的確にかつ効率的に抽出することができ、また、補正対象領域Ｒmとその他の領域との境界をぼかしながら補正することができ、一般自然画写真でも顔を確実に抽出し、その顔の明度や色を不自然とならない態様で適正にかつ効率的に補正することが可能となる。
【０１２５】
また、顔を含む肌領域Ｒsだけでなく頭髪領域Ｒhも補正対象領域Ｒmに含めることで、補正後の画像において、頭髪の描写と顔の描写との不自然な明度差や色相の差が現れ難くなり、より自然な補正が可能となる。
【０１２６】
また、画像補正部および画像合成部で構成される補正手段が、色相、彩度および明度のうち少なくともいずれかに係る予め設定された種類の成分について、はじめに、補正対象領域の補正後の目標となる明度と実際の明度の平均値もしくは中間値との差分に基づいて補正量を決め、その後、操作者からの入力に応じて微調整することにより補正を行うようにしているので、補正における操作性がよく、操作者は単純な操作で所望の補正結果を得ることができ、多数の画像を効率よく補正することが可能となる。
【０１２７】
なお、これらの実施形態においては、１つの人物画像Ｉｎに対して補正対象領域Ｒmを１つのみ抽出し、その補正対象領域に対して補正を施しているが、特にこのように限定される必要はなく、１つの人物画像Ｉｎに対して複数の補正対象領域Ｒm1，Ｒm2，・・・を抽出し、それぞれの補正対象領域に対応する複数マスク画像Ｍａｓｋ1，Ｍａｓｋ2，・・・と、複数の全体補正画像Ｍｏｄ1，Ｍｏｄ2，・・・を作成し、各補正対象領域に対して別々の補正を施すようにしてもよい。
【０１２８】
また、これらの実施形態においては、補正対象領域Ｒmを、顔を含む肌領域Ｒsと頭髪領域Ｒhとを囲む領域として抽出しているが、特にこのように限定される必要はなく、頭髪領域Ｒhを含まない顔を含む肌領域Ｒsのみを補正対象領域Ｒmとして抽出するようにしてもよい。
【０１２９】
以上、本発明の実施形態に係る画像補正方法および装置について説明したが、上記画像補正装置における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１３０】
【図１】画像補正装置１の構成を示すブロック図
【図２】画像補正装置１において行われる処理の流れを示すフローチャート
【図３】補正前後の画像および補正に用いる画像の一例を示す図
【図４】画像表示部７０の画面に表示される画像のレイアウトの一例を示す図
【図５】補正対象領域Ｒmの抽出およびマスク画像の作成における処理の流れを示すフローチャート
【図６】肌領域における色相、彩度および明度の分布を示す図
【図７】指定領域Ｒuと信頼領域Ｒtとの関係を示す図
【図８】肌領域の抽出に用いる色相ヒストグラム上の所定の区域を説明するための図
【図９】肌領域の抽出に用いる彩度ヒストグラム上の所定の各種の区域を説明するための図
【図１０】肌の種の成長処理を説明するための図
【図１１】肌の種の成長処理に用いるヒストグラム上の所定の区域を説明するための図
【図１２】頭髪領域および背景領域と明度ヒストグラムとの関係を示す図
【図１３】顔領域の下部輪郭及び頭髪領域の上部輪郭の抽出手法を説明するための図
【図１４】頭髪部分の境界近傍がぼかされたマスクを示す図
【図１５】補正対象である単一人物の頭髪上の部分領域を指定する様子を示す図
【図１６】補正対象である単一人物の頭髪の色の種別を判定する処理のフローチャート
【図１７】暫定頭髪領域を抽出する様子を示す図
【符号の説明】
【０１３１】
１  画像補正装置
１０  画像データ保存部
２０  画像選択部
３１  領域指定部
３２  肌領域抽出部
３３  頭髪色種別情報取得部
３４  頭髪領域抽出部
３５  補正対象領域設定部
３６  マスク作成部
４０  画像補正部
５０  画像合成部
６０  表示制御部
７０  画像表示部
８０  入力操作部
【図１】
2007087123.tif 000007
【図２】
2007087123.tif 000008
【図４】
2007087123.tif 000009
【図５】
2007087123.tif 000010
【図６】
2007087123.tif 000011
【図７】
2007087123.tif 000012
【図８】
2007087123.tif 000013
【図９】
2007087123.tif 000014
【図１０】
2007087123.tif 000015
【図１１】
2007087123.tif 000016
【図１２】
2007087123.tif 000017
【図１３】
2007087123.tif 000018
【図１４】
2007087123.tif 000019
【図１５】
2007087123.tif 000020
【図１６】
2007087123.tif 000021
【図３】
2007087123.tif 000022
【図１７】
2007087123.tif 000023