(57)【要約】  【課題】  画像上の被写体の顔と服を簡便かつ的確に抽出し、各領域の画像を補正する。  【解決手段】  顔領域抽出部２２が補正対象画像Ｓ上でユーザによって指定された顔抽出対象領域Ｒｘｆから顔領域Ｒｆを抽出するとともに、相関情報取得部３１が被写体の服の種類と相関のある相関事項の内容を表す相関情報Ｃｃを取得し、服種類特定部３３が相関情報Ｃｃの内容と相関が最も高い服の種類を求め、服形状データ取得部３３がその服の形状を表す服形状データＤｓを取得する。服抽出領域設定部３５はその形状で模られた服抽出対象領域Ｒｘｃを被写体の顔の位置を基準として定められる被写体の服があるべき位置に設定し、服領域抽出部３６が服抽出対象領域Ｒｘｃから服領域Ｒｃを抽出し、補正部４０が顔領域Ｒｆと服領域Ｒｃの各画像の明るさや色、階調等を補正する。【選択図】          図１
2007094623.tif 000002
【特許請求の範囲】
【請求項１】
人物である被写体を含む被写体画像において操作者により指定された前記被写体の顔を含む局所領域を、顔抽出対象領域として設定するステップと、
前記顔抽出対象領域の画像情報に基づいて、該領域から前記顔を表す顔領域を抽出するステップと、
前記被写体の服の種類と相関関係のある少なくとも１つの相関事項の内容を表す相関情報を取得するステップと、
前記相関関係に基づいて、前記取得された相関情報が表す相関事項の内容と相関が最も高い服の種類を特定するステップと、
それぞれが前記種類毎の各服の形状を表す複数の服形状データの中から、前記特定された服の種類に対応した服形状データを取得するステップと、
前記被写体画像における前記顔抽出対象領域または前記顔領域の位置により定まる前記被写体の服があるべき位置に、前記取得した服形状データが表す形状を有する領域を、服抽出対象領域として設定するステップと、
前記服抽出対象領域の画像情報に基づいて、該領域から前記被写体の服を表す服領域を抽出するステップと、
前記被写体画像における前記顔領域および前記服領域の各画像に画像処理を施して該各画像の明るさ、色および階調のうち少なくとも１つを補正するステップとを有することを特徴とする画像補正方法。
【請求項２】
前記相関事項が、前記被写体の性別、前記被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、前記被写体の髪型の種類、前記被写体の撮影時期、および、前記被写体が撮影されたときの行事のうち少なくとも１つであることを特徴とする請求項１記載の画像補正方法。
【請求項３】
前記服抽出対象領域を設定するステップが、前記服抽出対象領域を、前記顔抽出対象領域または前記顔領域の大きさに応じた大きさに調整して設定するステップであることを特徴とする請求項１または２記載の画像補正方法。
【請求項４】
前記服形状データが、前記被写体の立位と座位のそれぞれに対応した２種類のデータを含むものであり、
前記服形状データを取得するステップが、前記顔抽出対象領域または前記顔領域の前記被写体画像に対する相対的な位置の高低に応じて、前記２種類のデータのうちいずれかを選択して取得するステップであることを特徴とする請求項１、２または３記載の画像補正方法。
【請求項５】
人物である被写体を含む被写体画像において操作者により指定された前記被写体の顔を含む局所領域を、顔抽出対象領域として設定する顔抽出対象領域設定手段と、
前記顔抽出対象領域の画像情報に基づいて、該領域から前記顔を表す顔領域を抽出する顔領域抽出手段と、
前記被写体の服の種類と相関関係のある少なくとも１つの相関事項の内容を表す相関情報を取得する相関情報取得手段と、
前記相関関係に基づいて、前記取得された相関情報が表す相関事項の内容と相関が最も高い服の種類を特定する服種類特定手段と、
それぞれが前記種類毎の各服の形状を表す複数の服形状データの中から、前記特定された服の種類に対応した服形状データを取得する服形状データ取得手段と、
前記被写体画像における前記顔抽出対象領域または前記顔領域の位置により定まる前記被写体の服があるべき位置に、前記取得した服形状データが表す形状を有する領域を、服抽出対象領域として設定する服抽出対象領域設定手段と、
前記服抽出対象領域の画像情報に基づいて、該領域から前記被写体の服を表す服領域を抽出する服領域抽出手段と、
前記被写体画像における前記顔領域および前記服領域の各画像に画像処理を施して該各画像の明るさ、色および階調のうち少なくとも１つを補正する補正手段とを備えたことを特徴とする画像補正装置。
【請求項６】
前記相関事項が、前記被写体の性別、前記被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、前記被写体の髪型の種類、前記被写体の撮影時期、および、前記被写体が撮影されたときの行事のうち少なくとも１つであることを特徴とする請求項５記載の画像補正装置。
【請求項７】
前記服抽出対象領域設定手段が、前記服抽出対象領域を、前記顔抽出対象領域または前記顔領域の大きさに応じた大きさに調整して設定するものであることを特徴とする請求項５または６記載の画像補正装置。
【請求項８】
前記服形状データが、前記被写体の立位と座位のそれぞれに対応した２種類のデータを含むものであり、
前記服形状データ取得手段が、前記顔抽出対象領域または前記顔領域の前記被写体画像に対する相対的な位置の高低に応じて、前記２種類のデータのうちいずれかを選択して取得するものであることを特徴とする請求項５、６または７記載の画像補正装置。
【請求項９】
コンピュータを、
人物である被写体を含む被写体画像において操作者により指定された前記被写体の顔を含む局所領域を、顔抽出対象領域として設定する顔抽出対象領域設定手段と、
前記顔抽出対象領域の画像情報に基づいて、該領域から前記顔を表す顔領域を抽出する顔領域抽出手段と、
前記被写体の服の種類と相関関係のある少なくとも１つの相関事項の内容を表す相関情報を取得する相関情報取得手段と、
前記相関関係に基づいて、前記取得された相関情報が表す相関事項の内容と相関が最も高い服の種類を特定する服種類特定手段と、
それぞれが前記種類毎の各服の形状を表す複数の服形状データの中から、前記特定された服の種類に対応した服形状データを取得する服形状データ取得手段と、
前記被写体画像における前記顔抽出対象領域または前記顔領域の位置により定まる前記被写体の服があるべき位置に、前記取得した服形状データが表す形状を有する領域を、服抽出対象領域として設定する服抽出対象領域設定手段と、
前記服抽出対象領域の画像情報に基づいて、該領域から前記被写体の服を表す服領域を抽出する服領域抽出手段と、
前記被写体画像における前記顔領域および前記服領域の各画像に画像処理を施して該各画像の明るさ、色および階調のうち少なくとも１つを補正する補正手段として機能させるためのプログラム。
【請求項１０】
前記相関事項が、前記被写体の性別、前記被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、前記被写体の髪型の種類、前記被写体の撮影時期、および、前記被写体が撮影されたときの行事のうち少なくとも１つであることを特徴とする請求項９記載のプログラム。
【請求項１１】
前記服抽出対象領域設定手段が、前記服抽出対象領域を、前記顔抽出対象領域または前記顔領域の大きさに応じた大きさに調整して設定するものであることを特徴とする請求項９または１０記載のプログラム。
【請求項１２】
前記服形状データが、前記被写体の立位と座位のそれぞれに対応した２種類のデータを含むものであり、
前記服形状データ取得手段が、前記顔抽出対象領域または前記顔領域の前記被写体画像に対する相対的な位置の高低に応じて、前記２種類のデータのうちいずれかを選択して取得するものであることを特徴とする請求項９、１０または１１記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像における人物の顔や服の明るさや色、階調等を補正する画像補正方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
従来、人物を被写体とするデジタル写真画像において、その人物の顔を抽出して、その顔の明るさ、色、階調等を補正する、いわゆるデジタル覆い焼き処理が提案されている。このデジタル覆い焼き処理において、画像上の顔の位置を特定しないで、画像全体の情報から顔を抽出しようとすると、その背景が複雑な場合には、顔を的確に抽出できない場合がある。
【０００３】
そこで、ユーザ（操作者）が、対象となる画像を見ながら画像上の顔を含む局所的な領域をマニュアルで指定し、指定された領域の画像の情報に基づいてその指定領域から顔を抽出する方法が提案されている。この方法によれば、画像上の顔のおおよその位置を簡易かつ的確に特定し、顔を抽出する上でノイズとなる背景の要素を極力排除することができ、効率よく、より高い精度で顔を抽出することが可能である。
【０００４】
ところで、デジタル写真画像を補正する場合、被写体である人物の顔だけでなく、その服装をも補正したい場合がある。例えば、結婚式等のイベントの際に撮影して得られた、ウェディングドレスを着た女性のデジタル写真画像においては、その女性の顔だけでなく、ウェディングドレスの明るさ、色、階調等も補正したいと考える場合が多い。
【０００５】
このような場合にも、顔の場合と同様に、ユーザが、対象となる画像を見ながら画像上の人物の服装を含む局所的な領域をマニュアルで指定し、指定された領域の画像の情報に基づいてその指定領域から服装を抽出する方法を用いることができる。
【０００６】
なお、上記のデジタル覆い焼きに関連する画像処理の方法としては、以下のようなものが開示されている。
【０００７】
例えば、特許文献１では、撮影して得られたデジタル画像から被写体を抽出し、その被写体の明度や色に基づいてその被写体に適した背景画像を選択し、その被写体の画像とその背景画像とを合成する方法が開示されており、ここでは、被写体の衣類部分から明度を求めることが行われている。
【０００８】
また、例えば、特許文献２では、デジタル画像中に存在する被写体の輪郭を抽出し、抽出された被写体の領域とそれ以外の領域との境界における画像の情報に基づいて、適応的にホワイトバランスの調整や彩度の補正等を行う方法が開示されており、ここでは、被写体の抽出は、顔を構成する顔部品の配置やこれら顔部品の相対的な位置関係に基づいて設定される初期的な境界情報を利用して行われている。
【特許文献１】特開２００３−１６３８０３公報
【特許文献２】特開２００３−２１６９３６公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、デジタル画像上の人物の顔とその服装の明るさや色等を補正するデジタル覆い焼き方法において、上記のような、ユーザがマニュアルで服装を抽出すべき領域を指定する方法では、服装は顔に比べて複雑な形状である場合が多く、その服装を抽出すべき領域を正確に指定するには、煩雑な作業とユーザのスキルが必要であり、ユーザへの負担が大きいという問題がある。
【００１０】
本発明は、上記事情に鑑み、煩雑な作業やユーザのスキルを必要とせずに、デジタル画像上の人物の顔とその服装の領域を的確に抽出し、これらの領域の画像を補正して当該画像の画質を向上させることが可能な画像補正方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【００１１】
なお、上記特許文献１の方法は、被写体に適した背景画像を選択し、被写体の画像とその背景画像とを合成しているだけであり、被写体の画像そのものへの画像処理は行われていない。また、衣類部分の情報は、画像上の複数の箇所からのサンプリングによって得ており、衣類部分の抽出は行われていない。したがって、この特許文献１の方法は、後述する本願発明の画像補正方法とは技術的に異なるものである。
【００１２】
また、上記特許文献２の方法は、顔を構成する顔部品の配置やこれら顔部品の相対的な位置関係に基づいて初期的な境界情報を設定しており、種々の服装に対応しているわけではない。したがって、この特許文献２の方法も、後述する本願発明の画像補正方法とは技術的に異なるものである。
【課題を解決するための手段】
【００１３】
本発明の画像補正方法は、人物である被写体を含む被写体画像において操作者により指定された前記被写体の顔を含む局所領域を、顔抽出対象領域として設定するステップと、前記顔抽出対象領域の画像情報に基づいて、該領域から前記顔を表す顔領域を抽出するステップと、前記被写体の服の種類と相関関係のある少なくとも１つの相関事項の内容を表す相関情報を取得するステップと、前記相関関係に基づいて前記取得された相関情報が表す相関事項の内容と相関が最も高い服の種類を特定するステップと、それぞれが前記種類毎の各服の形状を表す複数の服形状データの中から、前記特定された服の種類に対応した服形状データを取得するステップと、前記被写体画像における前記顔抽出対象領域または前記顔領域の位置により定まる前記被写体の服があるべき位置に、前記取得した服形状データが表す形状を有する領域を、服抽出対象領域として設定するステップと、前記服抽出対象領域の画像情報に基づいて、該領域から前記被写体の服を表す服領域を抽出するステップと、前記被写体画像における前記顔領域および前記服領域の各画像に画像処理を施して該各画像の明るさ、色および階調のうち少なくとも１つを補正するステップとを有することを特徴とする方法である。
【００１４】
ここで、前記顔抽出対象領域は、矩形であってもよいし、円形であってもよい。
【００１５】
前記相関の高低は、例えば、服の種類毎に相関のある各相関事項の内容が対応付けられた相関テーブルを用意し、取得された相関情報が表す相関事項の内容が合致する項目の数に応じて決定することができる。この場合、相関事項あるいはその内容毎に重み付けをし、上記合致した項目毎にその重みを乗じたポイントを算出し、そのポイントの値に応じて決定するようにしてもよい。このようにすれば、取得された相関情報が表す相関事項の種類が少ない場合においても、相関が最も高い服の種類を特定することができる。また、相関の高さが等しく相関が最も高い服の種類が複数存在する場合には、そのリストを表示装置の画面に表示し、操作者がそのリストの中から１つの種類をＧＵＩにより選択するようにしてもよい。
【００１６】
前記服の形状は、当該服の輪郭を直線や曲線でモデル化した形状であってもよいし、当該服の種類の平均的な形状であってもよい。
【００１７】
前記服抽出対象領域の形状は、操作者が微調整できるようにしておくことが好ましい。
【００１８】
本発明の画像補正方法において、前記服領域を抽出するステップは、前記相関テーブルにおいて、前記服の種類を特定するステップにより特定された服の種類に対する相関事項として服の色が対応付けされている場合には、その服の色に近い所定範囲内の色の領域を前記服抽出対象領域の中から抽出するステップとしてもよい。
【００１９】
本発明の画像補正方法において、前記相関事項は、前記被写体の性別、前記被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、前記被写体の髪型の種類、前記被写体の撮影時期、および、前記被写体が撮影されたときの行事のうち少なくとも１つであってもよい。
【００２０】
前記被写体の性別は、例えば、前記顔抽出対象領域の画像の明度、色相、彩度等に基づく従来の画像認識技術により、前記被写体の顔の輪郭、頭髪、肌、髭等を抽出し、その顔の形状や頭髪の長さ、肌の明るさ、髭の有無等を評価することにより、総合的に求めることができる。
【００２１】
前記被写体の服の色もしくはテクスチャは、例えば、前記顔領域の輪郭形状からその顔の傾きおよびその軸方向と顔の縦幅を求め、その顔の中心から顔の傾きの軸方向に沿って下方に顔の縦幅分だけ移動した位置の局所領域を、前記被写体の服の一部があるべき領域と定め、その領域の画像のパターン、明度、色相、彩度等に基づいて、前記被写体の服の色もしくはテクスチャを求めることができる。
【００２２】
前記関連装着品としては、例えば、白無垢と同時に使用される文金高島田や角隠し、ウェディングドレスと同時に使用されるティアラやベール等を考えることができ、これら関連装着品の有無は、例えば、前記顔抽出対象領域や前記顔領域を中心に所定範囲内の領域の画像の情報に基づいて、パターンマッチングの手法により求めることができる。
【００２３】
前記被写体の髪型は、例えば、前記顔抽出対象領域の画像の明度、色相、彩度等に基づいて頭髪領域を抽出し、その輪郭形状を評価することにより求めることができる。
【００２４】
前記被写体の撮影時期は、例えば、前記被写体画像の付帯情報から読み取ることにより求めることができる。
【００２５】
前記被写体が撮影されたときの行事は、例えば、予め用意された行事の候補のリストを表示装置の画面に表示し、操作者がその中からＧＵＩ（グラフィカル・ユーザ・インタフェース）により選択することにより求めることができる。また、例えば、前記被写体画像の付帯情報から前記撮影時期を読み取り、その撮影時期が、一般的な年間行事、例えば、成人式、七五三、入学式、卒業式等が催される所定の時期と合致するか否かにより求めることができる。
【００２６】
本発明の画像補正方法において、前記服抽出対象領域を設定するステップは、前記服抽出対象領域を、前記顔抽出対象領域または前記顔領域の大きさに応じた大きさに調整して設定するステップであってもよい。
【００２７】
また、本発明の画像補正方法において、前記服形状データは、前記被写体の立位と座位のそれぞれに対応した２種類のデータを含むものであり、前記服形状データを取得するステップは、前記顔抽出対象領域または前記顔領域の前記被写体画像に対する相対的な位置の高低に応じて、前記２種類のデータのうちいずれかを選択して取得するステップであってもよい。なお、前記立位とは、前記被写体が立った状態を意味し、前記座位とは、前記被写体が椅子等に座った状態を意味する。
【００２８】
本発明の画像補正装置は、人物である被写体を含む被写体画像において操作者により指定された前記被写体の顔を含む局所領域を、顔抽出対象領域として設定する顔抽出対象領域設定手段と、前記顔抽出対象領域の画像情報に基づいて、該領域から前記顔を表す顔領域を抽出する顔領域抽出手段と、前記被写体の服の種類と相関関係のある少なくとも１つの相関事項の内容を表す相関情報を取得する相関情報取得手段と、前記相関関係に基づいて前記取得された相関情報が表す相関事項の内容と相関が最も高い服の種類を特定する服種類特定手段と、それぞれが前記種類毎の各服の形状を表す複数の服形状データの中から、前記特定された服の種類に対応した服形状データを取得する服形状データ取得手段と、前記被写体画像における前記顔抽出対象領域または前記顔領域の位置により定まる前記被写体の服があるべき位置に、前記取得した服形状データが表す形状を有する領域を、服抽出対象領域として設定する服抽出対象領域設定手段と、前記服抽出対象領域の画像情報に基づいて、該領域から前記被写体の服を表す服領域を抽出する服領域抽出手段と、前記顔領域および前記服領域の各画像に画像処理を施して該各画像の明るさ、色および階調のうち少なくとも１つを補正する補正手段とを備えたことを特徴とするものである。
【００２９】
本発明の画像補正装置において、前記相関事項は、前記被写体の性別、前記被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、前記被写体の髪型の種類、前記被写体の撮影時期、および、前記被写体が撮影されたときの行事のうち少なくとも１つであってもよい。
【００３０】
本発明の画像補正装置において、前記服抽出対象領域設定手段は、前記服抽出対象領域を、前記顔抽出対象領域または前記顔領域の大きさに応じた大きさに調整して設定するものであってもよい。
【００３１】
本発明の画像補正装置において、前記服形状データは、前記被写体の立位と座位のそれぞれに対応した２種類のデータを含むものであり、前記服形状データ取得手段は、前記顔抽出対象領域または前記顔領域の前記被写体画像に対する相対的な位置の高低に応じて、前記２種類のデータのうちいずれかを選択して取得するものであってもよい。
【００３２】
本発明のプログラムは、コンピュータを、人物である被写体を含む被写体画像において操作者により指定された前記被写体の顔を含む局所領域を、顔抽出対象領域として設定する顔抽出対象領域設定手段と、前記顔抽出対象領域の画像情報に基づいて、該領域から前記顔を表す顔領域を抽出する顔領域抽出手段と、前記被写体の服の種類と相関関係のある少なくとも１つの相関事項の内容を表す相関情報を取得する相関情報取得手段と、前記相関関係に基づいて前記取得された相関情報が表す相関事項の内容と相関が最も高い服の種類を特定する服種類特定手段と、それぞれが前記種類毎の各服の形状を表す複数の服形状データの中から、前記特定された服の種類に対応した服形状データを取得する服形状データ取得手段と、前記被写体画像における前記顔抽出対象領域または前記顔領域の位置により定まる前記被写体の服があるべき位置に、前記取得した服形状データが表す形状を有する領域を、服抽出対象領域として設定する服抽出対象領域設定手段と、前記服抽出対象領域の画像情報に基づいて、該領域から前記被写体の服を表す服領域を抽出する服領域抽出手段と、前記被写体画像における前記顔領域および前記服領域の各画像に画像処理を施して該各画像の明るさ、色および階調のうち少なくとも１つを補正する補正手段として機能させるためのプログラムである。
【００３３】
本発明のプログラムにおいて、前記相関事項は、前記被写体の性別、前記被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、前記被写体の髪型の種類、前記被写体の撮影時期、および、前記被写体が撮影されたときの行事のうち少なくとも１つであってもよい。
【００３４】
本発明のプログラムにおいて、前記服抽出対象領域設定手段は、前記服抽出対象領域を、前記顔抽出対象領域または前記顔領域の大きさに応じた大きさに調整して設定するものであってもよい。
【００３５】
本発明のプログラムにおいて、前記服形状データは、前記被写体の立位と座位のそれぞれに対応した２種類のデータを含むものであり、前記服形状データ取得手段は、前記顔抽出対象領域または前記顔領域の前記被写体画像に対する相対的な位置の高低に応じて、前記２種類のデータのうちいずれかを選択して取得するものであってもよい。
【発明の効果】
【００３６】
本発明の画像補正方法および装置並びにそのためのプログラムによれば、被写体画像上で操作者によって指定された顔抽出対象領域から顔領域を抽出するとともに、被写体の服の種類と相関のある相関事項の内容を表す相関情報を取得し、この内容と相関が最も高い服の種類を求め、その服の形状で模られた服抽出対象領域を、被写体の顔の位置を基準として定められる被写体の服があるべき位置に設定し、その服抽出対象領域から服領域を抽出し、顔領域と服領域の各画像の明るさ、色、階調のうち少なくとも１つを補正するので、相関情報を利用することにより、実際の被写体の服の種類を特定し、服領域を抽出する対象となる服抽出対象領域を、適正な位置に適当な形状で設定することができ、煩雑な作業や操作者のスキルを必要とせずに、デジタル画像上の人物の顔とその服装の領域を的確に抽出し、これらの領域の画像を補正して当該画像の画質を向上させることが可能となる。
【発明を実施するための最良の形態】
【００３７】
以下、図面を参照して本発明の実施の形態について説明する。
【００３８】
図１は、本発明の実施形態である画像補正装置の構成を示すブロック図である。この画像補正装置は、アナログ写真技術におけるいわゆる覆い焼きと同じ効果をデジタル画像上で得るための装置であり、例えば、画像上で暗く表現されている顔や服を部分的に明るく補正するものである。
【００３９】
画像補正装置１は、図１に示すように、オリジナル画像保存部１１、画像選択部１２、顔抽出対象領域設定部２１、顔領域抽出部２２、相関情報取得部３１、服種類特定部３２、服形状データ取得部３３、相関データベース３４、服抽出対象領域設定部３５、服領域抽出部３６、補正部４０、出力制御部５０、表示装置６１、補正画像保存装置６２、印刷装置６３、入力操作部７０を備えている。また、補正部４０は、マスク作成部４１、補正パラメータ設定部４２、全体補正部４３、画像合成部４４により構成されている。
【００４０】
オリジナル画像保存部１１は、人物である被写体を含む複数のオリジナル画像をデジタルデータとして保存するものである。このオリジナル画像保存部１１としては、例えば、ハードディスク、ＣＤ−ＲＯＭ装置、ＤＶＤ−ＲＯＭ装置等を考えることができる。ここで、オリジナル画像とは、画質を変更する処理が施されていない画像のことである。
【００４１】
画像選択部１２は、オリジナル画像保存部１１に保存されている複数のオリジナル画像の中から補正の対象となるオリジナル画像を補正対象画像（被写体画像）Ｓとして選択するものである。本実施形態においては、ユーザ（操作者）が、表示装置６１の画面に表示された、オリジナル画像の概要を示すサムネイル画像の中からＧＵＩ（グラフィカル・ユーザ・インターフェース）で特定の画像を指定することにより、補正の対象となるオリジナル画像を選択する。
【００４２】
顔抽出対象領域設定部２１は、補正対象画像Ｓにおいてユーザにより指定された被写体の顔を含む局所領域を、顔抽出対象領域Ｒｘｆとして設定するものである。本実施形態においては、ユーザが、表示装置６１の画面に表示された補正対象画像Ｓにおいて、特定の領域をＧＵＩで指定することにより、顔抽出対象領域Ｒｘｆを設定する。なお、この顔抽出対象領域Ｒｘｆは、矩形であってもよいし円形であってもよい。
【００４３】
顔領域抽出部２２は、顔抽出対象領域設定部２１により設定された顔抽出対象領域Ｒｘｆの画像情報、例えば、この画像の明るさまたは色の情報に基づいて、顔抽出対象領域Ｒｘｆから被写体の顔を表す顔領域Ｒｆを抽出するものである。なお、被写体の顔領域を抽出する方法としては、例えば、特願２００５−１６２８３６により提案されているような、指定領域内で肌の部分である蓋然性が高い小さな領域を肌の種として求め、その肌の種を出発点として肌らしい領域を所定の指標に基づいて成長させてゆき、最終的に肌らしき領域のかたまりを抽出するといった方法を用いることができる。また、例えば、指定領域の画像を構成する画素の明度、色相、彩度等を求め、指定領域の中からこれらの色の指標が肌の色の特徴と合致する画素からなる画像領域を、単純に、人物の肌の部分を表す領域として抽出する方法を用いることもできる。
【００４４】
相関情報取得部３１は、被写体の服の種類と相関関係のある少なくとも１つの相関事項の内容を表す相関情報Ｃｃを取得するものである。ここで、相関事項としては、例えば、被写体の性別、被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、被写体の髪型の種類、被写体の撮影時期、被写体が撮影されたときの行事等を考えることができる。
【００４５】
ここで、被写体の性別は、例えば、顔抽出対象領域Ｒｘｆの画像の明度、色相、彩度等に基づく従来の画像認識技術により、被写体の顔の輪郭、頭髪、肌、髭等を抽出し、その顔の形状や頭髪の長さ、肌の明るさ、髭の有無等を評価することにより、総合的に求めることができる。
【００４６】
また、被写体の服の色もしくはテクスチャは、例えば、顔領域Ｒｆの輪郭形状からその顔の傾きおよびその軸方向と顔の縦幅を求め、その顔の中心から顔の傾きの軸方向に沿って下方に顔の縦幅の１倍〜１．５倍分だけ移動した位置の局所領域を、被写体の服の一部があるべき領域と定め、その領域の画像のパターン、明度、色相、彩度等に基づいて、被写体の服の色もしくはテクスチャを求めることができる。
【００４７】
図２は、和服を着た女性の姿を表した図である。被写体の服は、その種類によって形状が異なるが、ほとんどの服は、その一部が被写体の胸部上に存在しており、また、その服の代表的な色は、その胸部上の服の一部の色と合致する傾向がある。したがって、抽出された顔領域Ｒｆの輪郭形状から丸みを帯びたあごのラインを検出することにより被写体の顔の傾きを求め、そこから、その顔の傾きの軸方向と顔の縦幅を求め、その顔の中心から顔の傾きの軸方向に沿って下方に顔の縦幅の１．５倍分だけ移動した位置を中心に、縦幅および横幅が顔領域Ｒｆと同じ矩形領域を、被写体の服の一部があるべき領域と定め、この領域（服情報検出領域）Ｒｄの画像の明度、色相に基づいて、被写体の服の色を求めることができる。
【００４８】
また、上記の関連装着品としては、例えば、白無垢と同時に使用される文金高島田や角隠し、ウェディングドレスと同時に使用されるティアラやベール等を考えることができ、これら関連装着品の有無は、例えば、顔抽出対象領域Ｒｘｆや顔領域Ｒｆを中心に所定範囲内の領域の画像の情報に基づいて、色判定とパターンマッチングの手法により求めることができる。
【００４９】
図３は、被写体の頭上に文金高島田が装着された女性の姿を表した図である。文金高島田は、略白色で水平方向に平らであるという特徴的な形状を有している。したがって、抽出された顔領域Ｒｆの上方に隣接する部分領域、例えば、顔領域Ｒｆの横幅の３倍、縦幅の２倍程度の領域内で、このような形状と色のパターンをパターンマッチングにより探索することにより、文金高島田を表すオブジェクト領域Ｒｊを検出し、分身高島田の装着の有無を判定することができる。
【００５０】
また、被写体の髪型は、例えば、顔抽出対象領域Ｒｘｆの画像の明度、色相、彩度等に基づいて頭髪領域を抽出し、その輪郭形状を評価することにより求めることができる。
【００５１】
また、被写体の撮影時期は、例えば、補正対象画像Ｓの付帯情報から読み取ることにより求めることができる。
【００５２】
また、被写体が撮影されたときの行事は、例えば、予め用意された行事の候補のリストを表示装置の画面に表示し、ユーザがその中からＧＵＩにより選択することにより求めることができる。また、例えば、補正対象画像Ｓの付帯情報から撮影時期を読み取り、その撮影時期が、一般的な年間行事、例えば、成人式、七五三、入学式、卒業式等が催される所定の時期と合致するか否かにより求めることができる。また、撮影予約情報を用いて行事を推定することもできる。
【００５３】
服種類特定部３２は、被写体の服の種類と相関事項との間の相関関係に基づいて、相関情報取得部３１により取得された相関情報Ｃｃが表す相関事項の内容と相関が最も高い服の種類を、被写体の服の種類Ｖｃとして特定するものである。ここで、その相関の高低は、例えば、服の種類毎に相関のある各相関事項の内容が対応付けられた相関テーブルＴを用意し、服の種類毎に、取得された相関情報Ｃｃが表す相関事項の内容と合致する項目の数を求め、この項目の数に応じて決定することができる。この場合、相関事項あるいはその内容毎に重み付けをし、上記合致した項目毎にその重みを乗じたポイントを算出し、そのポイントの値に応じて決定するようにしてもよい。このようにすれば、取得された相関情報が表す相関事項の種類が少ない場合においても、相関が最も高い服の種類を特定することができる。また、相関の高さが等しく相関が最も高い服の種類が複数存在する場合には、そのリストを表示装置の画面に表示し、ユーザがそのリストの中から１つの種類をＧＵＩにより選択するようにしてもよい。本実施形態においては、相関テーブルＴが相関データベース３４に予め保存されており、服種類特定部３２は、相関データベース３４からその相関テーブルＴを読み取り、相関テーブルＴにおいて相関情報Ｃｃが表す相関事項の内容と合致する項目の数が最も多い服の種類を求め、その服の種類を被写体の服の種類Ｖｃとして特定する。
【００５４】
図４は、相関テーブルＴの一例を示したものである。この相関テーブルＴでは、服装の種類と、相関事項である、被写体の性別（性別）、被写体の服の色もしくはテクスチャ（服の色／テクスチャ）、特定の種類の服と同時に使用される関連装着品（関連オブジェクト）、被写体の撮影時期（撮影時期）、被写体が撮影されたときの行事（イベント）等の内容とが対応付けられている。
【００５５】
服形状データ取得部３３は、それぞれが上記の種類毎の各服の形状を表す複数の服形状データの中から、服種類特定部３２により特定された服の種類Ｖｃに対応した服形状データＤｃを、取得するものである。本実施形態においては、これら複数の服形状データが相関データベース３４に予め保存されており、服形状データ取得部３３は、相関データベース３４に保存されているこれら複数の服形状データの中から服形状データＤｃを読み取って取得する。なお、服形状データは、被写体の立位と座位のそれぞれに対応した２種類のデータを含むものであり、服形状データ取得部３３は、顔抽出対象領域Ｒｘｆまたは顔領域Ｒｆの補正対象画像Ｓに対する相対的な位置の高低に応じて、上記の被写体の立位と座位のそれぞれに対応した２種類のデータのうちいずれかを選択して取得する。また、服形状データが表す服の形状は、服の輪郭を直線や曲線でモデル化した形状であってもよいし、服の種類の平均的な形状であってもよいが、本実施形態においては、複数の直線を結んで形成されるモデル化された形状とする。
【００５６】
相関データベース３４は、上述の通り、相関テーブルＴや複数の服形状データを保存するものである。この相関データベース３４としては、例えば、ハードディスク、ＣＤ−ＲＯＭ装置、ＤＶＤ−ＲＯＭ装置等を考えることができる。
【００５７】
服抽出対象領域設定部３５は、補正対象画像Ｓにおける顔抽出対象領域Ｒｘｆまたは顔領域Ｒｆの位置により定まる被写体の服があるべき位置に、服形状データ取得部３３により取得された服形状データＶｃが表す形状を有する領域を、服抽出対象領域Ｒｘｃとして設定するものである。この服抽出対象領域設定部３５は、服抽出対象領域Ｒｘｃを、顔抽出対象領域Ｒｘｆまたは顔領域Ｒｆの大きさに応じた大きさに調整して設定する。なお、ここで設定される服抽出対象領域Ｒｘｃの形状は、初期設定としての形状であり、ユーザはこの形状をＧＵＩにより微調整をすることができる。
【００５８】
服領域抽出部３６は、服抽出対象領域Ｒｘｃの画像情報、例えば、この画像の明度、色相、彩度等に基づいて、服抽出対象領域Ｒｘｃから被写体の服を表す服領域Ｒｃを抽出するものである。なお、相関テーブルＴにおいて、服種類特定部３２により特定された服の種類に対する相関事項として服の色が対応付けされている場合には、服領域抽出部３６は、その服の色に近い所定範囲内の色の領域を服抽出対象領域Ｒｘｃの中から抽出するようにしてもよい。
【００５９】
補正部４０は、補正対象画像Ｓにおける顔領域Ｒｆおよび服領域Ｒｃの各画像に画像処理を施してこれらの各画像の明るさまたは色を補正するものであり、上述の通り、マスク作成部４１、補正パラメータ設定部４２、全体補正部４３、画像合成部４４により構成される。
【００６０】
マスク作成部４１は、補正対象画像Ｓ上で抽出された顔領域Ｒｆ、服領域Ｒｃ等の各補正対象領域にのみ補正が及ぶように、特定の補正対象領域以外の領域をマスクする役目を果たすマスクデータＭｆ，Ｍｃを作成するものである。マスクデータＭｆ，Ｍｃは、補正対象領域毎に作成される個々のマスクデータを表しており、マスクデータＭｆは顔領域Ｒｆにのみ補正が及ぶよう規定されたもの、マスクデータＭｃは服領域Ｒｃにのみ補正が及ぶように規定されたものである。マスクデータＭｆは、具体的には、顔領域Ｒｆに対して施されるべき補正が施される前の補正前画像と、顔領域Ｒｆに対して施すべき補正がその補正前画像の画像全体に施された全体補正画像とを、互いに対応する画素同士を合わせて合成したときに、顔領域Ｒｆのみが補正された部分補正画像が得られるように、画素単位の合成比率を規定するものである。すなわち、マスクデータＭｆが規定する、補正前画像と全体補正画像との合成比率（補正前の画像：補正後の画像）は、通常、補正対象領域である顔領域Ｒｆに相当する画素においては０：１、顔領域Ｒｆ外に相当する画素においては１：０となる。ただし、この補正対象領域の内外のつなぎ目を滑らかにするために、補正対象領域の境界付近において、その補正対象領域の内外方向に沿って、その合成比率を１：０から０：１に徐々に変化させるように規定してもよい。マスクデータＭｃは、マスクデータＭｆと同様に、服領域Ｒｃに対して施されるべき補正が施される前の補正前画像と、服領域Ｒｃに対して施すべき補正がその補正前画像の画像全体に施された全体補正画像とを、互いに対応する画素同士を合わせて合成したときに、服領域Ｒｃのみが補正された部分補正画像が得られるように、画素単位の合成比率を規定するものである。なお、マスクデータは、基本的に、顔領域Ｒｆと服領域Ｒｃに対して１つずつ作成されるが、これら顔領域Ｒｆと服領域Ｒｃに同じ補正（画像処理）を施す場合には、これらの領域を１つの領域群Ｒｆｃにまとめ、これに対して１つのマスクデータＭｆｃを作成するようにしてもよい。
【００６１】
補正パラメータ設定部４２は、各補正対象領域、すなわち、顔領域Ｒｆと服領域Ｒｃの各画像に施す明るさや色等を補正するための画像処理の条件を規定するパラメータＰｆ，Ｐｃ（以下、補正パラメータという）を設定するものである。補正パラメータは、ユーザの入力に応じて設定することもできるし、自動演算によって求めたパラメータを設定することもできる。ここでは、補正パラメータは、画像の明度、色相、彩度の補正量（シフト量）を定めるものであり、例えば、画像を構成する各画素の画素値に加算もしくは減算する値を定めるものである。この補正パラメータ設定部４２は、補正パラメータを何度でも更新して設定し直すことができる。つまり、補正対象画像Ｓに現時点での補正パラメータによって規定された画像処理を施して得られた画像を、出力制御部５０の制御により表示装置６１の画面に表示させ、ユーザがそれを観察して補正の効果を確認し、所望の補正パラメータを探索することができるようになっている。
【００６２】
この補正パラメータ設定部４２は、補正対象領域である顔領域Ｒｆ、服領域Ｒｃが抽出され、それに対応するマスクデータＭｆ，Ｍｃが作成されると、その補正対象領域の補正後の目標となる予め決められた所定の明度とその補正対象領域における明度の平均値もしくは中間値との差分に基づいて、その補正対象領域を補正する際の補正量として適正と思われる補正量を算出し、これを初期値として設定する。その後、全体補正部４３および画像合成部４４により生成された、これら補正対象領域のみが補正された後述の部分補正画像Ｓｐ＿２は、出力制御部５０の制御を受けて、表示装置６１の画面に表示されるが、ユーザがその画面を見ながらさらに補正量を微調整できるように、補正パラメータ設定部４２は、ユーザによって入力された補正量を微調整する情報に基づいてその補正パラメータを変更する機能を有する。そして、変更された補正パラメータで再び画像が補正され、その補正された画像が表示装置６１の画面に表示されることとなる。なお、補正できる画像上の成分は、特に限定しなくてもよいが、ここでは、補正に係る操作性をよくするため、色相、彩度および明度のうち少なくともいずれかに係る数種類の成分として予め決められており、ユーザは、それらの中からいずれかの成分を選択してその成分を増減することができる。例えば、補正可能な画像上の成分を、シアンＣ、マゼンタＭ、エイローＹの３色の強度と明度Ｄの４種類に定め、表示装置６１の画面には、出力制御部５０の制御を受けて、これらの成分の項目が表示されるとともに、それぞれの成分の項目の横にその成分の補正レベルを段階的に表示するカウンタと、その補正レベルを１段階ずつ増減できる増減ボタンが表示され、ユーザは、これら各成分の補正レベルをＧＵＩによって調整する。
【００６３】
なお、補正パラメータは、通常、補正対象領域毎に１つずつ設定されるが、複数の補正対象領域を１つの領域群としてまとめ、すなわち、複数の補正対象領域の各々にそれぞれ対応した複数のマスクデータを１つのマスクデータにまとめ、これに対して１つの補正パラメータを設定するようにすることもできる。
【００６４】
全体補正部４３は、補正対象画像Ｓの画像全体に対して、補正パラメータＰｆおよびＰｃのうちいずれか一方で規定される画像処理を施して、この画像の画像全体の明るさや色等が補正された第１の全体補正画像Ｓｚ＿１を得るものである。また、画像合成部４４により、顔領域Ｒｆおよび服領域Ｒｃのうちいずれか一方の画像が補正された第１の部分補正画像Ｓｐ＿１が既に得られている場合には、この第１の部分補正画像Ｓｐ＿１の画像全体に対して、まだ補正に使われていない方の補正パラメータで規定される画像処理を施して、この画像の画像全体の明るさや色等が補正された第２の全体補正画像Ｓｚ＿２を得るものである。これら第１および第２の全体補正画像Ｓｚ＿１，Ｓｚ＿２は、画像合成部４４に送られる。
【００６５】
画像合成部４４は、全体補正部４３より第１の全体補正画像Ｓｚ＿１が送られてきた場合には、補正対象画像Ｓと第１の全体補正画像Ｓｚ＿１とを、互いに対応する画素同士を合わせて、第１の全体補正画像Ｓｚ＿１を得る際に用いられた補正パラメータに対応する補正対象領域のマスクデータで規定される合成比率で合成し、その補正対象領域のみが部分的に補正された第１の部分補正画像Ｓｐ＿１を得るものである。また、全体補正部４３より第２の補正画像Ｓｚ＿２が送られてきた場合には、第１の部分補正画像Ｓｐ＿１と第２の全体補正画像Ｓｚ＿２とを、互いに対応する画素同士を合わせて、第２の全体補正画像Ｓｚ＿２を得る際に用いられた補正パラメータに対応する補正対象領域のマスクデータで規定される合成比率で合成し、その補正対象領域のみが部分的に補正された第２の部分補正画像Ｓｐ＿２を得るものである。このように画像を合成することにより、顔領域Ｒｆと服領域Ｒｃの画像がそれぞれ対応する補正パラメータで補正された部分補正画像Ｓｐ＿２を得ることができる。
【００６６】
下記の式（１）は、補正対象画像Ｓと、補正対象画像Ｓの画像全体に対して顔領域Ｒｆに対応する補正パラメータＰｆで規定される画像処理を施して得られた第１の全体補正画像Ｓｚ＿１とを、マスクデータＭｆの合成比率で合成して、第１の部分補正画像Ｓｐ＿１を得る際の演算式（１）と、第１の部分補正画像Ｓｐ＿１と、第１の部分補正画像Ｓｐ＿１の画像全体に対して服領域Ｒｃに対応する補正パラメータＰｃで規定される画像処理を施して得られた第２の全体補正画像Ｓｚ＿２とを、マスクデータＭｃの合成比率で合成して、第２の部分補正画像Ｓｐ＿２を得る際の演算式（２）を表している。
【数１】
2007094623.tif 000003
【００６７】
ここで、ｘ，ｙは、それぞれの画像におけるｘ座標とｙ座標を表し、マスクデータＭｆ，Ｍｃの取り得る値は、１≧Ｍｆ（ｘ，ｙ）≧０，１≧Ｍｃ（ｘ，ｙ）≧０である。
【００６８】
出力制御部５０は、オリジナル画像のサムネイル画像のほか、マスクデータＭｆ，Ｍｃが定める画素単位の合成比率を濃淡の程度で表したマスク画像ＳＭｆ，ＳＭｃ、部分補正画像Ｓｐ＿２等を、ユーザからの入力に応じてまたは自動で、表示装置６１の画面に表示したり、最終的に得られた部分補正画像Ｓｐ＿２を補正画像保存装置６２にデジタルデータとして保存したり、また、印刷装置６３に出力したりする制御を行うものである。
【００６９】
表示装置６１は、画像を表示するための画面を有し、出力制御部５０の制御により、各種の画像をその画面に表示するものである。この表示装置６１としては、ＣＲＴモニタ、液晶パネル等を考えることができる。
【００７０】
補正画像保存装置６２は、オリジナル画像である補正対象画像Ｓに対して上述のような画像処理が施されて、顔領域Ｒｆや服領域Ｒｃの画像の明るさや色等が適正に補正された部分補正画像Ｓｐ＿２を、デジタルデータとして保存するものである。この補正画像保存装置６２としては、オリジナル画像保存部１１と同様、ハードディスク、ＣＤ−ＲＯＭ装置、ＤＶＤ−ＲＯＭ装置等を考えることができる。
【００７１】
印刷装置６３は、出力制御部５０の制御を受けて、部分補正画像Ｓｐ＿２を紙媒体やフィルム等に印刷するものである。
【００７２】
入力操作部７０は、画像選択部１２による補正対象となる画像の選択や表示装置６１の画面に表示させる画像の選択等、種々のユーザの要求を示す情報を各部に入力するものである。この入力操作部７０としては、例えば、マウスやキーボード、タッチパネル等を考えることができる。
【００７３】
これより、画像補正装置１における処理の流れについて説明する。
【００７４】
図５は、画像補正装置１における処理の流れを示したフローチャートである。まず、はじめに、出力制御部５０は、オリジナル画像保存部１１に保存されている複数のオリジナル画像を読み出し、これら複数のオリジナル画像を縮小してサムネイル画像を作成し、これらのサムネイル画像を、表示装置６１の画面に並べて表示する。
【００７５】
ここで、ユーザが、表示装置６１の画面に表示された複数のサムネイル画像の中からＧＵＩで特定の画像を指定することにより、補正の対象となる画像を指定する。画像選択部１２は、その指定された画像に対応するオリジナル画像を補正対象画像Ｓとして選択する。
【００７６】
図６（１）は、このようにして選択された補正対象画像Ｓの一例を示す図である。図６（１）に示す補正対象画像Ｓは、ウェディングドレスを着た女性を被写体とするデジタル写真画像であり、女性の顔とウェディングドレスの明るさや色等が適正でない。
【００７７】
補正対象画像Ｓが選択されると、出力制御部５０は、この補正対象画像Ｓを、表示装置６１の画面に表示する。
【００７８】
図７は、表示装置６１の画面を示す図である。表示装置６１の画面には、図７に示すように、補正対象画像Ｓもしくは部分補正画像Ｓｐ＿２のいずれかを表示するエリアＡＲ１、マスクデータＭｆが表すマスク画像ＳＭｆと顔領域Ｒｆの画像とを位置的に重ねて表示したり、マスクデータＭｃが表すマスク画像ＳＭｃと服領域Ｒｃの画像とを位置的に重ねて表示したりするエリアＡＲ２、補正対象画像Ｓの補正対象領域における上述のＣ、Ｍ、Ｙ、Ｄの各成分のレベルとこれら各成分の増減ボタンを表示するエリアＡＲ３から構成されたウィンドウＷｉｎが表示される。なお、この段階では、エリアＡＲ１に補正対象画像Ｓが表示されており、エリアＡＲ２には何も表示されていない。
【００７９】
ここで、ユーザが、その表示された補正対象画像Ｓ上で、補正したい顔を含む局所領域をＧＵＩで指定すると、顔抽出対象領域設定部２１はその局所領域を顔抽出対象領域Ｒｘｆとして設定する（ステップＳ１）。
【００８０】
顔抽出対象領域設定部２１により顔抽出対象領域Ｒｘｆが設定されると、顔領域抽出部２２は、顔抽出対象領域Ｒｘｆの画像情報、例えば、画像の明度、色相等に基づく上述のような所定のアルゴリズムにしたがって肌色領域を抽出することにより、顔領域Ｒｆを抽出する（ステップＳ２）。
【００８１】
顔領域Ｒｆが抽出されると、マスク作成部４１は、顔領域Ｒｆにのみに画像処理による補正が及ぶように規定したマスクデータＭｆを作成する。
【００８２】
ここで、表示装置６１の画面に表示されたウィンドウＷｉｎ内のエリアＡＲ２には、出力制御部５０の制御により、マスク画像ＳＭｆと補正対象画像Ｓにおける顔領域Ｒｆの画像とが位置的に重ねられて表示される。ユーザはこの画像を見ることにより、抽出された顔領域Ｒｆが所望の領域であるか否かを確認することができる。
【００８３】
顔領域抽出部２２により補正対象画像Ｓにおいて顔領域Ｒｆが抽出されると、相関情報取得部３１は、上述のような方法により、被写体の服の種類と相関のある相関事項、すなわち、被写体の性別、被写体の服の色もしくはテクスチャ、特定の種類の服と同時に使用される関連装着品の有無、被写体の髪型の種類、被写体の撮影時期、被写体が撮影されたときの行事等の内容を表す相関情報Ｃｃを取得する（ステップＳ３）。
【００８４】
相関情報取得部３１により相関情報Ｃｃが取得されると、服種類特定部３２は、相関データベース３４より相関テーブルＴを読み取り、この相関テーブルＴにおいて、服の種類毎に、相関情報Ｃｃが表す相関事項の内容と合致する項目の数を求め、この合致する項目の数が最も多い服の種類を、被写体の服種類Ｖｃのとして特定する。例えば、相関テーブルＴが、図４に示す相関テーブルであり、相関情報Ｃｃとして、被写体の服の色が「白」であること、イベントが「婚礼」であること、関連装着品である角隠しが無いことを表す情報が取得されたとすると、これらの相関事項の内容と合致する項目が最も多い服の種類は「ドレス」となり、被写体の服の種類Ｖｃを「ドレス」として特定する（ステップＳ４）。
【００８５】
服種類特定部３２により被写体の服の種類Ｖｃが特定されると、服形状データ取得部３３は、相関データベース３４に保存されている複数の服形状データの中から、特定された服の種類Ｖｃに対応する服形状データＤｃを読み取り、取得する（ステップＳ５)。なお、このとき、服形状データ取得部３３は、顔抽出対象領域Ｒｘｆの位置または抽出された顔領域Ｒｆの位置に基づいて、補正対象画像Ｓに対する被写体の顔の相対的な位置を求め、この位置が所定の高さより高い場合には、被写体は立位（立った姿勢）であると判定し、立位に対応した服形状データを選択して取得する。一方、この位置が所定の高さより低い場合には、被写体は座位（座った姿勢）であると判定し、座位に対応した服形状データを選択して取得する。
【００８６】
服形状データ取得部３３により、上記の特定された被写体の服の種類に対応する服形状データＤｃが取得されると、服抽出対象領域設定部３５は、補正対象画像Ｓにおける顔抽出対象領域Ｒｘｆまたは顔領域Ｒｆの位置により定まる被写体の服があるべき位置に、上記の取得した服形状データＤｃが表す形状の部分領域を、服抽出対象領域Ｒｘｃとして設定する（ステップＳ６）。被写体の服のあるべき位置は、例えば、顔抽出対象領域Ｒｘｆまたは顔領域Ｒｆの下端から被写体の首に相当する所定幅分だけ間を空けて下方に移動した位置を服の上端とするような位置とすることができる。なお、服抽出対象領域Ｒｘｃの大きさは、顔抽出対象領域Ｒｆまたは顔領域Ｒｆの大きさから、被写体の顔の大きさを推定し、その大きさに見合った大きさに調整する。
【００８７】
図８は、被写体の服を囲むように、「ドレス」の立位に対応する服形状データの形状で服抽出対象領域Ｒｘｃが設定された様子を示した図である。なお、この服抽出対象領域Ｒｘｃは、出力制御部５０により、表示装置６１の画面に表示された補正対象画像Ｓ上にその輪郭が表示される。ユーザは、この服抽出対象領域Ｒｘｃの形状を、ＧＵＩにより変形することができ、実際の被写体の服の形状により合致した形状に調整することができる。これにより、服領域Ｒｃを抽出する上でノイズとなる背景成分を極力排除し、服領域Ｒｃの抽出精度をより高めることができる。
【００８８】
服抽出対象領域設定部３５により服抽出対象領域Ｒｘｃが設定されると、服領域抽出部３６が、服抽出対象領域Ｒｘｃの画像情報、例えば、その画像のパターン、明度、色相、彩度等に基づいて、その画像中のエッジを検出したり、占有面積が最大である同系色の領域を抽出したりすることにより、補正対象画像Ｓにおける被写体の服を表す服領域Ｒｃを抽出する（ステップＳ７）。
【００８９】
服領域Ｒｃが抽出されると、マスク作成部４１は、服領域Ｒｃにのみに画像処理による補正が及ぶように規定したマスクデータＭｃを作成する。ここで、表示装置６１の画面に表示されたウィンドウＷｉｎ内のエリアＡＲ２には、出力制御部５０の制御により、マスク画像ＳＭｃと補正対象画像Ｓにおける服領域Ｒｃの画像とが位置的に重ねられて表示される。ユーザはこの画像を見ることにより、抽出された服領域Ｒｃが所望の領域であるか否かを確認することができる。
【００９０】
顔領域Ｒｆと服領域Ｒｃとが抽出されると、補正部３６は、顔領域Ｒｆおよび服領域Ｒｃの各画像に画像処理を施して、これら各画像の明るさまたは色を補正する（ステップＳ８）。この補正は、具体的には、以下のような処理となる。
【００９１】
補正パラメータ設定部４２は、顔領域Ｒｆと服領域Ｒｃのそれぞれの画像に施す画像処理の条件となる補正パラメータＰｆ，Ｐｃの初期値を設定する。まず、抽出された顔領域Ｒｆの中から純粋な肌色領域を検出し、その肌色領域の明度が肌として適正な明度となるような補正量を算出する。すなわち、顔領域Ｒｆにおける各画素の彩度を求め、顔領域Ｒｆのうちこの彩度が所定の閾値を下回る画素を除いた他の領域を抽出する。これにより、顔領域Ｒｆ中の頭髪、眉、黒目、影を除いた肌色領域が抽出される。そして、この肌色領域における各画素の明度を求め、その明度の平均値Ｄaveもしくは中間値Ｄmidを算出する。それから、写真画像における人物の肌の明度として好ましいとされる明度、すなわち、補正後の目標とする明度Ｄidealから上記のＤaveもしくはＤmidを減算して、明度の補正量Ｄmodを求める（Ｄmod＝Ｄideal−（Ｄave or Ｄmid））。そして、明度の補正量Ｄmodの値に基づいて、画像上の各成分の補正量が補正パラメータＰｆの初期値として設定される。例えば、Ｃ，Ｍ，Ｙ（Ｒ，Ｇ，Ｂでもよい）の各成分毎に補正する補正量が補正量レベルとして定義され、各画素の色成分毎の信号値は、この補正量レベルにそれぞれ対応する変換曲線（例えば、1次元ルックアップテーブル）によって変換される。同様に、抽出された服領域Ｒｃの明度が、服種類特定部３２により特定された服の種類として適正な明度となるような補正量を算出する。すなわち、この服領域Ｒｃにおける各画素の明度を求め、その明度の平均値Ｄaveもしくは中間値Ｄmidを算出する。それから、写真画像におけるその服の種類の明度として好ましいとされる明度、すなわち、補正後の目標とする明度Ｄidealから上記のＤaveもしくはＤmidを減算して、明度の補正量Ｄmodを求める（Ｄmod＝Ｄideal−（Ｄave or Ｄmid））。そして、明度の補正量Ｄmodの値に基づいて、画像上の各成分の補正量が補正パラメータＰｃの初期値として設定される。
【００９２】
全体補正部４３は、補正対象画像Ｓの画像全体に対して、補正パラメータＰｆで規定される画像処理を施して、この画像の画像全体の明るさや色等が補正された第１の全体補正画像Ｓｚ＿１を得る。この第１の全体補正画像Ｓｚ＿１は、画像合成部４４へ送られる。
【００９３】
この第１の全体補正画像Ｓｚ＿１が画像合成部４４に送られると、画像合成部４４は、補正対象画像Ｓと第１の全体補正画像Ｓｚ＿１とを、互いに対応する画素同士を合わせて、顔領域ＲｆのマスクデータＭｆで規定される合成比率で合成し、その顔領域Ｒｆのみが部分的に補正された第１の部分補正画像Ｓｐ＿１を得る。この第１の部分補正画像Ｓｐ＿１は、全体補正部４３に送られる。
【００９４】
この第１の部分補正画像Ｓｐ＿１が全体補正部４３に送られると、全体補正部４３は、この第１の部分補正画像Ｓｐ＿１の画像全体に対して、まだ補正に使われていない方の補正パラメータＰｃで規定される画像処理を施して、この画像の画像全体の明るさや色等が補正された第２の全体補正画像Ｓｚ＿２を得る。この第２の全体補正画像Ｓｚ＿２は、さらに画像合成部４４に送られる。
【００９５】
この第２の補正画像Ｓｚ＿２が画像合成部４４に送られると、画像合成部４４は、第１の部分補正画像Ｓｐ＿１と第２の全体補正画像Ｓｚ＿２とを、互いに対応する画素同士を合わせて、服領域ＲｃのマスクデータＭｃで規定される合成比率で合成し、顔領域Ｒｆに加え、さらに服領域Ｒｃが補正された第２の部分補正画像Ｓｐ＿２を得る。このように画像を合成することにより、顔領域Ｒｆと服領域Ｒｃの画像がそれぞれ対応する補正パラメータで補正された第２の部分補正画像Ｓｐ＿２を得ることができる。この第２の部分補正画像Ｓｐ＿２は、出力制御部４０の制御により、表示装置６１の画面に表示される。
【００９６】
図６は、補正対象画像Ｓと第１の全体補正画像Ｓｚ＿１とを、マスクデータＭｆで規定する合成比率で合成し、第１の部分補正画像Ｓｐ＿１が生成される様子を示した図である。図６（１）は、ウェディングドレスを着た女性を被写体とするデジタル写真画像である補正対象画像Ｓを示す図である。図６（２）は、第１の全体補正画像Ｓｚ＿１の一例を示す図であり、この第１の全体補正画像Ｓｚ＿１は、被写体である女性の顔の肌領域が適正な明るさになるように、補正対象画像Ｓの画像全体の明度が補正された状態の画像である。図６（３）は、マスクデータＭｆが表すマスク画像ＳＭｆの一例を示す図であり、顔領域の境界がぼかされている。図６（４）は、第１の部分補正画像Ｓｐ＿１の一例を示す図であり、この第１の部分補正画像Ｓｐ＿１は、女性の顔領域が適正な明るさとなるように、女性の顔領域Ｒｆのみが補正された図である。
【００９７】
図９は、顔領域Ｒｆおよび服領域Ｒｃが抽出された場合における表示装置６１の画面の一例を示す図である。図９に示すように、エリアＡＲ２には、顔領域Ｒｆのマスク画像ＳＭｆと服領域Ｒｃのマスク画像ＳＭｃとが並んで表示されており、ＡＲ１には、第２の部分補正画像Ｓｐ＿２が表示されている。
【００９８】
ユーザはその画面を見ながら、さらに補正量を適正にすべく、補正したい補正対象領域、すなわち、顔領域Ｒｆか服領域Ｒｃのいずれかを選択し、ＧＵＩによって表示装置６１の画面のウィンドウＷｉｎ内のエリアＡＲ３に表示されたＣ、Ｍ、Ｙ、Ｄの各成分の補正量の増減ボタンを押して各成分の補正量を微調整する。補正パラメータ設定部４２は、そのユーザによる微調整の指示にしたがって、補正パラメータＰｆ，Ｐｃを再設定する。
【００９９】
全体補正部４３および画像合成部４４は、この再設定された補正パラメータを用いて一連の処理を行い、新たな第２の部分補正画像Ｓｐ＿２を得る。そして、この第２の部分補正画像Ｓｐ＿２は、出力制御部５０の制御により、表示装置６１の画面に更新される形で表示される。
【０１００】
このような補正パラメータの設定を必要に応じて繰り返し、ユーザが、所望の補正パラメータを設定することができたと判断した場合には、補正画像Ｓｐ＿２を保存するか、印刷する命令を本画像補正装置１に送り、出力制御部５０が、その命令に応じて、補正画像Ｓｐ＿２を補正画像保存装置６２にデジタルデータとして保存するか、印刷装置６３に印刷させる。
【０１０１】
このような、本発明の画像補正装置によれば、補正対象画像（被写体画像）上でユーザ（操作者）によって指定された顔抽出対象領域から顔領域を抽出するとともに、被写体の服の種類と相関のある相関事項の内容を表す相関情報を取得し、この内容と相関が最も高い服の種類を求め、その服の形状で模られた服抽出対象領域を、被写体の顔の位置を基準として定められる被写体の服があるべき位置に設定し、その服抽出対象領域から服領域を抽出し、顔領域と服領域の各画像の明るさ、色および階調のうち少なくとも１つを補正するので、相関情報を利用することにより、実際の被写体の服の種類を特定し、服領域を抽出する対象となる服抽出対象領域を、適正な位置に適当な形状で設定することができ、煩雑な作業や操作者のスキルを必要とせずに、デジタル画像上の人物の顔とその服装の領域を的確に抽出し、これらの領域の画像を補正して当該画像の画質を向上させることが可能となる。
【０１０２】
なお、本実施形態においては、相関テーブルＴは１つだけであったが、複数の異なる相関テーブルを用意し、場合に応じて使用する相関テーブルを切り替えるようにしてもよい。例えば、遊園地や観光スポットと関連のある服の種類をリストアップした行楽用の相関テーブルを用意しておき、補正対象画像Ｓ上で、遊園地や観光スポットにおける特定の動物やアニメのキャラクターを検出する処理を施して、それらのキャラクターが検出されたときには、行楽用の相関テーブルを用いて被写体の服の種類を特定するようにしてもよい。
【０１０３】
また、本実施形態においては、服抽出対象領域Ｒｘｃを設定する際に、服形状データが表す形状で、その大きさを被写体の顔の大きさに応じて調整して設定するようにしているが、その際、服抽出対象領域Ｒｘｃの大きさを線形に連続的に変化させることが可能な機能を設けて調整してもよいし、形状の大きさが数段階に異なる複数の服形状データを予め用意しておき、被写体の顔の大きさに応じて、その中から適当な大きさの服形状データを選択し、その形状と同じ形状の領域を服抽出対象領域Ｒｘｃとして設定するようにしてもよい。
【０１０４】
また、本実施形態においては、服抽出対象領域Ｒｘｃは、顔の傾き等を求めて服があるべき位置を定め、その位置に設定するようにしているが、これとは別に、例えば、ユーザが位置や方向を指定し、それにしたがって服抽出対象領域Ｒｘｃの設定位置を決めるようにしてもよい。
【０１０５】
また、服領域抽出部２２による服抽出対象領域Ｒｘｃから服領域Ｒｃを抽出する処理においては、次のような処理を利用するようにしてもよい。まず、服抽出対象領域Ｒｘｃの画像の色を判定し、服抽出対象領域Ｒｘｃの画像に白または黒が含まれている場合には、明度、色相、彩度による閾値判定を行う。ただし、明るさに関しては、画像全体のヒストグラムを見て、明るさの閾値を調整する。例えば、黒は、明度のヒストグラムにおいて明度値が最小値から全体の中間値まで、白は、明度のヒストグラムにおいて明度値が最大値から全体の中間値まで、とする。一方、服抽出対象領域Ｒｘｃの画像に白および黒を含まない場合には、色相による領域指定を行う。細やかな柄やワンポイント柄がある場合を考慮して、モフォロジー処理の拡張処理と収縮処理を各１回行う。
【０１０６】
以上、本発明の実施形態である画像補正装置について説明したが、上記画像補正装置における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１０７】
【図１】画像補正装置１の構成を示すブロック図
【図２】和服を着た女性を表す図
【図３】文金高島田を装着した女性の上半身を表す図
【図４】相関テーブルＴの一例を示す図
【図５】画像補正装置１において行われる処理の流れを示すフローチャート
【図６】補正対象画像Ｓと第１の全体補正画像Ｓｚ＿１を合成して第１の部分補正画像Ｓｐ＿１を生成する様子を示す図
【図７】表示装置６１の画面レイアウトの一例を示す図
【図８】「ドレス」の立位に対応する服形状データの形状で服抽出対象領域Ｒｘｃが設定された様子を示す図
【図９】顔領域Ｒｆおよび服領域Ｒｃが抽出された場合の表示装置６１の画面レイアウトの一例を示す図
【符号の説明】
【０１０８】
１  画像補正装置
１１  オリジナル画像保存部
１２  画像選択部
２１  顔抽出対象領域設定部
２２  顔領域抽出部
３１  相関情報取得部
３２  服種類特定部
３３  服形状データ取得部
３４  相関データベース
３５  服抽出対象領域設定部
３６  服領域抽出部
４０  補正部
４１  マスク作成部
４２  補正パラメータ設定部
４３  全体補正部
４４  画像合成部
５０  出力制御部
６１  表示装置
６２  補正画像保存装置
６３  印刷装置
７０  入力操作部
【図１】
2007094623.tif 000004
【図２】
2007094623.tif 000005
【図３】
2007094623.tif 000006
【図４】
2007094623.tif 000007
【図５】
2007094623.tif 000008
【図７】
2007094623.tif 000009
【図８】
2007094623.tif 000010
【図９】
2007094623.tif 000011
【図６】
2007094623.tif 000012