(57)【要約】  【課題】  背景が複雑な一般デジタル写真においても顔を確実に抽出し、その顔の明度や色を不自然とならない態様で適正にかつ効率的に補正する。  【解決手段】  領域指定部３１において、操作者が画面上で人物画像Ｉｎにおける人物の顔の領域Ｒuを指定すると、補正対象領域抽出部３２が領域Ｒuの色情報等に基づいて肌領域および頭髪領域からなる補正対象領域Ｒmを抽出し、マスク作成部３３が補正対象領域Ｒmにのみ補正の効果を及ぼすための、領域Ｒmの境界をぼかしたマスク画像Maskを作成する。画像合成部５０は、画像補正部４０で画像全体が補正された全体補正画像Modともとの人物画像Ｉｎとを、対応する画素毎にマスク画像Maskが表す重みで合成して、補正対象領域Ｒmのみが境界をぼかしながら補正された補正済画像Ｉｎ′を得る。【選択図】          図１
2006338377.tif 000002
【特許請求の範囲】
【請求項１】
画像表示手段の画面に表示された人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定ステップと、
前記指定領域の色相情報、彩度情報、明度情報および輪郭位置情報のうち少なくとも１つの情報に基づいて、前記人物画像における前記単一人物の少なくとも顔を含む補正対象領域を抽出する補正対象領域抽出ステップと、
前記補正対象領域の各位置に対して施される補正の程度を表す補正度を、前記補正対象領域の境界近傍において該領域の内側から外側に向かって低くなるように設定する補正度設定ステップと、
前記補正対象領域における色相、彩度および明度のうち少なくともいずれかを、前記補正度にしたがって補正する補正ステップとを有することを特徴とする画像補正方法。
【請求項２】
画面に画像を表示する画像表示手段と、
前記画像表示手段の画面に表示された人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、
前記指定領域の色相情報、彩度情報、明度情報および輪郭位置情報のうち少なくとも１つの情報に基づいて、前記人物画像における前記単一人物の少なくとも顔を含む補正対象領域を抽出する補正対象領域抽出手段と、
前記補正対象領域の各位置に対して施される補正の程度を表す補正度を、前記補正対象領域の境界近傍において該領域の内側から外側に向かって低くなるように設定する補正度設定手段と、
前記補正対象領域における色相、彩度および明度のうち少なくともいずれかを、前記補正度にしたがって補正する補正手段と、
前記補正手段により補正された人物画像を前記画像表示手段の画面に表示する表示制御手段とを備えたことを特徴とする画像補正装置。
【請求項３】
前記補正対象領域抽出手段が、少なくとも前記指定領域の色相情報に基づいて、前記単一人物の顔を含む肌領域を前記補正対象領域として抽出するものであることを特徴とする請求項２記載の画像補正装置。
【請求項４】
前記補正対象領域抽出手段が、少なくとも前記指定領域の色相情報に基づいて、前記単一人物の顔を含む肌領域を抽出するとともに、少なくとも前記人物画像における明度情報に基づいて、前記単一人物の頭髪領域を抽出し、前記肌領域と前記頭髪領域とからなる領域を前記補正対象領域として抽出するものであることを特徴とする請求項２記載の画像補正装置。
【請求項５】
前記指定領域が、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、
前記補正対象領域抽出手段が、少なくとも前記指定領域の色相情報に基づいて、前記単一人物の顔を含む肌領域を抽出するとともに、前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、前記肌領域と前記頭髪領域の上部輪郭とを囲む領域を前記補正対象領域として抽出するものであることを特徴とする請求項２記載の画像補正装置。
【請求項６】
前記指定領域が、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、
前記補正対象領域抽出手段が、前記指定領域の輪郭位置情報に基づいて、前記単一人物の顔領域の下部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出するとともに、少なくとも前記人物画像の明度情報に基づいて、前記単一人物の頭髪領域を抽出し、前記顔領域の下部輪郭と前記頭髪領域とを囲む領域を前記補正対象領域として抽出するものであることを特徴とする請求項２記載の画像補正装置。
【請求項７】
前記指定領域が、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、
前記補正対象領域抽出手段が、前記指定領域の輪郭位置情報に基づいて、前記単一人物の顔領域の下部輪郭と前記単一人物の頭髪領域の上部輪郭とを前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、前記顔領域の下部輪郭と前記頭髪領域の上部輪郭とを囲む領域を前記補正対象領域として抽出するものであることを特徴とする請求項２記載の画像補正装置。
【請求項８】
前記補正手段が、色相、彩度および明度のうち少なくともいずれかに係る予め設定された種類の成分を、操作者からの入力に応じて増減することにより前記補正を行うものであることを特徴とする請求項２から７いずれか記載の画像補正装置。
【請求項９】
前記補正手段が、前記補正対象領域の補正後の目標となる所定の明度と前記補正対象領域における明度の平均値もしくは中間値との差分に基づいて、前記補正対象領域を補正する際の補正量を設定するものであることを特徴とする請求項２から８いずれか記載の画像補正装置。
【請求項１０】
前記補正度設定手段が、前記補正度を、前記補正対象領域の内外の色相関が小さいほど前記補正対象領域の境界近傍においてより緩やかに変化するように設定するものであることを特徴とする請求項２から９いずれか記載の画像補正装置。
【請求項１１】
コンピュータを、
画像表示手段の画面に表示された人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、
前記指定領域の色相情報、彩度情報、明度情報および輪郭位置情報のうち少なくとも１つの情報に基づいて、前記人物画像における前記単一人物の少なくとも顔を含む補正対象領域を抽出する補正対象領域抽出手段と、
前記補正対象領域の各位置に対して施される補正の程度を表す補正度を、前記補正対象領域の境界近傍において該領域の内側から外側に向かって低くなるように設定する補正程度条件設定手段と、
前記補正対象領域における色相、彩度および明度のうち少なくともいずれかを、前記補正度にしたがって補正する補正手段と、
前記補正手段により補正された人物画像を前記画像表示手段の画面に表示する表示制御手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像における人物の顔や肌等の部分的な領域について明度や色を補正する画像補正方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラを用いて撮影したり、紙媒体等に出力された写真をスキャナで読み込んだりして得られるデジタル写真画像の中には、撮影条件や被写体の特性によってその明度や色が適正な態様もしくは所望の態様で表現されていないものがあり、その明度や色を補正したい場合があるが、画像全体に一定の補正処理を施すことが適当でない場合がある。
【０００３】
例えば、アンダー露光や逆光で撮影された人物を被写体とする写真画像では、その人物の顔が暗くなるので、その人物の顔を適正な明度に補正したい場合があるが、顔の明度を適正にするような階調変換処理を画像全体に施してしまうと背景が白とびしてしまうことがある。また、スタジオで撮影された集合写真において後列の隅の人物に照明が届かずその人物だけ暗く写ってしまった写真画像や、二人の人物が撮影された写真において一方の人物が極端に日焼けしている写真画像等では、一人の人物の顔が暗くなるので、その人物の顔の明るさを他の人物の顔の明るさに合わせる補正をしたい場合があるが、その一人の人物の顔を明るくするような階調変換処理を画像全体に施してしまうと他の人物の顔が適正な範囲を超えて明るくなりすぎてしまうことがある。
【０００４】
このような問題を回避するため、画像全体ではなく人物の顔や肌のみ等、部分的な補正が望まれる場合があり、画像の部分的な補正に関してこれまでに種々の手法が提案されている。
【０００５】
例えば、特許文献１には、人物のみに対して画像処理を施す証明写真システムが記載されており、ここでは、画像を人物の領域と人物以外の背景領域とに自動分離して、人物については肌色を自動調整し、背景については別に用意された背景と置き換えて、自動調整後の人物とその別背景とを合成する手法が提案されている。
【０００６】
また、特許文献２には、顔の自動覆い焼き技術が記載されており、ここでは、顔領域を抽出して、顔領域については肌領域に好ましい処理を施して顔領域以外と合成する手法が提案されている。
【０００７】
また、特許文献３には、顔抽出方法が記載されており、ここでは、指定された領域内で肌色部分の画素を基準とした色を顔として抽出すると誤抽出する場合があるので、写真画像の横にワイヤーフレーム等で構成された顔テンプレートを表示して、画像中の顔とその顔テンプレートとの位置合せを行って、その結果を基に顔を抽出する手法が提案されている。
【０００８】
なお、顔領域の抽出や顔の補正に関する技術ではないが、特許文献４において、オペレータが予め赤目領域を簡単に指定することで、自動赤目補正の効率を向上させる手法が提案されており、部分的な領域を指定してからその領域中の特定の領域を抽出する方法について開示がなされている。
【特許文献１】特開２００１−１８６３２３号公報
【特許文献２】特開平１０−１２６１８４号公報
【特許文献３】特開２００１−２０９８０２号公報
【特許文献４】特開２００１−１４８７８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献１から４の各手法には、それぞれ下記に述べるような問題点がある。
【００１０】
特許文献１の証明写真システムは、背景が単純である証明写真を対象としているので、人物と背景との自動分離が比較的容易であるが（髪や衣服も抽出可能）、一般写真は背景が複雑であることが多いため、このシステムを一般写真に単純に適用することができない。また、実際には、肌色を自動調整しても適正な補正がなされない場合があり、マニュアルで補正する手段が必要である。
【００１１】
特許文献２の顔の自動覆い焼き方法は、補正処理済の顔と背景とを単純に合成しており、顔領域の抽出精度によっては顔の輪郭に歪み等が現れ、不自然な合成結果となる場合がある。また、顔の肌領域のみを考慮した覆い焼きの結果となるので、顔と髪の色との組合せが不自然になる場合もある。さらに、一般画像は背景が複雑であることが多いため、顔の自動抽出に失敗する確率も高い。
【００１２】
特許文献３の顔抽出方法では、顔テンプレートの位置合せをする作業が煩雑であり、効率が悪い。
【００１３】
特許文献４の領域指定方法は、手動で指定した領域から特定の領域を抽出する手法について開示しているだけで、顔や肌の補正についての効率的な手法を提案するものではない。
【００１４】
なお、上記手法のほか、例えばPhotoshop（登録商標）等の市販の画像処理ソフトを用いて手作業で部分的な画像処理を施す手法も考えられるが、作業が煩雑であり、効率が悪い。
【００１５】
本発明は、上記事情に鑑み、一般自然画写真でも顔を確実に抽出し、その顔の明度や色を不自然とならない態様で適正にかつ効率的に補正することが可能なデジタル画像の画像補正方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１６】
本発明の画像補正方法は、画像表示手段の画面に表示された人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定ステップと、前記指定領域の色相情報、彩度情報、明度情報および輪郭位置情報のうち少なくとも１つの情報に基づいて、前記人物画像における前記単一人物の少なくとも顔を含む補正対象領域を抽出する補正対象領域抽出ステップと、前記補正対象領域の各位置に対して施される補正の程度を表す補正度を、前記補正対象領域の境界近傍において該領域の内側から外側に向かって低くなるように設定する補正度設定ステップと、前記補正対象領域における色相、彩度および明度のうち少なくともいずれかを、前記補正度にしたがって補正する補正ステップとを有することを特徴とするものである。
【００１７】
本発明の画像補正装置は、画面に画像を表示する画像表示手段と、前記画像表示手段の画面に表示された人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、前記指定領域の色相情報、彩度情報、明度情報および輪郭位置情報のうち少なくとも１つの情報に基づいて、前記人物画像における前記単一人物の少なくとも顔を含む補正対象領域を抽出する補正対象領域抽出手段と、前記補正対象領域の各位置に対して施される補正の程度を表す補正度を、前記補正対象領域の境界近傍において該領域の内側から外側に向かって低くなるように設定する補正度設定手段と、前記補正対象領域における色相、彩度および明度のうち少なくともいずれかを、前記補正度にしたがって補正する補正手段と、前記補正手段により補正された人物画像を前記画像表示手段の画面に表示する表示制御手段とを備えたことを特徴とするものである。
【００１８】
本発明の画像補正装置において、前記補正対象領域抽出手段は、少なくとも前記指定領域の色相情報に基づいて、前記単一人物の顔を含む肌領域を前記補正対象領域として抽出するものであってもよい。
【００１９】
また、本発明の画像補正装置において、前記補正対象領域抽出手段は、少なくとも前記指定領域の色相情報に基づいて、前記単一人物の顔を含む肌領域を抽出するとともに、少なくとも前記人物画像における明度情報に基づいて、前記単一人物の頭髪領域を抽出し、前記肌領域と前記頭髪領域とからなる領域を前記補正対象領域として抽出するものであってもよい。
【００２０】
また、本発明の画像補正装置において、前記指定領域は、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、前記補正対象領域抽出手段は、少なくとも前記指定領域の色相情報に基づいて、前記単一人物の顔を含む肌領域を抽出するとともに、前記指定領域の輪郭位置情報に基づいて、前記単一人物の頭髪領域の上部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、前記肌領域と前記頭髪領域の上部輪郭とを囲む領域を前記補正対象領域として抽出するものであってもよい。
【００２１】
また、本発明の画像補正装置において、前記指定領域は、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、前記補正対象領域抽出手段は、前記指定領域の輪郭位置情報に基づいて、前記単一人物の顔領域の下部輪郭を前記指定領域の輪郭に内接する楕円状の弧に近似して抽出するとともに、少なくとも前記人物画像の明度情報に基づいて、前記単一人物の頭髪領域を抽出し、前記顔領域の下部輪郭と前記頭髪領域とを囲む領域を前記補正対象領域として抽出するものであってもよい。
【００２２】
また、本発明の画像補正装置において、前記指定領域は、前記単一人物の顔および頭髪に略外接する矩形を輪郭とする領域であり、前記補正対象領域抽出手段は、前記指定領域の輪郭位置情報に基づいて、前記単一人物の顔領域の下部輪郭と前記単一人物の頭髪領域の上部輪郭とを前記指定領域の輪郭に内接する楕円状の弧に近似して抽出し、前記顔領域の下部輪郭と前記頭髪領域の上部輪郭とを囲む領域を前記補正対象領域として抽出するものであってもよい。
【００２３】
また、本発明の画像補正装置において、前記補正手段は、色相、彩度および明度のうち少なくともいずれかに係る予め設定された種類の成分を、操作者からの入力に応じて増減することにより前記補正を行うものであってもよい。
【００２４】
また、本発明の画像補正装置において、前記補正手段は、前記補正対象領域の補正後の目標となる所定の明度と前記補正対象領域における明度の平均値もしくは中間値との差分に基づいて、前記補正対象領域を補正する際の補正量を設定するものであってもよい。
【００２５】
また、本発明の画像補正装置において、前記補正度設定手段は、前記補正度を、前記補正対象領域の内外の色相関が小さいほど前記補正対象領域の境界近傍においてより緩やかに変化するように設定するものであってもよい。
【００２６】
色相関としては、例えば、明度差、赤成分の差分と青成分の差分と緑成分の差分の和、色相の差分と彩度の差分と明度の差分の和などが考えられる。
【００２７】
本発明のプログラムは、コンピュータを、画像表示手段の画面に表示された人物を被写体とする人物画像において単一人物の顔を含む領域を操作者からの入力に応じて指定する領域指定手段と、前記指定領域の色相情報、彩度情報、明度情報および輪郭位置情報のうち少なくとも１つの情報に基づいて、前記人物画像における前記単一人物の少なくとも顔を含む補正対象領域を抽出する補正対象領域抽出手段と、前記補正対象領域の各位置に対して施される補正の程度を表す補正度を、前記補正対象領域の境界近傍において該領域の内側から外側に向かって低くなるように設定する補正程度条件設定手段と、前記補正対象領域における色相、彩度および明度のうち少なくともいずれかを、前記補正度にしたがって補正する補正手段と、前記補正手段により補正された人物画像を前記画像表示手段の画面に表示する表示制御手段として機能させるためのプログラムである。
【発明の効果】
【００２８】
本発明の画像補正方法および装置並びにそのためのプログラムによれば、操作者によって指定された領域内において人物の顔領域を含む補正対象領域を自動で抽出する、いわゆるセミオートマティック（半自動）な補正対象領域の抽出を行い、補正の程度を補正対象領域の境界付近でなだらかにして補正しているので、背景が複雑で自動では検出しにくい人物画像であっても、人物の顔領域を含む補正対象領域を的確にかつ効率的に抽出することができ、また、補正対象領域とその他の領域との境界をぼかしながら補正することができ、一般自然画写真でも顔を確実に抽出し、その顔の明度や色を不自然とならない態様で適正にかつ効率的に補正することが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の画像補正装置の第１の実施形態の構成を示すブロック図である。本画像補正装置は、アナログ写真技術におけるいわゆる覆い焼きと同じ効果をデジタル画像上で得るための装置であり、画像上で暗く表現されている顔やその周辺の肌のみを部分的に明るく補正するものである。
【００３０】
図１に示すように、画像補正装置１は、複数の画像データを保存する画像データ保存部１０、画像データ保存部１０に保存されている画像データの中から補正の対象となる人物の画像データを選択する画像選択部２０、画像選択部２０により選択された人物の画像データが表す人物画像Ｉｎ上で単一人物の顔を含む領域を操作者の入力に応じて指定する領域指定部３１、その指定領域における画像情報等に基づいて補正対象領域Ｒmを抽出する補正対象領域抽出部３２、その補正対象領域とその領域内の各画素において施される補正度（重み）を定めるマスク画像Ｍａｓｋを作成するマスク作成部（補正度設定手段）３３、人物画像Ｉｎの画像全体における色相、彩度および明度のうち少なくともいずれかを補正して全体補正画像Ｍｏｄを得る画像補正部４０、人物画像Ｉｎ、マスク画像Ｍａｓｋおよび全体補正画像Ｍｏｄを合成して補正対象領域Ｒmのみが部分的に補正された補正済画像Ｉｎ′を得る画像合成部５０、画像データ保存部１０に保存されているそれぞれの画像データが表す画像のほか、人物画像Ｉｎ、マスク画像Ｍａｓｋ、補正済画像Ｉｎ′等を操作者からの入力に応じてまたは自動で、所定のレイアウトで後述の画像表示部７０の画面に表示する制御を行う表示制御部６０、表示制御部６０の制御を受けて種々の画像を画面に表示する画像表示部７０、画像選択部２０による画像の選択や画像表示部７０に表示させる画像の選択等、種々の要求を示す情報を各部に入力する入力操作部８０を備えた構成である。
【００３１】
なお、本実施形態における画像補正部４０および画像合成部５０が本発明の画像補正装置における補正手段として機能するものである。
【００３２】
画像データ保存部１０は、デジタルカメラによる撮影によって取得された画像データやスキャナによる読取りによって取得された画像データを格納しておくハードディスクなどの磁気記録装置から構成されている。
【００３３】
画像選択部２０は、操作者によって入力操作部８０を通じて入力された補正対象となる画像を特定する情報に基づいて、画像データ保存部１０に保存されている画像データの中から補正の対象となる人物画像を選択するものである。例えば、画像表示部７０の画面には、表示制御部６０の制御を受けて、画像データ保存部１０に保存されている画像データが表す画像の一覧がサムネイル画像として表示されており、操作者は、その画面を見ながら補正対象とする所望の画像をＧＵＩ（グラフィカル・ユーザ・インターフェース）によって選択する。
【００３４】
領域指定部３１は、画像選択部２０から入力された人物画像Ｉｎにおいて単一人物の顔および頭髪を含む領域を操作者からの入力に応じて指定するものである。例えば、操作者は、入力操作部８０を構成するマウスやキーボード等を用いて、画像表示部７０の画面に表示された人物画像Ｉｎ上において、所定の２点をポインタで指定することにより、その２点を対角とする矩形領域を指定する。
【００３５】
補正対象領域抽出部３２は、領域指定部３１により指定された領域（以下、指定領域という）Ｒuの色相情報、彩度情報、明度情報および輪郭位置情報のうち少なくとも１つ以上の情報に基づいて、その指定領域Ｒuの中から単一人物の少なくとも顔を含む補正対象領域Ｒmを抽出する。補正対象領域Ｒmは、顔領域のみであってもよいし、顔とその他の肌を含む肌領域であってもよいし、顔領域と頭髪領域を含む領域であってもよい。
【００３６】
マスク作成部３３は、人物画像Ｉｎの画像全体が補正された後述の全体補正画像Ｍｏｄと掛け合わせたときに、補正対象領域Ｒmのみにその補正が施された画像が得られるようなマスク画像Ｍａｓｋを作成する。
【００３７】
マスク画像Ｍａｓｋは、人物画像Ｉｎと同じ画像サイズ（解像度）を有し、その各画素は、その画素に対して施される補正度に応じて０〜１（補正度が０％のときに０、補正度が１００％のときに１とする）の重みに相当する画素値を有するものである。また、マスク画像Ｍａｓｋは、補正対象領域Ｒmの各位置に対して施される補正度を、補正対象領域Ｒmの境界近傍においてこの領域の内側から外側に向かって低くなるように設定される。なお、この補正度は、補正対象領域Ｒmの内外の明度差が小さいほど補正対象領域Ｒmの境界近傍においてより緩やかに変化するように設定する。
【００３８】
画像補正部４０は、補正対象領域Ｒmの補正後の目標となる所定の明度と補正対象領域Ｒmにおける明度の平均値もしくは中間値との差分に基づいて、補正対象領域Ｒmを補正する際の補正量として適正と思われる補正量（画像上の所定の成分毎の補正の程度）を算出し、これを初期値として用いて人物画像Ｉｎの画像全体を補正するものである。その後補正された画像は、表示制御部６０の制御を受けて、画像表示部７０の画面に表示されるが、操作者がその画面を見ながらさらに補正量を微調整できるように、画像補正部４０は、操作者によって入力された補正量を微調整する情報に基づいてその補正量を変更する機能を有する。そして、調整された補正量で再び画像が補正され、その補正された画像が画像表示部７０の画面に表示されることとなる。なお、補正できる画像上の成分は、特に限定しなくてもよいが、ここでは、補正に係る操作性をよくするため、色相、彩度および明度のうち少なくともいずれかに係る数種類の成分として予め決められており、操作者は、それらの中からいずれかの成分を選択してその成分を増減することができる。例えば、補正可能な画像上の成分を、シアンＣ、マゼンタＭ、エイローＹの３色の強度と明度Ｄの４種類に定め、画像表示部７０の画面には、表示制御部６０の制御を受けて、これらの成分の項目が表示されるとともに、それぞれの成分の項目の横にその成分の補正レベルを段階的に表示するカウンタと、その補正レベルを１段階ずつ増減できる増減ボタンが表示され、操作者は、これら各成分の補正レベルをＧＵＩによって調整する。
【００３９】
画像合成部５０は、全体補正画像Ｍｏｄともとの人物画像Ｉｎとを対応する各画素毎にマスク画像Ｍａｓｋが表す所定の重みで合成することによって、補正対象領域Ｒmのみが部分的に補正された補正済画像Ｉｎ′を得るものである。すなわち、下記の式（１）にしたがってこれらの画像を合成して、補正済画像Ｉｎ′を得るものである。
【数１】
2006338377.tif 000003
【００４０】
ここで、ｘ，ｙは、それぞれの画像におけるｘ座標とｙ座標を表し、Ｍａｓｋ（ｘ，ｙ）の取り得る値は、１≧Ｍａｓｋ（ｘ，ｙ）≧０である。
【００４１】
表示制御部６０は、入力操作部８０を通じて操作者によって入力された、各種の要求を指示する情報に基づいて、画像表示部７０の画面に表示する画像やそのレイアウトを制御するものである。
【００４２】
画像表示部７０は、表示制御部６０の制御を受けて、画面に各種の画像を表示するＣＲＴモニタや液晶パネル等で構成されている。
【００４３】
入力操作部８０は、ＧＵＩを実現するためのインターフェースで接続されたキーボード、マウス等で構成されている。
【００４４】
次に、本実施形態の画像補正装置１における処理の流れについて説明する。図２は、画像補正装置１における処理の流れを示したフローチャートである。
【００４５】
はじめに、画像表示部６０の画面には、操作者からの要求に応じてまたは自動で、表示制御部６０の制御により、画像データ保存部１０により保存されているそれぞれの画像データが表す画像の一覧がサムネイル画像として表示される。ここで、操作者が、それらの画像の中からある人物画像を特定する情報をＧＵＩによって入力すると、画像選択部２０はその情報に基づいてその人物画像を補正の対象となる人物画像Ｉｎとして選択する（ステップＳ１）。図３（１）は、このようにして選択された人物画像Ｉｎの一例を示す図である。図３（１）に示す人物画像Ｉｎは、男女二人が撮影された写真画像であり、男性が女性に比べてかなり日焼けしている状態を表している。
【００４６】
補正の対象となる人物画像Ｉｎが選択されると、画像表示部６０の画面には、図４に示すように、もとの人物画像Ｉｎもしくは補正の効果が反映された場合の人物画像（補正済画像）Ｉｎ′のいずれかを大きく表示するエリアＡＲ１、マスク画像Ｍａｓｋと人物画像Ｉｎにおける補正対象領域Ｒmの画像とを位置的に重ねて表示するエリアＡＲ２、人物画像Ｉｎの補正対象領域Ｒmに対して上述のＣ、Ｍ、Ｙ、Ｄの各成分のレベルとそれら各成分の増減ボタンを表示するエリアＡＲ３から構成されたウィンドウＷｉｎが表示される。なお、この段階では、エリアＡＲ１に人物画像Ｉｎが表示されており、エリアＡＲ２には何も表示されていない。
【００４７】
ここで、操作者が、その表示された人物画像Ｉｎ上で、補正したい顔や肌を有する単一人物の顔および頭髪を含む矩形領域を特定する情報をＧＵＩによって入力すると、領域指定部３１はその情報に基づいてその矩形領域を指定領域Ｒuとする（ステップＳ２）。
【００４８】
補正対象領域抽出部３２は、所定のアルゴリズムにより、指定領域Ｒuの中から上記の単一人物の顔を含む肌領域を抽出するとともに、この単一人物の頭髪領域をも抽出し、これら肌領域と頭髪領域とを囲む領域を補正対象領域Ｒmとして抽出する（ステップＳ３）。なお、この補正対象領域Ｒmを抽出する処理の詳細については後述する。
【００４９】
マスク作成部３３は、抽出された補正対象領域Ｒmに対する補正度が上述の条件となるようなマスク画像Ｍａｓｋを作成する（ステップＳ４）。なお、このマスク画像Ｍａｓｋを作成する処理の詳細については後述する。図３（３）は、このようにして作成されたマスク画像Ｍａｓｋの一例を示す図である。図３（３）に示すマスク画像Ｍａｓｋは、被写体である男性の顔を含む肌と頭髪を囲む領域が補正対象領域Ｒmとして抽出されたときのマスク画像であり、その領域の境界がぼかされている。ここで、画像表示部７０の画面に表示されたウィンドウＷｉｎ内のエリアＡＲ２には、マスク画像Ｍａｓｋと人物画像Ｉｎにおける補正対象領域Ｒmの画像とが位置的に重ねられて表示される。操作者はこの画像を見ることにより、抽出された補正対象領域Ｒmが所望の領域であるか否かを確認することができる。
【００５０】
画像補正部４０は、まず、抽出された補正対象領域Ｒmの中から肌色領域を検出して、その肌色領域の明度が適正な明度となるような補正量を算出する。すなわち、補正対象領域Ｒmにおける各画素の彩度を求め、補正対象領域Ｒmのうちこの彩度が所定の閾値を下回る画素を除いた他の領域を抽出する。これにより、補正対象領域Ｒm中の頭髪、眉、黒目、影を除いた肌色領域が抽出される。そして、この肌色領域における各画素の明度を求め、その明度の平均値Ｄaveもしくは中間値Ｄmidを算出する。それから、写真画像における人物の肌の明度として好ましいとされる明度、すなわち、補正後の目標とする明度Ｄidealから上記のＤaveもしくはＤmidを減算して、明度の補正量Ｄmodを求める（Ｄmod＝Ｄideal−（Ｄave or Ｄmid））。そして、明度の補正量Ｄmodの値に基づいて、画像上の各成分の補正量の初期値が設定される。例えば、Ｃ，Ｍ，Ｙ（Ｒ，Ｇ，Ｂでもよい）の各成分毎に補正する補正量が補正量レベルとして定義され、各画素の色成分毎の信号値は、この補正量レベルにそれぞれ対応する変換曲線（例えば、1次元ルックアップテーブル）によって変換される。
【００５１】
画像補正部４０は、この補正量の初期値を用いて人物画像Ｉｎの画像全体を補正し、補正された全体画像は、表示制御部６０の制御を受けて、画像表示部７０の画面に表示される。操作者はその画面を見ながら、さらに補正量を適正にすべく、ＧＵＩによって画像表示部７０の画面に表示されたウィンドウＷｉｎ内のエリアＡＲ３に表示されたＣ、Ｍ、Ｙ、Ｄの各成分の補正量の増減ボタンを押して各成分の補正量を微調整する。
【００５２】
画像補正部４０は、その調整された補正量の設定にしたがって、再び人物画像Ｉｎの画像全体に補正を施し、全体補正画像Ｍｏｄを得（ステップＳ５）、その補正済みの全体画像が画面に表示される。図３（２）は、このようにして得られた全体補正画像Ｍｏｄの一例を示す図である。図３（２）に示す全体補正画像Ｍｏｄは、被写体である男性の顔を含む肌の領域が補正前の人物画像Ｉｎにおける女性の肌と同程度の明るさになるように、人物画像Ｉｎの画像全体の明度が高い方に補正された状態の画像である。
【００５３】
画像合成部５０は、上記の式（１）にしたがってこれらの画像を合成し、補正対象領域のみに所望の補正が施され、かつ、補正対象領域の境界付近においてその補正の効果がぼかされたような人物画像が得られる（ステップＳ６）。表示制御部６０は、この画像を画像表示部７０の画面上のエリアＡＲ１に更新する形で表示させる制御を行う。
【００５４】
そして、ステップＳ５とステップＳ６が必要に応じて繰り返され、最終的に、人物画像Ｉｎに所望の補正が施された補正済画像Ｉｎ′が得られる（ステップＳ７）。図３（４）は、このようにして得られた補正済画像Ｉｎ′の一例を示す図である。図３（４）に示す補正済画像Ｉｎ′は、男性の肌領域と女性の肌領域とが同程度の明るさとなるように、男性の肌領域が明るく補正された図である。
【００５５】
次に、上記の、補正対象領域Ｒmを抽出する処理とマスク画像Ｍａｓｋを作成する処理について詳細に説明する。ここでは、まずこれらの処理の流れを概略的に説明し、その後、より具体的な処理について説明することにする。
【００５６】
図５は、補正対象領域Ｒmの抽出およびマスク画像Ｍａｓｋの作成における基本的な処理の流れを示したフローチャートである。この基本的な処理のアルゴリズムは大きく分けて、肌の種（たね）の抽出、肌の種の成長、頭髪の検出、マスクの作成、の４つの部に分けることができる。なお、「肌の種」とは肌領域に属するものとして高い信頼度で抽出された一かたまりの画素群のことをいう。
【００５７】
「肌の種の抽出」の部では、操作者によって指定された矩形の指定領域Ｒuにおける色相、彩度および明度のヒストグラムを用いて信頼度の高い肌の画素（以下、高信頼肌画素という）を抽出する（ステップＳ１１）。肌の種として充分な数の画素が得られたかどうかを判定し（ステップＳ１２）、充分でない場合には、その高信頼肌画素の抽出において、色相、彩度および明度に基づく閾値判定による分離の条件を緩めて、再度、指定領域Ｒu内で高信頼肌画素を抽出する（ステップＳ１３）。高信頼肌画素の抽出の後、モフォロジフィルタのクロージング処理を用いてその高信頼肌画素間の隙間を埋め、指定領域Ｒuにおいて幾つかの不連続な肌領域を得る（ステップＳ１４）。得られた複数の肌領域のうちの幾つかは背景に属することがあるので、これらのうち最も面積が大きい肌領域をその領域を拡げて成長させるもととなる肌の種として選択する。
【００５８】
「肌の種の成長」の部では、上記の肌の種の領域の輪郭を抽出し、この輪郭上の画素を所定の間隔でサンプリングし、サンプリングされた各画素を、肌の種を成長させるもととなる種画素とする。そして、それぞれの種画素について、種画素に隣接する所定領域の色相、彩度および明度を調べ、所定の条件を満たす領域を肌領域として加え、肌領域を成長させる。すべての種画素に対して肌領域の成長を行うと、より面積の大きい肌領域が得られる。そして、この成長した肌領域について、さらに、輪郭の抽出、種画素の設定、肌領域の成長といった上記と同様の処理を行うことにより、より面積の大きい肌領域が得られる。このような処理を、成長させるべき近隣の画素がなくなるか、もしくはこの処理の繰返し回数が所定数に達するまで繰り返す（ステップＳ１５，Ｓ１６）。
【００５９】
「頭髪の検出」の部では、人物画像Ｉｎの肌領域に属さない領域における画素の明度のヒストグラムを求め、そのヒストグラムを明度の低い画素からなる部分と明度の高い画素からなる部分の２つに分離する。頭髪領域は、明度の低い画素からなる部分に含まれる可能性が高い。そこで、その明度の低い画素からなる部分のうちヒストグラム上で面積が最も大きい領域に属する画素群を、頭髪領域として抽出する（ステップＳ１７）。このようにして抽出された顔を含む肌領域と頭髪領域とを囲む領域を、補正対象領域Ｒmとして抽出する。
【００６０】
マスクの作成の部では、人物画像Ｉｎと同じ画像サイズで、抽出された補正対象領域以外の領域を切り取ったマスク画像Ｍａｓｋを作成するが、この際、補正対象領域Ｒmの内外の明度差（コントラスト）に応じて、補正対象領域Ｒmの境界をぼかす処理を施す（ステップＳ１８）。
【００６１】
これより、上記の各部における細かい処理について説明する。
【００６２】
（肌の種の抽出）
この部では、操作者によって指定された矩形の局所領域Ｒuにおいて最も肌らしい画素群を、肌領域を成長させるもととなる肌の種として抽出する。肌領域は、色相成分の分布図において幅の狭い所定の範囲に現れるということが、本出願人の経験から明らかとなっている。図６は、階調を０〜２５５としたときの、肌領域における色相、彩度、明度のそれぞれの分布を表した図である。図６の分布図によると、肌領域の色相は、２３５〜２５５と０〜３０の限られた比較的狭い範囲に見られるが、彩度と明度はより広く、０〜２５５の全範囲に見られる。これらの色相、彩度および明度の分布図から、肌領域の抽出においては、色相の分布が他の２つの成分の分布に比してより当てにできると言える。
【００６３】
まず、図７に示すように、操作者によって指定された指定領域Ｒu内で、信頼度の高い矩形の信頼領域Ｒtを選択する。信頼領域Ｒtは、指定領域Ｒuの縦幅の画素数をＨ、横幅の画素数をＷとしたときに、中心を指定領域Ｒuの中心から下方にＨ／１０画素分ずらした点とし、縦幅を１００画素または２１×Ｈ／４０画素のいずれか小さい方とし、横幅を１００画素または２×Ｗ／３画素のいずれか小さい方とする矩形領域である。操作者が指定する指定領域の中心は、肌領域である場合もあるが、目や眉である場合もある。後者の場合、その中心の近隣は肌領域として採用することができない。また、指定領域Ｒuには、肌に類似した背景部分が含まれることがあるが、指定領域Ｒuの中心は、ほとんどの場合、顔に属するため、その中心に近くて小さい領域は略全体が肌領域となる場合が多い。このような理由から、上記のように規定される信頼領域Ｒtを選択し、この領域における画像の情報を取得するようにしている。
【００６４】
信頼領域Ｒtの選択の後、その信頼領域Ｒt内で色相が２５０〜２５５および０〜２０の範囲にある画素を、最も肌らしい画素として選択する。そして、これらの画素の色相のヒストグラムを求める。図８に示すように、色相のヒストグラムにおいて所定の幅（例えば２０）で画素数が最大となる区域［Ｈcl，Ｈch］を抽出する。同様に、彩度と明度のヒストグラムにおいても所定の幅（例えば、彩度に対しては３０、明度に対しては４０）で画素数が最大となる区域［Ｓcl，Ｓch］，［Ｉcl，Ｉch］を抽出する。そして、これらの区域を用いて肌の分離閾値を設定する。まず、信頼領域Ｒtにおいて画素を抽出した場合と同様の方法により、指定領域Ｒuにおいて色相が上記２５０〜２５５および０〜２０の区域（この区域を［Ｈl，Ｈh］とする）にある画素を抽出する。指定領域Ｒuにおいて色相が［Ｈl，Ｈh］の区域にある画素について彩度と明度のヒストグラムを求める。彩度のヒストグラムにおいて［（Ｓcl＋Ｓch）／２−３０，（Ｓcl＋Ｓch）／２＋３０］の区域の外側のビンを０（ゼロ）にセットし、明度のヒストグラムにおいて［（Ｉcl＋Ｉch）／２−４０，（Ｉcl＋Ｉch）／２＋４０］の区域の外側のビンを０（ゼロ）にセットする。このように両端を切り落としたヒストグラムにおいて所定の幅（例えば、彩度に対しては３０、明度に対しては４０）で画素値が最大となる区域［Ｓl，Ｓh］，［Ｉl，Ｉh］を抽出する。図９は、彩度のヒストグラムにおける区域抽出の例を示した図である。
【００６５】
最後に、指定領域Ｒuにおいて、色相が区域［Ｈl，Ｈh］にあり、彩度が区域［Ｓl，Ｓh］にあり、明度が区域［Ｉl，Ｉh］にある画素を、最も肌らしい画素として抽出する。これらの画素は、閾値判定による分離によって得られるので、これらの画素の間には多数の小さな隙間が存在し、幾つかの不連続な領域を構成している。そこで、モフォロジフィルタのクロージング処理を用いてこれらの隙間を埋め、面積が最大となる領域を肌の種Ｒskin１として選択する。
【００６６】
上記のアルゴリズムによって抽出された肌の種が、充分な画素数（例えば、１０００画素またはＨ×Ｗ／８）を有さない場合は、肌の種の抽出の条件を緩める。すなわち、信頼領域Ｒtにおいて色相が上記の所定の範囲にある画素を抽出し、これらの画素をそのまま最も肌らしい画素として設定する。そして、モフォロジフィルタのクロージング処理を用いてこれらの画素の間にある隙間を埋め、面積が最大となる領域を肌の種Ｒskin1として選択する。
【００６７】
（肌の種の成長）
肌の種領域が得られたら、適応性領域成長手法により、その肌の種領域を成長させる。まず、肌の種領域Ｒskin1の輪郭ＣR1を抽出し、その輪郭上において所定の間隔で点［Ｐ1，Ｐ2，・・・，Ｐn］をサンプリングする（例えば、計３２個の点をとる）。そして、図１０（１）に示すように、この各点Ｐiに対して領域成長手法を同時に適用する。肌の種領域は連続した領域であり、肌の種の成長時には、種の内部は輪郭上の種点と同等である。その輪郭上には多数の画素があり、それほど離れていない２点の画素間では色の情報が類似している。そこで、種を成長させる処理の回数を少なく抑えるため、このように所定の間隔をおいて種点を設定するようにしている。種の領域を成長させるには、まず成長の条件を設定する必要があるが、ここでは、次のように設定する。
【００６８】
図１０（２）に示すように、種点Ｐiに対して点Ｐiを中心に半径３０画素の円を描き、この円内において既に肌領域として抽出されている内側領域Ｒinとまだ抽出されていない外側領域Ｒoutの２つの領域を得る。内側領域Ｒinにおいて、色相、彩度、明度のそれぞれのヒストグラムＨｉｓｔhin，ＨｉｓｔsinおよびＨｉｓｔiinを求める。外側領域Ｒoutにおいても同様に、ヒストグラムＨｉｓｔhout，ＨｉｓｔsoutおよびＨｉｓｔioutを求める。まず、Ｈｉｓｔhin，ＨｉｓｔsinおよびＨｉｓｔiinを用いて、最初の色相、彩度および明度の各区域［Ｈpi0l，Ｈpi0h］，［Ｓpi0l，Ｓpi0h］および［Ｉpi0l，Ｉpi0h］を選択する。これらの区域はそれぞれ、図１１に示すように、色相のヒストグラムにおいてビンが１０画素を超える区域、彩度のヒストグラムにおいてその面積が彩度の上下１０％を除いた場合の残り８０％の画素が含まれる区域、明度のヒストグラムにおいてその面積が明度の上下１０％を除いた残り８０％の画素が含まれる区域である。また、領域ＲinとＲoutにおいて、色相、彩度、明度のそれぞれについての極大範囲を求める。極大範囲は、所定の間隔（例えば、色相に対しては１０、彩度に対しては１５、明度に対しては２０）において画素値が最大となる区域である。ここで、これらの極大範囲は、Ｒinにおいては［Ｈinpeakl，Ｈinpeakh］，［Ｓinpeakl，Ｓinpeakh］および［Ｉinpeakl，Ｉinpeakh］とし、Ｒoutにおいては［Ｈoutpeakl，Ｈoutpeakh］，［Ｓoutpeakl，Ｓoutpeakh］および［Ｉoutpeakl，Ｉoutpeakh］と表す。そして、Ｒinにおける区域とＲoutにおける区域とを比較し、この２つの区域が充分に近い場合には、その区域の幅を拡張する。区域の拡張の詳細は次の通りである。
【数２】
2006338377.tif 000004
【００６９】
すなわち、区域［Ｈinpeakl，Ｈinpeakh］の中間値と区域［Ｈoutpeakl，Ｈoutpeakh］の中間値との差分が１５より小さいときは、区域［Ｈpi0l，Ｈpi0h］を区域［min(Ｈoutpeakl，Ｈpi0l)，max(Ｈoutpeakh，Ｈpi0h)］に拡げる。また、区域［Ｓinpeakl，Ｓinpeakh］の中間値と区域［Ｓoutpeakl，Ｓoutpeakh］の中間値との差分が３０より小さいときは、区域［Ｓpi0l，Ｓpi0h］を区域［min(Ｓoutpeakl，Ｓpi0l)，max(Ｓoutpeakh，Ｓpi0h)］に拡げる。また、区域［Ｉinpeakl，Ｉinpeakh］の中間値と区域［Ｉoutpeakl，Ｉoutpeakh］の中間値との差分が１５より小さいときは、区域［Ｉpi0l，Ｉpi0h］を区域［min(Ｉoutpeakl，Ｉpi0l)，max(Ｉoutpeakh，Ｉpi0h)］に拡げる。ここで、min(α，β)はαとβのいずれか小さい方、max(α，β)はαとβのいずれか大きい方とをとる関数である。
【００７０】
そして、顔が明るい肌および暗い肌である場合にも適用できるように、さらに区域を拡張する。経験則から、明るい肌や暗い肌では、明度や彩度は非常に幅広い値をとるが、色相はほとんど変わらないことが明らかとなっている。そこで、色相の区域は固定したまま、明度と彩度の区域をより拡げるようにする。
【００７１】
このようにして、領域の成長における基準となる区域、すなわち、肌領域として含めるべき色相、彩度、明度のそれぞれに対する区域を得ることができる。そして、領域成長過程においては、成長させるべき近隣の画素がなくなるまで、近隣の画素がこれらの区域内にある場合に、それらの画素を肌領域に含めるようにする。この領域成長を各種点に対して実施し、すべての種点について成長し終わると、より大きな肌領域Ｒskin2が得られる。そして、さらに、この肌領域Ｒskin2に対して、上記と同様の領域成長手法を適用してゆく。このような処理を例えば５回程度繰り返すようにする。
【００７２】
ただし、肌領域に類似した背景から肌領域を分離するのは難しく、背景が肌色に近い色相である場合には、この肌色の背景も肌領域として抽出されてしまうことが考えられる。このような場合には、図１３に示すように、操作者によって人物画像Ｉｎにおける単一人物の顔および頭髪に略外接する矩形を輪郭とする領域が指定領域Ｒuとして指定されることを前提として、その指定領域Ｒuの輪郭に内接する楕円状の弧を描き、顔領域の下部輪郭をその楕円状の弧に近似して抽出するようにする。
【００７３】
なお、本処理において、肌領域として抽出する色相、彩度、明度それぞれの区域を決定するために、既に肌領域として抽出された領域の内部とその外部のそれぞれの色の情報を用いているが、この理由について説明する。領域の成長は、類似した画素を選択してゆく作業であるため、本出願人はその経験から、当初、その領域の成長に用いる情報は肌領域の内部の情報だけで充分であると考えていた。しかし、実際には、顔や肌の一部のみしか抽出できなかった。その理由は、肌は、彩度や明度において広い範囲に属する傾向があり、たとえ同じ色相を有する領域であっても、肌領域内部の種にはその近隣の外部の画素の情報が含まれないためである。故に、本処理では、近隣の外部の画素の情報を考慮するようにしている。
【００７４】
（頭髪の検出）
肌領域が抽出されると、残る領域は頭髪領域と背景領域に属することとなる。頭髪領域の色相と彩度は非常にばらつく傾向があるので、頭髪領域の抽出においては、これら色相や彩度の成分は使い辛い。しかしながら、明度の分布は、ほとんどの場合、狭い区域に納まり、その明度も低い。そこで、本処理では、背景領域と頭髪領域とを区別するため２値化分離手法を用いる。図１２は、この２値化分離手法であるOotu（大津氏）の手法を表したものであるが、頭髪領域を精度よく検出することができる。この手法では、所定のルールにしたがって明度のヒストグラムにおいて閾値Ｔiを選択し（例えば、明度の累積ヒストグラムの変化率が最も低くなる画素値を閾値Ｔiとする）、明度がその閾値Ｔiより小さい画素を、頭髪らしい画素とする。この手法により、多数の頭髪らしき領域が検出される。これらの領域のうち最も面積の大きい領域を頭髪領域として選択する。なお、明度のヒストグラムにおいて２つ以上の極大点が現れることもあるが、このような場合には、Ootuの手法では頭髪領域をうまく検出することができない。基本的な考え方としては、信頼度の低い極大点を除外して信頼できる極大点を２つだけ残し、Ootuの手法を適用すればよいのだが、そのヒストグラム上で多数の極大点の存在をどのように知ればよいか、また、信頼度の低い極大点をどのように見つければよいかという問題がある。この問題を解決するため、下記の手法を適用することを考える。既に述べたように、頭髪領域のほとんどの画素の明度は小さいことが明らかである。そこで、ある値（例えば、１２８）より大きいビンを０（ゼロ）にセットした後、Ootuの手法を適用する。この手法であれば、所定の値（ここでは、１２８）より大きい明度のビンによる影響を避けることができ、上記の問題を解決することができる。実際、実験においても、この手法により頭髪領域をうまく検出することができた。
【００７５】
ただし、暗い背景から頭髪領域を分離するのは難しく、背景が暗い場合には、２つの極大点を含む曲線は、頭髪領域とみなす区域に含まれてしまう。このような場合には、図１３に示すように、操作者によって人物画像Ｉｎにおける単一人物の顔および頭髪に略外接する矩形を輪郭とする領域が指定領域Ｒuとして指定されることを前提として、その指定領域Ｒuの輪郭に内接する楕円状の弧を描き、頭髪領域の上部輪郭をその楕円状の弧に近似して抽出するようにする。
【００７６】
このようにして、肌領域もしくは顔領域の下部輪郭および頭髪領域もしくは頭髪領域の上部輪郭が抽出されたら、これらを囲む領域を補正対象領域Ｒmとして抽出する。
【００７７】
（マスクの作成）
補正対象領域Ｒmが抽出されたら、人物画像Ｉｎの画像全体が補正された全体補正画像Ｍｏｄともとの人物画像Ｉｎとを対応する画素毎に所定の重み付けで足し合わせて合成したときに、補正対象領域Ｒmのみにその補正が施された画像が得られるような上記重みを表すマスク画像Ｍａｓｋを作成する。
【００７８】
マスク画像Ｍａｓｋは、人物画像Ｉｎと同じ画像サイズ（解像度）を有し、その各画素は、その画素に対して施される補正の程度に応じて０〜１（補正の程度が０％のときに０、１００％のときに１となる）の重みに相当する画素値を有するものである。なお、本実施例では、重み０〜１に相当する画素値として、０〜２５５をとるものとする。
【００７９】
ここで、人物画像Ｉｎ、全体補正画像Ｍｏｄおよびマスク画像Ｍａｓｋを合成して最終的に得られる、部分的に補正がなされた補正済画像Ｉｎ′が不自然とならないように、マスクをぼかす処理を施す。すなわち、マスク画像Ｍａｓｋにおける補正対象領域Ｒmの境界近傍において、その補正度が補正対象領域Ｒmの内側から外側に向かって低くなるようにマスク画像Ｍａｓｋの画素値を設定する。ここでは、マスクをぼかすために、このマスク画像Ｍａｓｋにガウスぼかし処理を適用する。マスクの頭部側では、そのぼかす幅は、選択された矩形の指定領域Ｒuとの関係に基づいて規定する（例えば、水平方向の幅をＷ／４、垂直方向の幅をＨ／４とする）。その他の肌側では、まずマスクにおける肌の境界を抽出し、そのぼかす幅は、その境界の位置の水平方向の幅および垂直方向の幅との関係に基づいて規定する（水平方向の幅をＷ／４、垂直方向の幅をＨ／４とする）。
【００８０】
背景が暗い場合におけるその悪影響をより抑えるため、頭髪領域の輪郭においては、マスクにおける値をゆっくり変化させる。すなわち、マスクにおける値が、０か２５５の２値ではなく、０〜２５５と変化するようにする。なお、指定領域Ｒuの輪郭に内接する楕円状の弧が頭髪領域の上部輪郭として近似して選択された場合には、図１４に示すように、マスクが外側から内側へ向かって０〜２５５の値をとるように変化させる。
【００８１】
なお、マスクについての検討段階においては、選択された領域の色情報を変えることのみを考え、他の領域へ影響を与えることは考えていながったが、マスクの境界の内外の色相関（ここで色相関とは、比較対象となる画像における色成分や明度の相関を表すものであり、例えば、明度差、赤（Ｒ）成分の差分と緑（Ｇ）成分の差分と青（Ｂ）成分の差分の和、色相の差分と彩度の差分と明度の差分の和などが考えられる）が大きい場合には、同一のぼかし具合では、補正による改善を望まない領域に対しても影響が出てしまい、不自然な描写となる傾向にあった。そこで、適応性のぼかし処理、すなわち、マスクの境界の内外の色相関に応じてぼかしの程度を変える処理を施すようにした。すなわち、補正度を、補正対象領域Ｒmの内外の色相関が小さいほど補正対象領域Ｒmの境界近傍においてより緩やかに変化するように設定する（例えば、ガウシアン関数の半径を広げる）。
【００８２】
このように、色相関が小さいほど、補正対象領域Ｒmの境界近傍における補正度をより緩やかに変化するように設定する理由は、以下のような事実に基づいている。一般的に、補正対象領域の内外の明度差が大きいときは、補正した補正対象領域とその外側との間でグラデーションが目立ちやすくなるため（いかにも補正したといった表現になる）、補正対象領域の境界近傍においては、補正度は急峻に変化することが好ましく、また、補正対象領域の内外の明度差が小さいときは、補正対象領域の境界の抽出精度が悪い可能性があり、その抽出の悪さが目立ちやすくなるため（境界がずれていたり、でこぼこになったりする）、補正対象領域の境界近傍においては、補正度を緩やかに変化させることが好ましい。しかし、明度差が小さいときであっても、色相がまったく異なる場合などは、上記のルールに従って補正度の変化を緩やかにしてしまうと、かえって色のグラデーションが目立つ結果となる場合があるので、このような場合には、各色の成分の差分の和も利用し、色相が近いかどうかも考慮するようにするとよい。すなわち、補正対象領域の内外の色相が近い場合には、補正対象領域の境界近傍においては、補正度は緩やかに変化することが好ましく、また、その色相が離れている場合には、補正対象領域の近傍において、補正度は急峻に変化することが好ましい。
【００８３】
なお、上記の同一のぼかし具合によるぼかし処理では、マスクの境界を滑らかにならすのに、ガウシアン・カーネルを用いる。ここで、マスクはＭａｓｋ（ｉ，ｊ）、１次元のガウシアン・カーネルは、ｎ画素を半径として、Ｇ＝［ｇ-n，ｇ-(n-1)，・・・，ｇn-1，ｇn］である。マスクのぼかしは、水平方向と垂直方向のそれぞれに適用可能である。１次元のぼかしは、次式のように表すことができる。
【数３】
2006338377.tif 000005
【００８４】
一方、適応性のぼかし処理では、ぼかしの重みを導入し、ぼかし処理の式は、例えば、以下のように書き換えることができる。
【数４】
2006338377.tif 000006
【００８５】
ここで、ｔｈは調整用のパラメータであり、ｔｈが大きいほど、明度差：ａｂｓ（Ｉ（ｉ，ｊ）−Ｉ（ｉ−ｋ，ｊ））またはａｂｓ（Ｉ（ｉ，ｊ）−Ｉ（ｉ，ｊ−ｋ））がぼかしの影響を弱くする。なお、このｔｈの値としては、例えば、８０とすることができる。
【００８６】
このように、本実施形態による画像補正装置によれば、操作者によって指定された領域内において人物の顔領域を含む補正対象領域を自動で抽出する、いわゆるセミオートマティック（半自動）な補正対象領域の抽出を行い、補正の程度を補正対象領域の境界付近でなだらかにして補正しているので、背景が複雑で自動では検出しにくい人物画像であっても、人物の顔領域を含む補正対象領域を的確にかつ効率的に抽出することができ、また、補正対象領域とその他の領域との境界をぼかしながら補正することができ、一般自然画写真でも顔を確実に抽出し、その顔の明度や色を不自然とならない態様で適正にかつ効率的に補正することが可能となる。
【００８７】
また、顔領域だけでなく頭髪領域も補正対象領域に含めることで、補正後の画像において、頭髪の描写と顔の描写との不自然な明度差や色相の差が現れ難くなり、より自然な補正が可能となる。
【００８８】
また、画像補正部および画像合成部で構成される補正手段が、色相、彩度および明度のうち少なくともいずれかに係る予め設定された種類の成分について、はじめに、補正対象領域の補正後の目標となる明度と実際の明度の平均値もしくは中間値との差分に基づいて補正量を決め、その後、操作者からの入力に応じて微調整することにより補正を行うようにしているので、補正における操作性がよく、操作者は単純な操作で所望の補正結果を得ることができ、多数の画像を効率よく補正することが可能となる。
【００８９】
なお、本実施形態においては、１つの人物画像Ｉｎに対して補正対象領域Ｒmを１つのみ抽出し、その補正対象領域に対して補正を施しているが、特にこのように限定される必要はなく、１つの人物画像Ｉｎに対して複数の補正対象領域Ｒm1，Ｒm2，・・・を抽出し、それぞれの補正対象領域に対応する複数マスク画像Ｍａｓｋ1，Ｍａｓｋ2，・・・と、複数の全体補正画像Ｍｏｄ1，Ｍｏｄ2，・・・を作成し、各補正対象領域に対して別々の補正を施すようにしてもよい。
【００９０】
また、本実施形態においては、補正対象領域Ｒmを、顔を含む肌領域と頭髪領域とを囲む領域として抽出しているが、特にこのように限定される必要はなく、頭髪領域を含まない顔を含む肌領域のみを補正対象領域Ｒmとして抽出するようにしてもよい。
【００９１】
なお、本実施形態において、顔を含む肌領域を補正対象としているが、肌領域の抽出手法そのものは肌色の領域を抽出するものであるから、顔を含まない肌領域を補正対象とすることも、もちろん可能である。
【００９２】
以上、本発明の実施形態に係る画像補正方法および装置について説明したが、上記画像補正装置における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００９３】
【図１】画像補正装置１の構成を示すブロック図
【図２】画像補正装置１において行われる処理の流れを示すフローチャート
【図３】補正前後の画像および補正に用いる画像の一例を示す図
【図４】画像表示部７０の画面に表示される画像のレイアウトの一例を示す図
【図５】補正対象領域Ｒmの抽出およびマスク画像の作成における処理の流れを示すフローチャート
【図６】肌領域における色相、彩度および明度の分布を示す図
【図７】指定領域Ｒuと信頼領域Ｒtとの関係を示す図
【図８】肌領域の抽出に用いる色相ヒストグラム上の所定の区域を説明するための図
【図９】肌領域の抽出に用いる彩度ヒストグラム上の所定の各種の区域を説明するための図
【図１０】肌の種の成長処理を説明するための図
【図１１】肌の種の成長処理に用いるヒストグラム上の所定の区域を説明するための図
【図１２】頭髪領域および背景領域と明度ヒストグラムとの関係を示す図
【図１３】顔領域の下部輪郭及び頭髪領域の上部輪郭の抽出手法を説明するための図
【図１４】頭髪部分の境界近傍がぼかされたマスクを示す図
【符号の説明】
【００９４】
１  画像補正装置
１０  画像データ保存部
２０  画像選択部
３１  領域指定部
３２  補正対象領域抽出部
３３  マスク作成部（補正度設定手段）
４０  画像補正部（補正手段の要素）
５０  画像合成部（補正手段の要素）
６０  表示制御部
７０  画像表示部
８０  入力操作部
【図１】
2006338377.tif 000007
【図２】
2006338377.tif 000008
【図３】
2006338377.tif 000009
【図４】
2006338377.tif 000010
【図５】
2006338377.tif 000011
【図６】
2006338377.tif 000012
【図７】
2006338377.tif 000013
【図８】
2006338377.tif 000014
【図９】
2006338377.tif 000015
【図１０】
2006338377.tif 000016
【図１１】
2006338377.tif 000017
【図１２】
2006338377.tif 000018
【図１３】
2006338377.tif 000019
【図１４】
2006338377.tif 000020