(57)【要約】【課題】デジタル画像内にある顔の外見を強調するための肖像画像の修正（強調）方法及びシステムを提供することを目的とする。【解決手段】肖像画像の強調方法及びシステムにおいて、１つ以上の顔を含むデジタル画像を取得し、その顔の顔特徴点の位置を検出する。その顔特徴点には、肌、目、まゆげ、鼻、口、髪等の顕著な特徴を特定する点が含まれる。それら顔特徴点の位置は、その顔を肌、目、まゆげ、鼻、口、首、や髪の領域等の異なった領域に分割するために利用される。これら異なった領域において顔の顕著な特徴が特定され、これら特徴に基づいて、強調フィルタの集合が選ばれ、それぞれ特定の領域のために設定され、強調フィルタのデフォルトパラメータが選択される。これら強調フィルタは、その特定の領域に対して実行される。この結果、当初のデジタル画像から強調されたデジタル画像の生成ができる。【選択図】　図２Ｂ
2004005660.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像内にある顔の外見の強調方法であって：
（ａ）１つ以上の顔を含んだデジタル画像を取得する段階；
（ｂ）前記１つ以上の顔において肌、目、眉毛、鼻、口、首、髪のいずれか１つ以上を有する顕著な特徴を特定する点を含んだ顔特徴点の位置を検出する段階；
（ｃ）肌、目、眉毛、鼻、口、首、髪の領域のいずれか１つ以上を含む異なる領域に前記１つ以上の顔を分割するために、前記顔特徴点の位置を利用する段階；
（ｄ）前記異なる領域における顔の重要な特性を１つ以上決定する段階；
（ｅ）前記異なる領域における顔の重要な特性に基づいて、▲１▼特定領域に対してそれぞれ設定された２つ以上の強調フィルタと▲２▼該強調フィルタのデフォルトパラメータとを選択する段階；及び
（ｆ）前記特定領域に対して前記強調フィルタを実行する段階；
を含み、前記デジタル画像から強調したデジタル画像を生成するところの方法。
【請求項２】
請求項１記載の方法であって、（ｇ）前記強調したデジタル画像に画像活用処理を施す段階をさらに有する方法。
【請求項３】
請求項１記載の方法であって、前記強調フィルタにはテクスチャー、肌のトーン、目、歯、及び形状に係るフィルタが少なくとも２つ以上含まれている方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的にデジタル画像の分野に属するものであり、特に、人間を対象とした肖像に係る画像から得られた改良された画像生成物の創作に係るものに関する。
【０００２】
【従来の技術】
何世紀もの間、社会における裕福若しくは特別な階級の人々のみが、絵画、彫刻又はデッサンによる精巧な肖像の創作を職業として行う優れた職人を雇うことができた。多くの場合、肖像の描写は、単に現実の肖像をそのまま描くこと以上の役割を果たすものであった。肖像の対象が抱く希望や期待は、職人の作品に対して微妙な形或いは明白な形で反映される。また、二つ目の役割としては、現実の姿を向上させることにある。肖像の対象たる本人は、自らの肉体的な欠点を少なくし、自らを可能な限り最も美しい姿で見せることに努めた。
【０００３】
現代社会では、人物の肖像を描写することは、もはや裕福で権力のある者が独占する領域のものでなくなった。社会のあらゆる層で写真技術が登場したことによって、人生における大事な出来事において肖像画像の創作が普及することとなった。西洋文化では、結婚式、卒業式、誕生日、新たな子供の誕生等は、比較的一般化された態様で肖像画像に収められている。今日の技術は、素人である個人でもこれら肖像画像を捉え、更に画像の向上を図ることさえ可能ならしめているが、より品質の高い肖像画像を提供するプロの写真家もまだ健在である。即ち、今も尚、これら肖像を描写する人々の目的は、過去数世紀と同様であり、肖像の対象を最も喜ばれる姿で表現することにある。本質的には、肖像の対象たる本人は、自分のありのまま姿ではなく、自分が理想とする姿で見られることを望むのである。
【０００４】
自分のありのままの姿ではなく、自分が理想とする姿で見られたいという願望に応ずべく、プロの写真家は、肖像画像をリタッチ若しくは修正することによって肖像の対象が希望する外見を提供する。当該修正は、何らかの手法によって、もともとの写真画像には捉えられていなかったものや描写されなかったものへ写真画像を変更することに関するものである。肖像画像を修正することの目標の一つは、その人の個性を維持しつつ、その人の一時的な欠点（吹き出物、目の下の隈等）や永久的な欠点（ほくろ、しわ等）を取り除くことである。顔の吹き出物、ほくろ、あざを取り除くこと、線やしわを和らげること、目の下の隈を減らすこと、及び歯や目の白い部分を白くすることは、肖像画像における個人の外見の改善或いは向上を図るために行う修正の例である。
【０００５】
デジタル時代が到来する前は、画像の修正は、画像のネガ或いはそれが印刷されたものに対して施され、肖像画像の欠点を覆ったり或いは変更したりするのに染料が用いられていた。今日デジタル画像取込装置が日常において入手可能なため、デジタルで取込まれた画像にデジタルイメージング技術を施すことが今日好まれる修正方法である。デジタル手法は、かつてアナログ画像に対して施すことが困難若しくは不可能であった画像についての向上を可能ならしめるのである。アドビフォトショップ（登録商標）等の画像編集ソフトは、吹き出物を取り除いたり、鼻を真っ直ぐにしたり、目を均等にさせたり、デジタルメークを施したりすることによって肖像を改良できる。
【０００６】
コンピュータ技術や画像処理のアルゴリズムの発達は自動化或いは半自動化された画質の向上に係る新しい分野を生み出している。肖像画像に直接関連する開発された技術としては、人相の検出及び認識、顔特徴の検出及びマスキング、顔のリポージング（ＲＥ−ＰＯＳＩＮＧ）、赤目の検出及び修正等がある。
【０００７】
特許文献１（Ｈｉｌｌｅｂｒａｎｄ外）で開示されているシステムは、皮膚の欠陥を検出し、皮膚の劣化指数を計算するものである。このシステムは、化粧品及びスキンケアの市場に向けられたものである。このシステムは、肌の欠点を除去或いは隠すために提案されている処置又は商品を施した場合に劣化した肌の箇所がいかに改良されるのかをシミュレートできる。かかる肌の欠点は、色情報によって検出され、また、肌の劣化した箇所の改良をシミュレートするのに、一般的なモーフィング技術が利用される。
【０００８】
特許文献２（Ｕｔｓｕｇｉ）に記載されている方法は、理想の顔やモデルの顔に基づいて画像処理された理想のメーク後の顔を用意するものである。この技術は、メークによって改良を施すことができる範囲内においてハイライトされた箇所や眉毛の形、目の線、唇の線を理想の顔やモデルの顔に近づけることに関するものである。
【０００９】
上記システム、とりわけ、結婚式、卒業式、学校、スポーツ、誕生日、出産の日等に係る写真を扱う場合のバッチ式肖像描写のシステムが有する問題としては、好みの入力や結果の分析など顧客との間で多大な対話が必要となることである。例えば、上記特許文献２では、モデルの顔（選択された有名タレント、女優、俳優の顔）やその顔に近づけるために必要な調整を定着させるのには、メークを施すべき対象たる顧客が実際にその場にいることが必要となる。更に、良好な結果を出すには、熟練した操作者と顧客とが共に協力する必要がある。
【００１０】
よって、デジタルのイメージング技術が登場しているものの、かかる肖像を修正すること自体は技能であり、今日も科学というよりはむしろ技芸に近いものである。更に、肖像画像の修正は、熟練した操作者によって、多くの手動的な操作及び時間を必要とする。よって、肖像の修正を容易ならしめる自動化又は半自動化された肖像画像の強調を図る手法を用いたシステムを開発することが望まれる。
【００１１】
【特許文献１】
国際公開第ＷＯ００／７６３９８号
【特許文献２】
欧州特許出願公開第ＥＰ１０３０２７６Ａ１
【発明が解決しようとする課題】
従って、本発明は、上記従来技術の問題を解消し、人間の外見を対象とした画像の自動化された強調方法及びシステムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記１以上の問題を解消するためになされたものである。概略して、本発明の一つの観点によると、デジタル画像内にある顔の外見の強調方法は、（ａ）１つ以上の顔を含んだデジタル画像を取得する段階、（ｂ）前記１つ以上の顔において肌、目、眉毛、鼻、口、首、髪のいずれか１つ以上を有する顕著な特徴を特定する点を含んだ顔特徴点の位置を検出する段階、（ｃ）肌、目、眉毛、鼻、口、首、髪の領域のいずれか１つ以上を含む異なる領域に前記１つ以上の顔を分割するために、前記顔特徴点の位置を利用する段階、（ｄ）前記異なる領域における顔の重要な特性を１つ以上決定する段階、（ｅ）前記異なる領域における顔の重要な特性に基づいて、▲１▼特定領域に対してそれぞれ設定された２つ以上の強調フィルタと▲２▼該強調フィルタのデフォルトパラメータとを選択する段階、及び（ｆ）前記特定領域に対して前記強調フィルタを実行する段階とを含むものである。
【００１３】
効果的に自動化又は半自動化された肖像画像強調方法を用いることによって、熟練した操作者に修正的変更を加えさせたり、管理させたりすることを必要とせずに、肖像の修正を可能ならしめることが、本発明の利点である。本発明の利点としては、さらに多くの手作業と時間を熟練した操作者によって行われることが避けられ、本発明に係る修正方法は、バッチ処理に対しても適用できることである。
【００１４】
【発明の実施の形態】
本発明の前記並びにその他の目的、特徴及び利点は、以下に掲げられた実施の形態についての詳細な説明及び特許請求の範囲を添付図面と照らし合わせることによって、より明らかになる。
【００１５】
顔の特徴を検出する手法及び特徴の強調を図る手法を利用する画像処理システムは良く知られているが、以下の説明では、特に、本発明に係るシステム及び方法との関係において、その一部を構成し或いは直接的関連性を有する特性について説明する。ここで特別に明示又は説明されていない特性等については、関連技術分野で知られているものから選択することが可能である。以下の説明において、本発明に係る実施の形態は通常ソフトウェアプログラムとして提供されるものであるが、当該ソフトウェアと均等なものを組み込んだハードウェアとしても提供できることは当業者からすれば理解できる。本発明に係るシステムは、以下に説明される構成を有するため、ここで特別に明示、示唆又は説明されていないソフトウェアであって、本発明を実行するのに役立つものについては、慣用的なものであり、当業者の通常の技術の範囲に含まれる。本発明の説明の中の名称についてだが、強調フィルタとは、デジタル画像の中の顔の視覚的外見の強調を図るものをいう。例えば、目の強調フィルタとは、目の白さ及び／又は虹彩の強調を図るものをいう。
【００１６】
もし、本発明をコンピュータプログラムとして実行する場合には、当該プログラムを一般的な電子計算機で読み取り可能な保存媒体に保存してもよく、その媒体には、例えば、磁気ディスク（フレキシブルディスク、ハードドライブ等）や磁気テープ等の磁気保存媒体、光学ディスク、光学テープ、装置で読み取り可能なバーコード等の光学保存媒体、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の固体電子保存装置、或いは、コンピュータプログラムを保存するためのその他の有形の装置又は媒体が含まれる。
【００１７】
図１Ａは本発明を実行するのに役立つシステム１０を示している。当該システム１０は、一組の所定段階で本発明に係る方法を実行ならしめる中央処理装置（ＣＰＵ）を有するパーソナルコンピュータＰＣ１２を含んでいる。デジタル保存媒体２０は、デジタル画像を保存するために、ＰＣ１２と接続されて提供されている。デジタル保存媒体２０には、ＲＡＭ、ＲＯＭ、ハードドライブ、フロッピー（登録商標）ドライブなど種々の異なった装置が含まれる。また、デジタル保存媒体２０は、生成された強調画像をローカルに保存するのに用いられてもよい。更に、付加的な供給源として、スキャナ２８、デジタルカメラ３０等のデジタル画像取込装置をＰＣ１２に設けることも可能である。尚、デジタル画像は、いかなる供給源から取得するものであってもよい。ユーザーは、マウス及び／又はキーボード等の入力装置及び前記コンピュータ１２と接続されているディスプレーモニタ５０を介してコンピュータ１２と対話する。システム１０は、イメージをローカルに出力するためにプリンター３４等の装置を設けることもできる。一般的に、上記構成部分は、ＰＣ１２と直接接続されているという点で、ＰＣ１２に帰する。
【００１８】
代わりとして、上記構成部分は、必ずしもホストコンピュータ（ＰＣ）１２に帰する必要はなく、通信ネットワーク７０を介してクライアントＰＣ１２に接続されるサーバー６２に帰することも可能である。前記サーバーも、一組の所定の段階で本発明に係る方法を実行ならしめる中央処理装置（ＣＰＵ）を有するパーソナルコンピュータＰＣ１２を含む構成をとることができる。前記サーバーは、保存媒体６５及び１つ以上のプリンター６０に接続されることが可能である。このようにして、画像は、通信ネットワーク７０を介してリモートに取得、保存、及び印刷されることができる。本発明を実行するためのソフトウェアは、一般的に保存メディアの中に保存されている。代わりとして、このソフトウェアは、通信ネットワーク７０を介してサーバーからダウンロードされることも可能である。クライアントがＰＣ１２に含まれるＣＰＵを使うことによって、若しくは、サーバーがサーバー６２に含まれるＣＰＵを使うことによって、本発明を実行するためのソフトウェアの実行が可能となる。通信ネットワーク７０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の私的ネットワーク、又はインターネットサービスプロバイダ（Ｉｎｔｅｒｎｅｔ　Ｓｅｒｖｉｃｅ　Ｐｒｏｖｉｄｅｒ、ＩＳＰ）を介して個人によるアクセスが可能であるインターネット等の公的ネットワークから構成されることも可能である。また、それらネットワークで慣習上用いられているように、リモートのネットワークサービスプロバイダは、小売的なキオスク或いは適当な通信装置を介して顧客にアクセスされることも可能である。
【００１９】
図１Ｂは、本発明を実行するためのソフトウェアのグラフィックユーザーインターフェース（Ｇｒａｐｈｉｃ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）の例を示しており、そのソフトウェアは、システム１０でローカルに又はサーバー６２でリモートに稼動し、同図に示されているようにＧＵＩスクリーン７８を作成する。ユーザーは、そのソフトウェアを起動し、強調の対象となる画像をダウンロードする。当該画像がダウンロードされると、ＧＵＩスクリーン７８はディスプレー５０で表示される。ＧＵＩスクリーン７８の左側の画像８０が、本発明に係る方法によって強調の対象となるダウンロードされた原画像である。その右側には、強調された顔の画像８２が表示されている。一つの実施の形態では、イメージがダウンロードされると、ユーザーは強調の対象となる顔の目の部分にクリックする。それに応じて、システムは、自動的に顔の特徴点を見つけ出し、顔の異なった部分（例えば、目、眉毛等）と首領域に分割する。システムはデフォルトパラメータを設定し、所定の順番で全ての強調フィルタを原画像に適用する。
【００２０】
それに対する結果画像８２は、ＧＵＩスクリーン７８の右側に表示されている。ユーザーは、スライダー９０、９２、９４、９６、９８を用いて異なる強調フィルタのパラメータを対話的（インターアクティブ）に変更することを可能にする。それらスライダーの最初の位置は、システムが自動的に設定したデフォルト値に対応している。外見強調メインスライダー９０は、全ての要部強調サブスライダーの全てを合体させている。強調サブスライダーには、テクスチャー強調スライダー９２、肌強調スライダー９４、目強調スライダー９６及び歯強調スライダー９８が含まれる。テクスチャー強調スライダー９２は、テクスチャー強調フィルタのパラメータを制御するものである。肌強調スライダー９４は、肌トーン強調フィルタのパラメータを制御するものである。目強調スライダー９６及び歯強調スライダー９８は、それぞれ目と歯の白色化フィルタのパラメータを制御するものである。全ての強調フィルタについては、次のセクションで詳細に説明する。全てのスライダーの最小レベルは「強調なし」（例えば、各スライダーの左端）と設定され、最大レベルは「最大強調」（例えば、各スライダーの右端）と設定される。
【００２１】
ユーザーは、大局的外見強調スライダー（外見強調メインスライダー）９０又は個別の強調サブスライダー９２〜９８を用いることによって顔の強調の度合いや外見を制御する。ユーザーが外見強調メインスライダー９０の位置を変える度に、システムはそのスライダーの位置をそれぞれの強調フィルタの適切なパラメータ値にマップし、それら強調フィルタ全てを所定の順番で原画像に適用する。そして、強調された画像８２はＧＵＩスクリーン７８の右側に表示される。ユーザーが強調サブスライダー９２〜９８の一つを変える度に、システムは各々の強調サブスライダーの位置に基づいて、強調フィルタ全てを所定の順番で原画像に適用する。強調された画像８２は、ＧＵＩスクリーン７８の右側に表示される。本実施の形態におけるＧＵＩのデザインの一部には、顔の特徴点及び首領域の境界線を変更するオプションがある。ユーザーがＧＵＩスクリーン７８の上部にあるバーから「編集」をメニューからプルダウンすることにより、当該オプションを選択すると、顔の特徴点及び首領域の境界線箇所が原画像８０に被せられ、ユーザーは、ユーザー入力装置４０（例えば、ポインティング装置）を使って、それら表示された箇所の位置を変更できる。ツールバー８４には、ユーザーが表示された画像と対話（インターアクト）したり、変更したりすることを可能ならしめる所定のツールが含まれている。例えば、ズームイン及びズームアウトするためのツール、特徴点を編集するためのツール、強調された画像と原画像とをローカルにブレンドするためのツール、強調フィルタの結果を空間的に変更するためのツール等が該当する。
【００２２】
図２Ａは、本発明に従って、肖像画像を強調させる方法の一実施形態の概略的なフローチャートを示すものである。段階２００の開始後、取得及び表示の段階２０５において、デジタル画像がシステムによって取得され、それがディスプレーモニター５０に表示される。本発明において、デジタル画像は、写真から取得した画像のみに限定されず、あらゆる供給源から取得したデジタル画像のことをいい、例えば、デジタルカメラから、ハードコピーのイメージのスキャンから、その他の供給源から電子的に取得した画像が該当する。探知の段階２１０では、イメージの中の個別の顔が検出され、各々の顔の顔特徴点の位置が識別される。各々の顔の位置及び関連する特徴点の探知の工程は手動的にユーザーによって行われるものであってもよく、又は画像処理技術によって半自動的に又は自動的に行われてもよい。上記顔特徴点の位置は、顔の異なった領域（例えば、肌、目、鼻、口、髪）及び首領域を識別及び分割するために利用される。表示の段階２１５では、顔特徴点を画像に被せて、ディスプレーモニター５０にそれが表示される。選択的に、首領域をなぞる特徴点も表示され得る。もし顔特徴点が自動的に又は半自動的に決定されたのであれば、決定の段階２２０において、当該特徴点を調整する必要があるか否かを決定する機会がユーザーに与えられる。ユーザーが当該特徴点の調整を行う必要があると判断した場合には、変更の段階２２５において、ユーザーは、入力装置４０を用いて当該顔特徴点を調整することができる。選択的に、ユーザーは、首領域の境界をたどっている特徴点を調整することも可能である。
【００２３】
デフォルト設定の段階２３０において、システムは、顔特徴点の位置を利用して、異なる領域（例えば、肌、目、鼻、口、髪、顔の毛等）を識別及び分割して、強調フィルタの適切なデフォルトパラメータを決定する。本実施形態における首領域は、顔特徴点の位置に基づいて自動的に分割される。首領域を分割する方法の詳細は、後述する。よって、段階２３０で、システムは首領域の強調フィルタの適切なデフォルトパラメータをも決定できる。選択的に、この段階において、性や年齢の分類アルゴリズムを用いて手動的に又は自動的に顔の性や年齢を決定することができる。自動的な性の分類に関する例として、「Ｇｅｎｄｅｒ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｗｉｔｈ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ」（Ｐｒｏｃ．　ｏｆ　４ｔｈ　ＩＥＥＥ　Ｉｎｔ’ｌ　Ｃｏｎｆ．　Ｏｎ　Ｆａｃｅ　＆　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ、Ｍａｒｃｈ　２０００）が参考として挙げられる。対象となる顔のデジタル画像において特に詳述された顔特徴点に対して分析を行うことによって、一般的なアルゴリズムで年齢分類ができ、例えば、顔特徴比率の分析やしわの分析等が行われる。本発明を実行するのに役立つ自動年齢分類アルゴリズムを開示する米国特許出願番号５，７８１，６５０（Ｌｏｂｏ　ａｎｄ　Ｋｗｏｎ）を参考としてあげる。性別や年齢の分類は、どの強調フィルタを性別特有のパラメータと共に実行するのかを決定するにあたって利用することができる。例えば、デフォルトとして、女性の顔のテクスチャーや肌の強調の量を男性の顔よりも多く設定すること等である。
【００２４】
そして、実行の段階２３５において、システムは、適切に選択されたパラメータを用いて強調フィルタを実行する。代わりとして、破線で示されているようにユーザー選択の段階２４０において、ユーザーは、いかなる強調フィルタを適切なパラメータと共に実行されるべきかを選択することができる。システムが強調フィルタを段階２３５において実行し終えると、強調された画像は、ディスプレーモニター５０のディスプレーに表示される（段階２４５）。この時点で、ユーザーは、その強調された画像が容認できるか否かを決定できる。もし、その画像を容認できなければ、ユーザー選択の段階２４０において、それぞれの強調フィルタ及び／又はそれらのパラメータを変更すること或いは変更の段階２２５において、顔特徴点の位置を調整することをユーザーは選択できる。一つの実施形態では、ユーザーは、順番に異なった強調フィルタを実行して、それが画像にどのように影響するかを確認することができる。本実施の形態では、ユーザーは、容認できる結果が得られるまで、それぞれの強調フィルタやパラメータを変えながら、段階２４０、２３５、２４５、２５０を繰り返すのである。もし、決定の段階２５０において、強調画像が容認できるものと判断される場合には、ローカル印刷の段階２５５において、プリンター３４を用いてローカルに印刷すること若しくはローカル保管の段階２６０において、保存媒体２０にローカルに保管することのいずれかをユーザーは選択できる。代わりとして、通信リンク７０を介してシステムがサーバー６２に接続されている場合には、リモート印刷の段階２６５においてリモートに印刷すること若しくはリモート保管の段階２７０において、保存媒体６５にリモートに保管することのいずれかをユーザーは選択できる。適切な動作が選択されて、完了すると、システムは新たな画像が存在するか否かを問いかける（問いかけ段階２７５）。その問いかけに対する回答に応じて、次の画像のために取得及び表示の段階２０５に戻る若しくは作業を終える（終了の段階２８０）。
【００２５】
図２Ｂは肖像画像の強調を図る本発明の別の実施の形態を示すものであり、より高度な自動化及びより効率的な生産を商業的写真施設で実現するのに資するものである。この実施の形態は、ユーザーの介入を必要とすることなく肖像強調システムで大量の画像の処理を図る自動的なバッチ処理を示すものである。取得の段階２８２では、強調の対象として選択された画像のリスト（コンピュータファイル）から画像が取得される。顔の検出及び探知の段階２８４では、画像の中の顔が自動的に検出され、各顔における顔特徴点の位置が自動的に特定される。強調選択の段階２８６では、システムは、その顔を特徴づけ、適切な強調フィルタの集合及びそれら強調フィルタのデフォルトパラメーターを決定する。選択的に、この段階において、前述した性別及び年齢分類のアルゴリズムを利用することによって自動的に顔の性別及び年齢を自動的に決定することも可能である。
【００２６】
代わりとして、画像と関連付けられたメタデータを介して画像の中の顔の性別及び年齢をシステムに供給することが可能であり、例えば、年齢及び性別は顧客が提供する写真仕上げ封筒によって又はユーザーに尋ねることによって取得できる。デフォルトのフィルタやパラメータは、画像と独立したメタデータによって又は強調の処理が施される前における画像と独立した設定によっても提供され得る。そして、強調実行段階２８８では、システムは、適切に選択されたパラメータを用いて強調フィルタの集合を実行する。もし、画像の中に１つ以上の顔が存在する場合は、この事実は、顔問い合わせ段階２９０で確認され、システムは、画像の中の全ての顔が強調されるまで段階２８６、２８８、及び２９０を繰り返す。保存の段階２９２では、強調された画像が保存される。入力された画像が全て強調されるまで画像を強調する処理が続けられる（画像問い合わせ段階２９４）。全ての画像が処理された後（終了の段階２９６）、それら強調された画像を図２Ａに示される活用段階２５５〜２７０に付することができる。選択的に、全ての画像が処理された後（終了の段階２９６）、それら画像の確認を可能ならしめるために図２Ａに示されているようなユーザーインターアクティヴシステムに導入することも可能であり、必要があれば活用段階（図２Ａの段階２５５〜２７０）に付する前に変更できる。
【００２７】
図３は、図２Ａ及び図２Ｂの顔検出及び特徴点探知の段階たる段階２１０に対するフローチャートであり、本発明によって画像の中にある顔の顕著な顔特徴点の位置を探知する処理を示すものである。画像の中にある全ての顔のおおよその大きさ及び位置を把握すべく顔検出モジュールをデジタル画像に適用し、検出された顔の顕著な顔特徴点の位置は、顔特徴検出器３１５によって確認される。当該顔の検出段階は、ユーザーの手動的行うことによって又は学術文献に記録されている多数の顔検出手法の一つを用いて自動的に行うことによって実現され得る。自動的顔検出の手法として好まれる例としては、「Ａ　Ｓｔａｔｉｓｔｉｃａｌ　Ｍｏｄｅｌ　ｆｏｒ　３Ｄ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｐｐｌｉｅｄ　ｔｏ　Ｆａｃｅｓ　ａｎｄ　Ｃａｒｓ」（Ｈｅｎｒｙ　Ｓｃｈｎｅｉｄｅｒｍａｎ、Ｐｈ．Ｄ．　Ｔｈｅｓｉｓ、Ｒｏｂｏｔｉｃｓ　Ｉｎｓｔｉｔｕｔｅ、Ｃａｒｎｅｇｉｅ　Ｍｅｌｌｏｎ　Ｕｎｉｖｅｒｓｉｔｙ、Ｍａｙ　２０００）が参考として挙げられる。代わりとして、もし手動操作で顔の検出を行う場合には、好まれる例としては、ユーザーが画像の中に存在する１つ以上の顔の両目をクリックするという手法がある。空間的に離隔して配された目に基づいて、顔の大きさの推測が可能となる。
【００２８】
１つ以上の顔を検出した後、各顔の画像上の座標及び推測された顔の大きさは、顔特徴検出器３１５に与えられ、その顔特徴検出器３１５は、検出された顔の顕著な顔特徴点の位置の探知を行う。本実施の形態では、この顔特徴検出器として動的輪郭モデルが用いられる。動的輪郭モデルについては、「Ａｕｔｏｍａｔｉｃ　ｉｎｔｅｒｐｒｅｔａｔｉｏｎ　ａｎｄ　ｃｏｄｉｎｇ　ｏｆ　ｆａｃｅ　ｉｍａｇｅｓ　ｕｓｉｎｇ　ｆｌｅｘｉｂｌｅ　ｍｏｄｅｌｓ」（ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　ＰＡＭＩ、Ｖｏｌ．１９、Ｎｏ．７、ｐｐ７４３−７５６、１９９７）に記載されており、参考として挙げることとする。検出された顔特徴点は、顔の異なる領域（例えば、顔の肌の領域、目、鼻、口、眉毛、髪、顔の毛等、首の領域）を識別し、境界を描き、分割するために用いられる。検出された領域は、それに対応するバイナリマスクによって識別される。そして、当該バイナリマスクの領域は空間的にフェザー処理されて、アルファマスクが生成される。これらアルファマスクは、段階２３５及び段階２８８において、強調フィルタの結果を原画像と混ぜるのに利用される（例えば、テクスチャー強調フィルタ）。バイナリマスクをフェザー処理して、それによって作成されたアルファマスクを混ぜる処理に適用することによって、強調された領域と強調されなかった領域との間の自然な移り変わりが確保される。アルファマスクを作成するには、ぼかし機能でバイナリマスクをぼかして、バイナリマスクをフェザー処理するが、ぼかしの半径は、顔の大きさに基づいて選択される。バイナリマスクは、図２Ａ及び図２Ｂで示されるように強調フィルタを空間的にどこに適用するべきかを決定するのに用いられる。
【００２９】
図４は、検出された顔４０の顕著な特徴点４２０の位置についての視覚的な例を示している。一般的に、これらの顔特徴点は、画像処理技術を使って手動的又は自動的に探知される。
【００３０】
多くの画像は、肌強調フィルタを顔の領域だけでなく、首の領域においても適用することが重要となる場合がある。ここで好まれる実施の形態においては、改良された包括的首形状のモデルを肌色分類手段と組み合わせることによって、首の領域が決定される。図５Ａは、首領域を決定する方法のフローチャートを示すものである。包括的なマッピングの段階５５０では、首領域の包括的な確率マップが作成される。包括的な確率マップは首の形に関する事前の知識に基づくものである。本実施の形態では、強調の対象として予想される画像（例えば、肖像型の画像）の母集団をあらわす正規化された画像のサンプル母集団を平均することによって、包括的な確率マップを作成する。各画像を所定の目の位置との関係で拡大縮小し、当該サンプル画像の正規化が図られる。各サンプル画像において、首領域の境界は手動的にアウトラインされる。各ピクセルの最終的な首の確率は、採点関数の平均和であり、任意のピクセルが首領域の一部である場合、その値は１であり、その他のサンプル画像についての値は０である。包括的な首確率マップは発見的な近似式を使って作成できる。本実施の形態では、画像の中の人物の性別が把握されている場合、男女によって異なった確率マップが用いられる。一般的に、女性の肖像の肌領域の方が男性の肌領域よりも多く露出されていることが多い。拡大縮小（ｓｃａｌｉｎｇ）の段階５５４では、包括的な首確率マップは顎の線及び顔の輪郭線の特徴点にはまるように拡大縮小される。
【００３１】
肌色分類の段階５５６では、色分割に基づいて首確率マップが形成される。特定の範囲内の肌色の全てのピクセルを把握すべく、教師付きピクセルベース色分類が用いられる。当該ピクセルベース色分類は、肌に属するピクセル色Ｃの条件付確率関数であり、ガウス式の形で表される。
【００３２】
【数１】
2004005660.tif 000003
これによって、定義付けられた肌領域から平均ベクトルμと共変マトリックスΣが推定される。当該ベクトルＣは、ピクセルの赤（Ｒ）、緑（Ｇ）青（Ｂ）の信号に対応する。Ｃが他の色空間で表されている場合（例えば、ＣＩＥＬＡＢ、ＹＵＶ、ＨＳＶ等）においても、上記手法を適用できる。肌の条件付確率分布を判断するのに顔肌領域の部分集合が用いられる。本実施の形態では、上記数式１において、目よりも上の肌領域及び顔上の毛が検出される肌領域は、平均ベクトルμと共変マトリックスΣを推定するのに用いられない。首確率は、顔領域外及び顎の線の下に配されたピクセルに対して上記数式１に従って規定され、それ以外の領域のものについての値は、０である。
【００３３】
最終的マップ生成段階５５８において、最終確率マップは、拡大縮小された包括的首確率マップ及び肌色ベースの確率マップを合体させることにより生成される。本実施形態では、その二つの確率マップは、算術的に乗じられる。この結果として生成される首確率マップは、強調フィルタの結果をどのように原画像と混ぜるかを判断するのに用いられるアルファチャンネルとして使用される。当該バイナリ首領域マスクは、最終首確率マップを二値化処理することにより生成される。任意のピクセルの確率が０よりも大きい場合は、それに対応するマスクの値は１であり、首領域を示す。一方、それ以外の場合、マスクの値は、０であり、首以外の領域を示す。当該首領域のバイナリマスクは、強調フィルタをどこに適用するかを判断するのに用いられる。
【００３４】
図５Ｂから図５Ｄは、最終首確率マップを創作するプロセスを視覚的に表したものである。図５Ｂは、拡大縮小された包括的首確率マップを示している。まず、包括的な確率マップがその人物の顔の輪郭をたどっている特徴点に一致するように拡大縮小される。包括的な首確率マップは、上述したように顔の輪郭に対応した首の位置に関する予備情報に基づいているものである。図５Ｂに示されている包括的首確率は、上述した統計的分析に基づくものではなく、発見的なルールに基づく一例である。これは、プロセスの定性的な特徴を明らかにするものである。包括的マスク内にある中央領域５７０は、首領域の高い確率に対応して高い値を有している（例えば、０．５より大きく、かつ、１以下の値）。境界領域５７２は、首領域の低い確率に対応して低い値を有している（例えば、０より大きく、０．５よりも小さい値）。境界領域５７２の外においての首領域の確率は、０の値へと次第に減少する。一般に、確率は、中央領域５７０から境界領域５７２へと横方向及び縦方向において連続的に減少する。顎の直下に位置するマスクの中央領域はそれと最も高い確率を有している。
【００３５】
図５Ｃは、肌色分類によって決定された首確率マップの輪郭５７４を示している。当該肌色に基づく確率は、前記数式１によって計算される。当該輪郭５７４の領域外の確率の値は、０と等しい。前記数式１で規定されているように、当該輪郭５７４の領域内の確率の値は、０よりも大きい。拡大縮小された包括的首確率マップ及び肌色分類に基づいた首確率マップの二つの首確率マップは、算術的に乗じられることによって合体される。図５Ｄは、最終首確率マップの輪郭を示している。中央領域５７６は、肌色確率領域５７４によって切り取られた高確率領域５７０に対応する。領域５７８は、肌色確率領域５７４によって切り取られた低確率領域５７２に対応する。
【００３６】
このように、一旦、顔特徴点及び首領域の位置が探知されると、画像の顔及び首領域に対して外見強調フィルタの集合（二つ以上のフィルタ）を適用できる。図６は、いくつかの異なった強調フィルタを示している。本実施形態で用いられる強調フィルタは、肌テクスチャー強調フィルタ６１０、肌トーン強調フィルタ６２０、歯強調フィルタ６３０、目強調フィルタ６４０、及び顔特徴形状強調フィルタ６５０である。これらのフィルタについては、以下詳述する。これら強調フィルタはいかなる順番で適用してもよい。一実施形態では、ユーザーは、いずれの強調フィルタをも選択でき、画像の中の顔及び首領域に対して希望する順番で適用できる。しかし、好まれる実施の形態における本システムは、適切なパラメータと共に強調フィルタが適用されるデフォルトの順番を設定する。
【００３７】
ユーザーがデフォルトの設定での実施を選択する場合には、全ての強調フィルタはデフォルトのパラメータと共にデフォルトの順番で適用され、その強調された画像はモニタに表示される。強調フィルタのデフォルトの順番をあげることとすると、肌テクスチャー強調フィルタ、肌トーン強調フィルタ、歯及び目の白色化フィルタ（歯と目との間の順番はいずれでもよい）、及び顔特徴形状強調フィルタの順番である。以下において、これら強調フィルタは、それらが原画像に適用されるデフォルトの順番と同様に説明することとする。
【００３８】
〔テクスチャー強調フィルタ〕
肌のテクスチャー強調フィルタの役割としては、肌の局所的なテクスチャーをなめらかにすること、吹き出物や黒いシミ等を取り除くこと、或いはしわの長さや深さを減少させ若しくは取り除くこと等である。図７Ａは、本発明による肌のテクスチャー強調フィルタのフローチャートを示すものである。肌特徴生成段階たる段階７１０では、顔特徴点によって輪郭が描かれた肌領域の範囲内の肌特徴が検出される。そして、特徴修正段階７２０において、検出された肌特徴は修正される。肌特徴マップには、修正を希望する特徴（吹き出物、黒いシミ、しわ等）が含まれている。
【００３９】
従来技術では、特定の肌の欠点を検出するのに、色分析の手法が用いられている。更に、その従来技術では、肌領域上にかざされた有限の二次元ウィンドウ内のピクセルに関連する色信号のヒストグラムを分析することによっても、肌の欠点の発見が行われる。肌領域に関連するヒストグラムが双峰分布の場合は、その領域は肌の欠点を含んでいると判断される。これらの技術は、色情報を検出手段の主要な部分として利用されるため、そのイメージングシステムが色による換算を行うこと及び／又は分析の対象となる画像が正しく色のバランスがとられていることが必要となる。かかる色情報の使用の効果は、画像をとらえるのに制御された照明及び／又は色付きフィルタが使用されると向上する。また、検出された欠点をその欠点の色に基づいて、吹き出物、茶色のシミ等のようにより細かく分類を行うこととなると、色を正確に再生することが必要になる。
【００４０】
写真では、しわや吹き出物等の肌の欠点は、望まれない位置におけるハイライトや影という形（実際に当該肌の欠点がない場合にも、ハイライトや影のという形）で現れることがある。よって、肌の欠点は、局所的な明暗度の最大値と最小値に対応する。ハイライトは、画像の輝度のピークに対応し、影は、画像の輝度の谷間（ｖａｌｌｅｙ、ヴァレー）に対応する。従来技術から発展して、本発明の実施の形態では、ＲＧＢ信号から構成された輝度画像に対してピーク及びヴァレーの検出手段を適用することによって、肌の欠点が検出される。ヴァレー／ピーク検出手段は、二次差分要素である。当該輝度は、以下のように赤信号Ｒ、緑信号Ｇ、青信号Ｂの重み付けられた線形の組み合わせとして定義づけられ、ｋの値は重みを示す。
Ｌ＝ｋ１Ｒ＋ｋ２Ｇ＋ｋ３Ｂ　　　　　　　　　　　　　（数式２）
輝度画像を生成するのに好ましい重みの選択としては、ｋ１＝ｋ２＝ｋ３＝０．３３３である。ヴァレー／ピークの要素の例は、「Ｖｉｓｕａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　ａｔ　Ｖｅｒｙ　Ｌｏｗ　Ｄａｔａ　Ｒａｔｅｓ」（Ｄ．Ｅ．　Ｐｅａｒｓｏｎ　ａｎｄ　Ｊ．Ａ．Ｒｏｂｉｎｓｏｎ、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＩＥＥＥ、Ｖｏｌ．７３、Ｎｏ．４、Ａｐｒｉｌ　１９８５）に記載されている。
【００４１】
ここで好まれるヴァレー／ピークの要素は一組の四方向の要素であって、上記文献「Ｖｉｓｕａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　ａｔ　Ｖｅｒｙ　Ｌｏｗ　Ｄａｔａ　Ｒａｔｅｓ」において採用されている。縦の要素Ｖは、ピクセル位置をａからｙへと定めている図７Ｂの５×５のピクセル近傍のうち、真ん中のピクセルｍに適用され、以下の数式３のように定義づけられる。
Ｖ＝ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ−２（ｈ＋ｍ＋ｒ）　　　　（数式３）
この要素は輪郭内の肌領域の各ピクセルの位置に対して適用される。同じように、横の要素Ｈは、数式４で示されており、右斜めの要素ＤＲ及び左斜めの要素ＤＬは数式５及び数式６で示されており、それぞれ、下記のように輪郭内の肌領域の各ピクセルの位置に対して適用される。
Ｈ＝ｂ＋ｃ＋ｄ＋ｖ＋ｗ＋ｘ−２（ｌ＋ｍ＋ｎ）　　　　（数式４）
ＤＲ＝ｃ＋ｇ＋ｋ＋ｏ＋ｓ＋ｗ−２（ｉ＋ｍ＋ｑ）　　　（数式５）
ＤＬ＝ｃ＋ｉ＋ｏ＋ｋ＋ｑ＋ｗ−２（ｇ＋ｍ＋ｓ）　　　（数式６）
これらの要素は単に谷（ｖａｌｌｅｙ）／頂上（ｐｅａｋ）を検出するのみならず、エッジ（ｅｄｇｅ）の足元や肩に二次的な反応を有する。よって、それら要素は、ヴァレェッジ（ｖａｌｅｄｇｅ）／ピーケェッジ（ｐｅａｋｅｄｇｅ）検出器と呼ばれる。ヴァレェッジ特徴は、その要素の出力のプラス値に対応し、ピーケェッジ特徴は、そのマイナス値に対応する。ヴァレー／ピークのみ感知するヴァレー／ピーク検出器は要素に論理的条件を適用することによって取得される。縦のヴァレーについては、論理的ヴァレー検出器の対応は以下の式で表される。
ｉｆ（ｆ＋ｋ＋ｐ）＞（ｈ＋ｍ＋ｒ）ａｎｄ（ｊ＋ｏ＋ｔ）＞（ｈ＋ｍ＋ｒ）
ｔｈｅｎ　Ｖ＝（ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ）−２（ｈ＋ｍ＋ｒ）
ｅｌｓｅ　Ｖ＝０
2004005660.tif 000004
縦のピークについては、論理的ヴァレー検出器の対応は以下の式で表される。
ｉｆ（ｆ＋ｋ＋ｐ）＜（ｈ＋ｍ＋ｒ）ａｎｄ（ｊ＋ｏ＋ｔ）＜（ｈ＋ｍ＋ｒ）
ｔｈｅｎ　Ｖ＝（ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ）−２（ｈ＋ｍ＋ｒ）
ｅｌｓｅ　Ｖ＝０
2004005660.tif 000005
横及び斜めのヴァレー／ピークについての論理的検出器は似たような形式を有する。ヴァレー／ピーク要素及びヴァレェッジ／ピーケェッジの要素のいずれも、本発明に係る肌特徴マップを作成するのに有効である。以下、ヴァレー／ピーク要素という用語については、ヴァレー／ピーク要素及びヴァレェッジ／ピークエッジ要素のいずれもが含まれる用語として使うこととする。
【００４２】
方向付けられたヴァレー／ピークフィルタを画像に対して適用する前に、ノイズ軽減フィルタを適用することによって、画像のノイズの影響が抑えられる。適切なノイズフィルタとしては、ローパスフィルタ、メディアンフィルタ、その他デジタル画像のノイズを軽減するための線形フィルタ及び非線形フィルタ等がある。
【００４３】
有効（強い）肌特徴のみを保持すべく、上記要素によって生成された方向付けられたヴァレー／ピーク画像は閾値処理がされる。ヴァレー特徴マップに関しては、特定の閾値Ｔｖよりも小さい値を有するピクセルは、０に設定される。ピーク特徴マップに関しては、特定の閾値Ｔｐよりも大きい値を有するピクセルは、０に設定される。当該閾値は固定された大局閾値又は適応性のある閾値であってもよい。ここで好ましい閾値処理の方法は、適応性のある閾値を使うことであり、その値は以下の式で表される。
Ｔ＝βＬａｖｇ　　　　　　　　　　　　　　　　　　　　（数式９）
上記式では、βは定数であり、Ｌａｖｇはピクセル周囲の輝度の局所平均である。βの異なる値は、縦、横、及び斜めの要素に用いることができる。Ｌａｖｇは、ピクセル自体の値又は近傍のピクセル郡（例えば、３×３の近傍のピクセル郡）の輝度平均であってもよい。
【００４４】
ここで好まれるステップとしては、各々の方向付けられた特徴マップを合体した合体肌特徴マップＦを作成することである。
Ｆ＝ｍａｘ｛Ｈ，Ｖ，ＤＲ，ＤＬ｝　　　　　　　　　　（数式１０）
更に、どの方向付けられたフィルタに由来するものかによって合体肌特徴マップＦの中の各ピクセルをラベル付けることができる。方向付けられたラベルデータ及び／又は個人の方向付けられた肌特徴マップを、特定方向の特徴（例えば、しわ）を好みによって取り除く場合に役立たせることができる。
【００４５】
肌テクスチャー強調フィルタの役割は、肌の局所的テクスチャーをなめらかにすることである。当該肌テクスチャー強調フィルタがなめらかにするテクスチャーの空間的大きさは、顔の大きさの関数である。よって、ヴァレー／ピークのフィルタの空間的大きさは、顔の大きさに基づいて適応的に決定される。より詳細には、目と目との距離がヴァレー／ピークのフィルタの大きさを決定するのに用いられる。以下の式は、縦のヴァレー／ピーク要素の一般的な表示であり、ｗ及びｈは、顔の大きさの関数として選択されている。
【００４６】
【数２】
2004005660.tif 000006
水平及び斜めのヴァレー／ピークの包括的なヴァレー／ピーク検出器は、似たような形式を有する。ここで好まれる等方性ヴァレー／ピーク検出器としては、輝度画像Ｉからブラー（ぼかし）輝度画像Ｉｂを減算することによってあげられる。
Ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ）　　　　（数式１２）
ブラー輝度画像は、ガウス又はボックスフィルタ等のブラー（ぼかし）フィルタを輝度画像に適用することによって生成される。ヴァレー／ピーク検出器の出力は前述したように閾値処理されることによって、ピーク及びヴァレーの特徴マップが作成される。ブラーフィルタの半径は、顔の大きさ（デフォルトパラメータの１つの例でもある）の関数として、また、検出が望まれる肌特徴の大きさとして選択される。
【００４７】
特徴マップは、連結要素ラベリングによって連結されているピクセルをグループ化することによって更に改良される。連結要素ラベリングでは、画像は走査されて、ピクセルはピクセル連結に基づいた要素にグループ化される。即ち、連結された要素の中のピクセルは、何らかの形で互いに連結されている。全てのグループが一旦決定されると、各ピクセルは、その割り当て対象たる要素に対応してラベル付けされる。各連結要素は、肌特徴に対応する。各肌特徴は、大きさ、形状、や肌領域における位置等の特質に基づいて特徴付けられ、分類される。大きさはその要素に含まれるピクセルの数（デフォルトパラメータの１つの例でもある）に対応する。形状情報は、しわ特徴を吹き出物等の他の肌特徴との境界線を描くのに役立たせることができる。更に、肌特徴マップにおいて線で囲まれたそれら特徴については、肌特徴として識別されたピクセルと関連付けられた色彩情報を利用することによって、より詳細に分類できる。一旦肌特徴マップが作成されると、そのマップは、段階７２０で修正される肌特徴を選択するのに利用される。
【００４８】
図８は、本発明に従って肌特徴の選択及び修正を行うのに好まれる実施の形態を表すフローチャートを示している。肌特徴選択段階８１０では、修正の対象となる特徴は、それらが有する特性に基づいて選択される。上述のように、特徴の特性は、大きさ、形状、及び色彩に対応するものであり、肌領域の位置に基づいて選択される。拡張段階８２０では、選択された肌特徴は、（適宜に）拡張され、フィルタリング段階８３０で修正される。肌特徴に対する拡張の効果は、肌特徴の大きさを拡大させることである。拡張の度合は、選択された肌に対して固定的なもの又は肌特徴の特性に基づいた適応的なものであってもよい。ここで好まれる実施の形態は、肌特徴はその大きさ及び顔の大きさ（デフォルトパラメータの例でもある）に基づいて適応的に拡張される。大きな肌特徴は、小さな肌特徴よりも拡張される。標準的モルフォロジー演算子を用いて、この拡張段階を実行することができる。
【００４９】
修正の対象となる肌特徴の種類を変更しつつ、段階８１０、８２０、及び８３０を繰り返すことによって、肌特徴が順次修正されて最適な肌強調が得られる。一方、段階８１０、８２０、及び８３０を一巡することで希望される肌特徴の選択及び修正を図ることも可能である。本実施の形態の段階８１０〜８３０では、まず、第一に、ヴァレーの肌特徴が選択されて、修正される。次に、段階８１０〜８３０の対象として、残っているピークの肌特徴が選択されて、修正される。かかる肌特徴を保持するために、修正は、所定の最大サイズと最小サイズとの間の大きさを有した肌特徴のみについて行われる。また、その代わりとして、肌特徴を保持するため、所定の最小サイズよりも大きい肌特徴のみについて修正を図ることも可能である。更に、修正の対象となる肌特徴の最小及び最大の大きさは、顔の大きさの尺度と直接対応するものである。
【００５０】
段階８３０では、風車（ｐｉｎｗｈｅｅｌ、ピンホィール）フィルタが拡張された特徴の各ピクセルに適用される。拡張された特徴のピクセルは、特徴ピクセルという。その他残りのピクセルは、非特徴ピクセルという。本発明の実施の形態では、特徴ピクセルはバイナリマスクによって規定され、０の値は、特徴ピクセルに対応し、１の値は、非特徴ピクセルに対応する。特徴ピクセルの中央にラインセグメントとして配列された近傍の非特徴ピクセルを利用することによって、風車フィルタは、任意の特徴ピクセルの新しい値を挿入する。この風車フィルタについては、２００年８月１５日に特許が発行された米国特許番号６，１０４，８３９（「Ｍｅｔｈｏｄ　ａｎｄ　Ａｐｐａｒａｔｕｓ　ｆｏｒ　Ｃｏｒｒｅｃｔｉｎｇ　Ｐｉｘｅｌ　Ｖａｌｕｅｓ　ｉｎ　ａ　Ｄｉｇｉｔａｌ　Ｉｍａｇｅ」、Ｄａｖｉｄ　Ｒ．Ｃｏｋ等）に詳細に記載されており、参考として挙げておくこととする。明確化を図るとともに、上記米国特許で記載されているオリジナルのアルゴリズムに施されるいくつかの修正についての言及をするために、当該風車フィルタについて簡単に説明する。図９では、選択された特徴ピクセル９４０に対応する四本のラインセグメント９３０のセット（縦Ｖ、横Ｈ、二本の斜めのラインセグメントＤ１とＤ２）がグラフィック的に表現されている。これら四本のラインセグメントは４５度間隔で配されている。この拡張された特徴９２０は、灰色（影つけ）で表されている。線９１０は、顔の境界を表している。当該セットに含まれる各ラインセグメントは、ピクセル９４０の両側の特徴ピクセル及び非特徴ピクセルで構成されている。ラインセグメントに含まれる非特徴ピクセル及び特徴ピクセルは、ラインセグメントによって定められたある方向にて、その選択された特徴ピクセル９４０に対して、ローカルに配されたものである。ラインセグメントのセットの生成方法については、後述する。
【００５１】
図１０Ａ及び図１０Ｂでは、風車フィルタを適用することによって画像の各特徴ピクセルの新しい値を計算する方法が示されている。段階１００４において、ラインセグメントの数ＮＬ、ラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１、及びラインセグメントの片側の最小ピクセル数ＭＩＮ＿ＮＰ１が設定される。これらパラメータについては、図１２を参照して説明する。当該ラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１及びラインセグメントの片側の最小ピクセル数ＭＩＮ＿ＮＰ１は、顔の大きさ（デフォルトパラメータの一例である）に基づいて設定される。顔の大きさが大きいほど、それらＭＡＸ＿ＮＰ１及びＭＩＮ＿ＮＰ１の値が大きくなる。これらパラメータが顔の大きさに対して有する関連性は、上記Ｄａｖｉｄ　Ｒ．Ｃｏｋ等による文献に記載された方法と比べると、本発明特有なものといえる。段階１００６において、最初の特徴ピクセルＰＳＥＬが選択される。段階１００８において、ラインセグメント数ＮＬのラインセグメントのセットは、前記ピクセルＰＳＥＬを通じて生成される。本実施の形態では、ラインセグメントのセットのラインセグメント数ＮＬは、４であり、これらは、縦、横、及び２本の斜めのラインセグメントに対応する。
【００５２】
図１２は、ラインセグメントの生成方法を示している。図１２の段階１１１０において、最初のラインセグメントが選択される（例えば、縦のラインセグメント（Ｖ））。段階１１２０において、当該ラインセグメントの片側の方向が選択される。ピクセルは、この方向に当該ラインセグメントに追加されることとなり、そのピクセルの追加は、ピクセルＰＳＥＬから開始される。各ラインセグメントでは、ピクセルＰＳＥＬを中心とするラインセグメントの両側に対応する方向が規定される。段階１１３０において、ある方向に対して最初の非特徴ピクセルに到達するまで、特徴ピクセルが当該ラインセグメントに追加される。段階１１４０において、最初の非特徴ピクセルが当該ラインセグメントに追加され、次の条件のいずれかが満たされるまで、近傍の非特徴ピクセルがある方向に当該ラインセグメントに追加される。
・非特徴ピクセルがラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１に到達した場合
・顔の境界又は顔特徴境界に到達した場合
・新たな特徴ピクセルに到達した場合
非特徴ピクセルのラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１は、顔の大きさに基づいて段階１００４（図１０Ａ）で設定される。ラインセグメントは、顔の境界又はテクスチャー強調プロセスで除外された領域（例えば、目の領域、口の領域等）の境界を越えてはならない。上記Ｄａｖｉｄ　Ｒ．Ｃｏｋ等による文献に記載された方法と比べて、本発明において、有効なラインセグメントを生成するための上記条件は特異なものである。ラインセグメントの片側に対するピクセルの追加が完了すると、段階１１６０において、ラインセグメントの他方側の方向が設定される。そして、そのラインセグメントの他方側に対して、段階１１３０から段階１１４０へのプロセスが繰り返される。ラインセグメントの両側が完成すると（段階１１５０）、次のラインセグメントの選択が行われ（段階１１８０）、段階１１２０から段階１１６０までのプロセスが繰り返される。ラインセグメントのセットにおいてＮＬのラインセグメントが生成されると（段階１１７０）、プロセスは終了する（段階１１９０）。
【００５３】
図１０Ａにおいて、上記のようにラインセグメントのセットにおいてＮＬのラインセグメントが生成された後、そのセットを構成するラインセグメントのうち、少なくともラインセグメントの片側の非特徴点の数がラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１よりも少ないラインセグメントについては、そのセットから除外される（段階１０１０）。そのセットに有効なラインセグメントが残っていない場合には（段階１０１４）、ピクセルＰＳＥＬに対するピクセル値は変更されず、新たな特徴ピクセルが選択され（段階１０４６及び段階１０４８）、段階１００８からプロセスが繰り返される。セットに残っている有効なラインセグメントの数Ｎが０より大きい場合には（段階１０１４）、残っている有効な各ラインセグメントに対して、各チャンネルの有効なラインセグメントの非特徴ピクセルについての線形フィット関数（ｌｉｎｅａｒ　ｆｉｔ）が計算される（段階１０１６）。段階１０１８において、段階１０１６で算出された各チャンネルの有効なラインセグメントの非特徴ピクセルについての線形フィット関数に基づいて、フィット平均二乗誤差が計算される。段階１０２０において、任意の有効ラインセグメントの各チャンネルのフィット平均二乗誤差の平均として、フィット合計平均二乗誤差が、次の数式１３に従って計算される。この数式において、Ｋは、画像の中のチャンネル数を表すものである。白黒画像において、Ｋは、１である。カラー画像において、Ｋは、通常の場合３である（例えば、Ｒ，Ｇ，Ｂチャンネルに対応するチャンネル３つ）。
【００５４】
【数３】
2004005660.tif 000007
段階１０２２において、前記段階１０１６で算出された線形フィット関数に基づいて、各チャンネルｋの各有効ラインセグメントｎのピクセルＰＳＥＬについてのピクセル値ＰＳＥＬｎ，ｋが計算される。段階１０２４において、各チャンネルｋについて、新しいピクセル値ＰＳＥＬｋが計算される。強調された画像の最終的なピクセル値は、前述したアルファマスクに基づきオリジナルピクセル値を各チャンネルｋの新しいピクセル値ＰＳＥＬｋとブレンドすることによって決定される。これらブレンド処理は肌の強調された領域と強調されていない領域との間のスムーズな移り変わりを保証する。段階１０２４のブレンド処理及びアルファマスクは、上記Ｄａｖｉｄ　Ｒ．Ｃｏｋ等による文献に記載された方法と比べると、本発明特有なものといえる。また、その代わりの実施形態では、強調された画像の最終的なピクセル値ＰＳＥＬ＿ＯＵＴｋは、各チャンネルｋのオリジナルピクセル値ＰＳＥＬ＿ＩＮｋを新しいピクセル値ＰＳＥＬｋと適応的にブレンドすることによって、決定される。
ＰＳＥＬ＿ＯＵＴｋ＝αＰＳＥＬｋ＋（１−α）ＰＳＥＬ＿ＩＮｋ
2004005660.tif 000008
新しいピクセル値とオリジナルピクセル値とをブレンドするのに用いられるブレンド係数αは、そのピクセルが由来する肌特徴の特性に従属する。図１７において、肌特徴の大きさが小さく、図中のｍｉｎよりも小さい場合は、そのオリジナルピクセル値は修正されない。大きさがｍｉｎとｍｉｄとの間にある肌特徴については、新しいピクセル値が最終的ピクセル値として用いられる。肌特徴の大きさが大きく、図中のｍａｘよりも大きい場合は、その最終的ピクセル値は新しいピクセル値とオリジナルピクセル値とをブレンドすることにより決定される。場合によっては、ある領域（例えば、目の周辺）の肌特徴を完全に除去するのではなく、その粗さを修正した方が好ましいこともある。よって、他の実施の形態では、ブレンド係数αは、肌特徴ピクセルの位置に対しても従属し得る。新しいピクセル値ＰＳＥＬｋを計算するその他の方法については後述する。もし、選択された特徴ピクセルが最後の特徴ピクセルではない場合には、（段階１０４６）、その次の特徴ピクセルが選択され（段階１０４８）、段階１００８から再度プロセスが繰り返される。それ以外の場合は、全体のプロセスが完了する（段階１０５０）。
【００５５】
ラインセグメント数ＮＬが４である実施の形態において、選択された特徴ピクセルＰＳＥＬ（図１０Ｂの段階１０２４）の新しいピクセル値ＰＳＥＬｋを計算する段階（方法）が図１１に詳細に示されている。図１１で示されている当該方法は、上記Ｄａｖｉｄ　Ｒ．Ｃｏｋ等による文献に記載された方法と比べると、本発明特有なものといえる。ここでは、ラインセグメントのセットのうち、有効なラインセグメントが少なくとも１つ含まれているものとする（Ｎ＞０）。図１１において、セットの中の有効なラインセグメントの数Ｎが１である場合（段階１０２６）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋは、当該ラインセグメントについて算出されたピクセル値ＰＳＥＬ１，ｋと等しい（段階１０２８）。それ以外の場合（段階１０３０）、各ラインセグメントの平均平方根誤差ＭＳＥｎに基づいて高いものから低いものの順にセットの有効ラインセグメントが整理される。段階１０３０における整理の結果、そのセットの中の最初の有効ラインセグメント（ｎ＝１）は最も高い平均平方根誤差を有し、最後の有効の有効ラインセグメント（ｎ＝Ｎ）は最も低い平均平方根誤差を有する。セットの中の有効なラインセグメントの数Ｎが２である場合には（段階１０３２）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋはＰＳＥＬ１，ｋとＰＳＥＬ２，ｋとの平均値に等しい（段階１０３４）。それ以外の場合、セットの中の有効なラインセグメントの数Ｎが３であるときには（段階１０３６）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋは、平均平方根誤差の中央値（ｎ＝２）を有するラインセグメントについて算出されたピクセル値ＰＳＥＬ２，ｋと等しい（段階１０３８）。それ以外の場合、セットの中の有効なラインセグメントの数Ｎは４であり、各チャンネルｋの新しいピクセル値ＰＳＥＬｋはＰＳＥＬ２，ｋとＰＳＥＬ３，ｋとの平均値に等しい（段階１０４０）。強調された画像の最終的なピクセル値は、前述したアルファマスクに基づきオリジナルピクセル値を各チャンネルｋの新しいピクセル値ＰＳＥＬｋとブレンドすること（段階１０２４）によって計算される。
【００５６】
新しいピクセル値を計算する第二の実施の形態では、各チャンネルｋの新しいピクセル値ＰＳＥＬｋ（図１０Ｂの段階１０２４）は、以下のように計算される。まず、各チャンネルｋの各ラインセグメントｎについての重みの値Ｗｎ，ｋの計算が下記数式１５に従って行われる。
【００５７】
【数４】
2004005660.tif 000009
次に、下記数式１６に従って、各チャンネルｋ及び各有効ラインセグメントｎについてのピクセル値ＰＳＥＬｎ，ｋの重み付けられた和として、各チャンネルの新しいピクセル値ＰＳＥＬｋが計算される。
【００５８】
【数５】
2004005660.tif 000010
強調された画像の最終的なピクセル値は、前述したアルファマスクに基づきオリジナルピクセル値を各チャンネルｋの新しいピクセル値ＰＳＥＬｋとブレンドすることによって計算される（段階１０２４）。このブレンド処理及びアルファマスクは、上記Ｄａｖｉｄ　Ｒ．Ｃｏｋ等による文献に記載された方法と比べると、本発明特有なものといえる。
【００５９】
修正が希望される肌特徴の大半は、谷間特徴（ｖａｌｌｅｙ　ｆｅａｔｕｒｅｓ）、即ち、明るい領域で囲まれた暗い領域である。個人が、ほくろ等のはっきりした顔特徴を写真から取り除かれることを望まない場合もあるが、多くの場合、肌特徴は、肌特徴として識別されたピクセルと関連付けられた色情報のいかんに問わず、修正処理に付されるものである。このような場合、肌特徴ピクセルと関連付けられた色情報は、いかなる肌特徴を除去の対象とすべきかを決定する上で、利用できる。また、その代わりの手法として、操作者に望まなかった修正（好まれていたほくろの除去）をもとに戻すことを可能とするツールをグラフィックユーザーインターフェース（Ｇｒａｐｈｉｃ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）に設けることが挙げられる。好まれる実施の形態では、ユーザーは画面上のツールのリストからアンドゥー／リドゥー（ｕｎｄｏ／ｒｅｄｏ、元に戻す／やり直す）ツール８４を選択し、マウス等のポインティング装置４０を用いて、ユーザーが修復を望む箇所である原画像８０の中の肌特徴の位置までそのアンドゥー／リドゥーツール８４を動かす。画面の左側に表示される原画像８０の肌特徴にクリックすることで、画面の右側に表示される強調画像８２にその特徴が元通りに戻されることになる。また、原画像の復元された肌特徴に再度クリックすると、強調された画像からその肌特徴が除去されることになる。アンドゥー／リドゥーツールを用いて、このような処理を繰り返しことにより、目的の肌特徴が強調された画像中に残されている場合には、その強調された画像からその肌特徴は除去され、また、目的の肌特徴が強調された画像中に残されていない場合には、その強調された画像にその肌特徴が復元される。また、その代わりの実施の形態では、テクスチャー強調スライダー９２を「強調なし」に設定し、ユーザーがどの肌特徴を取り除くかを選択できる形で前記ツール８４を用いてもよい。
【００６０】
他の実施の形態では、グラフィックユーザーインターフェースは、一つ以上の顔を含むデジタル画像を取得し、表示する。ここでは、上述の手法を用いて、肌特徴を識別し、マップするために肌特徴マップが生成される。これにより、当該肌特徴マップにデジタル画像の中の一つ以上の顔が表される。そして、ポインティング装置４０が特定の肌特徴をポイントするために用いられる。このポインティング装置４０のポインティング及びクリック操作に対応して、その特定の肌特徴に対して肌特徴マップが参照され、そのポイントされた特定の肌特徴に対する適切な強調が適切な強調フィルタによって行われる。
【００６１】
〔肌トーン強調フィルタ〕
肌トーン強調フィルタ６２０（図６参照）の役割は、肌のトーンの全体的な外見を改善することである。当該肌トーン強調フィルタは、バランスのとれていない肌トーンを均等にし、より均整のとれた色の肌トーンが生成される。更に、肌トーン強調フィルタは、より望ましい肌の色の表現を提供するために、肌トーンの色の修正を行う。これは、個人的或いは文化的な好みに一致した肌トーンの表現を提供するために行う肌の輝度や色度の修正に該当する。また、肌トーンの問題は、テクスチャーに比べて、より大きな空間に関わるものである。よって、肌トーンを必要以上に均等にすることがないように心がけることが大切である。なぜなら、顔にハイライトや影が全く存在しないと、顔は平らで、つまらない印象を与えてしまうからである。
【００６２】
図１３は、本発明に係る肌トーン強調フィルタについての好まれる実施の形態のフローチャートを示している。以下のように、肌トーン強調フィルタは、入力画像Ｉ（ｘ）とブラー段階１２１０で取得された入力画像のぼかされたバージョンＩｂ（ｘ）とを適応的にブレンドすること（ブレンド段階１２４０）により、適応的にハイライトや影を圧縮する。
Ｏ（ｘ）＝α（ｘ）Ｉｂ（ｘ）＋（１−α（ｘ））Ｉ（ｘ）　（数式１７）上記数式１７において、α（ｘ）は、係数生成段階１２３０で取得されたブレンド係数を表し、ｘ＝（ｘ，ｙ）は、ピクセルの位置を表している。このブレンド処理は、色チャンネル全てに対して適用される。このブレンド係数は、次のように影／ピーク生成段階１２２０で取得されたｘにおける影／ハイライト強度画像ＳＨ（ｘ）の関数である。
α（ｘ）＝ｆ［ＳＨ（ｘ）］　　　　　　　　　　　　（数式１８）
図１４は、影／ハイライト強度画像を計算する本発明に係る実施の形態を示している。段階１２２０からの影／ハイライト強度画像は、輝度画像１３１０から平均輝度画像１３２０を減算することによって生成される。当該輝度画像は、前記数式２を用いることによって計算される。平均輝度画像は、局所平均輝度画像又は大局平均輝度画像であってもよい。局所平均輝度画像は、ガウスフィルタやボックスフィルタ等のブラーフィルタを輝度画像に適用することによって生成できる。一方、大局平均輝度画像は、特徴点によって境界付けられた肌領域内の肌の平均輝度を決定することによって、算出される。影／ハイライト画像を計算するのに局所平均画像を用いるときにおいて、この影／ハイライト強度は、ヴァレー／ピーク画像に類似している。一つの好まれる実施の形態では、影／ハイライトマップを計算するのに用いられるブラー半径は、前記肌テクスチャー強調フィルタで用いられるブラー半径又はヴァレー／ピークフィルタの範囲よりも大きいものであるべきである。いずれの場合においても、当該ブラー半径は、顔の大きさ（デフォルトパラメータの一つの例である）に従属するものである。
【００６３】
その最も簡単な実施の形態においては、そのブレンドの係数は、定数ｆ　［ＳＨ（ｘ）］＝　α（ｘ）＝αであり（デフォルトパラメータの１つである）、図１５の（ａ）で示されているように影／ハイライト強度画像に従属するものではない。図１５の（ｂ）と（ｃ）で示されているブレンド関数は、影部分に変更を加えずに、光や油肌から起因するハイライトやホットスポットを抑えるのに有効である。
【００６４】
肌トーンフィルタは、肌の色の表情を修正するのに用いることができる。ここで、好まれる実施の形態としては、肌領域等の領域における色Ｃは、次の数式１９のように領域の肌分布の平均及び分散を変動させることによって、Ｃｍｏｄへと修正できる。
【００６５】
【数６】
2004005660.tif 000011
ベクトルＣ（ｘ，ｙ）は、ピクセルの赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の信号に対応するものであり、Ｃｐｒｅｆｅｒｒｅｄは、好まれる色ベクトルであり、
【００６６】
【外１】
2004005660.tif 000012
は、現平均の色ベクトルであり、ｋは、０と１との間で変動し得る定数である。その好ましい色たるＣｐｒｅｆｅｒｒｅｄ（ｘ，ｙ）は、修正の対象となる領域によって空間的に変動し得る。
【００６７】
肌領域を明るくしたり、暗くしたりするための好ましい実施の形態は、肌領域のコントラストを次のように修正するものである。
Ｃｍｏｄ（ｘ，ｙ）＝Ｃγ（ｘ，ｙ）　　　　　　　　　　（数式２０）
上記数式２０では、γの値が１よりも小さい場合は、肌色を明るくするのに対応し、γの値が１よりも大きい場合は、肌色を明るくするのに対応する。
【００６８】
また、肌領域を明るくするための代わりの実施の形態として、次のものがあり、
【００６９】
【数７】
2004005660.tif 000013
更に、肌領域を暗くするための代わりの実施の形態として、次のものがあり、
【００７０】
【数８】
2004005660.tif 000014
それぞれにおいて、γは０と１との間で変動する。
【００７１】
上記手法は、Ｃが他の色空間（例えば、ＣＩＥＬＡＢ、ＹＵＶ、ＨＳＶ等）で表される場合においても適用できる。更に、上記数式は、Ｃの全て若しくはＣの構成要素の部分集合に対して適用できる。この事実は、構成要素が輝度（Ｌ＊）や色度（ａ＊ｂ＊）と関連する色空間（例えば、ＣＩＥＬＡＢ）でＣが表される場合に特に当てはまる。
【００７２】
〔歯及び目の強調フィルタ〕
歯の強調フィルタ６３０及び目の強調フィルタ６４０（図６参照）が有する役割は、歯及び目の輝度及び白さを増加させることである。図１６は、本発明に係る歯及び目の白色化フィルタの実施の形態のフローチャートを示すものである。歯／目マスクの生成段階１５１０において、顕著な顔特徴点４２０（図４参照）は、目及び歯の領域に対応するピクセルを識別するマスクを生成するために利用される。入力画像を用いるヴァレー／ピークマップ生成段階１５２０において、そのヴァレー／ピークマップは、ブラー半径を目と目との間隔（デフォルトパラメータの１つの例である）で判断する前記数式１２を利用することによって生成される。拡大縮小要素（ｓｃａｌｉｎｇ　ｆａｃｔｏｒ）　生成段階１５３０において、ヴァレー／ピークマップ及び色情報が目及び歯のマスクのピクセルの輝度及び色度の値の拡大縮小要素（デフォルトパラメータの一例である）を計算するのに利用される。次にピクセル修正段階１５４０において、それら拡大縮小要素は、新たな輝度及び色度の値を生成するのに、目及び歯の領域のピクセルの輝度及び色度に対して適用される。
【００７３】
本実施の形態では、マスク領域におけるピクセルのＲＧＢ値は、ＣＩＥＬＡＢ（Ｌ＊ａ＊ｂ＊）空間に変換され、その輝度及び色度のそれぞれの値が次の数式のように修正され、
Ｌ＊＝Ｌ＊・（１＋ｋＰ）　　　　　　　　　　　　　　　（数式２３）
ａ＊＝ａ＊／（１＋ｋＰ）　　　　　　　　　　　　　　（数式２４）
ｂ＊＝ｂ＊／（１＋ｋＰ）　　　　　　　　　　　　　　（数式２５）
ｋは、前述したデフォルトパラメータであり、Ｐは、ピクセルが目又は歯の白い部分のいずれかに属する確率（ｐｒｏｂａｂｉｌｉｔｙ）を表す。その確率Ｐの好ましい表現は、以下の数式で示され、
【００７４】
【数９】
2004005660.tif 000015
Ｆは、前記数式１２を用いて計算される。当該式において、ブラー半径は顔の大きさの関数として選択され、βが閾値となる。
【００７５】
〔形状強調フィルタ〕
形状強調フィルタ６５０（図６参照）の役割は、目、鼻や口等の顔特徴の形状を修正することである。これの顔特徴の形状の強調は、標準的なワープ技術を用いて修正することで行われる。本発明を実施するための有効なワープ技術の例として、「Ｆｅａｔｕｒｅ−Ｂａｓｅｄ　Ｉｍａｇｅ　Ｍｅｔａｍｏｒｐｈｏｓｉｓ，　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ」（　Ｔ．Ｂｅｉｒ　ａｎｄ　Ｓ．　Ｎｅｅｌｙ，　２６（２）：３５−４２，　Ｎｅｗ　Ｙｏｒｋ，　ＮＹ，　Ｊｕｌｙ，　１９９２，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＳＩＧＧＲＡＰＨ　’９２）が参考として挙げられる。
【００７６】
図１９は、本発明に係る形状強調フィルタ６５０の実施の形態のフローチャートを示している。ソース制御点決定段階１９１０において、画像をワープするのに用いられるソース制御点１８１０（図１８参照）は、形状強調の対象となる顔特徴（例えば、目）の輪郭を描いている特徴点４２０（図４参照）によって決定される。目標制御点段階１９２０では、目標制御点１８２０が決定される。その目標制御点の位置は、形状修正されたイメージのソース制御点１８１０の新しい位置を規定するものである。目標制御点１８２０（Ｄ１、Ｄ２、Ｄ３及びＤ４）は、それぞれソース制御点１８１０（Ｓ１、Ｓ２、Ｓ３及びＳ４）の新しい位置である。ワープ段階１９３０では、ソース制御点及び目標制御点は、画像をワープするのに利用される。目標制御点１８２０は、希望される顔特徴形状の変更に規定される。例えば、目の大きさの拡大が希望される場合、目標制御点１８２０は、図１８のように配置される。
【００７７】
本実施の形態において、形状強調フィルタのパラメータは、顔特徴形状が拡大されたか或いは縮小されたかを目標制御点１８２０の位置を用いて規定するものである。その形状強調フィルタは、コントロールスライダーを追加することにより、ＧＵＩスクリーン７８（図１Ｂ参照）に含めることができる。更に、各顔特徴に対して独自の形状強調フィルタを設けても良い。本発明のシステムは、スライダーの位置を形状強調フィルタの適切なパラメータ値にマップする。当該スライダーを一方の方向に動かすことは、顔特徴の縮小を生じさせ、また、スライダーをその他方の方向に動かすことは、顔特徴の拡大を生じさせる。各スライダーのデフォルト位置（スライダーがいずれかの方向に動かされる前までの位置）は、形状強調に何ら作用させないニュートラル位置に設定しても良い。
【００７８】
以上の説明において、一定のパラメータは、本発明に係るシステムのデフォルトパラメータの候補として特定されている（例えば、強調フィルタの最初の設定やＧＵＩで用いられる強調スライダーの最初の設定として規定されているもの）。しかし、これらパラメータは、特別に限定されることなく、適切なデフォルトパラメータの例として選択されたものであり、パラメータの設定を限定又は制限するものとして捉えるべきものではない。また、本発明に係る技術分野の当業者にとって、本発明に記載されたパラメータの他に多くのパラメータをもデフォルトパラメータとして選択又は指定できることは明らかである。
【図面の簡単な説明】
【図１Ａ】
本発明を実行するためのシステムを示す図である。
【図１Ｂ】
本発明に係るシステムに使われるグラフィックユーザーインターフェースを示す図である。
【図２Ａ】
一定限度のユーザーの介入を伴う本発明に係る実施の形態を実行するためのフローチャートである。
【図２Ｂ】
ユーザーの介入を伴わずバッチ式で本発明を自動的に実行する実施の形態のフローチャートである。
【図３】
図２Ａ及び図２Ｂにおける顔検出段階及び顔特徴点探知段階のフローチャートである。
【図４】
検出された顔の顕著な特徴点の位置を絵で表した例を示す図である。
【図５Ａ】
首領域を決定する方法のフローチャートである。
【図５Ｂ】
最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図５Ｃ】
最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図５Ｄ】
最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図６】
図２Ａ及び図２Ｂのフローチャートで示されたシステムで使用される強調フィルタの集合を示す図である。
【図７Ａ】
図６で示される肌テクスチャー強調フィルタのフローチャートである。
【図７Ｂ】
肌テクスチャー強調フィルタによって用いられるヴァレーエッジフィルタ核を含むピクセル近傍を示す図である。
【図８】
本発明によって肌特徴の選択及び修正を行う実施の形態のフローチャートを示す図である。
【図９】
欠陥ピクセルの周囲に配されたラインセグメントを示す風車フィルタを絵で描かれた例を示す図である。
【図１０Ａ】
欠陥ピクセルの修正された値を推測するために図９における風車フィルタを利用するプロセスを図１０Ｂと併せて示すフローチャートである。
【図１０Ｂ】
欠陥ピクセルの修正された値を推測するために図９における風車フィルタを利用するプロセスを図１０Ａと併せて示すフローチャートである。
【図１１】
図１０Ａ及び図１０Ｂで示されているプロセスにおいて新しいピクセル値を計算する実施の形態を示すフローチャートである。
【図１２】
図９で示されている風車フィルタの特徴ピクセルを通してラインセグメントを生成するプロセスを示すフローチャートである。
【図１３】
図６で示されている肌トーン強調フィルタの実施の形態を示すフローチャートである。
【図１４】
図１３における肌トーン強調フィルタで使用されるための影／ハイライト強度の計算を行う実施の形態を示すフローチャートである。
【図１５】
図１３における肌トーン強調フィルタで使用される異なるブレンド係数を作用の関数を示す図である。
【図１６】
図６で示されている歯及び目の強調フィルタの実施の形態を示すフローチャートである。
【図１７】
肌テクスチャー強調フィルタで使用されるブレンド関数を示す図である。
【図１８】
目に対して形状調整（強調）で使用される制御点を絵で表現した例を示す図である。
【図１９】
図６で示されている形状強調フィルタの実施の形態のフローチャートである。
【符号の説明】
１０　システム
１２　パソコン（ＰＣ）
２０　保存媒体
２８　スキャナー
３０　デジタルカメラ
４０　入力装置
５０　ディスプレーモニタ
６０　プリンター
６２　サーバー
６５　保存媒体
７０　通信ネットワーク
７８　グラフィックユーザーインターフェース（ＧＵＩ）画面
８０　原画像
８２　強調画像
９０　外見強調
９２　テクスチャー強調
９４　肌強調
９６　目強調
９８　歯強調
２００　開始段階
２０５　取得及び表示段階
２１０　探知段階
２１５　表示段階
２２０　決定段階
２２５　変更段階
２３０　デフォルト設定段階
２３５　実行段階
２４０　ユーザー選択段階
２４５　ディスプレー段階
２５０　決定段階
２５５　ローカル印刷段階
２６０　ローカル保管段階
２６５　リモート印刷段階
２７０　リモート保管段階
２７５　問いかけ段階
２８０　終了段階
２８２　取得段階
２８４　顔検出及び探知段階
２８６　強調選択段階
２８８　強調実行段階
２９０　顔問い合わせ段階
２９２　保存段階
２９４　画像問い合わせ段階
３１０　顔検出モジュール
３１５　顔特徴検出器
４１０　検出された顔
４２０　顕著な特徴点
５５０　包括的マッピング段階
５５４　拡大縮小段階
５５６　肌色マッピング段階
５５８　マップ合体段階
５７０　包括的マスクを伴った中央領域
５７２　境界領域
５７４　首確率マップの輪郭
５７６　中央領域
６１０　肌テクスチャー強調フィルタ
６２０　肌トーン強調フィルタ
６３０　歯強調フィルタ
６４０　目強調フィルタ
６５０　顔特徴形状強調フィルタ
７１０　肌特徴生成段階
７２０　特徴修正段階
８１０　特徴選択段階
８２０　拡張段階
８３０　フィルタリング段階
９１０　顔境界
９２０　拡張された特徴
９３０　ラインセグメント
９４０　特徴ピクセル
１００２−１１９０　風車フィルタ段階
１２１０　ブラー段階
１２２０　影／ピーク生成段階
１２３０　係数生成段階
１２４０　ブレンド段階
１３１０　輝度画像
１３２０　平均輝度画像
１３３０　減算段階
１５１０　目／歯マスク生成段階
１５２０　ヴァレー／ピークマップ生成段階
１５３０　拡大縮小要素生成段階
１５４０　ピクセル生成段階
１８１０　ソース制御点
１８２０　目標制御点
１９１０　ソース制御点決定段階
１９２０　目標制御点決定段階
１９３０　ワープ段階
【図１Ａ】
2004005660.tif 000016
【図１Ｂ】
2004005660.tif 000017
【図２Ａ】
2004005660.tif 000018
【図２Ｂ】
2004005660.tif 000019
【図３】
2004005660.tif 000020
【図４】
2004005660.tif 000021
【図５Ａ】
2004005660.tif 000022
【図５Ｂ】
2004005660.tif 000023
【図５Ｃ】
2004005660.tif 000024
【図５Ｄ】
2004005660.tif 000025
【図６】
2004005660.tif 000026
【図７Ａ】
2004005660.tif 000027
【図７Ｂ】
2004005660.tif 000028
【図８】
2004005660.tif 000029
【図９】
2004005660.tif 000030
【図１０Ａ】
2004005660.tif 000031
【図１０Ｂ】
2004005660.tif 000032
【図１１】
2004005660.tif 000033
【図１２】
2004005660.tif 000034
【図１３】
2004005660.tif 000035
【図１４】
2004005660.tif 000036
【図１５】
2004005660.tif 000037
【図１６】
2004005660.tif 000038
【図１７】
2004005660.tif 000039
【図１８】
2004005660.tif 000040
【図１９】
2004005660.tif 000041