(57)【要約】【課題】顔画像等のポートレイト画像を修正する装置及び方法を提供する。【解決手段】ポートレイト画像の修正方法を、ポートレイト画像を備えるディジタル静止画像を与えるステップと、ポートレイト画像の画像モデルを生成するステップと、画像モデルへ予め定義された複数の修正を適用することによって生成された複数の修正済みポートレイト画像を与えるステップと、複数の修正済みポートレイト画像を表示するステップと、表示された複数の修正済みポートレイト画像から少なくとも１つを選択する指示手段を与えるステップと、選択された修正済みポートレイト画像を表示、送信、記憶または印刷するステップとを備えて構成する。【選択図】　　　図１
2004030668.tif 000002
【特許請求の範囲】
【請求項１】
ポートレイト画像を備えるディジタル静止画像を与えるステップと、
前記ポートレイト画像の画像モデルを生成するステップと、
前記画像モデルへ予め定義された複数の修正を適用することによって生成された、複数の修正済みポートレイト画像を与えるステップと、
前記複数の修正済みポートレイト画像を表示するステップと、
表示された前記複数の修正済みポートレイト画像から少なくとも１つを選択する指示手段を与えるステップと、
少なくとも１つの選択された前記修正済みポートレイト画像を表示、送信、記憶または印刷するステップとを備えるポートレイト画像修正方法。
【請求項２】
前記ディジタル静止画像の前記ポートレイト画像を、前記少なくとも１つの選択された前記修正済みポートレイト画像で置換して、修正されたディジタル静止画像を生成するステップを備える請求項１に記載の方法。
【請求項３】
前記複数の修正済みポートレイト画像を与えるステップは、
前記予め定義された複数の修正を与え、
前記画像モデルに対して、各前記予め定義された複数の修正を個別に適用して、前記複数の修正済みポートレイト画像を生成することにより実行される請求項１に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般に写真撮影の分野に関するものであり、特にポートレイト画像の修正に関する。
【０００２】
【従来の技術】
プロ写真家やアマチュア写真家は、自分が写真を撮影する人物から楽しそうな表情をうまく引き出すことに苦労する。ある状況ではその苦労が効を奏しても、他の状況でうまくいかなければ失意を味わうことになる。その苦労は、撮影する写真の中に何人かの人物がいる場合にさらに大きくなる。なぜならば撮影者は、写真中の全ての人物の楽しそうな表情を、同時に引き出さなければならないからである。したがって、グループ写真をうまく撮ることは、まれにしかできない。
【０００３】
【非特許文献１】
Ｐｉｇｈｉｎら著、”現実味のある顔表情の写真からの合成（Ｓｙｎｔｈｅｓｉｚｉｎｇ　Ｒｅａｌｉｓｔｉｃ　Ｆａｃｉａｌ　Ｅｘｐｒｅｓｓｉｏｎｓ　ｆｒｏｍ　Ｐｈｏｔｏｇｒａｐｈｓ）”、ＳＩＧＧＲＡＰＨ９８、Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｅｄｉｎｇｓ、Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　Ｓｅｒｉｅｓ、１９９８年、ｐ．７５−８３
【非特許文献２】
”Ｙｏｕ’ｖｅ　Ｇｏｔ　Ｆａｃｅ！”、Ｔｉｍｅ、２００１年４月２日、ｐ．７７
【非特許文献３】
Ｖｏｌｋｅｒ　Ｂｌａｎｚ及びＴｈｏｍａｓ　Ｖｅｔｔｅｒ著、”３次元顔面の合成のためのモーフィング可能モデル（Ａ　Ｍｏｒｐｈａｂｌｅ　Ｍｏｄｅｌ　ｆｏｒ　ｔｈｅ　Ｓｙｎｔｈｅｓｉｓ　ｏｆ　３Ｄ　Ｆａｃｅｓ）”、Ｍａｘ　Ｐｌａｎｃｋ　Ｉｎｓｔｉｔｕｔｅ、ＳＩＧＧＲＡＰＨ　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｅｄｉｎｇｓ、Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　Ｓｅｒｉｅｓ、１９９９年、ｐ．１８７−１９４
【非特許文献４】
Ｌｅｅら著、”３次元顔表情を活動させる筋肉モデル（Ａ　ｍｕｓｃｌｅ　ｍｏｄｅｌ　ｆｏｒ　ａｎｉｍａｔｉｎｇ　ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ　ｆａｃｉａｌ　ｅｘｐｒｅｓｓｉｏｎ）”、Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　（ＳＩＧＧＲＡＰＨ１９９８）、１９９８年８月、ｐ．５６−６６
【非特許文献５】
Ｌｅｅら著、”現実味のある顔のモデリング及びアニメーション（Ｒｅａｌｉｓｔｉｃ　ｆａｃｅ　ｍｏｄｅｌｉｎｇ　ａｎｄ　ａｎｉｍａｔｉｏｎ）”、Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　（ＳＩＧＧＲＡＰＨ１９９５）、１９９５年８月、ｐ．５５−６２
【非特許文献６】
Ａｒａｄら著、”放射基底関数による画像ワーピングの顔表情への適用（Ｉｍａｇｅ　Ｗａｒｐｉｎｇ　Ｂｙ　Ｒａｄｉａｌ　Ｂａｓｉｓ　Ｆｕｎｃｔｉｏｎｓ　：　Ａｐｐｌｉｃａｔｉｏｎｓ　ｔｏ　Ｆａｃｉａｌ　Ｅｘｐｒｅｓｓｉｏｎ）”、ＣＶＧＩＰ：Ｇｒａｐｈｉｃａｌ　Ｍｏｄｅｌｓ　ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ、第５６巻、第２号、１９９４年３月、ｐ．１６１−１７２
【非特許文献７】
Ｃｏｓａｔｔｏら著、”フォトリアリスティックな会話中の頭部のサンプルベース合成（Ｓａｍｐｌｅ−Ｂａｓｅｄ　Ｓｙｎｔｈｅｓｉｓ　ｏｆ　ＰｈｏｔｏＲｅａｌｉｓｔｉｃ　Ｔａｌｋｉｎｇ　Ｈｅａｄｓ）”、Ｉｎ　ｔｈｅ　ｐｒｏｃｅｅｄｉｎｇ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｎｉｍａｔｉｏｎ、１９９８年、ｐ．１０３−１１０
【非特許文献８】
Ｌａｎｉｔｉｓらによる”フレキシブルモデルを使用した顔画像の自動インラタプテイション及びコーディング（Ａｕｔｏｍａｔｉｃ　ｉｎｔｅｒｐｒｅｔａｔｉｏｎ　ａｎｄ　ｃｏｄｉｎｇ　ｏｆ　ｆａｃｅ　ｉｍａｇｅｓ　ｕｓｉｎｇ　ｆｌｅｘｉｂｌｅ　ｍｏｄｅｌｓ）”、ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　ＰＡＭＩ、第１９巻、第７号、１９９７年、第７４３−７５６頁
【０００４】
【発明が解決しようとする課題】
プロ写真スタジオの写真家にとって、その写真スタジオの収益性の大切な要素は、写真撮影に要する時間量である。すなわち、写真家の撮影時間が長くなるほど予定できる撮影回数は少なくなる。特定のポーズを取らせて写真を撮った場合、その特定のポーズを再びお膳立てするためには非常に時間を消費する。顧客が繰り返し写真撮影を希望する場合にこのような状況が発生することがある。例えば、その写真を購入する人間が写真撮影を行っている間にその場にいない場合である（すなわち、親が同席しない写真スタジオで試し撮り写真を撮影した場合や、学校写真（ｓｃｈｏｏｌ　ｐｏｒｔｒａｉｔ）を学校で撮影した場合などである）。このような状況は撮影者にとってコスト及び時間を浪費するものであるし、顧客にとっても時間を浪費するものであり、また失意を感じさせるものにもなりかねない。
【０００５】
この問題を解決するための１つの試みとして、撮影者は感光フィルムを使用してたくさん写真又は画像を撮影する。これは、少なくとも１枚は撮影に成功することを期待して行うものである。
他の試みとして、ディジタル撮像システムを使用してディジタル形式で画像を撮影する。ディジタル撮像システムの例はディジタルカメラである。ディジタル撮像システムであれば、撮影した画像を顧客へすぐにフィードバックすることが可能である。しかし、いくらたくさんのディジタル画像を撮影しても、撮影がうまくいく何の保証にもならない。なぜなら、被写体となる人物の楽しそうな表情を引き出せないこともあるし、その被写体となる人物が非協力的な場合もあるからである。例えば生後１８ヶ月の子供は常に写真撮影の際に協力的であるとは限らない。さらに、何人かの人物が写る写真を撮影するとき、写真の中の全ての人物の楽しそうな表情を、同時に引き出すことは難しい。
【０００６】
この問題を解決する更なる試みとして、ディジタルレタッチ・ツール（ｄｉｇｉｔａｌ　ｒｅｔｏｕｃｈｉｎｇ　ｔｏｏｌ）を使用して、ディジタル形式にした画像を修正することも考えられる。既知のディジタルレタッチ・ツールには、Ａｄｏｂｅ　Ｐｈｏｔｏｓｈｏｐ（商標）が含まれる。しかし、画像のレタッチを行う場合、提供する画像がレタッチされたものだと分からないようにするために、そのレタッチ・ツールの使用法について高度に熟達し知識を有する必要がある。さらにレタッチ・ツールの使用には時間がかかるため処理コストや処理時間を増加させる。さらにディジタルレタッチ・ツールは、画像全体ではなく画像の特定部分（すなわちピクセル毎の修正）に重点が置かれているため、イメージ修正によって現実味のある結果を得られるわけではない。というのは、顔のある側面を修正するときに他の側面も修正しなければ、その修正結果は不自然なものか現実味のないものになってしまうからである。例えば顔の画像において、不機嫌な表情を笑顔に変更しようとしたとする。するとポートレイト画像や顔画像のレタッチの際に、ディジタルレタッチで口の表情を「不機嫌」から「笑顔」に変更しても、これに対応するほおや目の表情は、所望した「笑顔」ではなく「不機嫌」のままである。したがってピクセルを変更することができても、画像の特定の修正は現実味のある結果をもたらしてくれるものではない。したがって、ディジタルレタッチ・ツールは、ポートレイト画像や顔画像を修正するための使用には適していない。
【０００７】
したがって、依然として顔画像を修正する装置及び方法に対する必要が存在し続ける。このような方法は、特に顔画像などのポートレイト画像の部分的な又は全部の修正を可能にするものである。さらにそのような方法が、半自動又は全自動で実行され、かつ最小限の写真枚数しか必要とせず、修正済み画像を最小限の時間で閲覧できることが望ましい。またさらにこのような方法は、画像のディジタル操作に精通していない個人によって実行される方法であることが好ましく、アマチュア写真家が自宅のコンピュータ又はそのカメラ内部で実行できることが好ましい。この方法は、顧客が顔画像の閲覧、修正及び最適化を行うことを可能にする。このような方法は、遠い遠隔地からも実行できることが好ましく、これにより様々な場所にいる顧客が同時に作業に取りかかることができる。またこのような顔画像を修正する装置は、家庭用環境であろうとプロ用の環境であろうと、前記の方法を実行するように構成されていることが好ましい。
【０００８】
【課題を解決するための手段】
本発明の目的は、ポートレイト画像、特に顔の画像を修正する装置及び方法を提供することである。
本発明の他の目的は、このような装置及び方法において、ポートレイト画像の部分又は全部を修正できる装置及び方法を提供することである。
また、本発明の他の目的は、このような装置及び方法において、半自動又は自動的に実行されるような装置及び方法を提供することである。
また、本発明の他の目的は、このような装置及び方法において、パーソナルコンピュータ、キオスク端末又はカメラを含む、家庭用の又はプロ用の環境に使用されうるような装置及び方法を提供することである。
さらにまた、本発明の他の目的は、このような装置及び方法において、遠隔から実行できるような装置又は方法を提供することである。
これら目的は、あくまで説明用の例示のために示したものである。したがって、ここで開示される発明によって本来的に達成されるべき、他の望ましい目的及び利点が生ずるであろうし、またこれらは当業者に明らかになるであろう。本発明は特許請求の範囲により定められる。
【０００９】
本発明の１つの態様によれば、ポートレイト画像の修正方法が提供される。この方法は、ポートレイト画像を備えるディジタル静止画像を与え、ポートレイト画像の画像モデルを生成し、画像モデルへ予め定義された複数の修正を適用することによって生成された、複数の修正済みポートレイト画像を与え、複数の修正済みポートレイト画像を表示し、表示された複数の修正済みポートレイト画像から少なくとも１つを選択する指示手段を与え、少なくとも１つの選択された修正済みポートレイト画像を表示、送信、記憶又は印刷する方法である。
【００１０】
本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を与えるステップと、ポートレイト画像の画像モデルを生成するステップと、予め定義された複数の修正を与えるステップと、予め定義された複数の修正のうち少なくとも１つの選択を指示する選択指示手段を与えるステップと、選択された少なくとも１つの予め定義された修正を画像モデルに適用して、修正済みポートレイト画像を生成するステップと、修正済みポートレイト画像を表示、送信、記憶又は印刷するステップとを備えるポートレイト画像の修正方法が与えられる。
【００１１】
また、本発明の他の態様によれば、複数のポートレイト画像を備える少なくとも１つのディジタル静止画像を与えるステップと、複数のポートレイト画像を使用して３次元画像モデルを生成するステップと、予め定義された複数の修正を提供するステップと、予め定義された複数の修正を表示するステップと、表示された予め定義された複数の修正のうち少なくとも１つの選択する指示手段を与えるステップと、選択された少なくとも１つの予め定義された修正を３次元画像モデルに適用して、少なくとも１つの修正済み３次元ポートレイト画像を生成するステップと、少なくとも１つの修正済み３次元ポートレイト画像を表示、送信、記憶又は印刷するステップとを備えるポートレイト画像の修正方法が与えられる。
【００１２】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を与えるステップと、ポートレイトの画像モデルを生成するステップと、予め定義された複数の修正を表示するステップと、表示された予め定義された複数の修正のうち１つを選択するステップと、選択された１つの予め定義された修正を画像モデルに適用して、修正済みポートレイト画像を生成するステップと、修正済みポートレイト画像を表示するステップと、修正済みポートレイト画像を修正して、改善された修正済みポートレイト画像を生成するステップと、改善された修正済みポートレイト画像を表示、送信、記憶又は印刷するステップとを備えるポートレイト画像の修正方法が与えられる。
【００１３】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を与えるステップと、ポートレイト画像の画像モデルを生成するステップと、画像モデルを使用して生成された第１の複数の修正済みポートレイト画像を表示するステップと、第１の複数の修正されたポートレイト画像のうち１つを選択する指示手段を与えるステップと、第１の複数の修正されたポートレイト画像のうち選択された１つを表示するステップと、画像モデルを使用して生成された第２の複数の修正済みポートレイト画像を表示するステップと、第２の複数の修正されたポートレイト画像のうち１つを選択する指示手段を与えるステップと、第２の複数の修正されたポートレイト画像のうち選択された１つを表示するステップと、第２の複数の修正されたポートレイト画像のうち選択された１つの承認を指示する承認指示手段を与えるステップと、ポートレイト画像を第２の複数の修正されたポートレイト画像のうち選択された１つと置き換えて、修正済みディジタル静止画像を生成するステップとを備えるポートレイト画像の修正方法が与えられる。
【００１４】
また、本発明の他の態様によれば、ポートレイト画像のディジタル静止画像を与えるために使用する画像取得装置と、ポートレイト画像の画像モデルを生成し、予め定義された複数の修正を与える画像処理ユニットと、予め定義された複数の修正を表示するディスプレイと、予め定義された複数の修正のうちの１つを選択を指示するために使用する選択指示手段と、選択された１つの予め定義された修正を画像モデルに適用して、修正済みポートレイト画像を生成し、ディジタル静止画像のポートレイト画像を修正済みポートレイト画像で置き換えて、修正済みディジタル静止画像を生成する処理部材とを備える画像処理システムが与えられる。
【００１５】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を与える手段と、ポートレイト画像の画像モデルを生成する手段と、複数の修正済みポートレイト画像を表示する手段と、複数の修正済みポートレイト画像のうち１つを選択する手段と、ポートレイト画像を選択した複数の修正済みポートレイト画像のうちの１つに置き換えて修正済みディジタル静止画像を生成する画像処理手段とを備える画像取得装置が与えられる。
【００１６】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を与える手段と、ポートレイト画像の画像モデルを生成する手段と、複数の修正済みポートレイト画像を表示する手段と、複数の修正済みポートレイト画像のうち１つを選択する手段と、ポートレイト画像を選択した複数の修正済みポートレイト画像のうちの１つに置き換えて修正済みディジタル静止画像を生成する画像処理手段とを備える画像製造キオスク端末が与えられる。
【００１７】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を与えるステップと、ポートレイト画像及びポートレイト画像の画像モデルを使用して生成した修正済みポートレイト画像の複数の候補を備えるハードコピー出力を生成するステップと、ハードコピー出力をユーザに与えるステップと、ユーザから、修正済みポートレイト画像の複数の候補のうち少なくとも１つを受け入れることを表す指示を受け取るステップと、受け入れられた修正済みポートレイト画像の複数の候補のうち少なくとも１つを備える修正済みディジタル静止画像を生成するステップとを備えるディジタル静止画像の処理方法が与えられる。
【００１８】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を第１の場所で取得するステップと、ポートレイト画像の画像モデルを使用して生成した修正済みポートレイト画像の複数の候補の近接にポートレイト画像を配置して表示するハードコピー出力を生成するステップと、第１の場所から離れた第２の場所にいるユーザに、ハードコピー出力を与えるステップと、ユーザから修正済みポートレイト画像の複数の候補のうち少なくとも１つを受け入れることを表す指示を受け取るステップと、受け入れられた修正済みポートレイト画像の複数の候補のうち少なくとも１つを備える修正済みディジタル静止画像を生成するステップと、ユーザに修正済みディジタル静止画像を与えるステップとを備えるディジタル静止画像の処理方法が与えられる。
【００１９】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を所定の場所で取得するステップと、この所定の場所に配置されたディスプレイ上において、ポートレイト画像の画像モデルを使用して生成した修正済みポートレイト画像の複数の候補の近接にポートレイト画像を配置してユーザに表示するステップと、ユーザから修正済みポートレイト画像の複数の候補のうち少なくとも１つを選択することを表す指示を受け取るステップと、受け入れられた修正済みポートレイト画像の複数の候補のうち少なくとも１つを備える修正済みディジタル静止画像を生成するステップと、ユーザに修正済みディジタル静止画像を与えるステップとを備えるディジタル静止画像の処理方法が与えられる。
【００２０】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を所定の場所で取得するステップと、ポートレイト画像に関連付けられた識別子をユーザに与えるステップと、前記所定の場所から離れた第２の場所に配置されたディスプレイを使用して関連付けられた前記識別子によりポートレイト画像にアクセスするステップと、前記ディスプレイ上にポートレイト画像の画像モデルを使用して生成した修正済みポートレイト画像の複数の候補の近接にポートレイト画像を配置してユーザに表示するステップと、ユーザから修正済みポートレイト画像の複数の候補のうち少なくとも１つを選択することを表す指示を受け取るステップと、受け入れられた修正済みポートレイト画像の複数の候補のうち少なくとも１つを備える修正済みディジタル静止画像を生成するステップと、ユーザに修正済みディジタル静止画像を与えるステップとを備えるディジタル静止画像の処理方法が与えられる。
【００２１】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を所定の場所で取得するステップと、ポートレイト画像に関連付けられた識別子をユーザに与えるステップと、前記所定の場所から離れた第２の場所において画像装置を使用して関連付けられた前記識別子によりポートレイト画像にアクセスするステップと、前記画像装置にポートレイト画像のディジタルファイルを送信するステップと、前記画像装置内のソフトウェアを使用して修正済みポートレイト画像の複数の候補を生成するステップと、修正済みポートレイト画像の複数の候補の近接にポートレイト画像を配置し前記画像装置を使用して表示するステップと、ユーザから修正済みポートレイト画像の複数の候補のうち少なくとも１つを選択することを表す指示を受け取るステップと、受け入れられた修正済みポートレイト画像の複数の候補のうち少なくとも１つを備える修正済みディジタル静止画像を生成するステップとを備えるディジタル静止画像の処理方法が与えられる。
【００２２】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を第１の場所で取得するステップと、ポートレイト画像の画像モデルを第１の場所において生成するステップと、ポートレイト画像に関連付けられた識別子をユーザに与えるステップと、第１の場所から離れた第２の場所において画像装置を使用してポートレイト画像及び画像モデルにアクセスするステップと、前記画像装置にポートレイト画像及び画像モデルを送信するステップと、前記画像装置内のソフトウェアを使用して、画像モデルを使用した修正済みポートレイト画像の複数の候補を生成するステップと、画像モデルを使用して生成した修正済みポートレイト画像の複数の候補の近接にポートレイト画像を配置し前記画像装置を使用して表示するステップと、修正済みポートレイト画像の複数の候補のうち少なくとも１つを選択することを表す指示を受け取るステップと、ポートレイト画像を受け入れられた修正済みポートレイト画像の複数の候補のうち少なくとも１つで置き換えて修正済みディジタル静止画像を生成するステップとを備えるディジタル静止画像の処理方法が与えられる。
【００２３】
また、本発明の他の態様によれば、ポートレイト画像を備えるディジタル静止画像を所定の場所で取得するステップと、ポートレイト画像に関連付けられた識別子をユーザに与えるステップと、前記所定の場所において画像装置を使用して関連付けられた前記識別子によりポートレイト画像にアクセスするステップと、前記画像装置にポートレイト画像のディジタルファイルを送信するステップと、前記画像装置内のソフトウェアを使用して修正済みポートレイト画像の複数の候補を生成するステップと、前記画像装置を使用して修正済みポートレイト画像の複数の候補の近接にポートレイト画像を配置して表示するステップと、修正済みポートレイト画像の複数の候補のうち少なくとも１つを選択することを表す指示を受け取るステップと、受け入れられた修正済みポートレイト画像の複数の候補のうち少なくとも１つを備える修正済みディジタル静止画像を生成するステップとを備えるディジタル静止画像の処理方法が与えられる。
【００２４】
本発明は、ポートレイト画像の修正方法を提供し、この方法はポートレイト画像の部分又は全部を修正することができる。また本方法を半自動又は自動で行うこととしてよく、家庭用環境又はプロ用環境におけるキオスク端末、パーソナルコンピュータ又はカメラにおいて実行することとしてよい。また本方法を遠隔地から実行することとしてよい。
【００２５】
【発明の実施の形態】
本発明に係る前述の及び他の目的、特徴及び効果は、添付する図面を参照して以下に記載する、本発明の好適実施例のより具体的な説明により明らかになるであろう。以下は本発明の好適実施例に関する詳細な説明であり、ここに参照する各図面における同一の参照番号は同一の要素を示すこととする。
【００２６】
本出願の目的、意図にしたがって、「ポートレイト」又は「ポートレイト画像」の語句は、人物又は動物の肖像を意味し、特に、絵画、素描画、写真又はレンダリング画像などの顔を示す肖像を意味することとする。レンダリング画像は、マンガという形をとるか、または例えばコンピュータといった手段により、人工的に生成可能である。したがって、「ポートレイト」の語句には、人間や人物、又は動物を含む、１以上の顔の肖像を備える画像の意味が含まれる。前記用語には、いかなる／すべての関連する要素を含む。たとえばポートレイト効果や帽子、髪、手袋、眼鏡といったアクセサリ及び／又は特徴である。
【００２７】
本出願の目的、意図にしたがって、「修正」の語句は、前記ポートレイトに現れるいかなる変更をも意味することとする。特に、表情、感情表現、顔立ち（例えば、青い目を緑の目に変更したり、茶色の髪を金髪に変更する）、年齢（例えば、より若く又は高齢に変更する）、体重（例えば増減）、髪の毛（例えば増減）、表面の感じ／テクスチャ（肌の感じや色を含む）、ライティング及びポーズ（動作や、例えば、正面像を側面像に変更するなど）を含むが、これに制限されるものではない。したがって、修正は、表情（例えば、幸福な笑顔のいくつかの種類など）の変更、及び感情表現（例えば、幸福、歓喜、悲嘆、嫌悪など）の変更を含む。さらに修正は、体重低減、体重増加、老化及び若返りの結果生じる変更を含む。またさらに修正は、例えば青い目を緑の目にする、金髪を茶色の髪にするといった顔立ちの変更を含み、さらに頭、目、鼻、耳及び唇の大きさや形状の変更を含む。またさらに、顔画像の傾き、回転やその他の変動を含む。修正は、衣服の色を変更することを含んでもよい。これは、より背景に調和させたり他の人物の衣服に合わせたいときに必要となる。また修正は、アクセサリーの変更を含む。例えば帽子の色、ジュエリーや眼鏡の追加や除去である。
【００２８】
本発明は、ポートレイト画像を修正する装置及び方法を提供し、またアニメーションの技術分野も用いる。本発明は、人物のポートレイト画像を修正する装置及び方法を提供するが、本発明を他のポートレイト画像、例えば犬、猫及びマンガのキャラクターのポートレイト画像に延長することも可能である。
【００２９】
図１に、本発明の第１実施例による方法のフローチャートを示す。以下、図１の各ステップについてより詳細に説明する。図１に示すように、まず、ポートレイト画像を含むディジタル静止画像が与えられる（ステップ１００）。ディジタル静止画像が与えられると、ポートレイト画像の画像モデルを生成する（ステップ１０２）。予め定義されている複数の修正を画像モデルに適用して、複数の修正済みポートレイト画像を生成する（ステップ１０４）。後に詳しく説明するように、前記予め定義されている複数の修正を、例えばデータベースなど、様々な方法により提供することが可能である。複数の修正済みポートレイト画像を表示する（ステップ１０６）。指示手段を用いて、前記複数の修正済み画像の中から１つを選択する（ステップ１０８）。ここで選択された画像は、その後表示・送信・保存・印刷される対象となる（ステップ１１１）。例えば、修正済みポートレイト画像の結果を印刷する必要があれば、ディジタルハロゲン化銀プリンタ（ｄｉｇｉｔａｌ　ｓｉｌｖｅｒ　ｈａｌｉｄｅ　ｐｒｉｎｔｅｒ）、サーマルプリンタ、インクジェットプリンタ、静電記録式プリンタ（ｅｌｅｃｔｒｏｐｈｏｔｏｇｒａｐｈｉｃ　ｐｒｉｎｔｅｒ）のようなプリンタその他同種類のものを使用して印刷することができる。同様に修正済みポートレイト画像の結果を記録する必要があれば、電子形式で記憶することができる。
【００３０】
図２に、当初ポートレイト画像１０を備える、ディジタル静止画像１２の例を示す。図２に示すように、当初ポートレイト画像１０は、ある人物の正面撮影像を含み、ここに人物はディジタル静止画像１２の唯一の被写体となっている。
【００３１】
さらに図２を参照すると、ディジタル静止画像１２は、例えば画像取得装置（ｉｍａｇｅ　ｃａｐｔｕｒｅ　ｄｅｖｉｃｅ）１４、画像製造キオスク端末（ｉｍａｇｉｎｇ　ｐｒｏｄｕｃｉｎｇ　ｋｉｏｓｋ）１６、又は写真家／コンシューマ１８など、既知の方法／手法を使用して提供しうるものである。
【００３２】
ディジタル静止画像１２は、画像取得装置１４を使用して取得することができる。既知の画像取得装置には、写真用フィルムカメラ、ディジタルカメラ、ディジタルビデオレコーダ及びカムコーダ（ｃａｍｃｏｒｄｅｒ）が含まれる。画像取得装置１４が、例えばディジタルカメラのような、画像をディジタル形式で取得する装置の場合には、ディジタル静止画像１２の当初ポートレイト画像１０はディジタル形式で与えられ、そしてフレキシブルディスク、メモリカード又はその他同種類のものにディジタル形式で記憶される。画像取得装置１４が写真用フィルムカメラである場合には、画像は、印画紙上に印画されて取得される。したがって、スキャナ、又は画像をディジタル形式で記憶するために変換して写真印画のディジタル静止画像を生成する他の装置を使用して、その画像をディジタル静止画像に（すなわちディジタル形式に）、変換する必要がある。
【００３３】
画像製造キオスク端末１６、例えばイーストマンコダック社のピクチャーメイカーは、画像を取得する画像取得装置を含んでいるが、画像取得装置を使用した画像取得は、写真スタジオのプロの撮影者１８や、コンシューマのようなアマチュア写真家１８が行ってもよい。撮影者１８により取得された画像は、もしその画像がディジタル形式であればディジタルリーダを使用して、もしその画像が写真印画されたものであれば、写真印画をディジタル静止画像に変換するスキャナを使用して、キオスク端末１６に送信される。
【００３４】
あるいは、当初ポートレイト画像１０の部分又は全部を、既知の方法を用いてディジタル静止画像１２から抽出してもよい。例えば図３に示す場合では、当初ポートレイト画像１０は、ディジタル静止画像１２内の複数の被写体のうちの１つである。より詳しくは、ディジタル静止画像１２は、ポートレイト部分（すなわち、当初ポートレイト画像１０）と、非ポートレイト部分とを含んでいる。図３に示す特定の例の場合では、ディジタル静止画像１２の非ポートレイト部分は、花、木、太陽、草地及び他の人物である。ズームやクロッピングといった既知の処理方法を使用して、ディジタル静止画像１２から第１のポートレイト画像１０を抽出することが可能である。ディジタル静止画像１２から当初ポートレイト画像１０を抽出するのに適すると考えられるソフトウェアツールの例は、アドビ・フォトショップである。ディジタル静止画像１２から当初ポートレイト画像１０を抽出するために、クロマキー（Ｃｈｒｏｍａ−ｋｅｙ）技術を用いることが可能である。
【００３５】
ステップ１０２で、現実味のあるポートレイト画像の画像モデルを生成するためには、当初ポートレイト画像１０の取得の際に、あるしきい値レベルの解像度が必要になる。この解像度のしきい値レベルは、モデルを生成するために使用される手法に依存することがあり、顔アニメーション（ｆａｃｉａｌ　ａｎｉｍａｔｉｏｎ）の当業者であれば定義／特定することができるものである。
【００３６】
当初ポートレイト画像１０をディジタル形式で提供すると、ステップ１０２において、当業者に既知の方法で当初ポートレイト画像１０の画像モデルが生成される。Ｐｉｇｈｉｎらによる、”現実味のある顔表情の写真からの合成（ＳｙｎｔｈｅｓｉｚｉｎｇＲｅａｌｉｓｔｉｃ　Ｆａｃｉａｌ　Ｅｘｐｒｅｓｓｉｏｎｓ　ｆｒｏｍ　Ｐｈｏｔｏｇｒａｐｈｓ）”、ＳＩＧＧＲＡＰＨ９８、ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ　Ｐｒｏｃｅｅｄｉｎｇｓ、Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　Ｓｅｒｉｅｓ、１９９８年、第７５−８３頁は、顔画像のモデリング手法を開示し、２つの顔表情間のスムーズな変化を与えている。ＬｉｆｅＦＸ社は、フェイスメール（Ｆａｃｅｍａｉｌ）と呼ばれるアニメ電子メールメッセージを配信するツールを開発した（２００１年４月２日のＴｉｍｅの第７７頁、”Ｙｏｕ’ｖｅ　Ｇｏｔ　Ｆａｃｅ！”を参照されたい）。ここでＬｉｆｅＦＸ社は、顔画像のモデルを利用している。Ｖｏｌｋｅｒ　Ｂｌａｎｚ及びＴｈｏｍａｓ　Ｖｅｔｔｅｒによる”３次元顔面の合成のためのモーフィング可能モデル（Ａ　Ｍｏｒｐｈａｂｌｅ　Ｍｏｄｅｌ　ｆｏｒ　ｔｈｅ　Ｓｙｎｔｈｅｓｉｓ　ｏｆ　３Ｄ　Ｆａｃｅｓ）”、Ｍａｘ　Ｐｌａｎｃｋ　Ｉｎｓｔｉｔｕｔｅ、ＳＩＧＧＲＡＰＨ　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｅｄｉｎｇｓ、Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　Ｓｅｒｉｅｓ、１９９９年、第１８７−１９４頁に他の例が記載されている。
【００３７】
ポートレイト画像から生成された画像モデルの例は、図４に図示される画像モデル２０である。説明の簡単のため、図４は等角図法で示されている。図示されるとおり、画像モデル２０は、２．５次元（２次元及び０．５次元）モデルである。すなわち、このモデルは、平面（すなわち２次元）画像を使用して生成されたために、写真にない頭の部分に関する正確な情報を決定することができず、３次元モデルを生成することができない。しかしながら、２次元情報よりさらに多くの情報を含んだ、ポートレイト画像の制限付き動作を与える平面画像から部分的モデルを作り出すことは可能であり、したがってこのモデルのことを、２．５次元モデルと呼ぶこととする。また複数の画像を結合してフル３次元モデルを生成できることは、当業者に既知である。
【００３８】
画像取得装置１４が画像処理ユニットを含むときには、画像取得装置１４によって画像モデル２０の生成を行うこととしてもよい。画像製造キオスク端末１６が画像モデル２０を製造することとしてもよい。またその代わりに、画像モデル２０が、パーソナルコンピュータ２２、コンピュータネットワーク２４又はその他同種類のものの少なくとも１つよって、通信ネットワークを使用して生成されることとしてもよい。
【００３９】
図５に、当初ポートレイト画像１０のモデリングの基礎として使用される、画像モデル２０のワイヤフレームモデルを示す。図５に示すとおり、画像モデル２０は、ポートレイトモデル部分と、非ポートレイトモデル部分とを含む。例えば、ポートレイトモデル部分は、顔及び髪からなり、非ポートレイトモデル部分は、肩、腕又は背景からなる。
【００４０】
ステップ１０４において、複数の修正済みポートレイト画像を生成するために、画像モデルに予め定義された複数の修正を適用する。ステップ１０６においてこれらを表示する。図６に、画像モデル２０を使用して生成された複数の修正済みポートレイト画像２６の例を示す。より具体的には、図６は、画像２６−１〜２６−８までの８つの修正済みポートレイト画像を示す。各修正済みポートレイト画像は、当初ポートレイト画像１０へ施す修正を表している。図６の場合、各修正済みポートレイト画像２６−１〜２６−８は、表情における修正を提供する。例えば、修正済みポートレイト画像２６−１が驚いた表情を与えるのに対し、修正済みポートレイト画像２６−８は平穏な表情を与える。いくつかの表情の修正は、僅かで他の表情と識別することが容易でない場合もある。表示が行われると、ユーザは、スタイラス、キーボード、キーパッド、タッチスクリーンへの接触やその他同種類のもののような入力装置又は指示手段を使用して、修正済みポートレイト画像のうちの１つを選択することができる。
【００４１】
修正済みポートレイト画像を、予めカタログ化された現存のデータベースから取り出すこととしてもよい。例えば、ポートレイト画像の修正が表情である場合に、ローカルに又は離れて生成され記憶された現存するデータベースから、その表情を取り出すこととしてよい。
【００４２】
画像取得装置１４が画像処理ユニットを含む場合には、修正済みポートレイト画像２６を画像取得装置１４によって提供し又は表示することとしてもよい。画像製造キオスク端末１６もまた、修正済みポートレイト画像２６を生成し又は表示することとしてもよい。またその代わりに、パーソナルコンピュータ２２、コンピュータネットワーク２４又はその他同種類のものの少なくとも１つによって、インターネット又は通信ネットワークを使用して、修正済みポートレイト画像２６を生成することとしてもよい。
【００４３】
代替的に、ユーザによる選択のために、１以上の予め定義された修正を表示することとしてもよい。すなわち、画像モデルに適用されるべき予め定義された修正を特定するために、ユーザはスタイラス、キーボード、キーパッド、タッチスクリーン又はその他同種類のものといった入力装置を使用して、予め定義された１以上の修正を選択することとしてよい。図７に、ユーザに対して表示されうる予め定義された修正のリストの例を示す。例えば、当初ポートレイト画像１０を怒った表情に修正することとする。したがって「怒り」を選択すると、怒りを表す１以上の修正済みポートレイト画像が生成されて表示される。またその代わりに、前記の予め定義された修正を、予め定義された修正の無作為に集められたセット又は標準的なセット又はコレクションとしてもよい。図６に示す特定の例では、８つの修正済みポートレイト画像２６−１〜２６−８が、幸せな表情から怒りの表情に至る表情を表している。
【００４４】
前記の予め定義された修正を、データベース内に記憶しておくことが可能である。例えば、様々な表情からなる一般的な修正のセット（すなわちパラメータ）を、特定のデータベースの中に定義することとしてもよい。または、ユーザが個人的な好みの表情を特定し、後にポートレイト画像を修正する際に使用するためにこれら好みの表情を記憶しておくこととしてもよい。ユーザによる選択が行われた場合には、その後予め定義された修正が画像モデルに適用されて、修正済みポートレイト画像を生成する。例として、当初ポートレイト画像１０にマッピング／適用するために、幸福な表情のパラメータを記憶し、データベースから取り出すことが考えられる。
【００４５】
代わりに、修正済みポートレイト画像２６をデータベースに記憶することとしてもよい。例えば、様々な表情からなる修正済みポートレイト画像（すなわちパラメータ）の一般的なセットを、特定のデータベース内で定義することが可能である。ユーザが個人的な好みの修正済みポートレイト画像を特定して、後にポートレイト画像を修正する際に使用するためにこれら好みの画像を記憶しておくこととしてもよい。ユーザによる選択が行われた場合には、その後修正済みポートレイト画像のセットを呼び出すこととしてよい。ある実施例では、新しいポートレイト画像から新しい２．５次元又は３次元画像モデルを生成する場合には、修正済みポートレイト画像を、新しいポートレイト画像に適用可能な基準２．５次元又は３次元モデルとして記憶する。
【００４６】
修正済みポートレイト画像を生成した後、これを様々な配置で表示することができる。図８は、リングアラウンド（ｒｉｎｇ−ａｒｏｕｎｄ）法と呼ばれる好適な配置を示したものである。リングアラウンド法では、中央に配置される当初ポートレイト画像１０を囲うように８つの修正済みポートレイト画像（すなわち２６−１〜２６−８）が配置される。したがって、予め定義されたポートレイト修正は、当初ポートレイト画像１０の周りのリングアラウンド（ｒｉｎｇ　ａｒｏｕｎｄ）を形成する。このような配置は好ましいものである。なぜなら、当初ポートレイト画像１０と各修正済みポートレイト画像２６−１〜２６−８を、ユーザが容易に比較することを可能とするからである。
【００４７】
修正された複数のポートレイト画像２６を表示する他の配置は、当業者に既知であろう。例えば図９（ａ）に示すように、当初ポートレイト画像１０を６個の修正済み修正ポートレイト画像２６−１〜２６−６と直列に配置する。または図９（ｂ）に示すように、５つの直線的に配置した修正済みポートレイト画像２６−１〜２６−５に隣接して、当初ポートレイト画像１０を配置する。図９（ｃ）のように、スライド板３０の２端の間を移動するスライダ２８を採用し、矢印Ａ及びＢの方向に移動させて、１００個の修正済みポートレイト画像の変化を連続して表示する。この特定の例において、変化の連続の範囲は、修正済みポートレイト画像２６−１〜修正済みポートレイト画像２６−１００までであり、ここにｎは１から１００までの整数値をとる。指示された修正済みポートレイト画像２６−ｎは、スライダ２８がスライド板３０に沿って移動すると直ちに表示され更新される。
【００４８】
さらに、様々な顔の部分（例えば、目、鼻及び口）を、各部について様々な程度で修正することができる。またさらに、修正のため（例えば、感情対程度、表情対程度）及び対象（例えば、帽子、ジュエリー等）の追加のための、様々な行列を設定することができる。このとき前述の配置（すなわちリングアラウンド配置）を使用することとしてよい。
【００４９】
修正済みポートレイト画像を改善することもできる。すなわち、選択した修正済みポートレイト画像がユーザとって受容できない場合には、追加の又はさらなる修正済みポートレイト画像を選択することができる。例えば、（驚いた表情を示す）修正済みポートレイト画像２６−１を選択したが、その驚きの程度がユーザに受容できないときには、ユーザがあり得る選択枝をじっくり精査できるようにするために、様々な驚きの「程度」を示す追加の修正を表示する。
【００５０】
複数の修正済みポートレイト画像を表示すると、ステップ１０８では、キーボードやタッチスクリーンその他同種のもののような、当業者に既知の指示手段又は入力装置を使用して、複数の修正済みポートレイト画像のうちの１つを選択する。他の選択手段や選択方法は当業者に知られるとおりである。
【００５１】
ステップ１１０において、選択された修正済みポートレイト画像を表示し、送信し、保存し又は印刷する。
ステップ１０４では、予め定義された修正が、ステップ１０２で生成されたポートレイト画像の画像モデルにマッピングされて、修正済みポートレイト画像を生成する。例えば図７を再び参照すると、予め定義された”幸せの表情”の修正をステップ１０４でユーザが選択すると、この予め定義された修正が、画像モデル２０にマッピング／適用されて、図６の修正済みポートレイト画像２６−１に示すような修正済みポートレイト画像を生成する。すなわち顔部の要素は、画像モデルに合わせて並べられる。その後この修正済みポートレイトは、（例えばディジタルカメラ、コンピュータ、キオスク端末又はその他同種のものなど）の画面に表示する、（例えばディジタルカメラからパーソナルコンピュータへ）電子的に送信し、後の表示のために記憶し、又は印刷することを含む所望の用途に利用される。
【００５２】
修正済みポートレイト画像を生成するマッピング／適用は、画像取得装置１４、画像製造キオスク端末１６、パーソナルコンピュータ２２、コンピュータネットワーク２４又はその他同種類のものが備える画像処理ユニットによって行うことができる。
【００５３】
上述のように、ポートレイト画像がステップ１００で与えられたとき、そのポートレイト画像の２．５次元モデルがステップ１０２で生成される。しかし、このとき複数のポートレイト画像が与えられれば、３次元モデルを生成することが可能である。いま図１０を参照すると、一連のカメラＣ１、Ｃ２及びＣ３が、既知の照明状況で配置されて、モデルＭの画像を取得している。写真技術又は照明技術の当業者であれば、適切な照明状況を設定できるであろう。より詳細な画像を取得するために、又は同時に複数の被写体の画像を取得するために３台以上のカメラを使用してもよい。同時に又は制御された順序で、複数のポートレイト画像を取得することができる。
【００５４】
図１１に本発明の第２実施例による方法のフローチャートを示す。ここでは、例えば図１０に示す配置を使用して、複数のポートレイト画像が収集される。複数のポートレイト画像が、ステップ２００において与えられる。この複数のポートレイト画像を使用して、３次元画像モデルを生成する（ステップ２０２）。予め定義された複数の修正が与えられ（ステップ２０４）そして表示される（ステップ２０６）。指示手段又は他の入力装置を使用して、表示された複数の予め定義された修正の中から、少なくとも１つを選択する（ステップ２０８）。ステップ２１０において、選択された、予め定められた修正が、３次元画像モデルにマッピングされて、３次元の修正済みポートレイト画像を生成する。この３次元の修正済みポートレイト画像は、表示、送信、記憶又は印刷可能である（ステップ２１２）。
【００５５】
複数のポートレイト画像を使用する３次元モデルの生成は、２．５次元画像モデルの生成に関して上述した既存の手法により実行可能である。
【００５６】
図１及び図１１に示すように、生成された修正済みポートレイト画像を、表示、送信、記憶又は印刷することが可能である（それぞれステップ１１０及び２１２）。しかし、生成された修正済みポートレイト画像が、ユーザに受容できない場合がある。したがって、修正済みポートレイト画像は、ユーザの希望によりさらに改善することが可能である。例として、ステップ１０２で画像モデルを生成するために使用されるモデル生成器は、ラフな／急速モデル生成器としてよかったが、修正済みポートレイト画像を改善するためには、さらに高機能なモデル生成器を使用する（又は別のモデル生成器を使用する）ことが好ましい。
【００５７】
図１２は、本発明の第３実施例による方法のフローチャートを示す。ここでは、（ステップ１０４又は２１０で）生成された修正済みポートレイト画像が改善される。図１２に示すように、ステップ３００でポートレイト画像のディジタル静止画像が与えられる。その後このポートレイト画像の画像モデルが生成される（ステップ３０２）。予め定義された複数の修正が与えられ（ステップ３０４）、表示される（ステップ３０６）。表示された予め定義された複数の修正の中から少なくとも１つが選択されて（ステップ３０８）、ポートレイト画像の画像モデルにマッピングされ、修正済みポートレイト画像を生成する（ステップ３１０）。
【００５８】
前述の通り、予め定義された複数の修正を与え、この中から選んで修正済みポートレイト画像を生成するのではなく、複数の修正済みポートレイト画像を、現存するデータベースから取り出すこととしてもよいことが分かる。したがって、ステップ３０４〜３１０は、選択すべき複数の修正済みポートレイト画像を取り出すことによっても実行することができる。
【００５９】
ステップ３１２では、修正済みポートレイト画像がユーザによって見直されて、それが受容できるかどうかが決定される。もし受容できるときは、修正済みポートレイト画像は、表示、送信、記憶又は印刷される（ステップ３１３）。もしユーザに受容できないときには、ステップ３１４で修正済みポートレイト画像を修正し、改善された修正済みポートレイト画像が生成され（ステップ３１６）、そして見直される（ステップ３１８）。見直しの際に、改善された修正済みポートレイト画像が、ユーザに受容しうるものになっていれば（ステップ３１９）、ユーザは改善された修正済みポートレイト画像の受け入れを指示する（ステップ３２０）、そして改善された修正済みポートレイト画像を表示、送信、保存又は印刷する（ステップ３２２）。見直しの際に、改善された修正済みポートレイト画像が、ユーザに受容可能なものになっていなければ（ステップ３１９）、ユーザは、受容できるポートレイト画像が得られるまで、ステップ３１４〜３１８を繰り返す。
【００６０】
ある実施例では、改善された修正済みポートレイト画像を生成するために表示される、予め定義された修正を、ポートレイト画像と修正済みポートレイト画像の間に分布する一連の修正とすることができる。すなわち、表示される前記の予め定義された修正は、所定の２つの設定／範囲／両端値間、例えばポートレイト画像と修正済みポートレイト画像間、において変化するように処理ユニットによって生成される。したがって予め定義された修正は、所定の修正の初めと終わりを把握している処理ユニットにより自動的にかつ体系的に生成される。他の所定の設定も同様に定義することができる。
【００６１】
画像１２は１つのポートレイト画像１０を有するように記載されている。しかし本発明は、ディジタル静止画像１２に複数の個人／人物が存在していても使用することが可能である。特に、画像中の少なくとも１人の表情を修正することが望ましい。もっとも、画像中にある１以上の個人／人物のポートレイト画像に対しても作動することが可能である。
【００６２】
受容できる修正済みポートレイト画像がユーザによって選択されたら、その修正済みポートレイト画像は、ディジタル静止画像の中へ挿入されて、元のポートレイト画像を置き換えることができることが分かる。元のポートレイト画像と修正済みポートレイト画像を、ディジタル的に置換／交換する手法は、例えばアドビ・フォトショップにあるように当業者に既知である。
【００６３】
本発明は、複数のポートレイトの個々の画像モデルの生成を使用する。これらの画像モデルは、視覚的に楽しい／魅力的な顔の表情を作る能力を有するために必要である。一般に、顔のモデリング及びアニメーションを行うためには、少なくとも、３次元メッシュベース幾何学形状変形、２次元メッシュ及びワーピング技法、ならびに複数の画像を使用するサンプルベース技法の３つの手法が必要である。
【００６４】
通常の３次元手法において画像モデルは、顔のモデルに対応する、一般的３Ｄメッシュの変形により、前処理段階で与えられる。Ｐｉｇｈｉｎらによる、”現実味のある顔表情の写真からの合成（Ｓｙｎｔｈｅｓｉｚｉｎｇ　Ｒｅａｌｉｓｔｉｃ　Ｆａｃｉａｌ　Ｅｘｐｒｅｓｓｉｏｎｓ　ｆｒｏｍ　Ｐｈｏｔｏｇｒａｐｈｓ）”、ＳＩＧＧＲＡＰＨ９８、Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｅｄｉｎｇｓ、Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　Ｓｅｒｉｅｓ、１９９８年、第７５−８３頁では、複数の写真を使用して、一般的３Ｄメッシュを顔の形状に合わせて変形する方法が記載される。メッシュのノードの一部を、特定の、顔の目鼻及び輪郭など（例えば、目、鼻、口、境界など。これらは、メッシュをフィットさせ、活動させるために重要である）に配置する。特定の基準に基づいてメッシュの頂点が配置されることで、３Ｄメッシュが活動することが可能となる。メッシュの頂点を配置するための２つの有用な方法が各々使用されているが、その一つが身体に基づく筋肉モデルであり、もう一つは人間の顔に配置したトラッキングマークから導出した経験的モデルである。筋肉モデルに基づく方法は、Ｌｅｅらによる”３次元顔表情を活動させる筋肉モデル（Ａ　ｍｕｓｃｌｅ　ｍｏｄｅｌ　ｆｏｒ　ａｎｉｍａｔｉｎｇ　ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ　ｆａｃｉａｌ　ｅｘｐｒｅｓｓｉｏｎ）”、Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　（ＳＩＧＧＲＡＰＨ１９９８）、１９９８年８月、第５６−６６頁に記載されている。また、Ｌｅｅらによる、”現実味のある顔のモデリング及びアニメーション（Ｒｅａｌｉｓｔｉｃｆａｃｅ　ｍｏｄｅｌｉｎｇ　ａｎｄ　ａｎｉｍａｔｉｏｎ）”、Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　（ＳＩＧＧＲＡＰＨ１９９５）、１９９５年８月、第５５−６２頁において、フォトリアリズムは、個人の顔の１以上の画像を３Ｄメッシュにテクスチャマッピングすることによって得られると述べられている。
【００６５】
通常の２次元手法において、人物に特有のモデルは、人物の顔画像の特定の顔の目鼻立ち（特徴）及び輪郭に、２Ｄメッシュ又は制御ポイント（ｃｏｎｔｒｏｌ　ｐｏｉｎｔ）の位置を合わせることにより作成される。修正済み画像の表情におけるその制御ポイントの位置に対応すると想定される、制御ポイントの新しい場所を特定することで、その出発点と終点の制御ポイントにより及びこれらを使用して２Ｄメッシュが活動して、画像を歪ませることが可能になる。Ａｒａｄらによる、”放射基底関数による画像ワーピングの顔表情への適用（Ｉｍａｇｅ　Ｗａｒｐｉｎｇ　Ｂｙ　Ｒａｄｉａｌ　Ｂａｓｉｓ　Ｆｕｎｃｔｉｏｎｓ　：　Ａｐｐｌｉｃａｔｉｏｎｓ　ｔｏ　Ｆａｃｉａｌ　Ｅｘｐｒｅｓｓｉｏｎ）”、ＣＶＧＩＰ：ＧｒａｐｈｉｃａｌＭｏｄｅｌｓ　ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ、第５６巻、第２号、１９９４年３月、第１６１−１７２頁において、顔表情を修正するために２Ｄワーピングを使用している。
【００６６】
通常のサンプルベース手法（ｓａｍｐｌｅ　ｂａｓｅｄ　ａｐｐｒｏａｃｈ）において、顔の部分（例えば、口、目及び眉）を、複数の画像から抽出した後再び結合し、会話中の顔や種々の表情を有する顔を生成する。Ｃｏｓａｔｔｏらによる”フォトリアリスティックな会話中の頭部のサンプルベース合成（Ｓａｍｐｌｅ−Ｂａｓｅｄ　Ｓｙｎｔｈｅｓｉｓ　ｏｆ　ＰｈｏｔｏＲｅａｌｉｓｔｉｃ　Ｔａｌｋｉｎｇ　Ｈｅａｄｓ）”、Ｉｎ　ｔｈｅ　ｐｒｏｃｅｅｄｉｎｇ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｎｉｍａｔｉｏｎ、１９９８年、第１０３−１１０頁において、ビデオクリップ中で会話をしている人物の顔の特徴を抽出し、その後テキストを読んでいるその人物のクリップを合成するために使用している。
【００６７】
３Ｄ頭部モデルの利点は、これが任意の動作や回転動作を行わせるのに適していることである。前述の手法の各々の重要なステップは、モデルの構成とこれに続く顔表情の修正に必要な制御ポイントの位置決めである。顔面上にこれらのポイントがより正確に位置決めされると、結果として生じる顔の表情がより現実味を有することになる。これらの制御ポイントは、通常はアクティブシェイプモデルのような画像処理手法を使用して、手動又は自動のいずれかにより配置される。アクティブシェイプモデルは、Ｌａｎｉｔｉｓらによる”フレキシブルモデルを使用した顔画像の自動インラタプテイション及びコーディング（Ａｕｔｏｍａｔｉｃ　ｉｎｔｅｒｐｒｅｔａｔｉｏｎ　ａｎｄ　ｃｏｄｉｎｇ　ｏｆ　ｆａｃｅ　ｉｍａｇｅｓ　ｕｓｉｎｇ　ｆｌｅｘｉｂｌｅ　ｍｏｄｅｌｓ）”、ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　ＰＡＭＩ、第１９巻、第７号、１９９７年、第７４３−７５６頁に記載されている。
【００６８】
図１３に本発明の他の実施例を示す。図示するとおり、ユーザ５０は、ディジタル的に取得したポートレイト画像（図示せず）を修正することを所望している。図１３に示す例では、ポートレイト画像５２は、プロ用のスタジオ５３（又はこれと同種類の場所）において既知の方法で取得されたとする。例えばポートレイト画像５２を、ディジタルカメラ５４により取得し、取得画像のディジタルファイルを電子的にコンピュータ５６に送信してもよく、又は感光性メディアを使用して撮影して、スキャナ（図示せず）を使用して撮影画像をスキャンして、ポートレイト画像のディジタルファイルを作成してもよい。
【００６９】
ポートレイト画像のディジタルファイルは、識別子６０に対応する。識別子６０には、ユーザ情報（例えば名前、アドレスなど）、その画像の取得（撮影）日時などの画像に関連する情報、ランダムな数字、そのポートレイト画像を取得（撮影）したスタジオ／場所に関する情報を含んでいるものとしてよい。当業者には識別子６０にさらなる他の情報を含み得ることが理解されるであろう。例えば図１３に示す例では、識別子６０は、ＩＤ＃１２３４５６と示されるようなＩＤ番号を含んでいる。識別子６０は、コンピュータ５６に実行可能に接続されたプリンタ５８により、ユーザ５０に提供される。
【００７０】
ポートレイト画像のディジタルファイルは、ネットワークサービスプロバイダ６２に送信される。サービスプロバイダ６２は、例えば卸売現像ラボ、小売店、オンラインプロバイダ、インターネットプロバイダなどである。サービスプロバイダ６２へのファイル送信を、通信ネットワーク上でポートレイト画像のディジタルファイルを送信することによって行ってもよく、又はポートレイト画像のディジタルファイルを含むリムーバブルメディア（例えば、フレキシブルディスク、メモリカード又はコンパクトディスク）を物理的に運ぶことによって行ってもよい。
【００７１】
ポートレイト画像のディジタルファイルがサービスプロバイダ６２に受領されると、ポートレイト画像のディジタルファイルは、コンピュータ６６によって処理されて、修正済みディジタルポートレイト画像の当初セットを製造する。ここで、この修正済みディジタルポートレイト画像は、例えば（これに限定する意図ではないが）画像データベース６５内に記憶される。ユーザ５０は、識別子６０に与えられた情報を使用することにより、遠隔地７０から画像データベース６５に記憶された修正済みディジタルポートレイト画像の当初セットにアクセスすることができる。ユーザ５０が所望の修正済みディジタルポートレイト画像を選択すると、コンピュータ６５は、注文設定及び追跡ブロック７６を開始し、選択された所望の修正済みディジタルポートレイト画像のハードコピープリント５２を作成して、プリンタ６４が印刷できるようにする。プリンタ６４は既知のプリンタでもよく、数はいくつでもよい。プリンタの種類は、例えばハロゲン化銀、熱転写、インクジェットその他ユーザ５０が所望するメディア上に印刷する、一般に入手可能なディジタルプリンタとしてよい。所望の修正済みディジタルポートレイト画像のハードコピープリント５２は、プロ用スタジオ５３に届けられ、ユーザ５０はそこへ戻って、自分の注文を得る。
【００７２】
図１４は、図１３に示す実施例をより詳しく説明するためのフローチャートである。ステップ４００では、ポートレイト画像のディジタルファイルが生成される。ステップ４０２では、ユーザ５０がポートレイト画像のディジタルファイルに関連する識別子６０を取得し、ウェブサーバ６８に関連するウェブサイト又はウェブ上の位置（ｗｅｂ　ｌｏｃａｔｉｏｎ）がユーザ５０に提供される。またユーザ５０は、通信ネットワーク７２によりウェブサーバ６８とのリモートアクセスが提供され、これによりユーザ５０は遠隔地７０から、ポートレイト画像のディジタルファイルにアクセスすることが可能となる（ステップ４０４）。ステップ４０６において、ユーザ５０はポートレイト画像のディジタルファイルにアクセスするが、このときポートレイト画像のディジタルファイルになされた修正が望ましいものであれば、ユーザ５０は、上述した図１〜１２による修正済みポートレイト画像を選択し生成するための１セット／１組の修正を取得する。ユーザ５０が修正済みポートレイト画像を受け入れると、修正済みポートレイト画像が、ディジタル静止画像のポートレイト画像を置換して、新しいディジタル静止画像を生成し、この新しいディジタル静止画像を使用した製品又はサービスをユーザに提供する（ステップ４０８）。例えば、ユーザ５０は、「新しい」ディジタル静止画像の８×１０サイズの印刷を所望でき、又は「新しい」画像をＣＤに記録して自宅へ送信してもらうことを所望してもよい。
【００７３】
ある状況では、ユーザ５０は遠隔地７０に配置されたコンピュータを利用できないこともある。例えばユーザ５０が自宅のコンピュータを所有していない場合や、小売店にあるコンピュータを使用したくない場合である。したがって、このような場合には、図１５に示すような本発明による方法のフローチャートが適している。ステップ５００において、ポートレイト画像のディジタルファイルが生成される。ステップ５０２において、ユーザ５０は、ポートレイト画像のディジタルファイルに関連するハードコピーとして、識別子６０を取得する。ステップ５０４及び５０６において、上述の図１〜１２による１セット／１組の修正済みポートレイト画像がハードコピー形式（すなわち印刷物）として生成される。ステップ５０８において、この印刷物がユーザ５０に与えられる。これは例えば、ユーザ５０が小売店で印刷物を物理的に受け取るか、又はユーザ５０に郵便で送信される。ユーザ５０は、修正済みポートレイト画像の少なくとも１つを選択して示し、これにより選択された修正済みポートレイト画像を使用する製品又はサービスがユーザ５０のために生成される。
【００７４】
図１６は、図１５の方法の概略図である。図示するとおり、１セット／１組の修正ポートレイト画像のハードコピー又はプリント７４がプリンタ６４によって生成される。図１６に示すように、複数のポートレイト画像は印刷物７４上にリングアラウンド配置で示される。印刷物７４は、図１６に家７０として図示する遠隔地７０にいるユーザ５０に送付される。その後ユーザ５０は、どのように作業を進めるかについて指示を行う。この指示には、選択した修正済みポートレイト画像に「×」印をつけることにより印刷物７４にマークを付して、図１６に示すような修正済み印刷物７４’を作ることを含む。指示を行う他の方法は、例えば指示書式を全部記載する、電話する又は指示を書き出す等の当業者に既知の方法である。ユーザ５０はまた、所望の製品及び／又はサービス（プリント品質、サイズ、オンラインアカウントへのアップロード、ＣＤ、フレキシフルディスク、Ｔシャツなど）を指示する。ユーザ５０は指示とともに修正された印刷物７４’を送付又は配達し、その後、ユーザの指示に従って製品／サービスが生成されてユーザに提供される。
【００７５】
図１７は、本発明による更なる実施例のフローチャートである。ステップ６００において、ポートレイト画像のディジタルファイルが生成される。ステップ６０２において、ユーザ５０は、前記ポートレイト画像のディジタルファイルに関する識別子６０を（プリンタ５８により作られたハードコピー受領書として）を取得する。そしてウェブサーバ６８に関するウェブサイト又はウェブ上のアドレスがユーザ５０に与えられる。ユーザ５０には通信ネットワーク７２によるウェブサーバ６８へのリモートアクセスが与えられ、これによりユーザ５０は、遠隔地７０からポートレイト画像のディジタルファイルにアクセスできるようになる（ステップ６０４）。ステップ６０６では、ユーザ５０がポートレイト画像のディジタルファイルにアクセスして、ポートレイト画像の全体的な特徴を修正できる。すなわち、画像の一括した全体を対象とする特徴の修正ができる。例えば、背景色の変更などである。スタジオで利用できる背景色／背景テーマの選択が、被写体の衣服とマッチしないことがある。スクールポートレイトがその例である。したがって、ポートレイト画像を見直した後に背景を代えることが可能であることが望ましい。ユーザ５０が受容できるポートレイト画像を実現すると、その修正済みポートレイト画像が記憶され（ステップ６０８）そして、製品／サービスの注文が可能になる（ステップ６１０）。さらに、ユーザは、自分のディジタル画像又はストックされているディジタル画像から、自分の背景を選択することができる。（必ずしも必要ではないが）所望であればクロマキー技術を使用することも可能である。その後、（図８に示すような）リングアラウンド配置を使用して基本色背景又は各自の望む背景画像を選択することが可能となる。これにより、スタジオで素早くインクジェット印刷を行って、最終的な印刷物がどのようになるかを示すことができるという利点が生ずる。リングアラウンド配置を使用することにより、ユーザは、満足できる画像を得るために、ディスプレイ又はインクジェット校正印刷物に基づいて、的確な色合い（すなわち衣服又は肌の色調にマッチする色）を選択することができる。サーマルプリンタ又はディジタルハロゲン化銀プリンタなどのより高品位のカラープリンタによって、最終ポートレイト画像のハードコピー印刷物がディジタル的に製造される。
【００７６】
本発明の方法は、例えば髪の色などの他の特徴にも適用することができる。この場合、髪を染める特定の色と、この色を生ずるのに必要な染め量を取得しておくことが望ましい。まず、ポートレイト画像を取得する。その後、髪部分を自動、手動いずれかにより指定して、顧客が基本色を選ぶ。ソフトウェアは、好適に髪の色だけ修正した画像を初めの出発点としてリングアラウンド配置を作る。色見本を手に持って鏡をのぞく方法と比べて、ユーザはいろいろな染まり具合を選択してさらに髪の色を修正して、（その顔に関して）髪の全てを変更した結果を見ることができるようになる。さらに、（例えば１６００万色発色のような）良好なディスプレイを使用すれば、ユーザは所与の色合いにおける僅かなボケ（ｓｈａｄｉｎｇ）の違いを見分けられるようになる。一連のリングアラウンド配置は、ユーザが最も満足できる色合いを選択することに集中できるようにする。選択された修正済み画像は、印刷し又はディスプレイ上に表示することができる。遠隔地で印刷する場合には、ハードコピープリントをユーザに郵送することとしてもよい。ディスプレイは（ヘアサロンなどに）小売店に設置してもよく、リングアラウンドを実行するソフトウェアを実行されるウェブサイトと通信ネットワーク上で接続された、家庭用通信環境にあるパーソナルコンピュータとしてもよい。ユーザが受容できる髪の色を選択するとき、ユーザは、どのようにすれば的確に実行できるか（すなわち何色をミックスするか）を知ることを希望することもできる。ミックスするにあたってのガイドをユーザに提供し、またミックスしたものを遠隔にて用意して、それを必要な量だけユーザに送付することとしてもよい。
【００７７】
キオスク端末が、顔／頭部の配置が制御され／予め定められたポートレイト画像を取得するために使用できることが理解されるであろう。このようなキオスク端末では、ユーザがキオスク端末を操作して、選択した表情修正を有するリングアラウンド形式のハードコピープリントを生成することが可能である。このハードコピープリントをポストカードや印刷物とすることとしてもよい。キオスク端末の出力製品は、ハードコピープリントとしてよい。
【図面の簡単な説明】
【図１】本発明の第１実施例による方法のフローチャートである。
【図２】当初ポートレイト画像である。
【図３】図２の当初ポートレイト画像を備えるディジタル静止画像である。
【図４】図２の当初ポートレイト画像の２．５次元画像モデルの等角図法図である。
【図５】図４の画像モデルの基礎となるワイヤフレームモデルを示す図である。
【図６】複数の修正済みポートレイト画像を示す図である。
【図７】予め定義された修正のリストを示す図である。
【図８】複数の修正済みポートレイト画像を表示するリングアラウンド配置を示すである。
【図９】予め定義された修正及び／又は修正済みポートレイト画像を表示するための色々な配置を示す図である。
【図１０】ポートレイト画像の３次元画像モデルを生成するための複数のポートレイト画像を取得するためのカメラ配置を示す図である。
【図１１】本発明の第２実施例による方法のフローチャートである。
【図１２】本発明の第３実施例による方法のフローチャートである。
【図１３】本発明の第３実施例による方法を説明する概略図である。
【図１４】図１３の方法を説明するフローチャートである。
【図１５】本発明の第４実施例による方法のフローチャートである。
【図１６】図１５の方法を説明する概略図である。
【図１７】本発明によるさらなる実施例のフローチャートである。
【符号の説明】
１０…当初ポートレイト画像
１２…ディジタル静止画像
１４…画像取得装置
１６…キオスク端末
１８…プロ写真家／顧客
２０…画像モデル
２２…パーソナルコンピュータ
２４…コンピュータネットワーク
２６…修正済みポートレイト画像
２８…スライダ
３０…スライド板
５０…ユーザ
５２…ポートレイト画像
５３…プロ用スタジオ
５４…ディジタルカメラ
５６…コンピュータ
５８…プリンタ
６０…識別子
６２…サービスプロバイダ
６４…プリンタ
６５…画像データベース
６６…コンピュータ
６７…注文設定及び追跡ブロック
６８…ウェブサーバ
７０…遠隔地
７２…通信ネットワーク
７４…修正済みポートレイト画像のハードコピー／印刷
【図１】
2004030668.tif 000003
【図２】
2004030668.tif 000004
【図３】
2004030668.tif 000005
【図４】
2004030668.tif 000006
【図５】
2004030668.tif 000007
【図６】
2004030668.tif 000008
【図７】
2004030668.tif 000009
【図８】
2004030668.tif 000010
【図９】
2004030668.tif 000011
【図１０】
2004030668.tif 000012
【図１１】
2004030668.tif 000013
【図１２】
2004030668.tif 000014
【図１３】
2004030668.tif 000015
【図１４】
2004030668.tif 000016
【図１５】
2004030668.tif 000017
【図１６】
2004030668.tif 000018
【図１７】
2004030668.tif 000019