(57)【要約】  本発明は、顔の３Ｄメッシュモデルを編集して表情を変更することと、変更されたモデルに対応する新しい画像を生成して、変更された表情を有する画像を提供することとを含む、画像内の表情を編集する方法に関する。
2017531242.tif 000002
【特許請求の範囲】
【請求項１】
表情を有する顔の少なくとも一部を示す顔の画像を編集する方法であって、
前記表情を変更するために、前記顔の画像と位置合わせされた３Ｄメッシュモデルを編集することと、
前記編集されたモデルに対応する新しい顔の画像を生成して、変更された表情を有する新しい顔の画像を生成することと
を含み、
前記新しい顔の画像は、選択された顔の画像パッチの複合体から生成されるものであり、前記顔の画像パッチは、前記編集された３Ｄメッシュモデルに従って選択されるものである、方法。
【請求項２】
前記顔の画像パッチは、前記顔のキャプチャーされた画像のシーケンスから収集される顔の画像パッチのデータベースから選択され、各顔の画像パッチは、前記シーケンス内の所与の時間での前記顔の一部に対応する、請求項１に記載の方法。
【請求項３】
前記キャプチャーされた画像のシーケンスは、共通するメッシュテンプレートモデルに位置合わせされる、請求項２に記載の方法。
【請求項４】
局所化されたワープを前記３Ｄメッシュモデルに適用して、前記新しい顔の画像内の射影変換を補正することを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記３Ｄメッシュモデルは、異なる表情間でブレンドするようにパラメータ化されたブレンドシェイプモデルである、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
３Ｄ顔モデルをプロキシとして操作することにより、ＲＧＢ顔画像の編集を実行することを含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
３Ｄ顔モデルをプロキシとして編集することにより、複数の顔の画像を、同時に同じ顔のポーズにすることを含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
顔の少なくとも一部を含む顔の画像における表情を編集する画像編集デバイスであって、プロセッサを含み、前記プロセッサは、
前記顔の画像と位置合わせされた３Ｄメッシュモデルを変更して、前記表情を変化させることと、
前記変更された３Ｄメッシュモデルに従って複数の顔の画像パッチを選択することと、
前記変更されたモデルに対応する顔の画像を生成して、変更された表情を有する新しい顔の画像を生成することと
を行うように構成され、
前記新しい顔の画像は、前記選択された顔の画像パッチの複合体から生成されるものである、画像編集デバイス。
【請求項９】
前記顔の画像パッチは、前記顔のキャプチャーされた画像のビデオシーケンスから収集される顔の画像パッチのデータベースから選択され、各顔の画像パッチは、前記顔の一部に対応する、請求項８に記載の画像編集デバイス。
【請求項１０】
前記画像のビデオシーケンスは、共通するメッシュテンプレートモデルに位置合わせされる、請求項９に記載の画像編集デバイス。
【請求項１１】
前記少なくとも１つのプロセッサは、局所化されたワープを適用して、前記新しい顔の画像内の射影変換を補正するように構成された、請求項８〜１０のいずれか一項に記載の画像編集デバイス。
【請求項１２】
前記プロセッサは、３Ｄ顔モデルをプロキシとして操作することにより、ＲＧＢ顔画像の編集を実行するように構成された、請求項８〜１１のいずれか一項に記載の画像編集デバイス。
【請求項１３】
前記プロセッサは、３Ｄ顔モデルをプロキシとして編集することにより、複数の顔の画像を、同時に同じ顔のポーズにするように構成された、請求項８〜１２のいずれか一項に記載の画像編集デバイス。
【請求項１４】
前記３Ｄメッシュモデルはブレンドシェイプモデルである、請求項８〜１２のいずれか一項に記載の画像編集デバイス。
【請求項１５】
プログラマブル装置のためのコンピュータプログラム製品であって、命令シーケンスを含み、前記命令シーケンスは、前記プログラマブル装置にロードされ、前記プログラマブル装置によって実行されると、請求項１〜７のいずれか一項に記載の方法を実施する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を編集する方法及びデバイスに関する。限定するものではないが、特に、本発明は、画像内の表情を編集する方法及びデバイスに関する。
【背景技術】
【０００２】
顔は、キャプチャーされた画像及びビデオにおける重要な対象である。人の顔は、屋内パーティの状況又は観光アトラクションの前でポーズを取る等、様々な状況でキャプチャーされ得る。しかし、一般に、人の表情は、多くの場合、状況に合うように適切にキャプチャーされない。そのような場合、表情を変更するために写真編集ソフトウェアが必要とされる。新しい表情を合成するために、例えば人の口を開けるか又は笑顔にするために、追加の画像が必要とされ得る。しかし、これは退屈な作業であり、ユーザの多くの時間とスキルを必要とする。同時に、表情の編集は、最も一般的な写真編集に求められることの１つである。
【０００３】
ビデオについては、時間的アーティファクト及びジッターを生じさせないように表情を編集することは更に困難である。通常、厳密な３Ｄモデルは、各時間ステップで位置合わせする必要があり、これは、特殊なキャプチャーセットアップ又は相当な計算時間がかかる高度なアルゴリズムを必要とする。
【０００４】
本発明は、上記を踏まえて考え出されたものである。
【発明の概要】
【０００５】
一般的な形態では、本発明は、顔の３Ｄメッシュモデルを編集して表情を変更することと、変更されたモデルに対応する新しい画像を生成して、変更された表情を有する画像を生成することとを含む、画像内の表情を編集する方法に関する。
【０００６】
本発明の態様は、共通メッシュテンプレートモデルを、キャプチャーされた顔のビデオに位置合わせすることにより、複数の顔領域のテクスチャデータベースを収集する方法を提供する。
【０００７】
本発明の別の態様は、様々な顔領域で最も適切な表情を選ぶことにより、複合画像を生成する方法を提供する。
【０００８】
本発明の別の態様は、局所化されたワープを適用して、合成複合画像での射影変換を補正する方法を提供する。
【０００９】
本発明の別の態様は、顔テクスチャデータベースを編成及びインデックス付けし、表情に対応する最も近いテクスチャを選ぶ方法を提供する。
【００１０】
本発明の別の態様は、３Ｄ顔モデルをプロキシとして操作することにより、ＲＧＢ顔画像編集を実行する方法を提供する。
【００１１】
本発明の別の態様は、３Ｄ顔モデルをプロキシとして編集することにより、複数の顔画像を同時に同じ顔のポーズにする方法を提供する。
【００１２】
本発明の別の態様は、画像内の表情を編集する方法に関し、本方法は、
ブレンドシェイプモデルを使用して、顔の変形空間をパラメータ化することと、
３Ｄ表情変化に対応して、様々な顔領域から画像テクスチャのデータベースを構築することと、
データベースから取り出される、様々な顔領域からの適する画像テクスチャの複合により、新しい顔画像を生成することと
を含む。
【００１３】
本発明の別の態様は、表情を示す画像を編集する方法を提供し、本方法は、
様々な顔領域の画像パッチのデータベースを提供することと、
編集すべき画像に位置合わせされた顔モデルを編集し、変更に従ってデータベースからパッチを選択し、パッチから複合画像を生成することと
を含む。
【００１４】
本発明の別の態様は、画像内の表情を編集するデバイスを提供し、本デバイスは、メモリと、メモリと通信する少なくとも１つのプロセッサとを含み、メモリは命令を含み、命令は、プロセッサにより実行されると、本デバイスに、顔の３Ｄメッシュモデルを編集して表情を変更することと、変更されたモデルに対応する新しい画像を生成して、変更された表情を有する画像を提供することとを含む動作を実行させる。
【００１５】
本発明の別の態様は、画像内の表情を編集するデバイスを提供し、本デバイスは、メモリと、メモリと通信する少なくとも１つのプロセッサとを含み、メモリは命令を含み、命令は、プロセッサにより実行されると、本デバイスに、
様々な顔領域の画像パッチのデータベースにアクセスすることと、
編集すべき画像と位置合わせされた顔モデルを変更することと、
変更に従ってデータベースからパッチを選択することと、
パッチから複合画像を生成することと
を含む動作を実行させる。
【００１６】
本発明の実施形態は、単純なモノクロカメラを用いてキャプチャーされる顔のビデオを編集する方法を提供する。前処理段階において、顔追跡アルゴリズムがビデオに適用され、３Ｄメッシュモデルが、時間とともに変化する表情に対して位置合わせされると仮定される。次に、実行時に、ユーザは、顔の３Ｄメッシュモデルを直接編集し、３Ｄ表情に対応する新規の画像を合成する。変形空間は、線形ブレンドシェイプモデルを使用し、３Ｄ表現の変化に対応して様々な顔領域から画像テクスチャのデータベースを収集することにより、パラメータ化される。新規の顔画像は、データベースを参照することにより、様々な顔領域から最も適切なテクスチャを複合することで生成される。このようにして、所与の入力顔画像において新規の表情を編集及び合成する高速な方法が提供される。
【００１７】
顔モデルに基づいてビデオを編集する幾つかの用途がある。一般消費者が撮影するホームビデオ及び写真は、新しい表情を示すように、高速で容易な方法で編集することができる。本発明の実施形態による顔合成技術は、フィルム撮影後の編集で俳優の表情を編集するために適用することもできる。心理学的研究及び通信エージェントとしての仮想の人間アバターの生成にも用途がある。
【００１８】
本発明の要素により実施される幾つかのプロセスは、コンピュータにより実施され得る。したがって、そのような要素は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又はソフトウェア及びハードウェア態様を組み合わせた実施形態の形態を取り得、本明細書では、これらは全て一般に、「回路」、「モジュール」、又は「システム」と呼ばれ得る。更に、そのような要素は、内部に埋め込まれたコンピュータ使用可能プログラムコードを有する任意の有形表現媒体に埋め込まれるコンピュータプログラム製品の形態を取り得る。
【００１９】
本発明の要素は、ソフトウェアで実施することができるため、本発明は、任意の適する搬送媒体でプログラマブル装置に提供されるコンピュータ可読コードとして実施することができる。有形搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、又は固体状態メモリデバイス等の記憶媒体を含み得る。一時的な搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、又は電磁信号、例えば、マイクロ波信号又はＲＦ信号等の信号を含み得る。
【００２０】
本発明の実施形態について、例として以下の図面を参照して説明する。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態による、画像を編集する方法のステップを示すフローチャートである。
【図２】本発明の実施形態による、様々な顔領域及び様々な表情にわたるデータベース内のテクスチャの集合の例を示す。
【図３】本発明の実施形態による、頂点をドラッグすることにより３Ｄメッシュモデル上の表情を変化させることを示す。
【図４】ユーザ編集に対応する様々な領域において選択されたパッチの例を示す。
【図５】本発明の実施形態による新規の表情の合成の例を示す。
【図６】本発明の実施形態による様々な俳優の新規の表情の合成の例を示す。
【図７】本発明の実施形態による画像処理デバイスを示す。
【発明を実施するための形態】
【００２２】
図１は、本発明の実施形態による、表情を示す画像を編集する方法のステップを示すフローチャートである。
【００２３】
ステップＳ１０１において、様々な表情にわたる様々な顔領域に対応する顔画像パッチのテクスチャデータベースが、前処理ステップＳ１００において実行される顔−モデル−画像位置合わせ方法を使用することにより構築される。
【００２４】
ステップＳ１００において適用される顔モデル画像位置合わせ方法は、顔のキャプチャー画像のモノクロ顔ビデオシーケンスを入力することと、画像シーケンス中の顔に関する顔のランドマークを追跡することとを含む。キャプチャーされた画像シーケンスは、例えば、怒りの表情、驚きの表情、笑う表情、話す表情、微笑む表情、ウィンクする表情、睫を上げる表情、及び通常の表情を含め、時間の経過に伴う様々な表情を示す。図２の列（Ａ）に画像シーケンスの例を示す。
【００２５】
例えば、疎空間特徴追跡アルゴリズムを適用して、画像シーケンスを通して顔のランドマーク（例えば、鼻の先端部、口角、目等）を追跡し得る。図２の列（Ｂ）に顔のランドマークの例を示す。顔のランドマークの追跡は、ビデオシーケンスの各時間ステップ（フレーム）において、及び異なる顔のランドマークを示す３Ｄポイントの疎な集合において、カメラ射影行列を生成する。
【００２６】
プロセスは、様々な表情をブレンドするようにパラメータ化された人の顔の３Ｄメッシュブレンドシェイプモデルを適用することを含む。これらの表情は、それぞれブレンドシェイプターゲットと呼ばれる。ブレンドシェイプターゲット間の加重線形ブレンドにより、任意の表情が生成される。
【００２７】
形式上、顔モデルは、幾らか任意であるが、ｘｙｚｘｙｚ．．ｘｙｚのように固定順の全ての頂点座標を含む列ベクトルＦとして表される。
【００２８】
同様に、ｋ番目のブレンドシェイプターゲットは、ｂｋで表すことができ、ブレンドシェイプモデルは、
【数１】
2017531242.tif 000003
により与えられる。
【００２９】
任意の重みｗｋは、基本的に、ブレンドシェイプターゲットｂｋのスパンを定義し、一緒に結合されたとき、モデリングされる顔Ｆにわたる表情の範囲を定義する。全てのブレンドシェイプターゲットは、行列Ｂの列及び単一のベクトルｗに位置合わせされる重みとして配置することができ、それにより、
Ｆ＝Ｂｗ
として与えられるブレンドシェイプモデルを生成する。
【００３０】
したがって、３Ｄ顔モデルＦが得られ、これは、幾らかの剛性変換又は非剛性変換を受けた後、前に得られた３Ｄ顔ランドマークの疎な集合の上に位置合わせすることができる。
【００３１】
次に、方法を適用して、この３Ｄ顔ブレンドシェイプモデルを、疎な顔のランドマークの前の出力に位置合わせする。ここで、入力ビデオ中の人は、メッシュテンプレートモデルと比較して非常に異なる生理学的特徴を有する。
【００３２】
図２の列（Ｃ）に収集されるテクスチャ画像パッチの例を示す。これらの各テクスチャには、その時間ステップ（フレーム）に位置合わせされた顔ブレンドシェイプモデルのブレンド重みｗｃにより表される正確な表情が注釈付けられる。この目的は、このテクスチャデータベースを検索し、様々なテクスチャ画像パッチから画像を複合することにより、新規の表情に対応する新しい顔画像を合成することである。各顔領域で、顔モデルの変更に従って表情変更に最も適切なテクスチャ画像パッチが、位置合わせされた表情のデータベース内の最も近い近傍を選択することにより選択される。これは、ブレンドシェイプ重み（近傍に影響するブレンドシェイプ重みのサブセットのみに関する）が現在のブレンドシェイプ重みに最も近い特定の変更された近傍のフレームから画像パッチを選択することを含む。テクスチャ／顔画像パッチを選択するのに選ばれた時間ステップが、様々な顔領域にわたり可変であることに留意し得る。
【００３３】
近傍パッチのこのデータベースが、ビデオ中のあらゆるフレームでいかに構築されるかを説明する。ビデオのフレーム毎に、非重複近傍（例えば、合計で４つ）のそれぞれが画像に射影され、次に、矩形パッチとしてクロッピングされる。この矩形パッチの両端部は、射影される近傍の極値を使用することにより計算される。したがって、ビデオのあらゆるフレームに生成されるこれらの近傍パッチを使用して、ビデオ中の全ての可能なフレームのあらゆる非重複領域／近傍（合計で４つ）の全体データベース（図２に示されるような）が構築される。
【００３４】
したがって、ｉ＝１，２，３，４であるｉ番目の近傍、Ｋ番目のフレームについて、対応するパッチは、ｐＫｉにより与えられる。
【００３５】
次のステップとして、最もよく似た近傍パッチを取り出すために、最小二乗の最小化技法が適用され、この技法は、構成要素（特定の近傍に直接的な影響を有する）の重みが現在の重みに最も近いフレームを提供する。しかし、この前に、２組のリストが作成される。第１のリストは、いずれの構成要素（ブレンドシェイプターゲット）が、対応するいずれの近傍に影響しているかを示す。したがって、ｊ番目のブレンドシェイプターゲットｂｊがｉ番目の近傍Ｕｉに影響している場合、マッピングｂｊ→Ｕｉが提供される。特定のｉ番目の近傍に関連付けられたブレンドシェイプターゲットのセットは、Ａｉにより与えられる。
【００３６】
第２のリストは、ビデオ中の可能なあらゆるフレームについて、４０の全ブレンドシェイプターゲットに関する、対応するブレンドシェイプ重みを提供する。換言すれば、フレーム毎に最も影響される構成要素についての情報が提供される。Ｋ番目のフレームのｊ番目のブレンドシェイプターゲットのブレンドシェイプ重みは、ｗｊｋで示すことができる。
【００３７】
このデータベース及びインデックス付け方法を用いて、アーティストにより編集されたジオメトリックモデルの現在のブレンドシェイプ重みを調べることにより、全ての近傍が影響されるのはいずれであるかと、次に、複合画像を構築するために特定の近傍の最も代表的なパッチを得ることができる最も近いフレームがいずれであるかとについて推測することができる。
【００３８】
ステップＳ１０２において、編集アーティストは、所望の編集に従ってモデルを変更する。ステップ１０３において、変更に対応する画像パッチがデータベースから選択される。実際には、アーティストが３Ｄブレンドシェイプモデルに対して妥当な変更を行うと、任意の変更された近傍領域を最も良く表すデータベース内の異なるフレーム内の複数のパッチから１つのパッチが選択され、修正される。これは、全ての異なる近傍領域に対して行われ、したがって、複合画像と呼ばれるものが得られる。そのような技術は、効率的で計算的に安価な装置モデルを与えるのみならず、単に、実際にこの外観モデルと直接相関する３Ｄジオメトリックモデルにおいて変更を行うことにより、ビデオの対応するフレームにおいて所望の効果を得るよりよく、より単純な方法であるため、利用される。
【００３９】
まず、アーティストは、ここでも、例えば、（“Direct Manipulation Blendshapes”, J. P. Lewis, K. Anjyo. IEEE Computer Graphics Applications 30 (4) 42-50, July 2010）に記載されるような直接操作の技術を使用して、図３に示される３Ｄブレンドシェイプモデルにおいて幾つかの所望の変更を行い得る。アーティストは、少数の頂点をドラッグし、顔全体は、それらの頂点を制約として変形される。
【００４０】
本発明の本実施形態によるアルゴリズムは、影響を受ける可能性がある全てのブレンドシェイプターゲットｂｊ及び対応するブレンドシェイプ重みｗｊを計算する。ここで、ｊ＝１，２，・・・４０である。データベースを見ることにより、ジオメトリックモデルでの編集によって全ての近傍が影響されたことも分かる。
【００４１】
次のステップにおいて、アルゴリズムは、前のステップから得た各近傍に対応するデータベースからの最も代表的なパッチを提供する最も近いフレームを計算する。したがって、換言すれば、あらゆる近傍で、幾つかの関連付けられたブレンドシェイプターゲットが生成される。これらの関連付けられたブレンドシェイプターゲットについて、アルゴリズムは、データベースからの関連付けられたブレンドシェイプ重みが最も近い（同じブレンドシェイプターゲットの現在のブレンド重みから最小のユークリッド距離にある）、最も近いフレームを特定する。したがって、全ての特定のｉ番目の近傍について、関連付けられたブレンドシェイプターゲットがｗｊとして与えられるように加重されると仮定する場合、ここで、ｊは、ｉ番目の近傍の関連付けられた構成要素Ａｉのリストに存在するｊ番目の構成要素を表す。
【００４２】
Ｋ番目のフレーム及びｊ番目のブレンドシェイプターゲットについて、ブレンド重みはｗｊｋとして与えられる。したがって、最も近いフレームは、ビデオ中の可能な全てのフレームにわたり最小二乗を実行することにより計算することができ、
Ｋ＊ｉ＝Ｍｉｎｋ（Σｊ（ｗｊ−ｗｊｋ）２）
により与えられ、式中、Ｋ＊ｉは、ｉ番目の近傍に最も近いフレームを与える。次に、ｉ番目の各近傍について、ｐｋ*ｉにより与えられる最も近いフレームパッチが求められる。図４に、影響される近傍の結果的なパッチを見て取ることができる。
【００４３】
ステップＳ１０４において、複合画像が生成される。これは、基本的に、パッチを適切な画像領域／近傍に適用することにより行われる。しかし、その前に、スライトワープアルゴリズムが実行されて、現在のフレームとデータベース中の選ばれたフレームとの間の射影変換を補正することにより、パッチを現在の画像に位置合わせする。この補正ワープは、
ｑｋ*ｉ＝ＰｃＰｏ＋ｐｋ*ｉ
により与えられ、式中、Ｐｃは、パッチが適用されている現在のフレームの射影行列であり、Ｐｏ＋は、パッチｐｋ*ｉが選ばれた元フレームの射影行列の疑似逆行列である。
【００４４】
最終ワープパッチｑｋ*ｉは、次に、画像の適切な位置に配置される。これらの最終複合画像は、複数のパッチから合成される。最終複合画像は、キャプチャーされた俳優の顔を完全に異なる合成表情で示す。図５は、新規の表情の合成に関する結果の集合の例を示す。一番上の行は、入力画像を示し、中間行は、３Ｄメッシュモデルに対するアーティストの編集を示し、一番下の行は、この編集された表情に対応する合成顔複合画像を示す。
【００４５】
本発明の実施形態による顔編集方法は、様々な俳優の複数の画像に対して同時に適用することもでき、同じ表情を示す全ての俳優の合成顔画像を生成する。図６にこれを示し、図６は、同じ表情にされた複数の俳優を示す。一番上の行は入力画像を示す。中間行は、射影変換に関する本発明の実施形態により提案される補正無しの、顔の単純な複合結果を示す。一番下の行は、本発明の実施形態による方法の結果である最終的な複合画像を示す。
【００４６】
本発明の実施形態に準拠する装置は、ハードウェアのみ、ソフトウェアのみ、又はハードウェアとソフトウェアとの組合せのいずれかにより実施され得る。ハードウェアに関しては、例えば、専用ハードウェアを使用し得、そのようなＡＳＩＣ、ＦＰＧＡ、又はＶＬＳＩはそれぞれ＜＜特定用途向け集積回路＞＞、＜＜フィールドプログラマブルゲートアレイ＞＞、＜＜超大規模集積回路＞＞であり、又はデバイスに埋め込まれる幾つかの集積電子構成要素を使用することによるか、若しくはハードウェア構成要素とソフトウェア構成要素との組合せからのものであり得る。
【００４７】
図７は、本発明の１つ又は複数の実施形態を実施し得る画像処理デバイス３０の例を表す概略ブロック図である。デバイス３０は、データアドレスバス３１により一緒にリンクされる以下のモジュールを含む：
−  マイクロプロセッサ３２（又はＣＰＵ）であり、これは、例えば、ＤＳＰ（又はデジタル信号プロセッサ）である、
−  ＲＯＭ（又は読み取り専用メモリ）３３、
−  ＲＡＭ（又はランダムアクセスメモリ）３４、
−  デバイスのアプリケーションとデータを送受信するＩ／Ｏインタフェース３５、及び
−  電池３６、
−  ユーザインタフェース３７。
【００４８】
代替の実施形態によれば、電池３６はデバイスの外部にあり得る。図６のこれらの各要素は、当業者により周知であり、したがって、本発明を理解するために、これ以上詳細に説明する必要はない。レジスタは、デバイスの任意のメモリの小容量エリア（幾つかのビット）又は非常に大きいエリア（例えば、プログラム全体若しくは大量の受信データ若しくは復号化データ）に対応し得る。ＲＯＭ３３は、少なくともプログラム及びパラメータを含む。本発明の実施形態による方法のアルゴリズムは、ＲＯＭ３３に記憶される。電源投入されると、ＣＰＵ３２は、プログラムをＲＡＭにアップロードし、対応する命令を実行して、方法を実行する。
【００４９】
ＲＡＭ３４は、レジスタ内に、ＣＰＵ３２により実行され、デバイス３０の電源投入後にアップロードされるプログラムを含み、レジスタ内に入力データを含み、レジスタ内に方法の様々な状態での中間データを含み、方法の実行に必要な他の変数をレジスタ内に含む。
【００５０】
ユーザインタフェース３７は、本発明の実施形態により、画像処理デバイスを制御し、画像内の表情を編集するユーザ入力を受信するように動作可能である。
【００５１】
密な３Ｄメッシュ出力を生成するが、計算的に高速であり、オーバーヘッドが僅かである本発明の実施形態が提供される。更に、本発明の実施形態は、３Ｄ顔データベースを必要としない。その代わり、本発明の実施形態は、取得がはるかに容易である、参照人として１人の人からの表情変化を示す３Ｄ顔モデルを使用し得る。
【００５２】
本発明について、特定の実施形態を参照して上述したが、本発明は、特定の実施形態に限定されず、当業者には変更形態が明らかであり、それらの変更形態は本発明の範囲内にある。
【００５３】
例えば、上記例は表情に関連して説明されたが、本発明が、他の顔態様又は画像内の他のランドマークの変更にも適用可能なことが理解される。
【００５４】
上述した例示的な実施形態を参照したうえで、多くの更なる変更形態及び変形形態が当業者にとって自明であり、実施形態は単なる例示として与えられ、本発明の範囲の限定を意図せず、本発明の範囲は、添付の特許請求の範囲によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適切な場合、相互交換し得る。
【図１】
2017531242.tif 000004
【図２（Ａ）】
2017531242.tif 000005
【図２（Ｂ）】
2017531242.tif 000006
【図２（Ｃ）】
2017531242.tif 000007
【図３】
2017531242.tif 000008
【図４】
2017531242.tif 000009
【図５】
2017531242.tif 000010
【図６】
2017531242.tif 000011
【図７】
2017531242.tif 000012
【国際調査報告】
2017531242.tif 000013
2017531242.tif 000014
2017531242.tif 000015