(57)【要約】本発明は無表情顔面画像を利用した動画変換物の創出方法と装置とを提供する。アバターエディターは無表情顔面モデルの正面画像と側面画像とを利用してアバターを創出する。アバターは伸縮バンチグラフマッチング法を活用して正面画像と側面画像上で顔面造作部分位置を自動的に見つけ出す。無表情顔面造作から得られたアバターメッシュを一般的なアバターメッシュに関連させて動画変換物を創出することで大幅な時間の短縮が達成される。無表情造作に対する動画変換物を他の有表情アバターメッシュに適用して得られたアバターの質向上を図ることができる。無表情顔面に基く動画変換は、それぞれの特定表情（及び／又はポーズ）造作に対する特定動画変換物を創出するのに要する長い編集時間を必要とせず、有表情頭部モデルを大きく改善させる。
2004509391.tif 000002
【特許請求の範囲】
【請求項１】
アバター動画変換物の創出方法であって、
アバター創出のために無表情顔面正面画像と側面画像とを提供するステップと、
伸縮バンチグラフマッチング法を活用して前記正面画像と前記側面画像上で頭部造作位置を自動的に見つけ出すステップと、
該正面画像と該側面画像上の造作位置にノードを自動的に配点するステップと、
該ノードポジションに基いて創出されたアバター内の非自然物を除去し、歪んだ造作部分を最小化するように前記ノードポジションを手動でチェックして補正するステップと、
を含んで構成されていることを特徴とする方法。
【請求項２】
無表情顔面に対して補正されたノードポジションに基いて動画変換物を創出するステップをさらに含んでいることを特徴とする請求項１記載の方法。
【請求項３】
アバターを創出するために表情顔面アバターメッシュに対して動画変換物を適用するステップをさらに含んでいることを特徴とする請求項２記載の方法。
【請求項４】
形態ターゲットに対して動画変換を適用するステップをさらに含んでいることを特徴とする請求項２記載の方法。
【請求項５】
アバター動画変換物の創出装置であって、
アバター創出のために無表情顔面正面画像と側面画像とを提供する手段と、
伸縮バンチグラフマッチング法を活用して前記正面画像と前記側面画像上で頭部造作位置を自動的に見つけ出す手段と、
該正面画像と該側面画像上の造作位置にノードを自動的に配点する手段と、
該ノードポジションに基いて創出されたアバター内の非自然物を除去し、歪んだ造作部分を最小化するように前記ノードポジションを手動でチェックして補正する手段と、
を含んで構成されていることを特徴とする装置。
【請求項６】
無表情顔面に対して補正されたノードポジションに基いて動画変換物を創出する手段をさらに含んでいることを特徴とする請求項５記載の装置。
【請求項７】
アバターを創出するために表情顔面アバターメッシュに対して動画変換物を適用する手段をさらに含んでいることを特徴とする請求項６記載の装置。
【請求項８】
形態ターゲットに対して動画変換を適用する手段をさらに含んでいることを特徴とする請求項６記載の装置。
【請求項９】
アバター動画変換物の創出方法であって、
アバター創出のために無表情顔面正面画像と側面画像とを提供するステップと、
それぞれの無表情顔面正面画像と側面画像のウェーブレット変換で創出されたウェーブレット成分値に基いた画像分析法を活用して前記正面画像と前記側面画像上で頭部造作位置を自動的に見つけ出すステップと、
該正面画像と該側面画像上の造作位置にノードを自動的に配点するステップと、
該ノードポジションに基いて創出されたアバター内の非自然物を除去し、歪んだ造作部分を最小化するように前記ノードポジションを手動でチェックして補正するステップと、
を含んで構成されていることを特徴とする方法。
【請求項１０】
無表情顔面に対して補正されたノードポジションに基いて動画変換物を創出するステップをさらに含んでいることを特徴とする請求項９記載の方法。
【請求項１１】
アバターを創出するために表情顔面アバターメッシュに対して動画変換物を適用するステップをさらに含んでいることを特徴とする請求項１０記載の方法。
【請求項１２】
形態ターゲットに対して動画変換を適用するステップをさらに含んでいることを特徴とする請求項１０記載の方法。
【請求項１３】
ウェーブレット変換はガボールウェーブレットを利用することを特徴とする請求項９記載の方法。
【発明の詳細な説明】
【０００１】
【関連出願】
本願は２０００年７月２４日出願の米国仮特許願第６０／２２０３３０号「無表情顔面画像を利用したアバター（ａｖａｔａｒ）動画変換方法及び装置」の優先権と、１９９８年１１月６日出願の一部継続特許願第０９／１８８０７９号「アバター動画のためのウェーブレット（ｗａｖｅｌｅｔ）利用顔面動作画像化」の優先権を主張する。
【０００２】
【発明の背景】
本発明はアバター動画に関連し、特には無表情顔面画像を利用した動画変換に関連する。
【０００３】
アバターで満たされたバーチャル空間は共有環境経験を提供する魅力的な手段である。しかしながら、手作業による写真様アバターの作成には長時間を要し、自動式のアバター作成には非自然物が介在したり顔面造作を変形させる。
【０００４】
従って、アバター頭部モデルの迅速で忠実な提供のためのアバター編集手段が望まれている。本発明はその需要を満たす。
【０００５】
【発明の概要】
本発明は無表情顔面画像を利用してアバター動画変換を実行する方法及びその関連装置を提供する。この方法は無表情顔面の正面画像と側面画像を提供し、伸縮バンチグラフマッチング法（ｅｌａｓｔｉｃ ｂｕｎｃｈ ｇｒａｐｈ ｍａｔｃｈｉｎｇ）を活用した頭部正面画像と側面画像上でのアバター創出並びに自動顔面部造作位置検出を行う。ノード（ｎｏｄｅ：基本点）が正面画像と側面画像の造作位置に自動的に配点される。ノードポジションは肉眼で精査され、ノードポジションに基いて創出されたアバターから非自然物が排除され、歪んだ造作部分は最小化されて補正される。
【０００６】
この方法は無表情顔面の補正ノードポジションに基いた動画変換物（ａｎｉｍａｔｉｏｎ ｔｒａｎｓｆｏｒｍ）の創出を含むこともできる。この方法はさらにそのアバターを創出するために利用される有表情顔面アバターメッシュ（ａｖａｔａｒ ｍｅｓｈ）にその動画変換物を適用させることも含む。
【０００７】
本発明の他の特徴と利点は添付図面を利用した以下の詳細な説明から明らかとなろう。
【０００８】
【好適実施例の詳細な説明】
本発明は無表情顔面画像を利用して動画変換物を創出させる図１に示される方法並びに装置を提供する。アバターエディターはアバターを創出するために無表情顔面モデルの正面画像と側面画像を利用する（ブロック１２）。このアバターは伸縮バンチグラフマッチング法を活用して正面画像と側面画像上の顔面造作の位置を自動的に検出することで創出される（ブロック１４）。伸縮バンチグラフマッチング法を利用した画像の顔面造作部分の位置決定法は米国特許願第０９／１８８０７９号に記載されている。その伸縮グラフマッチング技術では、画像はガボールウェーブレット（Ｇａｂｏｒ ｗａｖｅｌｅｔ）に基づいたウェーブレット変換を利用してガボール空間（Ｇａｂｏｒ ｓｐａｃｅ）に変換される。変換された画像はオリジナル画像のそれぞれのピクセルに関連する複合ウェーブレット成分値（ｃｏｍｐｌｅｘ ｗａｖｅｌｅｔ ｃｏｍｐｏｎｅｎｔ ｖａｌｕｅ）で表される。伸縮バンチグラフマッチング法は自動的に、それぞれ正面画像と側面画像にアンカーポイントを有したノードグラフを配置する。これらアンカーポイントはマッチング手法を活用して見つけられた顔面造作部分の一般的位置に配点される（ブロック１６）。
【０００９】
図２に示すアバターエディター窓２６はモデルに類似して現われるアバターをユーザに創出させる。新アバター２８がモデルの正面画像３０と側面画像２に基いて創出される。あるいは、既存アバターを自由に編集することもできる。正面画像と側面画像はアバターメッシュ上にマッピング処理される。メッシュ上でそのアバターを動画化することも、ドライブコントロールポイントを移動させて動かすこともできる。ドライブコントロールポイントの移動は顔面造作部分のトラッキング処理でコントロールすることができる。
【００１０】
当初、アバターエディター窓２６は、ユーザにアバタートラッキングの精度を改善させるための手順を示すウィザード（図示せず）を含んでいる。このアバターウィザードはユーザにいくつかの顔面表情を表現させ、頭部ポーズを変更させるチュータフェースを含んでいる。それぞれの表情またはポーズに対して画像が形成され、それぞれの顔面画像に対して造作部分が自動的に位置決定される。しかし、画像の特定非自然物は顔面造作処理の際に、間違った位置に顔面造作部分ノードを配点させるように導くことがある。加えて、正確なノード位置は写真的アバターを劣化させる非自然物を発生させることもある。従ってユーザは自動的に位置決定された造作ポジションを手動補正する機会を有する（ブロック１８）。
【００１１】
例えば、図２に示す正面画像３０と側面画像３２は側面画像３２の横顔輪郭としてエラーにより検出された陰影輪郭を有している。またモデルの耳のごとき造作部分はノード配点エラーを引き起こすであろう多数のパターンを有している。特に重要なことは、目や口のノードの適正な配点である。アバター２８は目及び／又は口が開いているときに“露呈される”人工的な目や歯のインサートを有しているかも知れない。従って、マッチング処理によって適正にノード配点ができても、得られたアバターは歪んだ造作を含むであろう。
【００１２】
ノード配点の経験的調整によってさらに写真的なアバターを提供できる。例えば、図３に示すアバター２８の背面図は図２のアバターエディター窓２６に示されるノード位置を活用して創出された。特に問題を孕んだ非自然物は頭部背後の白色パッチ３４である。この白色パッチは、自動配点されたノード位置が側面画像３２の白色背景の一部をアバターの背部にパッチしたことによる。
【００１３】
不適切に配点されたノードは図４に示すように手動で調整して、対応する造作部分にさらに正確にノード配点させることができる。一般的頭部モデル３６と３８はユーザが正確にノード位置を正面画像と側面画像に配点できるようにノード位置を表示させている。ノードはマウスのごときポインターをノード上でクリックし、ノードを望む位置に引っ張ることで移動される。アバター２８’の正面図のように、正確なノード位置に基いたアバターはさらに写真的アバターを提供する。さらに、側面画像上の後頭部のノード位置は図５に示すように不都合な白色パッチを排除すべく調整される。
【００１４】
図２から図５にて示されるモデル画像は無表情顔面である。前述のように、多様な表情やポーズの画像はトレーニング表情を利用することで得られる。図６に示すように
2004509391.tif 000003
が感知され、得られたパラメータは
2004509391.tif 000004
によって対応する
2004509391.tif 000005
にマッピング処理できる。種々な表情に対応するいくつかのアバターメッシュは感知された表情のさらに正確な描写を提供する。異なる表情のためのメッシュは形態ターゲット（ｍｏｒｐｈ ｔａｒｇｅｔ）と呼称できよう。例えば、
2004509391.tif 000006
は笑顔画像からの
2004509391.tif 000007
を使用して創出できる。別な
2004509391.tif 000008
は驚きや感嘆を示す顔面画像からの
2004509391.tif 000009
を使用して創出できる。同様に、
2004509391.tif 000010
は
2004509391.tif 000011
に対応する。感知された
2004509391.tif 000012
は１次回帰を利用して対応する
2004509391.tif 000013
にマップ処理できる。
【００１５】
さらに写真的効果を生み出すには、それぞれの表情のノードポジションを手動で調べ、非自然物と歪みを補正すべきである。しかしながら、経験によれば、それぞれのアバター頭部モデルの補正には数分を要する。写真的アバターには１４から１８もの表情に基くアバターメッシュを必要とする。
【００１６】
大幅な時間の節約は
2004509391.tif 000014
を使用した動画変換ρを創出させることで達成できる（ブロック２０、図１）。得られた
2004509391.tif 000015
が式１に示されるようにアバター変換によって一般的
2004509391.tif 000016
に関連付けられる。
2004509391.tif 000017
得られるアバターの質を高めるために無表情造作の動画変換を他の表情アバターメッシュに適用することができる（ブロック２２）。例えば、笑顔に関連するアバターメッシュを式２に示すように無表情動画変換ρによって変換できる。
2004509391.tif 000018
無表情顔面に基いた動画変換は、それぞれの特定表情（及び／又はポーズ）に対する特定動画変換を創出することで要する長い編集時間をかけずに顔面表情頭部モデルを大幅に改善する。
前述の説明で本発明の好適実施例を開示しているが、当業界技術者であれば本発明の範囲内でそれら実施例を幾様にも変更できよう。
【図面の簡単な説明】
【図１】本発明による無表情顔面画像を利用したアバター動画変換物の創出のための方法を表すフロー図である。
【図２】本発明によるアバターの創出アバターエディター（編集装置）を図示する。
【図３】図２のアバターエディターにより提供されたアンカーポイント（ａｎｃｈｏｒ ｐｏｉｎｔ）を利用して創出されたアバターの背面画像である。
【図４】本発明によるアバター画像から非自然物と歪みとを除去するように補正されたアンカーポイントポジションを利用したアバター創出用のアバターエディターを図示する。
【図５】本発明による図４の補正されたアンカーポイントポジションを利用して創出されたアバターの背面画像である。
【図６】アバターメッシュに対する感知された顔面造作部分の１次回帰マッピング（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍａｐｐｉｎｇ）のための顔面表情造作とアバターメッシュとの関係を示すグラフである。
【図１】
2004509391.tif 000019
【国際公開パンフレット】
2004509391.tif 000020
2004509391.tif 000021
2004509391.tif 000022
2004509391.tif 000023
2004509391.tif 000024
2004509391.tif 000025
2004509391.tif 000026
2004509391.tif 000027
2004509391.tif 000028
2004509391.tif 000029
2004509391.tif 000030
2004509391.tif 000031
2004509391.tif 000032
2004509391.tif 000033
2004509391.tif 000034
【国際調査報告】
2004509391.tif 000035
2004509391.tif 000036
2004509391.tif 000037