(57)【要約】本発明は演技者の無表情顔面画像を利用して顔面造作部をトラッキングするための視覚センサーの特製化方法と装置とを提供する。この方法は演技者の顔面造作部をトラッキングするセンサーの性能を改善させるために補正グラフを創出させる。
2004505353.tif 000002
【特許請求の範囲】
【請求項１】
顔面造作部トラッキングを特製化する方法であって、
演技者の無表情顔面画像を捕捉するステップと、
伸縮バンチグラフマッチング法を利用して該無表情顔面画像上で顔面造作部位置を自動的に検出するステップと、
該無表情顔面画像上の該顔面造作部位置にノードを自動的に配点するステップと、
該無表情顔面画像上で該ノードのポジションを手動で補正するステップと、を含んで構成されることを特徴とする方法。
【請求項２】
補正されたノードポジションに基いて補正グラフを創出するステップをさらに含んでいることを特徴とする請求項１記載の方法。
【請求項３】
顔面造作部トラッキングを特製化する装置であって、
演技者の無表情顔面画像を捕捉する手段と、
伸縮バンチグラフマッチング法を利用して該無表情顔面画像上で顔面造作部位置を自動的に検出する手段と、
該無表情顔面画像上の該顔面造作部位置にノードを自動的に配点する手段と、
該無表情顔面画像上で該ノードのポジションを手動で補正する手段と、
を含んで構成されることを特徴とする装置。
【請求項４】
補正されたノードポジションに基いて補正グラフを創出する手段をさらに含んでいることを特徴とする請求項３記載の装置。
【請求項５】
顔面造作部トラッキングを特製化する方法であって、
演技者の無表情顔面画像を捕捉するステップと、
無表情顔面画像のウェーブレット変換により創出されたウェーブレット成分値に基いた画像分析を利用して該無表情顔面画像上で顔面造作部を自動的に検出するステップと、
該無表情顔面画像上の該顔面造作部位置にノードを自動的に配点する手段と、
該無表情顔面画像上で該ノードのポジションを手動で補正する手段と、
を含んで構成されることを特徴とする方法。
【請求項６】
ウェーブレット変換はガボールウェーブレットを利用することを特徴とする請求項５記載の方法。
【請求項７】
顔面造作部トラッキングを特製化する方法であって、
演技者の無表情顔面画像を捕捉するステップと、
該無表情顔面画像のウェーブレット変換で創出されたウェーブレット成分値に基いた画像分析を利用して該顔面画像上で顔面造作部の位置を検出するステップと、
該顔面画像上の該顔面造作部位置での前記ウェーブレット成分値に基いて有表情造作部を提供するための補正グラフを創出するステップと、
を含んで構成されることを特徴とする方法。
【請求項８】
ウェーブレット変換はガボールウェーブレットを利用することを特徴とする請求項７記載の方法。
【発明の詳細な説明】
【０００１】
【関連出願】
本願は２０００年７月２４日出願の米国仮特許願第６０／２２０２８８号「無表情顔画像上での正確な目印検出による顔面特徴特製法及び装置」の優先権と、１９９８年１１月６日出願の米国一部継続特許願第９／１８８０７９号「アバター動画のためのウェーブレット利用顔面動作捕捉」の優先権とを主張する。
【０００２】
【発明の背景】
本発明はアバター動画に関連し、特には顔面造作部トラッキング技術に関連する。
【０００３】
アバターで満たされたバーチャル空間は共通の環境を経験させる魅力的な手段である。しかし、写真的アバター動画化は一般的に演技者の動きの面倒なトラッキング、特に顔面造作部のトラッキングを要する。
【０００４】
従って、顔面造作部トラッキング技術の改良が望まれている。本発明はこの要求を満たす。
【０００５】
【発明の概要】
本発明は演技者の無表情顔面を利用する視覚センサーを特製するための方法及び関連装置を提供する。この方法は演技者の無表情顔面画像の捕捉と、伸縮バンチグラフマッチング法（ｅｌａｓｔｉｃ ｂｕｎｃｈ ｇｒａｐｈ ｍａｔｃｈｉｎｇ）を利用した無表情顔面画像上での画面造作部位置の自動検出とを含んでいる。ノード（基準点：ｎｏｄｅ）が演技者の無表情顔面画像上の顔面造作部位置に自動的に配点される。その後にノードポジションは演技者の無表情顔面画像上にて手動で補正される。
【０００６】
さらに、この方法は補正されたノードポジションに基いて補正グラフを創出させることができる。
【０００７】
本発明の他の特徴と利点とは添付図面を利用した以下の詳細な説明で明らかとなろう。
【０００８】
【好適実施例の詳細な説明】
本発明は演技者の無表情顔面画像を利用した顔面造作部トラッキングのための視覚センサー特製化方法及び装置を提供する。この方法は演技者の顔面造作部トラッキングに利用するセンサー性能を改良させる目的に利用する補正グラフを創出させる。
【０００９】
図１に示すように、この方法では演技者の顔面画像が捕捉される（ブロック１２）。無表情顔面画像は図２に示すように視覚センサー特製化ウィザード２２を利用して捕捉される。捕捉画像２６の整合性を示すため、演技者に対して例示画像２４が示される。
【００１０】
次に、顔面造作部位置は伸縮バンチグラフマッチング法を利用して自動的に検出される（ブロック１４）。伸縮バンチグラフマッチング法を利用した顔面造作部検出法は米国特許願第０９／１８８０７９号にて開示されている。伸縮グラフマッチング技術においては、画像はガボールウェーブレット（Ｇａｂｏｒ ｗａｖｅｌｅｔ）に基いたウェーブレット変換を利用してガボール空間に変換される。変換された画像はオリジナル画像の各画素と関連する複合ウェーブレット成分値（ｃｏｍｐｌｅｘ ｗａｖｅｌｅｔ ｃｏｍｐｏｎｅｎｔ ｖａｌｕｅ）で表される。
【００１１】
図３に示すようにノード２８は特定の顔面造作部位置にて顔面画像上に自動的に配点される（ブロック１６）。演技者固有の画像特徴が介在するため、演技者の顔面画像上に置かれた顔面造作部グラフには顔面画像上に適正に配置されていないノード位置が含まれているであろう。例えば、演技者の眉毛の４点ノードは顔面画像の眉毛の多少上方に配点される。
【００１２】
本発明装置はノード２８を拾って移動させるために視覚センサー特製化ウィザード２２を使用する。ノードはマウス等のポインティング装置を使用して無表情顔面画像上で手動にて移動され、望む選択位置にまで引っ張られる（ブロック１８）。
【００１３】
例えば、図４に示すように、演技者画像の眉毛上へのノード配点は、例示画像２４に従って演技者眉毛と正確に整合させるように調整されている。
【００１４】
図５に示すように、ＡからＥまでの顔面造作部のノード２８が無表情顔面画像２４上に正確に配点された後に、画像ジェットがそれぞれの顔面造作部に対して再計算され、バンチグラフのギャレリー３２の対応ジェットと比較される。このバンチグラフギャレリーは多人数（Ｎ）のサブギャレリーを含む。サブギャレリーの各人は無表情顔面画像３４と、例えば笑顔や驚嘆を表す有表情顔面画像３６から３８のジェットを含む。
【００１５】
補正された演技者画像２４からのそれぞれの顔面造作部ジェットはいくつかのサブギャレリーの無表情ジェットからの対応する顔面造作部ジェットと比較される。顔面造作部Ａのジェットと最も近似する造作部（造作部Ａ）のサブギャレリーの無表情ジェットが補正グラフ４０の造作部Ａのジェットギャレリーを創出するために選択される。
【００１６】
別の実施例では、造作部Ｅが対象であり、人数（Ｎ）に対するサブギャレリーは、無表情画像２４からの造作部Ｅのジェットに最も近似する造作部Ｅの無表情ジェットを有している。サブギャレリーＮからのそれぞれの有表情造作ジェット３６から３８からの造作部Ｅのジェットと共に無表情ジェットからの造作部Ｅのジェットを使用して造作部Ｅの補正グラフジェットが創出される。
【００１７】
従って、無表情顔面画像２４に関して、補正グラフ４０はバンチグラフを形成するギャレリー３２から最良ジェットを使用して形成される。
【００１８】
得られた補正グラフ４０はノード位置をトラッキングするためにさらに強力なセンサーを提供する。補正グラフを組み込んだ特製造作部トラッキングセンサーはさらに写真状であるアバターと増強されたバーチャル空間経験とを提供する。
【００１９】
前述の説明は本発明の実施例を開示しているが、当業界技術者であれば、本発明の範囲内でそれら実施例を適宜変更できよう。
【図面の簡単な説明】
【図１】本発明に従った無表情顔面画像上での正確な目印検出による顔面造作部トラッキングを特製化する方法を示すフロー図である。
【図２】演技者のカメラ画像と一般的モデル画像とを示す視覚センサー特製化ウィザードである。
【図３】演技者顔面のカメラ画像上でのノード位置の自動検出と配点処理後の視覚センサー特製化ウィザードである。
【図４】本発明に従った補正グラフ創出のための補正ノードポジションを示す視覚センサー特製化ウィザードである。
【図５】本発明に従った無表情顔面画像を利用した補正グラフ創出技術を示すブロック図である。
【図１】
2004505353.tif 000003
【図５】
2004505353.tif 000004
【国際公開パンフレット】
2004505353.tif 000005
2004505353.tif 000006
2004505353.tif 000007
2004505353.tif 000008
2004505353.tif 000009
2004505353.tif 000010
2004505353.tif 000011
2004505353.tif 000012
2004505353.tif 000013
2004505353.tif 000014
2004505353.tif 000015
2004505353.tif 000016
【国際公開パンフレット（コレクトバージョン）】
2004505353.tif 000017
2004505353.tif 000018
【国際調査報告】
2004505353.tif 000019
2004505353.tif 000020