(57)【要約】  モーション捕獲及び画像再構成を実施するための改善された装置及び方法を提供する。対象物に対してモーション捕獲を実施するためのシステム及び方法を説明する。例えば、本発明の一実施形態によるコンピュータ実施式方法は、対象物の３次元（３−Ｄ）補捉容積に対してスカラー場を作成する段階、スカラー場に対して表面メッシュを生成する段階、表面メッシュの良好な頂点を保持して不良な頂点を除去する段階、及び対象物のモーションのその後の再構成に向けて良好な頂点を記憶する段階を含む。別のコンピュータ実施式方法は、各フレームが対象物の捕獲された表面を定める複数の頂点を有する対象物の一連の画像フレームをある一定の期間にわたって捕獲する段階、複数の頂点のうちの１つ又はそれよりも多くを有する基準フレームを確立する段階、（Ｎ−１）番目のフレーム又はそれ以前のフレームに基づいてＮ番目のフレーム内の頂点を識別するためにフレームからフレームの追跡を実施する段階、及び基準からフレームの追跡を実施して、フレーム間の潜在的なドリフトに対抗するために基準フレームに基づいてＮ番目のフレーム内の頂点を識別する段階を含む。更に別のコンピュータ実施式方法は、モーション捕獲セッション中にＮ個の頂点の複数の画像を含むモーション捕獲データを捕獲する段階、複数の画像にわたって追跡するために、Ｘ＜ＮであるＮ個の頂点のうちのＸ個を遡及的に識別する段階、及び複数の画像にわたってＸ個の頂点を追跡する段階を含む。【選択図】図２ａ【特許請求の範囲】
【請求項１】
多重範囲データセットから３次元補捉容積を有する対象物の表面再構成を実行するための、複数のカメラを含むモーション捕獲システム内で実施されるコンピュータ実施式方法であって、
対象物の３次元（３−Ｄ）補捉容積に対してスカラー場を作成する段階と、
前記スカラー場に対して表面メッシュを生成する段階と、
前記表面メッシュの良好な頂点を保持して不良な頂点を除去する段階と、
前記対象物のモーションのその後の再構成に使用するために前記良好な頂点を記憶する段階と、
を含むことを特徴とする方法。
【請求項２】
スカラー場を作成する段階は、前記補捉容積における各点に対してスカラー値を計算する段階を含むことを特徴とする請求項１に記載の方法。
【請求項３】
各スカラー値は、モーション捕獲セッションに用いられる各カメラから計算された該スカラー値の重み付き合計として計算されることを特徴とする請求項２に記載の方法。
【請求項４】
各カメラに対して用いられる前記重み付きの値は、（１）該カメラの方向と各点が存在する表面に対する表面法線との角度、及び（２）各点からの該カメラの距離に基づいていることを特徴とする請求項３に記載の方法。
【請求項５】
表面メッシュを生成する段階は、
「マーチングキューブ」又は「マーチングテトラへドロン」アルゴリズムを実行して前記スカラー場のゼロ交差を判断する段階、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
「良好な」頂点は、指定数のカメラのための範囲値に対する前記頂点の相対位置決めに基づいて識別され、「不良な」頂点は、該カメラのための該範囲値に対する前記頂点の該相対位置決め、及び／又は該頂点が指定数のカメラの「データなし」領域内に収まるか否かに関する判断に基づいて除去されることを特徴とする請求項１に記載の方法。
【請求項７】
前記表面メッシュにおけるエッジによって接続された頂点の最近接対を繰返し併合することにより、該表面メッシュを単純化する段階、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記頂点の最近接対が指定閾値よりも大きな距離によって分離している時には併合を中止する段階、
を更に含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記閾値は、前記表面メッシュの格子間隔の０．５倍を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
対象物のモーション捕獲を実行する方法であって、
各フレームが前記対象物の捕獲された表面を定める複数の頂点を有する該対象物の一連の画像フレームをある一定の期間にわたって捕獲する段階と、
前記複数の頂点の１つ又はそれよりも多くを有する基準フレームを確立する段階と、
フレームからフレームの追跡を実行して、Ｎ−１）番目のフレーム又はそれ以前のフレームに基づいてＮ番目のフレーム内の頂点を識別する段階と、
基準からフレームの追跡を実行して前記基準フレームに基づいて前記Ｎ番目のフレーム内の頂点を識別し、該フレーム間の潜在的なドリフトに対抗する段階と、
を含むことを特徴とする方法。
【請求項１１】
各頂点が位置する表面の法線に最も近いカメラを選択し、前記フレームからフレーム及び基準からフレームの追跡を実行する段階、
を更に含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記フレームからフレームの追跡は、頂点を照合するための比較的大きい窓を用いて実行され、前記基準からフレームの追跡は、頂点を照合するための比較的小さい窓を用いて実行されることを特徴とする請求項１０に記載の方法。
【請求項１３】
各フレームの前記頂点に対する検索区域を定める異なる組のパラメータを用いて前記フレームからフレーム及び基準からフレームの追跡を再度実行する段階を更に含むことを特徴とする請求項１０に記載の方法。
【請求項１４】
各フレームＮで判明していない頂点の位置を隣接頂点の既知の位置に基づいて推定する段階、
を更に含むことを特徴とする請求項１０に記載の方法。
【請求項１５】
対象物のモーションを捕獲するためのコンピュータ実施式方法であって、
モーション捕獲セッション中にＮ個の頂点の複数の画像を含むモーション捕獲データを捕獲する段階と、
前記複数の画像にわたって追跡するために、Ｘ＜Ｎである前記Ｎ個の頂点のうちのＸ個を遡及的に識別する段階と、
前記複数の画像にわたって前記Ｘ個の頂点を追跡する段階と、
を含むことを特徴とする方法。
【請求項１６】
前記Ｘ個の頂点に含まれていない頂点を含む、前記Ｎ個の頂点のうちのＹ＜ＮであるＹ個を遡及的に識別し、前記複数の画像にわたって追跡する段階と、
前記複数の画像にわたって前記Ｙ個の頂点を追跡する段階と、
を更に含むことを特徴とする請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権の主張
本出願は、２００６年７月３１日出願の「モーションを行うためのシステム及び方法」という名称の米国特許仮出願第６０／８３４、７７１号の恩典を請求する。
【０００２】
本発明は、一般的にモーション捕獲の分野に関する。より具体的には、本発明は、モーション捕獲及び画像再構成を実施するための改善された装置及び方法に関する。
【背景技術】
【０００３】
一般的に「モーション捕獲」は、人間及び動物のモーションの追跡及び記録を意味する。モーション捕獲システムは、例えば、ビデオゲーム及びコンピュータ生成映画を含む様々な用途に用いられている。典型的なモーション捕獲セッションでは、「演技者」のモーションが捕獲され、コンピュータ生成キャラクターへと変換される。
【０００４】
図１に例示するように、モーション捕獲システムでは、複数のモーション追跡「マーカ」（例えば、マーカ１０１、１０２）が、演技者１００の身体上の様々な点に取り付けられる。これらの点は、人間の骨格の既知の制限に基づいて選択される。異なるモーション捕獲システムにおいて、異なる種類のモーション捕獲マーカが用いられる。例えば、「磁気」モーション捕獲システムでは、演技者に取り付けられるモーションマーカは、磁場内に測定可能なｘ、ｙ、ｚの乱れ、及びヨー、ピッチ、ロールを生成する能動コイルである。
【０００５】
対照的に、図１に例示するもののような光学モーション捕獲システムでは、マーカ１０１、１０２は、再帰性反射材料、すなわち、光を理想的には広範な入射角にわたってその到来する方向に反射して戻す材料から成る受動的球体である。再帰性反射マーカ１０１、１０２、及び演技者上の他のマーカから反射して戻されるＬＥＤ光を捕獲するために、各々がそのレンズの周囲にＬＥＤ１３０、１３１、１３２の環を有する複数のカメラ１２０、１２１、１２２が配置される。理想的には、再帰性反射ＬＥＤ光は、部屋の中のあらゆる光源よりも遙かに高輝度である。一般的に、特定のレベルの輝度よりも低い全ての光を排除するために、閾値関数が、カメラ１２０、１２１、１２２によって適用され、それにより、理想的には、反射マーカから反射される光は、部屋の中のあらゆる他の光から分離され、カメラ１２０、１２１、１２２は、マーカ１０１、１０２、及び演技者上の他のマーカからの光のみを捕獲する。
【０００６】
カメラに結合されたモーション追跡ユニット１５０は、マーカ１０１、１０２の各々の相対位置、及び／又は演技者の身体の既知の制限によってプログラムされる。これらの情報、及びカメラ１２０〜１２２から供給される視覚データを用いて、モーション追跡ユニット１５０は、モーション捕獲セッション中の演技者の移動を表す人工的なモーションデータを生成する。
【０００７】
グラフィック処理ユニット１５２は、演技者の動画表現をコンピュータディスプレイ１６０（又は同様の表示デバイス）上にモーションデータを用いてレンダリングする。例えば、グラフィック処理ユニット１５２は、捕獲された演技者のモーションを異なる動画キャラクターに適用し、及び／又は異なるコンピュータ生成場面内にこれらの動画キャラクターを含めることができる。一実施例では、モーション追跡ユニット１５０及びグラフィック処理ユニット１５２は、コンピュータのバスに結合されたプログラマブルカードである（例えば、多くのパーソナルコンピュータに見られるＰＣＩ及びＡＧＰバス等）。モーション捕獲システムを生産する１つの公知の会社は、「Ｍｏｔｉｏｎ  Ａｎａｌｙｓｉｓ  Ｃｏｒｐｏｒａｔｉｏｎ」である（例えば、ｗｗｗ．ｍｏｔｉｏｎａｎａｌｙｓｉｓ．ｃｏｍを参照されたい）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許仮出願第６０／８３４、７７１号
【特許文献２】米国特許出願番号第１０／９４２、６０９号
【特許文献３】米国特許出願番号第１０／９４２、４１３号
【特許文献４】米国特許出願番号第１１／２５５、８５４号
【特許文献５】米国特許出願番号第１１／０７７、６２８号
【非特許文献】
【０００９】
【非特許文献１】ｗｗｗ．ｍｏｔｉｏｎａｎａｌｙｓｉｓ．ｃｏｍ
【非特許文献２】Ｂｒｉａｎ  Ｃｕｒｌｅｓｓ及びＭａｒｃ  Ｌｅｖｏｙ著「範囲画像から複雑なモデルを構成するための容積法」、スタンフォード大学、ｈｔｔｐ：／／ｇｒａｐｈｉｃｓ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｐａｐｅｒｓ／ｖｏｌｒａｎｇｅ／ｐａｐｅｒ１ｌｅｖｅｌ／ｐａｐｅｒ．ｈｔｍｌ
【非特許文献３】Ｌｏｒｅｎｓｅｎ、Ｗ．Ｅ．及びＣｌｉｎｅ、Ｈ．Ｅ．著「マーチングキューブ：高解像度３Ｄ表面再構成アルゴリズム」、コンピュータグラフィクス、第２１巻、ｐｐ１６３〜１６９（ＳＩＧＧＲＡＰＨ会報）、１９８７年
【発明の概要】
【課題を解決するための手段】
【００１０】
蛍光ランプを用いて対象物に対してモーション捕獲を実施するためのシステム及び方法を説明する。例えば、本発明の一実施形態によるシステムは、１つ又はそれよりも多くの同期信号を生成する同期信号発生器、１つ又はそれよりも多くの同期信号のうちの第１のものに応答してストロボ点滅するように構成され、モーション捕獲セッションのための対象物に付加された発光メーキャップ、塗料、又は染料をチャージする１つ又はそれよりも多くの蛍光ランプ、及び発光塗料の画像を捕捉するために光源のストロボ作動と同期してストロボ作動するシャッターを有する複数のカメラを含み、これらのシャッターは、光源が消灯している時に開き、光源が点灯している時に閉じる。
【００１１】
本発明のより明快な理解は、図面と連係する以下の詳細説明から得ることができる。
【図面の簡単な説明】
【００１２】
【図１】再帰性反射マーカ及びカメラを用いて演技者のモーションを追跡するための従来技術のモーション追跡システムの図である。
【図２ａ】照明パネルが点灯している時の時間間隔中の本発明の一実施形態の図である。
【図２ｂ】照明パネルが暗い時の時間間隔中の本発明の一実施形態の図である。
【図３】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図４】点灯時及び暗時の時間間隔中のモデル上に重度に付加された発光メーキャップの画像、並びに結果として生じる再構成された３Ｄ表面及びテクスチャ付き３Ｄ表面の画像を示す図である。
【図５】点灯時及び暗時の両方の時間間隔中にモデル上のベースメーキャップと混合された発光メーキャップの画像、並びに結果として生じる再構成された３Ｄ表面及びテクスチャ付き３Ｄ表面の画像を示す図である。
【図６】点灯時及び暗時の両方の時間間隔中に衣服に付加された発光メーキャップの画像、並びに結果として生じる再構成された３Ｄ表面及びテクスチャ付き３Ｄ表面の画像を示す図である。
【図７ａ】従来技術のストップモーションアニメーション舞台の図である。
【図７ｂ】ストップモーションキャラクターとセットが合わせて捕獲される本発明の一実施形態の図である。
【図７ｃ】ストップモーションセットがキャラクターとは別々に捕獲される本発明の一実施形態の図である。
【図７ｄ】ストップモーションキャラクターがセット及び他のキャラクターとは別々に捕獲される本発明の一実施形態の図である。
【図７ｅ】ストップモーションキャラクターがセット及び他のキャラクターとは別々に捕獲される本発明の一実施形態の図である。
【図８】ＺｎＳ：Ｃｕ燐光体の励起及び発光スペクトル、並びにある一定の蛍光及びＬＥＤ光源の発光スペクトルを示すグラフである。
【図９】従来技術の蛍光ランプの図である。
【図１０】従来技術の蛍光ランプバラスト、並びに本発明の目的のためにこのバラストを修正する同期制御回路の一実施形態の回路図である。
【図１１】図９の同期制御回路によって修正された蛍光ランプバラストによって駆動される蛍光ランプ光出力を示すオシロスコープトレースの図である。
【図１２】図９の同期制御回路によって修正された蛍光ランプバラストによって駆動される蛍光ランプ光出力の減衰曲線を示すオシロスコープトレースの図である。
【図１３】蛍光ランプフィラメントの残光、及びフィラメントを覆うための布粘着テープの使用図である。
【図１４】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図１５】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図１６】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図１７】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図１８】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図１９】照明パネルが点灯している時間間隔中の本発明のカメラ、照明パネル、及び同期サブシステムの一実施形態の図である。
【図２０】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図２１】本発明の一実施形態による照明パネルとシャッターの間の同期を示すタイミング図である。
【図２２】燐光体の輝度を示す上で色が用いられる本発明の一実施形態の図である。
【図２３】表面からの距離の関数として重み付けする図である。
【図２４】表面の法線の関数として重み付けする図である。
【図２５】表面からの距離の関数としてのスカラー場の図である。
【図２６】多重範囲データセットから３Ｄ表面を構成するための処理の一実施形態の図である。
【図２７】複数のフレームに対する頂点追跡の方法の一実施形態の図である。
【図２８】単一フレームの頂点追跡の方法の一実施形態である。
【発明を実施するための形態】
【００１３】
下記において、シャッター同期及び／又は発光メーキャップ、塗料、又は染料を用いて、改善されたモーション捕獲を実施するための装置及び方法を説明する。以下の説明では、本発明の完全な理解を可能にするために、説明目的で多くの特定の詳細内容を示している。しかし、これらの特定の詳細内容のうちの一部を用いずに本発明を実施することができることは当業者には明らかであろう。他の場合では、本発明の基礎を成す原理を不明瞭にすることを回避するために、公知の構造及びデバイスをブロック図形態で示している。
【００１４】
本出願の出願人は、色符号化モーション捕獲を実施するためのシステム、及び演技者の顔面上に塗着された反射性を有する一連の曲線を用いたモーション捕獲を実施するためのシステムをこれまでに開発している。これらのシステムは、２００４年９月１５日出願の「演技者のモーション及び／又は表情を捕獲するための装置及び方法」という名称の現在特許出願中の出願番号第１０／９４２、６０９号、及び出願番号第１０／９４２、４１３号に説明されている。これらの出願は、本発明の出願人に譲渡されており、引用によって本明細書に組み込まれている。
【００１５】
また本出願の出願人は、表面に付加された不規則パターンのモーション捕獲を実施するためのシステムもこれまでに開発している。このシステムは、２００５年１０月２０日出願の「補捉表面上の不規則パターンを用いてモーション捕獲を実施するための装置及び方法」という名称の現在特許出願中の出願番号第１１／２５５、８５４号に説明されている。本出願は、本出願の出願人に譲渡されており、引用によって本明細書に組み込まれている。
【００１６】
同じく本出願の出願人は、シャッター同期及び発光塗料を用いてモーション捕獲を実施するためのシステムもこれまでに開発している。このシステムは、２００５年３月１０日出願の「シャッター同期を用いてモーション捕獲を実施するための装置及び方法」という名称の現在特許出願中の出願番号第１１／０７７、６２８号に説明されている。要約すると、シャッター同期用途では、モーション捕獲システムの効率は、発光塗料又はメーキャップを用い、モーション捕獲カメラのシャッターと塗着された曲線の照射との間の同期を正確に制御することによって改善される。本出願は、本出願の出願人に譲渡されており、引用によって本明細書に組み込まれている。
【００１７】
システムの概要
これらの現在特許出願中の出願において説明されているように、演技者の顔面上の個別のマーク付けされた点又はマーカではなく、演技者の顔面上にメーキャップとして付加された曲線又は不規則パターンを解析することにより、モーション捕獲システムは、従来のマーク付けされた点又はマーカベースの追跡システムよりも有意に多くの表面データを生成することができる。不規則パターン又は曲線は、無毒の再帰性反射塗料、又は劇場のためのメーキャップを用いて演技者の顔面上に塗着される。本発明の一実施形態では、無毒のメーキャップは、不規則パターン又は曲線を作成する上に用いられる。発光塗料又はメーキャップを同期化された照明及びカメラシャッターと組み合わせて利用することにより、モーション捕獲システムは、演技者の顔面に付加されたパターンを顔面の通常照射画像、又は光輝部及び陰影部のような通常照射の他の歪みからより確実に分離することができる。
【００１８】
図２ａ及び２ｂは、不規則パターンの発光メーキャップが演技者の顔面に付加され、モーション捕獲システムが光遮断空間内で作動する上記現在特許出願中の出願において説明されている例示的モーション捕獲システムを示している。図２ａに例示しているように、同期化された照明パネル２０８〜２０９が点灯している時には、演技者の顔面は、画像２０２に見られるように見える（すなわち、発光メーキャップは若干しか見ることができない）。図２ｂに例示しているように、同期化された照明パネル２０８〜２０９（例えば、ＬＥＤアレイ）が消灯している時には、演技者の顔面は、画像２０３に見られるように見える（すなわち、発光メーキャップの輝きしか見ることができない）。
【００１９】
グレースケール暗時カメラ２０４〜２０５は、同期信号発生器ＰＣＩカード２２４（例示的ＰＣＩカードは、米国Ａｕｓｔｉｎ、Ｔｅｘａｓ所在の「Ｎａｔｉｏｎａｌ  Ｉｎｓｔｒｕｍｅｎｔｓ」によって製造されているＰＣＩ−６６０１である）を用いて照明パネル２０８〜２０９に同期化され、同期信号発生器ＰＣＩカード２２４は、データ処理システム２１０に結合された同期信号発生器ＰＣ２２０のＰＣＩバスに結合され、それによってシステム全体が互いに同期化される。「照明パネル同期」信号２２２は、信号２２２が高（すなわち、≧２．０Ｖ）の時に照明パネル２０８〜２０９が点灯され、信号２２２が低（すなわち、≦０．８Ｖ）の時に照明パネルが消灯されるように、照明パネル２０８〜２０９にＴＴＬレベル信号を供給する。「暗時カメラ同期」信号２２１は、信号２２１が低の時にカメラ２０４〜２０５のシャッターが開いて、各カメラ２０４〜２０５が画像を捕獲し、信号２２１が高の時にシャッターが閉じて、これらのカメラが、捕獲された画像をカメラコントローラＰＣ２０５に伝達するようにグレースケール暗時カメラ２０４〜２０５にＴＴＬレベル信号を供給する。同期タイミング（下記に詳細に説明する）は、照明パネル２０８〜２０９が消灯している時（「暗時」間隔）に、カメラ２０４〜２０５がシャッターを開いてフレームを捕獲するようなものである。その結果、グレースケール暗時カメラ２０４〜２０５は、発光メーキャップの出力のみの画像を捕獲する。同様に、「点灯時カメラ同期」２２３は、信号２２１が低である時にカメラ２０４〜２０５のシャッターが開いて、各カメラ２０４〜２０５が画像を捕獲し、信号２２１が高の時にシャッターが閉じて、これらのカメラが、捕獲された画像をカメラコントローラコンピュータ２２５に伝達するように、カラー点灯時カメラ２１４〜２１５にＴＴＬレベル信号を供給する。カラー点灯時カメラ２１４〜２１５は、照明パネル２０８〜２０９が点灯している時（「点灯時」間隔）に、これらのカメラのシャッターを開いてフレームを捕獲するように同期化される（下記に詳細に説明するように）。その結果、カラー点灯時カメラ２１４〜２１５は、照明パネルによって照射される演技者の顔面の画像を捕獲する。
【００２０】
グレースケールカメラ２０４〜２０５のシャッターは、通常は照明パネル２０８〜２０９が暗い時にしか開かないとから、本明細書では、グレースケールカメラ２０４〜２０５を「暗時カメラ」又は「暗時カム」と呼ぶ場合がある。同様に、カラーカメラ２１４〜２１５は、通常は照明パネル２０８〜２０９が点灯している時にしか開かないので、本明細書では、カラーカメラ２１４〜２１５を「点灯時カメラ」又は「点灯時カム」と呼ぶ場合がある。一実施形態では、グレースケール及びカラーカメラは、各照明段階で明確に限定して用いられ、他の実施形態では、グレースケールカメラ又はカラーカメラのいずれかをいずれの照明段階にも用いることができる。
【００２１】
一実施形態では、照明パネル２０８〜２０９は、９０点滅毎秒で迅速に点滅され（「照明パネル同期」信号２２２からの９０Ｈｚの矩形波で駆動される）、上述のようにカメラ２０４〜２０５及び２１４〜２０５は、これらに同期化される。９０点滅毎秒では、照明パネル２０８〜２０９は、大部分の人間が知覚することができるものよりも早い速度で点滅しており、演技者（並びにモーション捕獲セッションのあらゆる観測者）は、部屋が絶え間なく照射されているように知覚し、点滅に気付かず、演技者は、点滅する照明パネル２０８〜２０９によって注意を逸らされることなく演技を進めることができる。
【００２２】
上記現在特許出願中の出願において詳細に説明されているが、カメラ２０４〜２０５及び２１４〜２１５によって捕獲される画像は、カメラコントローラ２２５（中央モーション捕獲コントローラ２０６によって調整される）によって記録され、すなわち、記録される画像及び画像シーケンスは、データ処理システム２１０によって処理される。様々なグレースケール暗時カメラからの画像は、顔面２０７の３Ｄ表面の幾何学形状が判断されるように処理される。捕獲されたカラー点灯時画像を顔面２０７の表面幾何学形状の上にマップするために、データ処理システム２１０による更に別の処理を用いることができる。顔面上の表面点をフレームからフレームへと追跡するために、データ処理システム２１０による更に別の処理を用いることができる。
【００２３】
一実施形態では、カメラコントローラ２２５及び中央モーション捕獲コントローラ２０６の各々は、別々のコンピュータシステムを用いて実施される。代替的に、カメラコントローラ及びモーション捕獲コントローラは、単一のコンピュータシステム上で実行されるソフトウエアとして、又はハードウエアとソフトウエアとのいずれかの組合せとして実施することができる。一実施形態では、カメラコントローラコンピュータ２２５は、２Ｇバイトのランダムアクセスメモリ（ＲＡＭ）及び「Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎ」からの「２．１６ＧＨｚ  Ｉｎｔｅｌ  Ｃｏｒｅ  Ｄｕｏ」中央演算処理装置を有する「ＭＳＩ  Ｃｏｍｐｕｔｅｒ  Ｊａｐａｎ  Ｃｏ．、Ｌｔｄ．」（〒１０１−００３１東京都千代田区東神田１−１７−６、Ｃ＆Ｋビル６Ｆ）からの「９４５ＧＴ  Ｓｐｅｅｄｓｔｅｒ−Ａ４Ｒ」マザーボード、及び米国カリフォルニア州レークフォレスト所在の「Ｗｅｓｔｅｒｎ  Ｄｉｇｉｔａｌ」からの「３００ＧバイトＳＡＴＡ」ハードディスクを各々用いるラックマウントコンピュータである。カメラ２０４〜２０５及び２１４〜２１５は、「ＩＥＥＥ  １３９４」ケーブルを通じてカメラコントローラコンピュータ２２５にインタフェースで接続される。
【００２４】
別の実施形態では、中央モーション捕獲コントローラ２０６は、同期信号発生器ＰＣ２２０としての役割も達成する。更に別の実施形態では、同期信号発生器ＰＣＩカード２２４は、同期信号発生器ＰＣ２２０の並列ポート出力を用いることによって置換される。そのような実施形態では、並列ポートのＴＴＬレベル出力の各々は、同期信号発生器ＰＣ２２０上で実行されるアプリケーションによって制御され、各ＴＴＬレベル出力を望ましい信号タイミングに従って高状態又は低状態に切り換える。例えば、ＰＣ２２０の並列ポートのビット０は、同期信号２２１を駆動するのに用いられ、ビット２は信号２２４を駆動するのに用いられる。しかし、本発明の基礎を成す原理は、同期信号を生成するためのいかなる特定の機構にも限定されない。
【００２５】
本発明の一実施形態に用いられる光源とカメラの間の同期を図３に例示する。この実施形態では、「照明パネル同期」及び「暗時カメラ同期」信号２２１及び２２２は、互いに同位相にあり、その一方で「点灯時カメラ同期」信号２２３は、信号２２１／２２２の逆である。一実施形態では、同期信号は、０から５ボルトの間で反復する。同期信号２２１及び２２３に応答して、カメラ２０４〜２０５及び２１４〜２１５のシャッターは、図３に示しているようにそれぞれ周期的に開閉される。同期信号２２２に応答して、照明パネルは、図３に示しているように周期的にそれぞれ消灯及び点灯される。例えば、同期信号２２３の立ち下がりエッジ３１４、並びに同期信号２２１及び２２２の立ち上がりエッジ３２４及び３３４では、それぞれ、点灯時カメラ２１４〜２１５のシャッターは開かれ、暗時カメラ２０４〜２１５のシャッターは閉じられ、照明パネルは、立ち上がりエッジ３４４によって示すように明るくなる。シャッターは、時間間隔３０１にわたってそれぞれの状態のままに留まり、照明パネルは明るくなる。次に同期信号２２３の立ち上がりエッジ３１２、並びに同期信号２２１及び２２２の立ち下がりエッジ３２２及び３３２では、それぞれ、点灯時カメラ２１４〜２１５のシャッターは閉じられ、暗時カメラ２０４〜２１５のシャッターは開かれ、照明パネルは、立ち下がりエッジ３４２で示しているように消灯される。シャッター及び照明パネルは、時間間隔３０２にわたってこの状態のままにされる。次にこの処理は、各連続フレーム時間間隔３０３にわたって繰り返される。
【００２６】
その結果、１回目の時間間隔３０１中には、通常点灯時画像が、カラー点灯時カメラ２１４〜２１５によって捕獲され、発光メーキャップは、照明パネル２０８〜２０９からの光で照射される（及びチャージされる）。２回目の時間間隔３０２中には、光は消灯され、グレースケール暗時カメラ２０４〜２０５は、演技者上で輝く発光メーキャップの画像を捕獲する。２回目の時間間隔３０２中は、照明パネルは消灯しているので、発光メーキャップと発光メーキャップのない部屋の中のあらゆる表面の間の輝度比は極めて高く（すなわち、部屋の残りは暗黒又は少なくとも非常に暗く、その結果、燐光発光からの反射光以外に部屋の中の表面から反射する著しい光は存在しない）、それによって演技者の顔面に付加された様々なパターンを区別するためのシステムの機能が改善される。更に、照明パネルは、半分の時間は点灯しているので、演技者は、演技中に部屋中を見ることができることになり、また発光メーキャップは絶えず再チャージされる。同期信号の周波数は、１／（時間間隔３０３）であり、演技者が、照明パネルが点灯及び消灯されていることを気付くことさえなくなるような高速度に設定することができる。例えば、９０Ｈｚ又はそれよりも大きい点滅速度では、事実上全ての人間は、光が点滅していることを知覚することができず、光が継続的に照射されるように見える。心理物理学的な用語では、人間によって高周波数点滅光が継続的に照射されていると知覚された時には、「融合」に到達したと呼ばれる。一実施形態では、照明パネルは、１２０Ｈｚで反復され、別の実施形態では、照明パネルは１４０Ｈｚで反復され、これらの両方の周波数は、いかなる人間の融合閾値をも遥かに超える。しかし、本発明の基礎を成す原理は、いかなる特定の周波数にも限定されない。
【００２７】
燐光不規則パターンを用いた皮膚表面の補捉
図４は、上述の方法を用いて捕獲された画像、並びにこれらの画像から再構成された３Ｄ表面及びテクスチャ付き３Ｄ表面を示している。画像を捕獲する前に、角質除去スポンジを用いて白人のモデルの顔面に発光メーキャップを付加した。銅活性剤を有する発光硫化亜鉛（ＺｎＳ：Ｃｕ）は、メーキャップの燐光性質の元になる燐光体である。発光硫化亜鉛のこの特定の調合法は、メーキャップ料のためのＦＤＡ色素添加物規制法２１、ＣＦＲ第７３部によって認可されている。特定の銘柄は、米国ニューヨーク州１０９７７、チェスナットリッジ、レッドスクールハウスロード１００所在の「Ｍｅｈｒｏｎ  Ｉｎｃ．」によって製造されている「Ｆａｎｔａｓｙ  Ｆ／ＸＴ  Ｔｕｂｅ  Ｍａｋｅｕｐ」、製品番号：ＦＦＸ、カラー指定：ＧＬである。これらの画像を発生させたモーション捕獲セッションは、モデルの顔面を複数の角度から囲む８つのグレースケール暗時カメラ（カメラ２０４〜２０５のような）、及び点灯時画像４０１に見られる見え方をもたらす角度からモデルの顔面に向けられた１つのカラー点灯時カメラ（カメラ２１４〜２１５のような）を利用した。グレースケールカメラは、ドイツ、２２９２６  Ａｈｒｅｎｓｂｕｒｇ、Ａｎ  ｄｅｒ  Ｓｔｒｕｓｂｅｋ  ６０−６２所在の「Ｂａｓｌｅｒ  ＡＧ」からのモデルＡ３１１ｆであり、カラーカメラは、ＢａｓｌｅｒのモデルＡ３１１ｆｃであった。照明パネル２０８〜２０９は、７２点滅毎秒の速度で点滅した。
【００２８】
点灯時画像４０１は、照明パネル２０８〜２０９が点灯しており、カラー点灯時カメラ２１４〜２１５のシャッターが開いている点灯時間隔３０１中にカラー点灯時カメラ２１４〜２１５のうちの１つによって捕獲された演技者の画像を示している。発光メーキャップは、演技者の顔面、特に口唇上で非常に明瞭に見ることができることに注意されたい。
【００２９】
暗時画像４０２は、照明パネル２０８〜２０９が消灯しており、グレースケール暗時カメラ２０４〜２０５のシャッターが開いている暗時間隔３０２中にグレースケール暗時カメラ２０４〜２０５のうちの１つによって捕獲された演技者の画像を示している。発光メーキャップの不規則パターンのみをそれが付加された表面上に見ることができることに注意されたい。演技者の頭髪、目、歯、耳、及び首を含む画像内の全ての他の表面は完全に黒色である。
【００３０】
３Ｄ表面４０３は、複数の角度からモデルの顔面に向けられたグレースケール暗時カメラ２０４〜２０５（この例では、各々が、異なる角度からの単一の暗時画像４０２を発生させる８個のグレースケール暗時カメラを用いている）からの暗時画像４０２から再構成された表面のレンダリング画像を示している。この画像を作成するために用いることができる１つの再構成処理は、２００５年１０月２０日出願の現在特許出願中の「補捉表面上の不規則パターンを用いてモーション捕獲を実施するための装置及び方法」という名称の出願番号第１１／２５５、８５４号に詳述されている。３Ｄ表面４０３は、発光メーキャップが付加された表面からのみ再構成したことに注意されたい。また、３Ｄ表面４０３を発生させるために用いた技術の特定的な実施形態は、平坦な表面で３Ｄ表面内の空洞（例えば、この例では目及び口）を埋める。
【００３１】
テクスチャ付き３Ｄ表面４０４は、点灯時画像４０１がテクスチャマップとして用いられ、３Ｄ表面４０３上にマップされ、ある一定の角度でレンダリングされたことを示している。テクスチャ付き３Ｄ表面４０４は、モデルの顔面のコンピュータ生成３Ｄ画像であるが、この画像は、人間の目には、画像４０４にあるようにある角度でレンダリングされると十分に現実的に見え、モデルが顔を回して実際にある角度で注視しているような錯覚を作成する。モデルの目及び歯には発光メーキャップが付加されておらず、目及び歯の画像は、３Ｄ表面内のこれらの空洞を埋める平坦な表面上にマップされることに注意されたい。それにも関わらず、３Ｄ表面の残りの部分は非常に正確に再構成され、結果として生じるテクスチャ付き３Ｄ表面４０４は、フォトリアリズムに迫る。この処理が、テクスチャ付き３Ｄ表面４０４の連続フレームを作成するのに適用されると、フレームが実時間で再生された時に、連続フレームが、側方の角度から見たモデルのコンピュータ生成３Ｄ画像であるのにも関わらず、リアリズムのレベルは、不慣れな目には連続フレームがモデルの実際のビデオに見えるようなものである。
【００３２】
テクスチャ付き３Ｄ表面４０４は、コンピュータ生成３Ｄ画像を発生させるので、そのようなコンピュータ生成画像は、捕獲されたモデルの実際のビデオよりも遥かに高い柔軟性を伴って操作することができる。実際のビデオでは、ビデオが撮影された角度以外のいかなるカメラ角度からも、ビデオ内の物体を示すことは、多くの場合に実用的ではない（又は不可能である）。コンピュータ生成３Ｄでは、画像は、あらゆるカメラ角度から見られるかのようにレンダリングすることができる。実際のビデオでは、一般的に物体をその背景から分離するのに緑色スクリーン又は青色スクリーンを用いることが必要であり（例えば、ＴＶの気象予報士を天気図の前に合成することができるように）、次にこの緑色又は青色のスクリーンを背景とした物体を、物体を撮影しているカメラの視点から提供することしかできない。今ここで説明した技術を用いると、緑色／青色スクリーンは必要ではない。発光メーキャップ、塗料、又は染料が、捕獲するべき望ましい区域に付加され（例えば、気象予報士の顔面、身体、及び衣服）、次に背景全体が物体から分離されることになる。更に、物体は、あらゆるカメラ角度から提供することができる。例えば、気象予報士は、真正面の撮影ショット、又は側方の角度の撮影ショットから示すことができ、それでもなお天気図の前に合成することができる。
【００３３】
更に３Ｄ生成画像は、３Ｄで操作することができる。例えば、３Ｄメッシュ操作ツール（「Ａｕｔｏｄｅｓｋ、Ｉｎｃ．」によって販売されているＭａｙａにあるもの等）を用いると、演技者が、自身の鼻が異なるサイズにある方が見栄えが良いと感じた場合の見かけ上の理由で、又は演技者を「Ｌｏｒｄ  ｏｆ  ｔｈｅ  Ｒｉｎｇｓ」のＧｏｌｌｕｍのような空想的キャラクターのように見せるための化け物効果としてのいずれにおいても、鼻を低くしたり、又は高くすることができる。更に、拡張的な３Ｄ操作は、演技者を老けて見せるために演技者の顔面に皺を加えるか、又は演技者を若く見せるために皺を伸ばすことができる。例えば、笑顔から不興顔へと演技者の表情を変更するように顔面を操作することができる。従来の２Ｄビデオ補捉ではいくつかの２Ｄ操作が可能であるが、一般的にこれらの操作は、カメラの視点からの操作に限定される。ビデオシーケンス中にモデルが顔を回すと、顔がカメラを向いている時に加えられた２Ｄ操作は、顔が回った時に変更しなければならなくなる。３Ｄ操作は、顔がいずれに回るかに関わらず変更する必要がない。その結果、テクスチャ付き３Ｄ表面４０４の連続フレームをビデオシーケンスで作成する上述の技術は、物体を捕獲し、この捕獲された物体が実際のビデオに似ているように見え、それにも関わらずコンピュータ生成３Ｄ物体として操作の柔軟性を有することを可能にし、ビデオ、動画、及び同様にビデオゲーム（プレーヤがキャラクターを３Ｄで操作することができる）の制作において大きな利点を提供する。
【００３４】
図４では、点灯時画像４０１のモデルの顔面上で発光メーキャップを見ることができ、黄色の粉末が演技者の顔面上に散ったように見えることに注意されたい。この粉末は、特に演技者の下唇上で顕著であり、唇の色は、赤色から黄色にほぼ完全に変化している。これらの変色はテクスチャ付き３Ｄ表面４０４に見られ、例えば、人種的にアフリカ人である浅黒い肌のモデルではより一層顕著になる。多くの用途（例えば、Ｇｏｌｌｕｍのような空想的３Ｄキャラクターを作成する）は、３Ｄ表面４０３のみを必要とし、テクスチャ付き３Ｄ表面４０４は、モーション捕獲セッションの監督に対して、又は３Ｄ表面４０３を操作する３Ｄアニメーション制作者の参考としての役割を達成するのみである。しかし、一部の用途では、モデルの皮膚の実際の皮膚色を維持することが重要であり、発光メーキャップによる変色は望ましくない。
【００３５】
発光メーキャップをベースと混合して用いる表面補捉
図５は、８つのグレースケール暗時カメラ（２０４〜２０５のような）、１つのカラーカメラ（２１４〜２１５のような）を用いて同じ条件下で捕獲され、作成された図４と同様の画像の組を示しており、点灯時画像５０１は、照明アレイ２０８〜９が点灯している時の時間間隔中にカラー点灯時カメラによって捕獲され、暗時画像５０２は、照明アレイ２０８〜９が消灯している時に８つのグレースケール暗時カメラのうちの１つによって捕獲された。３Ｄ表面５０３は、８つのグレースケール暗時カメラからの８つの暗時画像５０２から再構成され、テクスチャ付き３Ｄ表面５０４は、点灯時画像５０１を３Ｄ表面５０４にテクスチャマップしたレンダリングである（画像４０４とは異なり、画像５０４は、点灯時画像５０１を捕獲したカラー点灯時カメラのカメラ角度と同様のカメラ角度からレンダリングされている）。
【００３６】
しかし、図５の画像と図４の画像の間には顕著な差が存在する。点灯時画像４０１及びテクスチャ付き３Ｄ表面４０４では顕著に見ることができた発光メーキャップは、点灯時画像５０１及びテクスチャ付き３Ｄ表面５０４では殆ど見ることができない。この理由は、図４のモーション捕獲セッションにおいて行われたように、モデルに発光メーキャップをその純粋な形態で付加する代わりに、図５に例示している実施形態では、発光メーキャップをメーキャップベースと混合し、その上でモデルに付加したためである。用いたメーキャップベースは、「Ｃｏｖｅｒ  Ｇｉｒｌ」によって製造されている「Ｂｕｆｆ  Ｂｅｉｇｅ」色の「Ｃｌｅａｎ  Ｍａｋｅｕｐ」であり、図４の撮影に用いたものと同じ発光メーキャップと８０％の発光メーキャップ及び２０％のベースメーキャップの割合で混合したものである。
【００３７】
発光メーキャップをメーキャップベースと混合することで、暗時間隔３０２中の燐光の輝度が低減されることに注意されたい。この低減にも関わらず、燐光強度は、暗時画像５０２を発生させるのに依然として十分であり、３Ｄ表面５０３を再構成するための８つのグレースケール暗時カメラからの暗時画像において十分なダイナミックレンジが存在する。上述のように、一部の用途は、モデルの皮膚色の正確な補捉を必要とせず、この場合、発光メーキャップをベースと混合しない方が有利であり、従って、暗時間隔３０２中のより高い燐光強度の恩典が得られる（例えば、より高い輝度は、カメラレンズにおいてより小さい絞り設定を可能にし、それによってより深い被写界深度が可能になる）。しかし、一部の用途は、モデルの皮膚色の正確な補捉を確かに必要とする。そのような用途では、発光メーキャップをベース（モデルの皮膚の色調に適合する色の）メーキャップと混合し、低い燐光強度という拘束条件内で機能させる方が有利である。また、ある程度の燐光体可視性は満足できるが、点灯時画像４０１で見られる可視性レベルではない用途も存在する。そのような用途では、ベースに対してより高い百分率の発光メーキャップを混合することにより、皮膚色の精度及び燐光強度に関して程良い状態を見つけることができる。
【００３８】
別の実施形態では、発光硫化亜鉛（ＺｎＳ：Ｃｕ）がその原形態でベースメーキャップと混合され、モデルの顔面に付加される。
【００３９】
燐光不規則パターンを有する織物の表面補捉
別の実施形態では、上述の技術は、衣服を捕獲する上に用いられる。図６は、図４に用いられたものと同じ発光メーキャップを上にスポンジで塗着することによる衣服（絹製の寝間着の上着の一部）の補捉を示している。この補捉は、８つのグレースケール暗時カメラ（２０４〜２０５のような）及び１つのカラー点灯時カメラ（２１４〜２１５のような）による同一条件の下で行った。発光メーキャップは、点灯時間隔３０１中の点灯時フレーム６０１の表面を若干変色しているのを見ることができるが、暗時間隔３０２中の「暗時フレーム」６０２では高輝度で燐光を発しているのを見ることができる。「３Ｄ表面」６０３は、「３Ｄ表面」４０３及び５０３を再構成するのに用いられたものと同じ技術を用いて、８つのカメラの「暗時フレーム６０２」から再構成される。更に、「点灯時画像」６０１は、「３Ｄ表面」６０３上にテクスチャマップされ、「テクスチャ付き３Ｄ表面」６０４が達成される。
【００４０】
図６は、補捉セッションにおいて、衣服が移動され、折られ、開かれる間に捕獲された数百のフレームのうちの１つである捕獲された衣服の単一フレームを示している。更に、各フレームでは、８つのグレースケールカメラのうちの少なくとも２つが、過度に斜角でない区域の見え方を有する限り（例えば、カメラの光軸がこの区域の表面法線の３０度以内である）、衣服の表面の各区域は、正確に捕獲されている。一部のフレームでは衣服が捩れ、衣服において深い折れ目の内部の区域ができ（照明パネル２０８〜２０９からの光を遮蔽する）、一部のフレームでは、衣服が湾曲して照明パネル２０８〜２０９からの光を反射して戻し、光輝部が達成された（すなわち、絹織物は光沢があった）。そのような照明条件は、陰影区域が正確な補捉に対しては暗過ぎ（例えば、カメラセンサのノイズレベルよりも小さい）、更に一部の光輝部が、正確な補捉に対しては輝度が高すぎるので（例えば、センサを過飽和にし、それによってセンサは区域全体を真っ白として読み取ってしまう）、点灯時間隔３０１中に反射光を用いて衣服の表面を正確に捕獲するのが不可能ではないにしろ、困難になる。しかし、暗時間隔３０２中には、衣服の深い折れ目の中にあるか、又は外部の湾曲部上にあるかに関わらず、発光メーキャップが非常に均一に光を発するので、そのような区域は容易に正確に捕獲される。
【００４１】
燐光体は、照明パネル２０８〜２０９からの直接のものではない拡散光又は反射光を含む燐光体上に入射するあらゆる光からチャージするので、折り目の内部にある燐光体であってもチャージされる（折れ目が非常に堅固に密着し、それによって光がその中に進入することができない場合を除くが、そのような場合には、いずれにせよカメラが折り目の中を捉えることができる見込みは低い）。これは、燐光体が、発光性を有し、光輝部又は陰影部の影響を受けず、グレースケール暗時カメラ２０４〜２０５によって捉えられるパターンにおいて、暗過ぎる区域又は輝度が高すぎる区域のいずれも持たない非常に均一な輝度レベルを発生させるので、捕獲するべき表面上に（又は表面内に注入される）パターンを作成するのに発光メーキャップ（又は塗料又は染料）を利用する著しい利点を示している。
【００４２】
発光メーキャップを表面に付加するのではなく、燐光染料又は発光塗料を用いて、それぞれ染着又は塗着する別の利点は、染料又は塗料では表面上の燐光パターンをモーション捕獲セッション全体を通じて不変のものとすることができるという点である。メーキャップはその本性により、除去することができるように設計され、演技者は、通常は１日のモーション捕獲撮影の終了時、そうでないとしても就寝する前にはほぼ確実に発光メーキャップを除去することになる。多くの場合に、モーション捕獲セッションは何日かに跨っており、及びその結果、通常は発光メーキャップの新たな付加がモーション捕獲撮影の前に毎日演技者に施される。一般的に発光メーキャップの各新たな付加は、異なる不規則パターンを生じることになる。現在特許出願中の出願において開示されている技術の１つは、捕獲された表面の頂点を追跡するものである（頂点追跡）。頂点追跡は、不規則パターンを捕獲された１つのフレームから次のものへと相関させることによって達成される。このようにして、捕獲された表面上の点をフレームからフレームへと辿ることができる。表面上の不規則パターンが同じままで限り、捕獲された表面上の点は、撮影から撮影へであっても追跡することができる。不規則パターンが発光メーキャップを用いて作られる場合には、一般的に、１日分のモーション捕獲撮影中にメーキャップが殆ど変動しないようにすることが実際的であるが（一部の区域は不明瞭になる可能性もあるが、メーキャップの大部分は、通常は除去されるまでは変化しないで留まる）、上述のようにメーキャップは、通常はその日の終了時点で除去される。従って、一般的に、日々同じ燐光不規則パターンを維持すること（及びそれにより、特定の不規則パターンを追跡することに基づく頂点追跡）は実際的ではない。しかし、織物のように皮膚以外の物体になると、不規則パターンを作成する上で燐光染料又は塗料を用いることができる。染料及び塗料は本質的に不変であるから、不規則パターンは、モーション捕獲セッション中に不明瞭にはならず、同じ不規則パターンは、日々変化しないことになる。それにより、不規則パターンを有する染色又は塗着物体の頂点追跡が、複数日のモーション捕獲セッション継続期間を通じて（又は実際に、必要に応答して長期の休止期間を横切って広がる複数のモーション捕獲セッションにわたって）同じ不規則パターンを追跡することが可能になる。
【００４３】
また皮膚は、反射光によって見た場合に陰影部及び光輝部の影響を受け易い。多くの場合に陰影部になる多くの凹区域（例えば、眼窩）が存在する。また皮膚は光沢がある場合があり、光輝部を引き起こし、その光沢を低減するためにメーキャップで覆ったとしても、演技者は、身体的な演技中に汗をかく可能性があり、汗ばんだ皮膚からの光沢が生じる。発光メーキャップは、光沢のある皮膚及び光沢のない皮膚の両方から、更に身体の凸区域（例えば、鼻梁）及び凹状部（例えば、眼窩）の両方から均一に発光する。汗は、発光メーキャップの発光強度に殆ど影響を及ぼさない。また発光メーキャップは、身体の折り畳まれる区域（例えば、瞼）内で折り畳まれる間にチャージし、それが開かれる時（例えば、演技者が瞬きする時）に均一に光を発する。
【００４４】
図６に戻り、発光メーキャップを点灯時フレーム６０１及びテクスチャ付き３Ｄ表面６０４の衣服の表面上に見ることができることに注意されたい。また画像では明らかではなく、衣服が動いている時に明らかである場合があるが、発光メーキャップは、絹織物の柔軟性に小さい影響を有する。別の実施形態では、衣服上に燐光パターンを作成するのに、発光メーキャップ（当然ながら皮膚への付加に向けて調合された）を用いる代わりに燐光染料が用いられる。燐光染料は、多くの製造業者から入手可能である。例えば、燐光染料を用いて暗闇で輝くパターンが印刷されたｔシャツを装飾小物店で見かけるのは一般的である。また染料は、燐光粉末（例えば、ＺｎＳ：Ｃｕ）を所定の種類の織物に適する既製の衣服染料と混合することによって手作業で調合することができる。例えば、米国カリフォルニア州サンラファエル、フォースストリート１６０４に店舗を有する「Ｄｈａｒｍａ  Ｔｒａｄｉｎｇ  Ｃｏｍｐａｎｙ」は、各染料がある一定の織物種類に向けて設計された多数の染料（例えば、「Ｄｈａｒｍａ  Ｆｉｂｅｒ  Ｒｅａｃｔｉｖｅ  Ｐｒｏｃｉｏｎ  Ｄｙｅ」は、全ての自然繊維のためのものであり、「Ｓｅｎｎｅｌｉｅｒ  Ｔｉｎｆｉｘ  Ｄｅｓｉｇｎ−Ｆｒｅｎｃｈ  Ｓｉｌｋ  Ｄｙｅ」は、絹及び羊毛のためのものである）、並びにそのような染料を調合するための基本化学薬品を在庫している。燐光粉末が、そのような調合法において顔料として用いられる場合には、所定の織物種類に適する染料が達成され、織物の柔軟性に対する影響が最小にしながら、織物に燐光パターンを染着することができる。
【００４５】
燐光不規則パターンによるストップモーションアニメーションキャラクターの表面補捉
別の実施形態では、燐光体は、ストップモーションアニメーションに用いられるキャラクター、小道具、背景セットにおける塑造粘土のようなシリコーン又は成形可能材料内に組み込まれる。ストップモーションアニメーションは、アニメーション動画及び動画の特殊効果に用いられる。例示的な従来技術のストップモーションアニメーション舞台を図７ａに例示する。最近のストップモーションアニメーションは、長編映画「Ｗａｌｌａｃｅ  ＆  Ｇｒｏｍｉｔ  ｉｎ  Ｔｈｅ  Ｃｕｒｓｅ  ｏｆ  ｔｈｅ  Ｗｅｒｅ−Ｒａｂｂｉｔ」（２００５年に公開されたアカデミー賞最優秀長編アニメーション映画賞受賞作品）（以下ＷＧと呼ぶ）、及び「Ｃｏｒｐｓｅ  Ｂｒｉｄｅ」（２００５年に公開されたアカデミー賞最優秀長編アニメーション映画賞ノミネート作品）（以下ＣＢと呼ぶ）である。ストップモーションアニメーションでは様々な技術が用いられる。ＷＧでは、一般的にキャラクター７０２〜７０３は、多くの場合にキャラクターに構造的安定性を与えるための合金属の骨組みの回りに巻かれた塑造粘土で作られている。ＣＢでは、キャラクター７０２〜７０３は、機械的な骨組みを有する人形から作成され、更に成形シリコーンで覆われるか（例えば、顔面に向けて）、又はいずれか他の材料で覆われる（例えば、衣服に向けて）。両方の映画におけるキャラクター７０２〜７０３は、複雑なセット７０１（例えば、都市街路、自然セット、又は建築物内部）内に配置され、これらのセットは、７０８〜７０９のような光で照らされ、７０５のようなカメラが所定位置に配置され、次にカメラ７０５（最新のストップモーションアニメーションでは、一般的にデジタルカメラである）によって１枚のフレームが撮影される。次に、場面内でモーション状態にある様々なキャラクター（例えば、革ひもを有する男７０２、及び犬７０３）が僅かだけ移動される。ＷＢの場合には、多くの場合に、移動は、粘土（更に可能性としてはその表面下にある骨組み）を変形するか、又はキャラクター７０２〜７０３の詳述部分を変更する（例えば、キャラクター７０２〜７０３が喋る時に、各フレームにおいてキャラクター上で異なる口の形状に切り換える）ことによって達成される。ＣＢの場合には、多くの場合に、モーションは、キャラクター人形７０２〜７０３の骨組みを調節することによって達成される（例えば、キャラクター人形７０２〜７０３の耳の中に挿入されたネジ回しは、骨組みを作動させてキャラクター７０２〜７０３の口を開かせるネジを回すことができる）。また、カメラ７０５が場面内で移動する場合には、カメラ７０５は、それを移動することを可能にする機構の上に配置され、各フレーム時点で若干移動される。場面内の全てのキャラクター７０２〜７０３及びカメラ７０５が移動された後に、カメラ７０５によって別のフレームが捕獲される。この骨の折れる処理が、撮影が完了するまでフレーム毎に続く。
【００４６】
ストップモーションアニメーション処理には、アニメーション制作者の表現の自由度及びモーションのリアリズムの程度の両方を制限し、制作時間及び経費を嵩ませる多くの困難が存在する。これらの困難のうちの１つは、図７ａに示すもののようなストップモーションアニメーション舞台上の複雑なセット７０１内で多くの複雑なキャラクター７０２〜７０３に命を吹き込むことである。多くの場合に、アニメーション制作者は、不用の意に何かに衝突しないように注意深く気を配りながら物理的にセットに登って入り込み、その上で多くの場合にサブミリメートル精度でキャラクター７０２〜７０３の表情に調節を加える必要がある。キャラクター７０２〜７０３が、互いに非常に近くにいる場合には、この調節は、更に一層困難になる。また時によっては、キャラクター７０２〜７０３を容易に倒れる可能性がある姿勢に置く必要がある（例えば、キャラクター７０２〜７０３が逆立ちを行っているか、又はキャラクター７０２〜７０３が飛んでいる）。これらの場合には、キャラクター７０２〜７０３は、カメラ７０５によって捉えられる可能性があるいずれかの支持構造体を必要とし、この場合この支持構造体は、ポストプロダクションにおいて撮影ショットから消去すべきである。
【００４７】
図７ｂのストップモーションアニメーション舞台によって例示する一実施形態では、燐光を発する粉末形態にある燐光体（例えば、硫化亜鉛）を塑造粘土内に混合する（練り混ぜる）ことができ、その結果、暗闇で燐光を発する不規則パターンを有する粘土表面が生じる。また硫化亜鉛粉末は、液体シリコーン内に、シリコーンを鋳型内に注入する前に混合することができ、その後シリコーンが乾燥して固化した時には、シリコーンは、にわたって分散された硫化亜鉛を有する。別の実施形態では、硫化亜鉛粉末は、鋳型の内面上に散布することができ、次に液体シリコーンを鋳型内に注入して固化することができる（硫化亜鉛が表面上に組み込まれた状態で）。更に別の実施形態では、硫化亜鉛は、塑造粘土又はシリコーンのいずれかの表面に付加される塗料と混合される。更に別の実施形態では、硫化亜鉛は、キャラクター７０２〜７０３が着用する織物内に染着されるか、又は小道具又はセット７０１に付加される塗料内に混合される。これらの実施形態の全てにおいて、結果として生じる効果は、場面内のキャラクター７０２〜７０３、小道具、及びセット７０１が、暗闇の中で不規則表面パターンを伴って燐光を発するというものである。
【００４８】
上述の様々な実施形態における硫化亜鉛の低い濃度では、照明パネル２０８〜２０８が点灯している時の望ましい場面照射の下では、硫化亜鉛はそれ程目立って見ることはできない。硫化亜鉛の正確な百分率は、硫化亜鉛が混合されるか、又は付加される特定の材料、材料の色、及びキャラクター７０２〜７０３、小道具、又はセット７０１の照明環境に依存する。しかし、実験的に、硫化亜鉛濃度は、キャラクター７０２〜７０３、小道具、又はセット７０１を用いるべき照明状況において、視覚的に認識できなくなるまで継続的に低減することができる。それにより、硫化亜鉛の非常に低い濃度及び非常に低い燐光発光が生じる可能性がある。通常この低い燐光発光は、ライブアクションのフレーム補捉では、低輝度の燐光パターンという重大な懸念になるが、ストップモーションアニメーションでは、定義によって場面は動いていないので、暗時フレーム補捉のシャッター時間を極めて長くすることができる（例えば、１秒又はそれよりも長く）。長いシャッター時間では、非常に低輝度の燐光発光であっても正確に捕獲することができる。
【００４９】
場面内でキャラクター７０２〜７０３、小道具、及びセット７０１が上述のように準備された状態で、これらは、照明パネル２０８〜２０９が点灯している望ましい場面照射の下では、上述のように準備されなかった場合に見えるであろうものとほぼ正確に同じに見えるが、照明パネル２０８〜２０９が消灯された時には不規則パターンで燐光を発する。この時点で、ストップモーションアニメーションのキャラクター７０２〜７０３、小道具、及びセット７０１の全てを図２ａ及び２ｂに例示し、現在特許出願中の出願に説明されているような構成を用いて３Ｄで捕獲することができる。（図７ｂ〜７ｅは、図２ａ及び２ｂからの照明パネル２０８〜２０９、暗時カメラ２０４〜２０５、及び点灯時カメラ２１４〜２１５が、ストップモーションアニメーションキャラクター７０２〜７０３及びセット７０１を囲むストップモーションアニメーション舞台を示している。明瞭化のために、デバイス２０８〜２０９、２０４〜２０５、及び２１４〜２１５への接続は、図７ｂ〜７ｅから省略しているが、これらは、図２ａ及び２ｂに例示しているように接続されることになる。）暗時カメラ２０４〜２０５及び点灯時カメラ２１４〜２１５は、最終的なアニメーションで、見られることが要求されることになるあらゆるものを捕獲するように、図７ｂに例示している場面の回りに配置される。次に、同期信号２２１〜２２３を高補捉フレーム速度（例えば、９０ｆｐｓ）で迅速に切り換えるのではなく、同期信号は非常に緩慢に切り換えられ、実際に手動で切り換えることができる。
【００５０】
一実施形態では、アニメーション制作者が、キャラクター７０２〜７０３、小道具、又はセット７０１へのいずれかの変更を調節する間に、照明パネル２０８〜２０９は点灯したままにされる。ストップモーションアニメーションでは、照射源を迅速に点灯及び消灯することへの要件がないので、照明パネル２０８〜２０９は、白熱ランプを含むあらゆる照射源とすることができることに注意されたい。次のフレームに向けてキャラクター７０２〜７０３、小道具、及びセット７０１が所定位置に置かれると、点灯時カム信号２２３がトリガされ（この好ましい実施形態では立ち下がりエッジ遷移により）、点灯時カメラ２１４〜２１５の全てが、補捉フレームに対して望ましい露光時間に基づく特定の継続時間中にフレームを捕獲する。他の実施形態では、異なるカメラは、個々の露光要件に基づいて異なる露光時間を有することができる。
【００５１】
次に、照明パネル２０８〜２０９は消灯され（同期信号２２２又は手動のいずれかにより）、ランプは、場面が完全な暗闇状態になるまで減衰することが許される（例えば、白熱ランプは減衰するのに何秒も要する可能性がある）。次に、暗時カム同期信号２２１がトリガされ（この好ましい実施形態では、立ち下がりエッジ遷移により）、暗時カメラ２０８〜２０９の全てが、捕獲されたフレームに対して望ましい露光時間に基づく特定の継続時間中にフレームを捕獲する。ここでも、異なるカメラは、個々の露光要件に基づいて異なる露光時間を有する。上述のように、非常に低輝度の燐光発光の場合には、露光時間を非常に長くすることができる（例えば、１秒又はそれよりも長く）。露光時間の上限は、主にカメラセンサのノイズ累積によって制限される。捕獲された暗時フレームは、データ処理システム２１０によって処理されて３Ｄ表面２０７が達成され、次に点灯時カメラ２１４〜２１５によって捕獲された画像を３Ｄ表面２０７上にマップして、テクスチャ付き３Ｄ表面２１７が達成される。次に、照明パネル２０８〜９が再度点灯し戻され、キャラクター７０２〜７０３、小道具、及びセット７０１が再度移動され、この節で説明した処理が、全体の撮影が完了するまで繰り返される。
【００５２】
結果として生じる出力は、非斜角（例えば、カメラの光軸から＜３０度）にある少なくとも２の暗時カメラ２０４〜２０５の視界内にある、燐光体が組み込まれたか又は塗着された表面区域を有するキャラクター７０２〜７０３、小道具、及びセット７０１の全てのテクスチャ付き３Ｄ表面の連続フレームである。これらの連続フレームが、望ましいフレーム速度（例えば、２４ｆｐｓ）で再生されると、アニメーション場面は動き出すことになるが、従来のストップモーションアニメーションのフレームとは異なり、このアニメーションは、選択されたカメラ位置からのテクスチャ付き３Ｄ表面をレンダリングするだけで、あらゆるカメラ位置から見ることができることになる。また、最終的なアニメーションのカメラ位置をフレームシーケンス中に移動させるべき場合（例えば、カメラがキャラクター７０２〜７０３を追いかけている場合）には、場面内で移動する物理的なカメラを有する必要はない。代替的に、各連続フレームにおいて、テクスチャ付き場面の３Ｄ表面は、Ｍａｙａ（「Ａｕｔｏｄｅｓｋ、Ｉｎｃ．」からの）のような３Ｄモデリング／アニメーションアプリケーションソフトウエアを用いて、そのフレームに対して望ましいカメラ位置によって簡単にレンダリングされる。
【００５３】
図７ｃ〜７ｅに例示している別の実施形態では、単一のストップモーションアニメーション場面内の異なるキャラクター７０２〜７０３、小道具、及び／又はセット７０１のうちの一部又は全てが、各々図２ａ及び２ｂのような構成で別々に撮影される。例えば、場面が都市街路セット７０１を歩いている革ひもを有する男７０２及び彼の犬７０３を有する場合、都市街路セット７０１、革ひもを有する男７０２、及び犬７０３は図７ｃ（都市街路セット７０１のためのもの）、図７ｄ（革ひもを有する男７０２のためのもの）、及び図７ｅ（犬７０３のためのもの）に例示しているように、各々別々のモーション捕獲システムで個々に撮影されることになる。次に２つのキャラクター７０２〜７０３及び１つのセット７０１のストップモーションアニメーションが、上述の方式で、テクスチャ付き個々の３Ｄ表面２１７として別々に捕獲される。この後、３Ｄモデリング及び／又はアニメーションアプリケーションソフトウエアを用いて、２つのキャラクター７０２〜７０３及び１つのセット７０１は、合わせて１つの３Ｄ場面へとレンダリングされることになる。一実施形態では、キャラクター７０２〜７０３及びセット７０１を照明する照明パネル２０８〜２０９は、同じものとして構成することができ、従って、革ひもを有する男７０２及び犬７０３が、セット７０１と同じ環境内で照射されているように見える。別の実施形態では、平坦な照明（すなわち、陰影部及び光輝部を最小にする均一な照明）が用いられ、後に３Ｄモデリング／アニメーションアプリケーションソフトウエアによって照明（陰影部及び光輝部を含む）が模擬される。３Ｄモデリング／アニメーションアプリケーションソフトウエアにより、アニメーション制作者は、キャラクター７０２〜７０３が互いに対して、更にセット７０１に対してどのように見えるかを観察することができることになり、更にまた補捉を行う物理的なカメラ２０４〜２０５又は２１４〜２１５のいずれも移動する必要ではなく、あらゆる望みのカメラ角度からキャラクター７０２〜７０３及びセット７０１を見ることができることになる。
【００５４】
この手法は、ストップモーションアニメーションに著しい利点をもたらす。以下は、この手法の利点のうちの一部である。（ａ）アニメーション制作者が別のキャラクター７０２〜７０３に衝突するか、又はキャラクター７０２〜７０３が互いに衝突する心配なしに、個々のキャラクター７０２〜７０３を個々に操作することができる。（ｂ）カメラ位置を連続フレームにおいて移動することを含み、レンダリングするフレームのカメラ位置を任意に選択することができる。（ｃ）レンダリング時のカメラ位置は、従来のストップモーション構成ではカメラ７０５を位置させることが物理的に可能にはならない位置（例えば、互いの近くにおり、カメラ７０５に対する余地がない２つのキャラクターのちょうど間）とすることができる。（ｄ）達成することが物理的に可能ではない照明状況（例えば、キャラクターを輝かせる）を作成することを含み、光輝部及び陰影部を含む照明を任意に制御することができる。（ｅ）キャラクター７０２〜７０３に特殊効果を付加することができる（例えば、幽霊キャラクター７０２〜７０３を場面内にレンダリングして描き込む時に半透明にすることができる）。（ｆ）キャラクター７０２〜７０３は、場面内では物理的に安定した姿勢ではなくても、地面の上で物理的に安定した姿勢のままとすることができる（例えば、キャラクター７０２〜７０３は、場面内に逆立ちをした状態で上下逆さまに、又は地面の上方を飛んでいる状態でレンダリングして描き込まれるが、これらのキャラクター７０２〜７０３は、直立した姿勢で捕獲することができる）。（ｇ）キャラクター７０２〜７０３の一部分を燐光体を持たず、従って、捕獲されることにはならない（更にポストプロダクションにおいて後に撮影ショットから除去しなくてもよい）支持体によって持ち上げることができる。（ｈ）キャラクター７０２〜７０３が会話している口の開閉位置のようなキャラクター７０２〜７０３の詳細要素を３Ｄモデリング／アニメーションアプリケーションソフトウエアによってレンダリングして描き込むことができ、従って、アニメーション中にキャラクター７０２〜７０３に取り付け、その後取り外す必要がない。（ｉ）キャラクター７０２〜７０３をコンピュータ生成３Ｄ場面内にレンダリングして描き込むことができる（例えば、革ひもを有する男７０２及び犬７０３は、粘土アニメーションとしてアニメーション化することができ、一方で都市街路セット７０１は、コンピュータ生成場面とすることができる）。（ｊ）物体が移動する時に（又はレンダリング時のカメラ位置が移動する時に）、３Ｄモーションブラーを物体に付加することができ、その結果、アニメーションに対するより滑らかなモーションの知覚が生じ、同様にジッターを知覚しないより速いモーションが可能になる。
【００５５】
燐光を発する補足的な燐光体
別の実施形態では、ＺｎＳ：Ｃｕ以外の異なる燐光体が、織物又は他の皮膚以外の物体において染料と共に顔料として用いられる。ＺｎＳ：Ｃｕは、ＦＤＡでメーキャップ品顔料として認可されているので、皮膚への付加に用いるのに好ましい燐光体である。しかし、皮膚上での使用に向けては認可されてないが、一部の場合に人間が処理する材料内での使用に向けては認可されている様々な他の燐光体が存在する。１つのそのような燐光体は、ＳｒＡｌ2Ｏ4：Ｅｕ2+、Ｄｙ3+である。別のものはＳｒＡｌ2Ｏ4：Ｅｕ2+である。両方の燐光体とも、所定の励起においてＺｎＳ：Ｃｕよりも非常に長い残光を有する。
【００５６】
燐光発光の最適化
可視光スペクトル内で燐光を発する多くの燐光体は、可視光よりも紫外線によって効率的にチャージされる。これは、ＺｎＳ：Ｃｕ（これより「硫化亜鉛」と呼ぶことにする）の大体の励起及び発光曲線、並びに様々な光源を示している図８のグラフに見ることができる。硫化亜鉛の場合には、その励起曲線８１１は約２３０ｎｍから４８０ｎｍにわたり、そのピークは３６０ｎｍ前後にある。この範囲のエネルギで励起されると、硫化亜鉛の燐光曲線８１２は、約４２０ｎｍから６５０ｎｍにわたり、緑色を帯びた輝きを発生させる。硫化亜鉛の燐光強度８１２は、硫化亜鉛が吸収する励起エネルギ８１１に正比例する。励起曲線８１１から分るように、硫化亜鉛は、波長に依存して異なる程度の効率で励起される。例えば、ある励起源（すなわち、この好ましい実施形態の場合は照明パネル２０８〜２０９からの光エネルギ）からの所定の輝度では、硫化亜鉛は、４５０ｎｍ（青色光）では、３６０ｎｍ（ＵＶＡ光、一般的に「黒色光」と呼ばれる）で吸収することになるエネルギの３０％のエネルギしか吸収しないことになる。硫化亜鉛から最強燐光発光８１２を得ることが望ましいことから（例えば、より高輝度の燐光は、より小さいレンズ絞り、及びより深い被写界深度を可能にすることになる）、硫化亜鉛をできる限り大きなエネルギで励起することが明らかに有利である。照明パネル２０８〜２０９は、光が演技者に対して不快になる前までのある一定のレベルの光出力までしか発生させることができない。従って、硫化亜鉛の燐光発光出力を最大にするためには、理想的には照明パネル２０８〜２０９が、硫化亜鉛を励起するのに最も効率的な波長の光を出力すべきである。
【００５７】
皮膚以外の燐光使用（例えば、織物に染着させる）において用いることができる他の燐光体も、同様に紫外線によって最適に励起される。例えば、ＳｒＡｌ2Ｏ4：Ｅｕ2+、Ｄｙ3+及びＳｒＡｌ2Ｏ4：Ｅｕ2+は両方とも、可視光よりも紫外線によってより効率的に励起され、特に、ＵＶＡ（黒色光）によって非常に効率的に励起される。
【００５８】
図３から分るように、照明パネル２０８〜２０９に用いられる光源に対する要件は、光源が、完全に暗いところから最大点灯へ非常に迅速に（例えば、ミリ秒又はそれ未満程度で）遷移し、最大点灯から暗いところへと非常に迅速に（例えば、同じくミリ秒又はそれ未満程度で）遷移することができることである。殆どのＬＥＤは、全く十分にこの要件を満たし、一般的にマイクロ秒程度で点灯及び消灯する。しかし、残念なことに、現在のＬＥＤは、一般的な照明での使用において多数の問題をもたらす。１つには、現在入手可能なＬＥＤは、約３５Ｗの最大光出力を有する。米国、１２０  Ｈａｎｃｏｃｋ  Ｌａｎｅ、Ｗｅｓｔａｍｐｔｏｎ、ＮＪ０８０６０所在の「Ｌａｍｉｎａ  Ｃｅｒａｍｉｃｓ」からのＢＬ−４３Ｆ０−０３０５は、そのようなＲＧＢ−ＬＥＤユニットである。別には、現在、ＬＥＤは、特殊な電力供給要件を有する（ＢＬ−４３Ｆ０−０３０５の場合には、ユニット内の異なるカラーＬＥＤに対して異なる電圧供給が必要である）。これらに加えて、現在のＬＥＤは、非常に大きく、大きい放熱を必要とし、大量の熱を発生させる。これらの問題の各々は、ＬＥＤを高価にし、演技のためのモーション捕獲舞台全体を照明するには幾分扱い難くする。例えば、舞台を照明するのに３５００ワットが必要であったとすると、１００個の３５ＷのＬＥＤユニットが必要になる。
【００５９】
一方、これらの欠点に加えて、現在入手可能な非常に高輝度のＬＥＤは、白色又はＲＧＢ−ＬＥＤのみである。両方の種類のＬＥＤの場合に、ＬＥＤが発する光の波長は、硫化亜鉛が効率的に励起される波長と重なり合わない。例えば、図８では、ＢＬ−４３Ｆ０−０３０５のＬＥＤユニットにおける青色ＬＥＤの発光曲線８２３は、４６０ｎｍ前後に中心を有する。発光曲線８２３は、硫化亜鉛励起曲線８１１の末端のみと重なり合う（そして重要なことに、赤色及び緑色ＬＥＤは硫化亜鉛を全く励起しない）。従って、青色ＬＥＤが非常に高輝度であったとしても（演技者に対して快適な程に高輝度である点まで）、少ない百分率の光エネルギしか、硫化亜鉛を励起せず、結果として比較的低輝度の燐光が生じる。硫化亜鉛をより効率的に励起することになる紫及びＵＶＡ（黒色光）ＬＥＤは確かに存在するが、現在、これらは、０．１ワット程度という非常に低い電力レベルでのみ利用可能である。３５００ワットの照射を達成するためには、３５、０００個のそのような０．１ワットＬＥＤを必要とすることになり、これらは、全く非実用的及び法外に高価なものになる。
【００６０】
点滅光源としての蛍光ランプ
硫化亜鉛がより効率的に吸収する波長の光を出力する他の光源は存在する。例えば、３５０ｎｍ前後に中心を有するＵＶＡ（黒色光）を発光し、８２１と同様の発光曲線を有する蛍光ランプ（例えば、米国、２８４０  Ｎｏｒｔｈ  Ｈｏｌｌｙｗｏｏｄ  Ｗａｙ、Ｂｕｒｂａｎｋ、ＣＡ９１５０５所在の「Ｋｉｎｏ−Ｆｌｏ、Ｉｎｃ．」からの４８２−Ｓ９）が利用可能であり、４２０ｎｍ前後に中心を有する青みを帯びた／紫の光を発光し、８２２と同様の発光曲線を有する青色／紫色蛍光ランプは存在する（例えば、Ｋｉｎｏ−Ｆｌｏからの４８２−Ｓ１０−Ｓ）。発光曲線８２１及び８２２は、硫化亜鉛の励起曲線８１１のピークのより近くにあり、その結果、光エネルギは、遥かに効率的に吸収され、所定の励起輝度において非常に強い燐光発光８１２が生じる。そのような蛍光電球は、全く廉価であり（一般的に４８”球で１５＄／球である）、僅かな熱しか生み出さず、非常に軽量である。またこれらは、高いワット数において入手可能である。一般的な４球蛍光機器は、１６０ワット又はそれよりも多くを発生させる。またそのような電球を舞台照明として保持する劇場機器は、容易に入手可能である。（ＵＶＢ及びＵＶＣ蛍光電球も同じく入手可能であるが、ＵＶＢ及びＵＶＣ露光は、ある一定の条件下で健康障害を提供することは公知であり、従って、適切な安全予防措置なしに人間又は動物の演技者に対して用いるのは適切ではないと考えられることに注意されたい。）
【００６１】
蛍光ランプを用いることに伴う主な問題は、これらのランプは迅速に点灯及び消灯するように設計されていないことである。実際に、一般的にバラスト（蛍光ランプを点弧し、給電する回路）は、ランプを非常に緩慢に点灯し、蛍光ランプは、最大に明るくなるまでに１、２秒要する場合があることは公知である。
【００６２】
図９は、従来技術の蛍光ランプの模式図を示している。ランプの要素は、この例では円筒形にある密封ガラス電球９１０（一般的に「管」と呼ばれる）内に封入される。電球は、不活性ガス９４０、一般的にはアルゴン、及び少量の水銀９３０を封入する。電球の内面は、燐光体９２０によって被覆される。ランプは、２つの電極９０５〜９０６を有し、これらの各々は、コネクタ９０１〜９０４を通じてバラストに結合される。大きい電圧が電極９０１〜９０４の両端に印加されると、管内の水銀のうちの一部は液体からガスに変化し、水銀蒸気が達成され、この水銀蒸気は、正しい電気的状況の下で紫外線を発する。紫外線は、電球の内面を被覆する燐光体を励起する。次に燐光体は、励起波長よりも高い波長で蛍光を発する。蛍光ランプに向けて、異なる波長を有する広範な燐光体が入手可能である。例えば、ＵＶＡ波長及び全可視光波長において発光性を有する燐光体は、多くの供給業者から既製で入手可能である。
【００６３】
標準の蛍光バラストは、蛍光ランプを迅速に点灯及び消灯するように設計されていないが、既存のバラストを修正し、そうさせることができる。図１０は、本発明の付加的な同期制御回路１００１によって修正された従来技術の２７ワット蛍光ランプバラスト１００２の回路図である。
【００６４】
しばらくの間、修正１００１のない図１０の従来技術のバラスト回路１００２だけを考える。従来技術のバラスト１００２は、以下の方式で作動する。電圧ダブラが、給電線からの１２０ＶのＡＣを３００ボルトのＤＣに変換する。電圧は、２つのＮＰＮパワートランジスタ１００４〜１００５を用いるハーフブリッジ発振器／ドライバ回路に接続される。ハーフブリッジドライバは、多巻線トランスと共に発振器を形成する。トランスの巻線のうちの２つは、２つのパワートランジスタ１００４〜１００５に高い駆動電流を供給する。トランスの第３の巻線は、共振回路と同調して振動を維持するために必要なフィードバックを供給する。ハーフブリッジドライバは、１つの半サイクル中の＋３００ボルトから次の半サイクルにおけるゼロボルトまで振れる矩形波形を生成する。矩形波信号は、「ＬＣ」（すなわち、誘導子−コンデンサ）直列共振回路に接続される。回路周波数は、インダクタンスＬｒｅｓ及びキャパシタンスＣｒｅｓによって判断される。蛍光ランプ１００３は、共振コンデンサの両端に接続される。ドライバ回路から共振コンデンサの両端に導かれる電圧は、蛍光ランプ１００３に給電するために必要な高電圧ＡＣを供給する。回路の振動を始動するために、パワートランジスタ１００５のベースは、簡単な緩和発振器回路に接続される。３００ｖの供給から引き出される電流は、レジスタを通じて伝送され、０．１μＦのコンデンサを充電する。コンデンサの両端の電圧が約２０ボルトに達すると、ＤＩＡＣ（２極トリガダイオード）が、迅速に切り換わり、パワートランジスタ１００５に電流スパイクを供給する。このスパイクが、回路の振動を始動する。
【００６５】
同期制御回路１００１は、前節で説明したバラスト回路１００２を修正するために追加され、同期信号による蛍光ランプ１００３の迅速な点灯及び消灯制御を可能にする。図１０に例示する実施形態では、図２からの同期信号２２２のような同期信号は、ＳＹＮＣ＋入力に電気的に接続される。ＳＹＮＣ−は、接地に結合される。光遮断器「ＮＥＣ  ＰＳ２５０１−１」は、回路内の高電圧からＳＹＮＣ＋及びＳＹＮＣ−入力を遮断する。光遮断器集積回路は、発光ダイオード（ＬＥＤ）及びフォトトランジスタから成る。ＳＹＮＣ＋に結合された同期信号が高レベル（例えば、≧２．０Ｖ）にある時のＳＹＮＣ＋とＳＹＮＣ−の間の電圧差動により、光遮断器内のＬＥＤは、光遮断器内のフォトトランジスタを照射し、始動する。このフォトトランジスタが始動されると、電圧は、ｎチャンネル「ＭＯＳＦＥＴ  Ｑ１」（Ｚｅｔｅｘ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  ＺＶＮ４１０６Ｆ  ＤＭＯＳ  ＦＥＴ）のゲートへと伝送される。「ＭＯＳＦＥＴ  Ｑ１」は、低抵抗スイッチとして機能し、パワートランジスタ１００５のベース−エミッタ電圧を短絡して発振器を妨害し、蛍光ランプ１００３を消灯する。蛍光ランプを点灯し戻すために、同期信号（２２２のような）が低レベルにされ（例えば、＜０．８Ｖ）、それによって光遮断器内のＬＥＤが消灯し、これが光遮断器のフォトトランジスタを停止し、更に「ＭＯＳＦＥＴ  Ｑ１」を停止し、従って、「ＭＯＳＦＥＴ  Ｑ１」は、パワートランジスタ１００５のベース−エミッタ電圧を短絡しなくなる。それにより、始動回路が、バラスト振動を初期化することを可能にし、蛍光ランプ１００３が明るくなる。
【００６６】
この処理は、ＳＹＮＣ＋に結合された同期信号が高レベルと低レベルの間で振動する時に繰り返される。従来技術のバラスト１００２と組み合わされた同期制御回路１００１は、１２０点滅毎秒を優に上回って蛍光ランプ１００３を確実に点灯及び消灯することになる。本発明の基礎を成す原理は、図１０に例示する特定の回路セットに限定されないことに注意されたい。
【００６７】
図１１は、前の節で説明したように、同期制御回路１００１が、従来技術のバラスト１００２に結合され、同期信号２２２が、回路１００１に結合された時の蛍光ランプ１００３の光出力を示している。トレース１１１０及び１１２０は、本発明の同期制御回路１００１によって修正された従来技術のバラスト回路１００２を用いた蛍光ランプの電球の中心に配置されたフォトダイオードの出力のオシロスコープトレースである。垂直軸はランプ１００３の輝度を示し、水平軸は時間である。トレース１１１０（２ミリ秒／目盛りでの）は、同期信号２２２が６０Ｈｚの矩形波を発生させる時の蛍光ランプ１００３の光出力を示している。トレース１１２０（オシロスコープは１ミリ秒／目盛りに設定され、垂直の輝度縮尺は５０％だけ縮小されている）は、ここでは同期信号２２２が２５０Ｈｚの矩形波を発生させることを除いては同じ試験条件の下でのランプ１００３の光出力を示している。ピーク１１２１及び最小値１１２２（ランプ１００３が消灯しており、ほぼ完全に暗い時）は、依然として両方ともに比較的平坦であり、非常に高い切換周波数においてさえそうであることに注意されたい。従って、従来技術のバラスト１００２に対する同期制御回路１００１の修正は、未修正のバラスト１００２とは劇的に異なる光出力を発生させ、図２に例示しているモーション捕獲システムによって必要とされる図３のものと同様のタイミングを有する高周波数での蛍光ランプの点灯及び消灯を達成することを可能にする。
【００６８】
図１０に示している修正された回路は、図２に例示しているようなモーション捕獲システムの要件に対して十分に迅速に蛍光ランプ１００３を点灯及び消灯することになるが、実際のモーション捕獲システムにおける使用に向けて修正することができる蛍光ランプのある一定の性質が存在する。
【００６９】
図１２は、これらの性質のうちの１つを示している。トレース１２１０及び１２２０は、回路１００１によって修正された回路１００２内に配置された「Ｇｅｎｅｒａｌ  Ｅｌｅｃｔｒｉｃ」の「Ｇｒｏ  ａｎｄ  Ｓｈｏ」蛍光ランプ１００３の電球の中心に配置されたフォトダイオードを用いた光出力のオシロスコープトレースである。トレース１２１０は、１ミリ秒／目盛りで光出力を示しており、トレース１２２０は、２０マイクロ秒／目盛りで光出力を示している。トレース１２２０に示す波形の部分は、トレース１２１０の破線区域１２１３とほぼ同じである。同期信号２２２は、上述のように回路１００２に結合され、２５０Ｈｚの矩形波を発生させている。ピークレベル１２１１は、ランプ１００３が点灯している時の光出力を示しており、最小値１２１２は、ランプ１００３が消灯している時の光出力を示している。トレース１２１０は、ピークレベル１２１１及び最小値１２１２をある程度平坦に示しているが、ランプ１００３が消灯された時に、最大点灯から完全消灯へと瞬時に遷移しないことが分る。代替的に、継続時間で約２００マイクロ秒（０．２ミリ秒）の減衰曲線が存在する。この減衰曲線は、明らかに蛍光電球の内側を被覆する燐光体の減衰曲線に起因する（すなわち、ランプ１００３が消灯された時に、燐光体は、短時間にわたって蛍光を発し続ける）。従って、同期信号２２２が、修正されたバラスト１００１〜１００２を停止した時には、一般的にマイクロ秒以内で消灯するＬＥＤ光とは異なり、蛍光ランプは、減衰して暗くなるまでに短い時間間隔を要する。
【００７０】
異なる銘柄及び種類の蛍光ランプにおいて、短くて２００マイクロ秒から長くて１ミリ秒を超える広範な減衰期間が存在する。蛍光ランプのこの性質に対処するために、本発明の一実施形態は、信号２２１〜２２３を調節する。この実施形態に対しては、簡潔に解説することにする。
【００７１】
図２に例示しているようなモーション捕獲システムにおける蛍光ランプの使用性に影響を及ぼす、蛍光ランプの別の性質は、電球内の電極が、電流を中に通電した時に輝く実効的な白熱フィラメントであり、白熱フィラメントと同様に、電流が除去された後に長時間（多くの場合に１秒又はそれよりも長く）の間輝き続けるということである。従って、回路１００１によって修正されたバラスト１００２を用いて同期信号２２２によって蛍光ランプが迅速に（例えば、９０Ｈｚで）点灯及び消灯されたとしても、これらの蛍光ランプは全暗時間隔３０２の間輝き続ける。蛍光電球からの輝く電極によって発せられる光は、最大に明るい蛍光電球と比較して非常に低輝度であるが、依然として著しい光量であり、多くの蛍光電球が一度に用いられる時には、部屋ができる限り暗い方が有利である暗時間隔３０２中に、電極は、合わさって著しい量の光汚染へと積算される。
【００７２】
図１３は、この問題に対処する本発明の一実施形態を示している。従来技術の蛍光ランプ１３５０をランプが消灯された後の１０ミリ秒の状態で示している。ランプ内の水銀蒸気は、もはや紫外線を発しておらず、電球の内面を覆う燐光体は、もはや著しい量の光を発していない。しかし、電極１３５１〜１３５２は、まだ高温であるために依然として輝いている。この電極が輝くことにより、蛍光ランプ１３５０の電球の終端の近くに明るい領域１３６１〜１３６２が生じる。
【００７３】
蛍光ランプ１３７０は、従来技術のランプ１３５０と同じ状態にあるランプであり、電球１３７０が消灯された後１０ミリ秒で、その電極１３７１〜１３７２は依然として輝いており、蛍光ランプ１３７０の電球の終端近くに明るい領域１３８１〜１３８２を発生させているが、従来技術のランプ１３５０とは異なり、ランプ１３７０の終端の周囲には、不透明のテープ１３９１及び１３９２が巻かれている（例示の目的で斜線で透けて見えるように示している）。この好ましい実施形態では、米国、Ｈｉｇｈｗａｙ  Ｎｏ．１、Ｐ．Ｏ．Ｂｏｘ６７１、Ｎｅｗ  Ｂｒｕｎｓｗｉｃｋ、ＮＪ０８９０３所在の「Ｎｉｔｔｏ  Ｄｅｎｋｏ  Ｃｏｍｐａｎｙ」の「Ｐｅｒｍａｃｅｌ」からの「４”  Ｐ−６６５」のような黒色の布粘着テープが用いられる。不透明テープ１３９１〜１３９２は、輝く電極１３７１〜１３７２からの光のほぼ全てを遮蔽する一方、点灯時間隔３０１中にランプが点灯している時に、蛍光ランプの全体光出力のうちの少量しか遮蔽しない。それにより、蛍光ランプが、高速度（例えば、９０Ｈｚ）で点滅される時に、暗時間隔３０２中に非常に暗くなることが可能になる。輝く電極から光を遮蔽するのに、他の種類の不透明テープを含めるか、電球の終端に不透明塗料を塗着するか、又は蛍光ランプの電極を収容する部分からの発光を遮蔽するように蛍光ランプを保持する照明機器において不透明材料（例えば、黒色金属シート）を用いる他の技術を用いることができる。
【００７４】
ここで、図１２に例示している蛍光ランプの光減衰性に戻ると、蛍光ランプが照明パネル２０８〜２０９に用いられる場合には、照明パネル同期信号２２２がエッジ３３２で低レベルに降下する時に、蛍光照明パネル２０８〜２０９は、完全に暗くなるのに時間を消費することになるので（すなわち、エッジ３４２は、暗時レベルに徐々に降下することになる）、図３に示している同期信号のタイミングは、最適な結果を生み出さなくなる。「暗時カメラ同期信号」が、グレースケールカメラ２０４〜２０５をエッジ３２２と同じ時点でこれらのカメラのシャッターを開くようにトリガする場合には、グレースケールカメラは、照明パネル２０８〜２０９の減衰間隔中にその残光によって照らされる場面のうちの一部を捕獲することになる。明らかに、図３のタイミング信号及び光出力挙動は、蛍光ランプよりも非常に速い減衰を有するＬＥＤのような光源を用いた照明パネル２０８〜２０９により適合している。
【００７５】
蛍光ランプのための同期タイミング
図１４は、蛍光ランプによる使用により良好に適合するタイミング信号、及び結果として生じる照明パネル２０８〜２０９の挙動を示している（このタイミング図及びその後のタイミング図では、例示目的で減衰曲線１４４２の継続時間を誇張していることに注意されたい）。同期信号２２２の立ち上がりエッジ１４３４は、点灯時カム同期信号２２３の立ち上がりエッジ１４１４（点灯時カメラ２１４〜２１５のシャッターを開く）、及び暗時カム同期信号２２３の立ち下がりエッジ１４２４（暗時カメラ２０４〜２０５のシャッターを閉じる）とほぼ一致する。またこの立ち上がりエッジ１４３４は、照明パネル２０８〜２０９内の蛍光ランプを迅速に明るくする。点灯時間隔１４０１の間は、点灯時カメラ２１４〜２１５は、光出力レベル１４４３によって示している比較的定常的な光を発している蛍光ランプによって照射されるカラー画像を捕獲する。
【００７６】
点灯時時間間隔１４０１の終了点では、同期信号２２２の立ち下がりエッジ１４３２は、照明パネル２０８〜２０９を消灯し、点灯時カメラ２１４〜２１５のシャッターを閉じる点灯時カム同期信号２２３の立ち上がりエッジ１４１２とほぼ一致する。しかし、照明パネル２０８〜２０９の光出力は、点灯から暗へと即座に降下せず、その代わりに蛍光ランプの燐光体が、エッジ１４４２によって示しているように減衰する時に暗へと緩慢に降下することに注意されたい。蛍光ランプの光レベルが最終的に暗時レベル１４４１に達する時に、暗時カム同期信号２２１は、エッジ１４２２によって示しているように高から低に降下し、それにより、暗時カメラ２０４〜２０５のシャッターが開く。このようにして、暗時カメラ２０４〜２０５は、発光メーキャップ、塗料、又は染料からの発光を捕獲し、減衰期間１４４２中に蛍光ランプによって照射されるあらゆる物体からの光反射を捕獲しない。従って、この実施形態では、暗時間隔１４０２は点灯時間隔１４０１よりも短く、暗時カメラ２０４〜２０５のシャッターは、点灯時カメラ２１４〜２０５のシャッターよりも短い時間にわたって開く。
【００７７】
暗時間隔１５０２が、点灯時間隔１５０１よりも長い別の実施形態を図１５に例示する。この実施形態の利点は、暗時カメラ２０４〜２０５に対してより長いシャッター時間を可能にするという点である。この実施形態では、照明パネル２０８〜２０９を消灯させる照明パネル同期信号２２２の立ち下がりエッジ１５３２はより早期に発生する。点灯時カム同期信号２２３の立ち上がりエッジ１５１２は、立ち下がりエッジ１５３２とほぼ一致して発生し、点灯時カメラ２１４〜５のシャッターを閉じる。照明パネル２０８〜２０９の蛍光ランプからの光出力は、エッジ１５４２で示すように減衰し始め、最終的に暗時レベル１５４１に達する。この時点で、暗時カム同期信号２２１は、エッジ１５２２上で低状態に遷移し、暗時カメラ２０４〜２０５は、そのシャッターを開き、燐光発光を捕獲する。
【００７８】
図１４及び１５に示している両方の実施形態で、点灯時カメラ２１４〜２１５のシャッターは、照明パネル２０８〜２０９の光出力が最大値にある間だけに開いたことに注意されたい。別の実施形態では、点灯時カメラ２１４〜２１５のシャッターは、捕獲される光量を最大にするために、蛍光ランプがいずれかの光を発している全体の時間にわたって開くことができる。しかし、この関連において、非燐光区域が着々と暗くなるのに対して、燐光区域は、蛍光ランプの減衰中にある程度定常的に光を発し続けることになるので、場面内の発光メーキャップ、塗料、又は染料は、場面内の非燐光区域と比較してより顕著になる。点灯時カメラ２１４〜２１５は、シャッターが開いている全時間にわたってこれらの光を積算することになる。
【００７９】
更に別の実施形態では、点灯時カメラ２１４〜２１５は、暗時時間間隔１５０２の一部又は全ての間にそのシャッターを開いたままにする。この場合には、点灯時カメラ２１４〜２１５は、点灯時時間間隔１５０１からの光と共に、暗時時間間隔１５０２の間の光を積算することになるので、場面内の燐光区域は、非燐光区域と比較して非常に顕著に現れることになる。
【００８０】
一般的に蛍光ランプは、その燐光体減衰特性を詳述する仕様が添付された状態で販売されないので、蛍光ランプの減衰特性を実験的に特定すべきである。この特定は、同期信号２２１の立ち下がりエッジ１５２２を同期信号２２２の立ち下がりエッジ１５３２に対して調節し、その後暗時カメラ２０４〜２０５の出力を観測することによって容易に行うことができる。例えば、図１５に示している実施形態では、エッジ１５３２の後、蛍光の光減衰１５４２中にエッジ１５２２が早く落ち過ぎた場合には、非燐光物体が暗時カメラ２０４〜２０５内に捕獲されることになる。次にエッジ１５２２をエッジ１５３２と比較して緩慢に遅延させた場合に、暗時カメラ２０４〜２０５内の非燐光物体は、捕獲された画像全体が画像内の燐光物体を除いて暗くなるまで徐々に暗くなることになる。この時点で、エッジ１５２２は、蛍光ランプの減衰間隔１５４２を超えることになる。この節で説明した処理は、同期信号２２１〜２２３の出力レベルを制御する、汎用コンピュータ上の用途内に容易に実施することができる。
【００８１】
別の実施形態では、蛍光ランプ内の燐光体の減衰は、エッジ１５３２ができる限り長く遅延された後でさえも、エッジ１５２２の後に、暗時カメラ２０４〜２０５が十分に長いシャッター時間を有して、場面内の燐光パターンの十分高輝度の画像を捕獲することを可能にするために、場面を照射する蛍光ランプからの少量の光が依然として存在して場面内の非燐光物体を若干見ることができるようなものである。一般的に、これは、上記に示す現在特許出願中の出願に説明されているパターン処理技術に対して問題を与えない。場面内の燐光パターンが、場面内の低輝度に照らされる非蛍光物体よりも実質的に高輝度である限り、パターン処理技術は、燐光パターンを十分に相関付けて処理し、低輝度に照らされる非蛍光物体をノイズとして処理することができることになる。
【００８２】
照明パネル点滅速度よりも低いフレーム速度でのカメラの同期
別の実施形態では、点灯時カメラ２１４〜２１５及び暗時カメラ２０４〜２０５は、照明パネル２０８〜２０９の点滅速度よりも低いフレーム速度で作動する。例えば、補捉フレーム速度は３０フレーム毎秒（ｆｐｓ）とすることができるが、照明パネル２０８〜２０９の点滅を人間の知覚の閾値付近に保つために、照明パネル２０８〜２０９は９０点滅毎秒で点滅される。この状況を図１６に例示する。同期信号２２１〜３は、点灯時時間間隔１６０１及び暗時時間間隔１６０２に対して図１５におけるものと同様に制御されるが（照明サイクル０）、照明サイクル０の後は、照明パネル２０８〜９の同期信号２２２のみが、照明サイクル１及び２において振動し続ける。同期信号２２１及び２２３は、この間隔中は高状態１６１１及び１６２６で一定に留まる。次に照明サイクル３中に、同期信号２２１及び２２３は、再度エッジ１６５４及び１６６２によってトリガを行い、点灯時時間間隔１６０４中に点灯時カメラ２１４〜２１５のシャッターを開き、次に暗時時間間隔１６０５中に暗時カメラ２０４〜２０５のシャッターを開く。
【００８３】
点灯時カメラ２１４〜２１５及び暗時カメラ２０４〜２０５が、照明パネル２０８〜２０９の点滅速度よりも低いフレーム速度で作動する別の実施形態では、同期信号２２１が、暗時カメラ２０４〜２０５にシャッターを開かせた後に、同期信号２２３が、点灯時カメラ２１４〜２１５にシャッターを開かせる。これを図１７に例示する。図１６のものを超えるこのタイミング構成の利点は、蛍光ランプが、点灯から暗に減衰する（エッジ１７４２）よりも迅速に暗から点灯に遷移する（エッジ１７４４）ことである。それにより、暗時フレーム間隔１７０２を点灯時フレーム間隔１７０１により密接に隣接させることが可能になる。捕獲された点灯時のテクスチャは、多くの場合に暗時カメラ画像から再構成される３Ｄ表面上にマップするのに用いられるので、捕獲された物体がモーション中に一定の場合には、点灯時補捉及び暗時補捉が時間的により近くに発生する程、アラインメントが厳密になる。
【００８４】
点灯時カメラ２１４〜２１５及び暗時カメラ２０４〜２０５が、照明パネル２０８〜２０９の点滅速度よりも低いフレーム速度で作動する別の実施形態では、暗時カメラ２０４〜２０５又は点灯時カメラ２１４〜２１５のいずれかにおいてより長いシャッター時間を可能にするか、又は両方のカメラにおいてより長いシャッター時間を可能にするために、照明パネル２０８〜２０９は、異なる照明サイクル間隔で点滅される。この実施形態の例を図１８に例示しており、この図では、照明パネル２０８〜２０９は、カメラ２０４〜２０５及び２１４〜２１５のフレーム速度の３倍で点滅されるが、暗時カメラ２０４〜２０５の開放シャッター間隔１８２１は、フレーム時間全体１８０３のほぼ半分に等しい。これは、暗時カム同期信号２２１が、長い暗時間隔１８０２の継続時間にわたって暗時シャッターを開く間に、照明パネル２０８〜２０９同期信号２２２に照明パネル２０８〜２０９を消灯させることによって達成される。次に同期信号２２２は、短い点灯時間隔１８０１中に照明パネル２０８〜２０９を点灯して照明サイクル０を完了し、その後照明サイクル１及び２を通して照明パネル２０８〜２０９を迅速に点滅する。それにより、非常に長い暗時間隔１８０２にも関わらず、図１７に例示している実施形態と同じ数の点滅毎秒が生じる。これが有利な構成である理由は、点滅サイクル時間にある程度の不規則性があったとしても、人間の視覚系が、迅速に点滅する照明を依然として連続して点灯していると知覚することになるからである。照明パネル２０８〜２０９の点灯時間隔及び暗時間隔の継続時間を変更することにより、照明パネル２０８〜２０９が連続して点灯しているという人間の知覚を維持しながら、依然として暗時カメラ２０４〜２０５、点灯時カメラ２１４〜２１５のいずれか、又は両方のシャッター時間を長く又は短くすることができる。
【００８５】
カスケードカメラによる高集積フレーム速度
図１９は、点灯時カメラ１９４１〜１９４６及び暗時カメラ１９３１〜１９３６が、照明パネル２０８〜２０９の点滅速度よりも低いフレーム速度で作動する別の実施形態を示している。図１９は、図２ａと同様のモーション捕獲システム構成を示しているが、図における所定のスペースの制約により、照明パネル、カメラ、及び同期サブシステムのみを示している。示していない図２ａの残りの構成要素（すなわち、カメラからこれらのカメラのカメラコントローラへのインタフェース、及びデータ処理サブシステム、並びにデータ処理サブシステムの出力）は、図１９に部分的に示している全構成の一部であり、これらの残りの構成要素は、図２ａの構成要素に結合されるのと同じ方式で図１９の構成要素に結合される。また、図１９は、「照明パネル」２０８〜２０９をその「点灯時」状態で示している。「照明パネル」２０８〜２０９は、同期信号２２２により、その「暗時」状態へと消灯することができ、この「暗時」状態の場合には、図２ｂに示しているのと同様に、演技者２０２は照らされなくなり、演技者の顔面に付加された燐光パターンしか見ることができなくなる。
【００８６】
図１９は、６つの点灯時カメラ１９４１〜１９４６及び６つの暗時カメラ１９３１〜１９３６を示している。この好ましい実施形態では、点灯時カメラ１９４１〜１９４６にはカラーカメラが用いられ、暗時カメラ１９３１〜１９３６にはグレースケールカメラが用いられるが、いずれの種類をいずれの目的に用いてもよい。カメラ１９４１〜１９４６及び１９３１〜１９３６におけるシャッターは、同期発生器ＰＣＩカード２２４からの同期信号１９２１〜１９２６によって駆動される。同期発生器カードは同期発生器ＰＣ２２０内に設けられ、上述のように作動する。（また別の実施形態では、このカードは、同期発生器ＰＣ２２０の並列ポート出力を用いて同期信号１９２１〜１９２６を駆動することによって置換することができ、この場合には、例えば、並列ポートのビット０は、同期信号２２２を駆動することになり、並列ポートのビット１〜６は、それぞれ同期信号１９２１〜１９２６を駆動することになる。）
【００８７】
暗時カメラに対して１つの同期信号２２１が存在し、点灯時カメラに対して１の同期信号２２３が存在する前に説明した実施形態とは異なり、図１９に例示する実施形態では、暗時カメラに対して３つの同期信号１９２１〜１９２３が存在し、暗時カメラに対して３つの同期信号１９２４〜１９２６が存在する。これらの同期信号１９２１〜１９２６におけるタイミングを図２０に示している。同期信号１９２１〜１９２６が高状態にある一定の場合には、これらの信号は、これらの信号に結び付けられたカメラのシャッターを閉じさせ、同期信号が低状態にある時には、これらの信号は、これらの信号に結び付けられたカメラのシャッターを開かせる。
【００８８】
この実施形態では、図２０に示しているように、照明パネル２０８〜２０９は、同期信号２２２によって制御され、均一な９０点滅毎秒で点滅される。同じく、蛍光ランプの減衰２０４２を含む照明パネル２０８〜２０９の光出力を示している。各カメラ１９３１〜１９３６及び１９４１〜１９４６は、照明パネルの９０点滅毎秒の速度と正確に１：３の比である３０フレーム毎秒（ｆｐｓ）で画像を捕獲する。各カメラは、照明パネルの３点滅毎に１枚の画像を捕獲し、これらのカメラのシャッターは、図２０に例示しているように「カスケード」順序でシーケンス化される。一連の３枚のフレームは以下の方式で捕獲される。
【００８９】
同期信号２２２は、高状態から低状態２０３１へのエッジ２０３２によって遷移する。低状態２０３１は、照明パネル２０８〜２０９を消灯し、照明パネル２０８〜２０９は、減衰曲線２０４２を辿りながら暗時状態２０４１へと徐々に減衰する。照明パネルが、発光メーキャップ、塗料、又は染料を場面内の非燐光表面から分離するのに十分な輝度比を与えるという目的に対して十分に暗くなると、同期信号１９２１は、低状態２０２１に遷移する。それにより、カメラ１９３１〜１９３２はシャッターを開き、暗時フレームを捕獲する。時間間隔２００２の後に、同期信号２２２は、エッジ２０３４で高状態２０３３へと遷移し、それによって照明パネル２０８〜２０９は、エッジ２０４４で点灯時状態２０４３へと遷移する。照明パネル２０８〜２０９が点灯される直前に、同期信号１９２１は高状態２０５１へと遷移し、暗時カメラ１９３１〜１９３２のシャッターを閉じる。照明パネル２０８〜２０９が点灯された直後に、同期信号１９２４は低状態２０２４へと遷移し、それによって点灯時カメラ１９４１〜１９４２におけるシャッターは、時間間隔２００１の間開き、点灯時フレームを捕獲する。同期信号２２２は低状態へと遷移し、それによって照明パネル２０８〜９は消灯し、同期信号１９２４は、時間間隔２００１の終了点で高状態へと遷移し、それによって点灯時カメラ１９４１〜１９４２におけるシャッターが閉じる。
【００９０】
前節で説明したイベントシーケンスは、あと２回繰り返すが、これらの繰返し中には同期信号１９２１及び１９２４は高のままであり、これらのカメラのシャッターは閉じたままに保たれる。１回目の繰返しでは、照明パネル２０８〜２０９が暗い間に、同期信号１９２２は暗時カメラ１９３３〜１９３４のシャッターを開き、照明パネル２０８〜２０９が点灯している間に、同期信号１９２５は点灯時カメラ１９４３〜１９４４のシャッターを開く。２回目の繰返しでは、照明パネル２０８〜２０９が暗い間に、同期信号１９２３は暗時カメラ１９３５〜１９３６のシャッターを開き、照明パネル２０８〜２０９が点灯している間に同期信号１９２６は、点灯時カメラ１９４５〜１９４６のシャッターを開く。
【００９１】
この後、前節で説明したイベントシーケンスは、図１９に例示しているモーション捕獲セッションが進行する間に繰返しを続け、すなわち、各カメラが画像を３０ｆｐｓでしか捕獲していないのにも関わらず、カメラ補捉の「カスケード」シーケンスは、３組の暗時カメラ及び３組の点灯時カメラが９０ｆｐｓ（すなわち、９０点滅毎秒の照明パネル点滅速度に等しい）でモーションを捕獲することを可能にする。各カメラは、３枚のフレームにつき１枚しか捕獲しないので、９０ｆｐｓで記憶されるフレームシーケンスが、時間において正しい順序でフレームを有するように、データ処理システム２１０によって記憶される捕獲されたフレームは交互に重ねられる。この交互重ね合わせ作動が完了した後に、データ処理システムは、再構成された３Ｄ表面２０７及びテクスチャ付き３Ｄ表面２１７を９０ｆｐｓで出力することになる。
【００９２】
図２０に例示している「カスケード」タイミングシーケンスは、カメラが、９０ｆｐｓの集積速度で画像を捕獲しながら、３０ｆｐｓで作動することを可能にすることになるが、カメラ１９２１〜１９２３及び１９２４〜１９２６の全てを同期して作動させるようにタイミングを切り換えることができることが望ましい場合がある。そのような状況の例は、互いに対するカメラの相対位置の特定におけるものである。暗時カメラ１９２１〜１９２３の相対位置の正確な把握内容は、カメラ間の正確な三角測位に用いられ、暗時カメラ１９２１〜１９２３に対する点灯時カメラ１９２４〜１９２６の位置の正確な把握内容は、点灯時カメラ１９２４〜１９２６によって捕獲されるテクスチャマップを暗時カメラ１９２１〜１９２３によって捕獲される画像から再構成される幾何学形状の上に如何にマップするかを確立するのに用いられる。固定カメラの相対位置を判断する１つの従来技術の方法（例えば、「Ｍｏｔｉｏｎ  Ａｎａｌｙｓｉｓ  Ｃｏｒｐｏｒａｔｉｏｎ」からのモーション捕獲カメラにおいてカメラを較正するのに用いられるもの）は、既知の物体（例えば、ロッドの終端で堅固な配列を成す球体）をカメラの視野内に配置し、更にこの物体がモーションにある中で、全てのカメラによってこの既知の物体の連続画像フレームを同期して（すなわち、全てのカメラのシャッターを同時に開閉して）捕獲するというものである。カメラのうちの全てからの連続フレームを処理することにより、カメラの互いに対する相対位置を計算することができる。しかし、この方法が機能するには、カメラのうちの全てが同時に画像を捕獲するようにこれらのカメラを同期させる必要がある。カメラのシャッターが同時に開かない場合には、各非同時シャッターが開く時に、各カメラは、異なる時点でシャッターが開く他のカメラとは異なる空間位置で移動物体を捕獲することになる。それにより、全てのカメラの互いの相対位置を判断することがより困難（又は不可能）になる。
【００９３】
図２１は、カメラ１９３１〜１９３６及び１９４１〜１９４６のうちの全てがそのシャッターを同時に開くように、如何に同期信号１９２１〜６を調節することができるかを別の実施形態で示している。同期信号１９２１〜１９２６は、暗時時間間隔２１０２にわたって全て低状態２１２１〜２１２６へと遷移する。照明パネル２０８〜２０９は、１秒に９０回の点滅で点滅されることになるが、カメラは、３０ｆｐｓで互いに同期してフレームを捕獲していることになる。（この場合には、この好ましい実施形態ではカラーカメラである点灯時カメラ１９４１〜１９４６も、暗時カメラ１９３１〜１９３６と同時に暗時間隔２１０２中にフレームを捕獲していることになることに注意されたい。）一般的に、この同期作動モードは、通常は演技者のモーション捕獲の前又は後で較正物体（例えば、配列された燐光球体）がカメラのうちの一部又は全ての視野内に配置され、可能性として連続フレームを通して移動された時に行われることになる。このようにして、図２１に示しているように、カメラが３０ｆｐｓで同期して作動している間に、カメラの相対位置を判断することができる。この後、カメラタイミングは、図２０に示している「カスケード」タイミングに切り換えられることになり、９０ｆｐｓで演技が捕獲される。９０ｆｐｓフレームが、データ処理システム２１０によって再構成されると、９０ｆｐｓ補捉の前に（又は後に）図２１に示している同期モード時間で判断されたカメラ位置情報は、３Ｄ表面２０７を計算する段階、及び捕獲された点灯時フレームテクスチャを３Ｄ表面上にマップして、テクスチャ付き３Ｄ表面２１７を作成する段階の両方に用いられることになる。
【００９４】
従来技術の方法を用いて場面が従来通り撮影され、カメラがその場面の２Ｄ画像のみを捕獲している時には、複数のより低速フレーム速度のカメラを用いて図１９及び２０に例示しているようにより高い集積フレーム速度を達成する「カスケード」技術は、高値品質の結果を生み出さすことにはならない。この理由は、「カスケード」状態にある各カメラ（例えば、カメラ１９３１、１９３３、及び１９３５）が異なる視点から場面を捉えていることになるということである。捕獲された各カメラの３０ｆｐｓフレームが互いに交互に重ねられ、９０ｆｐｓの時間連続フレームシーケンスが達成され、この後この９０ｆｐｓのシーケンスを見た時には、このシーケンスは、カメラが複数の位置に急激にジャンプしていたかのようにジッターを有して見えることになる。しかし、場面内の物体の３Ｄ表面を捕獲する目的のために、本明細書に説明しているように、更に、上述の現在特許出願中の出願に説明されている方法との組合せで、より低速フレーム速度のカメラが「カスケード」され、図１９及び２０に示すようにより高い集積フレーム速度が達成される場合には、結果として生じる９０ｆｐｓで交互に重ねられた３Ｄ表面２０７、及びテクスチャ付き３Ｄ表面２１７は、ジッターを全く呈さず、むしろ完全に安定して見える。この理由は、各暗時フレーム間隔２００２中に、暗時カメラ１９３１〜１９３６のうちの少なくとも１対が、再構成すべき表面区域（発光メーキャップ、塗料、又は染料を有する）の非斜角の見え方を有する限り、３Ｄ表面の再構成においてカメラ１９３１〜１９３６の特定の位置は重要ではないからである。一般的に、所定の時点において市販の最も解像度が高いセンサは、市販の低解像度センサよりも低いフレーム速度しか持たないので、上述のことは、従来技術の２Ｄ動画像補捉（すなわち、一般的にビデオ補捉として公知である）を超える著しい利点をもたらす。従って、高解像度での２Ｄ動画像補捉は、単一の高解像度センサのフレーム速度に制限される。本明細書に説明している原理の下での高解像度３Ｄ動表面補捉は、ｎが、図１９及び２０に例示している方法に従って互いに「カスケードされた」カメラ群の数である時に、単一の高解像度センサのフレーム速度のｎ倍のフレーム速度を得ることができる。
【００９５】
燐光体輝度のカラーマッピング
理想的には、最も高い品質パターン補捉を達成するために、暗時カメラ２０４〜２０５の全ダイナミックレンジではあるが、それを上回らないところを利用すべきである。例えば、暗過ぎるパターンが補捉された場合には、カメラ２０４〜２０５内のセンサにおけるノイズパターンが、捕獲されたパターンと同程度に顕著になる可能性があり、その結果、不正な３Ｄ再構成が生じる。パターンの輝度が高すぎた場合には、パターンの一部の区域は、センサのダイナミックレンジを超える可能性があり、そのような区域内の全てのピクセルは、このパターンの区域を実際に構成する様々な輝度レベルではなく、最大輝度レベル（例えば、８ビットセンサにおける２５５）で記録されることになる。これも同様に不正な３Ｄ再構成を生じることになる。従って、パターンを捕獲する前に、本明細書に説明している技術により、全体を通してパターンの輝度が低すぎず、又は高すぎない（例えば、カメラセンサの最大輝度レベルに達しない）ことを保証することを試みることは有利である。
【００９６】
発光メーキャップが演技者に付加された時、又は発光メーキャップ、塗料、又は染料が物体に付加された時に、燐光体の付加の結果、暗時カメラ２０４〜２０５によって全ての位置で十分に高い輝度のパターンが捕獲されるか、又は一部の位置で輝度が高すぎるパターンが捕獲されるということを評価することは、人間の目には困難である。図２２の画像２２０１は、燐光体の不規則パターンで覆われた円柱を示している。この画像をコンピュータディスプレイ（例えば、ＬＣＤモニタ）上で見ると、パターンの輝度が高すぎる部分（例えば、位置２２２０）又は暗過ぎる部分（例えば、位置２２１０）が存在するか否かを正確に判断するのは困難である。これには多くの理由が存在する。コンピュータモニタは、多くの場合にセンサと同じダイナミックレンジを持たない（例えば、センサが、２５６の灰色レベルを捕獲するのに対して、コンピュータモニタは、１２８の固有のグレーレベルしか表示しない可能性がある）。輝度及び／又は輝度比は、モニタ上では正しく設定することができない。また脳は、脳が捉える輝度に適応することができ、何であれ画面上の最も輝度の高い区域を最大輝度であると見なすので、人間の目は、何が最大輝度レベルを成すのかを判断するのに問題を有する可能性がある。これらの理由の全てから、発光メーキャップ、塗料、又は染料を付加する時に人間が容易に評価することができる客観的輝度測定値を有することは有利である。また、暗時カメラ２０４〜２０５におけるレンズ絞り及び／又は利得が調節され、及び／又は照明パネル２０８〜２０９の輝度が調節される時に、客観的な輝度測定値を有することも有利である。
【００９７】
画像２２０２は、そのような客観的測定値を示している。この図は、２２０１と同じ円柱を示しているが、画像の各ピクセルの輝度をグレースケールレベル（この例では、０から２５５まで）として示す代わりに色で示している。各色は、輝度範囲を表している。例えば、画像２２０２の青色は、輝度範囲０〜３２を表し、オレンジ色は輝度範囲１９２〜２２３を表し、及び暗赤色は輝度範囲２２４〜２５５を表している。他の色は、他の輝度範囲を表している。青色である区域２２１１は、ここでは非常に暗い区域として明らかに識別可能であり、暗赤色である区域２２２１は、ここでは非常に高輝度である区域として明らかに識別可能である。表示モニタのダイナミックレンジがセンサのものよりも小さい場合、又は表示モニタが不正に調節された場合、又は観測者の脳がディスプレイの輝度に適応した場合であっても、これらの判断は、人間の目が容易に行うことができる。この情報を用いて、人間の観測者は、発光メーキャップ、染料、又は塗料の付加を変更することができる。人間の観測者は、カメラ２０４〜２０５の絞り及び／又は利得設定、及び／又は照明パネル２０８〜２０９の輝度を調節することができる。
【００９８】
一実施形態では、画像２２０２は、カメラコントローラコンピュータ２２５上で作動するアプリケーションソフトウエアによって作成され、カメラコントローラコンピュータ２２５に取り付けられたカラーＬＣＤモニタ上に表示される。カメラコントローラコンピュータ２２５は、暗時カメラ２０４からのフレームを捕獲して、捕獲されたフレームのピクセル値をそのＲＡＭ内にアレイで格納する。例えば、暗時カメラ２０４が、８ビット／ピクセルの６４０×４８０グレースケールカメラであった場合には、アレイは、ＲＡＭ内で６４０×４８０の８ビットバイトアレイになる。この後、用途は、アレイ内の各ピクセル値を取り出し、それを可能なピクセル値の数と同じ数に上るエントリを有する色ルックアップテーブル内へのインデックスとして用いる。８ビット／ピクセルでは、ルックアップテーブルは２５６のエントリを有する。ルックアップテーブル内のエントリの各々には、所定の輝度レベルに対して表示すべき望ましい赤色、緑色、青色（ＲＧＢ）の色値が予めロードされる（用途のユーザ又は開発者により）。各輝度レベルには、固有色を与えることができ、又はある範囲の輝度レベルは、固有色を共有することができる。例えば、画像２２０２では、ルックアップテーブルエントリ０〜３１には、全て青色に対するＲＧＢ値がロードされ、エントリ１９２〜２２３には、オレンジ色に対するＲＧＢがロードされ、エントリ２２４〜２２５には、暗赤色に対するＲＧＢがロードされる。他のエントリには、異なるＲＧＢ色値がロードされる。用途は、捕獲されたフレームのアレイ（例えば、６４０×４８０の８ビットグレースケール値）からの各ピクセル値をこの色参照取得へのインデックスとして用い、参照された色の新しいアレイ（例えば、６４０×４８０の２４ビットＲＧＢ値）を形成する。この新しい参照色アレイは、この後表示され、１１０２のようなカラー画像が達成される。
【００９９】
２２０２のような画像を生成するのに、画像を捕獲するのにカラーカメラ（点灯時カメラ２１４又は暗時カメラ２０４のいずれか）が用いられる場合には、画像が捕獲された後、この画像が前節に説明されているように処理される前に、最初に１つの段階が実施される。捕獲されたカメラのＲＧＢ出力は、カメラコントローラコンピュータ２２５のＲＡＭ内にアレイ（例えば、６４０×４８０の２４ビット／ピクセル）で記憶される。次にカメラコントローラコンピュータ２２５上で作動する用途は、各ピクセルの赤色、緑色、青色の値を平均することにより（すなわち、平均値＝（Ｒ＋Ｇ＋Ｂ）／３）、各ピクセルの平均輝度を計算し、これらの平均値を新しいアレイ（例えば、６４０×４８０の８ビット／ピクセル）内に格納する。この平均ピクセル輝度アレイ（平均アレイ）は、前節で説明したようにグレースケールカメラのピクセル出力であったかのように直ぐに処理されることになり、２２０２のようなカラー画像が達成される。しかし、その前に別の段階があり、用途は、ピクセルのいずれかの色チャンネル（すなわち、Ｒ、Ｇ、又はＢ）が最大輝度値（例えば、２５５）にあるか否かに対して、捕獲されたＲＧＢアレイ内の各ピクセルを調べる。いずれかのチャンネルがそうであった場合には、アプリケーションは、このピクセルに対する平均アレイ内の値を最大輝度値（例えば、２５５）に設定する。この理由は、他の色チャンネルは比較的低い輝度で駆動されるが、ピクセルの１つの色チャンネルが最大輝度を上回って駆動される（それでも最大輝度値でしか出力されない）可能性があるからである。それにより、このピクセルに対して中間範囲レベルの平均計算輝度が生じる（そして良品質パターン補捉において問題がないと見なされることになる）可能性がある。しかし、所定のピクセル内で色チャンネルのいずれかが過駆動されたとすると、不正なパターン補捉が生じることになる。従って、平均アレイ内のピクセル値を最大輝度に設定することにより、このピクセルが最高輝度にあるように示されているカラー画像２２０２が達成され、それにより、画像１１０２の人間の観測者に、高品質パターン補捉における問題の可能性が警告されることになる。
【０１００】
本発明の基礎を成す原理は、図２２に例示している特定の色範囲及び色選択に限定されないことに注意されたい。また２２０２内の色を判断するのに、単一の色ルックアップテーブルのみを用いる代わりに他の手法を用いることができる。例えば、一実施形態では、捕獲された画像のピクセル輝度（又は平均輝度）値は、表示される色の色相を判断するのに用いられる。別の実施形態では、捕獲された画像のピクセル輝度（又は平均輝度）値の下位ビット（例えば、４）がゼロに設定され、次に、結果として生じる数は、各ピクセルにおける色相を判断するのに用いられる。これは、各単一の色相を輝度範囲に割り当てる効果を有する。
【０１０１】
多重範囲データセットからの表面再構成
上述のように、１つのカメラによって捕獲される線又は不規則パターンを他のカメラからの画像と相関させることにより、各カメラにおける距離情報がもたらされる。本発明の一実施形態では、複数のカメラからの距離情報は、（１）３ｄ補捉容積をスカラー場として扱う段階、（２）「マーチングキューブ」（又は関連する「マーチングテトラへドロン」）アルゴリズムを用いて、スカラー場の等値表面を得て、対象物の表面を表す多角形メッシュを作成する段階、及び（３）不正表面を除去し、メッシュを単純化する段階という３つの段階で組み合わされる。これらの段階の各々に関連する詳細内容を下記に提供する。
【０１０２】
補捉容積（ボクセルとも呼ばれる）内の各点のスカラー値は、各カメラからのスカラー値の重み付き合計である。再構成される表面に近い点に対する単一のカメラにおけるスカラー値は、その点の表面に対する距離の最良の推定値である。この距離は、物体の内側の点で正であり、物体の外側の点で負である。しかし、表面から遠い点には、これらの点が物体の内側にあったとしても小さい負の値が与えられる。
【０１０３】
各カメラに対して用いられる重みは、２つの成分を有する。表面に対して一般的な法線方向に位置するカメラには、重み１が与えられる。この法線に対して９０度に位置するカメラには、重み０が与えられる。式ｎi＝ｃｏｓ2ａiの関数が用いられ、ここでｎiは法線重み付け関数であり、ａiは、カメラの方向と表面の法線の間の角度である。これを図２３にグラフで例示する。
【０１０４】
第２の重み付け成分は、距離の関数である。容積点が表面から遠くなる程、距離推定値の精度における信頼度が下がる。この重みの低下は、距離の増加よりも有意に早い。式Ｗi＝１／（ｄi2＋１）の関数が用いられ、ここでＷiは重みであり、ｄiは距離である。これを図２４にグラフで例示する。この重みも、表面「に近い」容積点と表面「から遠い」容積点との間で差別化するのに用いられる。カメラｉにおけるスカラー場の値は、式ｓi＝（ｄi*ｗi−ｋ*（１−ｗi））*ｎiの関数であり、ここでｄiは容積点から表面までの距離であり、ｗiは距離重み付け関数であり、ｋは「遠く離れた」点に関するスカラー値であり、ｎiは法線重み付け関数である。これを図２５にグラフで例示する。スカラー場の値は、全部でのカメラに関するスカラー場の重み付き合計ｓ＝ｓｕｍ（ｓi*ｗ）である。例えば、引用によって本明細書に組み込まれているＢｒｉａｎ  Ｃｕｒｌｅｓｓ及びＭａｒｃ  Ｌｅｖｏｙ著「距離画像から複雑なモデルを構成するための容積法」、Ｓｔａｎｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ、ｈｔｔｐ：／／ｇｒａｐｈｉｃｓ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｐａｐｅｒｓ／ｖｏｌｒａｎｇｅ／ｐａｐｅｒ１ｌｅｖｅｌ／ｐａｐｅｒ．ｈｔｍｌを参照されたい。
【０１０５】
上述の関数と同様の特性を有する他の公知の関数を採用することができることに注意されたい。例えば、上述のコサイン二乗関数ではなく、閾値を有するコサイン二乗関数を採用することができる。実際には、図２３〜２５に例示しているものと同様の形状のグラフを発生させる事実上あらゆる他の関数を用いることができる（例えば、高角度でゼロに向って降下するグラフ）。
【０１０６】
本発明の一実施形態では、「マーチングキューブ」アルゴリズム及びその変形「マーチングテトラへドロン」は、スカラー場のゼロ交差を得て、表面メッシュを生成する。例えば、引用によって本明細書に組み込まれているＬｏｒｅｎｓｅｎ、Ｗ．Ｅ．及びＣｌｉｎｅ、Ｈ．Ｅ．著「マーチングキューブ：高解像度３Ｄ表面再構成アルゴリズム」、Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ、第２１巻、ｐｐ１６３〜１６９（ＳＩＧＧＲＡＰＨ会報）、１９８７年を参照されたい。容積は、立方体に分割される。スカラー場は、立方体の各コーナに対して既知であるか、又は上述のように計算される。コーナのうちの一部が正の値を有し、一部が負の値を有する時には、表面はこの立方体を通過することは公知である。標準アルゴリズムは、この表面が各エッジと交差するところで内挿する。本発明の一実施形態は、これに関して、交差部を得る上で高度の精度へと改善された２分探索を用いることによって改善を行う。この改善を行う上で、補足的な点に対してスカラー場が計算される。計算負荷は表面に沿ってしか発生せず、結果として生じるメッシュの品質が大幅に改善される。テーブルに従って多角形が表面に付加される。「マーチングテトラへドロン」変形は、各立方体を６つの四面体に分割する。四面体に関するテーブルは、立方体に関するテーブルよりも実施するのに極めて小さく容易である。これに加えて、マーチングキューブは、マーチングテトラへドロンでは存在しない不明瞭な場合を有する。
【０１０７】
結果として生じるメッシュは、多くの場合に、いくつかの望ましくない特性を有する。多くの場合に、望ましい表面の背後に架空表面が存在する。多くの場合に、真の表面の周囲にハローを形成する不正表面が存在する。更に、最終的に、メッシュ内の頂点は均一に分離しない。架空表面及び不正表面の大部分は識別することができ、従って、２つの同様の技術を用いて除去することができる。再構成される表面内の各頂点は、各カメラからの距離情報に対して検査される。頂点が、十分な数のカメラ（例えば、１〜４つのカメラ）において範囲値に近い場合には、この頂点が良好である信頼度は高い。この検査に漏れる頂点は除去される。一般的に、距離情報は、カメラの視野内の全ての点において存在するわけではない。距離情報が存在しない点は表面上に存在しないか、又は表面のうちの距離情報が存在しない部分は塗着されていない。過度に多くのカメラ（例えば、１〜４つのカメラ）において、頂点がこの「データなし」領域内に収まる場合には、この頂点が、再構成される表面の一部である可能性の信頼度は低い。第２の試験に漏れた頂点も同じく除去される。この試験は、再構成すべき物体の一般的な形状に関する仮定、及び従ってそれに対する制約を作成する。本発明の基礎を成す原理は、いかなる特定の種類の表面にも限定されないが、顔面の再構成においては、この試験は実際に良好に機能する。最後に、メッシュ内のエッジによって接続した最近接頂点対を繰返し併合することにより、頂点の間隔はより均一にされる。併合処理は、最近接対がある閾値よりも分離している時に停止される。現在、格子間隔の０．５倍が良好な結果をもたらすことは公知である。
【０１０８】
図２６は、上述の処理の概要を提供する流れ図である。２６０１では、スカラー場が作成／計算される。２６０２では、マーチングテトラへドロン及び／又はマーチングキューブアルゴリズムが用いられて、スカラー場のゼロ交差が判断され、表面メッシュが生成される。２６０３では、指定数のカメラにおける範囲値に対する頂点の相対位置に基づいて「良好な」頂点が識別される。良好な頂点は保持される。２６０４では、上記カメラにおける範囲値に対する頂点の相対位置に基づいて、及び／又は頂点が指定数のカメラの「データなし」領域内に収まるか否かに関する判断に基づいて、「不良な」頂点が除去される（上述のように）。最後に２６０５において、メッシュが単純化される（例えば、上述のように頂点の間隔がより均一にされる）。
【０１０９】
頂点追跡実施形態
本明細書では、「頂点追跡」は、捕獲された表面内の選択された点のモーションを時間と共に追跡する処理である。一般的に、一実施形態は、頂点を追跡するのに２つの解決法を用いる。フレームからフレームへの方法は、非常に短い時間で分離して取られた画像を比較することによって点を追跡する。基準からフレームへの方法は、非常に異なる時点で捕獲されたものとすることができ、又は場合によってはいずれか他の手段によって得られた基準画像に対して画像を比較することによって点を追跡する。両方の方法とも、長所と短所を有する。フレームからフレームの追跡は、完璧な結果を出さない。小さい追跡誤差は、多くのフレームにわたって蓄積する傾向を有する。点は、その公称の位置からドリフトして離れる。基準からフレームでは、対象フレーム内の対象物が基準から変形される可能性がある。例えば、基準画像内にある口は閉じていたかもしれないが、ターゲット画像内では開いている可能性がある。一部の場合には、認識範囲を超えて変形されたために、２つの画像内のパターンを照合することが不可能である可能性がある。
【０１１０】
上述の制約に対処するために、本発明の一実施形態では、基準からフレーム及びフレームからフレームへの技術の組合せが用いられる。この実施形態を説明する流れ図を図２７に例示する。２７０１では、第１及び第２のフレーム内の点を得る上でフレームからフレームの追跡が用いられる。２７０３では、処理可変Ｎが３（すなわち、フレーム３を表す）に設定される。次に２７０４では、フレーム間の潜在的ドリフトを抑止するために基準からフレームの追跡が用いられる。２７０５では、Ｎの値が増加され（すなわち、Ｎ番目のフレームを表す）、２７０６で別のフレームが存在すると判断された場合には、処理は２７０３に戻り、フレームからフレームの追跡が用いられ、２７０４における基準からフレームの追跡がこれに続く。
【０１１１】
一実施形態では、基準からフレーム及びフレームからフレームの追跡の両方において、表面の法線に最も近いカメラが選択される。点の新しいｘ、ｙの位置を得るために相関性が用いられる。採用することができる相関技術の説明に対しては、例えば、２００５年１０月２０日出願の「補捉表面上の不規則パターンを用いてモーション捕獲を実施するための装置及び方法」という名称の出願番号第１１／２５５、８５４号を参照されたい。ｚ値は、再構成される表面から抽出される。この相関技術は、できる限り多くの点を得るように調節することができる多数のパラメータを有する。例えば、フレームからフレームへの方法は、比較的大きい区域にわたって点を検索することができ、点を照合するのに大きい窓関数を用いることができる。基準からフレームへの方法は、より小さい窓を用いてより小さい区域を検索することができる。しかし、多くの場合に、特定のパラメータセットに対して見分けが付くピークが存在しないか、又は複数のピークが存在する。これらのパラメータを用いると、点は、十分な信頼度を伴って追跡することができない。この理由から、本発明の一実施形態では、異なるパラメータセットにより、複数の相関パス解析が実施される。１回目の後のパス解析では、以前のパス解析で確実に追跡された隣接の点の位置に基づく点の位置の最小二乗推定値を用いることによって検索区域を縮小することができる。隣接の点を選択する時には注意を払う必要がある。例えば、上唇上の点は、１つのフレームにおいては、下唇上の点と物理的に近くにある可能性があるが、後のフレームでは、これらは実質的な距離によって分離する可能性がある。上唇上の点は、下唇上の点の位置の良好な予測子ではない。点間の空間距離ではなく、メッシュのエッジに沿うように移動が制限される時の点間の測地線距離は、最小二乗近似の重み付け関数に対するより優れた基準である。この例では、上唇から下唇への経路は、口の隅を回って非常に長い距離を辿ることになり、従って、反対の唇上の点の位置への影響が大幅に低減する。
【０１１２】
図２８は、上述の作動の概要を提供している。２８０１では、第１のパラメータセットが選択される。２８０２では、パラメータセットが与えられた上で頂点を追跡する試みが行われる。成功は、上述の基準を用いて判断される。２８０２では、確実に追跡されなかった頂点の位置が、確実に追跡された隣接頂点の位置から推定される。２８０４及び２８０５では、パラメータセットが更新されるか、又はプログラムが終了される。すなわち、異なるパラメータセットを用いて複数の相関パスが実行される。
【０１１３】
時々に表面の再構成は不完全である。この表面再構成は、孔又は外来の隆起部を有する可能性がある。全ての点の位置は、これらの点の隣接位置からこれらの点の位置を推定することによって検査される。追跡された位置が過度に異なる場合には、追跡又は表面再構成のいずれかで異常が発生したことが疑われる。いずれの場合にも、点は、最良の推定位置に補正される。
【０１１４】
遡及的追跡マーカ選択
多くの従来技術モーション捕獲システム（例えば、「Ｖｉｃｏｎ  ＭＸ４０」モーション捕獲システム）は、捕獲するべきモーションを有する物体に取り付けられたいずれかの形態のマーカを利用する。例えば、顔面のモーションを捕獲するために、１つの従来技術は、顔面に再帰性反射マーカを接着するというものである。顔面のモーションを捕獲する別の従来技術は、顔面上に点又は線を塗着するというものである。これらのマーカは、これらのマーカが顔面に取り付けられた位置に対して固定されたままに残るので、顔面のその部分が移動する時にその部分のモーションを追跡する。
【０１１５】
一般的に、制作会社のモーション捕獲環境では、顔面上の位置は制作チームによって選択され、制作チームは、将来アニメーションを駆動するために捕獲されたモーションデータを用いる時に、顔面モーション追跡するのにこれらの位置が必要になると考える（例えば、制作チームは、瞬きのモーションを追跡するために、瞼の上にマーカを配置する可能性がある）。この手法に伴う問題は、マーカに対して理想的な位置を判断することが、アニメーション制作が進行した後になるまでできないことが多いということであり、この進行は、マーカが捕獲されたモーション捕獲セッションの後、数ヶ月又は更には数年後になる可能性もある。そのような時点で、制作チームが、１つ又はそれよりも多くのマーカが適切でない位置にあるように判断した場合には（例えば、顔面上でモーションを歪ませる皺がある位置に位置している）、同じ演技者による別のモーション捕獲セッションを準備し、データを再度捕獲するのは、多くの場合に実際的ではない。
【０１１６】
本発明の一実施形態では、ユーザは、モーション捕獲データが捕獲された後に、追跡したいと望む補捉表面上の点を指定する（すなわち、モーション捕獲セッションに対して先見的にではなく遡及的に）。一般的に、制作会社のアニメーションにおいてユーザによって指定される追跡すべき点の数は、この実施形態の表面補捉システムを用いて各フレームで捕獲される多角形の頂点の数よりも遥かに少ない点数になる。例えば、１つの顔面に対して各フレーム内で１００、０００個を超える頂点を捕獲することができるが、一般的に、大部分の制作会社のアニメーション用途では、１０００個の追跡頂点又はそれ未満で十分である。
【０１１７】
この例では、ユーザは、基準フレームを選択することができ、次に、表面上の１００、０００個よりも多くの頂点から追跡すべき１０００個の頂点を選択することができる。次に、前に説明し、図２７及び２８に例示している頂点追跡技術を利用して、これらの１０００個の頂点は、フレームからフレームへと追跡される。この後、これらの１０００個の追跡頂点は、アニメーション制作チームがアニメーションにしようと選択するあらゆるものに向けてこのチームによって用いられる。アニメーション制作過程中のいずれかの時点で、アニメーション制作チームが、１つ又はそれよりも多くの追跡頂点を顔面上の異なる位置に移動するか、又は１つ又はそれよりも多くの追跡頂点を追加又は削除する方が好ましいと考えられると判断した場合には、アニメーション制作チームは、これらの変更を指定することができ、その後、同じ頂点追跡技術を用いて、これらの新しい頂点が追跡されることになる。実際に、追跡すべき頂点は、必要に応答して何度でも変更することができる。追跡マーカ（例えば、頂点）を遡及的に変更する機能は、全追跡点をモーション捕獲セッションの前に先見的に指定しなければならず、その後に変更することができない従来の手法を遥かに超える改善である。
【０１１８】
本発明の実施形態は、上記に示す様々な段階を含むことができる。これらの段階は、汎用又は専用プロセッサにある一定の段階を実施させるマシン実行可能命令に具現化することができる。コンピュータメモリ、ハードドライブ、入力デバイスのような本発明の基礎を成す原理に関連のない様々な要素は、本発明の関連態様を不明瞭にすることを回避するために図から外している。
【０１１９】
代替的に、一実施形態では、本明細書に例示している様々な機能モジュール及びこれらに関連する段階は、特定用途向け集積回路（ＡＳＩＣ）又はプログラム済みコンピュータ構成要素とカスタムハードウエア構成要素とのいずれかの組合せのようなこれらの段階を実行するためのハードウエア組込論理回路を収容する特定のハードウエア構成要素によって実行することができる。
【０１２０】
本発明の要素はまた、マシン実行可能命令を記憶するための機械可読媒体として準備することができる。機械可読媒体は、フラッシュメモリ、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、伝播媒体、又は電子命令を記憶するのに適する他の種類の機械可読媒体を含むことができるが、これらに限定されない。例えば、本発明は、搬送波又は通信リンク（例えば、モデム又はネットワーク接続）を通じた他の伝播媒体に組み込まれたデータ信号を用いて、遠隔コンピュータ（例えば、サーバ）から要求コンピュータ（例えば、クライアント）に転送することができるコンピュータプログラムとしてダウンロードすることができる。
【０１２１】
以上の説明全体を通じて、説明の目的で、本発明のシステム及び方法の完全な理解をもたらすために数々の特定の詳細内容を示した。しかし、本発明のシステム及び方法は、これらの特定の詳細の一部を用いずに実施することができることは当業者には明らかであろう。従って、本発明の範囲及び精神は、以下に続く特許請求の範囲によって判断すべきである。
【符号の説明】
【０１２２】
２０８、２０９  照明パネル
２０２  画像
２２５  カメラコントローラコンピュータ
２０７  ３Ｄ表面
２１４、２１５  カラー点灯時カメラ
【図１】
2009545818.tif 000002
【図２ａ】
2009545818.tif 000003
【図２ｂ】
2009545818.tif 000004
【図３】
2009545818.tif 000005
【図４】
2009545818.tif 000006
【図５】
2009545818.tif 000007
【図６】
2009545818.tif 000008
【図７ａ】
2009545818.tif 000009
【図７ｂ】
2009545818.tif 000010
【図７ｃ】
2009545818.tif 000011
【図７ｄ】
2009545818.tif 000012
【図７ｅ】
2009545818.tif 000013
【図８】
2009545818.tif 000014
【図９】
2009545818.tif 000015
【図１０】
2009545818.tif 000016
【図１１】
2009545818.tif 000017
【図１２】
2009545818.tif 000018
【図１３】
2009545818.tif 000019
【図１４】
2009545818.tif 000020
【図１５】
2009545818.tif 000021
【図１６】
2009545818.tif 000022
【図１７】
2009545818.tif 000023
【図１８】
2009545818.tif 000024
【図１９】
2009545818.tif 000025
【図２０】
2009545818.tif 000026
【図２１】
2009545818.tif 000027
【図２２】
2009545818.tif 000028
【図２３】
2009545818.tif 000029
【図２４】
2009545818.tif 000030
【図２５】
2009545818.tif 000031
【図２６】
2009545818.tif 000032
【図２７】
2009545818.tif 000033
【図２８】
2009545818.tif 000034
【手続補正書】
【提出日】平成21年3月31日(2009.3.31)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009545818.tif 000035
【図３】
2009545818.tif 000036
【図７ｄ】
2009545818.tif 000037
【図７ｅ】
2009545818.tif 000038
【図８】
2009545818.tif 000039
【図１０】
2009545818.tif 000040
【図１４】
2009545818.tif 000041
【図１５】
2009545818.tif 000042
【図１６】
2009545818.tif 000043
【図１７】
2009545818.tif 000044
【図１８】
2009545818.tif 000045
【図２０】
2009545818.tif 000046
【図２１】
2009545818.tif 000047
【図２６】
2009545818.tif 000048
【図２７】
2009545818.tif 000049
【図２８】
2009545818.tif 000050
【図２ａ】
2009545818.tif 000051
【図２ｂ】
2009545818.tif 000052
【図４】
2009545818.tif 000053
【図５】
2009545818.tif 000054
【図６】
2009545818.tif 000055
【図７ａ】
2009545818.tif 000056
【図７ｂ】
2009545818.tif 000057
【図７ｃ】
2009545818.tif 000058
【図９】
2009545818.tif 000059
【図１１】
2009545818.tif 000060
【図１２】
2009545818.tif 000061
【図１３】
2009545818.tif 000062
【図１９】
2009545818.tif 000063
【図２２】
2009545818.tif 000064
【図２３】
2009545818.tif 000065
【図２４】
2009545818.tif 000066
【図２５】
2009545818.tif 000067
【国際調査報告】
2009545818.tif 000068
2009545818.tif 000069