(57)【要約】      （修正有）【課題】三次元（３Ｄ）の画像を再現する改良されたシステム及び方法を提供する。【解決手段】システム及び方法は、複数の二次元（２Ｄ）ビデオカメラ源から３Ｄ物体を抽出し、デジタル処理で再現し、追跡記録する。システム及び方法は、２Ｄカメラを介して３Ｄシーンを再現し、このデータを２Ｄ表面に再投影する。このシステム及び方法は、解析技術を２Ｄ領域に戻すことにより、３Ｄモデルを解析するのに必要な画像処理を非常に簡単にできる。【選択図】図１
2014013573.tif 000002
【特許請求の範囲】
【請求項１】
三次元のデジタル領域内の対象物の三次元表示を生成する方法であって、
（ｉ）対象物を背景空間に配置するステップと、
（ｉｉ）少なくとも２つのビデオカメラを前記対象物に向けるステップと、
（ｉｉｉ）前記対象物に向けられた各々の前記ビデオカメラからの全体画像を取得するステップと、
（ｉｖ）各々の前記全体画像から前記背景空間を減算して、前記対象物の対象画像を生成するステップと、
（ｖ）各々の前記ビデオカメラの内部較正を実行するステップと、
（ｖｉ）２以上の前記ビデオカメラの相対的な外部較正を実行するステップと、
（ｖｉｉ）１以上の前記対象画像を前記三次元デジタル領域に投影することにより、前記対象物の三次元画像を再現するステップと
を含み、
前記画像の再現ステップは、
（ａ）前記ビデオカメラのレンズ特性を用いて、前記ビデオカメラの方向及び前記ビデオカメラの位置に類似している構成で、三次元デジタル領域内の１以上の仮想プロジェクタを概念化するステップと、
（ｂ）１以上の仮想の二次元スライスを前記三次元デジタル領域に挿入するステップと、
（ｃ）各々の前記仮想の二次元スライスを各々の前記投影された画像と比較するステップと、
（ｄ）前記投影された画像の１つが前記仮想の二次元スライスの１つと交わる毎に、カウンタをインクリメントするステップと、
（ｅ）前記カウンタを前記ビデオカメラの数と比較するステップと、
（ｆ）前記対象物が、前記三次元デジタル領域内の前記仮想の二次元スライスの位置に存在すると見なされているかどうかを決定するステップと
を含む
方法。
【請求項２】
前記画像再現ステップは、前記対象物の特性に最も良く合うように、各々の前記仮想の二次元スライスの特性を動的に構成するステップをさらに含む、
請求項１に記載の方法。
【請求項３】
各々の前記仮想の二次元スライスは、各々の前記仮想の二次元スライスが全ての他の仮想の二次元スライスと平行になるように、前記三次元デジタル領域に挿入される、
請求項１に記載の方法。
【請求項４】
三次元のデジタル領域内の対象物の三次元表示を生成する方法であって、
（ｉ）対象物を背景空間に配置するステップと、
（ｉｉ）少なくとも２つのビデオカメラを前記対象物に向けるステップと、
（ｉｉｉ）前記対象物に向けられた各々の前記ビデオカメラからの全体画像を取得するステップと、
（ｉｖ）各々の前記全体画像から前記背景空間を減算して、前記対象物の対象画像を生成するステップと、
（ｖ）各々の前記ビデオカメラの内部較正を実行するステップと、
（ｖｉ）２以上の前記ビデオカメラの相対的な外部較正を実行するステップと、
（ｖｉｉ）１以上の前記対象画像を前記三次元デジタル領域に投影することにより、前記対象物の三次元画像を再現するステップと、
（ｖｉｉｉ）前記三次元デジタル領域内の前記対象物を追跡記録するステップと
を含み、
１以上の前記対象画像を前記三次元デジタル領域に投影することによる前記画像の再現ステップは、前記ビデオカメラの各々から取得された前記対象画像を、前記ビデオカメラのレンズ特性を用いて、前記ビデオカメラの方向に及び前記ビデオカメラの位置から前記三次元デジタル領域に投影することを含み、
前記対象物の追跡記録ステップは、
（１）前記三次元デジタル領域に投影された各々の前記取得された画像について二次元の画像分析を実行するステップと、
（２）前記対象物の公知の特性に基づいて、前記対象物の存在を検出するステップと、
（３）前記三次元デジタル領域内で前記対象物の縫いぐるみ人形の仮想表現を生成するステップと
を含み、
前記二次元の画像分析ステップは、
（ａ）１以上の画像表現の構造物について、各仮想二次元スライスを評価するステップと、
（ｂ）各々の前記画像表現の構造物の外形を計算するステップと、
（ｃ）各々の前記画像表現の構造物に楕円を当てはめるステップと、
（ｄ）各々の前記画像表現の構造物について、中心点、ｘ半径、ｙ半径、及び回転角を計算するステップと、
（ｅ）各仮想の二次元スライスの公知の特性を、前記仮想二次元スライス内に位置付けられた各々の前記画像表現の構造物に適用して、各々の前記画像表現の構造物の現実世界の座標を生成するステップと
を含む
方法。
【請求項５】
三次元のデジタル領域内の対象物の三次元表示を生成する方法であって、
（ｉ）対象物を背景空間に配置するステップと、
（ｉｉ）少なくとも２つのビデオカメラを前記対象物に向けるステップと、
（ｉｉｉ）前記対象物に向けられた各々の前記ビデオカメラからの全体画像を取得するステップと、
（ｉｖ）各々の前記全体画像から前記背景空間を減算して、前記対象物の対象画像を生成するステップと、
（ｖ）各々の前記ビデオカメラの内部較正を実行するステップと、
（ｖｉ）２以上の前記ビデオカメラの相対的な外部較正を実行するステップと、
（ｖｉｉ）１以上の前記対象画像を前記三次元デジタル領域に投影することにより、前記対象物の三次元画像を再現するステップと、
（ｖｉｉｉ）前記三次元デジタル領域内の前記対象物を追跡記録するステップと
を含み、
１以上の前記対象画像を前記三次元デジタル領域に投影することによる前記画像の再現ステップは、前記ビデオカメラの各々から取得された前記対象画像を、前記ビデオカメラのレンズ特性を用いて、前記ビデオカメラの方向に及び前記ビデオカメラの位置から前記三次元デジタル領域に投影することを含み、
前記対象物の追跡記録ステップは、
（１）前記三次元デジタル領域に投影された各々の前記取得された画像について二次元の画像分析を実行するステップと、
（２）前記対象物の公知の特性に基づいて、前記対象物の存在を検出するステップと、
（３）前記三次元デジタル領域内で前記対象物の縫いぐるみ人形の仮想表現を生成するステップと
を含み、
前記対象物の検出ステップは、
（ａ）前記１以上のビデオカメラの構成に類似している構成で、前記三次元デジタル領域内の１以上の仮想プロジェクタを概念化するステップと、
（ｂ）前記対象物の公知の特性に基づいて予め決定された１以上の位置で、１以上の仮想の二次元スライスを前記３次元デジタル領域に挿入するステップと、
（ｃ）各々の前記仮想の二次元スライスを各々の前記投影された画像と比較するステップと、
（ｄ）前記投影された画像の１つが前記仮想の二次元スライスの１つと交わる毎に、カウンタをインクリメントするステップと、
（ｅ）前記カウンタを前記１以上のビデオカメラの数と比較するステップと、
（ｆ）前記対象物が、前記三次元デジタル領域内の前記仮想の二次元スライスの位置に存在すると見なされているかどうかを決定するステップと
（ｇ）１以上の画像表現の構造物について、各仮想二次元スライスを評価するステップと、
（ｈ）各々の前記画像表現の構造物の外形を計算するステップと、
（ｉ）各々の前記画像表現の構造物に楕円を当てはめるステップと、
（ｊ）各々の前記画像表現の構造物について、中心点、ｘ半径、ｙ半径、及び回転角を計算するステップと、
（ｋ）各仮想の二次元スライスの公知の特性を、前記仮想二次元スライス内に位置付けられた各々の前記画像表現の構造物に適用して、各々の前記画像表現の構造物の現実世界の座標を生成するステップと
を含む
方法。
【請求項６】
前記対象物は人間であり、
前記方法は、
（ａ）床と平行に且つ床の高さで仮想二次元スライスを挿入するステップと、
（ｂ）床と平行に且つ足首の高さで仮想二次元スライスを挿入するステップと、
（ｃ）床と平行に且つ膝の高さで仮想二次元スライスを挿入するステップと、
（ｄ）床と平行に且つ腰の高さで仮想二次元スライスを挿入するステップと、
（ｅ）床と平行に且つ胸の高さで仮想二次元スライスを挿入するステップと、
（ｆ）床と平行に且つ頭の高さで１以上の仮想二次元スライスを挿入するステップと、
のうちの少なくとも２つのステップをさらに含む、
請求項５に記載の方法。
【請求項７】
前記床と平行で且つ床の高さの前記仮想二次元スライス内に位置付けられた１以上の画像表現の構造物と、前記床と平行で且つ足首の高さの前記仮想二次元スライス内に位置付けられた１以上の画像表現の構造物との間の関係を分析することにより、前記人間の向きを決定するステップをさらに含む、
請求項６に記載の方法。
【請求項８】
前記人間の向きを決定するステップは、前記床と平行で且つ腰の高さの前記仮想二次元スライス内に位置付けられた１以上の画像表現の構造物と、前記床と平行で且つ胸の高さの仮想二次元スライス内に位置付けられた１以上の画像表現の構造物との間の関係を分析するステップをさらに含む、
請求項７に記載の方法。
【請求項９】
前記人間の身長を決定するステップをさらに含む、
請求項８に記載の方法。
【請求項１０】
前記対象物の境界を決定できるように、１以上の仮想二次元スライスを末端キャップとして挿入するステップをさらに含む、
請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、コンピュータビジョン及び三次元（３Ｄ）画像再現に関する。
【背景技術】
【０００２】
過去２０年間にわたり、３Ｄの物体を再現し、デジタル化し、追跡記録しようとするコンピュータビジョンの分野で、多くのかねて定評がある技術が開発されてきた。このような技術の１つは、この物体が撮影された複数の二次元（２Ｄ）の外形画像から物体を再現することである。この技術は、一般的に、様々な視点から２Ｄ外形画像を使用して切り分けられたボクセルの３Ｄ体積を使用する。この技術は、再現される物体の全体的な３Ｄ形状を表現するボクセルの体積を生成するのに効率的に使用されていた。
【０００３】
いくつかのアルゴリズムが目で見える外殻構造の計算のために公表されている。例えば、Ｗ．ＭａｒｔｉｎとＪ．Ｋ．Ａｇｇａｒｗａｌ著の「複数の視点からの物体の体積測定の解説」（パターン解析と人口知能に関するＩＥＥＥ会報の第５巻第２号１５０〜１５８頁、１９８３年３月）、Ｍ．Ｐｏｔｍｅｓｉｌ著の「一連の画像のシルエットからの３Ｄ物体の八分木モデルの生成」（コンピュータビジョンの図形及び画像の処理の第４０巻１〜２９頁、１９８７年）、ＲｉｃｈａｒｄＳｚｅｌｉｓｋｉ著の「画像シーケンスからの高速な八分木の構築」（ＣＶＧＩＰ：画像理解の第５８巻第１号２３〜３２頁、１９９３年７月）、及びＷ．Ｎｉｅｍ著の「複数の視点からの３Ｄの自然体の強固な及び高速のモデリング」（画像及び映像の処理ＩＩ第２１８２巻３８８〜３９７頁、１９９４年）。これらの文献の内容は、参照することによりここに組み込まれる。
【０００４】
これらの取り組みは体積測定の空間表現における問題を解決しようと努めている。これらの表現の最も一般的なものは、３Ｄの箱を別個の大きさの一組のボクセルに細分することである。その箱の大きさは、物体が箱に収容されうるように予め決められている。性能を改善するため、これらは「八分木」として表されているかもしれないし又はランレングス符号化されている。
【０００５】
さらに関連する情報が、Ｃ．Ｈ．Ｃｈｉｅｎ及びＪ．Ｋ．Ａｇｇａｒｗａｌ著の「四分木／八分木を使用した複数のシルエットからの３Ｄ物体の識別」（コンピュータビジョンの図形及び画像の処理第３６巻２５６〜２７３頁、１９８６年）と、Ａ．Ｗ．Ｆｉｔｚｇｉｂｂｏｎ、Ｇ，Ｃｒｏｓｓ、及びＡ．Ｚｉｓｓｅｒｍａｎｎ著の「ターンテーブルシーケンスに関する自動の３Ｄモデルの構築」（大規模な環境の複数の画像からの３Ｄ構造についてのヨーロッパ研修会の議事録（スマイル９８）のＬＮＣＳ１５０６、１５５〜１７０頁、１９９８年）と、に見られる。これらの文献の内容は、参照することによりここに組み込まれる。
【０００６】
従来の空間切り分け技術に関する問題は、性能と柔軟性の１つにある。Ｘ，Ｙ，Ｚ次元のボクセルのグリッドを事前に定義することにより、コンピュータ資源は急速に消耗される。リアルタイムの性能は、１００×１００×１００の低解像度のグリッドを表す、わずか１００万のボクセルを含む、非常に低い解像度でしか可能でない。多くの技術が、空間細分と他の最適化を用いて、この取り組みを最適化しようと試みるように開発されてきた。これらの技術は役立つが、ボクセルを基準にした取り組みをリアルタイムの実用性にまで作り上げていない。米国特許第７，３２７，３６２号は、このような取り組みの１つを記載している。この特許の内容は参照することによりここに組み込まれる。
【０００７】
上記技術を使用して画像を再現した後、研究者はしばしば物体を分析して追跡記録する様々な技術を使用していた。ボクセルグリッドの分析は、非常に時間を集約するものであることが判明している。ボクセルグリッドにより表される人間の姿を追跡記録する１つの技術が、米国特許第７，２５７，２３７号に記載されている。この特許の内容は参照することによりここに組み込まれる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第７３２７３６２号明細書
【特許文献２】米国特許第７２５７２３７号明細書
【非特許文献】
【０００９】
【非特許文献１】「複数の視点からの物体の体積測定の解説」（パターン解析と人口知能に関するＩＥＥＥ会報の第５巻第２号１５０〜１５８頁、１９８３年３月、Ｗ．ＭａｒｔｉｎとＪ．Ｋ．Ａｇｇａｒｗａｌ著）
【非特許文献２】「一連の画像のシルエットからの３Ｄ物体の八分木モデルの生成」（コンピュータビジョンの図形及び画像の処理、第４０巻１〜２９頁、１９８７年、Ｍ．Ｐｏｔｍｅｓｉｌ著）
【非特許文献３】画像シーケンスからの高速な八分木の構築」（ＣＶＧＩＰ：画像理解の第５８巻第１号２３〜３２頁、１９９３年７月、ＲｉｃｈａｒｄＳｚｅｌｉｓｋｉ著）
【非特許文献４】「複数の視点からの３Ｄの自然体の強固な及び高速のモデリング」（画像及び映像の処理ＩＩ第２１８２巻３８８〜３９７頁、１９９４年、Ｗ．Ｎｉｅｍ著）
【非特許文献５】「四分木／八分木を使用した複数のシルエットからの３Ｄ物体の識別」（コンピュータビジョンの図形及び画像の処理第３６巻２５６〜２７３頁、１９８６年、Ｃ．Ｈ．Ｃｈｉｅｎ及びＪ．Ｋ．Ａｇｇａｒｗａｌ著）
【非特許文献６】「ターンテーブルシーケンスに関する自動の３Ｄモデルの構築」（大規模な環境の複数の画像からの３Ｄ構造についてのヨーロッパ研修会の議事録（スマイル９８）のＬＮＣＳ１５０６、１５５〜１７０頁、１９９８年、Ａ．Ｗ．Ｆｉｔｚｇｉｂｂｏｎ、Ｇ，Ｃｒｏｓｓ、及びＡ．Ｚｉｓｓｅｒｍａｎｎ著）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
この技術において、三次元（３Ｄ）画像の再現に関する改良されたシステム及び方法の必要性がある。
【課題を解決するための手段】
【００１１】
本発明の実施形態は、三次元（３Ｄ）画像の再現についての改良されたシステム及び方法を提供することにより、これらの及び他の必要性に取り組む。
【００１２】
本発明の実施形態は、ボクセルの使用を避ける画像再現の新しいシステム及び方法を対象とする。これらの実施形態は、ボクセルを基準にした再現の取り組みに固有の性能と解像度の問題の両方と、再現されたときのボクセル形状の分析及び追跡記録に関連する性能の問題に取り組む。
【００１３】
複数の２Ｄビデオカメラ源から３Ｄ物体を抽出し、デジタル処理で再現し、追跡記録する、新規な方法「ａｈｓ」が開発されている。この方法は、具体的には、動物や人体などの複雑な生来の形状を高速で検出し追跡記録するのに役立つ。実施形態は、リアルタイムのマーカーを使用しないモーションキャプチャシステム（もはやマーカーや付属の追跡記録装置の使用を課せられることを要しないもの。）をうまく実現する方法を対象とする。
【００１４】
実施形態は、２Ｄカメラを介して３Ｄシーンを再現し、このデータを２Ｄ表面に再投影する目新しい取り組みを対象とする。この方法は、分析技術を２Ｄ領域（domain）に戻すことにより、３Ｄモデルを分析するのに必要な画像処理を非常に簡単にする。
【００１５】
３Ｄシーンをデジタル処理で再現する目新しい取り組み方を提供することに加え、本発明の実施形態は、ビデオゲーム産業のために開発されたグラフィックスカードのハードウェア（ＧＰＵ（Graphics Processing Units））を活用し且つ再度目的ともたす特有の取り組みを提供する。この目新しい取り組みを用いたハードウェアに再度目的をもたすことは、従来のＣＰＵで駆動される取り組み方の１００倍の倍数で３Ｄシーンの再現を高速化することを可能にする。
【図面の簡単な説明】
【００１６】
【図１】図１は、被験者を取り囲む６台のカメラからの６枚のビデオ画像を示す図
【図２】背景減算情報を示すビデオ画像を示す図
【図３】大きな較正用の板を見るカメラのビデオ画像を示す図
【図４】全てのカメラデータが投影された後の２Ｄポリゴンを右側に示す３Ｄ画像を示す図（この場合、ポリゴンの位置は、被験者の足の長さに沿った床の横断面を表している。）
【図５】空間を「分析（examine）」し、被験者の全体の形状を見つけ出すための２Ｄの投影されたポリゴンの再帰的な使用を示す図
【図６】骨格形状と２Ｄポリゴンの値を求めることにより生成されるデータとの最初の適合を示す図
【図７】テクスチャのデータが投影された後の２Ｄポリゴンを示す図
【図８】局所座標空間の２Ｄポリゴンを使用して追跡記録される腕の拡大図
【図９】テクスチャがどのようにして２Ｄポリゴンに投影されうるかを示す図
【図１０】投影されたテクスチャの図９と異なる視点を示す図
【図１１】現実世界がどのようにデジタル領域に関連し、カメラがどのように仮想プロジェクタに関連するかを示すレイアウトを示す図
【図１２】どのようにカメラ／空間の較正が設定されるかを示す図
【図１３】交差するカメラの投影の仮想投影集団を示す図
【図１４】カメラの投影からのデータがどのように２Ｄポリゴンに「描かれるか（Drawn）」を示す図
【図１５】追跡記録される人物の骨に局所的に位置するスライスがどのようにして次の時間ステップのための位置情報を提供できるかを示す図
【図１６】どのようにして２Ｄスライスの分析が複雑なシーンで不明瞭を取り除くのに使用されうるかを示す図
【図１７】「末端キャップ」がどのようにして追跡記録される骨格形状を適切に位置付けるのに役立ちうるかを示す図
【図１８】典型的なシステムにおけるデータの流れを示す図
【図１９Ａ】本発明の実施形態における典型的なビデオカメラの配置を示す図
【図１９Ｂ】本発明の実施形態における典型的なビデオカメラの配置を示す図
【図２０】２Ｄポリゴンへの投影のクローズアップ図
【発明を実施するための形態】
【００１７】
本出願は、２００７年３月２日に出願された米国仮特許出願第６０／８９２，７３８の恩恵を主張する。米国仮特許出願第６０／８９２，７３８の内容は、参照することによりここに組み込まれる。
【００１８】
本発明の目的と利点は、添付の図面（図面中、同様の参照文字は同様の部分に言及する。）を併用して、下記の詳細な説明を考慮することにより明らかになるであろう。
【００１９】
上述した図は、本発明の概念を説明するのを単に支援するために設けられたものであり、縮尺するためのものではなく、十分に本発明の実施形態の範囲内である可能性のある形状と比率の範囲に関して限定することを意図したものではない。
【００２０】
本発明の実施形態に従って、複数のビデオカメラにより観察される３Ｄの被験者を抽出し追跡記録するのに使用されるステップを以下に説明する。
【００２１】
ステップ１．  画像の取得
【００２２】
特定の実施形態は、最大数の遠近感を与える方法に関心のある領域周辺に置かれた１０台以上のデジタルビデオカメラのビデオ画像を使用する。
【００２３】
映像取得サブシステムが図１８に記載されている。複数のカメラ１８０１は、ファイヤワイヤーケーブル１８０２、イーサネット（登録商標）ＩＰ、アナログケーブル、又映像を転送するのに使用される他の一般的な方法のいずれかにより、ホストコンピュータに入力する。この映像は、カメラ取得ボード１８０３に送り込まれる。我々の実証では、ＩＥＥＥ１３９４ａファイヤワイヤ規格を使用して機能する特注のカードを使用する。一般に、ＤＭＡ（Direct Memory Access）転送１８０４によるビデオデータの転送機能を備えてさえいれば、いずれの種類の画像インターフェースボードも使用されうる。ＤＭＡを使用して、我々はビデオデータをホストコンピュータのシステムメモリに転送する。そこからデータがＤＭＡ転送を介してＧＰＵメモリ（Graphics Processing Unit Memory）に直接移される。我々の場合、ＧＰＵは、バーテックスシェーダ及びピクセルシェーダを実行可能な標準のＤｉｒｅｃｔＸの有能な消費者級の３Ｄグラフィックスカードである。適宜、我々は、ビデオデータのコピーと、後の検索のためのハードディスクアレイ１８０６へのＤＭＡ転送とを同時に行う。１００％のＤＭＡ転送を用いる目的は、ホストコンピュータのＣＰＵを他のタスクのために開放することである。画像転送のこの方法は、ＣＰＵサイクルの約１％のみを使用する場所に全てのビデオデータを移すことを可能にする。
【００２４】
図１１は、被験者又は走査領域の周辺にカメラを位置付ける方法の図を示している。図１は、被験者が図１１に記載されるカメラ位置に立つときにホストコンピュータに供給される６つの典型的なビデオ画像を示すソフトウェアのスナップ写真を示す。
【００２５】
ステップ２．  背景の減算
【００２６】
ｉ）白黒カメラを使用
白黒カメラを使用するとき、能動的な背景を使用すると、背景から対象物を迅速に減算するのに役立つ。我々のケースにおいて、能動的な背景は、スコッチライト（ScotchLite）と呼ばれる３Ｍにより販売される反射製品で実現されうるような、裏から光りで照らし出されるシート又は反射面からなる。この材料は、一般に、道路標識、衣類の反射の縞模様、又は道路上の塗料においても見つけられる。この材料上で光りを輝かせると、その材料は光が来た位置に光を反射する。カメラのレンズの周辺に光りを配置すると、カメラに戻ってくる光の作用により、背景が光るように見える。これらの光る背景を後ろにするこの基本的なアイデアは、対象物の画像の最も明るいテクスチャでさえもが背景よりも暗くなるということにある。それから、２つの方法が背景を減算するのに使用されうる。カメラ位置（setup）の光る状況に応じて、交換可能なこれらの技術のいずれも使用することができる。ある場合には、我々は特定の輝度レベルで、画像を単に切り抜く。この場合、特定の閾値よりも明るい全てのピクセルが背景に属していると言える。図２において、この背景は図示に役立つように黒で置き換えられている。白黒カメラのために能動的な背景を置き換える他の方法は、背景の参照ショットを撮影し、ピクセル毎に背景と前景の画像の減算を行うことである。減算後の画像の絶対値を取り、特定の閾値で切り抜く。ここで、このアイデアは、前景と背景との間で特定量以上異なるピクセルが、おそらく前景の一部であることである。結果として生じる減算は、高強度値で（選択の１つとして）背景を切り抜くことに類似しているように見える。能動的な背景を使用することにより、対象物がシーン内で移動するときに周囲の照明又は影の変化により引き起こされる画像分割の複雑性を取り除く。バックライティングは影を除去する又は洗い流す。この取り組みの不利な点は、対象物の周辺に配置された能動的な又は特定の反射面を備えた専用のスタジオ構成を使用する必要があることである。
【００２７】
ｉｉ）カラーカメラを使用
カラーカメラを使用するときは、背景を減算するためのより高度な選択肢がある。カラーカメラの場合、背景（すなわち、走査領域に対象物がない状態）のスナップショットを撮り、この画像をＲＧＢからＨＬＳ色空間（色相、光度、彩度）に変換する。前景についても同一のことを行い、下記のルールを適用する。
【００２８】
ａ．前景ピクセルが、彩度において背景よりも明るければ、前景ピクセルである。
【００２９】
ｂ．前景ピクセルが背景ピクセルよりも暗ければ、それは前景ピクセルかもしれないし又はピクセル上で影がある背景ピクセルでもありうる。影は、影響を及ぼす色と同一の色相値を持つ傾向がある。この場合、前景の色相値が背景と（所定の範囲内で）類似しているかどうかを調べる第２の調査を行う。色相値の差異と彩度及び輝度の差異があまり大きくなければ、対象物の影により影響されている背景ピクセルであると想定できる。
【００３０】
ｃ．彩度と輝度が同一であっても、色相値が前景と背景とで異なる場合、ピクセルを切り抜いてそのピクセルを前景にする。
【００３１】
ｄ．前景と背景の彩度の差異が、所定量を越えている場合、背景を切り抜いて前景とみなす。
【００３２】
全てのこれらのルールを組み合わせることにより、シーン内の照明の変化に対してよく持ちこたえる強固なピクセル毎の背景の減算を開発した。それは、専門のスタジオセットを必要とせずに屋内と屋外の両方の環境において、立体の（solid）背景の減算を行うことを可能にする。また、上述したピクセル毎の減算の技術に加え、背景対前景の階調度の変化を見る領域ベースの技術を使用しても良い。ある場合には、前景のピクセルが、背景と類似の明度を持つために、誤って背景に設定されているかもしれない。しかし、隣接するピクセルは階調度が異なる（例えば、前景と背景との間で反対方向に明るいから暗いに変わる。）ため、実際にはそのピクセルは背景ピクセルでないと想定することができる。
【００３３】
これらの技術を組み合わせることにより、日光などの複雑な照明条件において、立体の背景の減算を確立することが可能となる。不利な点は、上述した白黒技術と比較して、全てのこれらの追加の計算を備えたシステムに対する重大なパフォーマンス・ヒットが存在することである。しかしながら、本明細書で後述する投影方法により両方の技術をリアルタイムで実行できる。
【００３４】
＜背景の減算に関する特記＞
ここで概念における背景の減算について説明する。我々の取り組みにおいては、２Ｄレベルで又は前処理ステップでは背景を減算しない。映像を投影する（後述する。）のと同一の方法で、背景をシーンに投影する。これにより、我々は、２Ｄポリゴン（又はスライス）（後述する。）に投影された後のデータの使用における完全な自由を得ることができる。
【００３５】
ステップ３．  レンズの歪みとカメラ較正
【００３６】
ビデオカメラのレンズは画像を歪める。これは、魚眼レンズ又は広角レンズを通して見るときに最も明らかに見える。直線は、端周辺で曲がる傾向を持つ。カメラにより見える物体の再構築に成功するためには、これらの画像を歪めずに、レンズの光学特性により引き起こされた画像シフトを補償する必要がある。これらの歪みを補償できる場合に限り、現実のシーンを再現するときに投影された線がデジタル領域内で適切に集まることができる。これを成功させるために、まず、正確なレンズパラメータを得なければならない。レンズパラメータは以下のものを含む：
・ＸとＹの両方向における正確な又はほぼ正確な焦点（これは、例えば、６ｍｍ焦点などのレンズについての数値であるが、我々は約６．０２３１ｍｍであるかもしれない現実の数値を把握する必要がある。）
・ＸとＹの両方向における正確なレンズの中心点（これは、レンズがどのようにして画像センサに取り付けられるかの測定である。製造業者は画像センサの中心にレンズを配置するが、我々は１ピクセル又は０．００２ｍｍ未満の単位まで、この数を知る必要がある。）
・ＸとＹの両方向におけるレンズの歪み（Lens Skew）（これは、カメラ対して真っ直ぐに搭載されていないカメラレンズについての値である。）
レンズの中心から端への様々な点における焦点距離の変化の仕方に適応させるために２つ以上の値を使用する。
【００３７】
ステップ１：レンズにチェッカー盤（checkerboard）のパターンを見せ、異なる角度から約３０枚の画像を撮影する。システムは、これらのチェッカー盤を自動で検出し、チェッカー盤の全ての正方形の交点を求める。これにより、システムに３０組の交点を残す。十分に公になっているアルゴリズムを使用して、これらの交点から全てのレンズのパラメータが計算される。
【００３８】
ステップ２：レンズパラメータを求めるとすぐに、カメラの位置を計算する必要がある。ここで、より大きなチェッカー盤を撮影し、それをシーンの中心に配置する。チェッカー盤を見ることが可能な全てのカメラが写真を撮り、格子状模様（checkers）と点を検出する。公の方法を使用してチェッカー盤に関連するカメラ位置を得るけれども、ここで、精度を改善可能な技術を発明した。全てのカメラ（１００台以上）により連続的に写真を撮り、チェッカー盤に対する各カメラの相対的な位置に基づいて、全てのカメラ間の位置関係の地図を構築する（図１２参照）。
【００３９】
チェッカー盤を床に置き、１台のカメラに床の上のチェッカー盤に関連する位置を取得させる。床の上のチェッカー盤の左上の格子状模様が走査空間のＸ及びＹの原点となり、上向きの（チェッカー盤から出てくる）ベクトルがＺベクトルとなる。全てのカメラがそれと他の全てのカメラとの間の相対的な位置を知っているため、チェッカー盤を最もよく見ることができるカメラが、位置と向きの両方において、カメラのグリッドを原点に対して適応させる。ここで全てのカメラの位置は、チェッカー盤の原点に関連して知られている。原点に対するカメラのグリッドの正確さは重要でなく、１つの例を単に使用してこれを実行する。しかし、互いに対するカメラの相対的な位置は１００以上の例を用いる。標準偏差をとり、計算からの異常値を取り除くことにより、さらにこれを改善する。原点に対する全てのカメラについてのミリメートル未満のＸＹＺの位置の正確性を実現することがわかる。図３は、種々のカメラからのより大きなチェッカー盤の図を示している。
【００４０】
４．  ２Ｄ表面への投影による画像の再現
【００４１】
背景を減算して、全てのカメラの正確な位置とレンズの特性の情報を取得すると、飛躍的な発明の技術のうちの１つを実行できる状態になる：これらの画像を２Ｄ表面上に投影できる。映像を２Ｄ表面上に投影するために、３Ｄグラフィックスにおいて通常使用される技術を採用し、影を３Ｄシーンに投影する。ＤｉｒｅｃｔＸ又はＯｐｅｎＧＬを使用して、影、光源、又は映像さえも２Ｄポリゴンのテクスチャに投影するのに使用される、広く公になっている多くの技術がある。これらの技術は、レンダリングされる２ＤスライスのＵＶテクスチャ座標を歪め、投影されるテクスチャを読み取るステップを含んでいた。我々のケースの場合、投影されるテクスチャは２Ｄビデオストリームである。これらの技術は、３Ｄコンピュータグラフィックスの分野において十分に理解される。以下の公表により、この技術における有効なバックグラウンドを提供する。
【００４２】
ＭａｒｋＳｅｇａｌ、ＣａｒｌＫｏｒｏｂｋｉｎ、ＲｏｌｆｖａｎＷｉｄｅｎｆｅｌｔ、ＪｉｍＦｏｒａｎ、及びＰａｕｌＨａｅｂｅｒｌｉ著の「テクスチャのマッピングを使用した影と照明の高速な効果」（シーグラフ・コンピュータグラフィックスの第２６巻第２号、１９９２年、ＩＳＳＮ００９７−８９３０、２４９〜２５２頁）。この文献の内容は参照することによりここに組み込まれる。
【００４３】
類推により、コンピュータは基本的にビデオプロジェクタをシミュレートしている。３Ｄシミュレーションにおいて、全てのカメラをビデオプロジェクタに向ける。背景が減算された画像又は背景画像を含んだ画像のビデオ画像をカメラの各々の３Ｄ空間に投影する。ここでのアイデアは、全てのカメラが実際のカメラの正確なレンズ特性を備えた実際のカメラの正確な位置から正確な方向にビデオ画像を投影することである。実際には、現実世界で起こっていることを逆転させている。現実世界では、全ての物体からの光は、対象物からシステムの多くのカメラに発している。デジタル領域の３Ｄモデルではこれらの画像は反転しており、システムは同一の正確なレンズ特性でカメラから模擬の部屋に光を投影している。全てのカメラが適切に較正されると、これらの光線は、現実世界で対象物から発せられるのと同一の方法で、３Ｄデジタル領域内で出会う（図１３参照）。
【００４４】
図１９Ａ及び図１９Ｂは現実世界とデジタル領域間の並んでいる比較を提供する。「データ群」はデジタル領域の理論的な空間を示している。全てのデータが利用可能であり、現実世界を表す状態にあるが、ポリゴンをこの空間に配置するだけで、実際にビデオデータを面上に投影する。２Ｄポリゴンをこの投影空間に配置することにより、これらの模擬光線を得ることができる。我々は以下の方法でこれを行う：前景のテクスチャ（すなわち、黒でない）がスライスの面上でピクセルに触れると、背景と異なる１つ又はいくらかの量でカウンタをインクリメントする。全てのカメラをこのスライスに投影し終えると、インクリメントした数をカウントする。カウントした数が投影したカメラの数（又は多少小さい数）に等しい場合、このピクセルの空間に固体の物体（solid object）が実際にあることがわかる。この固体のピクセルは正確な位置で現実世界の固体の物体を示す。多くの２Ｄポリゴンスライスを使用して、３Ｄシーンを分解する。シーンの上端から下端に多くのスライスを配置するときのＭＲＩ画像化システムに類似しているように見える。この方法で全ての横断面を取得することにより、現実世界で立っている人がデジタル領域のスライス上で再び現れることが視覚的にわかる。さらなるスライスを使用すると、画像はさらに正確になる。
【００４５】
図１４はビデオデータの２つの点がどのようにポリゴン上で並ぶかを示す。図２０は、図１９Ａ及び図１９Ｂのスライス番号３をより詳しく見ることにより、異なる方法で同一の横断を示している。この場合、右側の腕の一部である光線が、どのようにして、全てのプロジェクタから投影され、スライス上の右のスポットで出会うかがわかる。２Ｄ画像２００１の点線のスライスに注目。スライスがカメラに戻る方向に投影されるときに何に見えるかについてのアイデアを提供する。
【００４６】
このようにして、ポリゴン（すなわち、２Ｄスライス）は、効率的に空間をスライスし、カメラが撮影している現実世界に「視点（view）」を提供する。このようなポリゴンを仮想空間に配置することにより、現実世界のスライスの横断面を生成することができる。スライスと類似のものはＭＲＩからのデータであってもよい。ＭＲＩでは、身体の横断面のスライスを得ることができる（注：ＭＲＩは非常に難しい技術を使用する。）。この同一の横断面を得られるが、もちろん身体の内側を見ることはできない。外面のテクスチャ（横断面の表面積の実際のビデオ画像）とともにスライスの外側の輪郭を簡単に取得する。
【００４７】
これはどうしてそんなに特別であるのか？それは、以下の重要な方法において、複数のカメラを用いた体積再現（volumetric reconstruction）に関する他の公表されている技術と大きく異なる。
【００４８】
１．それは解像度の独立である。スライスの鮮明さは、レンダリングしているスライスのテクスチャの表面の解像度により決定される。これは我々がスライスの特性を動的に決定できることを意味している。我々は、スライスがどこに及びどの方向に配置されるかを選択できる。我々は、それが何の「現実世界のサイズ」を表しているか（直径１メートルか又は５ｃｍであるか。）を選択できる。我々は解像度（すなわち、この２Ｄスライスは１０×１０ピクセルで作られているか又は１０００×１０００ピクセルで作られているか。）を選択できる。３Ｄ仮想投影システム（デジタル領域）内部で現実世界を「見る」及び「調べる」この動的な能力は、非常に重要な何かをすることを可能にする：何を入念に見る必要があるかと物体のどの部分が重要でないかをその場で決めることができる。例えば、人の動きを追跡記録する場合、より低い解像度で胸を見ることができ、それから被験者の指を見ることができる。ボクセルを基準にした再現への取り組みを避けることにより、ルックアップテーブルと、この分野で最も多い調査の一部であるモデルに依存した解像度を完全に回避する。
【００４９】
２．我々は、最新の小売のビデオゲーム市場のために考案された３Ｄビデオハードウェア（ＧＰＵ（Graphical Processing Units））に再度目的を持たすことができる。この技術は、３Ｄグラフィックス及びビデオゲームの１０億ドルの調査の一部として開発されたハードワイヤードの特徴を直接使用し、必要に応じてそれらに再度目的を持たすことを可能にする。テクスチャの投影は、ビデオゲームの照明をさらに現実的にする重要な部分である。スライス技術を使用することにより、この能力に便乗し、完全に新しい方法においてそれを使用する。この方法は、レンダリング時間をＣＰＵベースの取り組みよりも１００秒又は１０００秒も早い時間にスピードアップするハードウェアの高速の投影を実現する。
【００５０】
３．それは非常に早い。以下に示すモーションキャプチャの技術は、この領域で多く公表されている技術よりも１００万倍早くなる。
【００５１】
４．動的な解像度技術により、ボクセルを基準にした取り組みで可能な解像度よりも非常に高い解像度を実現できる。典型的には、ボクセルモデルで動作する公表されているシステムの解像度の２００倍で実行する。
【００５２】
５．一般的な３Ｄモデルの再現に加え、このスライスの取り組みを使用して、２Ｄ領域で以前に解決されているが三次元では解決されていないコンピュータビジョンの多くの他の問題を解決することができる。例えば、スライスを使用することにより、テクスチャと２Ｄ領域の横断面（後述する）を効率的に追跡記録し、第２のステップで３Ｄの位置を推定することができる。それ故、２Ｄ画像処理技術の価格で、効率的に３Ｄ画像処理を得る。３Ｄ環境で効率的に働かなくなった多くの２Ｄ画像技術に再度目的を持たせることができる。
【００５３】
６．拡張性。スライスに基づく画像のアーキテクチャは非常に拡張性がある。システムは、多くのサーバと何百ものカメラを用いて設定され、全ての個々のスライスが、空間の位置に基づいてそれに関連する適切なカメラを選択することによりレンダリングされうる。大きな設備にカメラを取り付けて、膨大な量の空間で物体を追跡記録する能力を可能にする。
【００５４】
ステップ５．  スライス上の２Ｄ画像分析
【００５５】
上述したように、投影されたスライス技術の大きな利点の１つは、従来の画像処理技術と共に働き、それらを３Ｄ領域に投影する能力にある。我々が使用する第１のステップは、２Ｄスライス上で見つけた物体を並べ換えることである。物体は、２Ｄ平面上の連続的な横断面として定義される。我々はそれらをブロブ（blobs）と呼ぶ。一旦、個々のブロブを分離すると、様々な公表されている２Ｄ曲線適合アルゴリズムを適用する。我々が使用する通常の技術は、楕円をブロブに適合させることである。これは、ブロブの中心点のＸとＹの位置の値だけでなくＸ半径及びＹ半径と回転角も我々に提供する。この方法において、我々は、スライスシステムを使用して、生の３Ｄデータから生の２Ｄデータに移し、単に２Ｄの楕円を生のブロブの点に適合させることにより、生の２Ｄデータを利用可能なベクトルのデータに移した。
【００５６】
次のステップにおいて、２Ｄベクトルのデータを取り込み、スライスの特性をそれに適用することにより、３Ｄの特性を得る。我々はスライスの位置と方向、スライスの解像度、さらにその現実世界のサイズを考慮に入れる。これから、楕円のピクセルＸＹ位置を現実世界の空間のＸＹ座標（すなわち、床較正板の原点に対してミリメートル）に変換できる。
【００５７】
この方法により、わずかな簡単なステップで現実世界の物体の３Ｄベクトルデータを生成した。
【００５８】
図４に床面高さの被験者の足に置かれた１つのスライスを備えたシステムを示す。上述した投影技術により、我々は被験者の「足のプリント」を見つけた。それから、上述した楕円適合技術を適用した。赤十字がスライス上の物体の中心点の印となる。画面上の２つの２次元のスライスのウィンドウは、３Ｄ画像にあるスライスの実際のテクスチャを見せている。
【００５９】
ステップ６．  モデルの検出
【００６０】
これは、空間内で歩く人の形状を検出する方法である。
【００６１】
ａ．床にスライス（Slice）を置き、足跡を探す。スライスを分析し、足のサイズかもしれない特性の「ブロブ」を探すことにより、これを行う。もし見つかれば、以下のことを行う。
【００６２】
ｂ．他のスライスを数インチ高いところに配置する。これらは足首である。我々が、足首を見つけると、人がどの方向を向いているかを判断する。足の先端は、足首から見て外方に向く傾向がある。
【００６３】
ｃ．次に、スライスを膝、腰、胸及び頭の高さに配置する。頭の周辺に少しのスライスを置き、人の身長を特定することを試みる。
【００６４】
ｄ．胴の角度を見ることにより、身体の方向を見つける。
【００６５】
ｅ．身体の両側にスライスを配置することにより、腕を探す。
【００６６】
全てのこれらのテストを調べると、高い確実性で、我々は特定のポーズの人間の形状を見ていることを判断できる。この図の例が図５に示されうる。
【００６７】
ステップ７．  モデルのマッチング
【００６８】
上述した「スマートサンプリング」を使用して、概算で、被験者を見ていることを判断するとすぐに、次の段階に移る。物理学、関節、質量、及び逆運動学に基づいた縫いぐるみ人形システム（rag doll system）を使用する。この縫いぐるみ人形に力を加え、我々が腕、手、頭、足であると思う場所にそれを移動させる。最初は、縫いぐるみ人形の「骨」が、空間に置いたスライスの楕円の中心部分に一致していると、仮定する。ステップ７で、モデルを現実世界の３Ｄデータにおおまかに適合させた。図６は、この技術を図示するために、縫いぐるみ人形を２Ｄスライスのフレームワークに重ね合わせたシステムを示している。
【００６９】
ステップ８．  モデルの追跡記録
【００７０】
ステップ８で、縫いぐるみ人形に対してスライスを配置するメカニズムを提供する。縫いぐるみ人形の視点から（もはや全体的な基準点からではない。）、全ての身体部分にスライスを配置する。スライスは、一定の方向で骨に「取り付けられる」。全ての中心点を計算し、楕円の中心と骨の中心の不一致を見つけ出す。それから、モデルに力を加え、モデルが３Ｄデータの位置にさらに近づくことを可能にする（図１５）。この方法により、縫いぐるみ人形に生命を吹き込み、現実世界の人間に従う条件を作成する。そこでは、人間が人形のマスターになり、縫いぐるみ人形が３Ｄコンピュータシミュレーションにおいてマスターの投影されたデータに従うパントマイムになる。毎秒何度も我々はこの処理を繰り返す：被験者が動くと、カメラは３Ｄシミュレーションに投影した映像（projections）を記録し更新する。各縫いぐるみ人形の骨の周辺にスライスを置き、その位置を生成された楕円の位置と比較する。それから力が縫いぐるみ人形に加えられ、各縫いぐるみ人形の骨が増加的に移動して、現実の被験者を表しているスライスの横断面の中心に近づく。
【００７１】
＜この方法で骨を追跡記録するときに気をつけること＞
【００７２】
物体間の干渉：例：腕を追跡記録するとき、腕が動いて身体に近づくときに問題が生じる。ある時点で、２つの別個のブロブ（１つは腕の横断面に属し、もう一方は身体の横断面に属する。）が近づいて、１つのブロブを形成する。それ故、どの物体がどこに属しているかを判断することが難しくなる。縫いぐるみ人形を使用してそのような状況のためにそれを調べることにより、この問題を解決する。縫いぐるみ人形は、現実に人間が動いているのと同一の方法で徐々に動いているため、我々は縫いぐるみ人形が現実のデータに厳密に似ていると想定することができる。２つの骨が「接触する」ほど十分に近い場合、身体に非常に近い腕の場合になるかもしれない、大きいものと統合される小さいブロブの最も高い尤度を計算する機構を採用する。図１６は詳細を示している。我々は腕の直径と身体の直径と身体の相対的な位置を知っているため、腕の小さなブロブが身体のより大きなブロブ内にあることを想定することができる。この技術は、身体部分が、共に動けなくし、追跡記録システムの故障を引き起こすことを避けるのに、非常に効果的であることが証明された。
【００７３】
末端キャップ（End Caps）。身体部分の末端キャップの末端部を探すスライスを呼び出す。身体部分の末端部は、手、足、及び頭を含む。末端キャップは、縫いぐるみ人形を四肢にまで伸ばすことを確実にする。我々は、手、足、頭を位置に追い込むことにより、すばらしいモデルのマッチングを達成した（図１７）。我々は、同一のモデルの認識技術を前のセクションのように末端キャップに適用する。一方の手が他方の手に近づくように動く場合、我々は力を調整し、一方の手が他方の手に「統合する」ことを防ぐ。
【００７４】
ステップ９．  テクスチャの使用
【００７５】
上述したように、スライスへの投影の大きな利点の１つは、２Ｄ画像処理技術を３Ｄモデル上で使用する能力にある。
【００７６】
スライスの横断面を使用して、縫いぐるみ人形を適合させ追跡記録していると、台２のパスを実行して、モデルの位置を改善することができる。モデルの表面のテクスチャを分析することにより、縫いぐるみ人形を現実世界の動作主に一致するようにさらに位置合わせすることができる。
【００７７】
動作の仕方を以下に示す。
【００７８】
縫いぐるみ人形が実際の人間と非常に近い位置にあるとき、我々は「スライス」を横断面としてではなく表面部分として配置することができる。例えば、スライスを被験者の胸部に配置することができる。このスライスの輪郭は、交差している胸部の外形を我々に見せる横断面と同一の方法で決定される。しかし、我々は全てのカメラに対するこのスライスの位置を知っているため、最も良い位置に位置付けられたカメラプロジェクタの混合から、実際の投影されたテクスチャを決定しレンダリングすることができる。胸部は、身体の外形のみではなく、映像からの身体の「見た目」とテクスチャを持つ。我々は、これらのスライスを身体の全ての周りに置き、モデルに現実の被験者と同一の「見た目」を与えることができる。より重要なことは、我々は、ここで、各２Ｄスライスを分析し、テクスチャ自身の動きを追跡記録して、高度な正確性を生成することができることである。
【００７９】
第１のパス−縫いぐるみ人形をスライスの輪郭に適合させる（すなわち、楕円の位置付け）。
【００８０】
第２のパス−縫いぐるみ人形が実際の人間の位置に非常に近接するように動かされると、我々は被験者の表面にスライスを配置することができる。これらは現実の人間の３Ｄテクスチャを我々に提供する。我々はそれからこれらのテクスチャを追跡記録し、縫いぐるみ人形の位置付けをさらに改善することができる。スライス上への投影テクスチャの例の図７及び図８を参照。
【００８１】
ステップ１０．  テクスチャの追跡記録
【００８２】
２Ｄ表面上のテクスチャの追跡記録の公表されている技術を使用する。各スライスについて、我々は、「画像」すなわちテクスチャを、アニメーションシーケンスの開始時に同一のスライスから撮った参照画像と比較する。それから、２つのテクスチャが、どのＸ値とＹ値で位置が異なるかと、どの角度で回転されているかを決定する。この工程の特有の部分は、我々がこの２ＤのＸとＹと角度のデータを使用して、楕円を使用して行った方法のほとんどで３Ｄの位置を計算できることである。我々は、スライス自身の位置と方向を受け取り、３Ｄの変化が実際にどの程度の３Ｄの変化であるかを推定する。我々は、楕円を最初に取り付けた後、このオフセットを使用して、縫いぐるみ人形に力を加えて第２のパスでその位置をさらに改善する。それは、この第２のパスにおいて、現在のマーカーとボディスーツを使用する同等のマーカーベースのモーションキャプチャシステムの精度を越える非常に高度な精度を実現することである。
【００８３】
図９及び図１０に、我々がどのようにしてスライスをモデルの胸部に置き、ビデオ画像からモデルにテクスチャを投影するかを示す。投影されたテクスチャは、画像の左下のコーナーの２Ｄウィンドウに示される。
【００８４】
＜要約＞
２Ｄスライス（２Ｄポリゴン）上に投影することにより、コンピュータビジョンの大躍進を実現した。それは、３Ｄ世界からの多くの公表されている技術を適用し再度目的を持たせることにより、我々が（被験者の追跡において）生来の物体を近似して、３Ｄ領域で効率的にそれらを働かせることを可能にする。それは、被験者が専門のマーカーとボディスーツを着て、それらの追跡記録のタスクにおいてビジョンコンピュータを支援することを必要とするシステムの速度と解像度で実行できる、世界で最初のリアルタイムのマーカーのないモーションキャプチャシステムを構築することを可能にした。
【００８５】
＜ＧＰＵハードウェアについての注記＞
【００８６】
実施形態は、Ｒｅｄｅｏｎ９７００グラフィックスプロセッサを使用する。Ｒｅｄｅｏｎプロセッサは、この紙面上で説明したハードウェアベースの投影アルゴリズムを扱うことが可能な第１のＧＰＵである。この第１のスライスシステムは、その時点で最も最先端のシェーダシステムであるシェーダモデル１．４を使用して実行された。
【００８７】
ＧＰＵシェーダバージョン３．０の導入により、１つのパスへの全投影技術を実行できるようになった。このことは、レンズの歪みから背景の減算及び１つのパスへの全ての投影までありとありとあらゆることを計算でき、Instancingによって、１回のＧＰＵの呼び出しでシステムの全てのスライスを投影することができることを意味している。
【００８８】
本発明の実施形態は、２台以上のビデオカメラ、ビデオカメラの取得又は入力のポート、ＤＭＡコントローラを備えたホストコンピュータ、中央処理装置（ＣＰＵ）、及び／又はグラフィックスプロセッシングユニット（ＧＰＵ）を有し、デジタル領域内の複数のカメラのビデオストリームを２Ｄポリゴンの表面に投影することにより、３Ｄのコンピュータのデジタル領域内の現実世界の物体を再現する新しい方法とシステムを含むことができる。
【００８９】
本システムの実施形態は、ＤｉｒｅｃｔＸ又はＯｐｅｎＧＬの高速のグラフィックスカードを使用して、ポリゴン面への投影の計算を高速化することができる。本システムの実施形態は、ＩＥＥＥ１３９４規格を使用して、画像データを転送できる。本システムの実施形態は、イーサネット（登録商標）を使用して画像データを転送できる。
【００９０】
本システムの実施形態は、ワイヤレスネットワークプロトコルを使用して、画像データを転送できる。本システムの実施形態は、各カメラのビデオデータと背景データの両方をポリゴンに投影することができる。本システムの実施形態は、２Ｄの投影されたポリゴンの面のテクスチャのピクセルを３Ｄワールド座標に変換することができる。
【００９１】
本システムの実施形態は、被験者を追跡記録するために使用されうる。本システムの実施形態は動物を追跡記録するのに使用されうる。本システムの実施形態は、３Ｄキャラクタを動画化するのに使用されうる。本システムの実施形態は、カラオケシステムの視覚援助として使用されうる。
【００９２】
本システムの実施形態は、カメラから２Ｄポリゴンに投影されたデータについての２Ｄ画像処理技術を使用できる。本システムの実施形態は、２Ｄ形状適合技術を使用して、投影されたポリゴン上に生成される２Ｄ形状を評価することができる。本システムの実施形態は、全てのデータが２Ｄポリゴン上に投影された後、全ての背景の減算を実行することができる。
【００９３】
本システムの実施形態は、白黒カメラと３Ｍのスコッチライト（ScotchLite）の再流行の反射材料を使用して、背景減算段階を高速化及び簡素化することができる。本システムの実施形態は、カラーカメラを使用することができる。本システムの実施形態は、バーテックスシェーダ及びフラグメントシェーダを使用して、スライスの投影計算をＣＰＵからＧＰＵに移すことができる。
【００９４】
本システムの実施形態は、投影され分析されたポリゴンを再帰的に使用して、次のポリゴンをどこに配置すべきかを求め、再現された物体の形状をますます詳しく調べることができる。本システムの実施形態は、ポリゴン法線に対する傾斜角度に基づくカメラ間の混合に基づいて、ビデオテクスチャを２Ｄポリゴンに投影できる。本システムの実施形態は、２Ｄオプティカルフロー法を使用して、２Ｄポリゴンに投影されたテクスチャの不一致点を追跡記録できる。
【００９５】
本システムの実施形態は、モーションキャプチャシステムの一部として使用され、マーカーや付属の追跡記録装置を使用せずに、人間の動きを追跡記録し、デジタル化することができる。本システムの実施形態は、被験者の大きさを測定し、被験者の動きの分析に基づいて、正確な関節の回転の場所を計算することができる。本システムの実施形態は、テニスプレーヤを分析するのに使用されうる：プレーヤの打ち方と体の動きを分析し、能力を改善し、肩、肘、足首の問題のような負傷を防ぐことができる。
【００９６】
本システムの実施形態は、特定の製品を使用している間の被験者の動きを観察するための調査と開発に使用されうる。本システムの実施形態は、スキーヤー／スノーボーダーの動きを分析し、能力を改善し、負傷を防ぐのに使用されうる。本システムの実施形態は、ＴＶ放送網の実際の被験者の仮想キャラクタを動画化し放送するのに使用されうる。
【００９７】
本システムの実施形態は、ヒューマン・コンピュータ・ユーザインターフェースの一部として使用されうる。本システムの実施形態は、セキュリティシステムの一部として使用されうる。本システムの実施形態は、被験者を自転車、ゴルフ用クラブ、衣服、靴などのスポーツ用品の装備に適合させるのに使用されうる。
【００９８】
本システムの実施形態は、視覚シミュレーション又はトレーニングシステムの一部として使用されうる。本システムの実施形態は、人体の形状、サイズ、又は呼吸メカニズムなどのバイタルサインを評価するのに使用されうる。本システムの実施形態は、一般向けの娯楽体験の一部として使用されうる。本システムの実施形態は、フィットネス又はエクササイズの評価又は推奨システムとして使用されうる。
【００９９】
本システムの実施形態は身体のリハビリテーションシステムの一部として使用されうる。本システムの実施形態は、臨床運動の分析又は評価ツールの一部として使用されうる。本システムの実施形態は、障害の援助として使用されうる。本システムの実施形態はトレーニングツールの一部として使用されうる。
【０１００】
本システムの実施形態は、バーチャルリアリティ可視化システムの一部として使用されうる。本発明の特定の実施形態において、方法のステップの全ては、上述したようなコンピュータ又はコンピュータ化されたシステムにより実行されうる。代替の実施形態では、１以上のステップが人により手動で実行されうる。
【０１０１】
ここに記載した方法の代替の実施形態において、さらなるステップが追加されてもいいし、特定のステップが除外されてもいいし、特定のステップが複数回実行されてもいいし、及び／又は、ステップは異なる順序で及び／又は同時に実行されてもいい。
【０１０２】
当業者は、本発明が説明のために示され限定を目的としていない上述した実施形態以外により実施されうることを理解できる。上述した実施形態の様々な取り合わせが、以下に示す特許請求の範囲のみによって限定される本発明の精神と範囲から逸脱することなく、当業者により成されうる。
【図１】
2014013573.tif 000003
【図２】
2014013573.tif 000004
【図３】
2014013573.tif 000005
【図４】
2014013573.tif 000006
【図５】
2014013573.tif 000007
【図６】
2014013573.tif 000008
【図７】
2014013573.tif 000009
【図８】
2014013573.tif 000010
【図９】
2014013573.tif 000011
【図１０】
2014013573.tif 000012
【図１１】
2014013573.tif 000013
【図１２】
2014013573.tif 000014
【図１３】
2014013573.tif 000015
【図１４】
2014013573.tif 000016
【図１５】
2014013573.tif 000017
【図１６】
2014013573.tif 000018
【図１７】
2014013573.tif 000019
【図１８】
2014013573.tif 000020
【図１９Ａ】
2014013573.tif 000021
【図１９Ｂ】
2014013573.tif 000022
【図２０】
2014013573.tif 000023
【外国語明細書】
2014013573.tif 000024
2014013573.tif 000025
2014013573.tif 000026
2014013573.tif 000027
2014013573.tif 000028
2014013573.tif 000029
2014013573.tif 000030
2014013573.tif 000031
2014013573.tif 000032
2014013573.tif 000033
2014013573.tif 000034
2014013573.tif 000035
2014013573.tif 000036
2014013573.tif 000037
2014013573.tif 000038
2014013573.tif 000039
2014013573.tif 000040
2014013573.tif 000041
2014013573.tif 000042
2014013573.tif 000043
2014013573.tif 000044
2014013573.tif 000045
2014013573.tif 000046
2014013573.tif 000047
2014013573.tif 000048
2014013573.tif 000049
2014013573.tif 000050
2014013573.tif 000051
2014013573.tif 000052
2014013573.tif 000053
2014013573.tif 000054
2014013573.tif 000055
2014013573.tif 000056
2014013573.tif 000057
2014013573.tif 000058
2014013573.tif 000059
2014013573.tif 000060
2014013573.tif 000061
2014013573.tif 000062
2014013573.tif 000063
2014013573.tif 000064
2014013573.tif 000065
2014013573.tif 000066
2014013573.tif 000067
2014013573.tif 000068
2014013573.tif 000069