(57)【要約】      （修正有）【課題】モーション・トラッキング／デジタイジング・システムに使用され、且つ、動画像或いはビデオ・データのような画像列から対象物の動きを有効に抽出することができる画像表示装置を提供する。【解決手段】本発明の画像表示装置は、仮想三次元空間において前記動画像の画像列を任意な透明度で表示するアコーディオン・ビューアー手段を備える。前記仮想三次元空間は、二次元画像空間と時間軸とから成る時空間三次元空間である。前記アコーディオン・ビューアー手段は、前記時空間三次元空間上に前記対象物の動きを操作して表示する。【選択図】図１
2004334266.tif 000002
【特許請求の範囲】
【請求項１】
動画像中の対象物の動きを抽出するための画像表示装置であって、仮想三次元空間において前記動画像の画像列を任意な透明度で表示するアコーディオン・ビューアー手段を備えることを特徴とする画像表示装置。
【請求項２】
前記仮想三次元空間は二次元画像空間と時間軸とから成る時空間三次元空間である請求項１に記載の画像表示装置。
【請求項３】
前記アコーディオン・ビューアー手段は前記時空間三次元空間上に前記対象物の動きを操作して表示する請求項２に記載の画像表示装置。
【請求項４】
前記対象物の動きは前記時空間三次元空間上にスプライン曲線によって表される請求項３に記載の画像表示装置。
【請求項５】
前記スプライン曲線は前記アコーディオン・ビューアー手段によって指定されるいくつかの制御点によって定義される請求項４に記載の画像表示装置。
【発明の詳細な説明】
【０００１】
＜発明の技術分野＞
本発明は動画像中の対象物の動きを抽出するための画像表示装置に関し、特ににモーション・トラッキング／デジタイジング・システム用の画像表示装置に関する。
＜従来技術の説明及び本発明の目的＞
画像ストリームから対象物のモーション・トラッキング或いはデジタイジングは取り組みがいのある問題を提起し、多くの応用をもつ問題である（参考文献［１］〜［２］を参照する）。対象物のモーション・トラッキング或いはデジタイジング技術は、ユーザ・インターフェース、バーチャル・リアリティ、動作解析や科学観察などの分野に重要な地位を占める。
【０００２】
ユーザ・インターフェース分野において、身振り言語の自動通訳とジェスチャー・ドリブン・コントロール（ｇｅｓｔｕｒｅ  ｄｒｉｖｅｎ  ｃｏｎｔｒｏｌ）はメインなアプリケーションであると考えられる。バーチャル・リアリティ分野において、ゲーム、双方向性バーチャル世界、キャラクタ・アニメーションのモーション・キャプチャーはメインなアプリケーションである。動作解析の分野において、トラッキング技術はスポーツ・ビデオ映像、整形外科患者の臨床研究、ダンスやバレエの振り付けに役立つ。科学観察分野において、トラッキング技術は例えば動物、魚、バクテリアなどの生き物の観察、自動車或いは人の交通流量及び商品の動線計画、生産ライン上の物品の動線調査に役立つ。
【０００３】
次は従来技術の総説である。
【０００４】
Ｗｒｅｎら（参考文献［３］を参照する）は、人間をトラッキングし、彼らの行動を解釈する“Ｐｆｉｎｄｅｒ”といったリアルタイム・システムを開発した。このシステムは色彩と形状のマルチクラス統計模型を使用することによって、幅広い画像条件で頭と手の二次元表現を実現している。
【０００５】
Ｈｅｉｓｅｌｅら（参考文献［４］を参照する）は、移動するカメラによって撮影されたカラー画像列における軟式の移動対象物をトラッキングする方法を提案した。最初の段階において、対象物のパーツは画像列の１番目の画像中の全ての画素に適用される、分割したクラスタリング・アルゴリズムによって決定される。特徴空間は画素のカラーと位置によって決められる。新しい画像毎に、前の画像のクラスターは並列ｋミーンズ・クラスタリング・アルゴリズムによって繰り返し適用される。
【０００６】
ＮｉｙｏｇｉとＡｄｅｌｓｏｎ（参考文献［５］〜［６］を参照する）は視野内に歩いている人間に生成されたパターンを分析する一連の技術を開発した。検出が変換された後、ＸＹＴパターンを滑らかな時空間表面でフィットすることができる。この表面は歩行の周期性を定期的にざっと反射する。この表面をパラメータ化された標準表面と個別の歩行に特有の偏差表面との組合せとして表すことができる。
【０００７】
Ｊｕら（参考文献［７］を参照する）は、人間の手足を一連の関連する平面パッチで表現する“段ボール人間モデル”を定義した。これらのパッチのパラメータ化された画像の動きは、アーティキュレーテッド・モーションを実行するように制約され、直接にロバスト推定技術を使用することによって解決される。再生されたモーション・パラメータは、認識用に使用されたアクティビティのリッチで簡潔な記述を提供する。
【０００８】
Ｏｏｉら（参考文献［８］〜［９］を参照する）は、画像列中の対象物から３次元パス情報を抽出する方法を提案した。彼らのシステムは操作者の入力と協力するようになっており、正確且つ柔軟に対象物の３次元パス情報を推定する。
【０００９】
上述したように、対象物の動きをトラッキングするのに、各種のシステムや方法が開発された。これらのシステムや方法は、特定のタイプの画像に対して有効な結果が得られる。しかしながら、対象物の動きを含む画像の種類は沢山あるので、任意の画像に対しても有効な結果が得られるシステムは存在しなかった。従って、画像列から対象物の動きをトラッキングするのは、依然としてオープンな研究テーマである。特に、隠れ（オクルジョン）は克服しなければならない最も困難な問題の１つである。対象物の動きをトラッキングする現行の実際的なプロセスは、やはり沢山労力を必要とする試行錯誤的手法に依存する。従来方法の多くは、自動プロセスに基づき、積極的に操作者入力を使用しない。一方、アニメ製作者は既存の手動トラッキング装置に困難な仕事を強要され、フレーム毎に画像において沢山の点をクリックしなければならない。
【００１０】
本発明は上述のような事情よりなされたものであり、本発明の目的は、モーション・トラッキング／デジタイジング・システムに使用され、且つ、動画像或いはビデオ・データのような画像列から対象物の動きを有効に抽出することができる画像表示装置を提供するものである。
【００１１】
＜好適な実施形態の説明＞
本発明の好適な実施例を示した図面を参照しながら、本発明の詳細を以下のように述べる。しかしながら、本発明は様々な異なる方式により実施されることが可能で、ここに示した実施例に限定されることはない。
【００１２】
本発明の全面的な理解を提供するために、まず、次の説明が示される。
【００１３】
本発明の目標はモーション・トラッキング／デジタイジング・システム用の画像表示装置を開発するものである。このモーション・トラッキング／デジタイジング・システムは画像列から対象物の動きを抽出する。
【００１４】
本モーション・トラッキング／デジタイジング・システムは次の３つのコンセプトを提案する。
【００１５】
コンセプト１：
自動的な方法と人間による直接操作との協調は、自動的な方法及び人間による直接操作の各利点を引き出すのに有効であると考えられる。
【００１６】
コンセプト２：
試行錯誤といった問題を解決するために、本モーション・トラッキング／デジタイジング・システムは相互に多種の処理法の各結果を使用する。
【００１７】
コンセプト３：
画像列は位置情報と時間的な情報を包含する。各情報を有効に処理するために、時空間三次元領域は有効なコンセプトである。
【００１８】
本発明において、本モーション・トラッキング／デジタイジング・システムは、次の４つの特徴を実施する。これらの特徴は前記コンセプトの具現化したものである。
【００１９】
特徴１：
本モーション・トラッキング／デジタイジング・システムは、“ヒューマン利用トラッキング”と定義された人間の決定による入力を含む多種トラッキング方法を使用する。この特徴はコンセプト１を具現化したもので、“ヒューマン利用トラッキング”はコンセプト３を包含する。
【００２０】
特徴２：
コンセプト２を満足させるために、本モーション・トラッキング／デジタイジング・システムの内部構造をオブジェクト指向設計として設計した。
【００２１】
特徴３：
本モーション・トラッキング／デジタイジング・システムは、各トラッキング方法の結果間のフィードバックを提案した。この特徴はコンセプト２を具現化したものである。
【００２２】
特徴４：
本発明において、本モーション・トラッキング／デジタイジング・システムに適したユーザ・インターフェースが提案される。特に、アコーディオン・ビューアーが開発された。アコーディオン・ビューアーは、動画像シーケンスの整列された各フレームを透視的に仮想三次元空間に表示する。この特徴はコンセプト３を具現化したものである。
【００２３】
本発明において、次のことに焦点を当てる。
【００２４】
動画像の各画像は同時に表示されることにより、対象物の動きを一度に認識することが容易にできる。また、動画像の各画像は相互に重畳するように表示されたら、動きの変化／相違を認識することが容易にできる。対象物の軌跡は同時に各画像に表示されたら、軌跡が対象物に上手く適合していることを認識することが容易にできる。対象物の軌跡は動画像の各画像に直接に操作されることができたら、ユーザの操作を減らすことができる。
【００２５】
＜１＞本モーション・トラッキング／デジタイジング・システムの基本
＜１−１＞本モーション・トラッキング／デジタイジング・システムのコンセプト
次の三つのコンセプトは、本モーション・トラッキング／デジタイジング・システムの基本を構成する。
【００２６】
（Ａ）自動方法と人間の決定による入力との協調：
従来のトラッキング方法の多くは、自動的なプロセスに基づく。沢山の研究がなされて、その研究の結果によって、例えば工業部品やマーカー付きの対象物などの特定のタイプの画像に対して有効な結果が得られる。しかしながら、これら従来のトラッキング方法は、特に人間動作トラッキングに対して、十分に強いとは言えない。人間動作トラッキングに対して沢山の試みがなされたけれども、今でもそれはオープンな研究テーマである。一方、人間は物事を認識・理解する優れた力を持っている。自動方法と人間決定との協調を活かしたシステムを開発するのは有意義である。本モーション・トラッキング・システムにおいて、人間決定による入力結果、つまり、“人間介在トラッキング”もトラッキング方法の一種であると考えられる。
【００２７】
（Ｂ）多種トラッキング方法の相互利用：
多種トラッキング方法はトラッキングに使用された際に、試行錯誤によって結果が得られる。このようなアプローチによって各方法の特徴が引き出されるかどうかははっきりしない。よって、多種方法の各結果を相互に使用することは有効である。実際に、このコンセプトは、多種方法の各結果をそのほかの方法にフィードバックすることによって実現される。
【００２８】
（Ｃ）時空間三次元領域インターフェイス
動画像は一連の二次元画像である。動画像の各フレームにおいて、例えば対象物の位置のような位置情報が包含される。動画像の動的な情報は、一連の画像で構成される。動画像は図１に示された時空間領域に表されている。時空間三次元領域の中に、対象物の動きが処理される。我々は時間的な情報を示すユーザ・インターフェイスは積極的に提案する。
【００２９】
＜１−２＞本モーション・トラッキング／デジタイジング・システムの設計
＜１−２−１＞本モーション・トラッキング／デジタイジング・システムに使用された方法
自動方法と人間介在トラッキングとの協調についてこれまでげんきゅうしてきたが、実際に、例として次の三つのトラッキング方法を使用した。以下では各方法について触れる。
【００３０】
（１）領域拡大法（Ｒｅｇｉｏｎ  ｇｒｏｗｉｎｇ法）
色情報を使用するトラッキング方法は多数ある（参考文献［３］〜［４］を参照する）。例えば、領域拡大法は画像から領域（Ｒｅｇｉｏｎ）を抽出するための一般的技術である。この領域拡大法は、二次元画像に適用されるだけではなく、三次元ボリューム・データに適用することも可能である。ここで、時空間三次元空間に領域拡大法を適用する。
【００３１】
ユーザに指定された既知のシード・ポイント（ｓｅｅｄ  ｐｏｉｎｔ）から、領域（Ｒｅｇｉｏｎ）はシード・ポイントの色に基づいて帰納的に成長する。図２に示されたように、領域（Ｒｅｇｉｏｎ）の成長の結果は三次元領域（Ｒｅｇｉｏｎ）の形で得られる。
【００３２】
（２）オプティカルフロー（Ｏｐｔｉｃａｌ  ｆｌｏｗ）による方法
オプティカルフローによる方法は、トラッキング／デジタイジング分野において広く使われている。一つの画像において、各画素は輝度値に対応する。オプティカルフローは一つの画像からほかの画像までのこれらの輝度変化の方向及び大きさを示すベクトル場である。本モーション・トラッキング／デジタイジング・システムにおいて、オプティカルフローは動画像全体を通じてフレーム間に得られる。
（３）人間介在トラッキング方法
人間は対象物の動きを認識・理解する優れた力を持っている。しかしながら、ユーザにとって、動画像の各フレームに対し、動きを表す点を指定することは困難な仕事である。よって、“人間介在トラッキング”が提案される。
【００３３】
本発明において、図３に示されたように、モーション・パスは時空間三次元領域にスプライン曲線として表される。モーション・パスをスプライン曲線として扱うことは、コンピュータ・アニメーション分野において使用される主要な方法である。スプライン曲線は一連の制御点に定められる。ユーザは一連の制御点だけを指定すれば、モーション・パスを生成することができる。ユーザの仕事量を減らすことができる。
【００３４】
ここで留意すべきは“時空間三次元領域インターフェイス”といったコンセプトもこれによって実現されることである。
＜１−２−２＞多種方法の相互利用の実現
多種トラッキング方法を相互に利用することは有効である。多種方法の相互利用を実現するために、オブジェクト指向設計（ＯＯＤ）が使用された。クラス構造を設計することは、オブジェクト指向設計（ＯＯＤ）において、１つの重要ポイントである。ＧｏＦのデザイン・パターン（参考文献［１０］を参照する）の中に紹介されたファクトリー・パターンは、本モーション・トラッキング／デジタイジング・システムに適することが知られている。本モーション・トラッキング／デジタイジング・システムのクラス構造は、ファクトリー・パターンに基づく。
【００３５】
図４は本モーション・トラッキング／デジタイジング・システムのクラス・ダイヤグラムである。図４に示されたように、“トラッキング方法”及び“結果”は抽象型クラスである。具体的なプロセス、トラッキング方法、操作者入力は、各具体的なクラスで実施される。トラッキング方法の各具体的なクラスは、結果の各具体的なクラスを生成する。結果の各具体的なクラスは、抽象型クラス“結果”の下位のクラスである。本モーション・トラッキング／デジタイジング・システムに新しいトラッキング方法を追加したい場合に、ユーザがやらなければいけないことは具体的なクラスを実施することだけであるため、本モーション・トラッキング／デジタイジング・システムの構造は拡張性を提供する。
＜１−２−３＞各トラッキング結果をフィードバックするための操作手順
多種方法の結果を相互に利用することは本発明のコンセプトの１つである。本発明において、多種トラッキング方法の結果間にフィードバックすることが提案された。これは次の四つの操作によって実現される。例えばテンプレート照合のような最適化が必要な方法に対して、モーション・パスからのフィードバックは有効であることも考えられる。
【００３６】
操作１：領域拡大法から人間介在トラッキングへ
領域拡大法の結果が得られると、領域拡大法から人間決定へのフィードバック操作は使用できる。このフィードバックは、領域拡大法によって得られた三次元領域（３Ｄ  Ｒｅｇｉｏｎ）から候補者を生成する。
【００３７】
領域拡大法の結果は、三次元領域の形で、換言すれば、図５に示されたように、一連の２値画像の形で与えられる。２値画像において、抽出された領域に対しての点をグループ化することができる。従って、このフィードバックは、２値画像にクラスタ化を適用し、クラスタの中心を出力する。
【００３８】
（１）安定したクラスタ化に対し、形態的な操作“ｏｐｅｎｉｎｇ”を用いて、２値画像における間隙を埋める（図６を参照する）。
【００３９】
（２）２値画像にクラスタ化を適用する。
【００４０】
（３）クラスタの中心を候補者として出力する（図７を参照する）。
【００４１】
候補者が得られた後に、ユーザは候補者に続いてモーション・パスを編集することができる。
【００４２】
操作２：人間介在トラッキングから領域拡大法へ
モーション・パスが存在した場合に、人間決定入力から領域拡大法へのフィードバックは使用できる。このフィードバックは、モーション・パスから三次元領域を生成する。
【００４３】
各フレームにおいて、このフィードバックは、モーション・パス上の点をシード・ポイントとする二次元領域（Ｒｅｇｉｏｎ）成長を行う。これらの操作の結果として、フレーム毎に１つの２値画像が得られた（図８を参照する）。これら一連の２値画像は時空間三次元空間における三次元領域を形成する。
【００４４】
操作３：オプティカルフローから人間介在トラッキングへ
オプティカルフローとモーション・パスが得られた場合に、オプティカルフローから人間決定へのフィードバックは使用できる。このフィードバックは、オプティカルフローとモーション・パスの間の残差を提供する。フレーム間のインターバル毎に残差が得られる。
【００４５】
フレームｎとフレームｎ＋１の間の場合を考える（図９を参照する）。
【００４６】
オプティカルフローの平均ベクトルは下記数１によって計算される。
【００４７】
【数１】
2004334266.tif 000003
ここで、Δｔはフレーム間の時間インターバルで、
2004334266.tif 000004
は画素
2004334266.tif 000005
においてのオプティカルフローである。Ｗはモーション・パス上の点の隣接エリアであり、その幅はＷｘで、高さはＷｙである（図１０を参照する）。
【００４８】
モーション・パスのベクトルは下記の数式によって表される。
【００４９】
【数２】
2004334266.tif 000006
【数３】
2004334266.tif 000007
【数４】
2004334266.tif 000008
ここで、（ｘｎ，ｙｎ）はフレームｎにおけるモーション・パスの座標である。
【００５０】
オプティカルフローとモーション・パスの間の残差は下記数５によって計算される。
【００５１】
【数５】
2004334266.tif 000009
ここで、θは
2004334266.tif 000010
と
2004334266.tif 000011
の間の角度である。
【００５２】
操作４：人間決定からオプティカルフローへ
モーション・パスが得られた場合に、モーション・パスからオプティカルフローへのフィードバックは使用できる。このフィードバックはモーション・パスの近く辺りだけでオプティカルフローを得る。これによって計算量を減らすことができる。
【００５３】
フレームｎとフレームｎ＋１の間の場合を考える。フレームｎにおいて、図１０に示されたように、幅がＷｘで、高さがＷｙである隣接エリアを定義する。このフィードバックはこのエリアだけでオプティカルフローを得る。
【００５４】
＜２＞ユーザ・インターフェイス
＜２−１＞ユーザ・インターフェイスの要素
モーション・トラッキング／デジタイジング・システムは次のウィンドウを有する。
【００５５】
アコーディオン・ビューアー（図１１を参照する）
二次元ウィンドウ（図１２を参照する）
トラッキング方法用のダイアログ・ボックス（図１３、図１４、図１５を参照する）
アコーディオン・ビューアーは、コンピュータのディスプレイ上に、画像、モーション・パス及びトラッキング方法の結果を表示する。二次元ウィンドウは、動画像における任意フレームの画像を表示する。ダイアログ・ボックスは、ユーザがトラッキング方法を操作するところである。
【００５６】
＜２−１−１＞アコーディオン・ビューアー
動画像は一連の画像である。画像列は図１６に示された仮想三次元空間上に配列されている。アコーディオン・ビューアーは、透視的に三次元空間を表示する。アコーディオン・ビューアーにおいては、画像列が任意の透明度をもって表示される（図１７を参照する）。アコーディオン・ビューアーにおいては、ユーザが回転、移動、ズーミングといった操作を行うことができる（図１８を参照する）。
【００５７】
ユーザは、マウスのボタンをクリックすることによって、アコーディオン・ビューアーにおける任意のフレームを選択することができる。選択されたフレームは二次元ウィンドウに表示される。
【００５８】
＜２−１−２＞二次元ウィンドウ
二次元ウィンドウは、アコーディオン・ビューアーにおける選択されたフレームの画像を表示する。ユーザは“＜”、“＞”といったボタンで、フレームを選択することができる。制御点がモーション・パスに追加される場合に、“制御点追加”ボタンが使用される。また、制御点がモーション・パスから削除される場合に、“制御点削除”ボタンが使用される。
【００５９】
＜２−１−３＞ダイアログ・ボックス
次のダイアログ・ボックスはそれぞれ各方法用に提供される。
【００６０】
（１）領域拡大（Ｒｅｇｉｏｎ  ｇｒｏｗｉｎｇ）ダイアログ（図１３を参照する）
リストボックスは得られた結果のリストを示す。
【００６１】
“領域追加”ボタンは、領域拡大法の結果を生成するためのボタンである。
【００６２】
“領域削除”ボタンは、領域拡大法の結果を削除するためのボタンである。
【００６３】
“パスによる領域”ボタンは、人間介在トラッキングから領域拡大法へのフィードバックを行うためのボタンである。
【００６４】
“選択された結果を表示”チェック・ボックスは、アコーディオン・ビューアーに領域拡大法の選択された結果を表示させることを可能にする。
【００６５】
“候補者を示す”チェック・ボックスは、領域拡大法から人間介在トラッキングへのフィードバックを行うためのものである。
【００６６】
（２）オプティカルフロー（Ｏｐｔｉｃａｌ  ｆｌｏｗ）ダイアログ（図１４を参照する）ユーザは“ウィンドウ・サイズ”スライダーを用いて、オプティカルフローのウィンドウ・サイズを変更することができる。
【００６７】
“オプティカルフロー計算”ボタンは、オプティカルフローを計算するためのボタンである。
【００６８】
“オプティカルフロー表示”チェック・ボックスは、アコーディオン・ビューアーにオプティカルフローを表示させることを可能にする。
【００６９】
“パスの近く辺りだけ”チェック・ボックスは、モーション・パスからオプティカルフローへのフィードバックを可能にする。
【００７０】
“残差に基づいた色”チェック・ボックスは、オプティカルフローからモーション・パスへのフィードバックを可能にする。
【００７１】
“ビッグ・フローだけ”チェック・ボックスは、アコーディオン・ビューアーにビッグ・オプティカルフローだけを表示させることを可能にする。
【００７２】
（３）手動ダイアログ（図１５を参照する）
リストボックスは生成されたモーション・パスのリストを示す。
【００７３】
“モーション・パス追加”ボタンは、モーション・パスを生成するためのボタンである。
【００７４】
“モーション・パス削除”ボタンは、モーション・パスを削除するためのボタンである。
【００７５】
本発明において、ユーザ・インターフェイスは、時空間三次元空間の透視図を示す。動画像の各画像は時空間三次元空間上に配列されている。時空間三次元空間の三つの軸は、二次元画像空間と時間軸とで構成される。これら三つの軸は、直線であっても、また曲線であっても良い。モーション・トラッキング／デジタイジング・システムは、コンピュータのディスプレイ上に時空間三次元空間を透視的に表示する。時空間三次元空間の透視図の方向を任意に変えることが可能である。時空間三次元空間の透視図は、任意のサイズに拡大され、或いは、縮小されることが可能である。時空間三次元空間上に配列されている動画像の各画像も、コンピュータのディスプレイ上に透視的に表示される。動画像の各画像は任意の透明度をもって表示されることが可能である。画像毎に透明度の度合いを異にすることが可能である。各画像内部でも、透明度の度合いが一定である必要がない。例えば、ユーザは時空間三次元空間における領域を１００％の透明度に指定した場合に、図１９に示されたように、ディスプレイ上には三次元空間における画像の断面図を示す。対象物の軌跡を時空間三次元空間においてスプライン曲線として表すことができる。スプライン曲線は任意の数の制御点を有する。ユーザ・インターフェイスを通して、マウス或いは任意のデジタイジング装置を直接に用いて、制御点を編集（移動、追加、削除）することができる。図２０に示されたように、モーション・パスを任意のフレームからスタートさせ、また、任意のフレームで終わらせることができる。また、図２０に示されたように、異なる対象物の動きに対し、複数のモーション・パスが表示される。
【００７６】
＜２−２＞本モーション・トラッキング／デジタイジング・システムの動作及び説明図
この節は実施例を用いて順を追ってユーザ・インターフェイスの動作を説明する。
【００７７】
先ずは、本モーション・トラッキング／デジタイジング・システムに動画像ファイルを取り込む。
【００７８】
１．メニュー上の“動画像を開く”ボタンをクリックする（図２１を参照する）。
【００７９】
２．オープン・ダイアログ・ボックスに、開くすべき動画像ファイルを指定する（図２２を参照する）。
【００８０】
動画像の画像列はアコーディオン・ビューアーに表示される（図２３を参照する）。
【００８１】
動画像ファイルが取り込まれた後に、ユーザは次の七つの特徴を使用することができる。
【００８２】
＜２−２−１＞特徴１：領域拡大法の結果を生成する
領域拡大法の結果を生成する手順は次のようになる。
【００８３】
１．アコーディオン・ビューアー或いは二次元ウィンドウを用いて１つのフレームを選択する。
【００８４】
２．領域拡大ダイアログ上の“領域追加”ボタンをクリックする（図２４を参照する）。
【００８５】
３．ダイアログにシード・ポイントの位置を設定する（図２５を参照する）。
【００８６】
領域拡大法の結果はアコーディオン・ビューアーに表示される。ここで留意すべきは、領域拡大法によって抽出された領域は透視図で不透明であるように描かれ、ほかの領域は透視図で透明であるように描かれていることである（図２６を参照する）。
＜２−２−２＞特徴２：オプティカルフローを計算する
１．オプティカルフローダイアログ上のスライダーを用いて、オプティカルフローのウィンドウ・サイズを設定する（図２７を参照する）。
【００８７】
２．“オプティカルフロー計算”ボタンをクリックする（図２８を参照する）。
【００８８】
計算後、オプティカルフローはアコーディオン・ビューアーに表示される。アコーディオン・ビューアーにおいて、緑の線はオプティカルフローに対応する（図２９を参照する）。
【００８９】
＜２−２−３＞特徴３：モーション・パスを生成・編集する
モーション・パスを生成する手順は次のようになる。
【００９０】
１．手動ダイアログ上の“モーション・パス追加”ボタンをクリックする（図３０を参照する）。
【００９１】
２．モーション・パスの出発点の位置を設定する（図３１を参照する）。
【００９２】
３．モーション・パスの終点の位置を設定する（図３２を参照する）。
【００９３】
ユーザは次の三つの制御点に係る操作を用いて、モーション・パスを編集することができる。
【００９４】
モーション・パスに新しい制御点を追加する：
１．制御点を追加しなければならないフレームを選択する。
【００９５】
２．二次元ウィンドウ上の“制御点追加”ボタンをクリックする（図３３を参照する）。
【００９６】
モーション・パス上に制御点を移動する：
１．制御点を有するフレームを選択する。
【００９７】
２．二次元ウィンドウの画像において、制御点の位置を設定する（図３４を参照する）。
【００９８】
編集後、ユーザはモーション・パスが得られる（図３５を参照する）。
【００９９】
＜２−２−４＞特徴４：領域拡大法から人間介在方法へのフィードバック
１．＜２−２−１＞節で既に説明したように、領域拡大法の結果を生成する。
【０１００】
２．領域拡大ダイアログ上の“候補者を示す”チェック・ボックスをチェックする（図３６を参照する）。
【０１０１】
計算された候補者はアコーディオン・ビューアーに表示される。アコーディオン・ビューアーにおいて、候補者は黄色いボールで表されている（図３７を参照する）。
【０１０２】
＜２−２−５＞特徴５：人間介在方法から領域拡大法へのフィードバック
１．＜２−２−３＞節で既に説明したように、モーション・パスを生成する。
【０１０３】
２．領域拡大ダイアログ上の“パスによる領域”ボタンをクリックする（図３８を参照する）。
【０１０４】
抽出された領域はアコーディオン・ビューアーに表示される（図３９を参照する）。
【０１０５】
＜２−２−６＞特徴６：領域拡大法から人間介在トラッキング方法へのフィードバック
１．＜２−２−３＞節で既に説明したように、モーション・パスを生成する。
【０１０６】
２．＜２−２−２＞節で既に説明したように、オプティカルフローを計算する。
【０１０７】
３．オプティカルフローダイアログ上の“残差に基づいた色”チェック・ボックスをチェックする（図４０を参照する）。
【０１０８】
アコーディオン・ビューアーにおけるモーション・パスは、オプティカルフローとモーション・パスとの間の差に基づいて色付けられた（図４１を参照する）。
【０１０９】
＜２−２−７＞特徴７：人間介在トラッキング方法からオプティカルフローによる方法へのフィードバック
１．＜２−２−３＞節で既に説明したように、モーション・パスを生成する。
【０１１０】
２．＜２−２−２＞節で既に説明したように、オプティカルフローを計算する。
【０１１１】
３．オプティカルフローダイアログ上の“パスの近く辺りだけ”チェック・ボックスをチェックする（図４２を参照する）。
【０１１２】
アコーディオン・ビューアーはモーション・パスの周りにあるオプティカルフローだけを表示する（図４３を参照する）。
【０１１３】
＜２−３＞本発明のユーザ・インターフェイスの利点
図４４に示されたようなマトリクスのような方式で、動画像列の各フレームを二次元空間に配置する従来のインターフェイスと比較して、本発明のアコーディオン・ビューアーは優れた利点を有する。
【０１１４】
逆に言えば、本発明のアコーディオン・ビューアーにおいては、動画像列の各フレームが時空間三次元空間にばらで配列されている。アコーディオン・ビューアーによって、ユーザは位置情報及び時間情報を同時に得ることができる。一方、従来のインターフェイスを用いても、位置情報及び時間情報を同時に得ることが不可能である。それは従来のインターフェイスの多くに位置情報と時間情報との相関を示すもう１つのウィンドウが提供されている理由である。例えば、モーション・パスを表すために、従来のインターフェイスは、Ｘ軸とＹ軸に対してモーション・パスの時間的な変化を示すもう１つのウィンドウを必要とする。しかしながら、アコーディオン・ビューアーはその目的のもう１つのウィンドウを必要としない。
【０１１５】
アコーディオン・ビューアーにおいて、動画像の画像は透明度をもって透視的に描かれている。これによって、ユーザはフレーム間の画像の動きの変化を読むことができる。一方、従来のインターフェイスを用いても、フレーム間の画像の変化を明瞭に認識できない。
【０１１６】
＜３＞本モーション・トラッキング／デジタイジング・システムの結果及び評価
＜３−１＞結果
人間動作“おじぎをする”を含む動画像列を用いて、本モーション・トラッキング／デジタイジング・システムが検証された。この動画像列は２８枚のフレームで構成される。動画像列の解像度は３２０×２４０ピクセルである。
【０１１７】
このテストにおいて、人体の頭、肘、肩、手、胴といったところの９つの点がトラッキングされた。テストの結果として、図４５、図４６及び図４７に示されたトラッキングデータが得られた。
【０１１８】
＜３−２＞評価
この本モーション・トラッキング／デジタイジング・システムを使用するのに、必要なユーザの仕事量を評価した。入力の数はユーザの仕事量だと考えられる。テストにおいて、９つのモーション・パスが得られた。例えば、右手に対応するモーション・パスの制御点の数は４である。しかしながら、このモーション・パスを従来法で手動的に得るとすれば、ユーザは２８個の点を入力しなければならない。
【０１１９】
＜３−３＞本発明の結び及び効果
本発明において、ユーザ・インターフェイスを具備する本モーション・トラッキング／デジタイジング・システムが開発された。この本モーション・トラッキング／デジタイジング・システムは対象物の特徴点の二次元動作を抽出する。
【０１２０】
この本モーション・トラッキング／デジタイジング・システムは、例えば、領域拡大法、オプティカルフローによる方法、人間介在トラッキングのような多種トラッキング方法を使用する。本モーション・トラッキング／デジタイジング・システムは、多種トラッキング方法の結果の相互利用に適した内部構造を有する。本モーション・トラッキング／デジタイジング・システムは各トラッキング方法の結果間のフィードバックを可能にする。動画列の各フレーム及びトラッキング方法の各結果をコンピュータのディスプレイ上に表示する、ユニークなユーザ・インターフェイスが開発された。
【０１２１】
本発明の本モーション・トラッキング／デジタイジング・システムのロバスト性と有効性が評価された。評価の結果は、本モーション・トラッキング／デジタイジング・システムの出力データが実用可能性を有することを示す。本モーション・トラッキング／デジタイジング・システムのユーザ・インタフェイスが対象物の動きをトラッキングするのに効果的であることは発見された。
【０１２２】
従来のインターフェイスは動画像列の各フレームをマトリクスのような方式で二次元空間に配置する。従って、従来のインターフェイスを用いることによって、位置情報及び時間情報を同時に得ることが不可能である。それは従来のインターフェイスの多くに位置情報と時間情報との相関を示すもう１つのウィンドウが提供されている理由である。例えば、モーション・パスを表すために、従来のインターフェイスは、Ｘ軸とＹ軸に対してモーション・パスの時間的な変化を示すもう１つのウィンドウを必要とする。しかしながら、アコーディオン・ビューアーはその目的のもう１つのウィンドウを必要としない。
【０１２３】
従来のインターフェイスは、動画像データを観察するために、シングル・フレーム・ステップ機能に依存する。逆に言えば、本発明の本モーション・トラッキング／デジタイジング・システムにおいて、動画像の画像が同時に表示されることができる。ユーザは透明性の画像を透視することができるので、よって、対象物の動きの変化或いは差を正確に認識することもできる。
【０１２４】
従来のインターフェイスを用いた場合に、対象物の動きを特定するために、ユーザに全ての画像に対して逐一に対象物をクリックすることが強要される。逆に言えば、スプライン曲線がいくつかの制御点で定義されることは可能であるため、本発明のアコーディオン・ビューアーを用いた場合に、ユーザはモーション軌跡（モーション・パス）のスプライン曲線の数少ない制御点だけを指定すれば良い。
【０１２５】
動画像は一連の画像である。本モーション・トラッキング／デジタイジング・システム用のユーザ・インタフェイスは、コンピュータによって実行される、逐次動画像ビューイング・プログラムである。このユーザ・インタフェイスによって、コンピュータのディスプレイを通して、ユーザは動画像の画像をビューすることができ、また、時空間三次元空間上に対象物の軌跡を操作することもできる。ユーザは、コンピュータのマウスを駆使して、回転、コード変換、ズームイン、  ズームアウトなどの操作を行うことができる。画像列は、二次元画像空間と時間軸とで構成される仮想三次元空間に配置される。本モーション・トラッキング／デジタイジング・システムは、ユーザ・インターフェイス（アコーディオン・ビューアー）によって、コンピュータのディスプレイ上に、時空間三次元空間を透視的に表示する。時空間三次元空間に配置されている画像列も、コンピュータのディスプレイ上に、透視的に表示される。動画像の各画像は任意の透明度をもって表示されることが可能である。動画像列がばらで時空間に配置されているので、ユーザ・インターフェイスによって、ユーザは一度に対象物の位置情報及び時間情報を得ることができる。ユーザは透明性の画像を透視することができるので、よって、対象物の動きの変化或いは差を正確に認識することもできる。対象物の動きは時空間三次元空間上にスプライン曲線によって表されることができる。スプライン曲線は、コンピュータのディスプレイ上にユーザに指定された、いくつかの制御点によって決められる。
【０１２６】
更に、本発明の本モーション・トラッキング／デジタイジング・システムも、ユーザ・インターフェイス（アコーディオン・ビューアー）も、同様に、ユーザ・インターフェース、バーチャル・リアリティ、動き分析や科学観察などの分野に適用されることができる。
【０１２７】
＜４＞参考文献
［１］Ｄ．・ガバリラ（Ｄ．  Ｇａｖｒｉｌｌａ），  「ザ  ビジュアル  アナリシス  オフ  ヒューマン  ムーブメント：ア  サーベイ（Ｔｈｅ  ｖｉｓｕａｌ  ａｎａｌｙｓｉｓ  ｏｆ  ｈｕｍａｎ  ｍｏｖｅｍｅｎｔ：  Ａ  ｓｕｒｖｅｙ）」，コンピュータ  ビジョン  アンド  イメージ  アンダスタンディング（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ），  第７３巻，  ｐ．８２−８８，１９９９年１月．
［２］Ｊ．・Ｋ．・アガラワル、Ｑ．・サイ（Ｊ．Ｋ．Ａｇｇａｒｗａｌ  ａｎｄ  Ｑ．Ｃａｉ），「ヒューマン  モーション  アナリシス：ア  レビュー（Ｈｕｍａｎ  ｍｏｔｉｏｎ  ａｎａｌｙｓｉｓ：  Ａ  ｒｅｖｉｅｗ）」  ，コンピュータ  ビジョン  アンド  イメージ  アンダスタンディング（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ），第７３巻，ｐ．４２８−４４０，１９９９年３月．
［３］Ｃ．・  レン  、Ａ．・アザバヤジャニ、  Ｔ．・ダレル、Ａ．・  ペントランド（Ｃ．  Ｗｒｅｎ，  Ａ．  Ａｚａｒｂａｙｅｊａｎｉ，  Ｔ．  Ｄａｒｒｅｌｌ，  ａｎｄ  Ａ．  Ｐｅｎｔｌａｎｄ），  「Ｐファインダ：リアルタイム  トラッキング  オフ  ザ  ヒューマン  ボディ（Ｐｆｉｎｄｅｒ：  Ｒｅａｌ−ｔｉｍｅ  ｔｒａｃｋｉｎｇ  ｏｆ  ｔｈｅ  ｈｕｍａｎ  ｂｏｄｙ）」，  ＩＥＥＥ  トランス．  パターン  アンラ．  マッチ．  インテレ．（ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌ．  Ｍａｃｈ．  Ｉｎｔｅｌｌ．），第１９巻，第７号，ｐ．７８０−７８５，１９９７年．
［４］  Ｂ．・ハイゼラー、Ｕ．・ケレセル、Ｗ．・リッテル（Ｂ．  Ｈｅｉｓｅｌｅ，  Ｕ．  Ｋｒｅｓｓｅｌ，  ａｎｄ  Ｗ．  Ｒｉｔｔｅｒ），  「トラッキング  ノンリジッド，ムービング  オブジェクトズベイセド  オン  カラー  クラスタ  フロー（Ｔｒａｃｋｉｎｇ  ｎｏｎ−ｒｉｇｉｄ，  ｍｏｖｉｎｇ  ｏｂｊｅｃｔｓ  ｂａｓｅｄ  ｏｎ  ｃｏｌｏｒ  ｃｌｕｓｔｅｒ  ｆｌｏｗ）」，  イン  プロク．  オフ  ＩＥＥＥ  コンファレンス  オン  オートマチック  フェイス  アンド  ジェスチャー  レコグニション（ｉｎ  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ），ｐ．１４０−１４５，１９９６年．
［５］  Ｓ．  ・Ａ．・ニヨギ、Ｅ．・  Ｈ．・アデルソン（Ｓ．  Ａ．  Ｎｉｙｏｇｉ  ａｎｄ  Ｅ．  Ｈ．  Ａｄｅｌｓｏｎ），  「アナライズイング  アンド  レコグナイズイング  ウォーキング  フィギュアズ  イン  ＸＹＴ（Ａｎａｌｙｚｉｎｇ  ａｎｄ  ｒｅｃｏｇｎｉｚｉｎｇ  ｗａｌｋｉｎｇ  ｆｉｇｕｒｅｓ  ｉｎ  ｘｙｔ）」，  イン  プロク．  オフ  ＩＥＥＥ  コンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  レコグニション（ｉｎ  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ），ｐ．４６９−４７４，１９９４年．
［６］  Ｓ．  ・Ａ．・ニヨギ、Ｅ．・  Ｈ．・アデルソン（Ｓ．  Ａ．  Ｎｉｙｏｇｉ  ａｎｄ  Ｅ．  Ｈ．  Ａｄｅｌｓｏｎ），  「アナライズイング  ゲイト  ウィズ  スパチオテンポラル  サーフェスズ（Ａｎａｌｙｚｉｎｇ  ｇａｉｔ  ｗｉｔｈ  ｓｐａｔｉｏｔｅｍｐｏｒａｌ  ｓｕｒｆａｃｅｓ）」，  イン  プロク．  オフ  ＩＥＥＥ  ワークショップ  オン  モーション  オフ  ノンリジッド  アンド  アーティキュレーテッド  オブジェクトズ（ｉｎ  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍｏｔｉｏｎ  ｏｆ  Ｎｏｎ−Ｒｉｇｉｄ  ａｎｄ  Ａｒｔｉｃｕｌａｔｅｄ  Ｏｂｊｅｃｔｓ），ｐ．６４−６９，１９９４年．
［７］Ｓ．・  Ｘ．・ジュ、Ｍ．・ブラック、Ｙ．  ・Ｊ．・ヤクーブ（Ｓ．  Ｘ．  Ｊｕ，  Ｍ．  Ｂｌａｃｋ，  ａｎｄ  Ｙ．  Ｊ．  Ｙａｃｏｏｂ）  ，  「カードボード  ピープル：ア  パラメータライズド  モデル  オフ  アーティキュレーテッド  イメージ  モーション（Ｃａｒｄｂｏａｒｄ  ｐｅｏｐｌｅ：  ａ  ｐａｒａｍｅｔｅｒｉｚｅｄ  ｍｏｄｅｌ  ｏｆ  ａｒｔｉｃｕｌａｔｅｄ  ｉｍａｇｅ  ｍｏｔｉｏｎ）」，イン  プロク．オフ  ＩＥＥＥ  コンファレンス  オン  オートマチック  フェイス  アンドジェスチャー  レコグニション（  ｉｎ  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ），ｐ．３８−４４，１９９６年．
［８］  Ｙ．・オウイ、Ｊ．・  ウォン、Ｓ．・オザワ（Ｙ．  Ｏｏｉ，  Ｊ．  Ｈｗａｎｇ，  ａｎｄ  Ｓ．  Ｏｚａｗａ），  「ア  メソッド  オフ  エクストラクティング  ３Ｄ  パッチ  インフォメイション  フロム  オブジェクト  イン  イメージ  シーケンス：ボリューム  エディタ（Ａ  ｍｅｔｈｏｄ  ｏｆ  ｅｘｔｒａｃｔｉｎｇ  ３ｄ  ｐａｔｃｈ  ｉｎｆｏｒｍａｔｉｏｎ  ｆｒｏｍ  ｏｂｊｅｃｔ  ｉｎ  ｉｍａｇｅ  ｓｅｑｕｅｎｃｅ：  Ｖｏｌｕｍｅ  ｅｄｉｔｏｒ）」，イン  プロク．  オフ  ＩＥＥＥ  コンファレンスコンミュニ．，コンプト．  アンド  シグナル  プロセス（ｉｎ  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  Ｃｏｍｍｕｎ．，  Ｃｏｍｐｔ．  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓ），ｐ．６３０−６３３，１９９３年．
［９］Ｓ．・オザワ（Ｓ．  Ｏｚａｗａ），  「３Ｄ  メジャーメント  ユスイング  イメージプロセシング（３ｄ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｓｉｎｇ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ）」，  ジャーナル  オフ  ザ  ジャパン  ソサイエティ  オフ  メカニカル  エンジニアズ（Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｊａｐａｎ  Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｅｃｈａｎｉｃａｌ  Ｅｎｇｉｎｅｅｒｓ），第９８巻，ｐ．５３−５６，１９９５年５月．
［１０］  Ｅ．・  ガンマ、Ｒ．・ヘルム、  Ｒ．・ジョンソン、Ｊ．・ビリシデス（Ｅ．  Ｇａｍｍａ，  Ｒ．  Ｈｅｌｍ，  Ｒ．  Ｊｏｈｎｓｏｎ，  ａｎｄ  Ｊ．  Ｖｌｉｓｓｉｄｅｓ），「デザイン  パターンズ（Ｄｅｓｉｇｎ  Ｐａｔｔｅｒｎｓ）」，アディソン・ウェズリー  ロングマン，  インク．（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ
Ｌｏｎｇｍａｎ，  Ｉｎｃ）．
【図面の簡単な説明】
【図１】時空間三次元領域を説明するための模式図である。
【図２】三次元領域（３Ｄ  Ｒｅｇｉｏｎ）を説明するための模式図である。
【図３】モーション・パスを説明するための模式図である。
【図４】本モーション・トラッキング／デジタイジング・システムのクラス・ダイヤグラムを示す図である。
【図５】２値画像で構成される三次元領域（３Ｄ  Ｒｅｇｉｏｎ）を説明するための模式図である。
【図６】形態的なｏｐｅｎｉｎｇを説明するための模式図である。
【図７】クラスタの中心を候補者とするのを説明するための模式図である。
【図８】モーション・パスから領域拡大法へのフィードバックを説明するための模式図である。
【図９】モーション・パスとオプティカルフローとの間の角度を説明するための模式図である。
【図１０】モーション・パスの隣接エリアを示すウィンドウを説明するための模式図である。
【図１１】アコーディオン・ビューアーの一例を示す図である。
【図１２】二次元ウィンドウの一例を示す図である。
【図１３】領域拡大ダイアログ・ボックスの一例を示す図である。
【図１４】オプティカルフローダイアログ・ボックスの一例を示す図である。
【図１５】人間介在ダイアログ・ボックスの一例を示す図である。
【図１６】仮想三次元空間を説明するための模式図である。
【図１７】図１７はアコーディオン・ビューアーが任意の透明度をもって動画像列の各フレームを表示するのを説明している。
【図１８】図１８はアコーディオン・ビューアーにおいて、ユーザの視点を変えることができるのを説明している。
【図１９】アコーディオン・ビューアーの機能を説明するための模式図である。
【図２０】アコーディオン・ビューアーの機能を説明するための模式図である。
【図２１】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２２】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２３】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２４】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２５】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２６】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２７】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２８】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２９】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３０】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３１】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３２】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３３】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３４】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３５】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３６】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３７】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３８】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３９】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４０】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４１】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４２】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４３】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４４】従来のマトリクスのような二次元インターフェイスを説明するための模式図である。
【図４５】ビデオ画像“おじぎをする”とトラッキング・データを示す図である。
【図４６】ビデオ画像“おじぎをする”とトラッキング・データを示す図である。
【図４７】ビデオ画像“おじぎをする”とトラッキング・データを示す図である。
【図１】
2004334266.tif 000012
【図２】
2004334266.tif 000013
【図３】
2004334266.tif 000014
【図４】
2004334266.tif 000015
【図５】
2004334266.tif 000016
【図６】
2004334266.tif 000017
【図７】
2004334266.tif 000018
【図８】
2004334266.tif 000019
【図９】
2004334266.tif 000020
【図１０】
2004334266.tif 000021
【図１１】
2004334266.tif 000022
【図１２】
2004334266.tif 000023
【図１３】
2004334266.tif 000024
【図１４】
2004334266.tif 000025
【図１５】
2004334266.tif 000026
【図１６】
2004334266.tif 000027
【図１７】
2004334266.tif 000028
【図１８】
2004334266.tif 000029
【図１９】
2004334266.tif 000030
【図２０】
2004334266.tif 000031
【図２１】
2004334266.tif 000032
【図２２】
2004334266.tif 000033
【図２３】
2004334266.tif 000034
【図２４】
2004334266.tif 000035
【図２５】
2004334266.tif 000036
【図２６】
2004334266.tif 000037
【図２７】
2004334266.tif 000038
【図２８】
2004334266.tif 000039
【図２９】
2004334266.tif 000040
【図３０】
2004334266.tif 000041
【図３１】
2004334266.tif 000042
【図３２】
2004334266.tif 000043
【図３３】
2004334266.tif 000044
【図３４】
2004334266.tif 000045
【図３５】
2004334266.tif 000046
【図３６】
2004334266.tif 000047
【図３７】
2004334266.tif 000048
【図３８】
2004334266.tif 000049
【図３９】
2004334266.tif 000050
【図４０】
2004334266.tif 000051
【図４１】
2004334266.tif 000052
【図４２】
2004334266.tif 000053
【図４３】
2004334266.tif 000054
【図４４】
2004334266.tif 000055
【図４５】
2004334266.tif 000056
【図４６】
2004334266.tif 000057
【図４７】
2004334266.tif 000058
【外国語明細書】
2004334266.tif 000059
2004334266.tif 000060
2004334266.tif 000061
2004334266.tif 000062
2004334266.tif 000063
2004334266.tif 000064
2004334266.tif 000065
2004334266.tif 000066
2004334266.tif 000067
2004334266.tif 000068
2004334266.tif 000069
2004334266.tif 000070
2004334266.tif 000071
2004334266.tif 000072
2004334266.tif 000073
2004334266.tif 000074
2004334266.tif 000075
2004334266.tif 000076
2004334266.tif 000077
2004334266.tif 000078
2004334266.tif 000079
2004334266.tif 000080
2004334266.tif 000081
2004334266.tif 000082
2004334266.tif 000083
2004334266.tif 000084
2004334266.tif 000085
2004334266.tif 000086
2004334266.tif 000087
2004334266.tif 000088
2004334266.tif 000089
2004334266.tif 000090
2004334266.tif 000091
2004334266.tif 000092
2004334266.tif 000093
2004334266.tif 000094
2004334266.tif 000095
2004334266.tif 000096
2004334266.tif 000097
2004334266.tif 000098
2004334266.tif 000099
2004334266.tif 000100
2004334266.tif 000101
2004334266.tif 000102
2004334266.tif 000103
2004334266.tif 000104
2004334266.tif 000105
2004334266.tif 000106
2004334266.tif 000107
2004334266.tif 000108
2004334266.tif 000109
2004334266.tif 000110
2004334266.tif 000111
2004334266.tif 000112
2004334266.tif 000113
2004334266.tif 000114
2004334266.tif 000115
2004334266.tif 000116
2004334266.tif 000117
2004334266.tif 000118
2004334266.tif 000119
2004334266.tif 000120
2004334266.tif 000121
2004334266.tif 000122
2004334266.tif 000123
2004334266.tif 000124
2004334266.tif 000125
2004334266.tif 000126
2004334266.tif 000127
2004334266.tif 000128
2004334266.tif 000129
2004334266.tif 000130
2004334266.tif 000131
2004334266.tif 000132
2004334266.tif 000133
2004334266.tif 000134
2004334266.tif 000135
2004334266.tif 000136
2004334266.tif 000137
2004334266.tif 000138
2004334266.tif 000139
2004334266.tif 000140
2004334266.tif 000141
2004334266.tif 000142
2004334266.tif 000143
2004334266.tif 000144
2004334266.tif 000145
2004334266.tif 000146
2004334266.tif 000147
2004334266.tif 000148
2004334266.tif 000149
2004334266.tif 000150
2004334266.tif 000151
2004334266.tif 000152
2004334266.tif 000153
2004334266.tif 000154
2004334266.tif 000155
2004334266.tif 000156
2004334266.tif 000157
2004334266.tif 000158
2004334266.tif 000159
2004334266.tif 000160
2004334266.tif 000161
2004334266.tif 000162
2004334266.tif 000163
2004334266.tif 000164
2004334266.tif 000165
2004334266.tif 000166
2004334266.tif 000167
2004334266.tif 000168
2004334266.tif 000169
2004334266.tif 000170
2004334266.tif 000171
2004334266.tif 000172
2004334266.tif 000173
2004334266.tif 000174
2004334266.tif 000175
2004334266.tif 000176
2004334266.tif 000177
2004334266.tif 000178
2004334266.tif 000179
2004334266.tif 000180
2004334266.tif 000181
2004334266.tif 000182
2004334266.tif 000183
2004334266.tif 000184
2004334266.tif 000185
2004334266.tif 000186
2004334266.tif 000187
2004334266.tif 000188
2004334266.tif 000189
2004334266.tif 000190
2004334266.tif 000191
2004334266.tif 000192
2004334266.tif 000193