(57)【要約】二つのビデオシーケンスを与えて、それぞれのシーケンスから可視的要素を含む合成ビデオシーケンスを生成し、好適に同期させて、選択された焦点面に表示する。例えば、同じダウンヒルコースを別個に滑走している異なる競技者をそれぞれが示す二つのビデオシーケンスを与え、合成シーケンスにこのシーケンスの各々からとった要素を含ませて、これらの競技者が同時に競技しているように見せる。合成ビデオシーケンスは、ビデオシーケンスとオーディオシーケンスを同様に合成しても良い。合成ビデオシーケンスでは、所定のビデオシーケンスの背景がそれぞれ異なるような場合でも、例えば、この所定のシーケンスの一つまたは他から取った背景を用いて、競技者、動作フィギュア、または対象物を共通の背景に表示することができる。代替として、別の好適な背景を、例えば、この所定のビデオシーケンスから取り出したものとして、他のビデオシーケンスや画像から得たものとして、その他合成画像として用いるようにしても良い。【選択図】図１
2004500756.tif 000002
【特許請求の範囲】
【請求項１】
複数の所定のビデオシーケンスから合成ビデオシーケンスを生成するコンピュータ処理方法であって、前記所定のビデオシーケンスの各々が、それぞれの環境に関連した動作を有するそれぞれのオブジェクトの表示を具え、当該方法が、
（ａ）背景表示を形成するステップと、
（ｂ）前記所定のビデオシーケンスの各々におけるそれぞれのオブジェクト表示を確かめるステップと、
（ｃ）前記確かめられた表示の動作を調整するステップと、
（ｄ）前記調整された表示が共通の環境に表れるように合成ビデオシーケンスを形成するステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載に方法において、ステップ（ａ）は、前記オブジェクトのいずれとも独立した背景表示を形成するステップを含むことを特徴とする方法。
【請求項３】
請求項２に記載の方法において、前記背景表示はカメラで記録された単一のイメージであることを特徴とする方法。
【請求項４】
請求項２に記載の方法において、前記背景表示を形成するステップは、イメージシーケンスとイメージをパノラマに組み合わせるステップを含むことを特徴とする方法。
【請求項５】
請求項４に記載の方法において、前記イメージシーケンスは前記所定のビデオシーケンスのうちの一つであることを特徴とする方法。
【請求項６】
請求項５に記載の方法が、前記所定のビデオシーケンスのうち、より直近のイメージに優先の重みを与えるように、背景表示を更新するステップを含むことを特徴とする方法、
【請求項７】
請求項２に記載の方法において、前記背景表示はパラメータ環境表示を含むことを特徴とする方法。
【請求項８】
請求項２に記載の方法において、前記表示を形成するステップは、表示エレメントと信頼測度とを結合するステップを含むことを特徴とする方法。
【請求項９】
請求項１に記載の方法において、前記ステップ（ａ）は、所定のビデオフレームとこれに対応する背景表示との間の位置的関係を予測するステップを含むことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、前記予測はイメージ分析を含むことを特徴とする方法。
【請求項１１】
請求項９に記載の方法において、前記予測は、前記所定のビデオシーケンスの一つを生成するために用いられる、機器を具えたカメラによって供給される機器データを考慮に入れることを含むことを特徴とする方法。
【請求項１２】
請求項９に記載の方法が、（ｉ）所定のビデオフレームとこれに対応する背景表示とを整合するべく位置的関係を用いるステップと、（ｉｉ）ピクセルと、前記整合されたビデオフレームと前記背景表示との間の不一致測度と、を結合するステップを含むことを特徴とする方法。
【請求項１３】
請求項１２に記載の方法が、背景に属する所定のビデオフレームのピクセルの確率を決定する場合に、不一致測度を用いるステップを含むことを特徴とする方法。
【請求項１４】
請求項１３に記載の方法が、背景または前景オブジェクトに属する所定のビデオフレームのピクセルを分類する場合に、前記不一致測度を用いるステップを含むことを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、前記分類は、補助情報を考慮に入れることを特徴とする方法。
【請求項１６】
請求項１４に記載の方法が、前記前景オブジェクトの統計的データを推測する場合に前記分類を用いるステップを含むことを特徴とする方法。
【請求項１７】
請求項１４に記載の方法が、前記背景を別の背景と取り替える場合に前記分類を用いるステップを具えることを特徴とする方法。
【請求項１８】
請求項１に記載の方法において、前記所定のビデオシーケンスの各々が、それぞれの環境に関連する動作を有する複数のオブジェクトの表示を具えることを特徴とする方法。
【請求項１９】
請求項１に記載の方法において、ステップ（ｃ）は、前記所定のビデオシーケンス間の空間的／位置的正規化変換を決定して、サイズおよび／または方向に関して一の所定のビデオシーケンスにある視覚エレメントと別の所定のビデオシーケンスにある視覚エレメントとをマッチングさせるステップを含むことを特徴とする方法。
【請求項２０】
請求項１９に記載の方法において、前記視覚エレメントが前景エレメントであることを特徴とする方法。
【請求項２１】
請求項１９に記載の方法において、前記視覚エレメントが背景エレメントであることを特徴とする方法。
【請求項２２】
請求項２１に記載の方法において、前記視覚エレメントが標準的エレメントであることを特徴とする方法。
【請求項２３】
請求項１９に記載の方法が、前記視覚エレメントの自動化された選択を含むことを特徴とする方法。
【請求項２４】
請求項１９に記載の方法が、前記視覚エレメントの選択への入力を受け入れるステップを含むことを特徴とする方法。
【請求項２５】
請求項１９に記載の方法において、変換の決定が自動化されていることを特徴とする方法。
【請求項２６】
請求項１９に記載の方法において、前記変換の決定は、試験的な変換の対話形式の適合における入力を受け入れ、出力を生成するステップを含むことを特徴とする方法。
【請求項２７】
請求項１に記載の方法において、前記ステップ（ｃ）は、動作パフォーマンスの実行における少なくとも一つの基準点で実行時間を同定するステップを含むことを特徴とする方法。
【請求項２８】
請求項２７に記載の方法において、前記同定は、前記所定のビデオシーケンスの一つにおける視覚情報に部分的に基づいていることを特徴とする方法。
【請求項２９】
請求項２７に記載の方法において、前記同定は、補助信号に部分的に基づいていることを特徴とする方法。
【請求項３０】
請求項２９に記載の方法において、前記補助信号は、音響信号、超音波信号、マイクロ波信号、レーダ信号、光学検出信号のうちのいずれかであることを特徴とする方法。
【請求項３１】
請求項２７に記載の方法が、後に使用するためにビデオシーケンスと共に同定時間を記録するステップを含むことを特徴とする方法。
【請求項３２】
請求項２７に記載の方法において、前記時間同定は自動化されていることを特徴とする方法。
【請求項３３】
請求項２７に記載の方法が、同定時間への入力を受け入れるステップを含むことを特徴とする方法。
【請求項３４】
請求項２７に記載の方法が、一の基準点から別の基準点への時間的な変換を決定するステップを含むことを特徴とする方法。
【請求項３５】
請求項２７に記載の方法が、前記所定のビデオシーケンスの少なくとも一つに時間的変換を適用して、所定のビデオシーケンスの基準点に時間的にマッチングするように調整されたペースを有する変換シーケンスを生成するステップを含むことを特徴とする方法。
【請求項３６】
請求項３５に記載の方法において、前記所定のビデオシーケンスの一つが基準ビデオシーケンスであり、前記時間的変換が別の所定のビデオシーケンスにのみ適用されることを特徴とする方法。
【請求項３７】
請求項３５に記載の方法において、前記時間的変換は、一の所定のビデオシーケンスにおける動作パフォーマンスを、別の所定ビデオシーケンスにおける動作パフォーマンスで補填することを特徴とする方法。
【請求項３８】
請求項３７に記載の方法において、前記補填は、記録された所定のビデオの再生を制御して、基準点における実行時間をライブパフォーマンスの所定ビデオにおける実行時間に対応させることを特徴とする方法。
【請求項３９】
請求項３５に記載の方法が、前記基準点における動作状態を示す所定のビデオシーケンスに、タグ付け／見出し付け／マーク付けするステップを含むことを特徴とする方法。
【請求項４０】
請求項２７に記載の方法が、非線形時間的変換を前記ビデオシーケンスの少なくとも一つに適用するステップを含むことを特徴とする方法。
【請求項４１】
請求項４０に記載の方法において、前記変換は前記ビデオシーケンス間の包括的なエラー測度を最小化することを特徴とする方法。
【請求項４２】
請求項４１に記載の方法が、最小化を検索するステップを含むことを特徴とする方法。
【請求項４３】
請求項４２に記載の方法において、検索は動的プログラミング技術に基づいていることを特徴とする方法。
【請求項４４】
請求項１に記載の方法において、前記ステップ（ｄ）は、前記所定のビデオシーケンスの一つにおける環境を、前記共通の環境として選択するステップを含むことを特徴とする方法。
【請求項４５】
請求項１に記載の方法において、前記ステップ（ｄ）は、前記所定ビデオシーケンスの各々の環境と異なる共通の環境を選択するステップを含むことを特徴とする方法。
【請求項４６】
請求項１に記載の方法において、前記ステップ（ｄ）は、前記合成ビデオシーケンスを形成する場合に、融合するステップを含むことを特徴とする方法。
【請求項４７】
請求項１に記載の方法において、前記ステップ（ｄ）は、前記合成ビデオシーケンスを形成する場合に、分割画面で表示するステップを含むことを特徴とする方法。
【請求項４８】
請求項１に記載の方法において、前記所定のビデオシーケンスが二つのスポーツ競技からなることを特徴とする方法。
【請求項４９】
請求項４８に記載の方法において、前記二つのスポーツ競技は異なった環境であることを特徴とする方法。
【請求項５０】
請求項４９に記載の方法において、前記スポーツ競技のうちの一つが基準パフォーマンスであることを特徴とする方法。
【請求項５１】
請求項５０に記載の方法において、前記基準パフォーマンスが、世界記録パフォーマンス、国内記録パフォーマンス、個人記録パフォーマンスのうちのいずれかであることを特徴とする方法。
【請求項５２】
請求項５０に記載の方法において、前記基準パフォーマンス以外のパフォーマンスが、直近のパフォーマンスおよびライブパフォーマンスのうちのいずれかであることを特徴とする方法。
【請求項５３】
請求項４８に記載の方法において、前記スポーツが、幅跳び、三段跳び、高跳び、棒高跳び、１００メートル競争、ゴルフスイングのうちのいずれかであることを特徴とする方法。
【請求項５４】
請求項２２に記載の方法において、前記標準エレメントは、幅跳びの助走ピットライン、幅跳びの踏み切りボード、１００メートル競争のレーン、棒高跳びのポール、棒高跳びのバー、高跳びのバーのうちのいずれかであることを特徴とする方法。
【請求項５５】
複数の所定のビデオシーケンスから合成ビデオシーケンスを生成するコンピュータプログラムであって、前記所定のビデオシーケンスの各々が、それぞれの環境に関連した動作を有するそれぞれのオブジェクトの表示を具え、当該プログラムが、
（ａ）背景表示を形成する命令と、
（ｂ）前記所定のビデオシーケンスの各々におけるそれぞれのオブジェクト表示を確かめる命令と、
（ｃ）前記確められた表示の動作を調整する命令と、
（ｄ）前記調整された表示が共通の環境に表れるように合成ビデオシーケンスを形成する命令と、
を含むことを特徴とするプコンピュータプログラム。
【請求項５６】
複数の所定のビデオシーケンスから合成ビデオシーケンスを生成するシステムであって、前記所定のビデオシーケンスの各々が、それぞれの環境に関連した動作を有するそれぞれのオブジェクトの表示を具え、当該システムが、
（ａ）背景表示を形成する手段と、
（ｂ）前記所定のビデオシーケンスの各々におけるそれぞれのオブジェクト表示を確かめる手段と、
（ｃ）前記確かめられた表示の動作を調整する手段と、
（ｄ）前記調整された表示が共通の環境に表れるように合成ビデオシーケンスを形成する手段と、
を含むことを特徴とするシステム。
【請求項５７】
複数の所定のビデオシーケンスから合成ビデオシーケンスを生成するコンピュータの命令の表示を具える有形媒体であって、前記所定のビデオシーケンスの各々が、それぞれの環境に関連した動作を有するそれぞれのオブジェクトの表示を具え、当該コンピュータの命令が、
（ａ）背景表示を形成する命令と、
（ｂ）前記所定のビデオシーケンスの各々におけるそれぞれのオブジェクト表示を確かめる命令と、
（ｃ）前記確かめられた表示の動作を調整する命令と、
（ｄ）前記調整された表示が共通の環境に表れるように合成ビデオシーケンスを形成する命令と、
を含むことを特徴とする有形媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、視覚的ディスプレイに関するものであり、特に、時間依存型視覚的ディスプレイに関する。
【０００２】
【従来の技術】
例えばスポーツ関連のテレビ番組におけるビデオディスプレイでは、特別な視覚効果を使用して、視聴者の好みの動作を強調することができる。例えば、フットボール等のチームで行うスポーツでは、ビデオリプレイは視聴者に試合の決定的な瞬間をとらえる第２の機会を与える。このような瞬間はスローモーションで再生することが可能であり、手書きの円や、矢印、文字などを重ね合わせてその部分を強調し、注釈を付けることができる。このような技術は、たとえば、レース競技などの他のスポーツでも用いられている。
【０００３】
ビデオリプレイや同種の技術は、通常、場面が忙しく、混み合っているチームスポーツに最も適している。同様に、例えば１００メートル競走では、競技者が並ぶ場面があり、ゴールでの場面をスローモーションで視覚化することでレースの本質が明確になる。一方で、ダウンヒルレースやスキージャンプなどで、実用上および安全上の必要からスタート時間がずれている場合は、実際の場面には、通常、一人の競技者を含む。
【０００４】
【発明が解決しようとする課題】
スポーツの楽しみを増やしたり、競技者およびコーチの視覚を強化するためには、競技者間で競技の要素を明確に表わすディスプレイが要求される。このことは、例えばダウンヒルスキーで競技者が一人で競技する場合に特に当てはまるし、また、準々決勝から準決勝へ、さらに決勝へ誰が進むかを決めるのに、資格スキームが用いられる集団競技にも当てはまる。
【０００５】
【課題を解決するための手段】
本願発明者は、所定の二以上のビデオシーケンスと、前記所定のシーケンスの各々から選択された焦点面に好適に同期させて表示した視覚要素を含む合成ビデオシーケンスを生成できることを認識した。例えば、所定の二つのビデオシーケンスとは、同じダウンヒルコースを別々に滑走する異なる競技者を示すシーケンスであり、合成シーケンスは、この所定のシーケンスの各々からの要素を含んでおり、あたかも両競技者が同時にレースをしているように見せることができる。合成ビデオシーケンスは、例えばオーディオシーケンスなどの一またはそれ以上の異なるシーケンスと一またはそれ以上のビデオシーケンスを同様に組み合わせて作ることもできる。
【０００６】
合成ビデオシーケンスでは、所定のビデオシーケンスの背景がそれぞれ異なるような場合でも、例えば、この所定のシーケンスの一つまたは他から取った背景を用いて、競技者、動作フィギュア、または対象物を共通の背景に表示することができる。代替として、別の好適な背景を、例えば、この所定のビデオシーケンスから取り出したものとして、他のビデオシーケンスや画像から得たものとして、その他合成画像として用いるようにしても良い。
【０００７】
【発明の実施の形態】
観念的には、本発明は二次元（２Ｄ）“モーフィング”（ｍｏｒｐｈｉｎｇ）、すなわち、コンピュータグラフィックスにおける円滑な画像変換、変形、または一つのイメージＩ１の他のイメージＩ２へのマッピングとの類似性において理解されうる。このようなモーフィングは、イメージＩ１のＩ２への画像変換、すなわち、リンゴの画像をオレンジの画像へ、またはある人間の顔を他の人間の顔へ、といった画像変換を示すビデオシーケンスに導く。このビデオシーケンスは、二つの空間的次元および時間的次元を有する三次元シーケンスである。このシーケンスの部分は、例えば二つの顔の平均、あるいは、イメージＩ１から取った目とイメージＩ２から取ったほほえみの合成といった、中間画像など、特別な関心に関するものであっても良い。従って、ここにいうイメージ間のモーフィングは、イメージから得る特徴を融合させた形態として理解されうる。
【０００８】
本発明は、より複雑な課題、すなわち二つのビデオシーケンスの融合に関するものである。一のシーケンスから他のシーケンスへのモーフィングあるいはマッピングは、４次元データとなり、これを表示するのは容易でない。しかしながら、中間の組み合わせ、あるいは合成シーケンスであれば、どのようなものでも新しいビデオシーケンスを導くことができる。
【０００９】
特に重要なことは、二つ以上の所定のシーケンスからの要素を、好適な時空アラインメントまたは同期をとって組み合わせることであり、選択された焦点面にこれを投影することである。例えば、ダウンヒルスキーなどのスポーツレース競技の場合、コースを別々に滑走している二人の競技者から得たビデオシーケンスを、レースの開始に対応するフレームを選択することによって時間的に同期させることができる。代替として、このシーケンスは、例えばスラロームゲートなどの重要なポイントで、競技者の通過路を一致させるように同期させても良い。
【００１０】
所定の焦点面は、一のシーケンスの焦点面あるいは他の所定のシーケンスの焦点面と同じであっても良く、または、これらの面と異なる焦点面を好適に構築するようにしても良い。
【００１１】
重要なことは、例えば陸上競技においては、地面から離れた状態にある高跳び競技者、または地面に降りようとしている高跳び競技者というように、区別されるイベントに基づいた同期であることである。この点に関して、更に重要なことは、時間的スケールを必要としつつ、地面から離れるところと、地面に降りるところが一致するように二つのシーケンスを同期させることである。結果としてできた合成シーケンスは軌道を比較することができる。
【００１２】
同期したビデオシーケンスを、更に空間的に整合させることができる。すなわち、競技者がコースを同時に滑走しているような印象を与える合成シーケンスを生成することができる。単純な方法として、空間的なアラインメントはフレームバイフレームベースで行うことができる。代替として、カメラからの複数のフレームを考慮して、出力イメージの画面を延長させて、幾つかのシーケンシャルイメージからの背景要素を含めることができる。
【００１３】
合成イメージの形成は、選択した焦点面に構成場面の表示を伴う。通常、例えば図１に示すように、二つのビデオ入力シーケンスという特別なケースでは、相当量のコンピュータ処理を必要とする。
【００１４】
図１は、二つのイメージシーケンスＩＳ１とＩＳ２を示し、これらを同期させてシーケンスＩＳ１’とＩＳ２’にするためのモジュール１１に送られる。例えば、シーケンスＩＳ１とＩＳ２は、ダウンヒルレース競技に出ている二人の競技者に関するものであり、これらはモジュール１１によって同期しており、各シーケンスの第１フレームがスタートゲートを出る競技者に対応する。
【００１５】
この同期したシーケンスはモジュール１２に送られて、背景−前景を抽出する。同様にモジュール１３に送られて、カメラ座標変換推定が行われる。各イメージシーケンスについて、モジュール１２は、重み−マスクシーケンス（ＷＭＳ）を生成する。各重みマスクは、各画素位置についてエントリを有するアレイであり、関心のある場面と背景／前景を区別する。重みマスクシーケンスの生成には、背景に関連してフレームからフレームへ動く要素のイメージのコンピュータ化した検索が伴う。モジュール１３は、方位についてのカメラアングルと海抜、カメラの焦点距離と開口を含むシーケンスパラメータＳＰ１とＳＰ２を生成する。これらのパラメータは、イメージの補間およびマッチングを含むコンピュータ処理によって各ビデオシーケンスから決定することができる。代替として、好適に備え付けられたカメラが、直接シーケンスパラメータを具えていても良い。この場合は、コンピュータ処理による推測の必要がなくなる。
【００１６】
重み−マスクシーケンスＷＭＳ１とＷＳＭ２は、アルファ層シーケンスコンピュータ処理を行うためにモジュール１３に送られる。アルファ層は、各イメージにおける各画素が合成イメージ内でどのくらいの重みを受けるべきかを特定するアレイである。
【００１７】
アルファ層とシーケンスパラメータＳＰ１とＳＰ２はモジュール１５に送られ、整合したイメージシーケンスを選択焦点面に投影して、結果として所望の合成イメージシーケンスを得る。これは更に、図２Ａ、２Ｂ、３Ａ、３Ｂ、４および５に具体化されている。
【００１８】
図２Ａは、画像アングルφ（Ａ）のカメラ位置から記録された場面における、ポジションマーカ２１を通過しようとしているスキーヤＡを示す。スキーヤＡが届かんとしている位置は、レースイベントのスタートゲートを離れようとしているスキーヤＡ’からｔ（Ａ）秒経過後の位置である。
【００１９】
図２Ｂは、他のスキーヤＢをマーカ２１に関して同じ位置で、ただし、別のカメラ位置２３から、より狭い画像アングルφ（Ｂ）で記録した場面を示す図である。スキーヤＡとの比較のために、スキーヤＢの位置をスキーヤＢがスタートゲートを離れてからｔ（Ａ）秒経過後に対応させる。図に示すとおり、ｔ（Ａ）秒内でスキーヤＢは、スキーヤＡに比較して、レースコースにおいてより遠くまで進んでいる。
【００２０】
図３ＡおよびＢは、結果としてできた各イメージを示す図である。
【００２１】
図４は、図２Ａと２Ｂを共通のカメラ位置で重ね合わせた組み合わせを示す図である。
【００２２】
図５は、選択焦点画面に投影された結果としてできた所望のイメージを示す図であり、同じスタート地点からｔ（Ａ）秒間、いっしょにレースをしていたかのようにスキーヤＡとＢを即時に視覚化している。
【００２３】
図６は、プロトタイプ処理技術で生成した合成イメージシーケンスから得たフレームを示す図であり、このフレームは中間タイミング地点に対応する。５７．８４という数字は秒で表した時間であり、遅い方のスキーヤがその中間タイミング地点に着いたところを取ったものであり、＋０．０４（秒）という値は、彼がどのくらいで早い方のスキーヤを追跡しているかを表示するものである。
【００２４】
プロトタイプ処理は、エンハンスド処理効果用および、特にマッチングと挿入を含む信号処理に使用することができる。
【００２５】
この技術の個別の特徴および変形を下記に詳細に述べる。
【００２６】
Ａ．  背景／前景の抽出
各シーケンスにおいて、好適な動き推定法（ｍｏｔｉｏｎ　ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ）を用いて背景および前景を抽出することができる。画像シーケンスが移動するカメラによってとらえられ、この取得した場面が移動する者または物を含む背景／前景を抽出するには、この方法はローバストでなくてはならない。また、時間を超えて安定であるべき背景／前景の抽出には、時間的な一致が要求される。例えば、一定の速度で、あるいは一定の加速度で、カメラとエージェントの両方が予測可能に移動する場合、時間フィルタリングを用いて時間的な一致を強調することができる。
【００２７】
カメラの動きによる背景の移動速度の決定、およびカメラと相対的に移動するスキーヤの速度の決定に基づいて、背景／前景の抽出が重み層を生成する。カメラを追跡する画素および追跡しない画素間に差をつけるこの重み層は最終的な合成シーケンス用のアルファ層を生成するのに使用される。
【００２８】
Ｂ．  シーケンスの時空アラインメント
時間的なアラインメントは、シーケンスにおける対応するフレームの選択を伴う。一般的に、スポーツ競技においては、これは、例えばレース開始時点に対応するフレームを選択するなど、タイミングシステムによって配分される各シーケンスのタイムコードである。この他に考えられる時間基準は、例えばゲート、あるいはジャンプエントリなどの指定された空間位置に対応する時間である。
【００２９】
空間的なアラインメントは各フレームに対する基準座標軸システムを選択すること、および基準システムと各シーケンスの対応するフレーム間におけるカメラ座標の変換を予測することによって行われる。この予測は、カメラ位置、視野方向、および焦点距離などのカメラデータがビデオシーケンスと共に記録される場合には不要である。通常、基準座標軸システムは所定のシーケンス、すなわち合成シーケンスに用いられるシーケンスの一つとして選択される。後述するとおり、空間アラインメントは単一フレームまたはマルチプルフレームをベースに行われる。
【００３０】
Ｂ．１  単一フレームベースの空間アラインメント
この技術の各ステップにおいて、それぞれのシーケンスからの一つのフレームを用いてアラインメントを行う。各シーケンスは移動する者／物を含んでいるので、カメラ座標軸の変換を予測する方法はローバストでなくてはならない。この結果、背景／前景の抽出において生じるマスクを使用することができる。また、背景／前景の抽出用のものであるので、時間的フィルタリングを用いて、予測プロセスの時間的な一致を強調することができる。
【００３１】
Ｂ．２  マルチプルフレームベースの空間アラインメント
この技術では、各シーケンスで視覚化された場面の再構築画像に空間アラインメントが適用される。各ビデオシーケンスはこの場面を再構築するために、たとえば背景／前景抽出用の一つに用いた技術と同じ技術を用いて、まずマルチプルフレームを分析する。一旦、各場面が個別に再構築されて、例えば、できるだけ多くの背景を取り入れるためには、上述したようにしてこれらの場面を空間的に整合させることができる。
【００３２】
この技術は、視野が基準フレームの一つとして選択されたものでなくてはならない単一フレーム技術とは対照的に、場面中のどのフレームの視野でも自由に選択することができる。従って、マルチプルフレーム技術では、すべての競技者が全てのフレーム内に見られない場合に、合成イメージの視野および／または画角を全競技者が見られるように選択することができる。
【００３３】
Ｃ．  ビデオシーケンスの重ね合わせ
各シーケンスにおける背景／前景を抽出し、各シーケンスと基準システム間でのカメラ座標軸の変換を予測した後、シーケンスを単一のディスプレイ上の即時視覚化用の選択された焦点面内に投影することができる。各シーケンスの各フレームのアルファ層が、多重背景／前景重みマスクから生成される。従って、合成シーケンスは、各シーケンスを選択された焦点面に変換し、別の変換された画像を対応するアルファ重みに重ね合わせることによって形成される。
【００３４】
Ｄ．  アプリケーション
上記に説明したスキー競技の他に、本発明の技術は、例えばカーレース競技、陸上競技などのスピード／距離スポーツに適用することができる。
【００３５】
視覚化に加えて、本発明によってなされた合成ビデオシーケンスのアプリケーションの一つを図６に示す。すなわち、レースのいずれかの所望の地点における二人のランナーの時間差を決定するアプリケーションである。これは、当該地点を通過している二人のランナー間のシーケンスのフレーム番号を単純にカウントすること、およびフレーム間の時間インターバルを掛け合わせることを含む。
【００３６】
合成シーケンスは、例えばネットワークＴＶ、ケーブルＴＶ、サテライトＴＶ、インターネット上のビデオなどの既存の装置に放送することができる。このようなシーケンスは、例えば、リアルタイムのメインチャンネルから分離したチャンネル上など、オンデマンド型サービスとして提供できる。または、別チャンネルで放送する代わりに、合成ビデオシーケンスを、例えば画面のコーナに表示するなどして、通常のチャンネルの一部に含めるようにしても良い。
【００３７】
更に、放送における使用に加えて、生成した合成ビデオシーケンスをスポーツトレーニング、およびスポーツ指導に使用しても良い。また、スポーツにおけるアプリケーションとは別に、例えば自動車事故の分析などの潜在的な分野へのアプリケーションも考えられる。
【００３８】
合成シーケンスは合成ステレオビデオシーケンスなど、より高次なものとして理解される。
【００３９】
更なるアプリケーションは、所定のシーケンスの一つをビデオシーケンスに同期したオーディオシーケンスである。特に、あるセンテンスを話している、あるいはある歌を歌っている俳優または歌手Ａと、同じことをしている他の俳優または歌手Ｂのビデオシーケンスがあるとすると、本発明の技術は、Ｂの声で話しているあるいは歌っている俳優Ａの、“ボイスオーバ”または“唇同期”シーケンスを生成することができる。この場合、単なる時間スケール以上のものが要求されるので、同期をとるのにダイナミックプログラミング技術を用いることができる。
【００４０】
生物医学的な分野でも同様に時空再アラインメント法を適用することができる。例えば、整形手術後は、患者の回復の度合いをモニタすることが重要である。これは患者の特定の動きを所定時間比較することによってなされる。本発明の特徴によれば、このような比較を、動きの開始時点と終了時点を同期させ、モニタすべき部分を二つまたはそれ以上のビデオシーケンスにアラインメントすることによって、正確に行うことができる。
【００４１】
他の応用例は、自動車事故の分析である。本発明の技術は、同じような状態で事故を起こした別々の車の変形を詳細に比較して差異の広がりを確かめることができる。更に、自動車事故の分析においては、ダミー事故の結果を比較することが重要である。また、同じ型の車に起きた二つの事故においては、そのダミーが、たとえばシートベルトなど、形態によってどのように影響されたかを詳細に比較することができる。
【００４２】
Ｅ．  時空正規化
図７は、各モジュール１に送られるイメージシーケンスＩＳ１およびＩＳ２を示す。各モジュール１は、各背景表示ＢＧＤ１およびＢＧＤ２に対する各フレームの画像変換を記述する各パラメータシーケンスＳＰ１およびＳＰ２を生成する。この各々のパラメータは、一のフレームが、位置的にどのように各背景に関連するかを記述したものである。
【００４３】
パラメータシーケンスＳＰ１およびＳＰ２は、各モジュール２に送られる。これらのモジュールは、前景対背景の識別基準を各ピクセル入力に付与する各重みマスクＷＭＳ１およびＷＭＳ２のシーケンスを生成する。例えば、このような重みは背景に属するピクセルの確率を表すものである。平行な二つのイメージシーケンスＩＳ１およびＩＳ２は、モジュール３に送られて、これらの二つのシーケンスがどのように位置的に関連するかを表現する空間的正規化画像変換（ＳＮＴ）の予測を行う。
【００４４】
ＳＰ１およびＳＰ２は、各フレームＩＳ１およびＩＳ２がどのようにその各背景ＢＧＤ１およびＢＧＤ２に関連し、ＩＳ１の関連するフレームにどのように整合するかを記述するものである。これらの関連する重みマスクを用いて、モジュール４は整合したフレームを合成フレームと融合させる。合成フレームの連鎖が、背景に対して共に移動する２つの直交する前景オブジェクトを示す合成イメージシーケンスを生成する。この背景は、背景ＳＰ１か、あるいは背景ＳＰ２、または所望の他の背景でも良い。
【００４５】
この技術は、一のシーンで、例えば複数の競技者、および／または、例えばバスケットボール、フットボール、サッカー、テニスなどの球技におけるボールなどの更なる物体といった、二つ以上の前景オブジェクト／エージェントがある場合にも適用できる。また、この技術は、３つまたはそれ以上の所定のシーケンスから組み合わされたシーケンスを生成し、２つ以上の直交する前景オブジェクトを表示する場合にも適用することができる。以下の、本技術の特徴および変形例を詳細に記載する。
【００４６】
Ｅ．０  背景表示の構成
背景表示は、動作が起きる環境として理解される。これは、例えば、単一の記録画像、処理すべきイメージシーケンスとして少なくともほぼ同じ位置で記録されているが、そのままの形のシーンの環境を十分な広角で記録した画像などである。代替として、背景表示は、パノラマ画像、シーン全体をカバーするイメージシーケンスから再構築された画像、あるいは同様のカメラ位置から記録された画像で作っても良い。さらなる代替として、例えばテニスコートなどの単一の環境／背景あるいは単色または単純なパターンでできた合成背景を含むものであっても良い。
【００４７】
背景表示はピクセル表示に限定されるものではなく、特定の点における表示の信頼性を測定する確率モデルを含むものであっても良い。このような測定は、前景／背景抽出処理における前景対背景を分類する場合に利用することができる。典型的には、より高い許容誤差／誤差がより信頼性の低いピクセルに許容される場合である。
【００４８】
背景表示ＢＧＤ１またはＢＧＤ２は、イメージシーケンスＩＳ１またはＩＳ２から直接的に導くことができる。あるエージェント／オブジェクトが背景に対して移動している場合、ＩＳ１またはＩＳ２には一つのイメージがあり、ここでは背景の特定の部分は遮断されておらず、従って背景表示ＢＧＤ１またはＢＧＤ２の各々の構築に使用することができる。この方法は、画像の輝度に変化がある場合の活性に好ましく用いることができる。
【００４９】
Ｅ．１  カメラ動作パラメータの推測（モジュール１）
図７のモジュール１は、画像変換座標ＳＰ１およびＳＰ２を計算する。ここで、ＳＰ１は、ＩＳ１の各フレームと、シーケンスＩＳ１に対応する背景表示ＢＧＤ１との間の位置的な関係を記述するものであり、ＳＰ２は、ＩＳ２の各フレームとシーケンスＩＳ２の対応する背景表示ＢＧＤ２との間の位置的な関係を記述するものである。
【００５０】
背景表示内の各フレーム位置を記述するパラメータは、シーケンスに沿ったカメラ動作から、およびいずれかのイメージシーケンスと背景表示間の位置的なマッピングから推測することができる。
【００５１】
あるイメージシーケンスが、背景表示用に用いられているカメラと画角が同じ固定カメラで記録された場合、モジュール１は回避されうる。この場合、背景表示の視野がイメージシーケンスＩＳ１とＩＳ２の視野と同じであれば、パラメータは時間を超えて一定であり、単一の画像変換に対応する。一例を挙げると、動作画像を含まない背景が最初に記録され、同じカメラ位置から同じ視野を用いて動作が記録される。パン情報、チルト情報およびズーム情報を提供する機器を備えたカメラであれば、直ちにカメラ動作のパラメータＳＰ１および／またはＳＰ２を決定することができる。
【００５２】
Ｅ．２  背景／前景の抽出（モジュール２）
一旦、各フレームが背景表示にどのように関連するかがわかれば、背景に属するピクセルの確率を記述する重みづけされたマスクシーケンスを計算することができる。各フレームＩＳ１とＩＳ２を各背景ＢＧＤ１とＢＧＤ２にそれぞれ整合させるべくＳＰ１とＳＰ２を用いる。
【００５３】
図９に示すように、各フレームＩＳ１とＩＳ２内の各ピクセル座標（ｉ、ｊ）に、ＢＧＤ１中の座標（ｘ、ｙ）が対応し、一致しない測定が計算される。この測定は、例えば、背景に属するピクセルの確かなあるいは十分な確率に基づいて、ピクセル評価に使用することができる。このような評価は、背景と前景が直ちに区別されないような場合に所望される手動の介入を妨げることなく、自動化することができる。更に、付加的情報を、例えば物体の形状、物体の位置、最小物体の大きさ、および／または時間的一致等の分類に使用することもできる。
【００５４】
図１０は、図９に対応するものであり、ダイバーが浮いた状態の場合における背景／前景の抽出を示す図である。ＩＳ１のｎ番目のフレームが、対応する背景表示ＢＧＤ１に整合されている。ダイバーの形状が、ＩＳ１から抽出されて、別に示されている。
【００５５】
前景と背景に差異をつけた後、例えば物体のサイズ、物体の重心位置等、通常の画像処理技術として公知の、追加情報パラメータを決定するようにしても良い。このような情報を使用する間、その情報は、例えば、物体の形状または動作といった統計的データを得るための比較モデルに関連することになる。
【００５６】
Ｅ．３  空間正規化（モジュール３）
イメージシーケンスＩＳ１およびＩＳ２は、これらの位置的関係を基に整合することができる。空間正規化画像変換ＳＮＴは、例えば両イメージシーケンスに存在するサイズおよび／または位置エレメントのマッチング用に、背景／前景から使用することができる。背景中のこれらのエレメントの例は、テニスコートまたはスカッシュコートのライン、棒高跳びのポール、および目的をもって配置されたアルミニウムのＴバーなどの標準エレメントである。前景の例は、人物のサイズ、その人物の腕の長さ、ゴルフクラブの長さなどである。
【００５７】
ＳＮＴは、自動的、半自動的に、あるいは手動で決定することができる。自動的に決定する場合は、両イメージシーケンス内の同定された同様のエレメントが自動的に検出され、ＳＮＴが計算されてこれらのエレメントが位置的な画像変換によって対応づけられる。エレメントの同定には、重み付けマスクＷＭ１およびＷＭ２を使用することができ、これらは前景と背景とを区別する。半自動的に決定する場合は、同様のエレメントを、ＳＮＴを用いて例えばマウスのクリックなどの手動動作で指し示し、次いでこのエレメントをマッチさせる自動的な決定を行うことができる。手動での決定では、ユーザは、例えばマウスのクリック、キーボードのタイプ、および／またはその他の入力装置を用いて、満足のゆくマッピングを視覚的に確認するまで、対話形式でＳＮＴパラメータをモディファイすることができる。
【００５８】
ＳＮＴを計算して、例えばエレメント間の実際のスケール／位置関係を維持したり、あるいは、人物の身長や、腕の長さなどの関連するエレメントを正規化することができる。更なる例としては、同一人物の、あるいは別の人物の、左利きの動作と右利きの動作を比較するべく、ＳＮＴをミラーリングに用いることができる。
【００５９】
典型的には、ＳＮＴは一対のフレーム間で決定される。このフレームは、一つはイメージシーケンスＩＳ１とＩＳ２の一つである。あるいは、背景表示ＢＧＤ１およびＢＧＤ２をこの目的に用いても良い。
【００６０】
ＳＮＴは、イメージシーケンスが異なるカメラ位置から記録された場合に、カメラの不整合の補正に使用することができる。その環境におけるいくつかのエレメントが公知である場合、あるいは、例えばテニスコートやスカッシュコートのラインや、視野内の基準としておかれたＴバーなどの、パラメータとして表されるような場合、このカメラ位置を推測することができる。コートラインなど物理的な要素は、スポーツの公式ルールによって特定されたものとするなど、標準的なものにすることができる。
【００６１】
正規化画像変換は、３次元であり、相対的なカメラ位置から取り出すことができる。一のカメラの焦点面に投影された一のシーケンスの画像は、３次元座標画像変換を用いて、異なる位置にある第２のカメラの焦点面に再投影することができる。代替として、２つのイメージシーケンスを、例えば二つの実際のカメラ位置の中間位置にあるカメラ位置に対応する、中間の焦点面に再投影することもできる。
【００６２】
Ｅ．４  合成（モジュール４）
ＳＰ１とＳＰ２は、各イメージシーケンスＩＳ１とＩＳ２の各フレームが、各背景ＢＧＤ１とＢＧＤ２にどのように関連しているかを記述するものであり、また、ＳＮＴは、これらの二つのイメージシーケンスがどのように関連すべきかを記述するものである。従って、ＩＳ２の各フレームはＩＳ１のいずれかのフレームに位置的に関連しており、逆にＩＳ１の各フレームはＩＳ２のいずれかのフレームに位置的に関連している。
【００６３】
ＩＳ２の一フレームが一旦変換され、ＩＳ１の対応するフレームと整合したら、これらの二つのフレームは、例えば単一画像に融合させて、あるいは分割スクリーン上で横に並べて、一緒に表示することができる。合成画像の各フレームの各ピクセルの重みは、主に三つのファクタ、すなわち、（ｉ）各ピクセルに対して背景と前景の分類／区別手段を表す重みマスクＷＭＳ１とＷＭＳ２、（ｉｉ）合成画像シーケンス内のピクセルに対する所望の重み、（ｉｉｉ）所望の視覚効果、に依存する。
【００６４】
ファクタ（ｉｉ）に関しては、ピクセルの所望の重みは、合成シーケンスが、イメージシーケンスＩＳ２のうち、イメージシーケンスＩＳ１の背景、あるいは更に他の背景を有するべきか否かに依存するようにしても良い。例えば、図１６の左側には、第１シーケンスの背景をとどめた合成フレームが示されており、右側には、背景を均一黒色とした合成画像が示されている。対応する背景表示と原シーケンスから抜粋したフレームが図１５に示されている。
【００６５】
ファクタ（ｉｉｉ）に関しては、所望の視覚的効果が、前景の物体にオーバーラップする透明部分を必要とするか、あるいは、例えば一の前景物体を他の前に示すことによって、被写界深度のシュミレートに使用することができる。エンドユーザに、例えばマウスのクリック、キーボードのタイプ、および／または他の入力装置を用いて、対話形式で、満足のゆく効果が視覚的に確認できるまで、透明部分を選択させる手段を含めるようにしても良い。この操作は、空間正規化の対話形式のセッティングと共に実行するようにしてもよい。例えば、横に並んだ二人のエージェントが静止して見え、一方、オーバーラップした場合に透明度を選択できるようにする。
【００６６】
Ｅ．５  時間的正規化
いくつかのアプリケーションでは、位置、アラインメント、弾道などの関連するファクタに焦点を当てて、動作の実行速度の影響を除去することができる。例えば、ゴルフスイングを比較する場合には、プレイヤーの形態や強さに依存して変化する実行速度とは別に、身体／クラブの動きと位置に対して注意を払うことが特に重要である。この結果、イメージシーケンスは、時間軸の変換と考えられる時間のゆがみを含む、時間的正規化によって調整することができる。このような変換は、時間ｔ１からｔｎにかけて連続して、すなわち、例えばｔ１からｔｎまでの時間インターバルにおいて区分的線形である、連続的な瞬間ｔ’１からｔ’ｎに対応づけることができる。
【００６７】
時間的な変換は、選択された基準点における実行時間を、特定の事例に対応づけて決定することができる。例えば、動作の実行スピードの違いを補填するために、このいずれかの動作あるいは両動作を正規化して、動作基準点を時間的に一致させて表すことができる。ゴルフスイングの基準点の例としては、プレイヤーの上にクラブが垂直位置（９０゜）にきた時間、プレイヤーの背後での水平位置（１８０゜）における通過点、プレイヤーの下方での垂直位置（２７０゜）における通過点、プレイヤーの前方での水平位置（３６０゜）における通過点、である。図９に、これらの基準点を示す。ここでは、横軸に時間を、縦軸にクラブ位置を角度で表示している。
【００６８】
図１１の時間的正規化図に示すとおり、イメージシーケンスＩＳ１およびＩＳ２は、モジュール５に入る。モジュール５では両シーケンス用に、予め決められた基準点のシーケンスの実行時間ＴＳ１およびＴＳ２を決定する。この動作は、自動的にあるいはユーザの介入によって、実行することができる。シーケンスＴＳ１およびＴＳ２はモジュール６に入り、ここで、シーケンスＴＳ２をシーケンスＴＳ１上にマッピングするべく、変換ＴＮＣを決定する。時間的な変換を用いて、イメージシーケンスＩＳ２を対応づけて再度サンプリングして、イメージシーケンスＩＳ２’（モジュール７）を生成する。典型的には、図１４に示す通り、シーケンスＩＳ２は、要求される正確な変換時間用の画像を含んでおらず、再度のサンプリングはＩＳ２の画像間の補間から、これらの瞬間用の人工画像を生成することができる。画質を最適化するために、シーケンスＩＳ２に沿った動作をＳＰ２から推測して、各ピクセルの軌道に沿って補間に使用することができる。
【００６９】
ビデオにおける選択された基準点の実行時間は、後に使用するためにビデオと共に記録しておける。特に、基準点の発生に対応するビデオフレームに、パフォーマンスの臨界状態に対応する臨界フレームあるいはキーフレームとして、タグを付けたり、見出しを付けたり、マークを付けることができる。このような見出し付けに使用する場合、パフォーマンスの臨界状態が迅速に取り出される。また、この見出し付けは、イメージシーケンスの意味上の分割を、臨界状態に提供する。例えば、走り幅跳びでは、走り始めに対応するビデオフレームに試技の開始としてマークをつけ、踏み切り地点に対応するビデオフレームに跳躍段階の開始としてマークすることができる。
【００７０】
正規化した後は、シーケンスＩＳ１と正規化されたシーケンスＩＳ２’が、各々、基準点と同時に実行動作を描く。
【００７１】
基準点は、シーケンスの画像分析を通じて自動的に同定することができる。例えば、ゴルフスイングにおいては、クラブのヘッドを検出して、スイングを実行した時に追跡し、例えば、９０°、１８０°、２７０°、３６０゜のクラブアングルに対応する基準点を同定することができる。例えば、ゴルフクラブのボールへのインパクトの際の音響信号、あるいはレーダ信号、または光学信号などの、他の信号も基準点の同定に使用することができる。
【００７２】
時間の再正規化は、動的プログラミング技術を所望の時間のゆがみに使用することができるので、基準点を使うことなく行うことができる。一連の基準点を整合させる代わりに、包括的に整合させる場合は、二つのあるいはそれ以上のビデオシーケンス間の包括的なエラー測度を最小にすることができる。この技術は、例えば、異なる速度で話した二つの言葉を整合させる会話認識などに利用されている。本件では、この技術を、二つのビデオシーケンス間のエラー測定を最小化する非線形の時間のゆがみを見つける動的プログラミングアルゴリズムを用いて３次元に拡大している。動的プログラミングアルゴリズムは、いくつかの制約の下で様々な局所的な時間のゆがみを検索して、局所的に最適なものを保持する。これによって、比較可能であるが、部分的にスピードが異なるイベントを表示したビデオシーケンスの整合が可能となる。
【００７３】
一方、上述したとおり、一のイメージシーケンス（例えば、ＩＳ２）を、他のイメージシーケンス（ＩＳ１）に対して正規化することができ、第３のリファレンスに対する両シーケンスに替えた正規化は妨げられない。ここでは、両イメージシーケンスが再度サンプリングされる。
【００７４】
特に簡単な実施例では、単一の基準点が用いられ、時間的変換が時間シフトになる。例えば、何かの動作の開始時点と終了時点というように、基準点のシーケンスが二つのポイントからなる場合、時間的な変換は、時間軸における線形変換になる。
【００７５】
時間的な変換が要求される場合は、イメージシーケンスＩＳ１および／またはＩＳ２を、これらがモジュール１に入る前に適用することができる。ここでは、上述した事項を用いて、ＩＳ１とＩＳ２は、図１４に示すＩＳ１’およびＩＳ２’に置き換えられる。
【００７６】
予め録画されている動作と、ライブ動作をリアルタイムで比較する必要がある場合は、予め録画されている動作を時間的にモディファイして、ライブ動作に同期させることができる。例えば、ライブエージェントが行うルーチンが特別な基準点を通過するときに、予め録画されている動作を時間的に位置させて、自動的に同じ実行状態を表示することができる。動作を学習する場合に、記憶の再現から多大な利益が得られる。例えば、ゴルファーは繰り返して行ったスイングを比較することにより、あるいは他のおよび／または役割モデルのスイングを比較することにより利益が得られる。
【００７７】
Ｅ．７　アプリケーション
本発明は、空間的、時間的同期を伴うスポーツにおけるスポーツ動作の合成シーケンスの形成に用いることができる。例えば、体操競技では、競技者が床に触れる瞬間を、時間的正規化の基準点として選択することができる。あるいは、フィギュアスケートでは、規定種目を行う場合に、開始時点と終了時点を時間的に整合させることができる。更に、シーケンスを空間的に正規化することができる。例えば、バレエダンスの規定演技において異なる芸術的解釈を比較したい場合に、フィギュアの重心をマッチさせる等である。
【００７８】
本発明は、異なる場所で事を実行するエージェントの比較を提供する。これは、例えばゴルフスイングなどの動作を学習する場合に特に有用である。従って、ゴルファーは、自分の動作をどこか他で撮影された役割モデルの動作と比較することができ、また、自身の異なる動作を比較して時間が経過した後の進歩をモニタすることができる。
【００７９】
本発明は、更に、一つのビデオで、現時点でのパフォーマンスと基準パフォーマンスとの比較を提供する。例えば、走り幅跳びなどの陸上競技において、現在のジャンプパフォーマンスを、例えば世界記録のジャンプなどの基準パフォーマンスのジャンプと同じアングルから撮影することができる。空間的正規化変換を算出することができ、従って、ある場面における跳躍ピットとボードを、方向とサイズを他の跳躍ピットとボードにそろえることができる。この結果、単一の、組み合わされたビデオとなり、二つのパフォーマンスを都合良く比較することが可能となる。
【００８０】
本発明は、ユーザに、動作のリアルタイムでのフィードバックを提供する。例えば、エアロビクスでは、生徒のフォームをインストラクタのフォームに整合させることができる。
【００８１】
上記の記載は、単一のカメラで撮影されたアクションについて述べているが、本発明の技術は、複数カメラを使用した場合にも適用することができる。この技術は、例えば同じアングルを有する各対のカメラに、独立して使用することができる。また、複数の視点から、３次元に移動する同種の実演者のモデルを３次元表示することができる。時空正規化と背景の適用も、このような表示に適用することができる。
【図面の簡単な説明】
【図１】図１は本発明の好適な実施形態の構成を示すブロック図である。
【図２】図２Ａおよび図２Ｂはビデオカメラの前を通過するダウンヒルスキーヤの様子を示す図である。
【図３】図３Ａおよび図３Ｂはビデオカメラで記録した図２Ａおよび図２Ｂに対応する画像を示す図である。
【図４】図４は図２Ａおよび図２Ｂを合成した状態を示す図である。
【図５】図５は選択された焦点面に投影した図３Ａおよび図３Ｂの場面を伴う、所望のビデオ画像を示す図である。
【図６】図６は本発明のプロトタイプ処理を用いて製造した合成ビデオシーケンスからのフレームを示す図である。
【図７】図７は本発明の好適な実施形態を示すブロック図であり、背景適合を構成する。ここでは合成ビデオシーケンスにおいて、動作フィギュアが、所定のビデオシーケンスの背景でなくともよい共通の背景に対して示される。
【図８】図８は一のビデオシーケンスと他のビデオシーケンスとの間のフレーム対フレームの対応関係を示す図である。
【図９】図９は背景表示を有するフレームの空間アラインメントを示す概略図である。
【図１０】図１０は背景表示を有するフレームの空間アラインメントを示す実例である。
【図１１】図１１はゴルフスイングを実行する場合の基準点を示すグラフである。
【図１２】図１２は４つのグラフからなり、ビジュアルプロセスにおける第１および第２の実行のビジュアルデータと時間の関係、第２のプロセスの時間がゆがめられ、第１のプロセスと時間のゆがめられたプロセスを重ね合わせた状態を示すグラフである。
【図１３】図１３は好適な時間的正規化モジュールのブロック図である。
【図１４】図１４は時間的変換を図示したものである。
【図１５】図１５は５つの画像からなり、本発明をゴルフ競技に適用した場合の好適な実施例を示す図である。
【図１６】図１６は二つの画像からなり、本発明の好適な実施例に基づいて行いうる合成効果を図示したものである。
【符号の説明】
１１、１２、１３、１４、１５　　モジュール
Ａ、Ｂ　　スキーヤ
２１　　　ポジションマーカ
【図１】
2004500756.tif 000003
【図２】
2004500756.tif 000004
【図３】
2004500756.tif 000005
【図４】
2004500756.tif 000006
【図５】
2004500756.tif 000007
【図６】
2004500756.tif 000008
【図７】
2004500756.tif 000009
【図８】
2004500756.tif 000010
【図９】
2004500756.tif 000011
【図１０】
2004500756.tif 000012
【図１１】
2004500756.tif 000013
【図１２】
2004500756.tif 000014
【図１３】
2004500756.tif 000015
【図１４】
2004500756.tif 000016
【図１５】
2004500756.tif 000017
【図１６】
2004500756.tif 000018
【国際公開パンフレット】
2004500756.tif 000019
2004500756.tif 000020
2004500756.tif 000021
2004500756.tif 000022
2004500756.tif 000023
2004500756.tif 000024
2004500756.tif 000025
2004500756.tif 000026
2004500756.tif 000027
2004500756.tif 000028
2004500756.tif 000029
2004500756.tif 000030
2004500756.tif 000031
2004500756.tif 000032
2004500756.tif 000033
2004500756.tif 000034
2004500756.tif 000035
2004500756.tif 000036
2004500756.tif 000037
2004500756.tif 000038
2004500756.tif 000039
2004500756.tif 000040
2004500756.tif 000041
2004500756.tif 000042
2004500756.tif 000043
2004500756.tif 000044
2004500756.tif 000045
2004500756.tif 000046
2004500756.tif 000047
2004500756.tif 000048
2004500756.tif 000049
2004500756.tif 000050
2004500756.tif 000051
2004500756.tif 000052
2004500756.tif 000053
2004500756.tif 000054
2004500756.tif 000055
2004500756.tif 000056
2004500756.tif 000057
2004500756.tif 000058
2004500756.tif 000059
【国際調査報告】
2004500756.tif 000060