(57)【要約】【課題】インタラクティブなサラウンド・ビジュアル・フィールド用システムおよび方法。【解決手段】サラウンド・ビジュアル・フィールド・システムは入力ストリームに関係する制御信号を取得する制御信号抽出器を含む。制御信号は制御信号をサラウンド・ビジュアル・フィールドの１要素に対する効果に連結する連結規則に提供される。効果はサラウンド・ビジュアル・フィールドの要素に適用され、それにより入力オーディオ／ビジュアル・ストリームの提示に関係する特性を１つまたは複数有するサラウンド・ビジュアル・フィールドを作成する。一実施形態で、サラウンド・ビジュアル・フィールドは表示される入力ストリームを部分的囲み、または囲む領域に表示される。実施形態によって、サラウンド・ビジュアル・フィールドは三次元環境の具現であることができる。１つ以上の空き表示領域を用いてサラウンド・ビジュアル・フィールドを表示することができる。【選択図】図２
2008027441.tif 000002
【特許請求の範囲】
【請求項１】
複数の要素を含むサラウンド・ビジュアル・フィールドを生成する方法で、
制御信号を入力として受信し、前記サラウンド・ビジュアル・フィールドの複数の要素
の内少なくとも１つの要素に対する効果を出力する連結規則を作成するステップと、
入力ストリームに関係する前記制御信号を取得するステップと、
前記制御信号および前記連結規則に基づき前記サラウンド・ビジュアル・フィールドの
複数の前記要素の内少なくとも１つの前記要素に対し効果を適用するステップと、
前記入力ストリームを表示する領域を囲み、または部分的に囲む領域に前記サラウンド
・ビジュアル・フィールドを表示するステップと、を含む、複数の要素を含むサラウンド
・ビジュアル・フィールドを生成する方法。
【請求項２】
請求項１において、前記少なくとも１つの要素は有関節の要素である、複数の要素を含
むサラウンド・ビジュアル・フィールドを生成する方法。
【請求項３】
請求項２において、前記連結規則は挙動モデルを含む、複数の要素を含むサラウンド・
ビジュアル・フィールドを生成する方法。
【請求項４】
請求項３において、前記挙動モデルは前記少なくとも１つの要素の複数の運動クリップ
を含み、前記少なくとも一つの要素についての２つの前記複数の運動クリップ間の遷移は
前記制御信号に関係する、複数の要素を含むサラウンド・ビジュアル・フィールドを生成
する方法。
【請求項５】
請求項１において、前記少なくとも１つの要素は背景要素または前景要素である、複数
の要素を含むサラウンド・ビジュアル・フィールドを生成する方法。
【請求項６】
１つ以上のプロセッサで実行される場合、前記１つ以上のプロセッサに少なくとも請求
項１の工程を実施させる１つ以上の命令シーケンスを搭載するコンピュータ読み取り可能
な媒体。
【請求項７】
請求項１において、前記連結規則はローカルな制御信号に結び付いた連結規則およびグ
ローバルな制御信号に結び付いた成長連結規則を含むグループから選択された１つである
、複数の要素を含むサラウンド・ビジュアル・フィールドを生成する方法。
【請求項８】
請求項１において、前記制御信号はローカルな制御信号で、
請求項１に記載された、複数の要素を含むサラウンド・ビジュアル・フィールドを生成
する方法は、さらに、
グローバルな制御信号を入力として受信し、前記サラウンド・ビジュアル・フィールド
の複数の要素の内第２の少なくとも１つの要素に対し効果を出力する成長連結規則を作成
するステップと、
前記入力ストリームに関係する前記グローバルな制御信号を取得するステップと、
前記グローバルな制御信号および成長モデルに基づき、前記サラウンド・ビジュアル・
フィールドの前記複数の要素の内前記第２の少なくとも１つの要素に対し効果を適用する
ステップと、を含む方法。
【請求項９】
請求項８において、前記少なくとも１つの要素および前記第２の少なくとも１つの要素
は同じ要素である方法。
【請求項１０】
請求項８において、前記グローバルな制御信号は１つ以上のローカルな制御信号から引
き出される方法。
【請求項１１】
１つ以上のプロセッサで実行される場合、前記１つ以上プロセッサに少なくとも請求項
１の工程を実施させる１つ以上の命令シーケンスを搭載するコンピュータ読み取り可能な
媒体。
【請求項１２】
複数の要素を含むサラウンド・ビジュアル・フィールドを生成するサラウンド・ビジュ
アル・フィールド・システムで、サラウンド・ビジュアル・フィールドは入力ストリーム
を囲み、または部分的に囲む領域に表示されるシステムにおいて、システムは、前記入力
ストリームを受信し前記入力ストリームに関係する制御信号を取得する制御信号抽出器と
、
前記制御信号を入力として受信し、前記サラウンド・ビジュアル・フィールドの前記複
数の要素の内少なくとも１つの要素に対し効果を出力する連結規則と、を含むシステム。
【請求項１３】
請求項１２において、前記要素は有関節の要素であるシステム。
【請求項１４】
請求項１３において、前記連結規則は挙動モデルを含むシステム。
【請求項１５】
請求項１４において、前記挙動モデルは前記少なくとも１つの要素の複数の運動クリッ
プを含み、前記少なくとも１つの要素の複数の運動クリップにおいて２つのクリップ間の
遷移は前記制御信号に関係するシステム。
【請求項１６】
請求項１２において、前記入力ストリームを受信する前記制御信号抽出器は、前記入力
ストリームに関係するローカルな制御信号および前記入力ストリームに関係するグローバ
ルな制御信号を取得し、前記システムはさらに前記グローバルな制御信号を入力として受
信し、前記サラウンド・ビジュアル・フィールドの前記複数の要素の内第２の少なくとも
１つの要素に対し効果を出力する成長連結規則を含むシステム。
【請求項１７】
請求項１６において、前記少なくとも１つの要素および前記第２の少なくとも１つの要
素は同じ要素である方法。
【請求項１８】
請求項１２において、さらに前記入力ストリームを表示する領域を囲み、または部分的
に囲む領域に前記サラウンド・ビジュアル・フィールドを表示する表示装置を含むシステ
ム。
【請求項１９】
入力ストリームに応答するサラウンド・ビジュアル・フィールドを生成する方法で、
前記入力ストリームに関係するローカルな制御信号および前記入力ストリームに関係す
るグローカルな制御信号を取得するステップと、
前記ローカルな制御信号および連結規則に基づき前記サラウンド・ビジュアル・フィー
ルドの前景または背景要素に作用するステップと、
成長連結規則および前記グローバルな制御信号に基づき前記サラウンド・ビジュアル・
フィールドの前景または背景要素に作用するステップと、を含む方法。
【請求項２０】
請求項１９において、さらに、
前記入力ストリームを第１の領域に表示するステップと、
前記第１の領域を少なくとも部分的に囲む第２の領域に前記サラウンド・ビジュアル・
フィールドを表示すること、を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に音声／ビデオ・プレゼンテーションの視覚的向上に関わり、より具体
的にはオーディオ／ビジュアル・プレゼンテーションに関連するサラウンド・ビジュアル
・フィールドの合成および表示に関わる。
【背景技術】
【０００２】
オーディオ／ビジュアル娯楽産業における各種の技術進歩によりメディア・コンテンツ
を視聴する個人の体験を非常に向上させている。これら技術進歩のいくつかはテレビ、映
画上映システム、コンピュータ、携帯ビデオ装置、および類似するその他の電子装置など
の装置で表示されるビデオの質を改良している。他の進歩はメディア・コンテンツの表示
中個人に提供される音声の質を改良している。オーディオ／ビジュアル・プレゼンテーシ
ョン技術におけるこれらの進歩はこのメディア・コンテンツを視聴する個人の楽しさを向
上させることが目的であった。
【０００３】
メディア・コンテンツのプレゼンテーションにおいて重要な要素は視聴されるプレゼン
テーションに個人が没入することを促進することである。メディア・プレゼンテーション
は多くの場合、個人がある場面の一部分であると感じ、またはコンテンツが「生」で視聴
されていると感じることでより魅力が高められる。このような動的なプレゼンテーション
は視聴者の不信を一時的に停止させ、より満足できる体験を作り出す。
【０００４】
この没入の原理はメディア体験の音声要素に関して既にかなり対処されている。サラウ
ンド・サウンドなどのオーディオ・システムは部屋の中でいくつかの起点から音声コンテ
ンツを個人に提供して実体験を模倣する。例えば、複数のラウドスピーカを部屋に配置し
、音声コントローラに接続することができる。音声コントローラは対応するビデオ表示お
よび部屋内のスピーカ位置に関連してある特定のスピーカから音を発生させることができ
る。このようなオーディオ・システムはビデオの場面が表示される音場をシミュレートす
ることを意図している。
【０００５】
【特許文献１】米国特許出願公開第２００５００２４４８８号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
現在のビデオ表示技術は個人に対し没入体験を作り出すのにこれだけの効果をもたらし
ていない。いくつかの手法では没入感を高めるために外部光源または映写機を従来のディ
スプレーと併せて用いる。例えばPhilips社のAmbilight TVはテレビの背後にカラー・バ
ックライトを投影する。このような手法は非常に限定されており複雑な没入効果を提供で
きないので不十分である。さらに、現行のビデオ表示装置はしばしば装置を視聴する個人
の視野範囲に完全に適応しておらず、またはディスプレーのかなりの部分を利用していな
い。その結果没入効果が低減される。従って、上述の制限に対応したシステム、装置、お
よび方法が望まれる。
【課題を解決するための手段】
【０００７】
サラウンド・ビジュアル・フィールドを生成するシステムおよび方法が開示される。本
発明の、複数の要素を含むサラウンド・ビジュアル・フィールドを生成する方法は、制御
信号を入力として受信し、前記サラウンド・ビジュアル・フィールドの複数の要素の内少
なくとも１つの要素に対する効果を出力する連結規則を作成するステップと、入力ストリ
ームに関係する前記制御信号を取得するステップと、前記制御信号および前記連結規則に
基づき前記サラウンド・ビジュアル・フィールドの複数の前記要素の内少なくとも１つの
前記要素に対し効果を適用するステップと、前記入力ストリームを表示する領域を囲み、
または部分的に囲む領域に前記サラウンド・ビジュアル・フィールドを表示するステップ
と、を含む。
【０００８】
また、本発明の複数の要素を含むサラウンド・ビジュアル・フィールドを生成する方法
は、前記少なくとも１つの要素は有関節の要素であってもよい。また、本発明の複数の要
素を含むサラウンド・ビジュアル・フィールドを生成する方法は、前記連結規則は挙動モ
デルを含んでもよい。また、本発明の複数の要素を含むサラウンド・ビジュアル・フィー
ルドを生成する方法は、前記挙動モデルは前記少なくとも１つの要素の複数の運動クリッ
プを含み、前記少なくとも一つの要素についての２つの前記複数の運動クリップ間の遷移
は前記制御信号に関係してもよい。また、本発明の複数の要素を含むサラウンド・ビジュ
アル・フィールドを生成する方法は、前記少なくとも１つの要素は背景要素または前景要
素であってもよい。また、本発明の複数の要素を含むサラウンド・ビジュアル・フィール
ドを生成する方法は、１つ以上のプロセッサに実施させる１つ以上の命令シーケンスを搭
載するコンピュータ読み取り可能な媒体として具体化されてもよい。また、本発明の複数
の要素を含むサラウンド・ビジュアル・フィールドを生成する方法は、前記連結規則はロ
ーカルな制御信号に結び付いた連結規則およびグローバルな制御信号に結び付いた成長連
結規則を含むグループから選択された１つであってもよい。また、本発明の複数の要素を
含むサラウンド・ビジュアル・フィールドを生成する方法は、前記制御信号はローカルな
制御信号で、グローバルな制御信号を入力として受信し、前記サラウンド・ビジュアル・
フィールドの複数の要素の内第２の少なくとも１つの要素に対し効果を出力する成長連結
規則を作成するステップと、前記入力ストリームに関係する前記グローバルな制御信号を
取得するステップと、前記グローバルな制御信号および成長モデルに基づき、前記サラウ
ンド・ビジュアル・フィールドの前記複数の要素の内前記第２の少なくとも１つの要素に
対し効果を適用するステップとを含んでもよい。また、本発明の複数の要素を含むサラウ
ンド・ビジュアル・フィールドを生成する方法は、前記少なくとも１つの要素および前記
第２の少なくとも１つの要素は同じ要素であってもよい。また、本発明の複数の要素を含
むサラウンド・ビジュアル・フィールドを生成する方法は、前記グローバルな制御信号は
１つ以上のローカルな制御信号から引き出されてもよい。また、本発明の複数の要素を含
むサラウンド・ビジュアル・フィールドを生成する方法は、１つ以上のプロセッサに実施
させる１つ以上の命令シーケンスを搭載するコンピュータ読み取り可能な媒体として具体
化されてもよい。
【０００９】
本発明の、複数の要素を含むサラウンド・ビジュアル・フィールドを生成するサラウン
ド・ビジュアル・フィールド・システムは、サラウンド・ビジュアル・フィールドは入力
ストリームを囲み、または部分的に囲む領域に表示されるシステムにおいて、システムは
、前記入力ストリームを受信し前記入力ストリームに関係する制御信号を取得する制御信
号抽出器と、前記制御信号を入力として受信し、前記サラウンド・ビジュアル・フィール
ドの前記複数の要素の内少なくとも１つの要素に対し効果を出力する連結規則とを含むシ
ステム。また、本発明の、複数の要素を含むサラウンド・ビジュアル・フィールドを生成
するサラウンド・ビジュアル・フィールド・システムは、前記要素は有関節の要素であっ
てもよい。また、本発明の、複数の要素を含むサラウンド・ビジュアル・フィールドを生
成するサラウンド・ビジュアル・フィールド・システムは、前記連結規則は挙動モデルを
含んでもよい。また、本発明の、複数の要素を含むサラウンド・ビジュアル・フィールド
を生成するサラウンド・ビジュアル・フィールド・システムは、前記挙動モデルは前記少
なくとも１つの要素の複数の運動クリップを含み、前記少なくとも１つの要素の複数の運
動クリップにおいて２つのクリップ間の遷移は前記制御信号に関係してもよい。また、本
発明の、複数の要素を含むサラウンド・ビジュアル・フィールドを生成するサラウンド・
ビジュアル・フィールド・システムは、前記入力ストリームを受信する前記制御信号抽出
器は、前記入力ストリームに関係するローカルな制御信号および前記入力ストリームに関
係するグローバルな制御信号を取得し、前記システムはさらに前記グローバルな制御信号
を入力として受信し、前記サラウンド・ビジュアル・フィールドの前記複数の要素の内第
２の少なくとも１つの要素に対し効果を出力する成長連結規則を含んでもよい。また、本
発明の、複数の要素を含むサラウンド・ビジュアル・フィールドを生成するサラウンド・
ビジュアル・フィールド・システムは、前記少なくとも１つの要素および前記第２の少な
くとも１つの要素は同じであってもよい。また、本発明の、複数の要素を含むサラウンド
・ビジュアル・フィールドを生成するサラウンド・ビジュアル・フィールド・システムは
、さらに前記入力ストリームを表示する領域を囲み、または部分的に囲む領域に前記サラ
ウンド・ビジュアル・フィールドを表示する表示装置を含んでもよい。
【００１０】
また、本発明の、入力ストリームに応答するサラウンド・ビジュアル・フィールドを生
成する方法は、前記入力ストリームに関係するローカルな制御信号および前記入力ストリ
ームに関係するグローカルな制御信号を取得するステップと、前記ローカルな制御信号お
よび連結規則に基づき前記サラウンド・ビジュアル・フィールドの前景または背景要素に
作用するステップと、成長連結規則および前記グローバルな制御信号に基づき前記サラウ
ンド・ビジュアル・フィールドの前景または背景要素に作用するステップとを含んでもよ
い。また、本発明の、複数の要素を含むサラウンド・ビジュアル・フィールドを生成する
サラウンド・ビジュアル・フィールド・システムは、さらに、前記入力ストリームを第１
の領域に表示するステップと、前記第１の領域を少なくとも部分的に囲む第２の領域に前
記サラウンド・ビジュアル・フィールドを表示することを含んでもよい。
【００１１】
一実施形態で、サラウンド・ビジュアル・フィールドを生成する方法は制御信号を入力
として受信し、一効果をサラウンド・ビジュアル・フィールドの少なくとも一要素に出力
する連結規則を含むことができる。一実施形態で、ユーザは連結規則を定義または変更す
ることができる。一実施形態で、入力ストリームに関連する制御信号を得るために入力ス
トリームが分析され、ある効果をサラウンド・ビジュアル・フィールドの少なくとも１つ
の要素に適用するためにその制御信号が連結規則に提供される。結果として得られるサラ
ウンド・ビジュアル・フィールドは入力ストリームを表示する領域を囲み、または部分的
に囲む領域に表示することができ、ユーザの視聴体験を向上させる。一実施形態で、サラ
ウンド・ビジュアル・フィールドの要素は有関節要素で、連結規則は挙動モデルであるこ
とができる。一実施形態で、挙動モデルは有関節要素の複数の動作クリップを含むことが
でき、要素の複数動作クリップの２つ以上間の遷移は制御信号に関係することができる。
一実施形態で、挙動モデルはマルコフ・モデルであることができる。一実施形態で、コン
ピュータ読み取り可能な媒体が１つ以上の命令シーケンスを搭載し、１つ以上のプロセッ
サで実行した場合に上述工程の１つ以上を１つ以上のプロセッサに実施せしめることがで
きる。制御信号と連結規則は（１）ローカルな制御信号と連結規則、（２）グローバルな
制御信号と連結規則、または（３）双方であって良い。一実施形態で、効果はサラウンド
・ビジュアル・フィールドの複数の要素に適用することができる。一実施形態で、１つの
要素は１つより多い効果を適用され、その結果の効果は要素に適用されたすべての効果の
重ね合わせであることができる。一実施形態で、グローバルな制御信号を１つ以上のロー
カルな制御信号から引き出すことができる。一実施形態で、複数の要素を含むサラウンド
・ビジュアル・フィールドを生成するサラウンド・ビジュアル・フィールド・システムは
入力ストリームを受信し入力ストリームに関連する制御信号を取得する制御信号抽出器、
および制御信号を入力として受信し、サラウンド・ビジュアル・フィールドの複数の要素
の内少なくとも１つの要素に効果を出力する連結規則を含むことができる。一実施形態で
、連結規則は挙動モデルであることができる。一実施形態で、連結規則は成長モデルであ
ることができる。別の実施形態で、連結規則は挙動モデルおよび成長モデルの組み合わせ
であることができる。一実施形態で、制御信号抽出器はローカルな制御信号とグローバル
な制御信号を抽出することができる。一実施形態で、システムはさらにローカルな制御信
号に結び付いた連結規則およびグローバルな制御信号に結び付いた連結規則を有すること
ができる。一実施形態で、グローバルな制御信号に結びついた連結規則は成長モデルであ
ることができる。
【００１２】
発明の特長と利点はこの要約部分および続く実施形態の関連する詳細な説明の部分にお
いて全般的に説明されるが、発明の範囲はこれら特定の実施形態に限定されるものではな
いことが理解されよう。当業者であれば本出願の図面、明細書、およびクレームに照らし
、さらに多くの特長および利点が明らかになろう。
【発明を実施するための最良の形態】
【００１３】
発明の実施形態について言及され、それらの例が添付図面に示される。これらの図面は
限定ではなく例示を目的としている。発明は全般的にこれら実施形態に関連して説明され
るが、発明の範囲をこれら特定の実施形態に限定する意図ではない。
【００１４】
以下の叙述において、説明の目的から、発明を理解させるために具体的な詳細が記載さ
れる。しかし当業者であれば発明がこれらの詳細なしに実施できることを理解しよう。当
業者であれば、以下にいくつか説明される本発明の実施形態は映写システム、劇場システ
ム、テレビ、家庭用娯楽システム、および他種のオーディオ／ビジュアル娯楽システムを
含むいくつかの異なったシステムおよび装置に組み入れることができることを理解しよう
。本発明の実施形態はまたソフトウェア、ハードウェア、ファームウェア、またはこれら
の組み合わせに存在し得る。ブロック図で以下に示される構造および装置は発明の代表的
実施形態を図示し、発明を分かりにくくすることを避けることを意図している。さらに、
図内の構成要素および／あるいはモジュール間の接続は直接接続に限定する意図はない。
むしろこれらの構成要素およびモジュール間のデータは中間的構成要素およびモジュール
により修正、再フォーマット、またはその他変更することができる。
【００１５】
明細書において「一実施形態」または「ある実施形態」への言及はその実施形態に関連
して説明される特定の特性、構造、特徴、または機能が発明の少なくとも１つの実施形態
に含まれることを意味する。明細書の各種個所で「一実施形態で」または「ある実施形態
で」という句の出現は必ずしも皆同じ実施形態に言及しているものではない。
【００１６】
サラウンド・ビジュアル・フィールドにおける１つ以上のオブジェクトを動画化するシ
ステムおよび方法が開示される。一実施形態で、サラウンド・ビジュアル・フィールドは
主オーディオ／ビジュアル・プレゼンテーションと併せて表示される合成または生成表示
で、プレゼンテーションを向上させる。サラウンド・ビジュアル・フィールドは１つ以上
の要素を含むことができ、画像、パターン、色、形状、テクスチャ、図形、テキスト、オ
ブジェクト、キャラクタが含まれるがこれらに限定されることはない。
【００１７】
一実施形態で、サラウンド・ビジュアル・フィールド内の１つ以上の要素が主オーディ
オ／ビジュアル・プレゼンテーションに関連し、または応答することができる。一実施形
態で、サラウンド・ビジュアル・フィールド内の１つ以上の要素、またはサラウンド・ビ
ジュアル・フィールド自体がオーディオ／ビジュアル・コンテンツまたはオーディオ／ビ
ジュアル・コンテンツが表示される環境に対し視覚的に変化することができる。例えば、
サラウンド・ビジュアル・フィールド内の要素は表示されるオーディオ／ビジュアル・コ
ンテンツ内の動き、音声、および／あるいは色に対して動き、または変化することができ
る。
【００１８】
図１はサラウンド・ビジュアル・フィールド１３０の典型的な実施形態を示す。図１の
実施形態において、主オーディオ／ビジュアル・プレゼンテーション、または入力ストリ
ーム、１１０は中央に表示される。示される実施形態において、サラウンド・ビジュアル
・フィールド１３０は入力ストリーム１１０を囲むが、サラウンド・ビジュアル・フィー
ルド１３０は入力ストリーム１１０を囲む必要はないことが特記される。むしろ、サラウ
ンド・ビジュアル・フィールド１３０は入力ストリームを部分的にのみ囲むことができ、
これは入力ストリームに隣接して表示されることを含むがこれに限定されない。さらに、
入力ストリーム・フィールド１１０、サラウンド・ビジュアル・フィールド１３０、また
は双方とも長方形である必要はない。どちらのフィールドも規則的または不規則的な形で
あって良い。
【００１９】
図１に戻り、サラウンド・ビジュアル・フィールド１３０はいくつかの背景および前景
要素を含む。背景要素は各種の岩１６２と岩１６４、珊瑚１６６、および植物１６８を含
む。前景要素は魚のプール１５２を含む。これらの要素の１つ以上を入力ストリーム１１
０に応答するようにすることができる。岩１６２と岩１６４、珊瑚１６６、および植物１
６８などの背景要素はそれらの色が入力ストリーム１１０の色または照明により影響され
るかもしれない。植物１６８はその動きが入力ストリーム１１０内の動きに関連付けられ
ることができる。さらに、一実施形態で、魚のプール１５２などの前景要素も色、挙動、
および／あるいは動きが入力ストリーム１１０により影響されることができる。
【００２０】
本発明はサラウンド・ビジュアル・フィールド内の要素を動画化する代表的なフレーム
ワークまたはシステムを開示する。さらにこのシステムを用いてサラウンド・ビジュアル
・フィールドを生成する例示的な方法も開示される。
【００２１】
Ａ．サラウンド・ビジュアル・フィールドのシステムまたはフレームワーク
本発明の実施形態は入力ストリームに応答するサラウンド・ビジュアル・フィールドを
生成するための拡大縮小可能なリアルタイムのフレームワークまたはシステムを提示する
。一実施形態で、フレームワークを用いてサラウンド・ビデオ・フィールド内の前景オブ
ジェクトに作用することができる。一実施形態で、入力ストリームから抽出した１つ以上
の制御信号またはキューを用いてフレームワークは地形、照明、空、水、背景オブジェク
ト等々を含むがこれらに限定されない背景要素に作用することもできる。
【００２２】
図２はサラウンド・ビデオ・フィールドのシステムまたはフレームワーク２００Ａの実
施形態を示す。フレームワーク２００Ａは汎用コンピュータおよび／あるいは特殊目的用
コンピュータ、特にグラフィックス処理用に設計されたものまたはＮＶＩＤＩＡ（登録商
標） ６８００ ＧｅＦｏｒｃｅ（登録商標）もしくはＡＴＩ  Ｒａｄｅｏｎ（登録商標）
などのグラフィック処理装置を含むもの、を用いて実施することができる。フレームワー
ク２００Ａまたはその一部はハードウェア、ソフトウェア、ファームウェア、またはそれ
らの組み合わせに実装することができる。入力ストリーム２１０が制御信号抽出器２２０
に提供される。制御信号抽出器２２０は入力ストリーム２１０から１つ以上の制御信号ま
たはキューを取得することができる。制御信号は値、関数、値の組、関数の組、またはそ
れらの組み合わせであることができる。制御信号は音声もしくはビデオから取得すること
ができ、または入力手段経由でユーザもしくは視聴者から提供されることもできる。一実
施形態で、コンテンツ・プロバイダが入力ストリームに制御信号を埋め込み、またはデー
タ・チャンネルに制御信号を含めることができる。
【００２３】
音声から取得される制御信号の例としては音声チャンネル間の位相差、音量レベル、音
声周波数特性等々が含まれるがこれらに限定されない。ビデオから取得される制御信号の
例としては動き、色、照明（例えばビデオ内またはフレーム外の光源を特定すること）等
々が含まれるがこれらに限定されない。コンテンツ認識手法を用いて入力ストリームのコ
ンテンツについて情報を得ることもできる。
【００２４】
一実施形態で、制御信号抽出器２２０は連続するビデオ・フレームのペア間の運動モデ
ルを作成することができる。別の実施形態で、制御信号抽出器２２０または連結規則モジ
ュール２４０は運動モデルを入力ビデオ・フレームの境界を越えて外挿し、その外挿を用
いてサラウンド・ビジュアル・フィールドを外挿運動モデルに対し制御することができる
。一実施形態で、連続するビデオ・フレームのペア間の光学的流動ベクトルを特定し、そ
れを用いてグローバルな運動モデルを構築することができる。
【００２５】
一実施形態で、制御信号抽出器２２０は入力ストリームにおける１対のビデオ・フレー
ム間で動きを分析し、フレーム・ペア間の動きを推定できるモデルを作成する。モデルの
精度は推定される光学的流動、モデル生成に用いられた光学的流動ベクトル・フィールド
の密度、用いられたモデルの種類とモデル内のパラメータ数、およびビデオ・フレームの
ペア間における動きの量と一貫性を含むがこれらに限定されないいくつかの要素に依存す
る。以下の実施形態は連続するビデオ・フレームに関連して説明されるが、本発明はビデ
オ信号内で２つ以上の任意のフレーム間の動きを推定し外挿し、この外挿された動きを用
いてサラウンド・ビジュアル・フィールドを制御することができる。
【００２６】
一例において、ビデオ信号内に符号化される運動ベクトルを抽出してビデオ・フレーム
間の運動軌道を特定するために用いることができる。当業者であれば、これらの運動ベク
トルは各種ビデオ符号化規格（例、ＭＰＥＧ、Ｈ．２６４、等々）で定義されるものを含
み各種の方法を用いて符号化しビデオ信号から抽出できることを理解しよう。別の例で、
ビデオ・フレーム間の動きを描く光学的流動ベクトルを特定することができる。ビデオ信
号内の動きを特定するために他の各種方法も用いることができ、これらはすべて本発明の
範囲内に入ることが意図される。
【００２７】
発明の一実施形態で、制御信号抽出器は１対のフレーム間で複数の光学的流動ベクトル
を特定することができる。ベクトルはピクセルからピクセルへのベクトルおよびブロック
からブロックへのベクトルを含み、各種の運動粒状度で定義することができる。これらの
ベクトルを用い、フレーム間の動きを描く光学的流動ベクトル・フィールドを作成するこ
とができる。
【００２８】
ベクトルは相関法、符号化された運動ベクトルの抽出、時空的動きの勾配に基づく検出
方法、特長に基づく運動検出方法、およびその他ビデオ・フレーム間の動きを追跡する方
法を含む各種の手法を用いて特定することができる。
【００２９】
光学的流動を判定する相関法は第１画像の部分を類似する輝度パターンを有する第２画
像の部分と比較することを含み得る。相関は通常画像の特長を一致させる手助けとして、
または一旦別の方法で特性が判定された後画像の動きを見出すために用いられる。
【００３０】
ビデオ・フレームの符号化の際生成された運動ベクトルを用いて光学的流動を判定する
ことができる。通常、運動推定手順は符号化処理中に実施され、ピクセルの類似ブロック
を特定し、複数のビデオ・フレームにまたがりこれらピクセルのブロックの動きを描く。
これらのブロックは１６×１６マクロブロックおよびその中のサブブロックを含み、各種
のサイズであり得る。この動き情報は抽出され、光学的流動ベクトル・フィールドを生成
するのに用いることができる。
【００３１】
光学的流動の勾配に基づく判定方法は画像の各点における画像の流れを推定するのに時
空偏導関数を用いる。例えば、画像輝度関数の時空導関数を用いて輝度またはピクセル強
度の変化を特定することができ、これらは画像の光学的流動を部分的に判定し得る。光学
的流動を特定するのに勾配に基づく方法を用いると、観察された光学的流動が画像勾配の
強い領域（例、縁）以外の領域における実際の画像流動からずれる結果になることがある
。しかしこのずれもビデオ・フレームのペアに対しグローバルな運動モデルを展開する場
合許容できる程度であり得る。
【００３２】
特長に基づく光学的流動の判定方法はフレーム内で縁など、少数の明確な画像の特長に
おける光学的流動を演算し分析することに的が絞られる。例えば明確な特徴の組をマップ
して２つの連続ビデオ・フレーム間で動きを特定することができる。一連のフレームを通
じて特長をマップし、より多数の連続ビデオ・フレームを通じてある特長の運動進路を定
義できる他の方法も知られている。
【００３３】
一実施形態で、入力ストリームから取得した制御信号は入力ストリームの特定の時間的
瞬間または比較的短時間における特性値（例えば色、動き、音声レベル、等々）を表すこ
とができる。これらのローカルな信号によりサラウンド・ビジュアル・フィールド内の要
素をビデオ内の出来事に相関させることができる。例えば、入力ストリームにおける爆発
などの瞬間的な出来事をローカルな信号経由でサラウンド・ビジュアル・フィールドにお
ける同時発生または比較的同時発生の変化に相関させることができる。一実施形態で、こ
れらのローカルな信号がサラウンド・ビジュアル・フィールドにもたらす変化の性質、程
度、および持続時間は１つ以上の連結規則により決定されることができる。
【００３４】
Ｂ．連結規則
連結規則はローカルな信号と、サラウンド・ビジュアル・フィールドの前景または背景
要素がどのように影響されるかとの連結を表す。図２に示すように、システムまたはフレ
ームワークの一実施形態は１つ以上の前景２５０および／あるいは背景２６０要素を含み
得る。前景要素２５０は岩、動物、昆虫、人間、機械、植物、等々、任意のオブジェクト
を含むことができる。背景要素２６０は任意のオブジェクトまたはテクスチャを含むこと
ができ、スプライトに基づくモデル、環境マップ、手続き地形、等々、いくつかの方法の
いずれかにより実施することができる。これらの要素に関する情報は手続き的に表す、す
なわちプログラムで生成する、ことができ、またはファイルに格納することができる。一
実施形態で、要素は「.x」ファイル形式で格納され、テクスチャ情報は「.bmp」または「
.jpeg」ファイル形式で格納することができるが、いずれの特定ファイル形式も本発明に
肝要ではない。連結規則はこれらの前景および／あるいは背景の要素を制御信号に連結し
サラウンド・ビジュアル・フィールドが入力ストリームに応答するようにさせる。
【００３５】
例えば一実施形態で、本発明の１つの態様はサラウンド・ビジュアル・フィールド向け
に三次元環境を合成することに係わることができる。一実施形態で、コンピュータ・アニ
メーション分野の当業者に知られている物理に基づくシミュレーション手法を、サラウン
ド・ビジュアル・フィールドを合成するのみならず連結規則として用いることができる。
一実施形態で、サラウンド・ビジュアル・フィールドに表示するインタラクティブ・コン
テンツを生成するために二次元および／あるいは三次元シミュレーションのパラメータは
入力ストリームから取得された制御信号に連結され、または制御信号を提供されることが
できる。
【００３６】
例示の目的からパーリン・ノイズ関数（Perlin noise function）により力学が近似さ
れる以下の３Ｄシミュレーションの実施形態を考察する。パーリン・ノイズ関数はコンピ
ュータ・グラフィックスで地形、テクスチャ、および水のモデル化に広く使用され、これ
は次において考察される。Ken Perlinの「画像シンセサイザ」（「An image synthesizer
」）、Computer Graphics（Proceedings of SIGGRAPH １９８５）、Vol.１９、２８７〜
２９６頁、１９８５年７月；Claes Johansの「リアルタイムの水の表現」（「Real-time 
water rendering」）、Master of Science Thesis、Lund大学、２００４年３月；およびK
en PerlinとEric M. Hoffertの「ハイパーテクスチャ」（「Hypertexture」）、Computer
Graphics（Proceedings of SIGGRAPH １９８９）、Vol.２３、２５３〜２６２頁、１９
８９年７月。これらは各々言及により全体として本明細書に組み入れられる。本明細書で
説明される手法は物理に基づくシステムを含むがこれに限定されず、他種の３Ｄシミュレ
ーションに拡張し得ることが特記される。
【００３７】
一次元パーリン関数は異なった振幅および周波数におけるいくつかのノイズ・ゼネレー
タNoise(x)を合計することにより得られる。
【００３８】
【数１】
2008027441.tif 000003
【００３９】
関数 Noise(x)はシードされた乱数ゼネレータ（seeded random number generator）で
、入力パラメータとして整数を取り、入力に基づいた乱数を戻す。ノイズ・ゼネレータの
数はパラメータoctavesによって制御でき、各レベルにおける周波数は二乗で増分される
。パラメータαは各レベルの振幅を制御し、βは全体のスケーリングを制御する。方程式
（４）の二次元版を用いると自然に見える地形をシミュレートすることができる。方程式
（４）の三次元版を用いると水のシミュレーションを作成することができる。
【００４０】
リアルタイムで水をシミュレートするためのパラメータは入力ビデオ・ストリームを用
いて応答式三次元サラウンド・フィールドを合成することにより駆動される。カメラの動
き、光源、および三次元の水のシミュレーションはビデオからサンプリングされた動きベ
クトル、色、および音声信号に結合することができる。
【００４１】
一実施形態で、バーチャル・カメラの動きは入力ビデオ・ストリームの主要な動きに支
配されることができる。前述のような三次元シミュレーションの応答式「フライスルー」
（「fly-through」）を作成するには前述のようなアフィン運動モデルをビデオ・ストリ
ームからの運動ベクトルに合わせることができる。アフィン運動フィールドは画像中心（
ｃx，ｃy）周囲でパン、ティルト、およびズーム成分に分解させることができる。これら
の３成分を用いてシミュレーションにおいてカメラの動きを制御することができる。
【００４２】
図３は入力ビデオ・ストリーム３１０および運動ベクトル・フィールド３４０を表し、
パン・ティルト・ズーム成分は運動ベクトル・フィールドから演算されることができる。
一実施形態で、パン・ティルト・ズーム成分はある中心３５０から等距離にある４点３６
０Ａ〜３６０Ｄにおける運動ベクトルの投射を演算することにより得ることができる。４
点３６０Ａ〜３６０Ｄおよび投射の方向が図３に描かれている。
【００４３】
パン成分は画像中心３５０の周囲にある４つの対称点（ｘi，ｙi）３６０Ａ〜３６０Ｄ
の速度ベクトル（ｕi，ｖi）を合計することにより得られる。
【００４４】
【数２】
2008027441.tif 000004
【００４５】
ティルト成分は同じ４点における速度ベクトルの垂直成分を合計することにより得られ
る。
【００４６】
【数３】
2008027441.tif 000005
【００４７】
2008027441.tif 000006
【００４８】
【数４】
2008027441.tif 000007
【００４９】
一実施形態で、制御信号を用いて三次元合成内の光源を制御することができる。三次元
のシミュレーションには通常表現される出力の最終的な色を制御する表現パラメータがあ
る。合成環境における色合いは入力ストリームから抽出される１つ以上の色値により制御
または影響され得る。一実施形態で、三次元環境は三次元光源Ｃlight、全体的な明るさ
Ｃavg、および周囲の色Ｃambにより制御または影響され得る。一実施形態で、ビデオの各
フレームに対し平均輝度、最も明るい色、および中央値の色を演算し、これらの値を各々
Ｃavg、Ｃlight、および、Ｃambに割り当てることができる。当業者であれば他の色値ま
たは色サンプリングの頻度を用いられることを理解しよう。
【００５０】
一実施形態で、シミュレーションの力学は方程式（１）のパラメータαおよびβにより
制御することができる。例示として、水のシミュレーションにおいて、パラメータαは水
の波紋量を制御し、パラメータβは波の全体的なサイズを制御する。一実施形態で、これ
ら２つのシミュレーション・パラメータは次のように音声振幅Ａampと動き振幅Ｍampに連
結することができる。
【００５１】
【数５】
2008027441.tif 000008
【００５２】
【数６】
2008027441.tif 000009
【００５３】
ここでＭamp＝Ｖpan＋Ｖtilt＋Ｖzoom；ｆ(.)とｇ(.)はパラメータを許容間隔（αmin
，αmax）と（βmin，βmax）との間で変化させる線形関数である。上記連結規則または
方程式の結果、シミュレーションは入力ビデオ・ストリームの音声および動きのイベント
双方に応答する。
【００５４】
上述の考察は、例えばモデルの１つ以上パラメータを用いてサラウンド・ビジュアル・
フィールド内の１つ以上の要素が入力ストリームに応答するようにさせるなど、フレーム
ワーク２００において入力ストリームから取得した制御信号がどのようにサラウンド・ビ
ジュアル・フィールドの生成に連結され得るかを例示するために提示されたことが特記さ
れる。当業者であれば、サラウンド・フィールドを生成するために他の実施形態が実施さ
れ得、このような実施は本発明の範囲内に含まれることを理解しよう。
【００５５】
Ｃ．有関節要素
本発明の別の態様は例えば魚、鳥、人間、機械等々の１つ以上の有関節要素を動画化す
る機能で、入力ストリームに応答して動き、および／あるいは挙動するようにできる。よ
り詳細に後述するように、フレームワーク２００はサランド・ビジュアル・フィールドの
要素が広範囲の豊かで表情に富んだ挙動を示すことを可能にする。さらに、フレームワー
クは動きや挙動などグローバルな特性を、少ないパラメータを用いて容易に制御すること
を可能にする。
【００５６】
１．モデル
動物、昆虫、人間、機械などの要素は植物の場合でさえ枠組みまたは骨格を有する。枠
組みまたは骨格をモデル化することは入力された力などの入力が要素に作用するかをモデ
ル化するのに役立つ。一例として動物と人間を考えてみる。これらの動く要素は移動運動
のために関節を有する筋骨格のフレームワークを有する。要素の筋骨格の枠組みは対象の
動きの種類および範囲を決定する。
【００５７】
骨格に基づく移動運動と同じ原理をバーチャルな要素に適用することができる。一実施
形態で、各キャラクタ要素は骨格構造を基調として三角メッシュを用いて表すことができ
る。
【００５８】
例として、図４（ａ）〜図４（ｄ）はヒエラルキーまたは骨格の基調を有するスキンさ
れた有関節要素、この場合はフグ、の正面図、平面図、および側面図を示す。図４（ｄ）
はフグのモデルの、ワイヤーフレーム・モデル（図示せず）、骨格ヒエラルキー４０５、
および代表的な関節４１５を示す。
【００５９】
図４（ｄ）で、骨格枠組みの関節は黒い円４１５で図示され、骨４０５で連結される。
骨格枠組みは基礎関節４１０を有する。図４（ｅ）はフグ・モデルの代表的なヒエラルキ
ーを表す。ヒエラルキーはツリー４５０として示され、ノードは骨格モデルにおける異な
った関節を表す。描かれた例で、すべての関節は基礎ノードまたは関節４１０の子供、ま
たはこれに従属している。従って基礎関節の動きはすべての子供関節に影響することが特
記される。
【００６０】
２．有関節キャラクタ要素の動画化
一実施形態で、キャラクタ要素は時間をかけて基礎の位置および関節角度を変化させる
ことにより動画化することができる。基礎関節の動きは位置および配向を含み要素の全体
のポーズを制御し、他の関節の動きは異なった挙動を作り出す。一実施形態で、これらの
関節角度は骨格にポーズを取らせることにより画家が動画化できる。一実施形態で、フレ
ームワーク２００は骨格のポーズの変化に応答してメッシュの変形を演算する。関節角度
の変化に応答してメッシュを変形されるプロセスはスキニングと呼ばれる。スキニングの
例は「ポーズ空間変形：形状補間および骨格に駆動される変形に対する統一アプローチ」
（「Pose space deformations: A unified approach to shape interpolation and skele
ton-driven deformation」）、Proceedings of ACM SIGGRAPH ２０００，Computer Graph
ics Proceedings, Annual Conference Series、１６５〜１７２頁、２０００年７月、に
おいてJ. P. Lewis、Matt Cordner、およびNickson Fongにより考察され、引用により全
体として本出願に組み入れられる。
【００６１】
一実施形態で、スキニングはキャラクタのメッシュの１つ以上の領域をその基調となる
フレーム・セグメント／骨に関連付け、フレーム・セグメント／骨が動くにつれこれらの
メッシュ領域（頂点位置）を更新することが係わる。
【００６２】
一実施形態で、リアルタイムの実行を達成するため動画化フレームワークの一部をグラ
フィックス処理装置（ＧＰＵ）またはグラフィック・カードで実施することができる。例
えば、本発明の実施形態は２５６メガビット（ＭＢ）のテクスチャ・メモリを有するＮＶ
ＩＤＩＡ（登録商標） ＧｅＦｏｒｃｅ（登録商標） ６８００プロセッサを用いて実行さ
れた。当業者であれば本発明の実施に特定のグラフィックス処理装置が必要ではないこと
を理解しよう。
【００６３】
一実施形態で、スキニングの工程はグラフィックス・カードで実施することができる。
すなわち、ある実施形態においてフレームワークは頂点またはピクセル・シェーダーを用
いてハードウェア上でスキニングを実施することができる。基礎メッシュにおける各頂点
は骨の最大数により影響されることができる。ある頂点の最終的な変形位置を演算するた
めに、シェーダー・プログラムはその特定頂点に作用するすべての関節によって生じる変
形を演算することができる。頂点の最終位置はこれら変形の加重平均であることができる
。各頂点の変形はメッシュの他の頂点から独立しているので、スキニング工程はＧＰＵで
実施することができる。
【００６４】
当業者であればこれらおよび他のモデル化および動画化手法は植物、動物、人間、昆虫
、機械等々を含むがこれらに限定されずいくつかのオブジェクトのいずれに対しても用い
ることができることを理解しよう。
【００６５】
３．挙動モデル
一実施形態で、ある要素のフレームの動きはＭａｙａまたはＢｌｅｎｄｅｒ３Ｄなど既
存の動画化パッケージを用いてアーチストによりデザインされることができる。動きは要
素の運動クリップと呼ばれる関節角度のシーケンスはユニークな挙動に対応するようにデ
ザインすることができる。これら運動クリップは検索用にフレームワーク２００に格納す
ることができる。一実施形態で、運動クリップは「.x」、「.bmp」、および／あるいは「
.jpeg」などのファイル形式でフレームワーク２００により格納され、アクセスされるこ
とができる。前述のとおり、本発明にとっていずれの特定ファイル形式も肝要でなく、運
動クリップおよびサラウンド・ビジュアル・フィールドの他の要素は既存または今後開発
される任意のファイル形式で格納することができる。
【００６６】
図５はフグの２種類の挙動または運動クリップの例を描く。図５（ａ）はフグが泳いで
いるシーケンスからサンプルされた３つのフレーム５１０Ａ〜５１０Ｃを示す。魚が泳ぐ
にあたり、尾びれは横に揺れる。図５（ｂ）は魚がおびえた場合の４つのフレーム５２０
Ａ〜５２０Ｄを示す。シーケンスにおいて魚はおびえると膨らみ５２０Ｂ、向こう向き５
２０Ｃ〜５２０Ｄになる。
【００６７】
運動クリップは感情的な特徴に結び付く必要はなく、特定タスクを実施する機械または
植物が揺れ、花を咲かせ、葉を落とす等々、任意のアニメーションまたは動きに適用する
ことができる。
【００６８】
一実施形態で、要素の全体挙動は異なった挙動を描く運動クリップの集まりを用いてモ
デル化することができる。この集まりは１つ以上の具体的な運動シーケンスを含むことが
できる。
【００６９】
図６はある要素に対する挙動モデル６００の例を描く。キャラクタ要素に対し描かれた
挙動モデル６００は泳ぐ６０５Ａ、おびえる６０５Ｂ、食べる６０５Ｃ、幸せ６０５Ｄ等
々、数種の異なった運動クリップの集まりである。各運動クリップ６０５は要素のユニー
クな挙動を捉え、ヒエラルキーから関節角度のシーケンスとして内部的に表される。一実
施形態で、これらのクリップ６０５は汎用動画化ソフトウェアを用いてアーチストにより
制作されることができる。より詳細に後述するように、フレームワーク２００を用いてこ
れらのクリップを興味ある形で組み合わせることにより要素に対し挙動の豊富な組み合わ
せを作り出すことができる。すなわち、運動クリップを組み合わせることにより広範囲な
興味深く表現豊かなキャラクタ挙動をもたらせることが特記される。
【００７０】
４．遷移用マルコフ・モデル
一実施形態で、運動クリップ間の遷移用マルコフ・モデルを用いて運動クリップを組み
合わせ、挙動の組み合わせを制作することができる。マルコフ・モデルは入力ストリーム
の出来事に基づき要素が挙動を変えるための簡単なメカニズムを提供する。
【００７１】
マルコフ・モデルは運動クリップの集まりを用いて全体的な要素の挙動を捉えるために
用いることができる。一実施形態で、マルコフ・モデルは各運動クリップをグラフ上のノ
ードとして表す。これらノード間の遷移は入力されるオーディオ・ビジュアル・ストリー
ムから得られる１つ以上の制御信号またはキューで制御することができる。
【００７２】
一実施形態で、要素の次の状態は要素の現在の状態にのみ依存し、その履歴には依存し
ないと仮定される。一実施形態で、各要素は複数の状態（例えば幸せ、悲しい、おびえる
、飛び上がる、走る、ピョンピョン飛ぶ、食べる等々）を有することができ、行動に不確
定性を結び付けることができ（例えば各行動の確立を指定することにより）、これにより
オブジェクトの豊富な変化のセットが得られる。このような場合、要素の挙動はマルコフ
決定プロセス過程（ＭＤＰ）を用いて数学的に説明することができる。
【００７３】
挙動モデルの一実施形態はクリップ内および他のクリップとの間の遷移に基づき得るこ
とが特記される。円滑なアニメーションを合成するために、遷移を連続的にすることがで
きる。一実施形態で、連続性は前のクリップにおける最後のポーズからの頂点位置を新し
いクリップの最初のポーズに円滑にモーフィングすることにより達成される。一実施形態
で、この工程は頂点シェーダー・プログラムとしてグラフィックス処理装置で実施するこ
とができる。
【００７４】
図７は要素の力学をモデル化するための典型的な状態−行動マルコフ・モデル・システ
ム７００を描く。２つの状態間の遷移は入力ストリームから取得された１つ以上の制御信
号により制御することができる。例えば、図７に描かれる２状態マルコフ・フィールドに
おいて、状態遷移は入力ストリームからの音声制御信号によって制御することができる。
下記に記載される代表的な連結規則のような連結規則は入力ストリームから抽出された音
声信号が閾値を超えた場合、魚は泳ぎの運動シーケンス（クリップ１）６０５Ａからおび
えの運動シーケンス（クリップ２）６０５Ｂに遷移する７２０と定義することができる。
【００７５】
【数７】
2008027441.tif 000010
【００７６】
前述のとおり、連結規則は各行動に対し確立を指定することにより不確定性または可変
性を含むこともできる。例えば、池の魚の内１匹以上のフグは「落ち着いた」魚と指定さ
れることができ、これは落ち着いた泳ぎ状態にいる傾向を有することを意味する。さらに
、１匹以上のフグは「簡単に動揺する」魚と指定することができ、これらの魚はおびえる
可能性がより高い。例示の目的から、図８は１つのモデル８００Ａは「落ち着いた」魚に
対し確立を指定し、１つのモデル８００Ｂは「簡単に動揺する」魚に対し確立を指定した
２つの２状態マルコフ・モデルを描く。落ち着いたモデル８００Ａで、魚は落ち着いて泳
ぎ続けたがる傾向をより有するように確立が設定される。逆に「簡単に動揺する」モデル
８００Ｂでは、魚は入力制御信号に対しより敏感で、おびえる可能性がより高い。当業者
であれば、確立を用いることにより、類似した要素に対してでもフレームワーク２００に
変化を加えることができることを理解しよう。本明細書で利用される確立は例示の目的で
しかない。本発明にとっていずれの確立値または構成も肝要ではない。
【００７７】
当業者であればフレームワーク２００の１つの利点はどの制御信号が抽出されるか、連
結規則、確立、またはこれらの項目の２つ以上をユーザが変更でき、それにより合成され
たサラウンド・ビジュアル・フィールドの感応性に対しより良好な制御が可能になること
であることを理解しよう。
【００７８】
５．グローバルな運動モデル
前述のとおり、挙動モデルの一実施形態は枠組みまたは骨格の関節角度の変化を描く運
動クリップを用いる。例えば、図５（ａ）および図５（ｂ）における２つの運動クリップ
はアニメーションの期間にわたり異なった関節角度の組を有する。しかし、基礎関節の動
きが要素のグローバルな動きを支配することが特記される。例えば、おびえている際に魚
が左へ泳ぐようにするために、基礎関節の位置を動画化して左へ動くようにし、おびえた
運動クリップの関節角度を用いてヒエラルキーの残りを動画化することができる。基礎関
節の動きによりそれと共に骨格全体が左へ動かざるを得なくなる。一実施形態で、基礎関
節ポーズの位置、配向、または双方に対しキーフレーム化枠組みを実施することができ、
これによりキーとなる点の適当な組を指定することにより要素のグローバルな動きを制御
することが可能になる。
【００７９】
Ｄ．制御
前述のとおり、フレームワークの有利な一面はサラウンド・ビジュアル・フィールド内
のオブジェクトのグローバルな動きおよび挙動を簡単に制御にプログラムできることであ
る。上記に呈したキャラクタ要素のモデルは数組のパラメータを用いて簡単に制御できる
ようにデザインされている。以下に、フレームワーク内で用いることができ、異なった制
御パラメータのいくつかを説明する。
【００８０】
2008027441.tif 000011
【００８１】
２．挙動制御
一実施形態で、挙動制御は特定要素に対し状態−行動のグラフを１つまたは複数構築す
ることにより達成される。フレームワークは完全にスクリプトされたキャラクタ要素応答
から高度に確率論的なキャラクタ要素挙動まで広範囲な制御を可能にする。通常、一端運
動クリップの組がデザインされると、異なった状態間で可能な遷移のリストを定義するこ
とができる。一実施形態で、異なった状態間で可能な遷移を確率で加重することができる
。一実施形態で、これらの遷移に対応する行動のリスト、または制御信号および連結規則
も指定することができ、これらは入力ストリームから得られた各種制御信号に対応する。
マルコフ・グラフを特別に構築できることは入力ストリームからの広範囲な制御信号に対
する要素挙動の制御を可能にする。
【００８２】
Ｅ．音声・ビデオ信号との連結
動画化フレームワークの各種機能を示すために、図９に魚用水槽シミュレーションを描
く。魚用水槽シミュレーション内の要素は入力ストリーム９１０から取得された音声およ
びビデオ信号に連結された。
【００８３】
図９に描かれているのは入力ストリーム９１０に応答する２つの魚の群れ９４０および
９４５がいる応答的魚用水槽サラウンド・ビジュアル・フィールド９３０である。シミュ
レーションを入力ストリームに連結することに関連するいくつかの例を以下に説明する。
【００８４】
１．光源とビデオの色との連結
一実施形態で、魚用水槽の色は入力ビデオ９１０の色に関係するようにデザインするこ
とができる。描かれた実施形態で、魚用水槽のシミュレーションは隅に４つ、水槽の裏に
１つ、および水槽の前に１つといった６点の光源を有する。光源の色は対応ビデオ・フレ
ームから色をサンプルして得ることができる。例えば、左上の隅の光源は入力ビデオ・フ
トリーム９１０の左上の四部区間から色をサンプルする。さらに魚用水槽シミュレータは
霧源を含み、その濃さは画像の色に連結することができる。
【００８５】
２．キャラクタの動きと音声との連結
一実施形態で、魚の動き（グローバルな方向、速度、配向等々）および挙動（泳ぎ、お
びえ等々）は音声強度により制御することができる。最後のフレーム９００Ｃで、魚９４
０および魚９４５は入力ビデオ９１０Ｃにおける大きな騒音によっておびえる。
【００８６】
一実施形態で、魚の動きの速度は音声強度に連結することができ、魚はストリームにお
いて音声活動が多い場合により速く泳ぐ。これを達成するにはシミュレーション時間ステ
ップは以下のように変化できる。
【００８７】
【数８】
2008027441.tif 000012
ここでｔ0は時間ステップの初期値、ｖｏ１は音声強度を表すローカルな制御信号、お
よびαとｋは同調可能なパラメータである。図９に描かれるシミュレーションで、αとｋ
は各々４０と３であった。さらに描かれた実施形態で、魚の落ち着きからおびえへの遷移
は音声強度が「おびえ」閾値を超えた場合に設定されたＴscareで表すと以下のようにな
る。
【００８８】
【数９】
2008027441.tif 000013
【００８９】
一実施形態で、サラウンド・ビジュアル・フィールドを入力ストリームからの制御信号
に連結する他の方法はオブジェクトの動きに影響する運動ベクトルを用いることを含むこ
とができる。上述の例は例示の目的のみから提供されたもので、発明を狭めるために用い
られるものではない。当業者であれば入力ストリームから取得できる他の信号および制御
信号をサラウンド・ビジュアル・フィールドに結び付ける他の連結規則を認知するであろ
う。
【００９０】
Ｆ．成長モデルを有するサラウンド・ビジュアル・フィールドのフレームワーク
図１０はサラウンド・ビジュアル・フィールド・システムまたはフレームワーク２００
Ｂの別の実施形態を描き、フレームワーク２００はさらに成長連結規則を１つまたは複数
含む。前記の実施形態同様、入力ストリーム２１０が制御信号抽出器２２０に提供される
。制御信号抽出器２２０は入力ストリームから１つ以上の制御信号を取得することができ
る。一実施形態で、ローカルな制御信号２２２に加えグローバルな制御信号２２４も取得
することができる。グローバルな制御信号の例はいくつかの期間中信号をサンプルするこ
とを含むが、これに限定されない。従って当業者であればグローバルな制御信号２２４は
ローカルな信号の１つ以上から取得できることを理解しよう。一実施形態で、入力ストリ
ーム２１０はシステム２００Ｂがグローバルな制御信号２２４を取得できるようバッファ
されることができる。
【００９１】
一実施形態で、グローバルな制御信号２２４は成長モデルなど１つ以上の成長連結規則
２７０に提供されることができる。成長連結規則はサラウンド・ビジュアル・フィールド
の前景２５０および／あるいは背景２６０の要素を１つ以上の成長モデルに結び付けるた
めの連結規則を有することができる。一実施形態で、成長連結規則はサラウンド・ビジュ
アル・フィールドが提示の過程で展開できるように用いることができる。
【００９２】
１つ以上の成長連結規則を加えるとサラウンド・ビジュアル・フィールドの活気性およ
び応答性がさらに高まることが特記される。ローカルな信号およびそれらに関連した連結
規則による瞬間的変化に加え、１つ以上の成長連結規則により入力ストリーム２１０にお
けるより長期的な面またはパターンをサラウンド・ビジュアル・フィールドに導入するこ
とができる。
【００９３】
一実施形態で、成長連結規則はサラウンド・ビジュアル・フィールド内の要素の「年令
」を考慮することができる。例として図１１（ａ）〜図１１（ｄ）に提示されるサラウン
ド・ビジュアル・フィールド１１３０を考察する。図１１（ａ）は複数の要素を含む典型
的なサラウンド・ビジュアル・フィールド１１３０Ａを描く。サラウンド・ビジュアル・
フィールドには数枚の葉１１４５Ａのついた若い木１１４０Ａが含まれる。一実施形態で
、木１１４０Ａの動きおよび／あるいは色はローカルな制御信号および連結規則に影響さ
れることができる。同様に、空の雲１１５０Ａの動きおよび／あるいは色もローカルな制
御信号および連結規則の作用を受けることができる。ローカルな制御信号およびそれらに
関連する連結規則によるサラウンド・ビジュアル・フィールド１１３０の要素の同時発生
またはほとんど同時発生の変化に加え、サラウンド・ビジュアル・フィールド１１３０の
要素はグローバルな制御信号および成長連結規則の作用を受けることができる。例えば、
図１１（ｂ）に描かれるように、木１１４０Ｂは葉１１４５Ｂがさらに生え始めている。
【００９４】
一実施形態で、グローバルな制御信号および／あるいは成長連結規則は入力ストリーム
のパターンを表すことができる。例として図１１（ｃ）に描かれる展開するサラウンド・
ビジュアル・フィールドを考察する。ビデオ・フレームにおける長時間の重苦しい音色ま
たは暗い色をグローバルな制御信号として用いることができ、サラウンド・ビジュアル・
フィールドに反応させるために成長連結規則に提供される。このような制御信号に応答し
て、図１１（ｃ）に描かれた実施形態は雲が多くなり、より暗い雲１１５０Ｃになり、木
１１４０Ｃは葉が生え続けるが、入力ストリームに関係するより暗い色で構成される。サ
ラウンド・ビジュアル・フィールドはグローバルな制御信号および１つ以上の成長連結規
則に従って引き続き展開または成長することができ、それにより木１１４０Ｄは葉１１５
５Ｄを落とし始める。葉１１５５Ｄ／１１４５Ｄの１つ以上の特徴（例えば動きおよび色
など）がローカルな制御信号およびそれらの連結規則の作用も受けることができることが
特記される。従って、例えばビジュアル・フィールド内の要素はローカルな制御信号の影
響を受けることに加え成長／展開することができ、それによりサラウンド・ビジュアル・
フィールドはさらに活気と深みが増す。すなわち、サラウンド・ビジュアル・フィールド
内の要素は、ローカルであれグローバルであれ、複数の制御信号および連結規則により同
時におよび／あるいは連続して影響を受けることができることが特記される。
【００９５】
成長モデル２７０またはフレームワーク２００のいずれの特定な実施も本発明に肝要で
はないことが特記される。当業者であればサラウンド・ビジュアル・フィールド・フレー
ムワーク２００の他の実施および効用も本発明の範囲内にあることを理解しよう。
【００９６】
Ｇ．一実施形態によるサラウンド・ビジュアル・フィールドの代表的生成方法
次に図１２を参照すると、発明の一実施形態によりサラウンド・ビジュアル・フィール
ドを生成する代表的な方法が描かれている。当業者であれば上記に提供される説明により
他の方法が開示され、または引き出すことができることを理解しよう。一実施形態で、サ
ラウンド・ビジュアル・フィールドを生成する方法は入力として制御信号を受信しサラウ
ンド・ビジュアル・フィールドにおける少なくとも１つの要素に対する効果を出力する連
結規則を作成または定義する工程（１２０５）を含むことができる。サラウンド・ビジュ
アル・フィールドは通常複数の要素を含み、画像、パターン、色、形状、テクスチャ、図
形、テキスト、オブジェクト、キャラクタ等々を含むことが出来るがこれらに限定されな
い。サラウンド・ビジュアル・フィールドの要素は前景要素または背景要素であり得る。
サラウンド・ビジュアル・フィールドの要素はサラウンド・ビジュアル・フィールドまた
はその任意の部分を意味すると解釈でき、ピクセル、ピクセルの集まり、画像、パターン
、形状、テクスチャ、図形、テキスト、オブジェクト、キャラクタ等々、および／あるい
はこのような項目のグループであり得るが、これらに限定されない。一実施形態で、ユー
ザは連結規則を定義または変更することができる。
【００９７】
入力ストリームを分析し入力ストリームに関係する制御信号を取得することができる（
１２１０）。上述のとおり、制御信号は入力ストリームから例えば動き、色、音声信号お
よび／あるいはコンテンツなどの特徴を抽出または取得することにより入力ストリームに
関係することができる。制御信号は次に連結規則に供給され、サラウンド・ビジュアル・
サウンドの少なくとも１つの要素に適用できる情緒を生成することができる（１２１５）
。一実施形態で、効果はサラウンド・ビジュアル・フィールドにおける複数の要素に適用
することができる。一実施形態で、要素は１つ以上の効果が適用されて良く、もたらされ
る効果は要素に適用されるすべての効果の重ね合わせであることができる。
【００９８】
さらにサラウンド・ビジュアル・フィールド内の要素、特に類似した要素、に対する効
果は異なり得ることが特記される。例示として、サラウンド・ビジュアル・フィールドの
魚群を考察する。連結規則は音声制御信号を入力として受信し、魚の動きを出力すること
ができる。同じ入力を仮定した場合、各要素の反応（すなわち、魚群内の各々の魚）は異
なることができる。反応は追加的制御信号入力、パラメータ、確立等々のために異なり得
る。魚は異なった方向に散り、異なった群れのグループを形成することができる。群れの
挙動はローカルな連結規則の一部および／あるいは成長連結規則の一部であり得る。
【００９９】
最後に、サラウンド・ビジュアル・フィールドは入力ストリームを表示する領域を囲み
、または部分的に囲む領域に表示することができ（１２２０）、それにより１人または複
数のユーザの視聴体験を向上させる。
【０１００】
図１２に描かれる実施形態で、制御信号および連結規則は（１）ローカルな制御信号お
よび連結規則、（２）グローバルな制御信号および成長連結規則、および（３）双方、で
あり得る。
【０１０１】
本発明の実施形態はさらに各種コンピュータ実施の操作を実施するためのコンピュータ
・コードを有するコンピュータ読み取り可能な媒体を有するコンピュータ製品に関するこ
とができることが特記される。媒体およびコンピュータ・コードは本発明の目的のために
特別にデザインされ構築されたものでも良く、または関連当業者であれば周知または入手
可能な種類であって良い。コンピュータ読み取り可能な媒体の例は、ハード・ディスク、
フロッピー（登録商標）・ディスク、および磁気テープなどの磁気媒体、ＣＤ−ＲＯＭお
よびホログラフィー・デバイスなどの光媒体、磁気光学媒体、および特定用途向け集積回
路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フラッシュ・メモリ・デバイ
ス、ならびにＲＯＭおよびＲＡＭデバイスなど、プログラム・コードを格納するよう、ま
たは格納し実行するよう特別に構成されるハードウェア装置が含まれるが、これらに限定
されない。コンピュータ・コードの例はコンパイラにより作成されるような機械コード、
およびインタープレタを用いてコンピュータにより実行されるより高位なレベルのコード
を含むファイルを含む。
【０１０２】
発明は各種修正および別の形態が可能であるが、その具体的な例が図面に示され、本明
細書に詳細に説明されている。しかし発明は開示された特定の形態に限定されるものでは
なく、むしろ発明は添付クレームの精神および範囲に含まれるすべての変更、同等、およ
び代替を対象としていることを理解しよう。
【図面の簡単な説明】
【０１０３】
【図１】発明の一実施形態による、サラウンド・ビジュアル・フィールド。
【図２】発明の一実施形態による、サラウンド・ビジュアル・フィールドの枠組みまたはシステムの実施形態。
【図３】発明の一実施形態による、運動ベクトル・フィールドからパン・ティルト・ズーム成分を演算する方法の図。
【図４】発明の一実施形態による要素モデルで、この場合はワイヤーメッシュおよび骨組みを含みフグを示す。
【図５】（ａ）、（ｂ）は、発明の一実施形態による、フグ・モデルの２つの異なった動きのクリップ（泳いでいるところとおびえているところ）からシーケンスの一部分を描く。
【図６】発明の一実施形態による、動きのクリップのセットを含む要素の挙動モデルの図。
【図７】発明の一実施形態による、２つの状態間の遷移をマッピングする典型的なマルコフ図。
【図８】発明の一実施形態による、２つの状態間の遷移に関連する異なった可能性を示す２つの典型的なマルコフ図。
【図９】発明の一実施形態による、サラウンド・ビジュアル・フレームワークにより生成された典型的なサラウンド・ビジュアル・フィールドの異なったスクリーンショット。
【図１０】発明の一実施形態による、サラウンド・ビジュアル・フィールド・フレームワークまたはシステムの一実施形態を図形的に示す。
【図１１】（ａ）〜（ｄ）は、発明の一実施形態による、成長モデルに影響されたサラウンド・ビジュアル・フィールドの一実施形態を図形的に示す。
【図１２】発明の一実施形態による、サラウンド・ビジュアル・フィールドを生成する方法の一実施形態。
【符号の説明】
【０１０４】
２１０…入力ストリーム、２２０…制御信号抽出器、２２２…ローカルな制御信号、２
２４…グローバルな制御信号、２３０…サラウンド・ビジュアル・フィールド、２４０…
連結規則、２５０…前景要素、２６０…背景要素、２７０…成長連結規則、４１０…基礎
、６００…要素の挙動モデル、６０５Ａ…クリップ１（泳ぎ）、６０５Ｂ…クリップ２（
おびえ）、６０５Ｃ…クリップ３（食べる）、６０５Ｄ…クリップ４（幸せ）、６０５Ｎ
…クリップｎ（挙動ｎ）、７１０…落ち着き、７２０…大きな騒音、７３０…大きな騒音
、７４０…落ち着き、８００Ａ…「落ち着いた」モデル、８００Ｂ…「簡単に動揺した」
モデル、８１０Ａ…落ち着き、８１０Ｂ…落ち着き、８２０Ａ…大きな騒音、８２０Ｂ…
大きな騒音、８３０Ａ…大きな騒音、８３０Ｂ…大きな騒音、８４０Ａ…落ち着き、８４
０Ｂ…落ち着き。
【図１】
2008027441.tif 000014
【図２】
2008027441.tif 000015
【図３】
2008027441.tif 000016
【図４】
2008027441.tif 000017
【図５】
2008027441.tif 000018
【図６】
2008027441.tif 000019
【図７】
2008027441.tif 000020
【図８】
2008027441.tif 000021
【図９】
2008027441.tif 000022
【図１０】
2008027441.tif 000023
【図１２】
2008027441.tif 000024
【図１１】
2008027441.tif 000025