(57)【要約】【課題】空き表示領域を利用するシステムおよび方法を提供する。【解決手段】オーディオ／ビジュアル・プレゼンテーションに関係する１つまたは複数の特性を有するサラウンド・ビジュアル・フィールドは表示されるビデオ・コンテンツを部分的または完全に囲む領域に映写される。このサラウンド・ビジュアル・フィールドは表示されるコンテンツの効果をさらに高める複数の要素を含むことができる。例えば、サラウンド・ビジュアル・フィールド内の要素が表示されるビデオ・コンテンツ内の動きに対し動くようになっている。ビデオ・コンテンツの他の特性もサラウンド・ビジュアル・フィールドにより補足されることができ、またはサラウンド・ビジュアル・フィールドはコンテンツ自体に対応するように少なくとも部分的に制作されることができる。サラウンド・ビジュアル・フィールドは三次元環境の表現であり得る。【選択図】図１
2007272230.tif 000002
【特許請求の範囲】
【請求項１】
入力ストリームの表示中は未使用である表示装置の空き表示領域を利用する方法で、
入力ソースからキューを抽出するステップと、
複数の要素を含むサラウンド・ビジュアル・フィールドを生成するステップで、サラウンド・ビジュアル・フィールド内の少なくとも１つの要素がキューに影響されること、
表示装置の空き表示領域を少なくとも部分的に用いてサラウンド・ビジュアル・フィールドを表示するステップと、
を含む方法。
【請求項２】
キューはビデオ・データ、オーディオ・データ、ゲーム・コントローラ、入力装置、リモコン、センサ、および制作されたキューを含むグループから選択される少なくとも１つの入力ソースから抽出される、請求項１に記載される方法。
【請求項３】
複数の要素を含むサラウンド・ビジュアル・フィールドを生成するステップで、サラウンド・ビジュアル・フィールド内の少なくとも１つの要素がキューに影響されるステップは、
キューと関連して動きモデルを用いて入力ストリームからの動きを近似させるステップと、
サラウンド・ビジュアル・フィールド内の前記少なくとも１つの要素を動きモデルに関連して動かすステップと、を含む、請求項２に記載される方法。
【請求項４】
動きモデルはアフィン動きモデルである、請求項３に記載される方法。
【請求項５】
複数の要素を含むサラウンド・ビジュアル・フィールドを生成するステップで、サラウンド・ビジュアル・フィールド内の少なくとも１つの要素がキューに影響されるステップは、
物理ベースのモデルを用いて現実的な様態で前記少なくとも１つの要素に影響するステップ、
を含む、請求項２に記載される方法。
【請求項６】
サラウンド・ビジュアル・フィールドはバーチャルな光源で照明される背景面を含む、請求項２に記載される方法。
【請求項７】
背景面はバンプ・マップの面で、背景面に対する照明はテクスチャ・マップおよび法線マップに関係する、請求項６に記載される方法。
【請求項８】
入力ストリームの１つのフレーム各角に、またはその近辺に光源を位置すること、を含む、請求項６に記載される方法。
【請求項９】
入力ソースからキューを抽出するステップは、
フレームの一部をサンプリングすることによりバーチャルな光源各々の色を決定するステップ、
を含む、請求項８に記載される方法。
【請求項１０】
１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに少なくとも請求項９に記載されるステップを行なわせる１つ以上の命令シーケンスを搭載するコンピュータ読み取り可能な媒体。
【請求項１１】
サラウンド・ビジュアル・フィールド・システムで、
入力ストリームに関連する少なくとも１つの制御信号を取得し複数の要素を含むサラウンド・ビジュアル・フィールドを生成するサラウンド・ビジュアル・フィールド・コントローラで、サラウンド・ビジュアル・フィールド内の少なくとも１つの要素は制御信号により影響されるコントローラと、
サラウンド・ビジュアル・フィールド・コントローラに通信上結合し、第１領域に入力ストリームを表示し、その際空いたままの第２領域の少なくとも一部にサラウンド・ビジュアル・フィールドを表示する表示装置、を含むシステム。
【請求項１２】
前記少なくとも１つの制御信号はビデオ・データ、オーディオ・データ、ゲーム・コントローラ、入力装置、リモコン、センサ、および制作されたキューを含むグループから選択される少なくとも１つのソースから取得される、請求項１１に記載されるシステム。
【請求項１３】
サラウンド・ビジュアル・フィールドはバーチャルな光源で照明される背景面を含む、請求項１１に記載されるシステム。
【請求項１４】
バーチャルな光源の色は入力ストリームの一部をサンプリングすることにより得られた制御信号により取得される、請求項１３に記載されるシステム。
【請求項１５】
サラウンド・ビジュアル・コントローラは動きモデルを用いて入力ストリームからの動きを近似させる、請求項１３に記載されるシステム。
【請求項１６】
サラウンド・ビジュアル・フィールドのコンテンツの少なくとも一部は制作されている、請求項１１に記載されるシステム。
【請求項１７】
サラウンド・ビジュアル・フィールド・コントローラで、
第１領域に表示される入力ストリームに関連する入力ソースを受信するように結合され、入力ソースから少なくとも１つの制御信号を引き出す制御信号抽出構成要素と、
制御信号抽出構成要素に結合し、表示装置の空いたままの第２領域の少なくとも一部に表示するために前記少なくとも１つの制御信号を受信してサラウンド・ビジュアル・フィールドを生成させるサラウンド・ビジュアル・フィールド生成構成要素で、前記サラウンド・ビジュアル・フィールドは複数の要素を含み、少なくとも少なくとも１つの要素は制御信号により影響される、サラウンド・ビジュアル・フィールド生成構成要素と、
を含むサラウンド・ビジュアル・フィールド・コントローラ。
【請求項１８】
入力ソースはビデオ・データ、オーディオ・データ、ゲーム・コントローラ、入力装置、リモコン、センサ、および制作されたキューを含むグループから選択される少なくとも１つである、請求項１７に記載されるサラウンド・ビジュアル・フィールド・コントローラ。
【請求項１９】
サラウンド・ビジュアル・フィールドはバーチャルな光源で照明される背景面を含む、請求項１７に記載されるコントローラ。
【請求項２０】
バーチャルな光源の色は入力ストリームの一部をサンプリングすることにより得られた制御信号により取得される、請求項１９に記載されるコントローラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にオーディオ／ビデオ・プレゼンテーションの視覚的向上に関わり、より具体的にはオーディオ／ビジュアル・プレゼンテーションに関連するサラウンド・ビジュアル・フィールドの合成および表示に関わる。
【背景技術】
【０００２】
オーディオ／ビジュアル娯楽産業における各種の技術進歩によりメディア・コンテンツを視聴する個人の体験を非常に向上させている。これら技術進歩のいくつかはテレビ、映画上映システム、コンピュータ、携帯ビデオ装置、および類似するその他の電子装置などの装置で表示されるビデオの質を改良している。他の進歩はメディア・コンテンツの表示中個人に提供されるオーディオの質を改良している。オーディオ／ビジュアル・プレゼンテーション技術におけるこれらの進歩はこのメディア・コンテンツを視聴する個人の楽しさを向上させることが目的であった。
【０００３】
メディア・コンテンツのプレゼンテーションにおいて重要な要素は視聴されるプレゼンテーションに個人が没入することを促進することである。メディア・プレゼンテーションは多くの場合、個人がある場面の一部分であると感じ、またはコンテンツが「生」で視聴されていると感じることでより魅力が高められる。このような動的なプレゼンテーションは視聴者の不信を一時的に停止させ、より満足できる体験を作り出す。
【０００４】
この没入の原理はメディア体験のオーディオ要素に関して既にかなり対処されている。サラウンド・サウンドなどのオーディオ・システムは部屋の中でいくつかの起点からオーディオ・コンテンツを個人に提供して実体験を模倣する。例えば、複数のラウドスピーカを部屋に配置し、オーディオ・コントローラに接続することができる。オーディオ・コントローラは対応するビデオ表示および部屋内のスピーカ位置に関連してある特定のスピーカから音を発生させることができる。このようなオーディオ・システムはビデオの場面が表示される音場をシミュレートすることを意図している。
【０００５】
【特許文献１】米国特許出願公開第２００５／００２４４８８号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
現在のビデオ表示技術は個人に対し没入体験を作り出すのにこれだけの効果をもたらしていない。いくつかの手法では没入感を高めるために外部光源または映写機を従来のディスプレーと併せて用いる。例えばPhilips社のAmbilight TVはテレビの背後に一定数のカラー・バックライトの１つを投影する。このような手法はコンテンツを表示する際に装置の表示領域全体を利用するという問題に対処していないため不十分である。さらに、現行のビデオ表示装置はしばしば装置を視聴する個人の視野範囲に完全に適応しておらず、またはディスプレーのかなりの部分を利用していない。その結果没入効果が低減され、従って個人の視聴体験が低減される。
従って、上述の制限に対応したシステム、装置、および方法が望まれる。
【課題を解決するための手段】
【０００７】
本発明の一実施形態は表示されるオーディオまたはビジュアル・コンテンツに関連するサラウンド・ビジュアル・フィールドを提供する。発明の一実施形態でサラウンド・ビジュアル・フィールドは合成されコンテンツを表示する装置を部分的または完全に囲む表面に映写される。このサラウンド・ビジュアル・フィールドは表示されるコンテンツの視聴体験をさらに向上させることを意図している。従ってサラウンド・ビジュアル・フィールドは表示されるコンテンツの特性の一つまたはいくつかを増強、拡張、または別の形で補足することができる。当業者はサラウンド・ビジュアル・フィールドが１つ以上のキューまたは制御信号に関連し得ることを理解しよう。入力ストリームに関連するキューまたは制御信号は表示コンテンツ内の動き、色、輝度、オーディオ、ジャンル、および行為を含むがこれらに限定されず、１つ以上の特徴ならびに１つ以上のセンサまたはカメラ、ゲーム装置の入力、または他の入力を含むがこれらに限定されず、ユーザ提供入力に関連するキューを含むと解釈される。一実施形態で、サラウンド・ビジュアル・フィールドにおける１つ以上の要素は１つのキューまたは複数のキューに応答することにより該１つのキューまたは複数のキューに関連することができる。
【０００８】
発明の一実施形態で、サラウンド・ビジュアル・フィールドはオーディオ／ビデオ・コンテンツのプレゼンテーション中に映写または表示される。このサラウンド・ビジュアル・フィールドのサイズ、場所、および形状はビジュアル・フィールドの制作者により定義されることができ、表示されるコンテンツに関連することができ、または別途定義されることができる。さらに、サラウンド・ビジュアル・フィールドの特性は各種の形状、テクスチャ、パターン、波または表示装置のコンテンツの視聴を向上させる他の任意の視覚上の効果を含むことができる。当業者であれば各種オーディオ／ビジュアルまたは映写システムを用いてサラウンド・ビジュアル・フィールドを生成し制御することができることを理解しよう。これらのシステムはすべて本発明の範囲に入ることが意図される。
【０００９】
発明の代表的な一実施形態で、サラウンド・ビジュアル・フィールドは表示されるコンテンツ内の動きに関係することができる。例えば、表示されるコンテンツ内の動きをモデル化し外挿することができる。サラウンド・ビジュアル・フィールド、またはその構成要素、はコンテンツ内の外挿された動きに従って動くことができる。サラウンド・ビジュアル・フィールド内の形状、パターンまたは他の任意の要素もコンテンツの動きまたは他の任意の特性にさらに関係する特性を有することができる。
【００１０】
発明の実施形態において、三次元のサラウンド・ビジュアル・フィールドを合成または生成することができ、この場合サラウンド・フィールドの１つ以上の要素は入力ストリームに関連する１つ以上のキューにより影響される。例えば、三次元サラウンド・ビジュアル・フィールド環境内において表示コンテンツに関連する動きキューが提供されモデル化され得る。サラウンド・ビジュアル・フィールドまたはその中の要素はコンテンツ内の外挿された動きに従い動くことができる。光源、図形、カメラの動きおよび三次元サラウンド・ビジュアル・フィールド環境における合成要素の力学も入力ストリームにさらに関連する特性を有することができる。
【００１１】
実施形態において、サラウンド・ビジュアル・フィールドは空き表示領域の１つ以上の部分で表示することができる。他の実施形態と同様、サラウンド・ビジュアル・フィールドまたはその部分は入力ストリームから抽出された１つ以上の制御信号に基づき修正または変更することができる。あるいは、またはその上、空き表示領域に表示されるサラウンド・ビジュアル・フィールドは制作された、または部分的に制作されたコンテンツまたはキューに基づくことができる。
【００１２】
発明の特長および利点は本要約部分および続く詳細な説明部分において実施形態の形で全般的に説明されるが、発明の範囲はこれら特定の実施形態に限定されるべきではないことが理解されよう。本出願の図面、明細書、およびクレームに鑑み当業者であればさらに多くの特長および利点が明らかになるであろう。
【発明を実施するための最良の形態】
【００１３】
発明の実施形態について言及され、それらの例が添付図面に示される。これらの図面は限定ではなく例示を目的としている。発明は全般的にこれら実施形態に関連して説明されるが、発明の範囲をこれら特定の実施形態に限定する意図ではない。
【００１４】
オーディオ／ビジュアル・コンテンツと併せて用いることができるシステム、装置、および方法が説明される。発明の一実施形態で、サラウンド・ビジュアル・フィールドは合成され、オーディオ／ビジュアル・コンテンツのプレゼンテーション中に表示される。サラウンド・ビジュアル・フィールドは各種視覚的効果を含むことができ、画像、各種パターン、色、形状、テクスチャ、グラフィックス、テキスト等々を含むがこれらに限定されるものではない。一実施形態で、サラウンド・ビジュアル・フィールドはオーディオ／ビジュアル・コンテンツに関係する一特性または複数の特性を有し、コンテンツの視聴体験を補足する。一実施形態ではサラウンド・ビジュアル・フィールド内の要素、またはサラウンド・ビジュアル・フィールド自体、がオーディオ／ビジュアル・コンテンツまたはオーディオ／ビジュアル・コンテンツが表示される環境に対して視覚的に変化する。例えば、サラウンド・ビジュアル・フィールド内の要素が表示ビデオ・コンテンツ内の動きおよび／あるいは色に関連して動くことができる。
【００１５】
発明の別の実施形態で、サラウンド・ビジュアル・フィールドはオーディオ／ビジュアル・コンテンツに関係するように制作され、視聴時に自動的に生成されないことができる。例えば、サラウンド・ビジュアル・フィールドはコンテンツとサラウンド・ビジュアル・フィールド双方がコンテンツの視聴体験を向上させるべくコンテンツに同期化されることができる。当業者であればサラウンド・ビジュアル・フィールドとオーディオ／ビジュアル・コンテンツは多数の方法で関連付けされ個人に視覚的に呈示することができ、これらすべて本発明の範囲に入ることが理解されよう。
【００１６】
以下の叙述において、説明の目的から、発明を理解させるために具体的な詳細が記載される。しかし当業者であれば発明がこれらの詳細なしに実施できることを理解しよう。当業者であれば、以下にいくつか説明される本発明の実施形態は映写システム、劇場システム、テレビ、家庭用娯楽システム、および他種のオーディオ／ビジュアル娯楽システムを含むいくつかの異なったシステムおよび装置に組み入れることができることを理解しよう。本発明の実施形態はまたソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わせに存在し得る。ブロック図で以下に示される構造および装置は発明の代表的実施形態を図示し、発明を分かりにくくすることを避けることを意図している。さらに、図内の構成要素および／あるいはモジュール間の接続は直接接続に限定する意図はない。むしろこれらの構成要素およびモジュール間のデータは中間的構成要素およびモジュールにより修正、再フォーマット、またはその他変更することができる。
【００１７】
明細書において「一実施形態」または「ある実施形態」への言及はその実施形態に関連して説明される特定の特性、構造、特徴、または機能が発明の少なくとも１つの実施形態に含まれることを意味する。明細書の各種個所で「一実施形態で」または「ある実施形態で」という句の出現は必ずしも皆同じ実施形態に言及しているものではない。
【００１８】
［概要］
図１は発明の一実施形態による、劇場または家庭用ビデオ環境に組み入れることができるサラウンド・ビジュアル・フィールド表示システムを示す。システム１００は第１領域１１０の中にビデオ・コンテンツおよび第１領域１１０を囲む第２領域１３０にサラウンド・ビジュアル・フィールドを映写する映写機１２０を含む。サラウンド・ビジュアル・フィールドは必ずしも第１領域１１０の周囲に映写される必要はない。むしろ、この第２領域は１３０は第１領域１１０を部分的に囲み、第１領域１１０に隣接し、または他の方法で個人の視野内に映写することができる。
【００１９】
映写機は単独の通常の映写機、単独のパノラマ映写機、複数の集成映写機、ミラー・プロジェクタ、パノラマ映写フィールドを有する新規映写機、これらの映写機の任意の混成、またはサラウンド・ビジュアル・フィールドが放射され制御され得る他の任意の映写機であることができる。広角光学を用いることにより、１つ以上の映写機により広い視野を映写することができる。これを達成する方法は魚眼レンズの使用および曲面ミラー、コーン・ミラーまたは鏡面ピラミッドの使用が係わる反射屈折システムを含むがこれらに限定されない。第２領域１３０に映写されるサラウンド・ビジュアル・フィールドは各種サイズおよび属性を有する不連続的要素を含み得る各種の画像、パターン、形状、色、およびテクスチャを含むことができ、第１領域１１０に表示されるオーディオ・ビデオ・コンテンツの特性に関係することができる。これらのパターンおよびテクスチャは限定されることなく星空パターン、花火、波、または他の任意のパターンまたはテクスチャを含むことができる。
【００２０】
発明の一実施形態で、サラウンド・ビジュアル・フィールドは第２領域１３０に映写されるが、実際のビデオが表示されている第１領域１１０内には映写されない。発明の別の実施形態ではサラウンド・ビジュアル・フィールドは第１領域１１０に映写され、または第１領域１１０および第２領域１３０双方に映写されることもできる。一実施形態で、サラウンド・ビジュアル・フィールドが第１領域１１０に映写される場合、表示されるビデオ・コンテンツの特定面がサラウンド・ビジュアル・フィールドによって際立てられ、強調され、またはその他補足されることができる。例えば、ビデオ・コンテンツ内で特定の動きをしている対象にビジュアル・フィールドを映写することにより第１領域１１０内で表示されるその特定の動きを際立たせることができる。
【００２１】
さらに別の実施形態で、ビデオのコンテンツを効果的にそのフレーム外に拡張するテクスチャ合成パターンを生成することができる。ビデオ・フレーム内に規則的または準規則的なパターンが存在する場合、映写機１２０は同じまたは類似パターンを第１領域１１０外に広げ第２領域１３０に映写することができる。例えば、ビデオ・フレーム内のとうもろこし畑を、とうもろこし畑の延長のように見えるパターンを生成することにより第１領域１１０外に広げることができる。
【００２２】
図２は発明の一実施形態による、テレビ受信機に対するサラウンド・ビジュアル・フィールドを示す。明確な視聴画面２１０を有するテレビ受信機がテレビ受信機の後にある壁の表面２３０に映写されるサラウンド・ビジュアル・フィールドで補足される。例えば、大型テレビ受信機、または映写画像または表示のセットを表示するための壁を含むビデオ・ウォールを用いてビデオ・コンテンツを表示することができる。この表面２３０はサイズおよび形状においてさまざまで良く、単独の壁に限定されることなく、部屋の中で好ましいだけの領域に広げることができる。さらに、表面２３０は必ずしも図示のようにテレビ受信機を囲む必要がなく、テレビ受信機を部分的に囲み、または壁もしくは複数の壁の他の場所に位置することができる。上述のように、サラウンド・ビジュアル・フィールドはテレビ受信機画面２１０に表示されるコンテンツに関連付ける各種特性を有することができる。サラウント・ビジュアル・フィールドを壁の表面に映写するために発明の各種実施形態を用いることができ、その内２つの例が以下に説明される。
【００２３】
図３はテレビ受信機３１０または他の表面に表示されるコンテンツを補足するためにサラウンド・ビジュアル・フィールドが直接一領域３３０に映写される一実施形態を示す。領域３３０は１つの壁にのみ示されるように図示されているが、使用される映写機３２０または部屋の構成により複数の壁に広がることができる。映写機３２０は映写されるサラウンド・ビジュアル・フィールドを制御する装置（図示されず）に統合されるか接続される。一実施形態では、この装置にテレビ画面３１０に表示されるビデオ・ストリームを提供することができる。別の実施形態でこの装置はテレビ画面３１０に表示されるコンテンツにサラウンド・ビジュアル・フィールドを映写に同期化するように制作されたデータを含むことができる。発明の各種実施形態において、オーディオ／ビデオ・ストリームは入力ストリームの１つ以上特性に関し分析され、サラウンド・ビジュアル・フィールドがテレビ画面３１０に表示されるコンテンツに同期化するよう正しく表現され、動画化される。
【００２４】
発明のさらに別の実施形態で、ビデオ表示とサラウンド・ビジュアル・フィールドがテレビ受信機、コンピュータ・モニタ、ラップトップ・コンピュータ、携帯装置等々表示装置の境界内で表示することができる。この特定の実施形態ではサラウンド・ビジュアル・フィールドを表示装置の境界を超えて広げる映写装置があってもなくても良い。表示装置の境界内に表示されるサラウンド・ビジュアル・フィールドは各種形状を有することができ、画像、パターン、テクスチャ、テキスト、変化する色、またはその他のコンテンツを含む各種のコンテンツを含むことができる。
【００２５】
図４は発明の別の実施形態による、サラウンド・ビジュアル・フィールドを提供する反射システムを示す。システム４００はサラウンド・ビジュアル・フィールドを生成する単独の映写機または複数の映写機４４０を含むことができる。発明の一実施形態では複数の光映写機４４０がビジュアル・フィールドを生成し、鏡面ピラミッド４２０に反射されて事実上バーチャル映写機を作り出す。複数の光映写機４４０は同じ映写機のハウジングに統合されるか、または別々のハウジングに収納されることができる。鏡面ピラミッド４２０はサラウンド・ビジュアル・フィールドの表示に好ましい領域に映写機からの光を反射することができる複数の反射面を有する。鏡面ピラミッド４２０のデザインはビジュアル・フィールドの表示に望まれる領域およびシステム内で使用される映写機の種類と台数によって異なることができる。さらに、映写機からのビジュアル・フィールドを望まれる表面に反射させるために他種の反射装置もシステム内で用いることができる。別の実施形態で、鏡面ピラミッド４２０の１つの反射面を使用し、事実上平面鏡を用いる単独の映写機を用いることができる。単独の映写機はまた鏡面ピラミッド４２０の複数面に映写することもでき、この場合複数のバーチャル光心が作られる。
【００２６】
発明の一実施形態で、単独または複数の映写機４４０はテレビ４１０の後にある壁４５０の表面に反射され映写されるサラウンド・ビジュアル・フィールド４３０を映写する。上述のように、このサラウンド・ビジュアル・フィールドは各種の画像、形状、パターン、テクスチャ、色、等々を含むことができ、テレビ４１０に表示されるコンテンツに各種の方法で関係することができる。
【００２７】
当業者であれば、サラウンド・ビジュアル・フィールドにおいて各種の効果を達成するためにシステム４００の中で各種の反射装置および構成を用いることができることを理解しよう。さらに、映写機４４０または複数の映写機はテレビ４１０またはテレビ４１０を収納する家具に統合されることができる。当業者であればさらに入力コンテンツおよびサラウンド・フィールドを表示するために、単独表示またはタイル表示のような表示セットを含むがこれらに限定されず１台以上のテレビを利用することができることを理解しよう。
【００２８】
［サラウンド・ビジュアル・フィールドの用途］
上述の説明は家庭用テレビおよび映写システム、劇場システム、表示装置、および携帯表示装置などのオーディオ／ビジュアル環境に関連したサランウド・ビジュアル・フィールドの使用について全般的に述べているが、発明は他の多数の環境に応用することができる。さらに、サラウンド・ビジュアル・フィールドを生成し制御するのに用いられるシステムは上述の基本的な実施をさらに補足する追加的機能を有することができる。下記にそのような例をほんの少数示し、当業者であれば以下に説明されない他の用途も本発明の範囲に入ることを理解しよう。
【００２９】
［ゲームの用途］
サラウンド・ビジュアル・フィールドは個人がやっているビデオ・ゲームの特性に関連して作成され制御されることができる。例えば、ユーザが左方向に動いている場合、前に表示された画面のコンテンツを縫い合わせてサラウンド領域の右側に表示することができる。ゲーム・コントローラの振動といった他の効果も振動の体験を増強するために、表示されるサラウンド・ビジュアル・フィールドに関連付けすることができる。一実施形態で、サラウンド・ビジュアル・フィールドはやっているゲームのビデオ・ストリームを処理して合成される。
【００３０】
［対話式サラウンド・ビジュアル・フィールド］
サラウンド・ビジュアル・フィールドはビデオを視聴し、音楽を聴き、ビデオ・ゲームをやる、等々のユーザによって対話式に制御することができる。一実施形態で、ユーザは表示されるサラウンド・ビジュアル・フィールドのある面を制御することができる。別の実施形態では、システムが動作している部屋における視聴者の場所に応答するなど、サラウンド・ビジュアル・フィールドがその環境を感知し、環境内のイベントに応答することができる。
【００３１】
サラウンド・ビジュアル・システムで視点補正を提供することもできる。視聴者がサラウンド・ビジュアル・システムの映写の瞬間中心と同じ位置にいないことがしばしばある。このような場合、サラウンド・ビジュアル・フィールドが部屋の三次元的形状によって歪んで見える可能性がある。例えば映写機の瞬間中心と視聴者の位置との間の不一致が原因で、均一なパターンが片側でより密集して見え、反対側ではよりまばらに見える可能性がある。しかし、視聴者の位置が感知できれば、システムはサラウンド・ビジュアル・フィールドの映写においてその不一致を補正することができる。この位置は、テレビのリモコンに配置されたセンサ（例、赤外ＬＥＤ）の使用を含む各種の手法を用いて感知することができる。ユーザが入力キューを提供できるようにカメラ、マイクロホンなど他のセンサ、およびゲーム・コントローラ、キーボード、ポインティング・デバイス等々など他の入力装置を用いることができる。
【００３２】
［センサ強化表示］
サラウンド・ビジュアル・フィールドのシステム内の構成要素に配置されるセンサを用いて構成要素間の正しい位置合わせおよび較正が維持されることを保証し、システムが具体的な環境に適合するようにし、および／あるいは入力キューを提供することができる。例えば、図３に示されるシステムにおいて、映写機３２０が映写領域の中でどこにテレビが位置するかを特定することが重要である。この特定により映写機３２０は（１）サラウンド・ビジュアル・フィールド（領域３３０内）をテレビ受信機の画面３１０の周囲に集中させ、（２）望ましい場合サラウンド・ビジュアル・フィールドがテレビに映写されるのを防ぎ、（３）サラウンド・ビジュアル・フィールドのパターンがテレビ受信機の表示とシームレスに合わされることを補助することができる。
【００３３】
一実施形態で、センサは映写または表示の光学系統とは別途に装着されることができる。別の実施形態ではセンサがビーム・スプリッタなどを用い映写機または表示の光路を共有するように設計されることができる。
【００３４】
さらに別の実施形態で、ある種の媒体はサラウンド・ビジュアル・フィールドで表示できる１つ以上のサラウンド・ビデオ・トラックを組み込むことができる。このような媒体の可能な一形態は光学上の幻影または強調を作り出すためにサラウンド・ビジュアル・フィールド内で適宜展開できる内蔵スプライトまたは動画化された視覚物体であり得る。例えば、表示ビデオ内の爆発をサラウンド・ビジュアル・フィールドで爆発効果をシミュレートすることによりテレビ受信機の境界を超えて延長することができる。さらに別の例では投げられた槍を、テレビ画面を超えて延長し、サラウンド・ビジュアル・フィールド内でその軌道を視覚化することができる。サラウンド・ビジュアル・フィールド内におけるこれらの延長は個人またはコンテンツ・プロバイダなどが制作し、表示されているメディア・コンテンツに同期化することができる。
【００３５】
テレプレゼンスおよび強化現実など他の実施も本発明により提供することができる。テレプレゼンスはサラウンド・ビジュアル・フィールドを用いて部屋以外の場所で取り込んだイメージを表示し視聴者が別の場所に運ばれるという錯覚を作り出す。例えば、海岸の行楽地または熱帯雨林からのパノラマ光景を示すパターンを壁上に表示することができる。加えて、各種サラウンド・ビジュアル・フィールドのシステムにおける視覚センサにより取り込まれたイメージを用いて実在および合成物体を混合したイメージを壁に作り出すことができる。
【００３６】
［サラウンド・ビジュアル・フィールドの動画化］
上述のように、本発明は表示されるオーディオ／ビジュアル・コンテンツに関係したサラウンド・ビジュアル・フィールドの生成と制御を可能にする。一実施形態で、サラウンド・ビジュアル・フィールドを通常のビデオ・ストリームからサンプリングした色に基づいてカラー化することができる。例えば、ビデオ・ストリームは支配的な色を表示する際サラウンド・ビジュアル・ストリームが特定のシミュレーションを表示している場合、サラウンド・ビジュアル・フィールドはそのフィールド内にこの支配的な色を反映することができる。サラウンド・ビジュアル・フィールド内の要素を支配的な色に変更することができ、サラウンド・ビジュアル・フィールド自体を支配的な色に変更することができ、またはサラウンド・ビジュアル・フィールドの他の特性を用いてビデオ・ストリーム内の色を補足することができる。このサラウンド・ビジュアル・フィールドのカラー化はカラーフィルタのシーケンス、稲妻、等々、通常のコンテンツにごく普通に使用される照明のムード効果を強化するために用いることができる。
【００３７】
さらに別の実施形態で、サラウンド・ビジュアル・フィールドのシステムは「サラウンド・サウンド」オーディオ・コンポーネントなどビデオ・ストリームのオーディオ特性に関係することができる。例えば、サラウンド・ビジュアル・フィールドはビデオ・ストリームのオーディオ部分の強度、オーディオ部分の音程、または他のオーディオ特性に応答することができる。このように、サラウンド・ビジュアル・フィールドはビデオ・ストリームの視覚コンテンツのみに限定されず、オーディオまたは他の特性関係することができる。
【００３８】
例示の目的で、ビデオ・コンテンツ内の動きを用いてサラウンド・ビジュアル・フィールド内の要素の動きを定義する実施形態を説明する。当業者であれば、オーディオ／ビジュアル・コンテンツの他の各種特性を用いてサラウンド・ビジュアル・フィールドを生成または制御することができることを理解しよう。さらに、サラウンド・ビジュアル・フィールドのキューまたはコンテンツは個人が制作し、表示されるコンテンツに関係し、および／あるいは同期化することができる。
【００３９】
［動きに関わるサラウンド・ビジュアル・フィールド］
図５は発明の一実施形態で、サラウンド・ビジュアル・フィールドを生成するためにビデオ・コンテンツ内の動きを用いる代表的なサラウンド・ビジュアル・フィールド・コントローラを示す。コントローラ５００は映写装置に統合され、映写装置に接続され、または他の方法で視聴領域に映写され表示されるサラウンド・ビジュアル・フィールドを制御するよう有効化されることができる。一実施形態で、コントローラ５００はビデオ信号を与えられ、これが続いて処理されビデオ信号の特性、またはキュー／制御信号に関して少なくとも１つのサラウンド・ビジュアル・フィールドを生成し制御する。例えばコントローラ５００は表示されるビデオ・コンテンツ内の動きに関係するサラウンド・ビジュアル・フィールドを表示し制御することができる。
【００４０】
一実施形態で、コントローラ５００は連続ビデオ・フレームのペア間の大域動きのモデルを作成する動き推定構成要素５１０、大域動きモデルをビデオ・フレームの境界を超えて外挿する動きフィールド外挿構成要素５４０、およびサラウンド・ビジュアル・フィールドとその中の要素を外挿動きモデルに関連して表示し制御するサラウンド・ビジュアル・フィールド動画化構成要素５５０を含む。一実施形態で、動き推定構成要素５１０は連続ビデオ・フレームのペア間の光学的流動ベクトルを特定する光学的流動推定構成要素５１５および特定された光学的流動ベクトルを用いて大域動きモデルを構築するグローバル動きモデル化構成要素５２５を含む。以下に各構成要素をより詳細に説明する。
【００４１】
［動き推定構成要素］
動き推定構成要素５１０はビデオ・フレームのペア間の動きを分析し、フレーム・ペア間の動きが推定できるモデルを作成する。モデルの精度はモデルを生成するために用いられた光学的流動ベクトルの密度、使用されるモデルの種類とモデル内のパラメータ数、およびビデオ・フレームのペア間における動きの量と一貫性を含むいくつかの要因に依存することができる。以下の実施形態は連続するビデオ・フレームに関して説明されている。しかし本発明はビデオ信号内における任意の２つ以上のフレーム間で動きを推定して外挿し、この外挿された動きを用いてサラウンド・ビジュアル・フィールドを制御することができる。
【００４２】
一例において、ビデオ信号内にコード化される動きベクトルを抽出してビデオ・フレーム間の動きの軌道を特定するのに用いることができる。当業者であればこれらの動きベクトルは各種のビデオコード化規格（例、MPEG、H.264、等々）に定義されるものを含み各種の方法でビデオ信号にコード化され、そこから抽出され得ることを理解しよう。以下さらに詳細に説明する別の例では、ビデオ・フレーム間の動きを描く光学的流動ベクトルを特定することができる。その他各種の方法を用いてビデオ信号内の動きを特定することができ、これらすべて本発明の範囲に入ることが意図される。
【００４３】
［光学的流動推定構成要素］
発明の一実施形態で、光学的流動推定構成要素は一対のフレーム間で複数の光学的流動ベクトルを特定する。ベクトルはピクセル対ピクセルのベクトルおよびブロック対ブロックのべクトルを含み各種の動き細分性において定義することができる。これらのベクトルを用いてフレーム間の動きを描く光学的流動ベクトル・フィールドを作成することができる。
【００４４】
ベクトルは相関法、コード化動きベクトルの抽出、時空的動きの勾配に基づく検出方法、特性に基づく動き検出方法、およびその他ビデオ・フレーム間の動きを追跡する方法を含む各種の手法を用いて特定することができる。
【００４５】
光学的流動を判定する相関法は第１画像の部分を類似する輝度パターンを有する第２画像の部分と比較することを含み得る。相関は通常画像の特性を一致させ、または一旦別の方法で特性が判定された後画像の動きを見出すために用いられる。
【００４６】
ビデオ・フレームのコード化において生成された動きベクトルを用いて光学的流動を判定することができる。通常、動き推定手順はコード化処理中に実施され、ピクセルの類似ブロックを特定し、複数のビデオ・フレームにまたがりこれらピクセルのブロックの動きを描く。これらのブロックは１６×１６マクロブロックおよびその中のサブブロックを含み、各種のサイズであり得る。この動き情報は抽出され、光学的流動ベクトル・フィールドを生成することができる。
【００４７】
光学的流動の勾配に基づく判定方法は画像の各点における画像の流れを推定するのに時空偏導関数を用いる。例えば、画像輝度関数の時空導関数を用いて輝度またはピクセル強度の変化を特定することができ、これらは画像の光学的流動を部分的に判定し得る。光学的流動を特定するのに勾配に基づく方法を用いると、観察された光学的流動が画像勾配の強い領域（例、縁）以外の領域における実際の画像流動からずれる結果になることがある。しかしこのずれもビデオ・フレームのペアに対し大域動きモデルを展開する場合許容できる程度であり得る。
【００４８】
特性に基づく光学的流動の判定方法はフレーム内で縁など、少数の明確な画像の特性における光学的流動を演算し分析することに的が絞られる。例えば明確な特性の組をマップして２つの連続ビデオ・フレーム間で動きを特定することができる。一連のフレームを通じて特性をマップし、より多数の連続ビデオ・フレームを通じてある特性の動きの進路を定義できる他の方法も知られている。
【００４９】
図６は発明の一実施形態による、連続するビデオ・フレーム間のピクセル・レベルにおける代表的な光学的流動ベクトルを示す。第１フレームのフレーム（ｋ−１）６１０内の第１組のピクセル点が特定される。この特定はそれ以前のフレーム内で特定された動き、ビデオ・フレーム６１０のコード化から抽出した動きベクトル情報に基づいて行なうことができ、無作為に生成、またはその他の方法で複数の点が選択されるように特定することができる。
【００５０】
第１ビデオ・フレーム６１０における位置から第２ビデオ・フレーム６２０における位置までのピクセルの二次元上の動きを描くベクトルが特定される。例えば、位置（ｘ1，ｙ1）６１１における第１ピクセルの動きは動きベクトル６４１によって第２フレームにおけるその位置（ｕ1，ｖ1）６２１に特定できる。光学的流動ベクトルのフィールドが第１フレーム６１０と第２フレーム６２０間のピクセルの動きを描く可変数（Ｎ）のベクトルを含むことができる。
【００５１】
図７は発明の一実施形態による、ブロック間の光学的流動ベクトルが特定される連続するビデオ・フレームのペアを示す。上述のように光学的流動ベクトルは第１フレーム、フレーム（ｋ−１）７１０と第２フレーム、フレーム（ｋ）７２０間でマクロブロックおよびその中のサブブロックを含むピクセル・ブロックの動きも描くことができる。これらのベクトルは、ビデオが表示装置で再生できるようにビデオ・ブロック間の動きと歪み双方が提供されるコード化されたビデオから抽出されることを含み、上述の各種手法を用いて生成することができる。抽出された動きベクトルを用いて光学的流動ベクトルのフィールドを次に生成することができる。光学的流動ベクトルのフィールドは動きの推定を行なうことによっても生成することができ、この場合第１フレーム７１０内のブロックは第２フレームにおいて同じまたはほぼ同じのピクセル値を有する類似ブロックを検索することにより第２フレーム７２０内で特定される。一旦各フレームでブロックが特定されると、ブロックの二次元上の動きを描く動きベクトルを生成することができる。
【００５２】
［大域動きモデル化構成要素］
光学的流動ベクトルを用いて連続するビデオ・フレームのペア間で起こる動きの大域モデルを生成することができる。特定された光学的流動ベクトルのフィールドを用い、ビデオ・フレームのペア間の動きをモデル化することができる。ビデオ・フレームのペア間の光学的流動を推定するのに各種モデルを用いることができる。通常モデルの精度はモデル内で定義されるパラメータの数およびそれらが表す動きの特性に依存する。例えば、３個のパラメータのモデルは２軸に沿った移動および関連回転角を表すことができる。４個のパラメータのモデルは２軸に沿った移動、回転角、およびフレーム内の動きを描く倍率を表すことができる。
【００５３】
発明の一実施形態で、ビデオ・フレーム内の動きをモデル化するのに「アフィン・モデル」（「AffineModel」）と呼ばれる６個のパラメータのモデルが用いられる。この具体的なモデルは移動ベクトル、回転角、２軸に沿った２つの倍率、および倍率の方位角を表す。全般的にこのモデルはビデオ・フレームのペア間の動きを表す回転、並進、拡張、およびずれの合成である。
【００５４】
大域動きモデル化構成要素５２５は光学的流動ベクトル・フィールドの情報を受信し、ビデオ・フレームのペア間の大域動きを推定する６個のパラメータのアフィン・モデルを生成する。このモデルからフレーム・ペア間の動きは次の２つの方程式により推定できる。
ｕ＝ａ1＋ａ2ｘ＋ａ3ｙ・・・（１）
ｖ＝ａ4＋ａ5ｘ＋ａ6ｙ・・・（２）
ここでａ1…ａ6はモデルのパラメータである。
６個のパラメータ、ａ1からａ6、を解くためには少なくとも３つの光学的流動ベクトルが前以て定義されている必要がある。しかし、モデルに望まれる精度により、モデルを作成する光学的流動ベクトル・フィールドはモデルの堅牢性と精度を向上させるためにより高い密度であることができる。
【００５５】
大域動きモデル化構成要素５２５は提供された光学的流動ベクトル・フィールドに関するパラメータを最適化することによりモデルを定義する。例えば、Ｎ個の光学的流動ベクトルおよび対応するＮ個の点のペア（ｘ1，ｙ1）…（ｘN，ｙN）と（ｕ1，ｖ1）…（ｕN，ｖN）が提供される場合、ａ1からａ6のパラメータは最適化計算または手順により解くことができる。
【００５６】
【数１】
2007272230.tif 000003
６個のパラメータを最適化してモデルと光学的流動ベクトル・フィールド間の最小エラーが特定されると、大域動きモデルが生成される。パラメータを最適化する１つの方法は光学的流動ベクトル・フィールドの各ベクトルに対し適合する最小二乗エラーである。光学的流動ベクトル・フィールドおよび対応モデル化ベクトル間で最小二乗エラーを提供するパラメータ値が選択される。
【００５７】
図８は発明の一実施形態による、大域動きモデル８１０内の動きベクトルをどのように生成できるかの例を示している。この例では（ｘi，ｙi）８２０に関する動きはアフィン・モデルの（ｕi，ｖi）８３０を計算する方程式８５０を解くことにより特定される。これらの２点から動きベクトル８２５を計算して大域動きモデル８１０を成長させるのに用いることができる。
【００５８】
大域動きモデルを生成するために上述の如くアフィン・モデルを使用することは他のモデルを除外する意図ではない。例えば、さらに三次元の回転を表す８個のパラメータのモデルも用いることができ、ビデオ・フレーム内の動きをより正確に描くことができる可能性がある。しかし、パラメータが増えるとモデルを構築し外挿するのにさらに演算が必要となる。従って当業者であれば大域動きモデルの望ましい精度およびシステムで利用可能な演算能力によって各種モデルを用いることができることを理解しよう。
【００５９】
図９は発明の一実施形態による、ビデオ・フレーム間の典型的な大域動きモデル９１０を示す。図はこれまでの図に示される４つの光学的流動ベクトルに関連する動きを推定する４つのベクトルを含む、モデル内の複数の動きベクトルを示している。
【００６０】
図１０Ａはビデオ・フレームにオーバーレイされた代表的な光学的流動ベクトル・フィールド１０１０を示し、図１０Ｂは代表的なベクトル・フィールドから生成され、同じビデオ・フレームにオーバーレイされた大域動きモデル１０３０を示す。これを検討することにより当業者であれば大域動きモデルを用いてビデオ・フレーム内のモデル化された動きをビデオ・フレームの境界を超えて外挿できることを理解しよう。
【００６１】
［動きフィールド外挿構成要素］
動きフィールド外挿構成要素５４０は大域動きモデルをビデオ・フレームの境界を超えて延長し、これらフレームの境界を超えたサラウンド・ビジュアル・フィールド内の要素がフレーム内の動きに応答できるようにする。発明の一実施形態で、（ｘN，ｙN）から（ｕN，ｖN）までの動きベクトルを定義するアフィン・モデルの方程式を用いてフレームの境界を超えて推定された動きを拡張し、ここで（ｘN，ｙN）はビデオ・フレームの境界を超えて位置する。
【００６２】
図１１は発明の一実施形態により実施できる典型的な動きの外挿を示す。やや上方への角度を持ち左の境界に向かう動きを持つ第１の動きベクトルの組１１２０が示される。この動きは大域動きモデルを用いることによりフレームの境界を超えて外挿することができる。それにより、ビデオ・フレームの境界を超えた第２の動きベクトルの組１１３０が生成される。別の例では、右回りの回転を有する第３の動きベクトルの組１１４０が示される。この回転の動きも大域動きモデルを用いることによりビデオ・フレームを超えて外挿することができ、その結果フレームの境界外に第４の動きベクトルの組１１５０が生成される。
【００６３】
これらの動きベクトル（例、１１３０，１１５０）を用いて、ビデオ・フレームの表示の周りに映写されるサラウンド・ビジュアル・フィールド、および・あるいはその中の要素、の動きを定義することができる。フレーム内の動きが変化するにつれ、大域動きモデルが応答し、その結果サラウンド・ビジュアル・フィールドが変化する。発明の一実施形態で、サラウンド・ビジュアル・フィールド内の要素はその後大域動きモデルを用いて外挿された動きベクトルに応答し、これらに制御される。
【００６４】
図１２は発明の一実施形態による、表示されたビデオ・フレームの周りのサラウンド・ビジュアル・フィールドの動きを制御するために用いることができる典型的な外挿された大域動きモデルを示す。フレーム内の大域動きモデル１２２０により定義されたベクトルが示され、フレーム自体の中の動きを推定する。このモデルはフレームの境界を超えて拡張され、外挿された大域動きモデル１２３０を提供する。外挿された大域動きモデル１２３０内のベクトルはサラウンド・ビジュアル・フィールド内の要素の動きを制御することができる。
【００６５】
サラウンド・ビジュアル・フィールドはビデオ・フレームを表示する装置に映写することもできる。この場合、サラウンド・ビジュアル・フィールド内における要素の装置上の動きはビデオ・フレームにおける動きを推定する大域動きモデル１２２０内のベクトルにより制御される。
【００６６】
［サラウンド・ビジュアル・フィールド動画化構成要素］
サラウンド・ビジュアル・フィールド動画化構成要素は映写されるサラウンド・ビジュアル・フィールドをビデオ・コンテンツの少なくとも１つの特性に従って作成、動画化、および維持する。一実施形態では上述のように、サラウンド・ビジュアル・フィールド内の要素が表示されるビデオ内の動きに関係して動く。
【００６７】
サラウンド・ビジュアル・フィールドは各種の手法を用いて生成され維持されることができる。発明の一実施形態で、サラウンド・ビジュアル・フィールド内要素はフィールド内で無作為に生成され、時間につれ次第に消える。次第に消えた要素に置き換わる別の要素が無作為にサラウンド・ビジュアル・フィールドに挿入される。これら別の要素も時間につれ減衰し次第に消える。サラウンド・ビジュアル・フィールド内における要素の減衰と要素の無作為の置き換えにより、要素の長期にわたる動きによりサランド・ビジュアル・フィールド内で要素が集中しまたはグループ化することを削減する。
【００６８】
［サラウンド・ビジュアル・フィールド要素の形状］
動きに加え、サラウンド・ビジュアル・フィールドの要素を含む他の特性も外挿大域動きモデルにより制御することができる。例えば、フィールド内の各要素の形状は大域動きモデル内のベクトルで決定されることができる。図１３は要素の形状が対応する動きベクトルに関連付けされる一方法を示す。
【００６９】
発明の一実施形態で、要素１３１０の形状は大域動きモデルに対する要素１３１０の位置に対応する動きベクトル１３２０に影響される。例えば要素１３１０は対応する動きベクトル１３２０の軸および動きベクトルの方向に与えられる加重に沿って拡張されることができる。図１３に示される例では、形状を変えた要素１３４０は動きの軸に沿って引き伸ばされ、その結果動きベクトルの方向に向かったより細い尾部１３６０とより広い頭部１３５０がもたらされる。
【００７０】
形状を変えた要素１３４０の他の特性も動きベクトル１３２０を反映するように変更できる。例えば形状を変えた要素１３４０の頭部における輝度は明るく、要素の尾部１３６０に近づくにつれ徐々に暗くなることができる。この動きに対する輝度の減退は要素がサラウンド・ビジュアル・フィールド内で動く際知覚される動きのブレを増強することができる。
【００７１】
さらに別の実施形態で、要素の形状は要素自体に関係する連続した動きベクトルの動きに対応することができる。図１４は要素の形状と動きが大域動きモデル内で時間につれ生じる複数の動きベクトルに従って定義されることができる。この実施形態で、要素は２つのビデオ・フレームのペアからモデル化された２つの連続した動きベクトル１４１０，１４２０に対して動く。２つのベクトルで定義された軌道は第１ベクトル１４１０の終りと第２ベクトル１４２０の初めに鋭い旋回を含む。この旋回により軌道に従う要素の動きを見る場合質が落ちる可能性があり、要素が動く時にひきつる可能性がある。
【００７２】
軌道は急な動きの変化を含まない曲線軌道１４３０に円滑化することができる。この円滑化は各種の数学方程式およびモデルによって行なうことができる。例えば、形状を変えた要素１４５０は曲線１４３０に沿って要素１４５０が引き伸ばされる形で曲線軌道を反映することができる。形を変えた要素１４５０の輝度は変化することができ、動きの様子をさらに増強するために点の頭部近くの輝度が最も明るく、尾部に近づくにつれ徐々に明るさを減らすようにすることができる。
【００７３】
当業者であればサラウンド・ビジュアル・フィールドの動きを強調するために要素の形状を変更させる方法は他にもあることを理解しよう。
【００７４】
図１５は発明の一実施形態によるサラウンド・ビジュアル・フィールドを含むビデオ・プレゼンテーションを示す一例である。この例で、画面１５１０上では左回りの動きがフレーム内で支配的であるビデオが表示されている。この支配的動きはモデル化、外挿され、サラウンド・ビジュアル・フィールド１５３０を動画化するために用いられる。この具体的な例ではサラウンド・ビジュアル・フィールド１５３０も左回りで回転しており、それにより画面１５１０内の動きを増強している。このサラウンド・ビジュアル・フィールドは個人に対し動きが表示される領域を大幅に広げビデオ自体の没入効果を高める可能性がある。
【００７５】
［三次元サラウンド環境の作成］
実施形態において、各種手法を用いて通常の表示の視野を向上させる対話式で没入型の三次元（３Ｄ）環境を作成することができる。例えば、地形、海、等々の自然現象の三次元環境を合成し、サラウンド・ビデオ・フィールドとして二次元描写を表示することができる。前述のとおり、本発明の実施形態は入力ストリームの関連する１つ以上のキューまたは制御信号を用いサラウンド・フィールド・プレゼンテーションを作成することにより娯楽システムの没入を向上させることができる。実施形態において、三次元環境は対話的であり得、入力ストリームの変化に応答して例えば情景照明、カメラの動き、オーディオ等々環境内の要素が変化する。
【００７６】
実施形態において、対話性は物理的シミュレーションを用いて達成でき、この場合サラウンド情景の１つ以上の力学または要素は入力ストリームに関連する１つ以上のキューまたは制御信号によって制御される。一実施形態で、これらの三次元サラウンド・シミュレーションをリアルタイムで表現するために入力ストリームからのデータを使用し、画像ベースの１つ以上の表現アルゴリズムを用いることができる。一実施形態で、サラウンド・フィールドは画像ベースの表現および制作されたキューおよび／あるいは制作されたコンテンツを含むがこれらに限定されず予め演算されたデータから生成されることができる。
【００７７】
［サラウンド・フィールド・コントローラ］
図１６は発明の一実施形態による代表的なサラウンド・フィールド・コントローラ１６００を示し、ここでキューまたは制御信号は入力ストリームから抽出され、または他のソースから受信され、サラウンド・フィールドを生成するために用いられる。コントローラ１６００はディスプレー装置（映写装置を含むとみなされる）の中に統合され、ディスプレー装置に接続され、または他の方法で視聴領域に表示されるサラウンド・フィールドの制御を可能にされている。コントローラ１６００はソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わせにおいて実施され得る。一実施形態で、コントローラ１６００は少なくとも１つのサラウンド・ビジュアル・フィールドを生成し、および／あるいは制御するために後に処理され得る１つ以上の入力信号を受信する。
【００７８】
図１６に描かれるように、コントローラ１６００は制御信号またはキュー抽出構成要素１６１０を含み、これは入力オーディオ／ビデオ・ストリーム、入力装置（ゲーム・コントローラなど）、１つ以上のセンサ（リモコンに含まれる位置センサなど）、および埋め込まれまたは制作された制御信号または制作されたコンテンツを含む多種のソースから制御信号を抽出または引き出す複数の抽出構成要素１６１２〜１６２０を含むことができる。例えば、コントローラ１６００は表示されているコンテンツ内の動きに関連するサラウンド・ビジュアル・フィールドを表現し制御することができる。一実施形態で、制御信号抽出構成要素１６１０が前述のようにビデオから動きのキューまたは制御信号を取得することができる。一実施形態で、制御信号抽出構成要素１６１０はオーディオ・チャンネル間の位相差、音量レベル、オーディオ周波数分析等々のオーディオ信号を用いてオーディオ信号から制御信号を取得することができる。一実施形態で、コンテンツ・プロバイダが入力ビデオ・ストリームに制御信号を埋め込み、またはデータ・チャンネルに制御信号を含むことができる。
【００７９】
一実施形態で、制御信号抽出構成要素１６１０はサラウンド・ビジュアル・フィールド生成／動画化構成要素１６５０に結合していることができる。「結合」または「通信上結合」の用語は、モジュール、装置、またはシステムのいずれに関して用いられようと、直接接続、１つ以上の中間装置を通じた間接接続、および無線接続を含むと理解される。抽出された制御信号はサラウンド・フィールド生成構成要素または動画化構成要素１６５０に供給され、これが制御信号を用いてサランド・フィールドを作成または合成する。サラウンド・フィールド生成構成要素１６５０は図５に関連して説明されたように１つ以上のサブコンポーネントまたはモジュールで構成されることができる。実施形態において、サラウンド・フィールド生成構成要素１６５０は物理ベースのモデル化と制御信号を用いて三次元環境を生成し、サラウンド・フィールドの要素をして写実的に反応させることができる。サラウンド・フィールド生成構成要素１６５０の実施形態は画像ベースの手法および／あるいは制作されたコンテンツなどの予め演算されたデータを用いてサラウンド・フィールドを生成することができる。実施形態において、サラウンド・フィールド生成構成要素１６５０は非写実的効果、または動きの延長もしくはハイライト、情景延長、色延長もしくはハイライト等々補足効果を生成することができる。
【００８０】
サラウンド・フィールド生成構成要素または動画化構成要素１６５０はサラウンド・フィールドを作成する際２つ以上の制御信号を用いることができる。実施形態において、生成構成要素１６５０はサラウンド・フィールドにおける要素がコンテンツ制作者のデザインと一致するよう動画化するために複数の制御信号を用いることができる。生成構成要素１６５０はさらに制御信号を使用または比較することにより相反する制御信号を解決するための判定を簡略化することができる。
【００８１】
実施形態において、コントローラ１６００はコンテンツ・プロバイダが提供するサラウンド・フィールド情報に基づきサラウンド・フィールドを動画化できる。例えば、ビデオ・ゲームまたは映画のプロバイダは入力ストリームと併せてサラウンド・フィールド情報を制作または含むことができる。一実施形態で、サラウンド・フィールドは完全に制作されることができる。別の実施形態で、サラウンド・フィールドは部分的に制作されることができる。実施形態において、１つ以上の制御信号が提供され、提供された制御信号に関連したサラウンド・フィールドが生成され得る。
【００８２】
コントローラ１６００の特定の構成は本発明に全く重要でないことが特記される。当業者であれば他の構成または機能性がコントローラから除外され、またはこれに含まれることができ、そのような構成は発明の範囲内であることを理解しよう。
【００８３】
［画像およびビデオからの動画化制御信号の誘導］
前記考察のとおり、サラウンド・ビデオに表示される要素は入力ストリームから抽出された制御信号またはキューに基づき動画化され得る。一実施形態で、入力ストリームからの制御信号は１つ以上のソースから取得することができ、これにはビデオ・フレーム（色および動きなど）、オーディオ・チャンネル、ゲーム・コントローラ、入力センサから得られた視聴者の位置、リモコン、および他のセンサからの入力が含まれるが、これらに限定されるものではない。実施形態において、１つ以上のキューで駆動され、またはそれに関連する１つまたは複数の動画制御信号が演算され得る。
【００８４】
［光源］
一実施形態で、入力制御信号を用いて三次元サラウンド環境における単独または複数の光源の位置、輝度、および／あるいは色を制御することができる。例えば、ソースのビデオが例えば光、月、太陽、車のヘッドライト等々明るい物体が左から右へなど、ある方向に動いているのを表示する場合、その明るい物体と同じ色のバーチャル光源も３Ｄサラウンド環境内で同じ方向に動くことができ、表面の陰影の差および影の動きにより情景の様相に変化を引き起こすことができる。情景におけるバーチャル光源はさらにビデオ・フレームの全体的な輝度に基づきその輝度を変化させることができる。
【００８５】
［風フィールド］
別の説明例においてソースのビデオ・ストリームにおける動きをさらに用いて３Ｄサラウンド環境内で風フィールドを生じさせることができる。例えば、物体がビデオを横切って動いた場合、バーチャル三次元サラウンド・フィールドに風フィールドに生じさせ、情景内の要素を同じ方向に動かすことができる。つまり、例えば樹木など情景内の要素は風フィールドに関連して動き、または揺れることができる。
【００８６】
［かく乱］
一実施形態で、１つ以上の入力キューから検出されたイベントは三次元サラウンド環境においてかく乱を導入するために用いることもできる。実施形態において、ビデオがわずかまたはゼロの動きの期間からたくさんの動きがある情景に移行する場合、「かく乱」イベントを導入しサラウンド情景における要素がイベントに反応できるようにしても良い。
【００８７】
例示として魚が泳いでいるサラウンド情景を考察する。１つまたは複数の入力キューがオーディオ音量の劇的な増加、および／あるいはビデオ内の急激な動きなどかく乱イベントを示す場合、魚はかく乱が導入されるとより高速に素早く動き、泳ぐことができる。一実施形態で、魚はかく乱の中心点と見られる位置から泳いで離れるようにさせることもできる。
【００８８】
［三次元サラウンド・フィールドの合成］
本発明の一態様は三次元環境の合成で、これは次にサラウンド・フィールドとして表示できる。実施形態において、サラウンド・フィールドは当業者に周知の物理ベースのシミュレーションおよび表現手法を用いて合成することができる。一実施形態で、山、森、波、雲等々の自然現象の写実的な背景を合成することができる。実施形態において、他の背景または環境が描写され、少なくとも部分的に１つ以上の制御信号に従い反応し得る。対話式コンテンツを生成しサラウンド・フィールドで表示するには二次元および／あるいは三次元シミュレーションを入力ストリームから抽出された制御信号に結合され、または信号が提供されることができる。
【００８９】
例示の目的からパーリン・ノイズ関数（Perlinnoisefunction）により力学が近似される以下の３Ｄシミュレーションの実施形態を考察する。パーリン・ノイズ関数はコンピュータ・グラフィックスで地形、テクスチャ、および水のモデル化に広く使用され、これは次において考察される。KenPerlinの「画像シンセサイザ」（「Animagesynthesizer」）、ComputerGraphics（ProceedingsofSIGGRAPH1985）、Vol.19、２８７−２９６頁、1985年7月、ClaesJohansの「リアルタイムの水の表現」（「Real-timewaterrendering」）、MasterofScienceThesis、Lund大学、2004年3月、およびKenPerlinとEricM.Hoffertの「ハイパーテクスチャ」（「Hypertexture」）、ComputerGraphics（ProceedingsofSIGGRAPH1989）、Vol.23、２５３−２６２頁、1989年7月。これらは各々言及により全体として本明細書に組み入れられる。本明細書で説明される手法は物理ベースのシステムを含むがこれに限定されず、他種の３Ｄシミュレーションに拡張し得ることが特記される。
【００９０】
一次元パーリン関数は異なった振幅および周波数におけるいくつかのノイズ・ゼネレータＮｏｉｓｅ（ｘ）を合計することにより得られる。
【００９１】
【数２】
2007272230.tif 000004
関数Ｎｏｉｓｅ（ｘ）はシードされた乱数ゼネレータ（seededrandomnumbergenerator）で、入力パラメータとして整数を取り、入力に基づいた乱数を戻す。ノイズ・ゼネレータの数はパラメータｏｃｔａｖｅｓによって制御でき、各レベルにおける周波数は二乗で増分される。パラメータαは各レベルの振幅を制御し、βは全体のスケーリングを制御する。方程式（４）の二次元版を用いると自然に見える地形をシミュレートすることができる。方程式（４）の三次元版を用いると水のシミュレーションを作成することができる。
【００９２】
リアルタイムで水をシミュレートするためのパラメータは入力ビデオ・ストリームを用いて応答式三次元サラウンド・フィールドを合成することにより駆動される。カメラの動き、光源、および三次元の水のシミュレーションはビデオからサンプリングされた動きベクトル、色、およびオーディオ信号に結合することができる。
【００９３】
一実施形態で、バーチャル・カメラの動きは入力ビデオ・ストリームの主要な動きに支配されることができる。前述のような三次元シミュレーションの応答式「フライスルー」（「fly-through」）を作成するには前述のようなアフィン動きモデルをビデオ・ストリームからの動きベクトルに合わせることができる。アフィン動きフィールドは画像中心（ｃx，ｃy）周囲でパン、ティルト、およびズーム成分に分解させることができる。これらの３成分を用いてシミュレーションにおいてカメラの動きを制御することができる。
【００９４】
図１７は入力ビデオ・ストリーム１７１０および動きベクトル・フィールド１７４０を表し、パン・ティルト・ズーム成分は動きベクトル・フィールドから演算されることができる。一実施形態で、パン・ティルト・ズーム成分はある中心１７５０から等距離にある４点１７６０Ａ〜１７６０Ｄにおける動きベクトルの投射を演算することにより得ることができる。４点１７６０Ａ〜１７６０Ｄおよび投射の方向が図１７に描かれている。
【００９５】
パン成分は画像中心１７５０の周囲にある４つの対称点（ｘi，ｙi）１７６０Ａ〜１７６０Ｄの速度ベクトル（ｕi，ｖi）を合計することにより得られる。
【００９６】
【数３】
2007272230.tif 000005
【００９７】
ティルト成分は同じ４点における速度ベクトルの垂直成分を合計することにより得られる。
【００９８】
【数４】
2007272230.tif 000006
【００９９】
2007272230.tif 000007
【０１００】
【数５】
2007272230.tif 000008
【０１０１】
一実施形態で、制御信号を用いて三次元合成内の光源を制御することができる。三次元のシミュレーションには通常表現される出力の最終的な色を制御する表現パラメータがある。合成環境における色合いは入力ストリームから抽出される１つ以上の色値により制御または影響され得る。一実施形態で、三次元環境は三次元光源Ｃlight、全体的な明るさＣavg、および周囲の色Ｃambにより制御または影響され得る。一実施形態で、ビデオの各フレームに対し平均輝度、最も明るい色、および中央値の色を演算し、これらの値を各々Ｃavg、Ｃlight、および、Ｃambに割り当てることができる。当業者であれば他の色値または色サンプリングの頻度を用いられることを理解しよう。
【０１０２】
一実施形態で、シミュレーションの力学は方程式（４）のパラメータαおよびβにより制御することができる。例示として、水のシミュレーションにおいて、パラメータαは水の波紋量を制御し、パラメータβは波の全体的なサイズを制御する。一実施形態で、これら２つのシミュレーション・パラメータは次のようにオーディオ振幅Ａampと動き振幅Ｍampに結合することができる。
【０１０３】
【数６】
2007272230.tif 000009
【０１０４】
【数７】
2007272230.tif 000010
【０１０５】
ここでＭamp＝Ｖpan＋Ｖtilt＋Ｖzoom；ｆ（Ａamp）とｇ（Ｍamp）はパラメータを許容間隔（αmin，αmax）と（βmin，βmax）との間で変化させる線形関数である。上記方程式の結果、シミュレーションは入力ビデオ・ストリームのオーディオおよび動きイベント双方に応答する。
【０１０６】
コンピュータ・アニメーションを含む、シミュレーションおよび表現手法の当業者であれば、サラウンド・フィールド生成のための他の実施形態に気づくであろうが、そのような実施形態は本発明の範囲に含まれる。
【０１０７】
［静止情景］
当業者であれば自然、田舎、都会、屋内、屋外、超現実、幻想等々任意の静止情景がサラウンド・フィールドで用いられることを理解しよう。森、空、砂漠などの情景の三次元モデルは入力ストリームからの光源で制御され得る静止情景のサラウンド・ビデオに良く適している。
【０１０８】
図１８に描かれる三次元サラウンド背景１８３０を考察する。描写例において、サラウンド・フィールド１８３０は地形の背景情景で、照明は入力ビデオ・ストリーム１８１０の光源に関連している。サラウンド・フィールド１８３０の照明を三次元環境でモデル化するために光源（この場合は太陽）の位置、輝度、および色など入力ビデオ１８１０に関連するキューを用いることができる。太陽が異なったビデオ・フレームを通して昇るにつれ、サラウンド・フィールド１８３０は入力ストリーム１８１０における日の出の三次元モデル化に応答して、濃淡と影を含み色と照明を変化させることができる。図１８Ａと１８Ｂに描写されるように、入力ストリームの照明状態が変化するにつれ、それらの変化は三次元環境においてモデル化され、サラウンド・フィールドの地形はその変化する状態に応答する。
【０１０９】
［動的情景］
前述のように、入力ビデオに応答して動くサラウンド・ビデオを生成すると強力な没入感を作り出すことができる。実施形態においてこの効果を達成するために、背景の部分が数的にシミュレートされるか、あるいは物理の法則を用いて動画化することができる。サラウンド・フィールドの実際的な外見を向上させるために数学的方程式またはモデルを用いることができる。実施形態において、初期条件および境界条件を設定し、物理ベースの動画化を用いることにより、入力ストリームに関連する制御信号をモデルに適用し、サラウンド・フィールド内の要素のインタラクションを生成するために用いることができる。物理ベースの動画化は数字的シミュレーションを含み、または運動法則、流体力学等々周知の数学的関係を適用することができる。このような方法および他の方法はコンピュータ・アニメーションの当業者にとって知られており、本発明の範囲に含まれる。
【０１１０】
物理ベースのモデル化を使用して、サラウンド・シミュレーションは入力ストリームから引き出された制御信号を用い駆動され、実際的なサラウンド・フィールドのインタラクションを得ることができる。例えば、入力ビデオからの動きベクトルを用い、サラウンド・フィールドのシミュレーション状態に影響する外的な風を作り出すことができる。別の説明例として、オーディオ・トラックにおける突然の音を用い、水のシミュレーションに波紋を作り出し、またはオーディオ・キューに応答してサラウンド・フィールド内の要素を動かすことができる。
【０１１１】
図１９Ａ〜図１９Ｄに描かれる画像を例として考察する。入力ストリーム１９１０は光源１９２０を含む。光源１９２０の位置、輝度、および色などストリームから抽出された制御信号を用い、三次元サラウンド・フィールド要素を照らすことができる。例えば水の表面に反射される光１９２５が特記され、これは光源１９２０が三次元サラウンド環境内にあった場合の効果を表している。
【０１１２】
サラウンド・フィールドのモデル化は入力ストリーム１９１０およびサラウンド・フィールド１９３０間の連続性を提供することも含み得ることが特記される。例えば図１９Ｂに描かれるように、光源１９２０が入力ストリーム１９１０のフレームから外れると、光源１９２０Ｂがサラウンド・フィールド１９３０内の要素となり、入力ビデオ１９１０に存在していた間と同じ動き軌道に沿って移動を続けることができる。
【０１１３】
描かれた実施形態において、図１９Ｃで起こった突然の爆発的イベントはサラウンド・フィールドの反応をどのようにモデル化できるかを示す。ビデオ・ストリーム１９１０に示される爆発における１つの色または複数の色に関連して背景と水双方の色が変化することができる。さらに、水の表面も図１９Ｃに描かれる爆発的イベントに関連して乱されている。爆発など１つのキューがサランド・フィールドにおいて１つ以上のモードに作用し得ることが特記され、この場合水の色と動きに作用している。水の実際的な動きは爆発の強さおよび位置など入力ストリームからのキュー、および物理ベースの動画化により決定され、後者には「実践的な液体アニメーション」（「PracticalAnimationofLiquids」）、ProceedingsofACMSIGGRAPH2001、ComputerGraphicsProceedings、AnnualConferenceSeries、２３−３０頁、2001年8月においてNickFosterおよびRonaldFedkiwにより開示される方法を含むがこれらに限定されない。同文献は言及により全体として本明細書に組み入れられる。図１９Ｄはさらに入力ストリームにおける爆発が鎮まるにつれサラウンド・フィールドの色が変わり、水が落ち着くところを示す。
【０１１４】
［サラウンドの表現］
高解像度サラウンド・ビデオ・フィールドをリアルタイムで表現するのは演算能力を集約的に使用する可能性がある。実施形態において、演算量を削減するために混成表現システムを用いることができる。一実施形態で、混成表現システムは情景の静止部分に画像ベースの手法を、情景の動的部分に光輸送ベースの手法を用いることができる。画像ベースの手法は通常基準画像など予め演算されたデータを用い、高速処理ができる。一実施形態で、自然現象の実際のシーケンスなど制作されたコンテンツまたは画像を用いることにより必要とされる演算量を削減することができる。
【０１１５】
［非写実的なサラウンド］
現実的な三次元サラウンド・フィールドのモデル化に加え、非現実的サラウンド・フィールドを含むがこれに限定されず、他のサラウンド・フィールドも描き得ることが特記される。一実施形態で、非写実的サラウンド背景は入力ストリームから引き出された制御信号から直接合成できる。例えば、図２０に示す入力光景２０１０からの色を用いてサラウンド背景２０３０を合成することができる。この例において、各行の背景色は入力光景に沿って中央色値を演算することにより得られる。当業者であれば、各種の非現実的／非写実的サラウンド・フィールドが表示され得、これにはアクション・ライン、動きまたは色のハイライト、漫画的環境の作成が含まれるがこれらに限定されないことを理解しよう。さらに図２０に示されるように、入力ストリームはビデオ・データに加え画像も含むと理解されることが特記される。
【０１１６】
当業者であればさまざまな種類およびスタイルのサラウンド・フィールドを表現することができ、本発明の範囲内にあることを理解しよう。当業者であれはいずれの特定のサラウンド・フィールド、または入力ストリームに関するキューの取得方法、またはサラウンド・フィールドをモデル化しもしくはそれに作用する方法も本発明に不可欠ではないことを理解しよう。さらに、サラウンド・フィールドの一要素とはサラウンド・フィールドまたはピクセル、ピクセルの集まり、および得が枯れ他画像またはオブジェクト、または描かれた画像もしくはオブジェクトのグループを含むがこれらに限られず、その一部分を意味するとみなされることが理解される。
【０１１７】
［１つまたは複数の空き表示領域の利用］
前述のように、発明の実施形態においてビデオ表示およびサラウンド・ビジュアル・フィールドはテレビ受信機、コンピュータ・モニタ、ラップトップ・コンピュータ、携帯装置、ゲーム装置など、従来の表示装置の境界内で表示することができる。
【０１１８】
例えば映写機、ＬＣＤパネル、モニタ、テレビ受信機、等々の表示装置は必ずしもその表示能力を全部利用しない。図２１Ａおよび２１Ｂは入力ストリーム２１１０からコンテンツを提示する際に存在する未使用ピクセルなど空き表示領域の２つの例を示す図２１Ａはレターボックス・フォーマットの入力ストリーム２１１０Ａを標準ディスプレー２１００Ａにて提示するところを示す。ビデオ・コンテンツのアスペクト比がディスプレーのアスペクト比と異なるため、ディスプレー２１００Ａの上側と下側に未使用の表示領域２１３０Ａが存在する。図２１Ｂは例えば映写機（図示せず）などで壁に表示された画像２１００Ｂを示す。図２１Ｂに示すように、台形像効果（key-stoning）およびズームなど通常の操作により主表示領域２１１０Ｂの周囲に未使用の領域２１３０Ｂが作り出される。このように、本発明の一態様はこの未使用または空き表示領域２１３０を利用することに関わる。
【０１１９】
本発明は主表示内の空き表示領域２１００を利用することにより没入効果を生み出す。本発明の実施形態は使用しない限り空いている表示領域のすべてまたは一部を用いることができる。実施形態において、空き表示領域にリアルタイムの対話式な縁を表示することができる。
【０１２０】
実施形態において、テクスチャ合成アルゴリズムを用いて空き表示領域に表示する縁を合成することができる。用いられるテクスチャ合成アルゴリズムは「テクスチャ合成および移転用画像キルティング」（「Imagequiltingfortexturesynthesisandtransfer」）、ProceedingsofACMSIGGRAPH2001、ComputerGraphicsProceedings、AnnualConferenceSeries、３４１−３４６頁、2001年8月、においてAlexeiA.EfrosおよびWilliamT.Freemanにより説明されたもの、ならびに「グラフカット・テクスチャ：グラフカットを用いた画像およびビデオ合成」（「Graphcuttextures:Imageandvideosynthesisusinggraphcuts」）、ACMTransactionsonGraphics、２２（３）：２７７−２８６、2003年7月、においてVivekKwatra、ArnoSchｏdl、IrfanEssa、GregTurk、およびAaronBobickにより説明されるものが含まれるがこれらに限定されず、各々言及により本明細書に全体として組み入れられる。実施形態において、合成された縁は合成処理を誘導するために入力ビデオ・ストリームからの色および縁情報を用いることができる。さらに、合成されたテクスチャは入力ストリームからの２Ｄ動きベクトルに応答するよう動画化することができ、これは「例に基づく合成におけるテクスチャの最適化」（「Textureoptimizationforexample-basedsynthesis」）、ProceedingsofACMSIGGRAPH2005、においてVivekKwatra、IrfanEssa、AaronBobick、およびNipunKwatraにより説明される手法に類似しており、これは言及により本明細書に全体として組み入れられる。当業者に知られる他のアルゴリズムを用いることもできる。
【０１２１】
リアルタイムの性能を向上させるために、別の実施形態は入力ビデオ・ストリームのフレームに対し縁付きの空間的に拡張された画像を合成することに関わることができる。上記手法を含むがこれらに限定されず、コンピュータ・グラフィックス手法を用い、入力ビデオ・ストリームにリアルタイムで応答する没入型の縁を作り出すことができる。
【０１２２】
一実施形態で、入力フレーム周囲の空き表示領域を利用する一態様はバーチャル光源で照明される背景平面を表示することに関わり得る。一実施形態で、これらバーチャル光源の色は入力ストリームの１つ以上の色と一致するように適合できる。一実施形態で、光源は入力ビデオ・ストリームの１つ以上の支配的な色に一致することができる。
【０１２３】
例として、図２２に描かれる４つの光源２２００ｘ−１〜２２００ｘ−４に照明されるバンプ・マップの背景板２２３０を考察する。一実施形態で、平面２２３０の各点における照明はテクスチャ・マップおよび法線マップにより影響され得る。法線マップは二次元の高さフィールドで、表面法線を乱すために用いられ、これは光がどのように表面から反射するかに影響する。バンプ・マップはしばしばコンピュータ・ゲームにおいて、真の三次元モデルを必要とせずに表面にしわや窪みを作るために用いられる。図示された実施形態において、４点の光源の組２２００ｘ−１〜２２００ｘ−４が使用される。一実施形態で、光源の位置は入力ビデオの４つの角に対応することができる。本発明にとって光源の数または構成のいずれも肝要ではないことが特記される。
【０１２４】
実施形態において、背景板の外観は１つ以上の光源によって影響され得る。図示される例において背景板は光源がそれに近づけられると光源からの光を反射する。例えば２２００Ａにおいて、光源２２００Ａ−１〜２２００Ａ−４は板２２３０から離れている。従って光源２２００Ａ−１〜２２００Ａ−４はより小さな点の光源で、明るさが限定されて見える。光源が板２２３０に仮想的に近づけられると、より明るく照らされる。光のパターンが変化すること、バンプ・マッピングにより不連続な深度の領域（例えば大陸の縁付近）において影が現れること、マップの色も影響され得ること、および光源２２００ｘ−１〜２２００ｘ−４は独立して動かせることが特記される。実施形態において、光源の色は入力ストリームの色に関連づけるために調節され得る。
各光２２００ｘ−１〜２２００ｘ−４の色は入力画像の角付近の一部をサンプリングし、中央値の色を演算することにより得ることができる。実施形態において、単純な経験測（heuristics）を用いて色の変化を判定することができる。他の実施形態において、平均値シフト（MeanShift）を含むがこれに限らず、より高度なサンプリング手法を用いて光源２２００ｘ−１〜２２００ｘ−４の色を割り当てることができる。
【０１２５】
一実施形態で、本発明は背景画像を合成するために自己遮蔽（self-shadowing）およびバンプ・マッピングに加え、拡散および鏡面照明（specularlighting）を実施することができる。図２２における背景画像は自己遮蔽とバンプ・マッピングに加え、拡散および鏡面照明を利用して合成したサラウンド・ビジュアル・フィールドの例を示す。
【０１２６】
図２３は入力画像に対し点光源による照明でもたらされたバンプ・マップのサラウンド・ビジュアル・フィールドの縁を示す。ディスプレー２３００Ａは自然情景を描く入力ストリーム画像２３１０および空き表示領域２３２０の部分を含む。入力ストリーム画像２３１０の一部から明るさと色を取った光で照明されたバンプ・マップのテクスチャ背景を利用し、没入効果を向上させるために空き表示領域２３２０にサラウンド・ビジュアル・フィールド２３３０を生成し提示することができる。色および／あるいは輝度を入力ストリーム画像２３１０の部分に関連付けることによりサラウンド・ビジュアル・フィールドを向上させるために制御信号またはキューを入力画像２３１０から抽出することができる。例えば、画像２３１０Ａの明るい部分に近いサラウンド・ビジュアル・フィールド２３３０Ａの領域は色および輝度において関連していることができる。図２３に示すように自己遮蔽のバンプ・マップ背景は、光と影が視野を拡張し、入力ビデオ・ストリームに動的に応答するのでディスプレー２３００Ｂの没入感をかなり向上させる。表示された画像はリアルタイムで生成され、Direct3DHLSLシェーディング言語（shadinglanguage）を用いてグラフィックス・プロセッサで実施された。
【０１２７】
実施形態において、空き表示領域に表示されるサラウンド・ビジュアル・フィールドを用い、ムード照明を作成することができ、これは入力ストリームから抽出される１つ以上の制御信号に基づき変化または変更することができる。あるいは、空き表示領域に表示されるサラウンド・ビジュアル・フィールドは制作または生成された特別の縁を有することができる。例えば縁はロゴ、テキスト、文字、図形、または他の要素を含み得る。このような要素は入力ストリームに関連し、入力ストリームから抽出された１つ以上の制御信号に基づき変化または変更することができる。
【０１２８】
ディスプレーの空き表示領域を利用してサラウンド・ビジュアル・フィールドを表示することは本明細書で開示された実施形態に限定されないことが特記される。ディスプレー装置の境界内に表示されるサラウンド・ビジュアル・フィールドは前記で考察した装置または方法のいずれかまたはすべてを用いることができ、動き、画像、パターン、テクスチャ、テキスト文字、図形、変化する色、数が変化する光源、サラウンド・ビジュアル・フィールドの三次元合成、および他のコンテンツおよび効果など各種コンテンツまたは効果を含むがこれらに限定されない。同様に、空き表示領域の利用に関連して説明された実施形態のいずれも本明細書で言及されたものを含みサラウンド・ビジュアル・フィールドの方法およびシステムで用いることができる。
【０１２９】
本発明の実施形態はさらに各種コンピュータ実施の操作を実行するためのコンピュータ・コードを有するコンピュータ読み取り可能な媒体を有するコンピュータ製品に関係することができる。媒体およびコンピュータ・コードは本発明の目的のために特別に設計され構成されたものであり得、または関連技術に熟練した者が知り、利用できる種類のものであり得る。コンピュータ読み取り可能な媒体の例は、ハード・ディスク、フロッピー（登録商標）・ディスク、および磁気テープなどの磁気媒体、ＣＤ−ＲＯＭおよびホログラフィー装置などの光媒体、光磁気媒体、および特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フラッシュ・メモリ・デバイス、およびＲＯＭとＲＡＭデバイスなど、プログラム・コードを格納し、または格納して実行するように特別に構成されたハードウェア・デバイスを含むが、これらに限定されない。コンピュータ・コードの例はコンパイラにより作成されるように機械コード、およびインタープリタを用いてコンピュータが実行する高レベル・コードを含む。
【０１３０】
発明は各種の変更や別の形態があり得るが、その具体的な例が図面に示され、本明細書で詳しく説明された。しかし発明は開示された特定の携帯に限定されるものではなく、逆に発明は添付クレームの精神および範囲に含まれるすべての変更、同等物、および代替が含まれることを理解しよう。
【図面の簡単な説明】
【０１３１】
【図１】発明の一実施形態による、映写機を含むサラウンド・ビジュアル・フィールド。
【図２】発明の一実施形態による、サラウンド・ビジュアル・フィールドを有するテレビ受信機。
【図３】発明の一実施形態による、映写機からのサラウンド・ビジュアル・フィールドを有するテレビ受信機。
【図４】発明の一実施形態による、映写機および反射装置からのサラウンド・ビジュアル・フィールドを有するテレビ受信機。
【図５】発明の一実施形態による、映写されたサラウンド・ビジュアル・フィールドが表示コンテンツ内の動きに関係する、代表的サラウンド・ビジュアル・フィールド・コントローラのブロック図。
【図６】発明の一実施形態による、連続するフレーム・ペアおよびフレーム・ペア内のピクセル間の代表的な光学的流動ベクトルを示す図。
【図７】発明の一実施形態による、連続するフレーム・ペアおよびフレーム・ペア内のピクセル・ブロック間の代表的な光学的流動ベクトルを示す図。
【図８】発明の一実施形態による、フレーム・ペア間の動きを表わす大域動きモデル内における２つのピクセル間の数学的関係を示す図。
【図９】発明の一実施形態による、フレーム・ペア間の計算された大域動きモデルの例。
【図１０】発明の一実施形態による、ビデオ・フレームおよびオーバーレイされた光学的流動ベクトルと大域動きモデルの例。
【図１１】発明の一実施形態による、ビデオ・フレーム外に動きベクトルを外挿している図。
【図１２】発明の一実施形態による、ビデオ・フレーム、ビデオ・フレームにオーバーレイされた大域動きモデル、およびビデオ・フレームの境界を超えて外挿された大域動きモデルの例。
【図１３】発明の一実施形態による、動きに関して変更された代表的サラウンド・ビジュアル・フィールドの要素。
【図１４】発明の一実施形態による、複数の動きベクトルに関して変更された代表的サラウンド・ビジュアル・フィールドの要素。
【図１５】発明の一実施形態による、ビデオ内の動きに関した代表的なサラウンド・ビジュアル・フィールドの図。
【図１６】代表的なサラウンド・ビジュアル・フィールド・コントローラの機能的ブロック図（映写されたサラウント・ビジュアル・フィールドは１つ以上の入力を受信し、キューまたは制御信号を入力から抽出し、これらの制御信号を用いて発明の実施形態によるサラウンド・ビジュアル・フィールドを生成する）。
【図１７】発明の一実施形態による、動きベクトル・フィールドからパン・ティルト・ズーム成分を演算する方法の図。
【図１８】発明の一実施形態による、入力ビデオ・ストリームに関連する代表的なサラウンド・ビジュアル・フィールドの図。
【図１９】発明の一実施形態による、入力ビデオ・ストリームに関連する代表的なサラウンド・ビジュアル・フィールドの図。
【図２０】発明の一実施形態による、入力画像に関連する代表的なサラウンド・ビジュアル・フィールドの図。
【図２１】表示領域の部分が未使用の代表的なディスプレーの図。
【図２２】発明の一実施形態による、代表的なサラウンド・ビジュアル・フィールドの図。
【図２３】発明の実施形態による、代表的なサラウンド・ビジュアル・フィールドの図。
【符号の説明】
【０１３２】
５００…サラウンド・ビジュアル・フィールド・コントローラ、５１０…動き推定構成要素、５１５…希薄光学的流動推定構成要素、５２５…大域動きモデル化構成要素、５４０…動きフィールド外挿構成要素、５５０…サラウンド・ビジュアル・フィールド動画化構成要素、６１０…フレーム（ｋ−１）、６２０…フレーム（ｋ）、７１０…フレーム（ｋ−１）、７２０…フレーム（ｋ）、８１０…動きモデル、９１０…典型的大域動きモデル、１１１０…典型的な大域動きモデル、１６００…サラウンド・ビジュアル・フィールド・コントローラ、１６１０…キュー／制御信号抽出構成要素、１６１２…ビデオ、１６１４…オーディオ、１６１６…コントローラ、１６１８…センサ、１６２０…埋め込み、１６５０…サラウンド・ビジュアル・フィールド生成構成要素／動画化構成要素。
【図６】
2007272230.tif 000011
【図８】
2007272230.tif 000012
【図９】
2007272230.tif 000013
【図１１】
2007272230.tif 000014
【図１７】
2007272230.tif 000015
【図２１】
2007272230.tif 000016
【図１】
2007272230.tif 000017
【図２】
2007272230.tif 000018
【図３】
2007272230.tif 000019
【図４】
2007272230.tif 000020
【図５】
2007272230.tif 000021
【図７】
2007272230.tif 000022
【図１０】
2007272230.tif 000023
【図１２】
2007272230.tif 000024
【図１３】
2007272230.tif 000025
【図１４】
2007272230.tif 000026
【図１５】
2007272230.tif 000027
【図１６】
2007272230.tif 000028
【図１８】
2007272230.tif 000029
【図１９】
2007272230.tif 000030
【図２０】
2007272230.tif 000031
【図２２】
2007272230.tif 000032
【図２３】
2007272230.tif 000033