(57)【要約】拡張型立体テレビジョン様の視聴体験を生みだすハードウェア構成全体が開示される（図１）。本システムの場合、通常のテレビとは異なり、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御（遠隔制御）を行うことが可能である（図６）。特定のハードウェア構成（Ｓ０、Ｓ１、Ｓ２、Ｓ３）に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマット（無線ＨＭＤ）にも関するものである。
2005500721.tif 000002
【特許請求の範囲】
【請求項１】
ソースメディアを供給する従来方式のビデオ装置を利用して拡張型立体テレビジョン様の視聴体験を生み出す方法において、
前記ソースメディアを供給するための従来方式のビデオ装置を利用して、ページベースで画像球面全体をリアルタイムで更新するステップと、
複数のさらに小さな画像のサブセクションから構成されるパノラマ画像を描くグラフィック画像を生成するステップとを有することを特徴とする方法。
【請求項２】
請求項１記載の方法において、前記パノラマ画像が３６０°の水平視野であることを特徴とする方法。
【請求項３】
請求項１記載の方法において、上記ソースメディア内に存在する付加情報によりページ順を確定するステップをさらに有することを特徴とする方法。
【請求項４】
請求項１記載の方法において、視聴者が、バーチャルスクリーンの幅を水平方向に最大３６０°及び垂直方向に１８０°まで拡張できるワイドスクリーンフォーマットで、予め記録された視聴覚メディアを視ることができることを特徴とする方法。
【請求項５】
請求項１記載の方法において、視聴者が、ＴＶ、投影型ＴＶまたはコンピュータ画面を含む従来方式のスクリーンをベースとする表示装置で、予め録画された視聴覚マテリアルを視ることができ、前記表示装置が上記３６０°のフルパノラマ画像のビューポートまたはサブセットを表示するように為すことを特徴とする方法。
【請求項６】
娯楽システムにおいて、
（ＶＣＲ、ＤＶＤプレーヤ、衛星受信機などのような）別のメディア供給装置と、
上記メディア供給装置から供給されるビデオデータからパノラマビデオ画像を生成する電子装置（ＶＴＶプロセッサ）と、
従来方式の平面スクリーン型テレビや、ヘルメット装着型表示装置（ＨＭＤ）とＶＴＶプロセッサ間で上記ビデオ情報を通信する追加的な無線データ通信ネットワークと共に、追加的な単一の視聴装置またはパノラマビデオ取得装置を備えたＨＭＤあるいはその他のバーチャルリアリティ表示装置を含む表示装置と、を有することを特徴とする娯楽システム。
【請求項７】
視聴覚効果を生成する方法において、
現行のテレビジョン規格と互換性を保ちながら、従来のテレビジョン規格を改変して新しい視聴覚規格を形成するステップを有し、該新しい視聴覚規格が異なるフレームを処理し、前記フレームが画像データ、サウンド情報、制御情報またはこれらの組み合わせを含むことを特徴とする方法。
【請求項８】
請求項７記載の方法において、上記新しい視聴覚規格が、ＶＴＶグラフィックプロセッサ用の制御用パラメータと画像処理データとを定義する情報を提供するための、追加のデジタルコード化データ、アナログコード化データまたはこれらのデータの組み合わせを標準的ビデオ画像の少なくとも１つの走査線内に含むことを特徴とする方法。
【請求項９】
請求項８記載の方法において、上記単複の走査線が、４またはそれ以上のオーディオトラックをリアルタイムで生成するための情報を提供する追加のデジタルデータとアナログコード化データとをさらに含むことを特徴とする方法。
【請求項１０】
時分割多重化と共に周波数圧縮と伸長の合成（コンパウンディング）を行って、標準的な２トラック視聴覚録音システム上へ／から４またはそれ以上のオーディオトラックの符号化及びその後の復号化を行う方法において、上記視聴覚データストリームのビデオ成分（Ｖ同期、Ｈ同期、奇数／偶数など）の中に存在する同期信号を利用して、遠隔クロックの生成および／または同期を行って、時分割多重化済み視聴覚データの符号化及びその後の復号化を行うことを特徴とする方法。
【請求項１１】
ソースメディアを供給する従来方式のビデオ装置を利用して拡張型立体テレビジョン様の視聴体験を形成する電子装置。
【請求項１２】
上記“バーチャル”スクリーンの幅が水平方向に最大３６０°及び垂直方向に１８０°まで拡張できるようなワイドスクリーン（パノラマ）フォーマットで、視聴者がライブの視聴覚メディアまたは予め録画された視聴覚メディアを視ることが可能となることを特徴とする電子装置。
【請求項１３】
パノラマ画像を描くグラフィック画像を形成して、３６０°のワイドパノラマの場合に上記パノラマ画像全体（“画像球面”）が、複数のさらに小さな画像サブセクション（“ページ”）から構成されるように為すことを特徴とする電子装置。
【請求項１４】
グラフィック画像を形成する、請求項１３記載の電子装置において、上記ソースメディアを供給する従来方式のビデオ装置を利用して、ページベースで上記画像球面全体をリアルタイムで更新するように為すことを特徴とする電子装置。
【請求項１５】
請求項１３記載の電子装置において、上記ソースメディア内に存在する付加情報によりページ順を確定することを特徴とする電子装置。
【請求項１６】
請求項１２記載の電子装置において、視聴者が、従来方式のスクリーンをベースとする表示装置（ＴＶ、投影型ＴＶ、コンピュータ画面）で生のマテリアルまたは予め録画された視聴覚マテリアルを視ることができ、上記表示装置がフルパノラマ画像のビューポートまたはサブセットを表示するように為すことを特徴とする電子装置。
【請求項１７】
請求項１２記載の電子装置において、視聴者が、ヘルメット装着型表示装置（ＨＭＤ）またはその他のバーチャルリアリティ型表示装置を用いて、生の視聴覚マテリアルまたは予め録画された視聴覚マテリアルを視ることができ、上記表示装置が上記フルパノラマ画像のビューポートまたはサブセットを表示するように為すことを特徴とする電子装置。
【請求項１８】
（ＶＴＶ画像規格）
多様な異なる“フレーム”を処理する新しい視聴覚規格であって、現行のテレビジョン規格に対応する改変から構成される新しい視聴覚規格（バーチャルテレビ（ＶＴＶ）規格）において、現行のテレビジョン規格（ＮＴＳＣ、ＰＡＬ、ＨＤＴＶなど）とそのまま互換性を保ちながら、上記フレームが画像データ、サウンド情報、制御情報またはこれらの組み合わせを含むことができるように為すことを特徴とする新しい視聴覚規格。
【請求項１９】
請求項１８記載の新しい視聴覚規格において、標準的ビデオ画像の１以上の走査線内に、上記ＶＴＶグラフィックプロセッサ用の制御用パラメータと画像処理用データとを定義する情報を提供する追加のデジタルコード化データおよび／またはアナログコード化データを含むことを特徴とする新しい視聴覚規格。
【請求項２０】
請求項１８記載の新しい視聴覚規格において、３６０°の水平方向×Ｘ°の垂直方向の円筒形または先端を切り落とした球面である“画像球面”というコンセプトを含み、各画像球面が複数のサブセクションや“ページ”から構成されるように為すことを特徴とする新しい視聴覚規格。
【請求項２１】
請求項２０記載の新しい視聴覚規格において、標準的ビデオ画像の１以上の走査線内に、３６０°の水平方向×Ｘ°の垂直方向の“画像球面”の範囲内の現在のページ（ビデオフィールドまたはフレーム）の相対的配置位置に関する情報を提供する追加のデジタルコード化データまたはアナログコード化データを含むことを特徴とする新しい視聴覚規格。
【請求項２２】
請求項１８記載の新しい視聴覚規格において、４またはそれ以上のオーディオトラックをリアルタイムで生成するための情報を提供する追加のデジタルコード化データとアナログコードデータ（ハイブリッドコード化データ）とを、標準的ビデオ画像の１以上の走査線内にさらに含むことを特徴とする新しい視聴覚規格。
【請求項２３】
請求項１８記載の新しい視聴覚規格において、標準的な２トラック視聴覚録音システム上へ４またはそれ以上のオーディオトラックの符号化及びその後の復号化を行うために、時分割多重化と共に周波数圧縮と伸長の合成（コンパウンディング）を行うことを特徴とする新しい視聴覚規格。
【請求項２４】
請求項２３記載の新しい視聴覚規格において、上記視聴覚データストリームのビデオ成分（Ｖ同期、Ｈ同期、奇数／偶数など）の中に存在する同期信号のうちの１以上の信号を利用して、遠隔クロックの生成および／または同期を行って時分割多重化済み視聴覚データの符号化及びその後の復号化を行うことを特徴とする新しい視聴覚規格。
【請求項２５】
請求項１８記載の新しい視聴覚規格であって、標準的ビデオ画像の１以上の走査線内に、オーディオトラック数と、オーディオデータフォーマットと、オーディオサンプリングレートと、トラック同期とに関する情報を提供する追加のデジタルコード化データまたはアナログコード化データを含む視聴覚規格において、上記ＶＴＶグラフィックプロセッサが、請求項２２と２３に記載のように上記オーディオ情報を復号化して、（位置と方角に敏感な）空間サウンドに変えることができることを特徴とする新しい視聴覚規格。
【請求項２６】
請求項１８記載の新しい視聴覚規格において、標準的ビデオ記憶システム及び伝送システムと共に使用するためのマルチトラックオーディオの符号化を可能にし、その後、専用ハードウェア（ＶＴＶプロセッサ）によりこの情報を復号化して、（ヘッドホンやスピーカシステム用の）左右のオーディオチャネルを形成し、ユーザの左右の耳に対して空間的に正しい３Ｄサウンドを生みだすように、上記オーディオチャネルをミックスする（数学的に合成する）ことができるようにし、上記数学的合成に影響を与える前記パラメータは、（４トラックオーディオシステムの場合）主として視聴者またはビューポートの方位角であり、（８トラックオーディオシステムの場合）視聴者またはビューポートの方位角と高度方位角の双方であることを特徴とする新しい視聴覚規格。
【請求項２７】
請求項１８記載の新しい視聴覚規格において、標準的ビデオ画像の１以上の走査線内に、上記画像を撮影したカメラの絶対方角（方位角または方位角と高度及び追加として回転）並びに追加的に前記カメラのＸ、Ｙ、Ｚ位置に関する情報を提供する追加のデジタルコード化データまたはアナログコード化データを含むことを特徴とする新しい視聴覚規格。
（ＶＴＶプロセッサ）
【請求項２８】
請求項１１乃至１７記載の電子装置において、上記パノラマの範囲内の上記ビューポートの方位角または方位角と高度の双方を（画像を表示しながら）実行時にユーザが動的に制御することが可能であることを特徴とする電子装置。
【請求項２９】
請求項１１乃至１７記載の電子装置において、上記ビューポートの方位角と高度とが視聴者の頭部の方位角または方位角と高度の双方を連続的に測定し、（画像を表示しながら）実行時に上記ビューポートの位置を適宜調整するトラッキング装置によって自動的に制御されることを特徴とする電子装置。
【請求項３０】
請求項１１乃至１７記載の電子装置において、上記ビューポートのサイズ（視野レベルから見た幅と高度）を（画像を表示しながら）実行時にユーザが動的に制御することが可能であり、上記表示画像に対する“ズーム”制御機能を効果的に行うようにすることを特徴とする電子装置。
【請求項３１】
請求項１１乃至１７記載の電子装置において、３Ｄ“バーチャルな環境”（すなわち上記画像を含むオブジェクトが含まれる３Ｄバーチャル空間内での視聴者の視点）を（画像を表示しながら）実行時にユーザが動的に制御することが可能であることを特徴とする電子装置。
【請求項３２】
請求項１１乃至１７記載の電子装置において、３Ｄ“バーチャルな環境”（すなわち上記画像を含むオブジェクトが含まれる３Ｄバーチャル空間内での視聴者の視点）が“リアルワールド座標”で視聴者の物理位置を連続的に測定するトラッキング装置によって自動的に制御されることを特徴とする電子装置。
【請求項３３】
請求項１１乃至１７記載の電子装置において、（方位角または方位角と高度の双方を利用して）視聴者の頭部の方向により制御される方角に敏感なサウンドがリアルタイムで提供されることを特徴とする電子装置。
【請求項３４】
請求項１１乃至１７記載の電子装置において、（方位角または方位角と高度の双方を利用して）上記パノラマ内のビューポートの座標により制御される方角に敏感なサウンドがリアルタイムで提供されることを特徴とする電子装置。
【請求項３５】
請求項１１乃至１７記載の電子装置において、上記パノラマ内のビューポートの座標と、３Ｄ“バーチャルな環境”内の視点のバーチャル位置とによって制御される方角と位置とに敏感なサウンドがリアルタイムで提供されることを特徴とする電子装置。
【請求項３６】
請求項１１乃至１７記載の電子装置において、単純な単一視聴システムまたはパノラマカメラシステムを利用してリアルタイムで取得された“リアルワールド画像”と、予め録画されたコンピュータグラフィックや生の画像との合成を行う能力を持ち、それによって、拡張リアリティ体験を生みだすように為すことを特徴とする電子装置。
【請求項３７】
請求項１１乃至１７記載の電子装置において、単純な単一視聴システムまたはパノラマカメラシステムによって取得された“リアルワールド”画像を解析する能力を持ち、さらに、差分画像処理技術および／またはその他の画像処理技術を利用することにより、上記背景の“リアルワールド”場面を自動的に取り除き、この場面を、ビデオ装置（ＶＣＲＤＶＤプレーヤなど）から供給される合成画像または予め録画された画像と置き換える能力を持つことを特徴とする電子装置。
【請求項３８】
請求項１１乃至１７記載の電子装置において、“リアルワールド”画像あるいは予め録画された画像かのいずれかの画像を選択的に合成し、幾何学的に変更する能力を持ち、それによってコンポジットな拡張リアリティ体験をつくりだすように為すことを特徴とする電子装置。
【請求項３９】
請求項１１乃至１７記載の電子装置において、同じビデオソースにより前景情報と背景情報とを供給することが可能なクロマキー技法であって、さらに、特別の制御フレームあるいは上記ビデオ画像の各走査線の部分のいずれかとしてコード化されたクロマキーカラーのアナログサンプルまたはデジタルサンプルを供給することにより、上記クロマキーカラーを１画像内で動的に変えることができるクロマキー技法を利用して、“前景”と“背景”の予めレンダーされたビデオ情報を合成することができることを特徴とする電子装置。
【請求項４０】
請求項４９乃至５４に記載のような単純な単一表示システムまたはパノラマカメラシステムにより取得された画像を解析し、リアルタイムで２次元または３次元オブジェクトとして上記画像を解釈することが可能な電子装置（“バーチャライザ”）。
【請求項４１】
請求項４０記載の電子装置において、格納またはライブ転送を行うために、さらに、別のＶＴＶプロセッサ及び適切な表示装置とによる後続の復号化によりグラフィック画像への変換を行うために、上記３次元オブジェクトをＶＲＭＬまたはその他の適切な言語などの“ユニバーサル画像記述言語”に変換するように為すことを特徴とする電子装置。
【請求項４２】
図８乃至１０に図示の電子装置（もしくは上記ＶＴＶグラフィックプロセッサとして周知の装置）であって、
１以上のビデオデジタル化用モジュールと、
１以上の以下のメモリ領域であって、
拡張リアリティメモリ（ＡＲＭ）と、
バーチャルリアリティメモリ（ＶＲＭ）と、
変換メモリ（ＴＭ）とからなるメモリ領域と、
ＡＲＭおよび／またはＶＲＭの中に保持される上記データのアドレスマッピングを変更して、ＡＲＭおよび／またはＶＲＭ領域内の１つの位置から別の位置へグラフィック情報を効果的に動かすようにすることが可能な少なくとも“ピクセル変換エンジン”（ワープエンジン）、並びに、上記ソースと宛先位置との双方からデータを数学的に合成し、このデータを変更し、それによって画像合成、スケーリング、幾何学的変換、透かし（ｔｒａｎｓｐａｒｅｎｃｉｅｓ）などを実行する能力を達成する能力を含むデジタル処理用モジュールと、
１以上のビデオ生成用モジュールと、から構成されることを特徴とする電子装置。
【請求項４３】
請求項４２記載の電子装置において、上記拡張リアリティメモリ（ＡＲＭ）を“マップ”して、上記バーチャルリアリティメモリ（ＶＲＭ）よりも狭い垂直方向の視野を占め、さらに、変換メモリ（ＴＭ）を“マップ”して、高品質画像をそのまま維持しながら、上記メディアを供給するためのデータ要件を最小化するように為すことを特徴とする電子装置。
【請求項４４】
請求項４２記載の電子装置において、上記拡張リアリティメモリ（ＡＲＭ）と、バーチャルリアリティメモリ（ＶＲＭ）と、変換メモリ（ＴＭ）とを、異なる解像度で“マップする”ことも可能である（各メモリ領域のピクセルが、異なる度合いの角偏差を表すことできる）ことを特徴とする電子装置。
【請求項４５】
請求項４２記載の電子装置において、拡張リアリティメモリ（前景メモリ）の中に最初に“リアルワールド”ビデオ情報を入れ、ビデオ供給装置（ＶＣＲ、ＤＶＤプレーヤなど）からのソース情報をバーチャルリアリティメモリの中へ入れ、次いで、（平面スクリーン型表示装置やＨＭＤなどの）出力装置に表示する前に、変換メモリ（ワープエンジンの一部）に保持されているデータパターンに従って、これら２つの画像ソースを合成して“コンポジット画像”に変換することにより、請求項３６乃至３８に記載のように画像を表示することを特徴とする電子装置。
【請求項４６】
請求項４２記載の電子装置において、ビデオ供給装置（ＶＣＲ、ＤＶＤプレーヤなど）からの前景ビデオ情報を最初に拡張リアリティメモリの中へ入れ、次いで、ビデオ供給装置（ＶＣＲ、ＤＶＤプレーヤなど）からの背景ビデオ情報をバーチャルリアリティメモリの中へ入れ、次いで、（平面スクリーン型表示装置やＨＭＤなどの）出力装置に表示する前に、ソースメディア（”変換マップ”）により提供される付加情報に基づいてこれら２つの画像ソースを合成して“コンポジット画像”に変換することにより、もしくは、請求項４０に記載のように、上記オブジェクト認識装置“バーチャライザ”により提供される“リアルワールド”オブジェクトジオメトリを利用することにより、（平面スクリーン表示やＨＭＤなどの）出力装置に表示する前に“コンポジット画像”を生みだすためにワープエンジンと連携して、請求項３７乃至３９記載のように、画像を表示することを特徴とする電子装置。
【請求項４７】
時分割多重化と共に周波数圧縮と伸長の合成（コンパウンディング）を組み込んで、標準的な２トラック視聴覚録音システム上へ／から４またはそれ以上のオーディオトラックの符号化及びその後の復号化を行うことを特徴とする電子装置。
【請求項４８】
請求項４７記載の電子装置において、上記視聴覚データストリームのビデオ成分（Ｖ同期、Ｈ同期、奇数／偶数など）の中に存在する同期信号のうちの１以上の信号を利用して、遠隔クロックの生成および／または同期を行って時分割多重化済み視聴覚データの符号化及びその後の復号化を行うことを特徴とする電子装置。
【請求項４９】
（Ｐａｎ−Ｃａｍシステム）
複数の電子画像取得装置（ビデオカメラ、ＨＤＴＶカメラ、デジタル静止カメラなど）から構成される光電式アセンブリであって、オーバーラップする水平方向の視野によって構成されて、上記オーバーラップする水平方向の視野が最大３６０°を一体にカバーするように為すことを特徴とする光電式アセンブリ。
【請求項５０】
請求項４９に記載のアセンブリにより作成された個々の画像（ページ）をクロップし、アラインメントを行って、上記個々のページ間の無視できる歪みとオーバーラップとを持つ３６０°のパノラマ画像全体を形成するように為すことを特徴とする電子装置。
【請求項５１】
請求項５０記載の電子装置において、上記別個の画像のクロッピングとアラインメントとを行って、切れ目のない３６０°のパノラマ画像を形成するステップに加えて、上記画像に対して歪み補正も適用して、結果として得られる３６０°のパノラマ画像が横軸で数学的に“平らに”なる（上記画像の横軸の各ピクセルがカメラに対して等しい角度で対する）ように為すことを特徴とする電子装置。
【請求項５２】
請求項５１記載の電子装置において、上記画像に対して歪み補正も適用して、結果として得られる３６０°のパノラマ画像が縦軸で数学的に“平らに”なる（上記画像の縦軸の各ピクセルがカメラに対して等しい角度で対する）ように為すことを特徴とする電子装置。
【請求項５３】
請求項４９乃至５０記載の電子装置において、パノラマカメラアセンブリにより形成される３６０°のパノラマ画像を含む個々のページの位置を記述する“ページ識別情報”を送出用ビデオストリームの中へ挿入することを特徴とする電子装置。
【請求項５４】
請求項４９乃至５０記載の電子装置において、上記パノラマカメラアセンブリの現在の方角（方位角と高度）と、オプションとして上記パノラマカメラアセンブリの位置（すなわち方位角と高度、並びに、オプションとして上記カメラアセンブリの回転及びＸ、Ｙ、Ｚ位置）も記述する“トラッキング情報”を上記ビデオストリームの中へ挿入することを特徴とする電子装置。
【請求項５５】
電子装置であって、図１６、１７、２３に図示のように、また、パラグラフ４.１〜４.８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの方位角での相対運動を計算することを特徴とする電子装置。
【請求項５６】
電子装置であって、図１６、１８、２３に図示のように、また、パラグラフ４. １〜４. ８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの高度での相対運動を計算することを特徴とする電子装置。
【請求項５７】
電子装置であって、図１６、１９、２３に図示のように、また、パラグラフ４. １〜４. ８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの回転時における相対運動を計算することを特徴とする電子装置。
【請求項５８】
電子装置であって、図１６、図２０〜２３に図示のように、また、パラグラフ４. １〜４. ８でさらに完全に説明されているように、１以上のビデオ取得装置（ビデオカメラなど）からの受信データを利用し、自己相関などの単純な一連の画像解析処理を実行することにより、Ｘ軸、Ｙ軸、Ｚ軸のいずれかの軸またはこれらの軸の任意の組み合わせにおける（ＨＭＤベースのカメラアセンブリの場合、視聴者の）カメラの物理（空間）位置の相対運動を計算することを特徴とする電子装置。
【請求項５９】
請求項５５乃至５８記載の電子装置において、一定のまたは同期ストロボ発光が行われる軸上の光源と共に、所定の“リアルワールド”座標を持つ複数の逆反射作用を生じるターゲットを利用して、上記装置により確定された相対角データと相対空間データとを変換して絶対角データと絶対空間データとに変えることを目的として、絶対角基準値／空間基準値を確定することを特徴とする電子装置。
【請求項６０】
請求項５９記載の電子装置において、上記ＨＭＤベースのパノラマカメラまたは遠隔パノラマカメラのビデオ取得レートと同期する制御可能な軸上の光源と共に、上記逆反射作用を生じるターゲットに対するカラーフィルタの組み合わせを利用して、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、該トラッキングを維持するシステムの能力の向上を図るように為すことを特徴とする電子装置。
【請求項６１】
請求項５９記載の電子装置において、上記ＨＭＤベースのパノラマカメラまたは遠隔パノラマカメラのビデオ取得レートと同期する制御可能な軸上の光源と共に、上記逆反射作用を生じるターゲットの組み合わせを利用して、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、該トラッキングを維持するシステムの能力の向上を図るように為すことを特徴とする電子装置。
【請求項６２】
請求項５９記載の電子装置において、上記ＨＭＤベースのパノラマカメラまたは遠隔パノラマカメラのビデオ取得レートと同期するカラー制御可能な軸上の光源と共に、上記逆反射作用を生じるターゲットに対するカラーフィルタの組み合わせを利用して、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、該トラッキングを維持するシステムの能力の向上を図るように為すことを特徴とする電子装置。
【請求項６３】
請求項５５乃至５８記載の電子装置において、複数の“アクティブな光ビーコン”（上記ＨＭＤベースのビデオ取得レートまたは遠隔パノラマカメラのビデオ取得レートと同期する制御可能な光源）を利用して、パルス出力タイミングと、光の色および／またはこれらの組み合わせを用いて上記ビーコンの“リアルワールド”座標を上記ＨＭＤまたは遠隔パノラマカメラへ送信して、上記装置により確定された相対角データと相対空間データとを変換して絶対角データと絶対空間データとに変えることを目的として、絶対角基準値／空間基準値を確定するように為すことを特徴とする電子装置。
【請求項６４】
請求項５５乃至５８記載の電子装置において、上記ＨＭＤと上記ビーコンとの間で一意のＩＤコードの通信を行う複数の“双方向赤外線ビーコン”を利用し、上記ＨＭＤが“既知の空間基準点”のうちのいずれかの下を通過する度に１回だけこの較正が行われるように為すことを特徴とする電子装置。
【請求項６５】
単一の光画像処理装置を利用して、天井のパターンをモニタする電子装置であって、残りの角方向（ピッチと回転）を確定するための流体チルトセンサなどの別の角度トラッキングシステムと共に、請求項５５乃至５８に記載の同様の画像処理技術を利用して、相対空間運動と方位角とを確定するように為すことを特徴とする電子装置。
【請求項６６】
請求項６５記載の電子装置において、請求項５９乃至６４に記載のような較正システムのうちのいずれかのシステムを利用して、上記装置により確定された相対空間データを絶対空間データに変換することを目的として絶対基準値を確定することを特徴とする電子装置。
【請求項６７】
複数の電子サウンド取得装置（マイクロフォン）から構成されるアセンブリであって、オーバーラップする水平方向のカバーエリアフィールドにより構成されて、上記オーバーラップする水平方向のカバーエリアフィールドが水平方向に最大３６０°を一体にカバーするように為すことを特徴とするアセンブリ。
【請求項６８】
請求項６７に記載のような複数の電子サウンド取得装置（マイクロフォン）から構成されるアセンブリであって、オーバーラップする垂直方向のカバーエリアフィールドで追加して構成されて、上記オーバーラップする垂直方向のカバーエリアフィールドが最大値＋／−９０°までを一体にカバーするように為すことを特徴とするアセンブリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像視聴システムとサウンドシステムに関する。
【背景技術】
【０００２】
本願は、２００１年６月２５日にＡｎｇｕｓ  Ｄｕｎｃａｎ  Ｒｉｃｈａｒｄｓにより出願された“ＶＴＶシステム”という名称の米国特許出願番号第０９／８９１，７３３号により優先権を主張するものである。
【０００３】
通常のテレビ画面や映画スクリーンは現代の娯楽の一般的な形態であるが、これらの従来のシステムは、映画の動きと関連して視聴者のビューイング方向及び相対位置のユーザによる制御を可能にするものではない。さらに、バーチャルリアリティの表示がポピュラーになりつつあるが、３次元画像を生成する従来のシステムは複雑な場合が多く、メディアグラフィックは作成にコストのかかるものである。
【発明の開示】
【課題を解決するための手段】
【０００４】
以下の発明は、拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関する。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関する。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の画像撮影法と真のバーチャルリアリティとの間の中継技術として設計される。
【０００５】
ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化（ｆｅａｔｕｒｅ）し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【発明を実施するための最良の形態】
【０００６】
添付図面と関連して以下に記載の詳細な説明は、本発明の現在の好ましい実施例の説明を目的とするものであり、本発明の構成および／または利用の唯一の形態を表すことを意図するものではない。本説明は、例示される実施形態と関連して本発明を構成し、作動させる機能及び一連のステップについて記載するものである。しかし、本発明の精神と範囲内に含まれることが意図される異なる実施形態によっても、同じあるいは同等の機能及びシーケンスの達成が可能であると理解されたい。
【０００７】
１．１）以下の発明は拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関するものである。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関するものである。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の映画撮影法と真のバーチャルリアリティとの間の中継技術として設計される。ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【０００８】
１．２）図１に見られるように、本ＶＴＶシステム全体は、中央画像処理装置（ＶＴＶプロセッサ）と、各種ビデオ入力装置（ＤＶＤ、ＶＣＲ、衛星、地上テレビ、遠隔ビデオカメラ）、赤外線リモートコントロール、デジタルネットワーク接続部、及びいくつかの出力装置接続部とから構成される。本ＶＴＶユニットは、図２に図示するようなその最も基本的な構成では、従来型のテレビ装置へ画像を出力することになる。このような構成では、（おそらく赤外線方式の）リモートコントロール装置を用いて、このＶＴＶ環境内で視聴者の所望のビューイング方向と位置の制御が行われることになる。この“基本システム構成”の利点として、現在の視聴覚技術を利用してこの構成の実現が可能であるという点が挙げられる。ＶＴＶ画像規格は、標準的ビデオのレイヤー（ｌａｙｅｒ）の上位“レイヤー”と考えることができる（上位）互換性を有する画像規格である。すなわち、従来のビデオは新しいＶＴＶ画像規格のサブセットを表すものとなる。この規格が互換性を有する結果、テレビメーカーおよび／または視聴覚機器メーカーは仕様の大きな変更をまったく必要とせずＶＴＶを導入することが可能となる。さらに、ＶＴＶ互換テレビ復号化用ユニットは従来方式のテレビ送信と本質的に互換性を有するものである。
【０００９】
１．３）図３に図示するようなさらに優れた構成では、ＶＴＶシステムは表示装置として無線ＨＭＤを使用する。このような構成では、単純な画像表示に加えてトラッキング装置として無線ＨＭＤを使用することが可能である。このトラッキング情報は、最も基本的な形では、単にビューイング方向の制御から成るものであってもよい。さらに優れたシステムでは、バーチャルな環境において視聴者のビューイング方向と位置の双方の確定が可能となる。最終的に、最も優れた実施構成では、ＨＭＤの遠隔カメラによって、リアルワールド画像がＶＴＶシステムに入力され、ＶＴＶシステムはこのリアルワールド画像を解釈してこれを空間オブジェクトに変換し、次いで、この空間オブジェクトはバーチャルなオブジェクトと置き換えられ、それによって、“視聴環境を意識した”拡張リアリティシステムの提供が可能となる。
【００１０】
１．４）無線ＨＭＤは、無線データリンク“サイバーネットリンク”によってＶＴＶプロセッサに接続される。このリンクは、その最も基本的な形ではＶＴＶプロセッサからＨＭＤへビデオ情報を送信し、ＨＭＤからＶＴＶプロセッサへトラッキング情報を送信する能力を有する。サイバーネットリンクは、その最も優れた形では、ＨＭＤからＶＴＶプロセッサへのトラッキング情報の転送に加えてＨＭＤとサイバーネットリンク間でのビデオ情報の送受信も行うことになる。さらに、ＶＴＶプロセッサのある構成要素を遠隔ＨＭＤの中に組み込むようにし、それによってサイバーネットリンクを介するデータ転送要件を提言するようにしてもよい。この無線データリンクは、（未圧縮あるいはデジタル圧縮のいずれかのフォーマットで）アナログデジタルビデオ送信またはデジタルビデオ送信のいずれかを利用する多様な異なる方法で、トラッキング情報用の、二次のデジタルで符号化したデータストリームを用いて実現することができる。あるいは、これらのチャネルの双方を運ぶ純粋にデジタルな単方向のまたは双方向のデータリンクを組み込むこともできる。データ転送用の実際のメディアはおそらくマイクロウェーブや光である。しかしいずれの転送メディアも適切なものとして利用可能である。本システムの好ましい実施形態は、ＨＭＤのボード上やおそらくＶＴＶ基地局上の画像解析用ハードウェアと共にＨＭＤに取り付けられたオンボードのパノラマカメラを利用してリアルタイムのトラッキング情報を出力する形態となる。システム精度のさらなる向上を図るために、逆反射作用を有するマーカーを”リアルワールド環境で”利用することも可能である。このような構成では、オンボードカメラの光軸の近くに配置される切り替え可能な光源をこれらのカメラと共に利用して“差分画像解析”システムが形成される。このようなシステムは、直接ビデオ画像を単独で利用する場合よりも著しく高い認識精度を特徴とする。
【００１１】
１．５）最終的に、本ＶＴＶシステムは“ユニバーサル画像規格（ｕｎｉｖｅｒｓａｌ  ｇｒａｐｈｉｃｓ  ｓｔａｎｄａｒｄ）”を利用して画像情報の転送を行うことになる。このような標準規格では、オブジェクトベースの画像記述言語が組み込まれ、この言語によってサブシステム間での“共通の画像知識ベース”による高圧縮が達成されることになる。本発明は、基本的な用語で、この画像言語の進化における３つのレベルの漸進的精巧化（ｓｏｐｈｉｓｔｉｃａｔｉｏｎ）について記載するものである。
【００１２】
１．６）本特許の目的として以下の３つの圧縮規格について説明する：
ａ）ｃ−ｃｏｍ
ｂ）ｓ−ｃｏｍ
ｃ）ｖ−ｃｏｍ
１．７）ＶＴＶシステムは、その最も基本的なフォーマットにおいて、視聴者を取り囲む３６０°のパノラマ表示スクリーンと考えることができる。
【００１３】
１．８）上記“バーチャル表示画面”は多数の“ビデオページ”から構成される。“ページキーコード”がビデオ画像内で符号化され、この“ページキーコード”によって、上記“バーチャル表示画面”内の特定の位置内へ画像情報を入力するようにＶＴＶプロセッサへの指示が行われる。動的に画像を入力する上記能力の結果、高解像度レートと高いフレームレートのいずれにも著しい犠牲を生じることなく、有効な同等の高解像度レートと高いフレームレートの双方の達成が可能となる。例えば、高速で変化している画像セクションのみが高速の画像更新を必要とするのに対して、画像の大部分は一般に静的である。（一般に動いている）重要な要素が主要場面に配置される従来方式の画像撮影法とは異なり、パノラマ画像の大部分は一般に静的である。
【００１４】
（ＶＴＶ画像規格：）
２．１）ＶＴＶ画像規格は、その最も基本的な形において、バーチャルな３６０°パノラマ表示画面から構成され、ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信装置のような外部のビデオソースから得られるビデオ画像をこのパノラマ表示画面上に描画することが可能であり、その結果、各ビデオフレームには、ビデオ情報だけでなく、バーチャルな表示画面内における各ビデオフレームの位置を定義する情報も含まれる。このようなシステムは、可変解像度画像だけでなく、フレームレートに依存しない画像も出力するので、著しく汎用性が高い。すなわち、ある特定のバーチャルな画像（バーチャル表示画面全体）内の実際の更新率は表示画面自体の範囲内で変動すると考えられる。この更新は、自身のバーチャル位置情報を含む各フレームによって達成される。これによって、ほとんどあるいはまったく変化しない画像上の非更新セクションの名目上の認知を代償にしてバーチャル画像のアクティブ領域の更新を迅速に行うことが可能となる。このようなシステムが図４に図示されている。
【００１５】
２．２）画像のリアリズムのさらなる改善を図るために、図５に図示のフォーマットに合わせて基本ＶＴＶシステムの拡張を行うことができる。この構成では、円筒形状のバーチャル表示画面が先端を切り落とした球面としてＶＴＶプロセッサにより解釈される。ＶＴＶプロセッサのデジタル処理ハードウェアコンポーネント内のジオメトリトランスレータ、すなわち”ワープエンジン”をしようすることによって、上記効果を容易に生み出すことが可能となる。
【００１６】
２．３）絶対基準平面が絶えず変動することから、（ＨＭＤベースまたはＰａｎ−Ｃａｍベースのいずれかの）移動カメラ用アプリケーションでは、ＶＴＶグラフィックエンジンが画像を正しく復号化できるように、カメラシステムの方位角と高度に関連するトラッキング付加情報が視覚情報と共に含まれることが求められる。このようなシステムでは、カメラの絶対方位角と高度が画像フレーム情報の一部となる。この絶対基準データを解釈するいくつかの可能性のある技法が存在する。まず、座標データを用いてメモリ書き込み処理中にメモリ内に像面の原点を画定することができる。残念ながら、上記アプローチでは、異なるアラインメント値を持つ前回のフレームからの残りの画像フラグメントが結果としてメモリ内に残される傾向がある。さらに実際的な解決方法として、単に、０方位角、０高度の想定基準点と共にビデオ情報をメモリの中へ書き込む方法がある。次いで、カメラアングルの補正値に対応する表示ビューポートの補正により上記ビデオ情報の正しい表示が行われる。このようなシステムのデータフォーマットが図１１に図示されている。
【００１７】
【表１】
2005500721.tif 000003
（オーディオ規格：）
２．４）３６０°パノラマビデオに加えて、４トラック（４チャネル録音再生方式）または８トラック（８チャネル録音再生方式）のいずれかの立体的サウンドもＶＴＶ規格によってサポートされる。４トラックシステムのバーチャルな表現が図６に示されている。単純な４トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、ビューポート（ＶＲ環境内での視方向）の方位角に基づいてスケーリングされる。８トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、システムのバーチャルな表現（図７）に図示のように、ビューポートの方位角と高度の双方に基づいてスケーリングされる。
【００１８】
２．５）その最も基本的な形では、図１２に図示するようなデジタル／アナログハイブリッドフォーマットにおいて、ＶＴＶ規格によって、ビデオ情報の一部としてマルチトラックオーディオチャネルの符号化が行われる。その結果、現行機器とビデオとの互換性の達成が可能となる。この例図に見られるように、オーディオデータは、アナログコード化された圧縮フォーマットで格納されているため、各ビデオ走査線には５１２本のオーディオサンプルが含まれるようになる。このアナログコード化オーディオ情報に加えて、各オーディオ走査線には、オーディオ情報の“プレスケーリング”に用いられる３ビットデジタルコードが含まれる。すなわち、実際のオーディオサンプル値はＸ＊Ｓであり、ここでＸはプレスケール番号であり、Ｓはサンプル値である。上記２種の符号化方式を用いて、オーディオシステムのダイナミックレンジを約４３ｄＢから６０ｄＢ以上まで拡げることが可能となる。第２に、このダイナミックレンジの拡張は、オーディオ品質に比して比較的“低コスト”で行われる。なぜなら、信号レベル全体が高ければ、人は音の歪みに対して相対的に敏感ではないからである。スタートビットはこのシステムでは重要な構成要素である。スタートビットの機能は、走査線に対して最大レベル（例えば１００％レベルすなわち白レベル）を設定することである。黒レベルと関連するこのレベル（このレベルはカラーバーストの直後にサンプリングすることができる）は、各ラインに対して０％と１００％のレンジを形成する。ラインベースで各ラインに対する０％と１００％のマークを動的に調整することにより、走査線のデジタル成分の復号化の精度が向上することに加えて、ビデオサブモジュールのＡＣ結合および／またはビデオメディアの録画と再生に起因して生じる黒レベルの変動に対するシステム感度がずっと低くなる。
【００１９】
２．６）このデジタル情報のプレスケーリングに加えて、オーディオ制御ビット（ＡＲ）が（ライン２１の）各フィールドに含まれる。この制御ビットによってオーディオバッファシーケンスは設定時０に設定される。この設定によって、４または８トラックオーディオ情報が同期されて、その結果、ビデオページの更新シーケンスに関係なく常に現在のデータから正しいトラックの更新が行われる。
【００２０】
２．７）別の構成では、ビデオ録画再生システム（典型的にはデジタルオーディオトラックや線形アナログオーディオトラック）により出力される従来方式のステレオオーディオを用いることによって、立体的サウンドの提供が可能となる。最善でも、このような従来方式のシステムでは、２つのオーディオトラックだけに４８ｋＨｚのサンプルレート（すなわち、２チャネル２４ｋＨｚオーディオ）が与えられるのみである。しかし、オーディオデータを圧縮することによって同じ記憶メディア上へさらに多数のオーディオトラック（例えば４または８オーディオトラック）をタイムドメインで符号化し、次いで、その結果得られるデータの時分割多重化を行うことが可能となる。受信側では、まず時分割多重化されたデータを復号化し、次いでオーディオデータを減圧縮（ｄｅｃｏｍｐｒｅｓｓｉｎｇ）することによって上記プロセスが逆に行われて、一連の連続するオーディオストリームが形成される。高いオーダーのノッチフィルタまたはハイパスフィルタを組み込んで、時分割多重化／逆多重化処理手順により生じるサンプリングノイズをすべて取り除くようにすることが好ましい。このようなフィルタは、おそらくデジタル設計のフィルタであり、単にＶＴＶプロセッサのデジタル処理用ハードウェアの一部にすぎない。このようなオーディオ符号化システムのための代表的な構成が図１４〜１５に図示されている。
【００２１】
このようなシステムが簡単に実現可能であることは明らかである。オーディオチャネル数の増加による“パフォーマンス代価”は、システムの周波数応答が減少することである。この減少はチャネル数の上昇に直接比例する。例えば、チャネル数が２から４へ増加すると、周波数応答が２４ｋＨｚから１２ｋＨｚへ減少することになる。この減少レベルは容認できる範囲のレベルであり、最終的にこのオーディオの多重化システムは、比較的“ロバスト（ｒｏｂｕｓｔ）”で、かつ、ＶＴＶフォーマットマテリアルの実施と編集が容易であるという点から見て、顕著な利点を与えるものであるという点で、前述したビデオ符号化されたオーディオシステムにとって好ましいものとなり得るものである。
【００２２】
任意の時分割多重化システムの有効な実施において最も重要なファクタの１つとして、時分割符号化クロック及び復号化クロックの安定した精度の高い生成が挙げられる。これは絶対に重要なファクタである。なぜなら、復号化されたデータパケットのいかなるミスアラインメントも非常に顕著なチャネルクロストークに関連するノイズを結果として引き起こすことになるからである。本ＶＴＶシステムでは、ビデオストリームの中に同期信号（Ｈ同期やＶ同期、奇数／偶数などのいずれか）を用いて、ローカル復号化クロックを生成させることで、この問題に対する新規かつ非常に有効な解決方法を組み込む。これらの信号は一般に非常に正確であり、デジタル記録機器をＶＴＶデータの保存に利用する場合、特に正確である。
【００２３】
好ましい実施形態では、時分割復号化ノイズ（ＮＴＳＣに対して毎秒６０スパイク）が相対的にほとんど発生しないこと、このノイズがデジタルノッチフィルタを使用することで（必要な場合）容易に除去できると考えられることを考慮して、復号化クロックとしておそらくＶ同期が使用されることになる。一方、（Ｈ同期などの）高周波時分割クロックを選択した場合、さらに多くの不連続インスタンス（毎秒約１５，０００）が発生する可能性があるが、同様に、デジタルフィルタ（この場合ローパスフィルタ）によってこれらのインスタンスを除去することが可能である。ＨＤＴＶやその他の高い走査速度（３１ｋＨｚまたはそれ以上の）のＴＶ規格を用いる場合、高速の復号化クロックの方が好ましいものになると考えられる。なぜなら、このような状況では、フィルタリングの要件が非常に簡単でかつ効果的になるためである。さらに、高速の復号化クロックを利用するシステムのメモリ要件が大幅に減少する。
【００２４】
２．８）コンピュータ用ＡＶファイル及びデジタルテレビ送信などのさらに優れたマルチメディア用データフォーマットでは、さらに効率的であるか、あるいは利点の多い別の方法でこれらの付加的オーディオトラックを格納することも可能である。
【００２５】
２．９）視聴覚装置としての利用に加えて、この空間でオーディオシステム／規格を、好適でコンパクトなトラッキング装置と１組のコードレスヘッドホンとを組み合わせることによって、オーディオ専用モードで使用して、高性能のハイファイ機器用空間オーディオシステムの実現を図ることも可能であることに注意されたい。
【００２６】
（拡張機能）
２．１０）上記の単純化した画像規格に加えて、単独でまたは基本ＶＴＶ画像規格と共に使用可能な多数の拡張機能がある。後続する発明で、ａ）ｃ−ｃｏｍ、ｂ）ｓ−ｃｏｍ、ｃ）ｖ−ｃｏｍとして知られる３つの画像規格について詳細に説明するが、これは本発明の目的のために行うものである。
【００２７】
２．１１）最初の２つの規格が空間画像オブジェクトの定義に関するものであるのに対して、第３の画像規格は、サブセットとして第１の規格を利用し、追加の環境定義と制御アルゴリズムとを組み込む完全なＶＲ環境定義言語に関する規格である。
【００２８】
２．１２）（最も基本的な形での）ＶＴＶ画像規格は、従来方式のビデオ規格（ＮＴＳＣ、ＰＡＬなど）の層の上位にある制御層と考えることができる。したがって、ＶＴＶ画像規格は従来方式のアナログビデオ送信規格に制限されることは全くない。基本的に同一の技術を用いて、本ＶＴＶ規格は、ＨＤＴＶ規格並びにコンピュータグラフィック及び業界の視聴覚規格の多くと共に機能することができる。
【００２９】
２. １３）表１と図１１で概説したデジタル制御情報は、本システムの一つの可能な構成を表すものにすぎず、現行のアナログＴＶシステムとの互換性を有する仕様の一般性を減じるものではない。制御ビットの別の構成および／またはこの情報を符号化してアナログＴＶなどのようなビデオフォーマットに変換する別の方法が存在し、そのような構成および／または方法も同様に有効である。例えば、ＭＪＰＥＧやＭＰＥＧ-ＩＩなどの多くのデジタル符号化処理によって、連続するビデオ走査線が平均化されることが多く、図１１に図示するような単一ラインとして符号化される場合、デジタル情報が損なわれる傾向があることが知られている。しかし、一連のラインまたは連続するラインとしてこの情報を符号化すれば、この問題は解決される。このような構成では、データは、一連の直線分ではなく、結果として得られる画像内の一連の小さな矩形として符号化されるデータと考えることができる。このような変更は予想されるものであり、別のビデオフォーマット、特にＨＤＴＶなどのようなデジタル符号化されたフォーマットを用いてパフォーマンス効率の向上を図る、さらに別の適合化が予想される。
【００３０】
（ＶＴＶプロセッサ：）
３．１）ＶＴＶグラフィックプロセッサはＶＴＶシステムの核心部である。このモジュールは、その最も基本的な形で、表示装置（従来方式のＴＶ／ＨＤＴＶあるいはＨＭＤのいずれか）へ出力画像をリアルタイムで生成する役割を果たすものである。ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信機のようなビデオメディア供給装置から入力される生の画像情報のデジタル化に加えて、このモジュールのさらに優れたバージョンでは、インターネットやその他のネットワーク接続を介して渡される“ユニバーサル画像言語（ｕｎｉｖｅｒｓａｌ  ｇｒａｐｈｉｃｓ  ｌａｎｇｕａｇｅ）”から得られる画像をリアルタイムで描画することも可能である。このデジタル化タスクと描画タスクに加えて、ＶＴＶプロセッサは画像解析を実行することも可能である。本システムの初期のバージョンは、ＨＭＤの座標のトラッキングを確定することを目的としてこの画像解析機能を利用するものである。このモジュールのさらに優れたバージョンでは、上記トラッキング情報の提供の他に、ＨＭＤから得られるリアルワールド画像の物理的３次元オブジェクトとしての解釈も行われる。これらの３次元オブジェクトはユニバーサル画像言語で定義され、次いで、それを記録し、インターネットやその他のネットワークを介して同様の遠隔地にある表示装置へ通信したり、あるいは、類似する物理的サイズの別のバーチャルなオブジェクトにより置き換えたりすることが可能であり、それによって、真の拡張リアリティ体験が創り出される。
【００３１】
３．２）ＶＴＶハードウェア自体は以下のようなサブモジュール群から構成される。：
ａ）ビデオデジタル化モジュール
ｂ）拡張リアリティメモリ（ＡＲＭ）
ｃ）バーチャルリアリティメモリ（ＶＲＭ）
ｄ）変換メモリ（ＴＭ）
ｅ）デジタル処理ハードウェア
ｆ）ビデオ生成モジュール
３．３）これらのモジュールの正確な構成は他の外部ハードウェアによって決まる。例えば、デジタルビデオソースを用いる場合、ビデオデジタル化モジュールは比較的単純なものとなり、１グループのラッチバッファまたはＦＩＦＯバッファのみから構成される。しかし、コンポジットビデオ入力やＹ／Ｃビデオ入力を利用する場合、これらの信号をデジタル形式へ変換するための追加ハードウェアが必要となる。さらに、ビデオ入力ソースとしてデジタルＨＤＴＶ信号を使用する場合、（ＨＤＴＶ信号は圧縮されたフォーマットでは処理できないため）システムのフロントエンドとしてＨＤＴＶデコーダが必要となる。
【００３２】
３．４）アナログＴＶなどのようなフィールドベースのビデオシステムの場合、ＶＴＶグラフィックエンジンの基本処理は以下のようになる：
ａ）ビデオ情報がデジタル化され、０°方位角、０°高度の絶対ページ基準を想定して、フィールドベースで拡張リアリティメモリ内に入れられ、各ページの原点がページ番号ビット（Ｐ３〜Ｐ０）の状態により確定される。
【００３３】
ｂ）背景および／または床／天井マップに関連する補助ビデオ情報は、“フィールドタイプ”ビット（Ｆ３〜Ｆ０）とページ番号ビット（Ｐ３〜Ｐ０）の状態によって決まる。フィールドベースでバーチャルリアリティメモリ内にロードされるか、セクション３．１２に記載のような拡張リアリティメモリ内に入れられるビデオ情報の解釈によりリアルタイムで生成される。
【００３４】
ｃ）デジタル処理用ハードウェアは、拡張リアリティメモリとバーチャルリアリティメモリの中に保持された上記情報を解釈し、ジオメトリ処理用エンジン（ワープエンジン）、デジタル減算画像処理、及び“ブルースクリーニング（ｂｌｕｅ−ｓｃｒｅｅｎｉｎｇ）”の新しい汎用性の高い形式との組み合わせを利用してこのデータを変換し、選択的にこのデータを合成して、ビデオマテリアルの撮影時に、パノラマカメラの在る位置と同じ位置に視聴者が立っていた場合に、その目に映る画像とほぼ類似の画像に変換する。この画像と、従来方式のビデオ技法を利用して入手可能な画像との間の主要な相違点として、前者の画像は、３６０°のパノラマ画像であるだけでなく、複合した没入型の拡張リアリティ体験を形成できるように一体に融合されたバーチャルリアリティと“リアルワールド”画像の双方の要素を備えることも可能であるという点が挙げられる。
【００３５】
ｄ）バーチャルリアリティと“リアルワールド画像”とを合成する正確な方法はＶＴＶプロセッサの作動モードによって決まるが、この方法については、本明細書の後のセクションでさらに詳細に説明する。この特別のＶＴＶプロセッサモードは、ソースメディアの中に存在する追加の制御情報により決定される。したがって、ＶＴＶメディアのソースを表示しながら、処理モードと表示モードとを動的に変更することが可能である。
【００３６】
ｅ）次いで、ビデオ生成モジュールは、従来方式のテレビまたはＨＭＤ表示装置に表示される単一のビデオ画像または一対のビデオ画像を生成する。（マルチスピンＤＶＤ装置が画像メディアとして使用されない場合）ＶＴＶ画像フィールドは最大フレームレート未満で更新されるが、画像の描画は、立体的サウンドの更新の場合のように、そのまま最大のビデオフレームレートで行われる。これが可能である理由として、各“画像球面”が、視聴者の任意の方角（方位角と高度）に関連するビデオとオーディオ双方の必要な情報のすべてを含むということが挙げられる。
【００３７】
３．５）図９に見ることができるように、ＶＴＶプロセッサのメモリの書き込み側は（ＡＤＣの）２つの別個のビデオ入力段を示す。ＡＤＣ−０は一般に生のパノラマビデオの送出に用いられ、ＡＤＣ−２は一般に予め描画されたビデオマテリアルからのバーチャルリアリティビデオの送出に用いられるものではあるが、双方のビデオ入力段は、拡張リアリティメモリとバーチャルリアリティメモリの双方へ完全にアクセスする（すなわち、これらのメモリではメモリプールが用いられる）ことに注意されたい。上記ハードウェア構成では、設計時にさらに多くの汎用性がサポートされ、いくつかの通常のものとは異なる表示モードの実施が可能である（これについては後のセクションでさらに詳述する）。同様に、ビデオ出力段（ＤＡＣ−０とＤＡＣ−１）はバーチャルリアリティメモリと拡張リアリティメモリの双方へ完全にアクセスする。
【００３８】
３．６）２つの入力段と２つの出力段とを備えることにより、設計の汎用性の向上が図られるが、メモリプールスタイルの設計により、１つ乃至２つの入力段のいずれかおよび／または出力段によってシステムが機能することが可能になり（但し機能は低下するが）、したがって、ある特定の実施構成において１つまたは２つの入力段あるいは出力段のいずれかが存在すれば、仕様の一般性が制限を受けるものではない。
【００３９】
３．７）設計の容易さのために、高速スタティックＲＡＭがプロトタイプ装置のビデオメモリとして利用された。しかし、この設計仕様の一般性を制限することなく別のメモリ技術の利用も可能である。
【００４０】
３．８）好ましい実施形態では、デジタル処理ハードウェアは１以上のフィールドプログラマブル論理アレイやカスタムＡＳＩＣの形をとる。Ｄｅｉｄｐｒｏｇｒａｍｍａｂｔｅｉｏｇｉｃアレイを用いる利点としては、ハードウェアを何時でも更新可能であるという点が挙げられる。この技術の主な欠点としては、ＡＳＩＣほど高速ではないという点が挙げられる。あるいは、従来方式の高速デジタルプロセッサを利用して上記の画像解析および／または画像生成タスクを実行することも可能である。
【００４１】
３．９）前述したように、おそらくＶＴＶハードウェア全体が携帯用ＨＭＤ装置内に存在するようになる程度まで、このハードウェアの特定のセクションをＨＭＤの中に組み込むことも可能である。このような場合、ＶＴＶ基地局のハードウェアは、ＨＭＤとインターネットやその他のネットワークとの間のリンクとしてのみ機能することになり、すべてのグラフィック画像生成、画像解析及び空間オブジェクト認識はＨＭＤ自体の中で行われることになる。
【００４２】
３．１０）注：ビューポートアドレスジェネレータの下位ビットは、生成された画像に対してバレル歪曲をかけるＸＹ画像軸のルックアップテーブルアドレス変換装置を介して実行される。この変換装置によって、ビューポートの現在の視野の正確な画像の歪曲が示される。このハードウェアは、おそらくＦＰＧＡやＡＳＩＣ論理回路内に実装され、ビューポートアドレスジェネレータの機能ブロックの一部を含むことになるため、図１０には明示されていない。同様の方法で最終画像の同じような回転が実現される。
【００４３】
３．１１）ビューポート−０だけが変換エンジン（ワープエンジン）により影響を受け、ビューポート−１は歪みを受けずに読み出されることに注意されたい。スーパーインポーズ及びオーバーレイ拡張リアリティモードを使用する場合、この読み出しが必要となる。なぜなら、記憶装置から再生されるＶＲビデオマテリアルは格納される前に予め“平坦化”（すなわち、ピンクッション歪み）されているのに反して、ＨＭＤに備えられたパノラマカメラから得られる生のビデオ画像は、本システムによって拡張リアリティモードで表示される前に歪み補正を必要とするからである。上記予備的歪み補正を行った後、ＨＭＤのパノラマカメラにより録画された画像は、それ自体新しいＶＲマテリアルとして、幾何学的に正確でかつ格納に適したものにすることが望ましい（すなわち、これらの画像はＶＲマテリアルになることができる）。この場合、ワープエンジンの主要な役割の１つとしてはＨＭＤのパノラマカメラのジオメトリ補正とトリミングとがある。この中にはカメラの視野間で切れ目のない移行を行うという複雑なタスクが含まれる。
【００４４】
（例外処理）
３. １２）図４、５に見られるように、ＶＴＶ画像フレームは円筒形または先端を切り落とした球面のいずれかから構成される。この空間は、視聴者に対して有限の対頂角（プロトタイプで＋／−４５°）でしか対していない。これは、ビデオ格納装置の利用可能なデータ帯域と送信メディアとを最大限に活用できるように設計された意図的な制限であり、これによって、現行ビデオシステムとの互換性が保たれる。しかし、この妥協の結果、ビューポートが画像データの範囲を超える状況が生じる可能性がある。第一に、この例外的状況を処理できるいくつかの異なる方法がある。この例外的状況を処理する最も単純な方法として、単に境界線外のビデオデータを黒にする方法が挙げられる。これによって、天井と床が黒い部屋に居る外観が得られる。上記とは別に、さらに優れたアプローチとして、“床”と“天井”（すなわちＶＴＶ画像フレームの底部と最上部に存在する画像情報に基づく、ＶＴＶ画像フレームの下方及び上方の空間）を形成するアプローチがある。特定の一実施構成では、ＶＴＶ画像フレームの最上部と底部“リム”に対して赤、緑、青のピクセルの平均値を用いて、純色表面または好適にはグラデーションを施した色表面のいずれかを形成しその環境の“天井”と”床”とを表すようにすることも可能である。戸外で生成されるＶＴＶビデオの状況では、通常天井が青のシェードで、床はほぼ地面の色という結果が生じることになる。ビューポートの高度に伴ってシェーディングを変動させることによって生成される“床／天井”の現実感が改善され、その結果一般にビューポートの高度が＋／−９０°の極値に近づくにつれて、輝度が上昇する。この効果は、比較的単純な数学を利用して簡単に生成することができ、おそらくＶＴＶグラフィックエンジンの一部としてハードウェア内で実現される。
【００４５】
しかしさらに別の好ましい構成として、低い解像度で最大３６０°＊１８０°の背景画像マップを格納する２次的ビデオメモリによる格納を利用する構成がある。このメモリ域はバーチャルリアリティメモリ（ＶＲＭ）として知られている。拡張リアリティメモリ及びバーチャルリアリティメモリの両方を利用するシステム用の基本メモリマップが（変換メモリと併せて）図８に示されている。上記例図でわかるように、この変換メモリ域は最大３６０°＊１８０°をカバーできる程の十分なレンジを持つ必要があり、理想的には、（３６０°＊９０°をカバーする）拡張リアリティメモリバンクの角度分解能と同じ角度分解能を持つ必要がある。このような構成によって、床及び天井に対する例外処理と、前景の窓を通して見たり、窓の後ろの背景を示したりするような変動する透明画像との両方の提供が可能となる。これらの背景は静的あるいは動的のいずれかであることができ、ページ化されたフォーマットの利用により、前景（拡張リアリティメモリ）と基本的に同じ方法で更新が可能である。
【００４６】
（オペレーションモード）
３．１３）ＶＴＶシステムには２つの基本的オペレーションモードがある。これら２つのモード内にはいくつかのサブモードも存在する。この２つの基本モードは以下の通りである：
ａ）拡張リアリティモード
ｂ）バーチャルリアリティモード
（拡張リアリティモード１：）
３. １４）拡張リアリティモード１では、“リアルワールド画像”の選択成分がバーチャルリアリティの背景の上にオーバーレイされる。一般に、この処理では、まず“リアルワールド”画像から背景成分をすべて除去することが必要となる。これは、差分画像処理技術を用いて、すなわち現在の“リアルワールド”画像を前にとった格納済みのコピーと比較し、この２つの差分を検出することにより簡単に行うことができる。２つの画像の正確なアラインメントを行った後、異なる領域が新規のオブジェクトまたは前景のオブジェクトとなり、同じ状態のまま変化しない領域は静的な背景オブジェクトとなる。これは拡張リアリティモードの中で最も単純なモードであり、背景のほとんどは処理時に除去されることになるので、一般に十分な関心の対象となるものではない。移動式Ｐａｎ−Ｃａｍ（テレプレゼンス）や拡張リアリティモードで作動する場合、拡張リアリティメモリは、一般に、ランダムなページ更新ではなく、シーケンシャルなページ順に（すなわちシステムフレーム全体で）更新が行われることに注意されたい。このような更新を行う理由としては、撮影中のパノラマカメラシステムの位置と方角が常に変動するため、これらの変動を別々に処理した場合、画像ページの不一致が生じる可能性が高いということが挙げられる。
【００４７】
（拡張リアリティモード２：）
３. １５）拡張リアリティモード２は、前景の自動抽出と、オブジェクトの移動と、人工的背景環境におけるこれらの配置とに加えて、システムがワープエンジンも利用して追加の“リアルワールド”オブジェクトを背景の中へ“押し込む”という点で、モード１とは異なるものである。これらの“リアルワールド”オブジェクトを単純にバーチャルな環境の中へ追加することに加えて、ワープエンジンは、これらのオブジェクトのスケーリングと変換とを行う能力も有するため、さらに有効にこれらのオブジェクトがバーチャルな環境の中へマッチするようになる。これらのオブジェクトは、不透明なオーバーレイあるいはトランスペアレンシとして処理することができる。
【００４８】
（拡張リアリティモード３：）
３. １６）拡張リアリティモード３の場合、ワープエンジンを用いて、背景オブジェクトを前景の中へ“引き込み”、“リアルワールド”オブジェクトを置き換えるという点でモード２とは異なるものである。モード２の場合のように、これらのオブジェクトの変換及びスケーリングを行うことが可能であり、不透明なオーバーレイあるいはトランスペアレンシのいずれかとしてこれらのオブジェクトの処理を行うことが可能である。これによって、ユーザは“リアルワールド”オブジェクトの物理的サイズと位置をバーチャルなオブジェクトと「一致」させることができるようになる。これを行うことにより、ユーザは、“リアルワールド”環境の場合と同じように、拡張リアリティ環境内でリアルタイムで交信し、ナビゲーションを行うことが可能となる。上記モードは、ユーザ自身の居間の中へハリウッド製作の映画を持ち込むことを可能にするものとして、娯楽目的やゲーム目的のためにおそらく最も利用が予想されるモードである。
【００４９】
（拡張機能）
３. １７）拡張リアリティモード２及び３を有効に作動させるキーとなるのは、高速かつ正確な光トラッキングシステムであることは明らかである。理論的には、ＶＴＶプロセッサが“リアルワールド”オブジェクトをリアルタイムで識別し、追跡することが可能である。しかし、特に、“リアルワールド”環境内における視聴者の物理位置の変化と共にオブジェクトジオメトリが大幅に変化するため、この識別と追跡は複雑なものとなる。したがって、単純な自動相関型のトラッキング技法が有効に機能しないことになる。このような状況では、逆反射作用を生じるいくつかのターゲットを当該オブジェクトのキー要素上に配置することにより、トラッキング精度の大幅な向上を図ることが可能である。比較的単純な差分画像処理技術の利用によりこのような逆反射作用を生じるターゲットを容易に識別することが可能である。
【００５０】
（バーチャルリアリティモード：）
３. １８）バーチャルリアリティモードは前述の拡張リアリティモードよりも機能的に単純なモードである。このモードでは、“予め撮影された”またはコンピュータで生成された画像がランダムなページベースで拡張リアリティメモリの中へロードされる。これが可能となるのはバーチャルカメラの基準平面が固定されているためである。前述の例の場合のように、バーチャルリアリティのメモリは固定した背景や動的背景についてはさらに低い解像度でロードされる。前景像面及び背景像面の双方を使用することで、運動視差などのさらに優れた画像処理技術が可能となる。
【００５１】
（拡張機能）
３. １９）拡張された“ブルースクリーニング”の形を利用することにより、バーチャルリアリティメモリ（背景メモリ）の汎用性の向上を図ることが可能となる。このようなシステムでは、“クロマキー”カラーのサンプルが背景フィールドにおける各走査線の開始時に与えられる。これによって、画像内で任意の色が許容可能となる汎用性の高いシステムが得られる。したがって、“透明な”クロマキーカラーによって個々のオブジェクトを囲繞することで、ワープエンジンによるこのオブジェクトの“カット＆ペースト”に関連する問題と不正確さとが大幅に減少する。さらに、前景のバーチャルリアリティ画像内の“透明な”クロマキー済みの領域を使用することにより、付加情報オーバーヘッドを伴うことなく、複雑な鋭く尖った領域および／または動的前景領域の簡単な生成が可能となる。
【００５２】
（カメラシステム：）
４．１）画像規格の定義でわかるように、移動式Ｐａｎ−ＣａｍやＨＭＤベースのビデオシステムにより取得される画像を正しく配置し、次いで表示するためには、追加のページ配置及びトラッキング情報が必要となる。さらに、立体的サウンドをリアルタイムで記録する場合、ビデオストリームの一部として上記情報の符号化も行わなければならない。コンピュータ生成画像の場合、描画段階でこの追加ビデオ情報を簡単に挿入することができる。これに対して、生のビデオを取得する場合、録画の前に上記追加トラッキング情報とオーディオ情報とをビデオストリームの中へ挿入しなければならない。これは、本明細書で以後ＶＴＶエンコーダモジュールと呼ぶ画像処理用モジュールにより効果的に達成することができる。
【００５３】
（画像取得）
４．２）移動式パノラマカメラシステムにより収集される画像の場合、画像はまずＶＴＶエンコーダモジュールにより処理される。この装置によってビデオ歪み補正が行われ、ビデオページ情報、方角トラッキングデータ及び立体的サウンドデータがビデオストリームの中へ挿入される。ビデオ規格を変更せずに上記挿入が可能なため、現行の記録再生装置との互換性が保たれる。このモジュールはＶＴＶプロセッサ内へ組み込むこともできるが、最終的ビデオ情報を格納するか、何らかの形で無線ネットワークを介して送信するかのいずれかを必要とする遠隔カメラ用アプリケーションで使用するのには、このモジュールを別個の構成要素として設けるのが好都合である
（トラッキングシステム：）
４．３）“Ｐａｎ−Ｃａｍ”やＨＭＤベースのカメラシステムのようないずれの移動式パノラマカメラシステムの場合も、“絶対”方位角と高度座標系を維持するために、トラッキング情報は、結果として得られるビデオストリームの一部を含む必要がある。コンピュータ生成画像の場合、カメラ方向は描画時にコンピュータシステムが認知する理論上の構成物であるため、上記データは必要ではない。
【００５４】
（基本システム：）
４．４）ＶＴＶ  ＨＭＤの基本トラッキングシステムでは、オンボードのパノラマビデオカメラを利用して、囲繞するリアルワールド環境に関する３６０°の必要な視覚情報が取得される。次いで、この情報は、自動相関のような計算上集中的な、しかしアルゴリズムの点からは比較的単純な技法を利用して、ＶＴＶプロセッサ（ＨＭＤ内に存在するか基地局ユニットとして存在するかの如何にかかわらず）により解析される。可能なアルゴリズムの例が図１６〜２２に示されている。
【００５５】
４．５）図１６〜２２に概説される単純なトラッキングシステムは位置と方角の変化のみを検出するシステムである。差分画像処理技術を用いることで容易に背景画像から識別できるいくつかの逆反射作用を生じるターゲットを追加することにより、絶対基準点を得ることが可能となる。このような絶対基準点は、ＶＴＶハードウェアがこれらのマーカーのリアルワールド座標を認知するかぎり、現実の環境内のどこに置かれるようなことがあっても、環境領域の末端部（すなわち、ユーザスペースの境界部）に位置することになると考えられる。（画像解析データから得られる）上記絶対基準点と差分運動との組み合わせによって、最大のビデオフレームレートでの絶対リアルワールド座標情報の生成が可能となる。所定の空間座標における逆反射作用を生じるターゲット配置の代替物として、アクティブな光ビーコンを用いることも可能である。これらの装置は、ビデオ取得レートと同期してストロボが発光するように構成され、結果として得られる画像に対する差分ビデオ解析が可能となるという点で、逆反射作用を生じるターゲットと同様の方法で作動する装置である。しかし、逆反射作用を生じるパッシブなターゲットとは異なり、アクティブな光ビーコンは、ビデオ取得と同期してストロボを発光することに加えて、上記ターゲットのリアルワールド座標を記述する付加情報をＨＭＤへ送信することも可能である。その結果、このシステムは、上記データを“リアルタイムで”取り出すことも可能であるため、上記ビーコンの位置を明白に認知する必要がなくなる。このようなシステムは、単純な逆反射作用を生じる構成よりもある程度頑丈な非常に汎用性の高いシステムとなる。パッシブなまたはアクティブなビーコンのいずれかの利用に加えて、双方の技法の組み合わせを用いることで、非常に汎用性の高いかつ強力なトラッキングシステムを形成することも可能である。逆反射作用を生じるターゲットの光源に対して“逆相”でアクティブな光ビーコンにそのストロボ光を発光させることにより、光点が互いに１８０°位相を異にしたものになるという事実に基づいて、差分画像解析技術を利用して、背景環境からの画像抽出と、（光を出射する）アクティブビーコンか（光を反射する）パッシブビーコンのいずれかから発するような光点の効果的類別との双方を行うようにすることが可能となる。ＶＴＶプロセッサによってアクティブビーコンのタイミングを生成することが可能であるが、パッシブビーコン用として使用されるＨＭＤからの光ストロボパルスの検出により、あるいは、ＨＭＤからの赤外線パルスのような２次的光タイミング信号の利用により、自動的にタイミングを発生させるほうが好ましいであろう。このような構成では、アクティブビーコンをバッテリで駆動することも可能であり、追加の配線は何ら必要ではなくなる。何らかの光タイミング信号が存在しないときにこれらのアクティブビーコンがパワーダウンするように設計されていれば、作動していない時間中上記アクティブビーコンを停止させることさえ不要となるかも知れず、さらに、バッテリ消費量の大幅な増加を伴うことなく上記アクティブビーコンを永久に作動状態のままにすることも可能である。
【００５６】
アクティブビーコンは、単にその位置を単に示すことに加えて、移動ＨＭＤシステムへ付加情報を送信することが可能である。この情報は、作成される光パルスの色の変化とこれらの色の変化するタイミングとによって符号化される。最も単純な形では、各アクティブビーコンが各々様々な色の光を発生させることにより、簡単な分離と識別とを行うことが可能であるが、さらに優れた符号化技法もまた可能である。例えば、一連のカラーフラッシュによって或る特定の数を示すことが可能である。この数によって、ビーコンのコード番号を表すことも可能であり、あるいはさらに有用なこととして、ビーコンの物理的リアルワールド座標の符号化も可能である。このようなシステムは、シミュレーションの一部としてＨＭＤへ転送しなければならない“リアルワールド”の“ビーコンマップ”を必要とせず、代わりにアクティブビーコンシステムを含む任意の空間から必要な情報をピックアップすることが可能なので、非常に汎用性の高いシステムとなる。
【００５７】
４．６）注：図２３は、ある特定の運動の有無が自己相関器により単純に検出されるトラッキングハードウェアの単純化した図を示す。実用的システムでは、各クラスの運動用の複数の自己相関器を組み込むことになるであろう（例えば、１６個またはそれ以上の、水平運動を検出する別々の自己相関器が存在してもよい）。このようなシステムでは、すべての方向で異なるレベルの運動や異なる量の運動を検出することが可能となる。
【００５８】
（その他の構成：）
４．７）空間測位情報を達成するために天井のパターンのトラッキングが行われる同様の画像解析技術と、ＨＭＤ/Ｐａｎ−Ｃａｍシステムの角度方向を検出する単純な“チルトセンサ”とを利用する上記トラッキングシステムの代替実施構成が可能である。本システムの利点として、前述した最大６本の軸線を有する光トラッカに比べて著しく構成がシンプルで、低コストで済むという点が挙げられる。天井がＨＭＤから一定の距離と所定の方角にあるという事実に起因して、光学系、必要な画像処理装置の品質、及び後続する画像解析の複雑さとが大幅に単純化される。前述の６軸線光トラッキングシステムの場合のように、上記空間測位情報は本質的に相対運動の形のみの情報である。しかし、“絶対基準点”を追加することによって、このようなシステムによってその絶対基準値を再較正して絶対座標系全体を達成することが可能となる。いくつかの異なる技法を利用して、比較的簡単に上記絶対基準点の較正を行うことが可能となる。第１のそしておそらく最も単純な技法として、前述したような色に敏感に感応する逆反射スポットの利用がある。上記とは別に、（ＬＥＤビーコンのような）アクティブな光ビーコンの利用も可能である。利用可能なさらに別の絶対基準較正システムとして双方向赤外線ビーコンをベースとするシステムもある。このようなシステムにより、ＨＭＤとビーコンとの間で一意のＩＤコードの通信が行われ、それによって、ＨＭＤが上記“既知の空間基準点”のうちのいずれかの下を通過する毎に１回だけ較正が行われることになる。これは、複数回の原点リセットに起因して生じる、較正ビーコンの近傍内にある“不感トラッキング領域”を回避するのに必要である。
【００５９】
（単純化：）
画像内の運動位置の検出に利用される基本的な自動相関技法を単純化して、かなり簡単な画像処理ステップにすることが可能である。まず、回転検出を単純化して、画像中心（カメラの光軸）の周りで左右対称を成す１グループの片寄り（上、下、左、右）にすることが可能である。さらに、横方向運動に関連するこれらの“サンプルポイント”は必ずしも非常に大きなものである必要はない。しかしこれらの“サンプルポイント”は固有の映像情報を含む必要がある。例えば、特徴のない空白な壁は有用なトラッキング情報をもたらさないが、オブジェクトの端縁や高輝度の強調点のような高いコントラスト領域を持つ画像は比較的簡単にトラックされる。この考え方をさらに一歩進めて、最初に画像全体を縮減して強調点／端縁に変えるようにすることが可能である。次いで、一連の水平方向及び垂直方向のストリップとして画像処理を行い、強調点／端縁間に自動相関領域の境界を設けるようにすることができる。さらに、現在の画像と前回の画像フレームとの比較を行い、これら画像間の“最も近い可能なフィット部分”（すなわち強調点の最小運動部分）を確定することによって、狭い強調領域のトラッキングを非常に簡単に行うことが可能となる。このような技法は、画像前処理のオーバーヘッドの若干をハードウェアにより処理すれば比較的簡単であり、適度の処理スピードを持つマイクロプロセッサの能力の範囲内に十分含まれる。
【００６０】
好ましい実施形態や特定の実施形態と関連して本発明を説明したが、本発明の範囲、あるいは本発明の発明概念から逸脱することなく、種々の変更及び追加の変形を行うことが可能であり、本発明の要素の代わりに同等の要素を用いることが可能であることを理解されたい。さらに、本発明の本質的範囲から逸脱することなく多くの改変を行って、特定の状況やマテリアルを本発明の教示に適合させることも可能である。したがって、本願明細書に開示された、本発明を実施するための特定の実施形態に本発明を限定することを意図するものではなく、本発明は添付の請求項の範囲に属するすべての実施形態例を含むものである。
【産業上の利用可能性】
【００６１】
本発明は、ユーザが映画の動きと関連して視聴者のビューイング方向と相対位置とを制御することを可能とする視聴覚システムを提供することを目的とする。
本発明の上記及び他の目的、利点及び産業上の利用可能性は添付の明細書と図面の再査により明らかである。
【図面の簡単な説明】
【００６２】
【図１】ＶＴＶシステム全体の概略図である。
【図２】基本構成に基づくＶＴＶシステムの概略図である。
【図３】高度の構成に基づくＶＴＶシステムの概略図である。
【図４】円筒形状のバーチャル表示フィールドを示す例図である。
【図５】先端を切り落とした球面のバーチャル表示フィールドを示す例図である。
【図６】４トラックサウンドシステムのバーチャル表現を示す例図である。
【図７】８トラックサウンドシステムのバーチャル表現を示す例図である。
【図８】拡張リアリティメモリとバーチャルリアリティメモリの双方のメモリを利用するシステムを表すＶＴＶメモリマップの描写である。
【図９】ＶＴＶプロセッサのデータ書き込みサイドを示すＶＴＶグラフィックエンジンの図である。
【図１０】ＶＴＶプロセッサのデータ読み出しサイドを示すＶＴＶグラフィックエンジンの図である。
【図１１】任意のアナログビデオと互換性を持つＶＴＶ符号化ビデオラインの例である。
【図１２】任意のアナログビデオと互換性を持つ音声データを含むことを示すＶＴＶ符号化ビデオラインの例である。
【図１３】周波数圧縮符号化を利用するＶＴＶにより符号化された音声を示す図である。
【図１４】周波数圧縮符号化を行うための結線図である。
【図１５】周波数圧縮復号化を行うための結線図である。
【図１６】位置と方角の変化を検出する光トラッキングシステムの図である。
【図１７】方角の方位角の変化を検出する光トラッキングシステムの図である。
【図１８】方角の高度の変化を検出する光トラッキングシステムの図である。
【図１９】方角の回転の変化を検出する光トラッキングシステムの結線図である。
【図２０】前後方向の位置変化を検出する光トラッキングシステムの結線図である。
【図２１】左右の位置変化を検出する光トラッキングシステムの結線図である。
【図２２】上下の位置変化を検出する光トラッキングシステムの結線図である。
【図２３】単純化したバージョンによる光トラッキングシステム用ハードウェアのブロック図である。
【図１】
2005500721.tif 000004
【図２】
2005500721.tif 000005
【図３】
2005500721.tif 000006
【図４】
2005500721.tif 000007
【図５】
2005500721.tif 000008
【図６】
2005500721.tif 000009
【図７】
2005500721.tif 000010
【図８】
2005500721.tif 000011
【図９】
2005500721.tif 000012
【図１０】
2005500721.tif 000013
【図１１】
2005500721.tif 000014
【図１２】
2005500721.tif 000015
【図１３】
2005500721.tif 000016
【図１４】
2005500721.tif 000017
【図１５】
2005500721.tif 000018
【図１６】
2005500721.tif 000019
【図１７】
2005500721.tif 000020
【図１８】
2005500721.tif 000021
【図１９】
2005500721.tif 000022
【図２０】
2005500721.tif 000023
【図２１】
2005500721.tif 000024
【図２２】
2005500721.tif 000025
【図２３】
2005500721.tif 000026
【国際公開パンフレット】
2005500721.tif 000027
2005500721.tif 000028
2005500721.tif 000029
2005500721.tif 000030
2005500721.tif 000031
2005500721.tif 000032
2005500721.tif 000033
2005500721.tif 000034
2005500721.tif 000035
2005500721.tif 000036
2005500721.tif 000037
2005500721.tif 000038
2005500721.tif 000039
2005500721.tif 000040
2005500721.tif 000041
2005500721.tif 000042
2005500721.tif 000043
2005500721.tif 000044
2005500721.tif 000045
2005500721.tif 000046
2005500721.tif 000047
2005500721.tif 000048
2005500721.tif 000049
2005500721.tif 000050
2005500721.tif 000051
2005500721.tif 000052
2005500721.tif 000053
2005500721.tif 000054
2005500721.tif 000055
2005500721.tif 000056
2005500721.tif 000057
2005500721.tif 000058
2005500721.tif 000059
2005500721.tif 000060
2005500721.tif 000061
2005500721.tif 000062
2005500721.tif 000063
2005500721.tif 000064
2005500721.tif 000065
2005500721.tif 000066
2005500721.tif 000067
2005500721.tif 000068
2005500721.tif 000069
2005500721.tif 000070
2005500721.tif 000071
2005500721.tif 000072
2005500721.tif 000073
2005500721.tif 000074
2005500721.tif 000075
2005500721.tif 000076
2005500721.tif 000077
2005500721.tif 000078
【手続補正書】
【提出日】平成15年2月8日(2003.2.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ソースメディアを供給するための従来方式のビデオ装置を利用して拡張型立体テレビョン様の視聴体験を生み出す方法において、
（ａ）ソースメディアを供給するための従来方式のビデオ装置を利用して、リアルタイムでページベースで画像球面全体を更新するステップと、
（ｂ）複数のさらに小さな画像のサブセクションから構成されるパノラマ画像を描くグラフィック画像を生成するステップと、を有することを特徴とする方法。
【請求項２】
請求項１記載の方法において、グラフィック画像を生成するステップが、３６０°の水平方向の視野を持つパノラマ画像を供給するステップを有することを特徴とする方法。
【請求項３】
請求項１記載の方法において、ソースメディアの中に存在する付加情報によりページ順を確定するステップをさらに有することを特徴とする方法。
【請求項４】
請求項１記載の方法において上記バーチャルスクリーンの幅を水平方向に最大３６０°及び垂直方向に１８０°まで拡張できるようなワイドスクリーンフォーマットで、予め録画された視聴覚メディアを視聴するステップをさらに有することを特徴とする方法。
【請求項５】
請求項１記載の方法において、従来方式のスクリーンをベースとする表示装置で予め録画された視聴覚マテリアルを視聴するステップをさらに有し、上記表示装置が上３６０°のフルパノラマ画像のビューポートを表示するように為すことを特徴とする方法。
【請求項６】
娯楽システムであって、
（ａ）異なるタイプの複数のメディア供給装置と、
（ｂ）上記メディア供給装置から得られるビデオデータに応答して、そこからパノラマビデオ画像を生成するＶＴＶプロセッサと、
（ｃ）上記ＶＴＶプロセッサから得られるパノラマビデオ画像に応答する表示装置と、を有することを特徴とする娯楽システム。
【請求項７】
視聴覚効果を生成する方法において、オリジナルのテレビプロトコルを改変して、上記オリジナルのプロトコルとの互換性を壊すことなく、グラフィックデータと、サウンド情報と、制御情報とのうちの少なくとも１つのデータの伝送を個々のフレームで調節するように為すステップを有することを特徴とする方法。
【請求項８】
請求項７記載の方法において、上記改変されたプロトコルが、追加のデジタルコード化データとアナログコード化データとのうちの少なくとも一方のデータを処理して、上記オリジナルのプロトコルに従って伝送されるビデオ画像の少なくとも１つの走査線内で、ＶＴＶグラフィックプロセッサ用の制御用パラメータと画像処理データを定義する情報とを提供するように為すことを特徴とする方法。
【請求項９】
請求項８記載の方法において、上記走査線が、４またはそれ以上のオーディオトラックをリアルタイムで生成するための情報を提供する追加のデジタルデータとアナログコード化データとをさらに含むことを特徴とする方法。
【請求項１０】
時分割多重化と共に信号を周波数圧縮し、次いで、上記信号を周波数伸長するステップを有し、２トラック視聴覚録画システムから出力される４またはそれ以上のオーディオトラックを符号化し、その後該トラックを復号化して、上記視聴覚データストリームのビデオ成分の中に存在する同期信号を用いて、上記時分割多重化済み視聴覚データの符号化とそれに後続する復号化を行うために遠隔クロックの生成と同期のうちの少なくとも一方を実行するように為すことを特徴とする方法。
【請求項１１】
電子装置であって、
（ａ）複数のビデオ画像表示装置と、
（ｂ）前記装置を利用して拡張型立体テレビジョン様の視聴体験を生み出す手段と、
（ｃ）視聴可能領域が水平方向に最大３６０°及び垂直方向に１８０°まで拡張するようなワイドスクリーンのパノラマフォーマットで視聴者が視聴覚メディアを視聴する手段と、を有することを特徴とする電子装置。
【請求項１２】
電子装置であって、
（ａ）パノラマ画像全体が複数のさらに小さな画像ページから構成されるようなパノラマ画像を描くグラフィック画像を生成する手段と、
（ｂ）ページベースで上記パノラマ画像をリアルタイムで更新する手段と、を有することを特徴とする電子装置。
【請求項１３】
請求項１２記載の電子装置において、ソースメディアの中に存在する付加情報により画像ページの順序を確定する手段をさらに有することを特徴とする電子装置。
【請求項１４】
請求項１２記載の電子装置において、スクリーンベースの表示装置をさらに有し、視聴者が上記フルパノラマ画像の一部を該表示装置で観察できるようにすることを特徴とする電子装置。
【請求項１５】
請求項１２記載の電子装置において、バーチャルリアリティ型表示装置をさらに有し、視聴者が上記フルパノラマ画像の一部を該表示装置を通じて観察できるようにすることを特徴とする電子装置。
【請求項１６】
視聴覚伝播信号であって、画像データ、サウンドデータ、及び制御情報のうちの少なくとも１つを個々のフレームが含む複数のフレームを有する視聴覚信号において、少なくとも１つの広く受け入れられているテレビジョン規格と互換性を有することを特徴とする視聴覚伝播信号。
【請求項１７】
請求項１６記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内にＶＴＶグラフィックプロセッサ用の制御用パラメータを定義する追加のコード化データと、画像処理用データとをさらに有することを特徴とする視聴覚伝播信号。
【請求項１８】
請求項１６記載の視聴覚伝播信号において、パノラマ画像球面のデータをさらに有することを特徴とする視聴覚伝播信号。
【請求項１９】
請求項１６記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内に上記画像球面内の現在のビデオフィールドまたはフレームの相対的配置位置に関する情報を提供する追加のコード化データをさらに有することを特徴とする視聴覚伝播信号。
【請求項２０】
請求項１６記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内に４またはそれ以上のリアルタイムのオーディオトラックを生成するための情報を提供する追加のコード化データをさらに有することを特徴とする視聴覚伝播信号。
【請求項２１】
請求項１６記載の視聴覚伝播信号において、周波数圧縮と時分割多重方式により２トラックプロトコルを介して符号化された４またはそれ以上のオーディオトラックデータをさらに有することを特徴とする視聴覚伝播信号。
【請求項２２】
請求項１６記載の視聴覚伝播信号であって、標準的ビデオ画像の１以上の走査線内に追加のコード化データをさらに有し、該コード化データが、
（ａ）４またはそれ以上のリアルタイムのオーディオトラックを生成するためのオーディオ情報と、
（ｂ）使用オーディオトラック数と、使用オーディオデータフォーマットと、使用オーディオサンプリングレートと、トラック同期とを記述するデータとを提供し、これによりＶＴＶグラフィックプロセッサが、上記オーディオ情報を復号化して位置と方角に敏感なサウンドに変換できることを特徴とする視聴覚伝播信号。
【請求項２３】
請求項１６記載の視聴覚伝播信号において、標準的ビデオ画像の１以上の走査線内にカメラの絶対方角とＸ−Ｙ−Ｚ位置とに関する情報を提供する追加のコード化データをさらに有することを特徴とする視聴覚伝播信号。
【請求項２４】
請求項１１乃至１５のいずれかに記載の電子装置において、
（ａ）視聴者の方位角と高度に関する情報を数学的に合成する手段と、
（ｂ）標準的ビデオ格納システムと伝送システムと共に使用するためにマルチトラックオーディオデータを符号化し、上記合成された情報を専用ハードウェアによりその後復号化して、正しい３次元サウンドを視聴者の左右の耳に空間的に生みだす左右のオーディオチャネルを形成できるようにする手段と、をさらに有することを特徴とする電子装置。
【請求項２５】
請求項１１乃至１５のいずれかに記載の電子装置において、視聴覚データストリームのビデオ成分の中に存在する１またはそれ以上の同期信号と同期して作動するクロックをさらに有し、上記同期信号と同期して時分割多重サウンドを生成するように為すことを特徴とする電子装置。
【請求項２６】
請求項１１乃至１５のいずれかに記載の電子装置において、実行時のユーザ制御に応答して上記パノラマ内のビューポートの方位角と高度とを変動させる手段をさらに有することを特徴とする電子装置。
【請求項２７】
請求項１１乃至１５のいずれかに記載の電子装置において、視聴者の頭部の方位角と高度の連続測定に応答して上記パノラマ内のビューポートの方位角と高度とを変動させる手段をさらに有することを特徴とする電子装置。
【請求項２８】
請求項１１乃至１５のいずれかに記載の電子装置において、実行時のユーザ制御に応答して上記パノラマ内で上記ビューポートの角度視野を変動させる手段をさらに有することを特徴とする電子装置。
【請求項２９】
請求項１１乃至１５のいずれかに記載の電子装置において、実行時のユーザ制御に応答して３次元バーチャル空間内で視点を変える手段をさらに有することを特徴とする電子装置。
【請求項３０】
請求項１１乃至１５のいずれかに記載の電子装置において、
（ａ）視聴者の物理位置を連続して測定するためのトラッキング装置と、
（ｂ）上記測定に応答して３次元バーチャル空間内で視点を変える手段とをさらに有することを特徴とする電子装置。
【請求項３１】
請求項１１乃至１５のいずれかに記載の電子装置において、方角に敏感なサウンドをリアルタイムで出力する手段であって、視聴者の頭部の方向により制御される手段をさらに有することを特徴とする電子装置。
【請求項３２】
請求項１１乃至１５のいずれかに記載の電子装置において、方角に敏感なサウンドをリアルタイムで出力する手段であって、上記パノラマ内のビューポートの座標により制御される手段をさらに有することを特徴とする電子装置。
【請求項３３】
請求項１１乃至１５のいずれかに記載の電子装置において、方角及び位置に敏感なサウンドをリアルタイムで出力する手段であって、上記パノラマ内のビューポートの座標と、３次元バーチャル空間内の視点のバーチャル位置とにより制御される手段をさらに有することを特徴とする電子装置。
【請求項３４】
請求項１１乃至１５のいずれかに記載の電子装置において、予め録画されたコンピュータ画像または生の画像を、カメラシステムによりリアルタイムで取得したリアルワールド画像と合成する手段をさらに有し、これにより、拡張リアリティ体験が生み出されることを特徴とする電子装置。
【請求項３５】
請求項１１乃至１５のいずれかに記載の電子装置において、カメラシステムにより、及び、差分画像処理技術を介して取得されたリアルワールド画像を解析して、背景のリアルワールド画像を、ビデオ装置から出力される合成画像や予め録画された画像と自動的に置き換える手段をさらに有することを特徴とする電子装置。
【請求項３６】
請求項１１乃至１５のいずれかに記載の電子装置において、“リアルワールド”画像あるいは予め録画された画像のいずれかの画像を選択的に合成し、幾何学的に変更して、コンポジットな拡張リアリティ体験をつくりだすように為す手段をさらに有することを特徴とする電子装置。
【請求項３７】
請求項１１乃至１５のいずれかに記載の電子装置であって、クロマキー技法を利用して、前景と背景の予めレンダーされたビデオ情報を合成する手段をさらに有することを特徴とする電子装置において、
（ａ）上記前景情報と背景情報とが共通のビデオソースにより与えられ、
（ｂ）上記ビデオ画像の特別の制御フレーム及び各走査線の部分のうちの一方としてコード化されたクロマキーカラーのアナログサンプルまたはデジタルサンプルを供給することにより、１画像内で上記クロマキーカラーが動的に変動可能であることを特徴とする電子装置。
【請求項３８】
ＶＴＶグラフィックプロセッサであって、
（ａ）１以上のビデオデジタル化用モジュールと、
（ｂ）拡張リアリティメモリ（ＡＲＭ）と、バーチャルリアリティメモリ（ＶＲＭ）と、変換メモリ（ＴＭ）とから成るグループから得られる１以上の記憶域と、
（ｃ）デジタル処理手段であって、
（１）ＡＲＭとＶＲＭのうちの少なくとも一方に保持されるデータのアドレスマッピングを変更して、１つの記憶位置から別の記憶位置へ画像情報を効果的に移動させ、
（２）上記ソース記憶位置と宛先記憶位置との双方から得られるデータを数学的に合成し、このデータを変更し、それによって合成と変換の機能を行うデジタル処理手段と、
（ｄ）１以上のビデオ生成モジュールと、を有することを特徴とするＶＴＶグラフィックプロセッサ。
【請求項３９】
請求項３８記載のＶＴＶグラフィックプロセッサにおいて、ＶＲＭとＴＭよりも狭い垂直方向の視野を占めるようにＡＲＭをマップし、それによって、高品質の画像をそのまま維持しながら、上記メディアの供給に必要なデータを最少化することを特徴とするＶＴＶグラフィックプロセッサ。
【請求項４０】
請求項３８記載のＶＴＶグラフィックプロセッサにおいて、ＡＲＭ、ＶＲＭ、ＴＭを異なる解像度でマップする手段をさらに有し、それによって、各メモリ領域内のピクセルが異なる度数の角度偏差を表すことが可能であることを特徴とするＶＴＶグラフィックプロセッサ。
【請求項４１】
請求項３８記載のＶＴＶグラフィックプロセッサにおいて、
（ａ）画像を表示する手段と、
（ｂ）ＡＲＭ内のリアルワールドビデオ情報と、ビデオ供給装置から得られるソース情報とをＶＲＭの中へ入れる手段と、
（ｃ）ＴＭの中に保持されているデータのパターンに従って、上記２つのソース画像を合成し、表示する前にコンポジット画像に変換する手段と、をさらに有することを特徴とするＶＴＶグラフィックプロセッサ。
【請求項４２】
請求項３８記載のＶＴＶグラフィックプロセッサにおいて、
（ａ）画像を表示する手段と、
（ｂ）上記ビデオ供給装置から得られるソース情報をＡＲＭとＶＲＭとの中へ入れる手段と、
（ｃ）上記ソースメディアの中に含まれる変換マップに従って上記２つの画像ソースを合成する手段と、をさらに有することを特徴とするＶＴＶグラフィックプロセッサ。
【請求項４３】
請求項３８記載のＶＴＶグラフィックプロセッサにおいて、
（ａ）画像を表示する手段と、
（ｂ）ビデオ供給装置から得られるソース情報をＡＲＭとＶＲＭの中へ入れる手段と、
（ｃ）上記画像の幾何学的解釈に従って追加のソース情報に基づき上記２つの画像ソースを合成する手段と、をさらに有することを特徴とするＶＴＶグラフィックプロセッサ。
【請求項４４】
システムであって、
（ａ）オーバーラップする水平方向の視野によって構成される複数の電子画像取得装置であって、上記オーバーラップする水平方向の視野が最大３６０°を一体にカバーするようになっている電子画像取得装置と、
（ｂ）上記装置により作成された個々の画像をクロップし、アラインメントを行って上記個々のページ間の無視できる歪みとオーバーラップとを持つ３６０°のパノラマ画像全体を形成するように為す手段と、を有することを特徴とするシステム。
【請求項４５】
請求項４４記載のシステムにおいて、上記画像に対して歪み補正を適用し、３６０°のパノラマ画像が横軸で数学的に平らになり、上記画像の横軸の各ピクセルが取得装置に対して等しい角度で対する手段をさらに有することを特徴とするシステム。
【請求項４６】
請求項４４記載のシステムにおいて、上記画像に対して歪み補正を適用して、３６０°のパノラマ画像が縦軸で数学的に平らになり、それによって上記画像の縦軸の各ピクセルが取得装置に対して等しい角度で対するように為す手段をさらに有することを特徴とするシステム。
【請求項４７】
請求項４４記載のシステムにおいて、３６０°のパノラマ画像を含む個々の画像の記憶位置を記述するための識別情報を送出用ビデオストリームの中へ挿入する手段をさらに有することを特徴とするシステム。
【請求項４８】
請求項４４記載のシステムにおいて、上記取得装置の現在の方角と位置とを記述するためのトラッキング情報を送出用ビデオストリームの中へ挿入する手段をさらに有することを特徴とするシステム。
【請求項４９】
システムであって、
（ａ）ビデオ取得装置と、
（ｂ）上記ビデオ取得装置から受信したデータを利用して、上記装置の方角の変化を計算するための一連の画像解析処理を実行する手段と、を有することを特徴とするシステム。
【請求項５０】
システムであって、
（ａ）ビデオ取得装置と、
（ｂ）上記ビデオ取得装置から受信したデータを利用して、上記装置の位置の変化を計算するための一連の画像解析処理を実行する手段と、を有することを特徴とするシステム。
【請求項５１】
請求項４９または５０記載のシステムにおいて、
（ａ）所定の座標に配置された複数の逆反射作用を生じるターゲットと、
（ｂ）上記ビデオ取得装置の取得レートと同期してストロボ発光される複数の軸上光源と、
（ｃ）上記所定の座標に基づいて絶対角データと空間データ、及び、上記ビデオ取得装置により決定された相対角データと相対空間データとを計算する手段と、をさらに有することを特徴とするシステム。
【請求項５２】
請求項５１記載のシステムにおいて、上記逆反射作用を生じるターゲット上に配置された複数のカラーフィルタをさらに有し、上記個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し、維持するシステムの能力の向上を図るように為すことを特徴とするシステム。
【請求項５３】
請求項５１記載のシステムにおいて、光源がカラー制御可能であり、これにより、該トラッキングを維持するシステムの能力の向上を図るように為すことを特徴とするシステム。
【請求項５４】
請求項５２記載のシステムにおいて、光源がカラー制御可能であり、これにより、個々の逆反射作用を生じるターゲットのトラッキングを正しく識別し維持するシステムの能力のさらなる向上を図るように為すことを特徴とするシステム。
【請求項５５】
請求項４９または５０記載のシステムにおいて、
（ａ）上記ビデオ取得装置の取得レートと同期する複数の制御可能な光源と、
（ｂ）パルス出力タイミングと光の色とのうちの少なくとも一方を利用して上記ビデオ取得装置へ各ビーコンの空間座標を伝送する手段と、をさらに有し、
これにより、上記装置により相対角データと相対空間データとを確定し、これらのデータを絶対角データと絶対空間データとに変換できることを特徴とするシステム。
【請求項５６】
請求項４９または５０記載のシステムにおいて、上記ビデオ取得装置を用いて一意のＩＤコードを通信するための複数の双方向赤外線ビーコンをさらに有することを特徴とするシステム。
【請求項５７】
請求項４９または５０記載のシステムにおいて、
（ａ）天井の視覚パターンをモニタするための光学的画像処理手段と、
（ｂ）複数の流体チルトセンサと、
（ｃ）上記光学的画像処理手段の出力を介して相対空間運動と方位角とを確定し、上記流体チルトセンサの出力を介してピッチと回転を確定する手段とをさらに有することを特徴とするシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像視聴システムとサウンドシステムに関する。
【背景技術】
【０００２】
本願は、２００１年６月２５日にＡｎｇｕｓ  Ｄｕｎｃａｎ  Ｒｉｃｈａｒｄｓにより出願された“ＶＴＶシステム”という名称の米国特許出願番号第０９／８９１，７３３号により優先権を主張するものである。
【０００３】
通常のテレビ画面や映画スクリーンは現代の娯楽の一般的な形態であるが、これらの従来のシステムは、映画の動きと関連して視聴者のビューイング方向及び相対位置のユーザによる制御を可能にするものではない。さらに、バーチャルリアリティの表示がポピュラーになりつつあるが、３次元画像を生成する従来のシステムは複雑な場合が多く、メディアグラフィックは作成にコストのかかるものである。
【発明の開示】
【課題を解決するための手段】
【０００４】
以下の発明は、拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関する。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関する。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の画像撮影法と真のバーチャルリアリティとの間の中継技術として設計される。
【０００５】
ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化（ｆｅａｔｕｒｅ）し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【発明を実施するための最良の形態】
【０００６】
添付図面と関連して以下に記載の詳細な説明は、本発明の現在の好ましい実施例の説明を目的とするものであり、本発明の構成および／または利用の唯一の形態を表すことを意図するものではない。本説明は、例示される実施形態と関連して本発明を構成し、作動させる機能及び一連のステップについて記載するものである。しかし、本発明の精神と範囲内に含まれることが意図される異なる実施形態によっても、同じあるいは同等の機能及びシーケンスの達成が可能であると理解されたい。
【０００７】
１．１）以下の発明は拡張型立体テレビジョン様の視聴体験を生成するハードウェア構成全体に関するものである。通常のテレビとは異なり、本システムの場合、視聴者は映画の動きと関連して視聴者のビューイング方向と相対位置との制御を行うことが可能となる。専用のハードウェア構成に加えて、本発明はまた、このバーチャルリアリティ様の体験を可能にする新しいビデオフォーマットにも関するものである。さらに、上記目標の実現を容易にするいくつかの独自のビデオ圧縮規格も定義される。ＶＴＶシステムは、従来方式の２次元の映画撮影法と真のバーチャルリアリティとの間の中継技術として設計される。ＶＴＶシステムの進化にはいくつかの段階が存在するが、その最も基本的な形であるパノラマ表示方式から、その最も優れた形式である、アニメーション化されたテクスチャマップを利用するフルオブジェクトベースのバーチャルリアリティを特徴化し、さらに、“視聴環境を意識した”拡張リアリティシステム全体で実物の俳優および／またはコンピュータで生成したキャラクタを特徴化する方式の範囲にまで及ぶ段階がある。
【０００８】
１．２）図１に見られるように、本ＶＴＶシステム全体は、中央画像処理装置（ＶＴＶプロセッサ）と、各種ビデオ入力装置（ＤＶＤ、ＶＣＲ、衛星、地上テレビ、遠隔ビデオカメラ）、赤外線リモートコントロール、デジタルネットワーク接続部、及びいくつかの出力装置接続部とから構成される。本ＶＴＶユニットは、図２に図示するようなその最も基本的な構成では、従来型のテレビ装置へ画像を出力することになる。このような構成では、（おそらく赤外線方式の）リモートコントロール装置を用いて、このＶＴＶ環境内で視聴者の所望のビューイング方向と位置の制御が行われることになる。この“基本システム構成”の利点として、現在の視聴覚技術を利用してこの構成の実現が可能であるという点が挙げられる。ＶＴＶ画像規格は、標準的ビデオのレイヤー（ｌａｙｅｒ）の上位“レイヤー”と考えることができる（上位）互換性を有する画像規格である。すなわち、従来のビデオは新しいＶＴＶ画像規格のサブセットを表すものとなる。この規格が互換性を有する結果、テレビメーカーおよび／または視聴覚機器メーカーは仕様の大きな変更をまったく必要とせずＶＴＶを導入することが可能となる。さらに、ＶＴＶ互換テレビ復号化用ユニットは従来方式のテレビ送信と本質的に互換性を有するものである。
【０００９】
１．３）図３に図示するようなさらに優れた構成では、ＶＴＶシステムは表示装置として無線ＨＭＤを使用する。このような構成では、単純な画像表示に加えてトラッキング装置として無線ＨＭＤを使用することが可能である。このトラッキング情報は、最も基本的な形では、単にビューイング方向の制御から成るものであってもよい。さらに優れたシステムでは、バーチャルな環境において視聴者のビューイング方向と位置の双方の確定が可能となる。最終的に、最も優れた実施構成では、ＨＭＤの遠隔カメラによって、リアルワールド画像がＶＴＶシステムに入力され、ＶＴＶシステムはこのリアルワールド画像を解釈してこれを空間オブジェクトに変換し、次いで、この空間オブジェクトはバーチャルなオブジェクトと置き換えられ、それによって、“視聴環境を意識した”拡張リアリティシステムの提供が可能となる。
【００１０】
１．４）無線ＨＭＤは、無線データリンク“サイバーネットリンク”によってＶＴＶプロセッサに接続される。このリンクは、その最も基本的な形ではＶＴＶプロセッサからＨＭＤへビデオ情報を送信し、ＨＭＤからＶＴＶプロセッサへトラッキング情報を送信する能力を有する。サイバーネットリンクは、その最も優れた形では、ＨＭＤからＶＴＶプロセッサへのトラッキング情報の転送に加えてＨＭＤとサイバーネットリンク間でのビデオ情報の送受信も行うことになる。さらに、ＶＴＶプロセッサのある構成要素を遠隔ＨＭＤの中に組み込むようにし、それによってサイバーネットリンクを介するデータ転送要件を提言するようにしてもよい。この無線データリンクは、（未圧縮あるいはデジタル圧縮のいずれかのフォーマットで）アナログデジタルビデオ送信またはデジタルビデオ送信のいずれかを利用する多様な異なる方法で、トラッキング情報用の、二次のデジタルで符号化したデータストリームを用いて実現することができる。あるいは、これらのチャネルの双方を運ぶ純粋にデジタルな単方向のまたは双方向のデータリンクを組み込むこともできる。データ転送用の実際のメディアはおそらくマイクロウェーブや光である。しかしいずれの転送メディアも適切なものとして利用可能である。本システムの好ましい実施形態は、ＨＭＤのボード上やおそらくＶＴＶ基地局上の画像解析用ハードウェアと共にＨＭＤに取り付けられたオンボードのパノラマカメラを利用してリアルタイムのトラッキング情報を出力する形態となる。システム精度のさらなる向上を図るために、逆反射作用を有するマーカーを”リアルワールド環境で”利用することも可能である。このような構成では、オンボードカメラの光軸の近くに配置される切り替え可能な光源をこれらのカメラと共に利用して“差分画像解析”システムが形成される。このようなシステムは、直接ビデオ画像を単独で利用する場合よりも著しく高い認識精度を特徴とする。
【００１１】
１．５）最終的に、本ＶＴＶシステムは“ユニバーサル画像規格（ｕｎｉｖｅｒｓａｌ  ｇｒａｐｈｉｃｓ  ｓｔａｎｄａｒｄ）”を利用して画像情報の転送を行うことになる。このような標準規格では、オブジェクトベースの画像記述言語が組み込まれ、この言語によってサブシステム間での“共通の画像知識ベース”による高圧縮が達成されることになる。本発明は、基本的な用語で、この画像言語の進化における３つのレベルの漸進的精巧化（ｓｏｐｈｉｓｔｉｃａｔｉｏｎ）について記載するものである。
【００１２】
１．６）本特許の目的として以下の３つの圧縮規格について説明する：
ａ）ｃ−ｃｏｍ
ｂ）ｓ−ｃｏｍ
ｃ）ｖ−ｃｏｍ
１．７）ＶＴＶシステムは、その最も基本的なフォーマットにおいて、視聴者を取り囲む３６０°のパノラマ表示スクリーンと考えることができる。
【００１３】
１．８）上記“バーチャル表示画面”は多数の“ビデオページ”から構成される。“ページキーコード”がビデオ画像内で符号化され、この“ページキーコード”によって、上記“バーチャル表示画面”内の特定の位置内へ画像情報を入力するようにＶＴＶプロセッサへの指示が行われる。動的に画像を入力する上記能力の結果、高解像度レートと高いフレームレートのいずれにも著しい犠牲を生じることなく、有効な同等の高解像度レートと高いフレームレートの双方の達成が可能となる。例えば、高速で変化している画像セクションのみが高速の画像更新を必要とするのに対して、画像の大部分は一般に静的である。（一般に動いている）重要な要素が主要場面に配置される従来方式の画像撮影法とは異なり、パノラマ画像の大部分は一般に静的である。
【００１４】
（ＶＴＶ画像規格：）
２．１）ＶＴＶ画像規格は、その最も基本的な形において、バーチャルな３６０°パノラマ表示画面から構成され、ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信装置のような外部のビデオソースから得られるビデオ画像をこのパノラマ表示画面上に描画することが可能であり、その結果、各ビデオフレームには、ビデオ情報だけでなく、バーチャルな表示画面内における各ビデオフレームの位置を定義する情報も含まれる。このようなシステムは、可変解像度画像だけでなく、フレームレートに依存しない画像も出力するので、著しく汎用性が高い。すなわち、ある特定のバーチャルな画像（バーチャル表示画面全体）内の実際の更新率は表示画面自体の範囲内で変動すると考えられる。この更新は、自身のバーチャル位置情報を含む各フレームによって達成される。これによって、ほとんどあるいはまったく変化しない画像上の非更新セクションの名目上の認知を代償にしてバーチャル画像のアクティブ領域の更新を迅速に行うことが可能となる。このようなシステムが図４に図示されている。
【００１５】
２．２）画像のリアリズムのさらなる改善を図るために、図５に図示のフォーマットに合わせて基本ＶＴＶシステムの拡張を行うことができる。この構成では、円筒形状のバーチャル表示画面が先端を切り落とした球面としてＶＴＶプロセッサにより解釈される。ＶＴＶプロセッサのデジタル処理ハードウェアコンポーネント内のジオメトリトランスレータ、すなわち”ワープエンジン”をしようすることによって、上記効果を容易に生み出すことが可能となる。
【００１６】
２．３）絶対基準平面が絶えず変動することから、（ＨＭＤベースまたはＰａｎ−Ｃａｍベースのいずれかの）移動カメラ用アプリケーションでは、ＶＴＶグラフィックエンジンが画像を正しく復号化できるように、カメラシステムの方位角と高度に関連するトラッキング付加情報が視覚情報と共に含まれることが求められる。このようなシステムでは、カメラの絶対方位角と高度が画像フレーム情報の一部となる。この絶対基準データを解釈するいくつかの可能性のある技法が存在する。まず、座標データを用いてメモリ書き込み処理中にメモリ内に像面の原点を画定することができる。残念ながら、上記アプローチでは、異なるアラインメント値を持つ前回のフレームからの残りの画像フラグメントが結果としてメモリ内に残される傾向がある。さらに実際的な解決方法として、単に、０方位角、０高度の想定基準点と共にビデオ情報をメモリの中へ書き込む方法がある。次いで、カメラアングルの補正値に対応する表示ビューポートの補正により上記ビデオ情報の正しい表示が行われる。このようなシステムの１つの可能なデータフォーマットが図１１及び表１に図示されている。
【００１７】
【表１】
2005500721.tif 000079
（オーディオ規格：）
２．４）３６０°パノラマビデオに加えて、４トラック（４チャネル録音再生方式）または８トラック（８チャネル録音再生方式）のいずれかの立体的サウンドもＶＴＶ規格によってサポートされる。４トラックシステムのバーチャルな表現が図６に示されている。単純な４トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、ビューポート（ＶＲ環境内での視方向）の方位角に基づいてスケーリングされる。８トラックオーディオシステムの場合、サウンドシステムの左右スピーカ（またはＨＭＤベースのシステムの場合、ヘッドホン）を通る音は、システムのバーチャルな表現（図７）に図示のように、ビューポートの方位角と高度の双方に基づいてスケーリングされる。
【００１８】
２．５）その最も基本的な形では、図１２に図示するようなデジタル／アナログハイブリッドフォーマットにおいて、ＶＴＶ規格によって、ビデオ情報の一部としてマルチトラックオーディオチャネルの符号化が行われる。その結果、現行機器とビデオとの互換性の達成が可能となる。この例図に見られるように、オーディオデータは、アナログコード化された圧縮フォーマットで格納されているため、各ビデオ走査線には５１２本のオーディオサンプルが含まれるようになる。このアナログコード化オーディオ情報に加えて、各オーディオ走査線には、オーディオ情報の“プレスケーリング”に用いられる３ビットデジタルコードが含まれる。すなわち、実際のオーディオサンプル値はＸ＊Ｓであり、ここでＸはプレスケール番号であり、Ｓはサンプル値である。上記２種の符号化方式を用いて、オーディオシステムのダイナミックレンジを約４３ｄＢから６０ｄＢ以上まで拡げることが可能となる。第２に、このダイナミックレンジの拡張は、オーディオ品質に比して比較的“低コスト”で行われる。なぜなら、信号レベル全体が高ければ、人は音の歪みに対して相対的に敏感ではないからである。スタートビットはこのシステムでは重要な構成要素である。スタートビットの機能は、走査線に対して最大レベル（例えば１００％レベルすなわち白レベル）を設定することである。黒レベルと関連するこのレベル（このレベルはカラーバーストの直後にサンプリングすることができる）は、各ラインに対して０％と１００％のレンジを形成する。ラインベースで各ラインに対する０％と１００％のマークを動的に調整することにより、走査線のデジタル成分の復号化の精度が向上することに加えて、ビデオサブモジュールのＡＣ結合および／またはビデオメディアの録画と再生に起因して生じる黒レベルの変動に対するシステム感度がずっと低くなる。
【００１９】
２．６）このデジタル情報のプレスケーリングに加えて、オーディオ制御ビット（ＡＳ）が（ライン２１の）各フィールドに含まれる。この制御ビットによってオーディオバッファシーケンスは設定時０に設定される。この設定によって、４または８トラックオーディオ情報が同期されて、その結果、ビデオページの更新シーケンスに関係なく常に現在のデータから正しいトラックの更新が行われる。
【００２０】
２．７）別の構成では、ビデオ録画再生システム（典型的にはデジタルオーディオトラックや線形アナログオーディオトラック）により出力される従来方式のステレオオーディオを用いることによって、立体的サウンドの提供が可能となる。最善でも、このような従来方式のシステムでは、２つのオーディオトラックだけに４８ｋＨｚのサンプルレート（すなわち、２チャネル２４ｋＨｚオーディオ）が与えられるのみである。しかし、オーディオデータを圧縮することによって同じ記憶メディア上へさらに多数のオーディオトラック（例えば４または８オーディオトラック）をタイムドメインで符号化し、次いで、その結果得られるデータの時分割多重化を行うことが可能となる。受信側では、まず時分割多重化されたデータを復号化し、次いでオーディオデータを減圧縮（ｄｅｃｏｍｐｒｅｓｓｉｎｇ）することによって上記プロセスが逆に行われて、一連の連続するオーディオストリームが形成される。高いオーダーのノッチフィルタまたはハイパスフィルタを組み込んで、時分割多重化／逆多重化処理手順により生じるサンプリングノイズをすべて取り除くようにすることが好ましい。このようなフィルタは、おそらくデジタル設計のフィルタであり、単にＶＴＶプロセッサのデジタル処理用ハードウェアの一部にすぎない。このようなオーディオ符号化システムのための代表的な構成が図１４〜１５に図示されている。
【００２１】
このようなシステムが簡単に実現可能であることは明らかである。オーディオチャネル数の増加による“パフォーマンス代価”は、システムの周波数応答が減少することである。この減少はチャネル数の上昇に直接比例する。例えば、チャネル数が２から４へ増加すると、周波数応答が２４ｋＨｚから１２ｋＨｚへ減少することになる。この減少レベルは容認できる範囲のレベルであり、最終的にこのオーディオの多重化システムは、比較的“ロバスト（ｒｏｂｕｓｔ）”で、かつ、ＶＴＶフォーマットマテリアルの実施と編集が容易であるという点から見て、顕著な利点を与えるものであるという点で、前述したビデオ符号化されたオーディオシステムにとって好ましいものとなり得るものである。
【００２２】
任意の時分割多重化システムの有効な実施において最も重要なファクタの１つとして、時分割符号化クロック及び復号化クロックの安定した精度の高い生成が挙げられる。これは絶対に重要なファクタである。なぜなら、復号化されたデータパケットのいかなるミスアラインメントも非常に顕著なチャネルクロストークに関連するノイズを結果として引き起こすことになるからである。本ＶＴＶシステムでは、ビデオストリームの中に同期信号（Ｈ同期やＶ同期、奇数／偶数などのいずれか）を用いて、ローカル復号化クロックを生成させることで、この問題に対する新規かつ非常に有効な解決方法を組み込む。これらの信号は一般に非常に正確であり、デジタル記録機器をＶＴＶデータの保存に利用する場合、特に正確である。
【００２３】
好ましい実施形態では、時分割復号化ノイズ（ＮＴＳＣに対して毎秒６０スパイク）が相対的にほとんど発生しないこと、このノイズがデジタルノッチフィルタを使用することで（必要な場合）容易に除去できると考えられることを考慮して、復号化クロックとしておそらくＶ同期が使用されることになる。一方、（Ｈ同期などの）高周波時分割クロックを選択した場合、さらに多くの不連続インスタンス（毎秒約１５，０００）が発生する可能性があるが、同様に、デジタルフィルタ（この場合ローパスフィルタ）によってこれらのインスタンスを除去することが可能である。ＨＤＴＶやその他の高い走査速度（３１ｋＨｚまたはそれ以上の）のＴＶ規格を用いる場合、高速の復号化クロックの方が好ましいものになると考えられる。なぜなら、このような状況では、フィルタリングの要件が非常に簡単でかつ効果的になるためである。さらに、高速の復号化クロックを利用するシステムのメモリ要件が大幅に減少する。
【００２４】
２．８）コンピュータ用ＡＶファイル及びデジタルテレビ送信などのさらに優れたマルチメディア用データフォーマットでは、さらに効率的であるか、あるいは利点の多い別の方法でこれらの付加的オーディオトラックを格納することも可能である。
【００２５】
２．９）視聴覚装置としての利用に加えて、この空間でオーディオシステム／規格を、好適でコンパクトなトラッキング装置と１組のコードレスヘッドホンとを組み合わせることによって、オーディオ専用モードで使用して、高性能のハイファイ機器用空間オーディオシステムの実現を図ることも可能であることに注意されたい。
【００２６】
（拡張機能）
２．１０）上記の単純化した画像規格に加えて、単独でまたは基本ＶＴＶ画像規格と共に使用可能な多数の拡張機能がある。後続する発明で、ａ）ｃ−ｃｏｍ、ｂ）ｓ−ｃｏｍ、ｃ）ｖ−ｃｏｍとして知られる３つの画像規格について詳細に説明するが、これは本発明の目的のために行うものである。
【００２７】
２．１１）最初の２つの規格が空間画像オブジェクトの定義に関するものであるのに対して、第３の画像規格は、サブセットとして第１の規格を利用し、追加の環境定義と制御アルゴリズムとを組み込む完全なＶＲ環境定義言語に関する規格である。
【００２８】
２．１２）（最も基本的な形での）ＶＴＶ画像規格は、従来方式のビデオ規格（ＮＴＳＣ、ＰＡＬなど）の層の上位にある制御層と考えることができる。したがって、ＶＴＶ画像規格は従来方式のアナログビデオ送信規格に制限されることは全くない。基本的に同一の技術を用いて、本ＶＴＶ規格は、ＨＤＴＶ規格並びにコンピュータグラフィック及び業界の視聴覚規格の多くと共に機能することができる。
【００２９】
２. １３）表１と図１１で概説したデジタル制御情報は、本システムの一つの可能な構成を表すものにすぎず、現行のアナログＴＶシステムとの互換性を有する仕様の一般性を減じるものではない。制御ビットの別の構成および／またはこの情報を符号化してアナログＴＶなどのようなビデオフォーマットに変換する別の方法が存在し、そのような構成および／または方法も同様に有効である。例えば、ＭＪＰＥＧやＭＰＥＧ-ＩＩなどの多くのデジタル符号化処理によって、連続するビデオ走査線が平均化されることが多く、図１１に図示するような単一ラインとして符号化される場合、デジタル情報が損なわれる傾向があることが知られている。しかし、一連のラインまたは連続するラインとしてこの情報を符号化すれば、この問題は解決される。このような構成では、データは、一連の直線分ではなく、結果として得られる画像内の一連の小さな矩形として符号化されるデータと考えることができる。このような変更は予想されるものであり、別のビデオフォーマット、特にＨＤＴＶなどのようなデジタル符号化されたフォーマットを用いてパフォーマンス効率の向上を図る、さらに別の適合化が予想される。
【００３０】
（ＶＴＶプロセッサ：）
３．１）ＶＴＶグラフィックプロセッサはＶＴＶシステムの核心部である。このモジュールは、その最も基本的な形で、表示装置（従来方式のＴＶ／ＨＤＴＶあるいはＨＭＤのいずれか）へ出力画像をリアルタイムで生成する役割を果たすものである。ＶＣＲ、ＤＶＤ、衛星、カメラあるいは地上テレビ受信機のようなビデオメディア供給装置から入力される生の画像情報のデジタル化に加えて、このモジュールのさらに優れたバージョンでは、インターネットやその他のネットワーク接続を介して渡される“ユニバーサル画像言語（ｕｎｉｖｅｒｓａｌ  ｇｒａｐｈｉｃｓ  ｌａｎｇｕａｇｅ）”から得られる画像をリアルタイムで描画することも可能である。このデジタル化タスクと描画タスクに加えて、ＶＴＶプロセッサは画像解析を実行することも可能である。本システムの初期のバージョンは、ＨＭＤの座標のトラッキングを確定することを目的としてこの画像解析機能を利用するものである。このモジュールのさらに優れたバージョンでは、上記トラッキング情報の提供の他に、ＨＭＤから得られるリアルワールド画像の物理的３次元オブジェクトとしての解釈も行われる。これらの３次元オブジェクトはユニバーサル画像言語で定義され、次いで、それを記録し、インターネットやその他のネットワークを介して同様の遠隔地にある表示装置へ通信したり、あるいは、類似する物理的サイズの別のバーチャルなオブジェクトにより置き換えたりすることが可能であり、それによって、真の拡張リアリティ体験が創り出される。
【００３１】
３．２）ＶＴＶハードウェア自体は以下のようなサブモジュール群から構成される。：
ａ）ビデオデジタル化モジュール
ｂ）拡張リアリティメモリ（ＡＲＭ）
ｃ）バーチャルリアリティメモリ（ＶＲＭ）
ｄ）変換メモリ（ＴＭ）
ｅ）デジタル処理ハードウェア
ｆ）ビデオ生成モジュール
３．３）これらのモジュールの正確な構成は他の外部ハードウェアによって決まる。例えば、デジタルビデオソースを用いる場合、ビデオデジタル化モジュールは比較的単純なものとなり、１グループのラッチバッファまたはＦＩＦＯバッファのみから構成される。しかし、コンポジットビデオ入力やＹ／Ｃビデオ入力を利用する場合、これらの信号をデジタル形式へ変換するための追加ハードウェアが必要となる。さらに、ビデオ入力ソースとしてデジタルＨＤＴＶ信号を使用する場合、（ＨＤＴＶ信号は圧縮されたフォーマットでは処理できないため）システムのフロントエンドとしてＨＤＴＶデコーダが必要となる。
【００３２】
３．４）アナログＴＶなどのようなフィールドベースのビデオシステムの場合、ＶＴＶグラフィックエンジンの基本処理は以下のようになる：
ａ）ビデオ情報がデジタル化され、０°方位角、０°高度の絶対ページ基準を想定して、フィールドベースで拡張リアリティメモリ内に入れられ、各ページの原点がページ番号ビット（Ｐ３〜Ｐ０）の状態により確定される。
【００３３】
ｂ）背景および／または床／天井マップに関連する補助ビデオ情報は、“フィールドタイプ”ビット（Ｆ３〜Ｆ０）とページ番号ビット（Ｐ３〜Ｐ０）の状態によって決まる。フィールドベースでバーチャルリアリティメモリ内にロードされるか、セクション３．１２に記載のような拡張リアリティメモリ内に入れられるビデオ情報の解釈によりリアルタイムで生成される。
【００３４】
ｃ）デジタル処理用ハードウェアは、拡張リアリティメモリとバーチャルリアリティメモリの中に保持された上記情報を解釈し、ジオメトリ処理用エンジン（ワープエンジン）、デジタル減算画像処理、及び“ブルースクリーニング（ｂｌｕｅ−ｓｃｒｅｅｎｉｎｇ）”の新しい汎用性の高い形式との組み合わせを利用してこのデータを変換し、選択的にこのデータを合成して、ビデオマテリアルの撮影時に、パノラマカメラの在る位置と同じ位置に視聴者が立っていた場合に、その目に映る画像とほぼ類似の画像に変換する。この画像と、従来方式のビデオ技法を利用して入手可能な画像との間の主要な相違点として、前者の画像は、３６０°のパノラマ画像であるだけでなく、複合した没入型の拡張リアリティ体験を形成できるように一体に融合されたバーチャルリアリティと“リアルワールド”画像の双方の要素を備えることも可能であるという点が挙げられる。
【００３５】
ｄ）バーチャルリアリティと“リアルワールド画像”とを合成する正確な方法はＶＴＶプロセッサの作動モードによって決まるが、この方法については、本明細書の後のセクションでさらに詳細に説明する。この特別のＶＴＶプロセッサモードは、ソースメディアの中に存在する追加の制御情報により決定される。したがって、ＶＴＶメディアのソースを表示しながら、処理モードと表示モードとを動的に変更することが可能である。
【００３６】
ｅ）次いで、ビデオ生成モジュールは、従来方式のテレビまたはＨＭＤ表示装置に表示される単一のビデオ画像または一対のビデオ画像を生成する。（マルチスピンＤＶＤ装置が画像メディアとして使用されない場合）ＶＴＶ画像フィールドは最大フレームレート未満で更新されるが、画像の描画は、立体的サウンドの更新の場合のように、そのまま最大のビデオフレームレートで行われる。これが可能である理由として、各“画像球面”が、視聴者の任意の方角（方位角と高度）に関連するビデオとオーディオ双方の必要な情報のすべてを含むということが挙げられる。
【００３７】
３．５）図９に見ることができるように、ＶＴＶプロセッサのメモリの書き込み側は（ＡＤＣの）２つの別個のビデオ入力段を示す。ＡＤＣ−０は一般に生のパノラマビデオの送出に用いられ、ＡＤＣ−２は一般に予め描画されたビデオマテリアルからのバーチャルリアリティビデオの送出に用いられるものではあるが、双方のビデオ入力段は、拡張リアリティメモリとバーチャルリアリティメモリの双方へ完全にアクセスする（すなわち、これらのメモリではメモリプールが用いられる）ことに注意されたい。上記ハードウェア構成では、設計時にさらに多くの汎用性がサポートされ、いくつかの通常のものとは異なる表示モードの実施が可能である（これについては後のセクションでさらに詳述する）。同様に、ビデオ出力段（ＤＡＣ−０とＤＡＣ−１）はバーチャルリアリティメモリと拡張リアリティメモリの双方へ完全にアクセスする。
【００３８】
３．６）２つの入力段と２つの出力段とを備えることにより、設計の汎用性の向上が図られるが、メモリプールスタイルの設計により、１つ乃至２つの入力段のいずれかおよび／または出力段によってシステムが機能することが可能になり（但し機能は低下するが）、したがって、ある特定の実施構成において１つまたは２つの入力段あるいは出力段のいずれかが存在すれば、仕様の一般性が制限を受けるものではない。
【００３９】
３．７）設計の容易さのために、高速スタティックＲＡＭがプロトタイプ装置のビデオメモリとして利用された。しかし、この設計仕様の一般性を制限することなく別のメモリ技術の利用も可能である。
【００４０】
３．８）好ましい実施形態では、デジタル処理ハードウェアは１以上のフィールドプログラマブル論理アレイやカスタムＡＳＩＣの形をとる。フィールドプログラマブル論理アレイを用いる利点としては、ハードウェアを何時でも更新可能であるという点が挙げられる。この技術の主な欠点としては、ＡＳＩＣほど高速ではないという点が挙げられる。あるいは、従来方式の高速デジタルプロセッサを利用して上記の画像解析および／または画像生成タスクを実行することも可能である。
【００４１】
３．９）前述したように、おそらくＶＴＶハードウェア全体が携帯用ＨＭＤ装置内に存在するようになる程度まで、このハードウェアの特定のセクションをＨＭＤの中に組み込むことも可能である。このような場合、ＶＴＶ基地局のハードウェアは、ＨＭＤとインターネットやその他のネットワークとの間のリンクとしてのみ機能することになり、すべてのグラフィック画像生成、画像解析及び空間オブジェクト認識はＨＭＤ自体の中で行われることになる。
【００４２】
３．１０）注：ビューポートアドレスジェネレータの下位ビットは、生成された画像に対してバレル歪曲をかけるＸＹ画像軸のルックアップテーブルアドレス変換装置を介して実行される。この変換装置によって、ビューポートの現在の視野の正確な画像の歪曲が示される。このハードウェアは、おそらくＦＰＧＡやＡＳＩＣ論理回路内に実装され、ビューポートアドレスジェネレータの機能ブロックの一部を含むことになるため、図１０には明示されていない。同様の方法で最終画像の同じような回転が実現される。
【００４３】
３．１１）ビューポート−０だけが変換エンジン（ワープエンジン）により影響を受け、ビューポート−１は歪みを受けずに読み出されることに注意されたい。スーパーインポーズ及びオーバーレイ拡張リアリティモードを使用する場合、この読み出しが必要となる。なぜなら、記憶装置から再生されるＶＲビデオマテリアルは格納される前に予め“平坦化”（すなわち、ピンクッション歪み）されているのに反して、ＨＭＤに備えられたパノラマカメラから得られる生のビデオ画像は、本システムによって拡張リアリティモードで表示される前に歪み補正を必要とするからである。上記予備的歪み補正を行った後、ＨＭＤのパノラマカメラにより録画された画像は、それ自体新しいＶＲマテリアルとして、幾何学的に正確でかつ格納に適したものにすることが望ましい（すなわち、これらの画像はＶＲマテリアルになることができる）。この場合、ワープエンジンの主要な役割の１つとしてはＨＭＤのパノラマカメラのジオメトリ補正とトリミングとがある。この中にはカメラの視野間で切れ目のない移行を行うという複雑なタスクが含まれる。
【００４４】
（例外処理）
３. １２）図４、５に見られるように、ＶＴＶ画像フレームは円筒形または先端を切り落とした球面のいずれかから構成される。この空間は、視聴者に対して有限の対頂角（プロトタイプで＋／−４５°）でしか対していない。これは、ビデオ格納装置の利用可能なデータ帯域と送信メディアとを最大限に活用できるように設計された意図的な制限であり、これによって、現行ビデオシステムとの互換性が保たれる。しかし、この妥協の結果、ビューポートが画像データの範囲を超える状況が生じる可能性がある。第一に、この例外的状況を処理できるいくつかの異なる方法がある。この例外的状況を処理する最も単純な方法として、単に境界線外のビデオデータを黒にする方法が挙げられる。これによって、天井と床が黒い部屋に居る外観が得られる。上記とは別に、さらに優れたアプローチとして、“床”と“天井”（すなわちＶＴＶ画像フレームの底部と最上部に存在する画像情報に基づく、ＶＴＶ画像フレームの下方及び上方の空間）を形成するアプローチがある。特定の一実施構成では、ＶＴＶ画像フレームの最上部と底部“リム”に対して赤、緑、青のピクセルの平均値を用いて、純色表面または好適にはグラデーションを施した色表面のいずれかを形成しその環境の“天井”と”床”とを表すようにすることも可能である。戸外で生成されるＶＴＶビデオの状況では、通常天井が青のシェードで、床はほぼ地面の色という結果が生じることになる。ビューポートの高度に伴ってシェーディングを変動させることによって生成される“床／天井”の現実感が改善され、その結果一般にビューポートの高度が＋／−９０°の極値に近づくにつれて、輝度が上昇する。この効果は、比較的単純な数学を利用して簡単に生成することができ、おそらくＶＴＶグラフィックエンジンの一部としてハードウェア内で実現される。
【００４５】
しかしさらに別の好ましい構成として、低い解像度で最大３６０°＊１８０°の背景画像マップを格納する２次的ビデオメモリによる格納を利用する構成がある。このメモリ域はバーチャルリアリティメモリ（ＶＲＭ）として知られている。拡張リアリティメモリ及びバーチャルリアリティメモリの両方を利用するシステム用の基本メモリマップが（変換メモリと併せて）図８に示されている。上記例図でわかるように、この変換メモリ域は最大３６０°＊１８０°をカバーできる程の十分なレンジを持つ必要があり、理想的には、（３６０°＊９０°をカバーする）拡張リアリティメモリバンクの角度分解能と同じ角度分解能を持つ必要がある。このような構成によって、床及び天井に対する例外処理と、前景の窓を通して見たり、窓の後ろの背景を示したりするような変動する透明画像との両方の提供が可能となる。これらの背景は静的あるいは動的のいずれかであることができ、ページ化されたフォーマットの利用により、前景（拡張リアリティメモリ）と基本的に同じ方法で更新が可能である。
【００４６】
（オペレーションモード）
３．１３）ＶＴＶシステムには２つの基本的オペレーションモードがある。これら２つのモード内にはいくつかのサブモードも存在する。この２つの基本モードは以下の通りである：
ａ）拡張リアリティモード
ｂ）バーチャルリアリティモード
（拡張リアリティモード１：）
３. １４）拡張リアリティモード１では、“リアルワールド画像”の選択成分がバーチャルリアリティの背景の上にオーバーレイされる。一般に、この処理では、まず“リアルワールド”画像から背景成分をすべて除去することが必要となる。これは、差分画像処理技術を用いて、すなわち現在の“リアルワールド”画像を前にとった格納済みのコピーと比較し、この２つの差分を検出することにより簡単に行うことができる。２つの画像の正確なアラインメントを行った後、異なる領域が新規のオブジェクトまたは前景のオブジェクトとなり、同じ状態のまま変化しない領域は静的な背景オブジェクトとなる。これは拡張リアリティモードの中で最も単純なモードであり、背景のほとんどは処理時に除去されることになるので、一般に十分な関心の対象となるものではない。移動式Ｐａｎ−Ｃａｍ（テレプレゼンス）や拡張リアリティモードで作動する場合、拡張リアリティメモリは、一般に、ランダムなページ更新ではなく、シーケンシャルなページ順に（すなわちシステムフレーム全体で）更新が行われることに注意されたい。このような更新を行う理由としては、撮影中のパノラマカメラシステムの位置と方角が常に変動するため、これらの変動を別々に処理した場合、画像ページの不一致が生じる可能性が高いということが挙げられる。
【００４７】
（拡張リアリティモード２：）
３. １５）拡張リアリティモード２は、前景の自動抽出と、オブジェクトの移動と、人工的背景環境におけるこれらの配置とに加えて、システムがワープエンジンも利用して追加の“リアルワールド”オブジェクトを背景の中へ“押し込む”という点で、モード１とは異なるものである。これらの“リアルワールド”オブジェクトを単純にバーチャルな環境の中へ追加することに加えて、ワープエンジンは、これらのオブジェクトのスケーリングと変換とを行う能力も有するため、さらに有効にこれらのオブジェクトがバーチャルな環境の中へマッチするようになる。これらのオブジェクトは、不透明なオーバーレイあるいはトランスペアレンシとして処理することができる。
【００４８】
（拡張リアリティモード３：）
３. １６）拡張リアリティモード３の場合、ワープエンジンを用いて、背景オブジェクトを前景の中へ“引き込み”、“リアルワールド”オブジェクトを置き換えるという点でモード２とは異なるものである。モード２の場合のように、これらのオブジェクトの変換及びスケーリングを行うことが可能であり、不透明なオーバーレイあるいはトランスペアレンシのいずれかとしてこれらのオブジェクトの処理を行うことが可能である。これによって、ユーザは“リアルワールド”オブジェクトの物理的サイズと位置をバーチャルなオブジェクトと「一致」させることができるようになる。これを行うことにより、ユーザは、“リアルワールド”環境の場合と同じように、拡張リアリティ環境内でリアルタイムで交信し、ナビゲーションを行うことが可能となる。上記モードは、ユーザ自身の居間の中へハリウッド製作の映画を持ち込むことを可能にするものとして、娯楽目的やゲーム目的のためにおそらく最も利用が予想されるモードである。
【００４９】
（拡張機能）
３. １７）拡張リアリティモード２及び３を有効に作動させるキーとなるのは、高速かつ正確な光トラッキングシステムであることは明らかである。理論的には、ＶＴＶプロセッサが“リアルワールド”オブジェクトをリアルタイムで識別し、追跡することが可能である。しかし、特に、“リアルワールド”環境内における視聴者の物理位置の変化と共にオブジェクトジオメトリが大幅に変化するため、この識別と追跡は複雑なものとなる。したがって、単純な自動相関型のトラッキング技法が有効に機能しないことになる。このような状況では、逆反射作用を生じるいくつかのターゲットを当該オブジェクトのキー要素上に配置することにより、トラッキング精度の大幅な向上を図ることが可能である。比較的単純な差分画像処理技術の利用によりこのような逆反射作用を生じるターゲットを容易に識別することが可能である。
【００５０】
（バーチャルリアリティモード：）
３. １８）バーチャルリアリティモードは前述の拡張リアリティモードよりも機能的に単純なモードである。このモードでは、“予め撮影された”またはコンピュータで生成された画像がランダムなページベースで拡張リアリティメモリの中へロードされる。これが可能となるのはバーチャルカメラの基準平面が固定されているためである。前述の例の場合のように、バーチャルリアリティのメモリは固定した背景や動的背景についてはさらに低い解像度でロードされる。前景像面及び背景像面の双方を使用することで、運動視差などのさらに優れた画像処理技術が可能となる。
【００５１】
（拡張機能）
３. １９）拡張された“ブルースクリーニング”の形を利用することにより、バーチャルリアリティメモリ（背景メモリ）の汎用性の向上を図ることが可能となる。このようなシステムでは、“クロマキー”カラーのサンプルが背景フィールド（アクティブな画像領域の外側領域）における各走査線の開始時に与えられる。これによって、画像内で任意の色が許容可能となる汎用性の高いシステムが得られる。したがって、“透明な”クロマキーカラーによって個々のオブジェクトを囲繞することで、ワープエンジンによるこのオブジェクトの“カット＆ペースト”に関連する問題と不正確さとが大幅に減少する。さらに、前景のバーチャルリアリティ画像内の“透明な”クロマキー済みの領域を使用することにより、付加情報オーバーヘッドを伴うことなく、複雑な鋭く尖った領域および／または動的前景領域の簡単な生成が可能となる。
【００５２】
（カメラシステム：）
４．１）画像規格の定義でわかるように、移動式Ｐａｎ−ＣａｍやＨＭＤベースのビデオシステムにより取得される画像を正しく配置し、次いで表示するためには、追加のページ配置及びトラッキング情報が必要となる。さらに、立体的サウンドをリアルタイムで記録する場合、ビデオストリームの一部として上記情報の符号化も行わなければならない。コンピュータ生成画像の場合、描画段階でこの追加ビデオ情報を簡単に挿入することができる。これに対して、生のビデオを取得する場合、録画の前に上記追加トラッキング情報とオーディオ情報とをビデオストリームの中へ挿入しなければならない。これは、本明細書で以後ＶＴＶエンコーダモジュールと呼ぶ画像処理用モジュールにより効果的に達成することができる。
【００５３】
（画像取得）
４．２）移動式パノラマカメラシステムにより収集される画像の場合、画像はまずＶＴＶエンコーダモジュールにより処理される。この装置によってビデオ歪み補正が行われ、ビデオページ情報、方角トラッキングデータ及び立体的サウンドデータがビデオストリームの中へ挿入される。ビデオ規格を変更せずに上記挿入が可能なため、現行の記録再生装置との互換性が保たれる。このモジュールはＶＴＶプロセッサ内へ組み込むこともできるが、最終的ビデオ情報を格納するか、何らかの形で無線ネットワークを介して送信するかのいずれかを必要とする遠隔カメラ用アプリケーションで使用するのには、このモジュールを別個の構成要素として設けるのが好都合である。
【００５４】
（トラッキングシステム：）
４．３）“Ｐａｎ−Ｃａｍ”やＨＭＤベースのカメラシステムのようないずれの移動式パノラマカメラシステムの場合も、“絶対”方位角と高度座標系を維持するために、トラッキング情報は、結果として得られるビデオストリームの一部を含む必要がある。コンピュータ生成画像の場合、カメラ方向は描画時にコンピュータシステムが認知する理論上の構成物であるため、上記データは必要ではない。
【００５５】
（基本システム：）
４．４）ＶＴＶ  ＨＭＤの基本トラッキングシステムでは、オンボードのパノラマビデオカメラを利用して、囲繞するリアルワールド環境に関する３６０°の必要な視覚情報が取得される。次いで、この情報は、自動相関のような計算上集中的な、しかしアルゴリズムの点からは比較的単純な技法を利用して、ＶＴＶプロセッサ（ＨＭＤ内に存在するか基地局ユニットとして存在するかの如何にかかわらず）により解析される。可能なアルゴリズムの例が図１６〜２２に示されている。
【００５６】
４．５）図１６〜２２に概説される単純なトラッキングシステムは位置と方角の変化のみを検出するシステムである。差分画像処理技術を用いることで容易に背景画像から識別できるいくつかの逆反射作用を生じるターゲットを追加することにより、絶対基準点を得ることが可能となる。このような絶対基準点は、ＶＴＶハードウェアがこれらのマーカーのリアルワールド座標を認知するかぎり、現実の環境内のどこに置かれるようなことがあっても、環境領域の末端部（すなわち、ユーザスペースの境界部）に位置することになると考えられる。（画像解析データから得られる）上記絶対基準点と差分運動との組み合わせによって、最大のビデオフレームレートでの絶対リアルワールド座標情報の生成が可能となる。所定の空間座標における逆反射作用を生じるターゲット配置の代替物として、アクティブな光ビーコンを用いることも可能である。これらの装置は、ビデオ取得レートと同期してストロボが発光するように構成され、結果として得られる画像に対する差分ビデオ解析が可能となるという点で、逆反射作用を生じるターゲットと同様の方法で作動する装置である。しかし、逆反射作用を生じるパッシブなターゲットとは異なり、アクティブな光ビーコンは、ビデオ取得と同期してストロボを発光することに加えて、上記ターゲットのリアルワールド座標を記述する付加情報をＨＭＤへ送信することも可能である。その結果、このシステムは、上記データを“リアルタイムで”取り出すことも可能であるため、これらビーコンの位置を明白に認知する必要がなくなる。従って、このようなシステムは、単純な逆反射作用を生じる構成よりもある程度頑丈な非常に汎用性の高いシステムとなる。パッシブなまたはアクティブなビーコンのいずれかの利用に加えて、双方の技法の組み合わせを用いることで、非常に汎用性の高いかつ強力なトラッキングシステムを形成することも可能である。逆反射作用を生じるターゲットの光源に対して“逆相”でアクティブな光ビーコンにそのストロボ光を発光させることにより、光点が互いに１８０°位相を異にしたものになるという事実に基づいて、差分画像解析技術を利用して、背景環境からの画像抽出と、（光を出射する）アクティブビーコンか（光を反射する）パッシブビーコンのいずれかから発するような光点の効果的類別との双方を行うようにすることが可能となる。ＶＴＶプロセッサによってアクティブビーコンのタイミングを生成することが可能であるが、パッシブビーコン用として使用されるＨＭＤからの光ストロボパルスの検出により、あるいは、ＨＭＤからの赤外線パルスのような２次的光タイミング信号の利用により、自動的にタイミングを発生させるほうが好ましいであろう。このような構成では、アクティブビーコンをバッテリで駆動することも可能であり、追加の配線は何ら必要ではなくなる。何らかの光タイミング信号が存在しないときにこれらのアクティブビーコンがパワーダウンするように設計されていれば、作動していない時間中上記アクティブビーコンを停止させることさえ不要となるかも知れず、さらに、バッテリ消費量の大幅な増加を伴うことなく上記アクティブビーコンを永久に作動状態のままにすることも可能である。
【００５７】
アクティブビーコンは、単にその位置を単に示すことに加えて、移動ＨＭＤシステムへ付加情報を送信することが可能である。この情報は、作成される光パルスの色の変化とこれらの色の変化するタイミングとによって符号化される。最も単純な形では、各アクティブビーコンが様々な色の光を発生させることにより、簡単な分離と識別とを行うことが可能であるが、さらに優れた符号化技法もまた可能である。例えば、一連のカラーフラッシュによって或る特定の数を示すことが可能である。この数によって、ビーコンのコード番号を表すことも可能であり、あるいはさらに有用なこととして、ビーコンの物理的リアルワールド座標の符号化も可能である。このようなシステムは、シミュレーションの一部としてＨＭＤへ転送しなければならない“リアルワールド”の“ビーコンマップ”を必要とせず、代わりにアクティブビーコンシステムを含む任意の空間から必要な情報をピックアップすることが可能なので、非常に汎用性の高いシステムとなる。
【００５８】
４．６）注：図２３は、ある特定の運動の有無が自己相関器により単純に検出されるトラッキングハードウェアの単純化した図を示す。実用的システムでは、各クラスの運動用の複数の自己相関器を組み込むことになるであろう（例えば、１６個またはそれ以上の、水平運動を検出する別々の自己相関器が存在してもよい）。このようなシステムでは、すべての方向で異なるレベルの運動や異なる量の運動を検出することが可能となる。
【００５９】
（その他の構成：）
４．７）空間測位情報を達成するために天井のパターンのトラッキングが行われる同様の画像解析技術と、ＨＭＤ/Ｐａｎ−Ｃａｍシステムの角度方向を検出する単純な“チルトセンサ”とを利用する上記トラッキングシステムの代替実施構成が可能である。本システムの利点として、前述した最大６本の軸線を有する光トラッカに比べて著しく構成がシンプルで、低コストで済むという点が挙げられる。天井がＨＭＤから一定の距離と所定の方角にあるという事実に起因して、光学系、必要な画像処理装置の品質、及び後続する画像解析の複雑さとが大幅に単純化される。前述の６軸線光トラッキングシステムの場合のように、上記空間測位情報は本質的に相対運動の形のみの情報である。しかし、“絶対基準点”を追加することによって、このようなシステムによってその絶対基準値を再較正して絶対座標系全体を達成することが可能となる。いくつかの異なる技法を利用して、比較的簡単に上記絶対基準点の較正を行うことが可能となる。第１のそしておそらく最も単純な技法として、前述したような色に敏感に感応する逆反射スポットの利用がある。上記とは別に、（ＬＥＤビーコンのような）アクティブな光ビーコンの利用も可能である。利用可能なさらに別の絶対基準較正システムとして双方向赤外線ビーコンをベースとするシステムもある。このようなシステムにより、ＨＭＤとビーコンとの間で一意のＩＤコードの通信が行われ、それによって、ＨＭＤが上記“既知の空間基準点”のうちのいずれかの下を通過する毎に１回だけ較正が行われることになる。これは、複数回の原点リセットに起因して生じる、較正ビーコンの近傍内にある“不感トラッキング領域”を回避するのに必要である。
【００６０】
（単純化：）
画像内の運動位置の検出に利用される基本的な自動相関技法を単純化して、かなり簡単な画像処理ステップにすることが可能である。まず、回転検出を単純化して、画像中心（カメラの光軸）の周りで左右対称を成す１グループの片寄り（上、下、左、右）にすることが可能である。さらに、横方向運動に関連するこれらの“サンプルポイント”は必ずしも非常に大きなものである必要はない。しかしこれらの“サンプルポイント”は固有の映像情報を含む必要がある。例えば、特徴のない空白な壁は有用なトラッキング情報をもたらさないが、オブジェクトの端縁や高輝度の強調点のような高いコントラスト領域を持つ画像は比較的簡単にトラックされる。この考え方をさらに一歩進めて、最初に画像全体を縮減して強調点／端縁に変えるようにすることが可能である。次いで、一連の水平方向及び垂直方向のストリップとして画像処理を行い、強調点／端縁間に自動相関領域の境界を設けるようにすることができる。さらに、現在の画像と前回の画像フレームとの比較を行い、これら画像間の“最も近い可能なフィット部分”（すなわち強調点の最小運動部分）を確定することによって、狭い強調領域のトラッキングを非常に簡単に行うことが可能となる。このような技法は、画像前処理のオーバーヘッドの若干をハードウェアにより処理すれば比較的簡単であり、適度の処理スピードを持つマイクロプロセッサの能力の範囲内に十分含まれる。
【００６１】
好ましい実施形態や特定の実施形態と関連して本発明を説明したが、本発明の範囲、あるいは本発明の発明概念から逸脱することなく、種々の変更及び追加の変形を行うことが可能であり、本発明の要素の代わりに同等の要素を用いることが可能であることを理解されたい。さらに、本発明の本質的範囲から逸脱することなく多くの改変を行って、特定の状況やマテリアルを本発明の教示に適合させることも可能である。したがって、本願明細書に開示された、本発明を実施するための特定の実施形態に本発明を限定することを意図するものではなく、本発明は添付の請求項の範囲に属するすべての実施形態例を含むものである。
【産業上の利用可能性】
【００６２】
本発明は、ユーザが映画の動きと関連して視聴者のビューイング方向と相対位置とを制御することを可能とする視聴覚システムを提供することを目的とする。
本発明の上記及び他の目的、利点及び産業上の利用可能性は添付の明細書と図面の再査により明らかである。
【図面の簡単な説明】
【００６３】
【図１】ＶＴＶシステム全体の概略図である。
【図２】基本構成に基づくＶＴＶシステムの概略図である。
【図３】高度の構成に基づくＶＴＶシステムの概略図である。
【図４】円筒形状のバーチャル表示フィールドを示す例図である。
【図５】先端を切り落とした球面のバーチャル表示フィールドを示す例図である。
【図６】４トラックサウンドシステムのバーチャル表現を示す例図である。
【図７】８トラックサウンドシステムのバーチャル表現を示す例図である。
【図８】拡張リアリティメモリとバーチャルリアリティメモリの双方のメモリを利用するシステムを表すＶＴＶメモリマップの描写である。
【図９】ＶＴＶプロセッサのデータ書き込みサイドを示すＶＴＶグラフィックエンジンの図である。
【図１０】ＶＴＶプロセッサのデータ読み出しサイドを示すＶＴＶグラフィックエンジンの図である。
【図１１】任意のアナログビデオと互換性を持つＶＴＶ符号化ビデオラインの例である。
【図１２】任意のアナログビデオと互換性を持つ音声データを含むことを示すＶＴＶ符号化ビデオラインの例である。
【図１３】周波数圧縮符号化を利用するＶＴＶにより符号化された音声を示す図である。
【図１４】周波数圧縮符号化を行うための結線図である。
【図１５】周波数圧縮復号化を行うための結線図である。
【図１６】位置と方角の変化を検出する光トラッキングシステムの図である。
【図１７】方角の方位角の変化を検出する光トラッキングシステムの図である。
【図１８】方角の高度の変化を検出する光トラッキングシステムの図である。
【図１９】方角の回転の変化を検出する光トラッキングシステムの結線図である。
【図２０】前後方向の位置変化を検出する光トラッキングシステムの結線図である。
【図２１】左右の位置変化を検出する光トラッキングシステムの結線図である。
【図２２】上下の位置変化を検出する光トラッキングシステムの結線図である。
【図２３】単純化したバージョンによる光トラッキングシステム用ハードウェアのブロック図である。




【国際調査報告】
2005500721.tif 000080