(57)【特許請求の範囲】
【請求項１】
地図で表された仮想環境内での仮想経路に沿ったロケーションによって空間的に索引付けされた複数のパノラマ画像、及び前記仮想環境を表示するためのマップの各データを含む空間データを保持するデータベースと、
ビデオが表示される画像ディスプレイウインドウ、前記マップのデータに基づいた前記仮想環境が表示されるマップディスプレイウインドウ、及びユーザからの前記マップディスプレイウインドウに表示された前記仮想環境内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続してレンダリングするアクションを示す指示を受け付けるための指示手段を有すると共に、前記画像ディスプレイウインドウまたは前記マップディスプレイウインドウに、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータが表示されるユーザインターフェースと、
前記指示手段に受け付けられた指示に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段であって、前記アクションに応じて前記データベースからリトリーブされ、前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイに連続提示でレンダリングして表示すると共に、前記ポジションアイコン及び前記注視方向インジケータに対応して表示するためのビデオを生成するビデオ表示手段と、
を含むビデオシステム。
【請求項２】
前記アクションが、前記ユーザの現在位置を指示するアクション及びユーザの現在の注視方向を指示するアクションを含む請求項１記載のビデオシステム。
【請求項３】
地図で表された仮想環境内での仮想経路に沿ったロケーションによって空間的に索引付けされた複数のパノラマ画像、及び前記仮想環境を表示するためのマップの各データを含む空間データを保持するデータベースと、
ビデオが表示される画像ディスプレイウインドウ、前記マップのデータに基づいた前記仮想環境が表示されるマップディスプレイウインドウ、及びユーザからの前記マップディスプレイウインドウに表示された前記仮想環境内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続してレンダリングするアクションを示す指示を受け付けるための指示手段を有すると共に、前記画像ディスプレイウインドウまたは前記マップディスプレイウインドウに、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータが表示されるユーザインターフェースと、
前記指示手段に受け付けられた指示に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段と、
を含むビデオシステムの前記ビデオを生成するビデオシステム用プログラムであって、
前記アクションに応じて前記データベースからリトリーブされ、前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイに連続提示でレンダリングして表示すると共に、前記ポジションアイコン及び前記注視方向インジケータに対応して表示するためのビデオを生成するビデオ表示手段として機能させるためのビデオシステム用プログラム。
【請求項４】
前記アクションが、前記ユーザの現在位置を指示するアクション及びユーザの現在の注視方向を指示するアクションを含む請求項３記載のビデオシステム用プログラム。
【請求項５】
地図で表された仮想環境内での仮想経路に沿ったロケーションによって空間的に索引付けされた複数のパノラマ画像、及び前記仮想環境を表示するためのマップの各データを含む空間データを保持するデータベースと、
ビデオが表示される画像ディスプレイウインドウ、前記マップのデータに基づいた前記仮想環境が表示されるマップディスプレイウインドウ、及びユーザからの前記画像ディスプレイウインドウに表示された前記パノラマ画像内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じてレンダリングするアクションを示す指示を受け付けるための指示手段を有すると共に、前記画像ディスプレイウインドウまたは前記マップディスプレイウインドウに、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータが表示されるユーザインターフェースと、
前記指示手段に受け付けられた指示に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段であって、前記アクションに応じて前記データベースからリトリーブされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイにレンダリングして表示すると共に、前記ポジションアイコン及び前記注視方向インジケータに対応して表示するためのビデオを生成するビデオ表示手段と、
を含むビデオシステム。
【請求項６】
前記アクションが、前記ユーザの現在位置を指示するアクション及びユーザの現在の注視方向を指示するアクションを含む請求項５記載のビデオシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、仮想現実（バーチャルリアリティ）アプリケーションのためのビデオを使用するシステム及びビデオシステム用プログラムに係り、より詳細には、仮想環境内の仮想経路に沿った仮想動作を実行するためにユーザによって要求されるアクションに応答して、パノラマ(ｐａｎｏｒａｍｉｃ)であると共に空間的に索引付けされる、ビデオを生成するシステム及びビデオシステム用プログラムに関する。
【背景技術】
【０００２】
「特別な場所にいる」ことの体験を再生するために多くの試みが行われてきた。従来、これは美術及び記述的散文を通してのみ行われたものである。写真技術は、場所を描く際の容易さ及び精度の点で大いなる前進を遂げた。モーションピクチャ及びビデオは他の重要な改善点を提供した。これらの従来の媒体は、前もって撮影者によって選択された空間の視界（ビュー）をユーザに提供する。
【０００３】
理想的には、「特別な場所にいる」ことの体験を再構築することによって、ユーザは自由に動き回り、どこを見るべきかを選択することができる。従来の一つの方法は、空間のコンピュータモデルと、この空間を介してユーザが実際に航行（ナビゲート）するときのリアルタイムビューをレンダリングすることとが必要とされる。他の最近のアプローチは、４次元のドメインを介して、「ライトフィールド（ｌｉｇｈｔ  ｆｉｅｌｄｓ）」又は「ルミグラフ（ｌｕｍｉｇｒａｐｈｓ）」を用いてストラクチャを表示することなどによって、空間内の任意方向及び任意地点を介して光の流れを近似するために十分な画像を記録することである。
【０００４】
特別な場所にいる感覚を提供する試みにおいて、二つの従来の画像ベースの方法が先立って開発されている。一つの方法は、パノラマ式の映像であり、これによって、ユーザは、固定された視点から見る方向を自由に選択することができる。パノラマは、ディジタル式で記録され、後処理中に高解像度でスキャンされるフィルムベースの画像を使用することもできる。パノラマ画像又はビデオは、ストリーミングシステムを用いてインターネットを介して分配されてもよい。他のアプローチは、ユーザがフォローできる経路とビデオとの関連付け、即ち画像とこれらの経路に沿った地点との関連付けである。
【０００５】
「特別な場所にいる」ことの体験を再生するための従来の方法の欠点を克服すべく本発明が提供された。例えば、静止画又は動画はいずれも記憶媒体の固有にインタラクティブな形態ではない。これらは、空間のいくつかのビューをユーザに提供するが、これらのビューは前もって撮影者によって選択されたものだけである。エンドユーザは、彼が見るものを殆ど或いは全くコントロールすることができない。ビデオが異なるビューを介してパンされる場合、又はいくつかの経路に沿ったモーションにおいて撮影される場合でさえも、ユーザの体験は、「乗り物には乗っている」が、「どこに行くか何を見るかを選択する」ものではない。
【０００６】
上述された従来の画像ベースの方法は、部分的にしか問題点に、取り組んでいない。これらのアプリケーションはいずれも空間的に索引付けされたパノラマビデオを使用しない。代わりに、従来の画像ベースのシステムはタイムベースのビデオである。従来の空間的に索引付けするシステムにおいて、連続様式で提供されるフルパノラマ画像を提供することができるものは知られていない。
【０００７】
すなわち、従来の技術では、上記記載されたような課題は解決されていない（例えば、非特許文献１〜１２）。
【非特許文献１】チェンら（Chen et al.）、「画像合成のためのビュー補間」（"View Interpolation for Image Synthesis"）、アップルコンピュータ(Apple Computer, Inc)、August 1993、pp.1-7
【非特許文献２】アリアガら（Aliaga et al.）、「プレノプチックステッチ：３Ｄインタラクティブウォークスルー再構成のスケーラブルな方法」（"Plenoptic Stitching: A Scalable Method for Reconstructing 3D Interactive Walkthroughs"）、ルーセントテクノロジーベル研究所(Lucent Technologies Bell Laboratories)、pp.443-450
【非特許文献３】キンバーら（Kimber et al.）、「飛ぶ：空間的にインデックスされたパノラマビデオ」（"FlyAbout: Spatially Indexed Panoramic Video"）、エフエックス  パロ  アルト  ラボラトリー  インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory, Inc., Palo Alto, CA94304）
【非特許文献４】ゴートラーら（Gortler et al.）、「ルミグラフ」（"Lumigraph"）、マイクロソフトリサーチ(Microsoft Research)、1996
【非特許文献５】ニコレスクら（Necolescu et al.）、「エレクトロニックパン・チルト・ズーム：インテリジェントルームシステムソリューション」（"Electronic Pan-Tilt-Zoom: A Solution for Intelligent Room Systems"）、IEEE、August 2000
【非特許文献６】リップマン（Lippman）、「ムービーマップ：コンピュータグラフィックスへの光ビデオディスク適用」（"Movie-Maps: An Application of the Optical Videodisc to Computer Graphics"）、マサチューセッツ工科大学ケンブリッジ校アーキテクチャマシングループ(Architecture Machine Group, Massachusetts Institute of Technology, Cambridge, MA 02139)、July 1980、ACM
【非特許文献７】ネーヤ（Nayar）、「カタディオプトリック全方向カメラ」（"Catadioptric Omnidirectional Camera"）、コロンビア大学、コンピュータサイエンスデパートメント(Department of Computer Science, Columbia University, New York, New York 10027)、June 1997
【非特許文献８】フートら（Foote et al.）、「飛ぶ：実用パノラマビデオおよび自動カメラコントロール」（"FlyCam: Practical Panoramic Video and Automatic Camera Control"）、エフエックス  パロアルト  ラボラトリー  インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory, Inc., Palo Alto, CA 94304)、2000
【非特許文献９】ナイマーク（Naimark）、「カールスルヘのＶＢＫ−Ａムービーマップ（介在されるリアリティおよび場所の意識）」（"VBK-A Movie map of Karlsruhe (Mediated Reality and the Consciousness of Place)"）、明日のリアリティカタログ(From Tomorrow's Realities catalog)、Siggraph 1991
【非特許文献１０】カワサキら（Kawasaki et al.）、「全方位カメラを用いた自動３Ｄ市街構築システム」（"Automatic 3D City Construction System Using Omni Camera"）、東京大学、工業科学研究所、(Institute of Industrial Science, University of Tokyo)、August 2000
【非特許文献１１】レボイら（Levoy et al.）、「ライトフィールドレンダリング」（"Light Field Rendering"）、スタンフォード大学、コンピュータサイエンスデパートメント (Stanford University, Computer Science Department)、1996
【非特許文献１２】ビューケミンら（Beauchemin et al.）、「オプティカルフローの計算」（"The Computation of Optical Flow"）、ウェスタンオンタリオ大学、コンピュータサイエンスデパートメント (University of Western Ontario, Computer Science Department)、ACM Computing Surveys、1995、Vol. 27、No. 3、ｐｐ．４３３〜４６７
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータを表示し、仮想環境内の仮想経路に沿ってユーザの現在位置及びユーザの現在の注視方向に応じたビデオを生成して表示することにより、仮想環境内の仮想経路に沿って移動する体験をユーザに提供するビデオシステム及びビデオシステム用プログラムを提供することを目的とする。
【０００９】
本発明は、パノラマであると共に空間的に索引付けされたビデオを作成するためのビデオシステムを生成するシステム及びビデオシステム用コンピュータプログラムを提供することによって、上述された長年の問題に取り組む。本発明のシステム及びビデオシステム用コンピュータプログラムの種々の実施の形態によれば、仮想環境内の仮想経路は現実の座標位置に基づく。
【００１０】
本発明のシステム及びビデオシステム用コンピュータプログラムの種々の実施の形態は、パノラマであると共に空間的に索引付けされたビデオを生成することによってユーザから要求されたアクションに応答し、これによって、ユーザは、選択された仮想経路に沿って移動しながら、仮想経路に沿って独立にナビゲートし、様々な方向に独立にパンし、及び／又は、特定のオブジェクト上に視界（ｇａｚｅ）を維持する。ビデオは、再生されると、仮想環境内の仮想経路に沿って移動する体験をユーザに提供することができる。ビデオを空間的に索引付けすることによって、ユーザインターフェースが提供されて、道路に沿って運転するなどの経路に沿ってユーザがナビゲートすることが可能となる。経路のジャンクションや交差点では、ユーザはフォローする仮想経路だけでなく、見る方向も選択することができ、これによって、従来のビデオでは不可能とされた対話（インタラクション）が可能とされる。空間索引をマップ及び／又はオブジェクトの空間データベースと結合することによって、ユーザは、特定のロケーションへナビゲートすることや特別なオブジェクトをインタラクティブに調べることができる。
【００１１】
本発明による種々の例示的な実施の形態において、仮想現実の為のビデオシステムが提供される。種々の実施の形態において、ビデオシステムは、空間データを有するデータベースと、画像ディスプレイを有するユーザインターフェースと、特定のアクションに応答してレンダリングされデータベースからリトリーブされる複数の画像を有し、各画像がパノラマであり、仮想環境での仮想経路に沿った所定のロケーションに従って空間的に索引付けされるビデオと、を有する。このような実施の形態において、ユーザインターフェースは、ビデオに関連付けられたマップディスプレイ、ビデオに関連付けられたテキストディスプレイ、及び／又はビデオに関連付けられたオーディオデータを伝達するオーディオ出力を更に有する。
【００１２】
本発明による種々の例示的な実施の形態において、ビデオシステムはスタンドアローンシステムとして実施される。或いは、ビデオシステムがサーバ上に配置されてもよいし、ユーザインターフェースは、例えば、ウェブブラウザなどの、クライアントディスプレイプログラムとして実施されてもよい。
【００１３】
本発明による種々の例示的な実施の形態において、空間データはパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つに対応する。空間データは空間索引付けに適切とされる公知のタイプのデータ、又は今後、開発されるデータであってもよい。
【００１４】
本発明による種々の例示的な実施の形態において、特定されたアクションが仮想動作に対する要求である。例えば、仮想動作は、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグ、走行開始、及びパンの少なくとも一つであってもよい。特定されたアクションは、本発明による空間索引付けに適切とされる公知のタイプのアクション、又は今後、開発されるアクションであってもよい。このような実施の形態において、特定されたアクションは、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー（ｆｌｏａｔｉｎｇ  ａｒｒｏｗ）、フローティングテキスト（ｆｌｏａｔｉｎｇ  ｔｅｘｔ）、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される。特定されたアクションは、本発明による空間索引付けに適切とされる公知のタイプの選択デバイス又は今後、開発される選択デバイスであってもよい。
【００１５】
本発明による種々の例示的な実施の形態によれば、仮想現実のためのビデオを生成する方法が提供されている。実施の形態において、この方法は、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する。
【００１６】
本発明は、本発明の種々の方法を実行するために、バーチャルリアリティ（仮想現実）のためのビデオの提供に使用可能なコントロールプログラムを転送するため、トランスポートプロトコルの使用も更に考慮に入れている。
【００１７】
本発明の第１の態様は、空間データを有するデータベースと、画像ディスプレイを有するユーザインターフェースと、特定のアクションに応答してレンダリングされるビデオであって、データベースからリトリーブされる複数の画像を有し、各画像がパノラマであり、仮想環境での仮想経路に沿った所定のロケーションに従って空間的に索引付けされたビデオと、を有する、ビデオシステムである。
【００１８】
本発明の第２の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるマップディスプレイを更に有する、本発明の第１の態様に記載のビデオシステムである。
【００１９】
本発明の第３の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるテキストディスプレイを更に有する、本発明の第２の態様に記載のビデオシステムである。
【００２０】
本発明の第４の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるオーディオデータを伝達するオーディオ出力を更に有する、本発明の第３の態様に記載のビデオシステムである。
【００２１】
本発明の第５の態様は、ビデオシステムは、スタンドアローンシステムである、本発明の第１の態様に記載のビデオシステムである。
【００２２】
本発明の第６の態様は、ビデオシステムは、サーバ上に配置され、ユーザインターフェースは、クライアントディスプレイプログラムとして実施される、本発明の第１の態様に記載のビデオシステムである。
【００２３】
本発明の第７の態様は、空間データがパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つである、本発明の第１の態様に記載のビデオシステムである。
【００２４】
本発明の第８の態様は、特定されたアクションが仮想動作に対する要求である、本発明の第１の態様に記載のビデオシステムである。
【００２５】
本発明の第９の態様は、仮想動作が、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグ、走行開始、及びパンの少なくとも一つである、本発明の第８の態様に記載のビデオシステムである。
【００２６】
本発明の第１０の態様は、特定のアクションが、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される、本発明の第８の態様に記載のビデオシステムである。
【００２７】
本発明の第１１の態様は、特定されたアクションがビデオを連続提示でレンダリングすることへの要求である、本発明の第１の態様に記載のビデオシステムである。
【００２８】
本発明の第１２の態様は、連続提示がガイドされた走行である、請求項１１に記載のビデオシステムである。
【００２９】
本発明の第１３の態様は、コントローラと、空間データとメタデータとを有するデータベースと、ユーザインターフェースと、特定のアクションに応答して生成されるユーザインターフェースにディスプレイされるビデオと、を有し、ユーザインターフェースが、データベースからリトリーブされる複数の画像を有するビデオをディスプレイする画像ディスプレイと、位置に関連付けられた空間データを図示するマップディスプレイと、位置に関連付けられた空間データを図示するテキストディスプレイと、位置に関連付けられたオーディオデータを運ぶオーディオ出力と、を含み、画像の各々が、パノラマであり、仮想環境内の仮想経路に沿った所定位置によって空間的に索引付けされている、ビデオシステムである。
【００３０】
本発明の第１４の態様は、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する、仮想現実のためのビデオを生成するプログラムである。
【００３１】
本発明の第１５の態様は、仮想経路に沿った位置に対応するマップをディスプレイするステップを更に有する、本発明の第１４の態様に記載のプログラムである。
【００３２】
本発明の第１６の態様は、仮想経路に沿った位置に対応する空間データを示すテキストをディスプレイするステップを更に有する、本発明の第１５の態様に記載のプログラムである。
【００３３】
本発明の第１７の態様は、仮想経路に沿った位置に関連付けられたオーディオデータを出力するステップを更に有する、本発明の第１６の態様に記載のプログラムである。
【００３４】
本発明の第１８の態様は、アクションを特定するステップが仮想動作を要求することを有する、本発明の第１４の態様に記載のプログラムである。
【００３５】
本発明の第１９の態様は、仮想環境内の仮想経路に沿ってアクションを特定するステップと、特定されたアクションに対応する要求を処理するステップと、ビデオを作成する、各々がパノラマであると共に仮想経路の位置に沿って空間的に索引付けされた複数の画像をリトリーブするステップと、ユーザインターフェースを提供するステップと、ビデオがディスプレイされる画像ディスプレイウィンドウと、ビデオに対応するマップがディスプレイされるマップディスプレイウィンドウと、を有するユーザインターフェースを提供するステップと、特定されたアクションに応答してユーザインターフェース上にビデオ及びマップをレンダリングするステップと、を有する、仮想現実のためのビデオを生成するプログラムである。
【００３６】
本発明の第２０の態様は、コントロールプログラムを実行するためのデバイスに仮想現実のためのビデオを提供するために使用可能なコントロールプログラムを伝送するために使用されるトランスポートプロトコルであって、コントロールプログラムが、アクションを特定するインストラクションと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するインストラクションと、ユーザインターフェースを提供するインストラクションと、ユーザインターフェースを介してビデオをディスプレイするインストラクションと、を有する、トランスポートプロトコルである。
【００３７】
本発明の第２１の態様は、コントロールプログラムが、画像ディスプレイを提供するインストラクションと、マップディスプレイを提供するインストラクションと、テキストディスプレイを提供するインストラクションと、オーディオ出力を提供するインストラクションと、を有する、本発明の第２０の態様に記載のトランスポートプロトコルである。
【００３８】
本発明の第２２の態様は、仮想現実にビデオを付与するシステムをプログラムするためのコンピュータをプログラムするために使用可能なコンピュータ読み取り可能プログラムコードを記憶したコンピュータ読み取り可能記憶媒体であって、コンピュータ読み取り可能プログラムコードが、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する、コンピュータ読み取り可能記憶媒体である。
【００３９】
本発明の種々の特徴及び利点が記述されているが、その内容は、本発明によるシステム及び方法の様々な例示的な実施の形態の以下の詳細な記述からより明確に理解されるであろう。
【００４０】
以下に詳細に説明された本発明のシステム及び方法の種々の例示的な実施の形態は添付図面によってより詳細に理解されるであろう。
【発明の効果】
【００４１】
以上説明したように本発明によれば、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータを表示し、仮想環境内の仮想経路に沿ってユーザの現在位置及びユーザの現在の注視方向に応じたビデオを生成して表示することにより、仮想環境内の仮想経路に沿って移動する体験をユーザに提供することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００４２】
バーチャルリアリティ（仮想現実）のための空間的に索引付けされたパノラマビデオを使用するシステムについては、２００１年９月３０日のＡＣＭマルチメディアコンファレンスにおける、Ｄｏｎ Ｋｉｍｂｅｒらに与えられた“Ｆｌｙ
Ａｂｏｕｔ: Ｓｐａｔｉａｌｌｙ Ｉｎｄｅｘｅｄ ｐａｎｏｒａｍｉｃ Ｖｉｄｅｏ”に開示されている、この開示内容全体が本明細書中に参照することによって組み込まれている。このシステムによれば、カメラを連続する経路に沿って、３６０°移動することによってパノラマビデオがキャプチャされ、再生されることによって、これらの軌跡に沿って移動する体験、そして興味深いオブジェクト又は方向をインタラクティブにビューする能力がユーザに与えられる。
【００４３】
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオシステムが、フォトリアリスティック空間又は仮想環境における仮想経路に沿ったインタラクティブナビゲーションのために提供される。仮想環境でのユーザによる仮想移動は、空間的に索引付けされたパノラマビデオシステムによって、ディスプレイのための空間的に索引付けされたパノラマビデオを生成させる。空間的に索引付けされたパノラマビデオシステムは、仮想現実のモデルを生成しレンダリングするための経費を掛けずに仮想環境のイマーシブ（ｉｍｍｅｒｓｉｖｅ）及びインタラクティブなナビゲーションを提供する。空間的に索引付けされたパノラマビデオは、（ユーザが任意の方向を見るのを可能とする）パノラマにも空間的にも索引付けされていることによってビデオ再生がユーザの仮想動作によってコントロールされる。
【００４４】
この空間的に索引付けされたパノラマビデオシステムは、任意に設計されたパノラマカメラ又は広角レンズカメラからキャプチャされた記録されたパノラマビデオに基づいている。現在のパノラマカメラの設計は、広角レンズ、ミラー又は複数のカメラに基づいた設計を含む。パノラマ画像はよく知られた多数の異なる種類のカメラによって記録することができるので、これらのカメラについての説明は以下省略する。
【００４５】
図１は、空間的に索引付けされたパノラマビデオシステム１０の第１の実施の形態を概略的に示した図である。空間的に索引付けされたパノラマビデオシステム１０は、モーションエンジン２１、ユーザインターフェース３０、空間データを記憶するデータベース４０、及び種々のタイプのメタデータを記憶するデータベース５０を有する。ユーザインターフェース３０は空間的に索引付けされたパノラマビデオ６５（図２）をビューすることができるディスプレイデバイス７２に画像ディスプレイ６０を有する。ユーザインターフェース３０にマップディスプレイ７０及びテキストディスプレイ８０を任意に設けてもよい。オーディオも、空間的に索引付けされたパノラマビデオシステム１０の一部として設けられてもよい。画像ディスプレイ６０、マップディスプレイ７０及びテキストディスプレイ８０は、空間データ又はメタデータをディスプレイするためのビューワ実行ソフトウェアプリケーションとして具体化され得る。
【００４６】
第１の実施の形態において、空間的に索引付けされたパノラマビデオシステム１０の基本構造は、単一アドレススペースにおける一つのプログラムとして実施される。例えば、空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアが記憶されるＤＶＤのようなローカルハードドライブに、記憶される。
【００４７】
図２は、本発明の第１の実施の形態によるユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０、マップディスプレイ７０、テキストディスプレイ８０、及びオーディオインジケータ９０を有する。空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引され得るビデオ、マップ、テキスト、オーディオ、及び他の任意のデータ、を含む統合マルチメディアフォームとして提供され得る。
【００４８】
画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、システム１０のユーザによって指定されるアクション又は仮想動作に応答して生成される。空間的に索引付けされたパノラマビデオ６５は空間的に索引付けされた複数の画像６７を有する。画像６７はデータベース４０に記憶される。画像６７は、仮想環境７６において仮想経路７５に沿った所定の場所（ロケーション）に従って、パノラマ及び空間的に索引付けされる。例えば、一つの方法は、図２に示されるように、ウィンドウを介して実行される。画像ディスプレイ６０は、ユーザが（画像内に）実際に存在した場合に見る画像６７を示す。
【００４９】
ユーザインターフェース３０は、画像ディスプレイ６０、例えば、仮想環境７６における連続した仮想経路７５の二次元即ちマップ状の表示に対応した空間データをディスプレイするマップディスプレイ７０も有する。マップディスプレイ７０は、ポジションアイコン７７に仮想環境７６の現在ビューの方向で注視方向インジケータ７８を提供することができる。例えば、図２では、マップディスプレイ７０は、エメラルド湾（Ｅｍｅｒａｌｄ  Ｂａｙ）の道路地図を示し、仮想パス７５は、「ルート８９」に沿って示されている。ポジションアイコン７７の注視方向インジケータ７８は北西方向にある。注視方向は、画像ディスプレイ６０内でユーザがビューする現在画像６７と一致している。
【００５０】
さらに、ユーザインターフェース３０は、テキストディスプレイ８０を有する。テキストディスプレイ８０は、画像ディスプレイ６０にディスプレイされた現在画像６７に対応している。空間的に索引付けされたパノラマビデオシステム１０に応じて、種々のタイプのテキストが使用され得る。ディスプレイされるテキストは、例えば、見出し８５又はタイトルの形態におけるような短いものであってもよいし、現在画像６７についての記述のような長いものであってもよい。或いは、テキストは、選択すれば、他のウェブページからもっと多くの情報が得られるハイパーテキストリンク８７であってもよい。テキストディスプレイ８０は、このようなフォームのテキストに限定されず、例えば、サムネイル画像、図形、及びオーディオなどの現在画像６７に関した記述を提供する、あらゆるタイプの情報をディスプレイすることができる。
【００５１】
一つ以上のテキストディスプレイを設けて、ディスプレイのうちのいずれか一つからユーザへ情報を供給することができる。仮想環境７６において空間的に索引付けされたパノラマビデオ６５の視点が移動するにつれて、テキストディスプレイ８０は更新されて、ユーザがビューしているオブジェクトに対応する更なる、より関連性の高いテキストを提供する。一方、テキストディスプレイ８０におけるハイパーテキストリンク８７は、仮想環境７６においてロケーション又は注視方向を変えるために使用され得る。例えば、ホテルやレストランを示す選択可能なアイコンのリストがディスプレイされ、アイコンの一つをクリックすることによって、仮想経路７５上のユーザのロケーションを選択されたホテル又はレストラン近くの仮想経路７５上の他のロケーションへ変更することができる。種々のアイコンは、対象となるオブジェクトへ、或いはその周辺への仮想経路７５に沿う仮想ツアーを含む、多数のオブジェクトに対して設けられてもよい。
【００５２】
空間的に索引付けされたパノラマビデオシステム１０の特筆すべき利点は、空間的に索引付けされたパノラマビデオ６５にハイパーテキストリンク８７を容易に付け加えられることである。視点とロケーションとが一般的に知られているので、空間データベースにおけるあらゆるオブジェクトに対する視点の範囲及び角度が決定され、ハイパーテキストリンク８７は、空間的に索引付けされたパノラマビデオシステム１０を自動的に注釈するために使用され得る。例えば、ハイパーテキストリンク８７は仮想環境７６におけるユーザの空間的ロケーションが対象となる特定なオブジェクトの一定の範囲内にあるときにディスプレイされ得る。或いは又は更に、テキストオーバーレイが、空間的に索引付けされたパノラマビデオ６５の適当な角度で配置され得る。従って、建物や山等のオブジェクトを通過するときは、更なるビデオ解析や処理を行わずに、オブジェクトの名前がオブジェクトの上又はそれに隣接したオーバーレイとしてディスプレイされる。
【００５３】
オーディオ出力は、空間的に索引付けされたパノラマビデオシステム１０における現在画像６７及び／又はオブジェクトに対応するように提供される。例えば、図２において、画像ディスプレイ６０にディスプレイされた景色は空間的に索引付けされたパノラマビデオ６５の現在画像６７の空間的ロケーションに対応するオーディオ出力によって記述されてもよい。また、ユーザが、方向マッピングソフトウェアによって、あるロケーションから他へ方向をインタラクティブにマッピングすることを所望する場合は、「右折してください」、「左折してください」、「まっすぐ１マイル進んでください」などの可聴オーディオのインストラクションによってユーザを方向付けるようにオーディオが提供されてもよい。更に、空間的に索引付けされたパノラマビデオ６５では対象となる特定のオブジェクトが特定の空間的ロケーションに現れた場合、オブジェクトを可聴的に記述するオーディオ出力が提供されてもよい。オーディオ伝送の使用は多種多様な状況で実施され得て上述の例に限定されるものではない。
【００５４】
更に又は或いは、ユーザインターフェース３０は、オーディオインジケータ９０を有する。ユーザは、オーディオインジケータ９０を選択することによって、空間的に索引付けされたパノラマビデオ６５にディスプレイされた現在画像７６を理解するのに役立つあらゆるタイプのオーディオナレーションが提供され得る。オーディオインジケータ９０から転送されたオーディオデータは、オブジェクト、ナレーション、音楽、又は空間的に索引付けされたパノラマビデオ６５の指定されたロケーションによって出力されるあらゆるタイプのオーディオ表示の記述を有する。
【００５５】
本発明の種々の実施の形態によれば、オーディオ表示は様々な方法で実施され得る。例えば、「プレイワンス（一回再生）」型のナレーション、「ループされた」オーディオ表示として実施される。このような例には、特定のロケーションまたはそのロケーション範囲に関連付けられており、ユーザがそのロケーション又はその領域にいるときに連続的に再生する環境サウンド（例えば、交通、滝、鳥の鳴き声）が含まれる。ロケーションから離れて移動することによって、例えば、現実においてそうであるように、距離の２乗の逆数に比例して、関連するオーディオを比例して消えさせることができる。一つのサウンドのロケーションよりも近いロケーションにおいて、ユーザには、それぞれの距離の２乗の逆数に比例したロケーションサウンドの混合したものが聞こえる。更に、オーディオ空間化技術は、特殊なオーディオソースが特殊な方向から発するように見えさせるように使用されてもよい。更に、オーディオ空間化技術は特別なオーディオソースが特別な方向から発するように思わせるために使用され得る。そこで、ユーザがビューの本当らしさを高めるために回転すると、見掛けのオーディオソース方向が回転され得る。例えば、ユーザがそのビューを回転させると、滝は最初に左手に次に右手に現れ、これにより、この滝に関連するオーディオは左から右へ空間化され得る。
【００５６】
再び図１によれば、二つのタイプのデータベースが空間的に索引付けされたパノラマビデオシステム１０に提供されている。データベース４０は空間データを記憶し、メタデータデータベース５０はメタデータを記憶する。空間データは、パノラマ画像、ビデオ、テキスト、マップ、図形表示、及び空間的に索引付けされ得る他の任意のタイプのデータを含むことができるが、これらに限定されない。空間データは、従来と同様、時間によってではなくロケーションによって索引付けされる。ロケーションによって空間的に索引付けされる空間データのいくつかの例は、緯度、経度、及び高度、ｘ−ｙ−ｚの空間座標、倉庫の並び及びアイル、道路の住所表示、建物内の部屋番号、及びロケーションによって索引付けされることが可能な既知の又は、今後、開発されるデータによって定義付けられるグローバルポジショニングサテライト（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｉｎｇ  Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））を含むが、これらに限定されない。
【００５７】
空間データデータベース４０及びメタデータデータベース５０は、別個のエレメントとして示されているが、空間データデータベース４０内の空間データとメタデータデータベース５０内のメタデータを結合して単一データベースにすることも本発明によって考慮されている。
【００５８】
メタデータは、例えば、任意の所定の瞬間での仮想環境７６内のｘ、ｙ、ｚ座標システムにおいて、カメラの空間ロケーション又は画像ディスプレイ６０上に示される現在画像６７、を記述するために使用される。空間的に索引付けされたパノラマビデオシステム１０に関連する少なくとも二つのカテゴリのメタデータがある。一つのカテゴリは、例えば、図４に示されるように、キャプション６８に関する。ロダンの彫刻（Ｒｏｄｉｎ  Ｓｃｕｌｐｔｕｒｅｓ）と題されたキャプション６８はメタデータである。キャプション６８は、ユーザが特別な興味を示すかもしれないオブジェクトに関連付けられている。キャプション６８は、ユーザインターフェース３０にキャプションをディスプレイすることによって仮想環境７６に関してユーザをナビゲートするのに役立つ。キャプション６８は、ユーザが興味を示すオブジェトに隣接しているかその上にディスプレイされた関連テキスト又はハイパーテキストを含む種々の形態を取ることができるが、これらに限定されない。
【００５９】
メタデータは、既存の地図、空中写真、空間データベース、又は建物の平面図などの他の使用可能な画像からリトリーブすることもできる。ＧＰＳデータ又は同様の正確な空間データを用いて、カメラ経路の単純なマップをデータから直接レンダリングすることもできる。本発明の種々の実施の形態によれば、空間ロケーションデータは、ＧＰＳ緯度／経度の対で記憶される。
【００６０】
メタデータデータベース５０内に記憶された第２のカテゴリのメタデータはデータチュプル（組）である。例えば、カメラの経路は、形式（ｘ、ｙ、ａ、ｔ）（ｘ及びｙはカメラのロケーション、ａはカメラの配向角度、ｔは時間）のデータチュプルとして従来は表示されている。データチュプルは、空間的に索引付けされたパノラマビデオ６５の全ての画像に対して付与される。しかしながら、カメラモーションが比較的滑らかであると仮定した場合、チュプルの数はずっと少なくて済み、中間点でのカメラの位置及び配向を予測するために線形補間を使用することができる。
【００６１】
グローバルポジショニングサテライト（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｉｎｇ  Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））ユニットなどの空間センサは空間メタデータを自動的に生成するために使用されてもよい。空間メタデータを決定する種々の他のソースは、車両速度及び進行方向又は加速による無線ビーコン又は推測航法を有するが、これらに限定されない。或いは、空間メタデータは、例えば、知られているポイントから三角測量を用いてカメラ位置を決定するなどして、パノラマ画像の画像処理によって生成されてもよい。また、本発明は、地図、知られている経路、及び空間的に索引付けされたパノラマビデオ６５内の目に見えるランドマークを用いて、空間データを手動で生成することも考慮に入れている。
【００６２】
空間的に索引付けされたパノラマビデオシステム１０は、時間ではなく、空間によって索引付けされたパノラマ画像を記憶する。従来、ビデオ画像は、時間によって序列付けされ、モーションは、時間の進行に対応していた。しかしながら、現在画像６７は、モーションエンジン２１の制御下で、仮想環境７６内の仮想経路７５に沿った仮想動作を要求するユーザによって指定されるモーションに応答して序列付けされる。
【００６３】
図３は、空間的に索引付けされたパノラマビデオシステム１０によるモーションエンジン２１を概略的に示す図である。モーションエンジン２１は、プログラミングされた汎用コンピュータを用いて実施される。プログラミングされた汎用コンピュータは、ユーザが仮想環境７６内の仮想経路７５に沿って移動するときにユーザによって指定されるモーションを処理するようにプログラミングされて空間的に索引付けされたパノラマビデオ６５を生成することもできる。
【００６４】
図３に示されるように、モーションエンジン２１は、共通バス３８０によって相互接続された、コントローラ２０、メモリ３２０、入力インターフェース３５０、少なくとも一つの入力デバイス２１０、ディスプレイインターフェース３７０、及びディスプレイデバイス７２を有する。モーションエンジン２１は、空間データ及びメタデータを受け取るためのデータベース４０及びメタデータデータベースユニット５０のそれぞれに接続されている。
【００６５】
メモリ３２０は、スタティックＲＡＭ、ダイナミックＲＡＭ、又はフラッシュメモリを含む可変ランダムアクセスメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムの一つ以上によって使用されるシステムの変数及びデータを記憶するために使用される。メモリ３２０は、例えば、インターネットなどの通信リンク３０５によってアクセス可能なサーバ上のフロッピィ（商標）ディスク及びディスクドライブ、書込み可能な光ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ、遠隔記憶メモリなどの任意の不揮発性のメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムのいずれかによって現在は未使用であるがやがては使用される空間データなどの任意のデータを記憶して、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアアプリケーションを生成することもできる。
【００６６】
入力インターフェース３５０は、入力デバイス２１０をモーションエンジン２１と接続させる。ユーザは、入力デバイス２１０の少なくとも一つによってアクションを入力してもよい。一般に、入力デバイス２１０は、空間的に索引付けされたパノラマビデオシステム１０に選択を生じさせることが可能な任意のデバイス又はモードを有していてもよい。例えば、入力デバイス２１０は、カーソルをドラッグ及びクリックしてオブジェクトなどを選択するためのアイコン、マウス、トラックボール、タッチパッド、キーボード、及びペン型デバイスなどを有していてもよいが、これらに限定されない。入力デバイスはまた、ジョイスティック、ゲームコントローラ（例えば、ステアリングホイール、アクセル／ブレーキペダル）、及びゲーム及び／又は他のアプリケーションを駆動するために専用の他のコントローラを有していてもよい。入力インターフェース３５０は、これらの入力デバイスの二つ以上、例えば、マウス及びキーボードを、モーションエンジン２１と接続させるために使用されてもよい。従って、入力インターフェース３５０は、一つの物理的なデバイス又は二つ以上の別個のデバイスであってもよい。
【００６７】
ディスプレイインターフェース３７０は、ディスプレイデバイス７２をモーションエンジン２１のコントローラ２０と接続させる。ディスプレイインターフェース３７０は、ビデオカードなどの任意の知られているデバイスであってもよいし、ディスプレイデバイスからのデータをコントローラへ伝達することができる任意のこれから開発されるデバイスであってもよい。ディスプレイインターフェース３７０は、一般にそれ自体のメモリを有し、コントローラ２０によって生成されるディスプレイ信号から、ディスプレイ駆動信号を生成し、ディスプレイデバイス７２へ供給するために使用される。
【００６８】
モーションエンジン２１は、サーバプッシュ中、及び遠隔サーバへアクセスするために、搬送波が伝達されるようなアプリケーションのための通信リンク３０５を備えていてもよい。或いは、モーションエンジン２１の通信リンク３０５は、クライアント−プルシステムとして実施される空間的に索引付けされたパノラマビデオシステム１０に応答して搬送波が伝達されるようなところに用いられてもよい。
【００６９】
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオ６５は、ユーザが要求する仮想動作から指定されたモーションに応答して生成される。さまざまなアクションがユーザによって指定され得る。図２を再び参照すると、アクションは、マウス、キーパッド、ボタン、ユーザインターフェース３０上のアイコン、テーブル、ドロップダウンテーブル、ノブなどの入力デバイス２１０、音声起動、又はアクションを特定するための任意の他の方法を用いた様々な方法、を使用することによって要求され得るが、これらに限定されない。
【００７０】
本実施の形態によれば、ユーザインターフェース３０は、仮想経路７５に沿った仮想環境７６において仮想動作を実行するためにモーションを生成するための入力デバイス２１０を備えている。種々の仮想動作要求は、停止（Ｓｔｏｐ）２２０、前方駆動（Ｆｏｒｗａｒｄ）２２５、後方駆動（Ｂａｃｋｗａｒｄ）２３０、早い運転（Ｆａｓｔｅｒ）２３５、ゆっくり運転（Ｓｌｏｗｅｒ）２４０、及び運転停止（Ｓｔｏｐ）２４５を有する入力デバイス２１０によって示されるように、空間的に索引付けされたパノラマビデオ６５上で実行され得るが、これらに限定されない。また、画像を水平及び垂直方向へパンするために、時計回りパン（ＣＷ）２５０、反時計回りパン（ＣＣＷ）２５５、及びパン停止２６０を有する更なる入力デバイス２１０が設けられてもよいが、これらに限定されない。更なるアクションには、例えば、速度設定、ビデオ位置設定、特定位置への移動、現在位置の確保、注視方向設定、視界設定、又は空間的に索引付けされたパノラマビデオシステム１０において仮想動作を指定するために適した任意の他のアクションが含まれていてもよい。
【００７１】
例えば、空間的に索引付けされたパノラマビデオシステム１０がビデオの速度又は位置を制御するために使用されるとき、速度１はビデオが正常な速度で再生されていることを示すことができる。他の速度は、巻き戻し、スローモーションからなるリアルタイムの倍数、又は選択可能な速度でのその逆（先送りや早回し）を提供するために使用され得る。ユーザインターフェース３０はズームの視界方向や角度における変化を許容することもできる。
【００７２】
例示的な実施の形態の作用において、モーションエンジン２１は、データベース４０に記憶されたパノラマ画像、マップ、テキスト、及びオーディオをメタデータデータベース５０に記憶されたメタデータと相互に関連付けることによって、画像ディスプレイ６０内の空間的に索引付けされたパノラマビデオ６５、マップディスプレイ７０内のマップ、テキストディスプレイ８０内のテキスト、空間的に索引付けされたパノラマビデオシステム１０のユーザによって選択されたアクションに基づいてユーザインターフェース３０へのオーディオ出力を、レンダリングする。特定されたアクションは、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６内の仮想経路７５に沿ってユーザが作成したいとする仮想動作を定義付ける。ユーザによって選択されたモーションに基づいて、データベース４０からの複数の画像とメタデータデータベース５０からの対応するメタデータとをリトリーブするように要求されることによって、空間的に索引付けされたパノラマビデオ６５が生成される。この要求が処理され、モーションエンジン２１内のコントローラ２０によって画像がリトリーブされ、処理された後、ユーザインターフェース３０上の画像ディスプレイ６０内に空間的に索引付けされたパノラマビデオ６５がレンダリングされる。
【００７３】
所与の速度で仮想経路７５に沿った入力デバイス２１０の少なくとも一つを選択することによって、例えば、「前方へ進む」ようにモーションが指定された場合、モーションエンジン２１は、仮想ナビゲーションをコントロールするためにパラメータを指定する。モーションエンジン２１によって他の様々な特徴もコントロールされ得る。例えば、モーションエンジン２１は、好ましい方向を示すと共に仮想環境７６において交差点に到達した時にどの方向へ走行すべきかを決定することができる。モーションエンジン２１は、「デフォルトルール」を課すことができ、即ち、好ましいとされる方向に最も近い方向に進行する。モーションエンジン２１は、好ましいとされる方向が仮想経路７５に沿った「前方」方向に合うように更新されるモード又は方向を指定してもよい。このモーションは、常に「できるだけまっすぐ」であり、交差点が近づいた時、選択される方向は、交差点に近づく前に走行した仮想経路７５の方向にできるだけ近い方向である。
【００７４】
図４は、同様の参照符号が図２の同様のエレメントに対応している他の例示的なユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０及びマップディスプレイ７０を含む。画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、データベース４０からリトリーブされた複数の画像６７を有する。各画像６７は、仮想環境７６における仮想経路７５に沿った所定の位置に応じてパノラマ及び空間的に索引付けされている。
【００７５】
本発明の種々の例示的な実施の形態において、現在画像６７によって示されるように注視方向を指定するための注視方向インジケータ７８を有するポジションアイコン７７が提供される。図３及び図４において、ポジションアイコン７７はフローティングアローとして示されている。ポジションアイコン７７は、種々のモード、例えば、ノブ、マウスの水平モーション、左から右またその逆に、好ましいとされる方向へ変更するためにキーを押下すること、ポジションアイコン７７を回転することによって、例えば、ポジションアイコンをクリックして左から右へ回転させることによって注視方向を変更すること、又はモーションをコントロールする他の任意の方法によってコントロールされ得る。
【００７６】
仮想環境７６を介したナビゲーションは、仮想環境７６内の仮想経路７５に沿って交差点に出会った時に好ましいとされる方向としての注視方向に基づいて行われてもよい。他のナビゲーションモードは、モーションの現在方向を好ましいとされる方向として使用する。この場合、仮想環境７６内の仮想経路７５の交差点に至った時に、空間的に索引付けされたパノラマビデオシステム１０は「できるだけ真直ぐ」な方向に向かうように設計されてもよい。これは、空間的に索引付けされたパノラマビデオシステム１０が、モーションが連続的に仮想経路７５に沿って進む「ハンドオフ走行」として実行されるときに有用である。或いは、例えば、走行距離を短縮するため、又はユーザが仮想経路７５の特別なセグメントをビューするのを確実とするために、交差点の選択を空間的に索引付けされたパノラマビデオシステム１０内の全ての交差点で前もって記録しておくことができるし、また、任意の地点で好ましいとされる方向がセットされてもよい。
【００７７】
例えば、ポジショニングアイコン７７及び／又はボタン２５０、２２５、及び２６０を用いて注視方向をコントロールすることに加えて、ユーザは、他の入力デバイス２１０によってでもモーションをコントロールすることができる。仮想環境７６における任意の所与の仮想経路７５上で、ユーザは、二つの方向のいずれかに移動してもよいし、マウス、ジョイスティック、ボタン２２０，２３５，２４５又はペダルなどの少なくとも一つの入力デバイス２１０を用いて、モーションの速度をコントロールしてもよい。いくつかの仮想経路７５が結合する交差点に、仮想経路に沿ったモーションが、視点位置を移動してきた時、ユーザはそれらが取るいくつかの仮想経路７５のどれかを指し示すことができる。方向の選択があるときに起動される「左、右、真直ぐ」ボタンなどのモーションを選択するための多種多様な例示的なインターフェースが可能である。
【００７８】
ユーザは、例えば、ボタン２２５及び２３０を用いて、注視方向とは無関係にモーションの好ましいとされる方向をコントロールしてもよい。このようにして、空間的に索引付けされたパノラマビデオシステム１０によって、ユーザが、特定の方向というよりはむしろ、見るオブジェクト又はロケーションを指定することを可能とする。図４において、例えば、ユーザが見たいとする選択されたオブジェクトとして「ロダンの彫刻」６８を指定するために「ロダンの彫刻」６８へスナップすることができる。ユーザが仮想環境７６内の仮想経路７５周辺を移動する時、ユーザの視点は、選択されたオブジェクトに固定されたままである。これによって任意の位置からオブジェクトをビューすることが簡単になる。複数の方向から単一のオブジェクトのビューを提供する従来の「オブジェクトムービー」は、空間的に索引付けされたパノラマビデオシステム１０のように、人がオブジェクト以外の方向で見ることを可能としない。更に、一つより多くのオブジェクトの周辺をナビゲートするためのディスプレイ画像にディスプレイされ得る経路セグメント７３を提供することが望ましい。これは、例えば、ｅ−コマースのような自動車販売区域において特に有用である。車がグリッド（格子）状に並べられている場合、全てのグリッドの境界線に沿って空間的に索引付けされたパノラマビデオ６５をキャプチャすることによって、空間的に索引付けされたパノラマビデオシステム１０に任意の車のビューを任意の角度から自動的に生成させることができる。
【００７９】
本発明の種々の実施の形態によれば、ユーザは、仮想環境７６内の仮想経路７５に沿って使用可能なナビゲートできる選択又はモードをユーザに認識させる可視キューを与えられる。
【００８０】
有用な機能は、注視する特定の方向及び走行する特定の方向をユーザが要求するのを可能とすることである。多くの場合、視点から明白となり得る。例えば、コンテンツが仮想道路又は明確な仮想経路７５に沿って集められた場合、ユーザにとって他の仮想経路７５上のどこで曲がればよいのか、又はユーザが単一の仮想経路７５に制限されるべきなのかをユーザにはっきり示さなければならない。しかしながら、可視キューのないところでは、どの仮想経路７５が使用可能なのかが明らかではない。また、仮想環境７６内の道路又はドライブウェイに沿って集められた空間的に索引付けされたパノラマビデオのフィート数によっては、いくつかのわき道やドライブウェイにアクセスできないこともある。これらの状況においては、図４に示されるように、例えば、マップディスプレイ７０を調べることによってユーザは彼の選択範囲を広げることができる。しかしながら、マップを調べることは負担になるし、没頭して注意が散漫になる。この状況では、フローティングアロー６９などの可視キューが航行可能な選択によってユーザに注意を促すことができる。或いは、マップディスプレイ７０の小さな経路セグメント７３は、ユーザの現在の注視方向に対して方向付けられ、おそらく、ユーザの視界をシミュレートするための注視方向インジケータ７８によって、画像ディスプレイ６０内に示される。図４は、画像ディスプレイ６０の右下のコーナーにこの特徴を示している。
【００８１】
ユーザインターフェース３０を強調するために着色してもよい。例えば、仮想環境７６内の仮想経路７５は、仮想環境７６から仮想経路７５を識別するために着色されてもよい。また、ユーザインターフェース３０内の任意のオブジェクトが、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６を理解するときのユーザを援助するために着色されてもよい。
【００８２】
“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ  ｔｏｕｒ（私をそこへ連れてって走行）”は空間的に索引付けされたパノラマビデオシステム１０におけるナビケーションのための他の例示的な使用法である。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ  ｔｏｕｒ”において、システム１０は、ユーザのアクションによって指定された目的地への走行を自動的に生成する。例えば、ユーザは最初と最後の目的地を入力してもよい。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ  ｔｏｕｒ”が、仮想環境７６内の仮想経路７５に沿って最初の目的地から最後の目的地までユーザをナビゲートする。或いは、ユーザは最後の目的地のみを入力してもよい。要求された時点でディスプレイされた現在視点から最後の目的地まで進行することができる。
【００８３】
仮想環境７６内の仮想経路７５上のロケーションから移動するための他の例示的なモードは、例えば、図２に示されるように、サーチボックス６３によるモードである。特別なサーチクエリー（Ｓｅａｒｃｈ  ｑｕｅｒｙ）をサーチボックス（Ｓｅａｒｃｈ  ｂｏｘ）６３内へ入力することによって一つのロケーションから他のロケーションまで移動させて、最終目的地をリトリーブすることができる。
【００８４】
本発明によって使用される他のナビゲーションモードは、自動生成される仮想案内走行である。例えば、ウェブ−ベースのマップサービスは、所与のルート又は仮想経路７５に沿って運転することがどのような感じなのかを示す空間的に索引付けされたパノラマビデオシステム１０の形態でのマップ又はテキストによる運転命令に代わるものを提供することができる。
【００８５】
図５及び図６は、空間的に索引付けされたパノラマビデオシステム１０のための例示的な方法を示す。
【００８６】
示されているように、コントロールルーチンはステップ６００から開始される。コントロールルーチンはステップ６１０まで進む。
【００８７】
ステップ６１０において、コントロールルーチンは、空間的に索引付けされたパノラマビデオを生成すべきアクションが要求されたか又はユーザによって指定されたかを判断する。空間的に索引付けされたパノラマビデオシステムのアクションは、仮想環境内の仮想経路上でのユーザの空間ロケーション又は位置に基づく。アクションが要求された場合、コントロールルーチンは、ステップ６２０へ進む。アクションは、ボタン、ユーザインターフェース上のアイコン、ハイパーリンクなどによって、カーソルを移動して、ユーザインターフェースの部分を選択し、サーチクエリーを入力し、上述の入力デバイスのいずれか一つを用いてユーザインターフェースの種々の部分上にオーバーレイされたテキストを選択し、及び他の任意の知られている、又は今後、開発される選択を提供する方法などの多種多様な方法で要求され得るが、これに限定されない。ステップ６１０で、アクションが要求されなかった場合、コントロールルーチンは、ステップ６１０を繰り返す。
【００８８】
ステップ６２０において、要求がモーションエンジン内のコントローラへ送られる。
【００８９】
ステップ６３０において、要求が処理され、空間的に索引付けされたパノラマビデオを生成するためのこの要求に対応する空間データがデータベース及びメタデータデータベースのそれぞれからリトリーブされる。図６は、後述するように、この要求を処理する局面を非常に詳細に示している。コントロールルーチンは続いてステップ６４０へ進む。
【００９０】
ステップ６４０において、コントローラによって空間的に索引付けされたパノラマビデオを生成するための要求に対応する空間データが編集され、ユーザインターフェース上にレンダリングされる。コントロールルーチンは次にステップ６１０に戻り、他のアクションがユーザによって生成されたかを判断する。
【００９１】
図６は、空間的に索引付けされたパノラマビデオを生成するための要求に対応するデータベースから空間データを要求するプロセスを示す。示されているように、ステップ６２０ではじまり、コントロールルーチンはステップ６２１へ続く。
【００９２】
ステップ６２１において、コントロールルーチンは、データベースから画像をリトリーブし、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、空間データをユーザインターフェース３０へ送る。画像はパノラマであり、空間的に索引付けされたパノラマビデオ内の空間ロケーション又は位置に対応するように空間的に索引付けされる。リトリーブされる画像は、「停止」運転リクエストが要求された場合にはほとんど一つに限られる。或いは、加速された速度で「前方へ進め」運転リクエストが要求された場合は、多数の画像がコントローラによって要求されると捉えられ、空間的に索引付けされたパノラマビデオ内で高速で走行することの効果を発揮するように編集される。更に、図４に示されるように、現在画像は、フローティングアローやキャプションなどの可視キューの形態でメタデータを含むこともでき、ユーザに、使用可能なナビゲーション選択に対する注意を促す。即ち、ユーザに詳細を報知するために、オーバーレイされたテキスト、又は，ユーザがテキストを選択した場合は、ユーザが取り得る更なるアクションに対する注意を促す。コントロールルーチンは引き続きステップ６２３へ進む。
【００９３】
ステップ６２３において、コントロールルーチンはアクションの空間ロケーションに対応するデータベースからマップをリトリーブし、このマップを空間データとしてユーザインターフェース３０へ送る。図２及び図４に示されるように、マップディスプレイも、フローティングアローなどの可視キューの形態で空間データを含むこともでき、ユーザに対して、ユーザによって要求されたナビゲーション選択に対する注意を促す。コントロールルーチンは引き続きステップ６２５へ進む。
【００９４】
ステップ６２５において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからテキストをリトリーブし、このテキストを空間データとしてユーザインターフェース３０へ送る。再度、図２を参照すると、テキストは、画像ディスプレイ、又はマップディスプレイへオーバーレイされたテキスト、若しくは、画像ディスプレイ内の空間的に索引付けされたパノラマビデオの現在画像をユーザが理解するのを可能にするときに役立つ任意の他のタイプのテキストとしてのヘッディング、記述、ハイパーテキストリンクとして図示されてもよい。コントロールルーチンは引き続きステップ６２７へ進む。
【００９５】
ステップ６２７において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからオーディオをリトリーブし、このオーディオを空間的にタグ付けされたオーディオデータとしてユーザインターフェース３０へ送る。オーディオは、画像ディスプレイ内に示される画像についてのナレーション、歌、又は、ユーザが空間的に索引付けされたパノラマビデオシステムを方向ディスプレイソフトウェアと組み合わせて使用する場合などに所望されるロケーションへの方向のセットを含むが、これに限定されない任意数のオーディオセグメントを提供する。コントロールルーチンは引き続きステップ６２８へ進む。
【００９６】
ステップ６２８において、コントロールルーチンは、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、このデータをユーザインターフェース３０へ送る。コントロールルーチンは引き続きステップ６２９へ進み、そこでステップ６４０へ戻る。
【００９７】
図７は、ネットワークシステムとして実施される空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態を示す。この空間的に索引付けされたパノラマビデオシステムは、機能的には、第１の実施の形態における空間的に索引付けされたパノラマビデオシステム１０と同様に動作する。しかしながら、この第２の実施の形態においては、空間的に索引付けされたパノラマビデオシステム５１０は、ブラウザ５０３として実施され、サーバプッシュ、或いは、例えば、ストリーミングメディアプレーヤーによって更新される画像からなる。
【００９８】
図７は、空間的に索引付けされたパノラマビデオシステム５１０を例示的に表示したものである。空間的に索引付けされたパノラマビデオシステム５１０は、クライアントコンピュータ５０４上に位置指定され、例えば、インターネットを介して転送する通信リンク３０５を介してサーバ５０１及びＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）サーバ５０１に接続されたクライアントディスプレイプログラム５０３を有する。クライアントディスプレイプログラム５０３内には、画像ディスプレイ５６０、マップディスプレイ５７０、テキストディスプレイ５８０、及びオーディオ出力５９０が設けられている。入力インターフェース５３０は複数の入力デバイス２１０からアクションを受け取り、空間的に索引付けされたパノラマビデオ６５を生成する。サーバ５０１は、モーションエンジン５２０、空間データを記憶するデータベース５４０、及びメタデータを記憶するメタデータデータベース５５０を有する。
【００９９】
この例示的な実施の形態において、画像ディスプレイ５６０は、搬送波を介してサーバプッシュによって更新され得る、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）画像である。これに代わって、ストリーミング・ビデオフォーマットが使用されてもよい。しかしながら、待ち時間がディスプレイインターフェース５３０内のインタラクティビティの意義を損なわないようにバッファリングは十分に小さく保たなければならない。マップディスプレイ５７０はインタラクティブであり、例えば、Ｊａｖａ（登録商標）ａｐｐｌｅｔとして実施され得る。シンプルＨＴＴＰベースのコントロールプロトコルは、モーションエンジン５２０をコントロールするために使用され得る。モーションエンジン５２０は、特別なコントロールＵＲＬ(Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  ｌｏｃａｔｉｏｎ) を用いてＨＴＴＰ  ＧＥＴ要求をサーバ５０１、５０２へ送ることによってコントロールされ、これにより、ＨＴＭＬページのリンクからのＪａｖａ（登録商標）ａｐｐｌｅｔによるコントロール、又は、ＨＴＴＰ要求を生成することができる任意の他のデバイス又はシステムによるコントロールが可能となる。
【０１００】
図８は、空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態による他の例として示されたユーザインターフェース７３０を示す。
【０１０１】
種々の他の実施の形態が本発明の範囲を逸脱するものではない。例えば、空間的に索引付けされたパノラマビデオ６５は、テレビジョン又は投影ディスプレイ上で提供されてもよい。空間的に索引付けされたパノラマビデオ６５のフィート数は、通り又は道路に沿って測られるので、図２及び図８に示されるメタファーのように車内にいるというメタファーが使用されてもよい。或いは、車の異なるウィンドウから人（ユーザ）が期待するビューを提示するために複数の物理的なディスプレイが使用されてもよい。
【０１０２】
ヘッド・マウント・ディスプレイも、より深い体験のために使用されてもよい。このような実施の形態において、ヘッドトラッキングは注視方向を決定するために検知されてもよく、これによって、空間的に索引付けされたパノラマビデオ６５はユーザの頭部位置に応じて変更される。
【０１０３】
本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、不動産業などにおいては多数の利用可能な使用法がある。固定位置のパノラマビューは従来家や地所をウェブ上で示すために使用されるが、本発明による空間的に索引付けされたパノラマビデオシステムは、可能性のある買い手が多数の固定位置から家を見るだけでなく、バーチャルに家の中を歩くことも可能とする。また、本発明による空間的に索引付けされたパノラマビデオシステムは町や近所をナビゲートするために使用され、ユーザは、家の中を歩いたり外を歩き回る前に家までのドライブをバーチャルに体験する。
【０１０４】
本発明による空間的に索引付けされたパノラマビデオシステムのほかの利用法は旅行業界で見られる。ユーザは、ハワイ、ワイキキなどのリゾート地域をバーチャルに運転することができ、どのホテルが最も望ましい位置や眺望を有するかを決定することができる。これによって、ユーザは、特別なロケーションにいることが実際どういう感じなのかということのより良い感覚をユーザに付与することができる。
【０１０５】
更に、本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、高級車のショールームにような商品のバーチャルなショールームをユーザが見て回ることを可能とするｅ−コマースのために使用され得る。空間的に索引付けされたパノラマビデオシステムを車などのオブジェクトに対して方向付けることによって、オブジェクトのレイアウトやナビゲーションを気にせずに特別なオブジェクトをクリックすることができる。
【０１０６】
異なるレベルの詳細が本発明による空間的に索引付けされたパノラマビデオシステムのコンテンツに対して統合されている。例えば、ラスベガスストリップの空間的に索引付けされたパノラマビデオが通りや側道に沿った仮想経路によって生成することができる。これは、特定のリゾートに対する詳細なコンテンツがなくてもユーザにとって有用である。なぜならば、ユーザはあちこち動き回ることができ、施設を外側から見ることができるためである。この空間的に索引付けされたパノラマビデオシステムは、施設をクリックすることによってウェブページや他のデータを呼び出す方法で、ホテルの予約システム又は他の付加価値のあるサービスにリンクされてもよい。更なる素材によってユーザは特別な施設の中又はそれらの構内付近を歩くことが可能となる。
【０１０７】
本発明の空間的に索引付けされたパノラマビデオシステムの用途は、多数あり、娯楽、教育、グランドキャニオン、アルプス、又はタージマハールのような名所旧跡などを含むことができるが、これらに限定されない。
【０１０８】
本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、プログラムされた汎用コンピュータ上で実施され得る。しかしながら、本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロ・コントローラ、及び周辺集積回路エレメント、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）又は他の集積回路、ディジタル信号プロセッサ、ディスクリートエレメント回路などのハードワイヤード電子又はロジック回路、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ）、ＰＬＡ（ｐｒｏｇｒａｍｍｅｄ  ｌｏｇｉｃ  ａｒｒａｙ）、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、又はＰＡＬ（ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ  ｌｏｇｉｃ）などのプログラム可能ロジックデバイス等で実施されてもよい。一般に、図５及び図６に示されたフローチャートを実施することを可能とする有限状態マシンを実施することが可能な任意のデバイスが、本発明のシステム及び方法を実施するために使用され得る。
【０１０９】
図１、図３及び図７に示された種々のブロックが適切にプログラミングされた汎用コンピュータの部分として実施され得る。或いは、図１、図３及び図７に示された種々のブロックは、ＡＳＩＣ内の物理的に別個のハードウェア回路として又はＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬを用いて、又はディスクリートロジックエレメント又はディスクリート回路エレメントを用いて実施され得る。図１、図３及び図７に示されたブロックの各々が取る特別な形態は設計上の選択であり、当業者にとって明白であり予測可能なものである。
【０１１０】
図３に示されているように、メモリ３２０は、可変、揮発性又は不揮発性のメモリ、又は変更不能若しくは固定されたメモリを任意に適当に組み合わせたものを用いて実施され得る。可変メモリは、揮発性又は不揮発性のいずれでもよく、スタティック又はダイナミックＲＡＭ、フロッピィ（商標）ディスク及びディスクドライブ、書込み可能又は書換え可能な光ディスク及びディクスドライブ、ハードドライブ、フラッシュメモリなどの任意の一つ以上を用いることによって実施され得る。同様に、変更不可能又は固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスクなどの光ＲＯＭディスク、及びディスクドライブなどの任意の一つ以上を用いて実施されていもよい。
【０１１１】
図３及び図７に示されるように、リンク３０５は、空間的に索引付けされたパノラマビデオシステム１０の構成要素を接続するための任意の知られている又は今後、開発されるデバイスであってもよい。空間的に索引付けされたパノラマビデオシステム１０は、直接ケーブル接続、ワイドエリアネットワーク又はローカルエリアネットワークを介した接続、イントラネットを介した接続、インターネットを介した接続、又は任意の他の分散処理ネットワーク又はシステムを介した接続の一つ以上を含んでいてもよい。概して、通信リンク３０５は、任意の知られている、又は今後、開発される接続システムであってもよい。
【０１１２】
また、通信リンク３０５は、ネットワークにワイヤード又はワイヤレスでリンクされ得ることを理解されたい。ネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネット、又は任意の他の分散処理及び記憶ネットワークであってもよい。
【０１１３】
本発明は、概略的に上述された例示的な実施の形態に関して説明されてきたが、当業者にとって多数の変形、改良及び変更が明白であることが明らかである。従って、本発明の例示的な実施の形態は、説明のみを目的としており、これらに限定されるものではない。本発明の精神及び範囲を逸脱することなく種々の変更が行われてもよい。
【図面の簡単な説明】
【０１１４】
【図１】本発明による空間的に索引付けされたパノラマビデオシステムの第１の実施の形態を示す略図である。
【図２】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す図である。
【図３】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのモーションエンジンを示す略図である。
【図４】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムの他のユーザインターフェースを示す略図である。
【図５】本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。
【図６】本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。
【図７】本発明による空間的に索引付けされたパノラマビデオシステムの第２の実施の形態を示す略図である。
【図８】本発明の第２の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す略図である。
【符号の説明】
【０１１５】
１０：パノラマビデオシステム
２１：モーションエンジン
３０：ユーザインターフェース
４０：データベース
５０：データベース
６０：画像ディスプレイ
６５：空間的に索引付けされたパノラマビデオ
７０：マップディスプレイ
７２：ディスプレイデバイス
８０：テキストディスプレイ
【図１】
0004735733.tif 000002
【図２】
0004735733.tif 000003
【図３】
0004735733.tif 000004
【図４】
0004735733.tif 000005
【図５】
0004735733.tif 000006
【図６】
0004735733.tif 000007
【図７】
0004735733.tif 000008
【図８】
0004735733.tif 000009