(57)【要約】  シーンのビュー画像を生成するための装置は、観察領域からのシーンを表す三次元シーンデータを格納するストア１０１を有する。三次元シーンデータは、例えば、観察領域内のキャプチャ位置からキャプチャされた画像や奥行きマップであってもよい。動きプロセッサ１０５は、ユーザの頭部または視線追跡データなどのモーションデータを受信し、モーションデータから観察者の観察位置および観察者の観察方向を決定する。変化プロセッサ１０９は、観察者の観察方向についての方向変更量を決定し、アダプタ１１１は、方向変更量に応じて、観察者の観察位置から観察領域までの距離を減少させるように構成されている。画像生成部１０３は、シーンデータから、観察者の観察位置と観察者の観察方向のためのビュー画像を生成する。
2021507425.tif 000002
【特許請求の範囲】
【請求項１】
シーンのためのビュー画像を生成するための装置であって、
観察領域からの前記シーンを表す三次元シーンデータを格納するストア、
ユーザのモーションデータを受信して、前記モーションデータから観察者の観察位置及び観察者の観察方向を決定する動きプロセッサ、
前記観察者の観察方向の方向変化量を決定する変化プロセッサ、
前記方向変化量に応じて、前記観察者の観察位置から前記観察領域までの距離を低減させるアダプタ、
前記シーンデータから前記観察者の観察位置と前記観察者の観察方向のためのビュー画像を生成する画像生成部、
を有し、
前記三次元シーンデータが、前記シーンの奥行き表現付きオムニディレクショナルステレオを有し、前記アダプタが、前記奥行き表現付きオムニディレクショナルステレオのビューサークルの中心位置と前記観察者の観察位置との距離を低減することにより前記距離を低減するように構成されている、装置。
【請求項２】
前記アダプタが、前記方向変化量が閾値を超える場合にのみ前記距離を低減するように構成される、請求項１に記載の装置。
【請求項３】
前記アダプタが、前記距離を徐々に低減するように構成される、請求項１または請求項２に記載の装置。
【請求項４】
前記距離の低減率が前記方向変化量の単調増加関数である、請求項１から請求項３のいずれか一項に記載の装置。
【請求項５】
前記アダプタが、前記低減率に上限を課すように構成される、請求項４に記載の装置。
【請求項６】
前記モーションデータが頭部動き追跡データを有する、請求項１から請求項５のいずれか一項に記載の装置。
【請求項７】
前記モーションデータが瞳孔追跡データを有する、請求項１から請求項６に記載の装置。
【請求項８】
前記変化プロセッサが、前記頭部動き追跡データと前記瞳孔追跡データとによって示される相対的な動きに応じて前記方向変化量を決定するように構成される、請求項６に従属する請求項７に記載の装置。
【請求項９】
前記アダプタが、前記三次元シーンデータの座標を変更することにより前記距離を低減するように構成される、請求項１から請求項８のいずれか一項に記載の装置。
【請求項１０】
前記三次元シーンデータが第１基準座標系を基準とし、前記観察者の観察位置が第２基準座標系を基準とし、前記アダプタが、前記第1基準座標系から前記第２基準座標系へのマッピングを変更することにより、前記三次元シーンデータの前記座標を変更するように構成される、請求項１から請求項９のいずれか一項に記載の装置。
【請求項１１】
前記画像生成部が、前記ビューサークル上のビュー及び奥行きに基づいて視点シフトを実行することにより、前記ビューサークル上にないビューのためのビュー画像を生成するように構成される、請求項１０に記載の装置。
【請求項１２】
仮想現実または拡張現実アプリケーションを実行するように構成され、前記ビュー画像が、前記仮想現実または拡張現実アプリケーションのユーザのためのビュー画像である、請求項１から請求項１１のいずれか一項に記載の装置。
【請求項１３】
シーンのためのビュー画像を生成する方法であって、
前記シーンの奥行き表現付きオムニ・ディレクショナル・ステレオを有し、観察領域からの前記シーンを表す三次元シーンデータを格納するステップと、
ユーザのモーションデータであって、観察者の観察位置及び観察者の観察方向を決定するための前記モーションデータを受信するステップと、
前記観察者の観察方向の方向変化量を決定するステップと、
前記方向変化量に応じて、前記観察者の観察位置と前記奥行き表現付きオムニ・ディレクショナル・ステレオのビューサークルの中心位置との間の距離を低減するステップと、
前記シーンデータから、前記観察者の観察位置及び前記観察者の観察方向のためのビュー画像を生成するステップと、を有する方法。
【請求項１４】
コンピュータにより実行されて、前記コンピュータに請求項１３に記載の方法の全てのステップを実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シーンのためのビュー画像を生成することに関するものであり、特に、仮想または拡張現実アプリケーションのためのビュー画像を生成することに関するものであるが、これに限定されるものではない。
【背景技術】
【０００２】
近年、画像や映像の利用方法や活用方法が次々と開発・導入され、その種類や範囲は大幅に拡大している。
【０００３】
例えば、視聴者が能動的かつ動的にシステムと対話してレンダリングのパラメータを変更することができるような方法で、画像シーケンスを提供するサービスが人気を集めている。多くのアプリケーションで非常に魅力的な機能は、例えば、提示されているシーンの中を移動して「見回す」ことができるようにするなど、視聴者の有効な視聴位置と視聴方向（視聴ポーズ）を変更することができることである。
【０００４】
このような機能は、ユーザに提供される仮想現実体験を具体的に可能にすることができる。これにより、ユーザが仮想環境内を（比較的）自由に移動し、自分の位置や見ている場所を動的に変化させることができる。一般的に、このような仮想現実アプリケーションは、要求された特定のビューを提供するためにモデルが動的に評価されるシーンの三次元モデルに基づいている。このアプローチは、例えば、一人称シューティングゲームのゲームカテゴリのようなコンピュータやコンソール用のゲームアプリケーションからよく知られている。
【０００５】
また、特に仮想現実または拡張現実のアプリケーションでは、提示される画像が三次元画像であることが望ましい。実際、視聴者の没入感を最適化するために、ユーザが提示されたシーンを三次元シーンとして体験することが典型的に好ましい。確かに、仮想現実体験は、好ましくは、ユーザが仮想世界との相対的な位置、カメラの視点、および時間内の瞬間を選択できるようにすべきである。
【０００６】
特にシーンのキャプチャされた三次元表現に基づいた様々なサービスをサポートする上での大きな課題は、大量のデータが必要になることである。その結果、大容量のストレージリソースが必要になるなど、リソース要件が高まる。
【０００７】
このような多くの新しいアプリケーションやサービスをサポートするためには、シーンを正確にキャプチャできることが望ましい。典型的には単一の視点に対する単一のビューポートで十分である従来のアプリケーション（例えば、従来のビデオシーケンス）とは対照的に、シーン内の完全な３Ｄ情報を正確に捕捉できる場合には望ましい。
【０００８】
例えば、６DoF（６自由度、視点位置の３自由度と向きの３自由度に相当）の仮想現実カメラベースのキャプチャでは、典型的には、シーン全体に関する正確で完全な情報をキャプチャするために、複数の方向の複数の位置からシーンをキャプチャする。このようなキャプチャからの6DoFコンテンツの再生中に、多くのアプリケーションでは、観察者は、観察者の現在の仮想ポーズに対応するように動的に合成されたビューでシーン内を自由に移動することができます。提示されたビューは、例えば、適切なアルゴリズムを使用して近くの元々のキャプチャされたビューから合成された補間されたビューであってもよい。これにより、滑らかな遷移が可能となり、及び／又は、キャプチャされる光場データの必要とされる量を減少させることができる。典型的には、このようなビュー補間では、奥行き情報が合成に使用され、奥行き情報は、典型的には、ステレオ画像から直接取得されるか、または推定される。別の例は、キャプチャされたビューを使用してシーンの三次元モデルを開発することである。
【０００９】
多くのアプリケーションでは、ハンドヘルドカメラを動かすことで静的なシーンをキャプチャすることができる。キャプチャ後、キャプチャされた画像のカメラ位置と視聴方向が導出されて、ビュー合成用またはシーンの三次元モデルを生成するためのベース画像として使用される。
【００１０】
しかし、このようなキャプチャされた画像に基づく表現を十分に正確にするためには、画像によって十分な量の関連情報が取得されていることが必要である。これは、比較的高い空間キャプチャ周波数/密度を必要とする傾向があり、やはり高いリソース要件（ストレージや通信など）につながる
【００１１】
いくつかのアプリケーションでは、このような問題は、シーンのより限定的な表現を提供することによって少なくとも部分的に対処されるかもしれない。例えば、多くの仮想現実アプリケーションは、制限された動きと向きの変更しか可能にせず、シーン内を動き回る完全な自由度を提供しないシーンのビューをユーザに提供する場合がある。例えば、仮想現実アプリケーションは、比較的静的なユーザ（例えば、スクリーンの前などの狭い場所に座ったり立ったりするユーザ）を対象とする場合がある。
【００１２】
このようなアプリケーションでは、シーンの表現は、比較的小さな領域（または実際には単一のビュー位置）からのキャプチャに基づくように縮小されてもよい。例えば、シーンは、50cm以下の大きさの規則正しい5x5のグリッドに配置された25の位置からキャプチャされることができる。このようなキャプチャは、キャプチャ領域内の視点に対してシーンの良好なキャプチャを提供することができるが、それに対してある程度離れた（例えば、シーンの特性に応じて１メートル以下までの）視点に対してビューを生成することも可能である。
【００１３】
しかし、生成されたビュー画像の品質は、キャプチャ領域からの距離に応じて低下する傾向があり、例えば、所望のビューポイントでの遮蔽解除（de-occlusion）や奥行き不完全性に起因するアーティファクト、歪み、およびエラーがますます大きな影響を与えるようになる。問題は、ユーザが再び「スイートスポット」にいるためにどの方向に動くべきかを知ることが必ずしも容易ではない、あるいは明白ではないということである。これは実際には知覚される経験の質を低下させる傾向があり、その結果、仮想観察者の動きがアプリケーションによって制限される場合がある。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
したがって、ビュー画像を生成するための改善されたアプローチは有利であろう。特に、改善されたおよび／または容易化された操作または実装、改善されたユーザの柔軟性および自由度、低減されたキャプチャ要件、改善された画像品質、改善されたユーザ体験、および／または改善された性能を可能にするアプローチが有利であろう。
【課題を解決するための手段】
【００１５】
従って、本発明は、好ましくは、単独でまたは任意の組み合わせで、上述した欠点のうちの１つ以上を緩和、軽減または除去することを目的とする。
【００１６】
本発明の一側面によれば、シーンのビュー画像を生成するための装置が提供され、当該装置は、
観察領域からのシーンを表す三次元シーンデータを格納するストアと、
ユーザのモーションデータを受信し、モーションデータから観察者の観察位置と観察者の観察方向を決定する動きプロセッサと、
観察者の観察方向の方向変化量を決定するための変化プロセッサ、
前記方向変化量に応じて、前記観察領域に対する前記観察者の観察位置からの距離を減少させるためのアダプタと、
前記シーンデータから、前記観察者の観察位置及び前記観察者の観察方向のためのビュー画像を生成するための画像生成部と、を有する。
【００１７】
本発明は、多くの実施形態およびアプリケーションにおいて、改善された操作、性能、および／またはユーザ体験を提供することができる。このアプローチは、多くのアプリケーションにおいて、より少ない量のシーンデータからのより高い画質によってユーザ体験を向上させることができる。多くの実施形態では、三次元ビュー画像（例えば、右目画像および左目画像）は、ビュー領域内でのみキャプチャされたシーンデータに基づいてシーンに対して生成されることができる。また、ユーザの動きを追跡し、姿勢の変化を反映させるように、ビュー画像が生成されることができる。システムは多くの場合、シーンのODS（Omni Directional Stereo：オムニ・ディレクショナル・ステレオ）表現の形でのシーンデータなどに基づいているにもかかわらず、立体視と動き視差の両方を提供することができる。さらに、観察者の観察位置の観察領域へのバイアスが、生成されるビュー画像が典型的にはエラー、アーティファクトおよび歪みが少ないより高い画質を有することを達成することができる。このバイアスは、（例えば、不正確な運動視差の形での）バイアスの影響がユーザに最も感知されにくい時間帯に制限されることができる。
【００１８】
このアプローチは、例えば、（例えば、ユーザが観察領域に向かって引っ張られる「ゴムバンド」効果を提供する）ビューが観察領域に戻されるときの回転運動が大きい時間帯を除いて、提供されるビュー画像が正しい立体視および視差でユーザに追従する仮想または拡張現実体験を可能にすることができる。このようなユーザ体験は、実際に多くのアプリケーションにとって非常に魅力的なものであることがわかっている。
【００１９】
前記アダプタは、前記観察者の観察位置および前記観察領域のための少なくとも１つの基準位置のうちの少なくとも１つを修正することによって距離を低減するように構成されていてもよい。
【００２０】
方向変化量は、回転運動量であってもよく、ユーザの運動の回転成分を示すものであることができ、ユーザの運動の並進成分とは独立したものであってもよい。運動は、加速度、あるいは実際には位置の微分の変化やオーダーを含む場合があります。
【００２１】
シーンデータは、具体的には、キャプチャされたデータであってもよく、特に、観察領域内のキャプチャ位置／ポーズのセットからのキャプチャされた画像と奥行きデータから構成されてもよい。
【００２２】
方向変化量は、観察者が見ている向きの変化の（例えば、ある時間間隔内での）大きさまたは変化率を示すものであってもよい。
【００２３】
本発明の任意の特徴によれば、アダプタは、方向変更量が閾値を超えた場合にのみ距離を低減するように構成される。
【００２４】
これは、改善された動作および／もしくは性能を提供し、ならびに／または多くのアプリケーションにおいて、魅力的なユーザ体験を提供することができる。 このアプローチは、ユーザの動きと生成されたビュー画像との間の結果としての不一致が、ユーザ／視聴者によってあまり目立たない（または実際に目立たない）場合に、ビュー領域へのバイアスを適用することを可能することができる。
【００２５】
本発明の任意の特徴によると、アダプタは、距離を徐々に低減するように構成される。この距離は、観察者がキャプチャされたデータ／有効領域に対応するビューサークルに十分に近づくように、一定の値に低減されることができる。この値はゼロでもよい。
【００２６】
これにより、多くのシナリオやアプリケーションにおいて、ユーザ体験を向上させることができる。
【００２７】
本発明の任意の特徴によれば、距離の減少率は、方向変更量の単調増加関数である。
【００２８】
これにより、多くのシナリオやアプリケーションにおいて、ユーザ体験を向上させることができる。多くの実施形態では、ユーザの動きと生成されたビュー画像との間の結果として生じる不一致の知覚の低さを維持しながら、観察領域へのより強いバイアス（例えば、「ゴムバンディング」）を可能することができる。
【００２９】
本発明の任意の特徴によると、アダプタは、減少率の上限を課すように構成されている。
【００３０】
これにより、多くのシナリオやアプリケーションにおいて、ユーザ体験を向上させることができる。
【００３１】
本発明の任意の特徴によると、モーションデータは、頭部モーショントラッキングデータからなる。
【００３２】
このシステムは、頭部の動きに依存してシーンのビュー画像を提供するアプリケーションに対して、非常に魅力的なユーザ体験を提供することができる。例えば、比較的小さな領域でキャプチャされたシーンデータのみに基づいているにもかかわらず、非常にリアルに感じることができる仮想現実体験を提供することができる。
【００３３】
本発明の任意の特徴によると、モーションデータは、眼球トラッキングデータからなる。
【００３４】
このシステムは、瞳孔の動きに依存してシーンのビュー画像を提供するアプリケーションに対して、非常に魅力的なユーザ体験を提供することができる。例えば、比較的小さな領域でキャプチャされたシーンデータのみに基づいているにもかかわらず、非常にリアルに感じることができる仮想現実体験を提供することができる。
【００３５】
本発明の任意の特徴によると、変化プロセッサは、頭部モーショントラッキングデータおよび眼球トラッキングデータによって示される相対的な動きに応じて、方向変化量を決定するように配置されている。
【００３６】
このシステムは、頭部トラッキングデータと眼球トラッキングデータの両方を考慮することにより、特に魅力的なユーザ体験を提供することができる。例えば、頭部と目／瞳孔の相対的な動きを一緒に考慮して、視線の向きの変化を反映した方向変化量を用いた効果的な視線追跡を生成することができる。これは、頭部の動きと瞳孔の動きが互いに補い合って全体的な視線の変化が少なくなる（視線／瞳孔の動きと頭部の動きが逆方向になる）ときに、観察位置へのバイアスを低減することができる。同様に、頭部の動きと眼球・瞳孔の動きが加算されて全体的な視線の変化が大きくなる（眼球・瞳孔の動きと頭部の動きが同じ方向になる）場合には、観察位置へのバイアスを大きくすることができる。
【００３７】
本発明の任意の特徴によれば、アダプタは、三次元シーンデータの座標を修正することによって距離を低減するように構成されている。
【００３８】
これは、多くの実施形態において、動作および／または実施を容易にすることができる。多くの状況において、後方互換性を向上させ、例えば、モーションデータから観察者の観察方向および観察者の観察位置を決定するための既存のアルゴリズム、またはビュー画像を生成するための既存のアルゴリズムを、変更なしまたはほとんど変更せずに再利用できるようにすることができる。
【００３９】
本発明の任意の特徴によれば、前記三次元シーンデータは第１基準座標系を参照し、前記観察者の観察位置は第２基準座標系を参照し、前記アダプタは、前記第１基準座標系から前記第２基準座標系へのマッピングを変更することにより、前記三次元シーンデータの座標を修正するように構成されている。
【００４０】
これは、多くの実施形態で、動作および／または実施を容易にすることができる。
【００４１】
本発明の任意の特徴によれば、三次元シーンデータは、シーンの奥行き表現を有するオムニ・ディレクショナル・ステレオを有し、アダプタは、奥行き表現を有するオムニ・ディレクショナル・ステレオに対して、観察者の観察位置とビューサークルの中心位置との距離を低減することにより距離を低減するように構成されている。
【００４２】
このアプローチは、シーンのＯＤＳおよび奥行き表現のみに基づいてシーンの現実的な知覚を提供することができ、したがって、ストレージおよびキャプチャ要件を大幅に削減することができる。
【００４３】
本発明の任意の特徴によれば、画像生成部は、ビューサークル上のビューと奥行きに基づいて視点移動を行うことにより、ビューサークル上にないビューのためのビュー画像を生成するようにさらに構成されている。
【００４４】
このアプローチは、シーンのODSと奥行き表現のみに基づいて、シーンの現実的な知覚を提供することができる。それは、ビューサークルから逸脱する動きに対して立体視と動き視差の両方を提供するビュー画像を生成することができる。
【００４５】
本発明の任意の特徴によれば、装置は、仮想現実または拡張現実アプリケーションを実行するように構成されており、ここで、ビュー画像は、仮想現実または拡張現実アプリケーションの観察者のためのビュー画像である。
【００４６】
本発明は、魅力的な仮想現実または拡張現実アプリケーションをサポートするか、または可能にすることができる。
【００４７】
本発明の一側面によれば、シーンのビュー画像を生成する方法が提供され、当該方法は、
観察領域からのシーンを表す三次元シーンデータを格納するステップと、
ユーザのモーションデータであって、当該モーションデータから観察者の観察位置と観察者の観察方向とを決定するためのモーションデータを受信するステップと、
観察者の観察方向の方向変化量を決定するステップと、
方向変化量に応じて、観察者の観察位置から観察領域に対する距離を減少させるステップと、
シーンデータから、観察者の観察位置と観察者の観察方向のビュー画像を生成するステップと、を有する。
【００４８】
本発明のこれらおよび他の側面、特徴および利点は、以下に記載される実施形態を参照して明らかにされ、解明されるであろう。
【図面の簡単な説明】
【００４９】
本発明の実施形態は、例示的にのみ、図面を参照して説明される。
【図１】本発明のいくつかの実施形態によるビュー画像生成装置の要素の一例を示す図。
【図２】シーンのキャプチャパターンの一例を示す図。
【図３】オムニ・ディレクショナル・ステレオ表現の一例を示す図。
【図４】シーンキャプチャのオムニ・ディレクショナル・ステレオ表現のビューサークルに対するビューポーズの例を示す図。
【図５】シーンキャプチャのオムニ・ディレクショナル・ステレオ表現のビューサークルに対するビューポーズの例を示す図。
【図６】シーンキャプチャのオムニ・ディレクショナル・ステレオ表現のビューサークルに対するビューポーズの例を示す図。
【図７】シーンキャプチャのオムニ・ディレクショナル・ステレオ表現のビューサークルに対するビューポーズの例を示す図。
【発明を実施するための形態】
【００５０】
以下の説明は、仮想または拡張現実アプリケーションのためのビュー画像の生成に適用可能な本発明の実施形態に焦点を当てている。しかしながら、本発明はこのアプリケーションに限定されるものではなく、例えば多くの異なる画像処理およびレンダリングアプリケーションに適用され得ることが理解されるであろう。
【００５１】
図１は、本発明のいくつかの実施形態に従ったビュー画像生成装置の一例を示す図である。 前記ビュー画像生成装置は、所定の観察者ビューポーズに対応するシーンのビューに対応する画像を生成するように構成されている。多くの実施形態では、ビュー画像生成装置は、所与の観察者ポーズのためのステレオ画像を生成するように構成されており、または同等に、２つの画像が、観察者の２つの目の間のオフセットに対応するわずかに異なる観察者ポーズに対して生成されることができる。
【００５２】
この分野では、配置およびポーズという用語は、位置および／または方向／向きの一般的な用語として使用されています。例えばオブジェクト、カメラまたはビューなどの位置および方向・向きの組み合わせが、ポーズまたは配置と呼ばれることがある。このように、配置またはポーズの指示は、各々の値／成分が、典型的には、対応するオブジェクトの位置／場所または向き／方向の個々の特性を記述する６つの値／成分／自由度から構成されることができる。もちろん、多くの状況において、配置またはポーズは、例えば、１つ以上の成分が固定されているかまたは重要ではないと考えられる場合、より少ない成分によって考えられるかまたは表現されることができる（例えば、すべてのオブジェクトが同じ高さにあり、水平方向を有すると考えられる場合、４つの成分がオブジェクトのポーズの完全な表現を提供することができる）。 以下では、「ポーズ」という用語は、１乃至（可能な最大自由度に対応する）６つの値で表され得る位置および／または向きを指すために使用される。本説明では、ポーズが最大の自由度、すなわち、位置と向きのそれぞれが3つの自由度を持ち、合計6つの自由度をもたらす実施の形態と実施例に焦点を当てる。したがって、ポーズは、６つの自由度を表す６つの値の集合またはベクトルによって表され、したがって、ポーズベクトルは、三次元の位置および／または三次元の方向の表示を提供することができる。しかし、他の実施形態では、ポーズはより少ない値で表されることができることが理解されるであろう。
【００５３】
ビュー画像生成装置は、例えば、クライアントから受信したモーションデータに応じて、リモートクライアントにビュー画像を提供するサーバであってもよい。しかしながら、図１の特定の例では、ビュー画像生成装置は、ローカルディスプレイまたはローカルに接続されたヘッドユニット（例えば仮想現実ヘッドセット／ゴーグル）のディスプレイを介して仮想体験を提供するパーソナルコンピュータなどのローカルデバイスであってもよい。
【００５４】
本実施例では、ビュー画像生成装置は、所定の観察領域からのシーンを表す三次元のシーンデータに基づいてビュー画像を生成するように構成されている。いくつかの実施形態では、観察領域は、単一の位置であってもよいし、ライン上に配置されたカメラからの画像のセットのための位置などの一次元の位置のセットであってもよい。他の実施形態では、観察領域は、観察位置のグリッドからの画像のような二次元領域であってもよいし、観察位置の立方体からの画像のような三次元ボリュームであってもよい。
【００５５】
三次元のシーンデータは、他の視点のために画像が生成されることができるシーンの表現を可能にする任意のシーンデータであってもよいことが理解されるであろう。例えば、三次元シーンデータは、三次元モデルデータや、関連するテクスチャ情報を有するグリッド／メッシュを含んでいてもよい。具体的な例では、三次元シーンデータは、観察領域における一セットの観察ポーズのための画像を有する。さらに、具体的には、各画像が関連する奥行き（／視差）マップを有することによって、画像に対して奥行き情報が含まれている。
【００５６】
三次元シーンデータは、例では現実世界のシーンを具体的にキャプチャされたデータである。シーンデータは、具体的には、異なる位置や異なる方向からシーンをキャプチャした画像から構成されていてもよい。しかし、多数の位置および方向のキャプチャを生成することは、非常に面倒で時間がかかり、かなりの労力を必要とする傾向があるため、シーンデータは、比較的小さいかもしれない所定の観察領域（またはキャプチャされたシーンデータの特定の例ではキャプチャ領域）からのキャプチャのみを含んでいる。
【００５７】
実施形態の具体例として、シーンのキャプチャは、アンカー位置の予め定義されたグリッドを使用して実行されてもよい。例では、仮想カメラのグリッドが地表面上の単一の水平面を形成する。ポーズのパターン／グリッドを図２に示す。図では、キャプチャ位置は、各キャプチャ位置に対してキャプチャされる4つの水平方向/向きを示す4つの矢印を持つ球体/円として可視化されている。示されているように、グリッドは、各位置に対して4つのキャプチャ方向を持つ25のキャプチャ位置から構成され、その結果、合計100のキャプチャポーズが得られる。実施例では、目の高さ（1.7m）程度の水平グリッドである。(図２の例は、単一のカメラを異なるキャプチャ位置に移動させるシーケンシャル・キャプチャに適しているかもしれない。 図２のキャプチャパターンを複数のカメラで同時に使用すると、カメラが他のカメラからの視界を遮ることになる。そのような状況では、例えば、パターンのエッジ上のキャプチャ位置のみに対応するキャプチャパターンがより実用的であるかもしれない)。
【００５８】
この例では、高さ（例えばｙ方向）はキャプチャ位置に対して一定であるのに対し、横方向（ｘ方向）とイン／アウト方向（ｚ方向）の両方がそれぞれのキャプチャ位置に対して異なる。 同様に、方向についても、xとzの方向が変化するのに対し、y成分は固定されている。実際、方向については、すべてのキャプチャ方向は水平であり、カメラの回転も静止している（画像は水平である）ので、方向は1つの変数で表現できる。このように、本実施例では、ポーズは、３つの成分を有するポーズベクトルで表すことができる。
【００５９】
以下の説明では、シーンデータが、オムニ・ディレクショナル・ステレオ（ＯＤＳ）として知られる特定の既存の３Ｄ画像フォーマットに従って表現される実施形態に焦点を当てる。ODSでは、左目と右目の画像の光線は、これらの光線の原点が、典型的には約6.3cmの瞳孔距離の直径を持つ円上にあるように作成される。ODSでは、ビューサークルの接線に対応する対向する方向とビューサークルの周りの一定の角度距離で狭い角度の画像部分がキャプチャされる（図3参照）。
【００６０】
所与の方向（観察角度）については、所与の方向についてのビューポート内の観察方向と一致する方向についての狭い角度の画像部分を組み合わせることにより、画像が生成されることができる。このように、所定のビュー画像は、異なる方向のキャプチャに対応する狭い角度の画像部分を組み合わせることにより形成され、それぞれの狭い角度の画像部分は、円上の異なる位置からのものである。このように、ビュー画像は、単一のビューポイントのみからのキャプチャではなく、ビューサークル上の異なる位置からのキャプチャで構成される。しかし、ＯＤＳ表現のビューサークルが（シーンのコンテンツに対して）十分に小さい場合には、その影響を許容できるレベルまで低減することができる。さらに、所定の方向に沿ったキャプチャを複数の異なる観察方向のために再利用することができるため、必要な画像データの量を大幅に削減することができる。観察者の両眼に対するビュー画像は、典型的には、適切な接線に対する対向する方向のキャプチャによって生成される。
【００６１】
ＯＤＳによってサポートされ得る理想的な頭部回転の一例を図４に示す。この例では、両眼が瞳孔距離に等しい直径の円に沿って移動するように頭部が回転する。これがＯＤＳビューサークルの幅に対応すると仮定すると、異なる方向のビュー画像は、単に、異なるビュー方向に対応する適切な狭い角度の画像部分を選択することによって決定されることができる。
【００６２】
しかし、標準的なODSでは、観察者は立体視を知覚するが、運動視差は知覚しない。運動視差がないと、観察者の（数センチオーダーの）小さな運動でも不快な体験を提供する傾向がある。例えば、図4に示すように、もはや目が正確にODSビューサークル上にないように観察者が動いた場合、単に適切な狭い角度の画像部分を選択して組み合わせることに基づいてビュー画像を生成すると、生成されたビュー画像は、ユーザの目がビューサークルに留まっている場合と同じになり、それに伴い、ユーザが頭を動かすことによって生じるはずの視差が表現されず、その結果、知覚が現実世界に対して相対的に動くことができなくなる。
【００６３】
これに対処するために、また、ODSデータに基づいて運動視差を生成できるようにするために、ODSフォーマットは、奥行き情報を含むように拡張されることができる。狭い角度の奥行きマップ部分が、狭い角度の画像部分ごとに１つずつ追加されることができる。この奥行き情報は、生成された画像がビューサークルの外側（または内側）の新しい位置に対応するように視点シフトを実行するために使用されることができる（例えば、各ビュー画像または狭い角度の画像部分は、既知の画像および奥行きに基づく視点シフトアルゴリズムを使用して処理されることができる）。 例えば、各眼に対して3Dメッシュを作成し、左眼用と右眼用のメッシュとテクスチャに基づいてODSデータをレンダリングすることで、運動視差を導入することができる。
【００６４】
しかし、このようなビューシフトは、エラー、アーチファクトおよび／または歪みをもたらす可能性があり、特に歪み／伸縮をもたらさずにレンダリングを達成するためには、観察者の目がビューサークル上に留まることが要求される。
【００６５】
観察者がわずかな頭部の移動および／または回転（例えば図５の例のように）を介してわずかに位置を変化させるだけの場合、このアプローチは、典型的には望ましくない歪みが小さいままであることを可能にしつつ、所望の視差を導入することができる。しかし、観察者が周囲を見渡すような大きな動きをすると、眼が円から離れた位置に移動してしまい、結果として歪みや遮蔽解除による大きなエラーをもたらす。この例は、図６に示されており、上半身の回転または全身の回転は、キャプチャされたデータ／有効領域に対応するビューサークルから観察者を遠くに移動させる可能性がある。その結果、元の光線（破線の矢印）を大きな距離を移動させる必要があるため、許容できない歪みが発生することになる。
【００６６】
より一般的には、実際にはコストがかかり、多くのカメラ/キャプチャポーズを使用することができないことが多いため、実用的なアプローチは、有効なキャプチャおよび処理された3Dシーンデータが利用可能な限られた空間3D領域に基づくことが多い。このキャプチャまたは観察領域外の視点に対する画像のレンダリングは、典型的には、シーンデータに基づいて、具体的には、画像データおよび奥行きデータに基づいて、依然として可能である。このように、観察領域外の画像をレンダリングすることは可能であるが、このような視点移動は、エラー、アーティファクト、歪み、例えば伸張や不正確な遮蔽解除などを引き起こす危険性がある。
【００６７】
その結果、知覚される品質が低下し、および／またはユーザの自由度が制限されて、ユーザ体験が低下する可能性がある。例えば、著しい劣化や、自然な知覚の喪失（具体的には自然な視差の喪失）を避けるために、ユーザは非常に狭い領域内に頭を留めるように制限される可能性がある。
【００６８】
図１のビュー画像生成装置は、多くの実施形態において改善された性能を提供し得るアプローチを採用しており、特に多くのアプリケーションにおいては、品質の向上および／またはユーザの柔軟性および自由度の向上を伴う改善されたユーザ体験を提供し得る。
【００６９】
ビュー画像生成装置は、観察領域からのシーンを表す三次元シーンデータを格納するように配置されたストア１０１を有する。特定の例では、シーンデータは、奥行き表現を有するODSで構成されている。このODSフォーマットは、関連する奥行きマップを伴う左目のテクスチャを持ち、右目のテクスチャも同様です。したがって、オプションとして一緒にパックされる合計で4つの画像があり、そのうち2つは奥行きを表す。ODSのサークルの半径は公称6.5cmに設定されることができるが、内容や用途に応じてこれより小さい値や大きい値が選択されることができる。
【００７０】
シーン画像生成装置は、さらに、シーンデータから、観察者の観察位置と観察者の観察方向のビュー画像を生成する画像生成部１０３を有する。このように、観察者のポーズに基づいて、画像生成部１０３は、右目と左目のそれぞれについてのビュー画像を生成する処理を進めてもよい。
【００７１】
特定の例では、画像生成部１０３は、最初に奥行きマップを三次元メッシュ（頂点およびエッジ）に変換し、次に標準的なテクスチャマッピングを使用して、所与の新しい位置のためのビュー画像を生成することによって、与えられた観察者のポーズのための画像を生成するように構成されている。当業者は、バンプマッピング、視差マッピングなどのような画像合成のための多くの既知の代替技術を認識しているから、これは簡潔さのためにこれ以上議論されない。
【００７２】
ビュー画像生成装置はさらに、ユーザのモーションデータを受信し、このモーションデータから観察者の観察位置と観察者の観察方向を決定するように構成された動きプロセッサ１０５を有する。
【００７３】
モーションデータは、任意の適切なソースおよび／またはセンサから受信されることができ、任意の適切な形態で動きを表現することができる。特定の例では、動きプロセッサ１０５は、ユーザによって装着されてユーザの頭部の運動を感知するジャイロスコープや加速度センサなどのセンサを有する頭部ユニット１０７に結合される。
【００７４】
センサデータは、いくつかの実施形態では、動きプロセッサ１０５に直接提供されてもよく、動きプロセッサ１０５は受信されたセンサデータに基づいてユーザの動きを決定する処理を進めることができる。しかしながら、多くの実施形態では、ヘッドユニット１０７は、例えば、並進、回転、加速度などを示すデータを直接提供するために、センサデータを処理するための機能を含んでもよい。実際、いくつかの実施形態では、頭部ユニットは、例えば、３つの位置および３つの方向の値を提供する６次元ベクトルによって表されるユーザのポーズを直接提供することができる。
【００７５】
このように、ユーザが頭を動かすと、頭部ユニット１０７が動きを検出し、動きプロセッサ１０５が対応する観察者のポーズを決定し、このポーズからシーンのオブザーバーの目に対応するビュー画像を生成する画像生成部１０３にそのポーズを供給する。生成されたビュー画像は、例えば、頭部ユニットに設けられた左目用ディスプレイ及び右目用ディスプレイを介してユーザに提示されることができる。このように、ユーザは、ユーザの動きに追従するシーンの三次元ビューを提供されることができる。
【００７６】
しかし、図１のビュー画像生成装置では、観察者の位置は必ずしもユーザの動きのみに追従するとは限らない。むしろ、ビュー画像生成装置は、これがユーザの動きの1対1の直接マッピングではないように、観察者のポーズを適応させるための機能を有する。観察者のポーズは、ユーザの動きに自由に追従するというよりは、観察領域にバイアスされることができる。
【００７７】
具体的には、ビュー画像生成装置は、観察者の観察方向の方向変化量を決定するように構成された変化プロセッサ１０９を有する。方向変化量は、具体的には、モーションデータによって示されるユーザの向きの変化の速度、量または程度を示すものであることができる。したがって、より大きく、より速い方向変化は、典型的には、より大きい方向変化量をもたらす。
【００７８】
方向変化量は、ユーザの位置ではなく向きの変化を反映しており、具体的にはユーザの並進ではなく回転を示すことができる。このように、方向変化量は、回転成分を示すものであって、ユーザの動きの並進成分とは独立したものであってもよい。例えば、ユーザのポーズがＮ個（例えば３個）の位置値とＭ個（例えば３個）の方向値で表される場合、方向変化量は、Ｎ個の位置値とは独立して、Ｍ個の方向値の少なくとも一つを反映していてもよい。いくつかの実施形態では、方向変化量は、ユーザの動きの角度回転成分の関数として決定されることができる。方向変化量は、回転運動量であってもよい。
【００７９】
変化プロセッサ１０９は、この例において、動きプロセッサ１０５に結合されており、これから運動データを受信するように構成されている。例えば、変化プロセッサ１０９は、ユーザの方向の値（例えば、方位角）を連続的に受信し、この角度の変化の大きさおよび／または変化率を連続的に監視してもよい。
【００８０】
変化プロセッサ１０９は、画像生成部１０３にさらに結合されたアダプタ１１１に結合されている。アダプタ１１１は、方向変化量を受信し、これに応じて、観察者の観察位置と観察領域との間の距離が小さくなるように処理を適応させるように構成されている。距離の減少は、例えば、適応／減少が、方向変化量が所定の閾値を超える（例えば、所定の時間間隔内での）レート／サイズを示している場合にのみ実行されるという点で、方向変化量に依存する。
【００８１】
後に詳述するように、方向変化量に基づいて距離を低減するために、異なるアプローチが使用されてもよい。いくつかの実施形態では、アダプタ１１１は、単に、観察者の位置を、これが観察／キャプチャ領域の近くに移動するように、変更するように構成されることができる。例えば、多くの実施形態では、観察者の観察位置は、所定の原点からの相対的な動きとして生成されてもよく、アダプタは、方向変化量が閾値を超えた場合に、観察者の観察位置を、観察原点の位置に対応するように変更するように構成されることができる。その後の観察者の観察位置の変化は、この新しい基準に対して相対的に行われる。基準位置の変更は、観察方向を変えずに行うことができる。
【００８２】
具体的な例を図７に示す。 この場合、ユーザは当初、記憶されているＯＤＳデータのビューサークル７０１上に目がある状態で配置されている。これに応じて、画像生成部１０３は、たまたまＯＤＳビューサークル７０１の中心に中心を置かれたこの第１ビューポーズ７０３のためのビュー画像を生成する。その後ユーザーが移動すると、ポーズは位置と向きの両方で変化するだろう。したがって、動きプロセッサ１０５は、観察者の観察位置と観察者の観察方向を追跡する処理を進め、画像生成部１０３は、これらのポーズに対応したビュー画像を生成する。このように、ユーザが動き回ると、画像はポーズを反映するように更新される。動きがＯＤＳビューサークル７０１に近い限り、結果として得られるビュー画像は比較的正確で高品質である。しかし、ユーザがＯＤＳビューサークル７０１から遠ざかるにつれて、歪み、エラー、およびアーティファクトがより顕著になる可能性がある。  
しかしながら、方向変化量が閾値を超えたことをビュー画像生成装置の画像生成部１０３が検出した場合、ユーザが大幅な回転運動を行ったことに対応すると想定され、アダプタ１１１は、観察者の観察位置を、これがＯＤＳビューサークル７０１にバイアスされるように調整し、具体的には、方向変化量が十分に大きい場合には、観察者の観察位置をＯＤＳビューサークル７０１の中心に移動させるようにすることができる。例えば、図７の例では、速い回転運動は、観察者の観察ポーズを開始ビューポーズ７０３から結果としてのビューポーズ７０５に移動させる場合がある。しかし、大きな回転運動が検出されたことにより、アダプタ１１１は、観察者の観察位置をＯＤＳビューサークル７０１の中心に変更し、その結果、最終観察ポーズ７０７となる。この観察者の観察位置の変更は、観察者の観察方向を変更することなく行われる。そして、画像生成部１０３は、最終観察ポーズ７０７用のビュー画像の生成を進める。
【００８３】
このアプローチにより、システムは、ユーザの動きに追従することができるビューシフトを実装することができ、特に、比較的小さな動きに対して、ユーザの動きが追従されることができる。これにより、ユーザに自然な体験を提供し、特に、立体視と、重要なことには、運動視差との両方で、一貫性のあるマッチした三次元知覚を提供する。しかしながら、大きな回転運動に対しては、観察者の観察ポーズは、観察領域に戻るように移動されることにより（例えば、ＯＤＳサークルに「飛びつく（snap）」ことができる）、それにより、観察者の観察位置が、シーンデータが利用可能な領域の近くに維持されることを保証する。これにより、誤差やアーティファクト、歪みを抑えることができる。
【００８４】
例えば、ビュー画像生成装置は、ユーザが頭、上半身または全身の回転を行っていることを検出し、その状況下で、観察者が頭の回転動作を終了したときに有効な（シーンデータが利用可能な）観察領域に空間的に近い位置に留まるように、回転動作中の観察者の観察位置に対するシーンの位置を変更してもよい。
【００８５】
このアプローチは、多くのシナリオや用途において、観察者の観察位置のシフトが許容されるだけでなく、調整を行うタイミングを慎重に制御することで、その影響や目立ちやすさを最小限に抑えることができるという認識に基づいている。観察者の観察位置の変更は、間違った、あるいは反対の運動視差などの不自然な3Dキューに対応すると、ユーザにとって非常に不愉快なものになる。しかし、現在のアプローチは、このような不自然な動作が、これが、方向／回転運動の大きなおよび／または速い変化と一致する場合には、ユーザの知覚において効果的に隠蔽されるという現実を反映している。このようなシナリオでは、ユーザへの視覚的な手がかりは、それが完全に処理されないほど高速に変化する可能性があり、したがって、不自然な手がかりの知覚的な重要性はマスクされる（これらの高速な変化の間、ユーザは視覚的なオブジェクト/背景を追跡することができず、それによってバイアスやシフトは、はるかに知覚しにくく、典型的には実質的に気づかれないだろう）。
【００８６】
このアプローチは、このようにして、シーンのユーザのビューが、シーンの特定の観察領域に向かってバイアスされる（本質的にスナップされる）経験を提供することができる。ユーザは頭を動かす場合があり、提示されるビュー画像はこの動きに追従することができるが、ビュー画像生成装置は、適切な場合にはいつでも、観察位置を所望の観察領域に戻すことができる。このようなアプローチは、ユーザが仮想環境の中を完全に自由に動き回ることができる仮想現実アプリケーションなどには適していないかもしれないが、ユーザが環境の中で比較的静止しているが、この静止した位置で頭を動かすなどの自由度があるアプリケーションには、非常に魅力的なユーザ体験を提供することがわかっている。 特に、非常に高品質な画像、立体視および運動視差奥行きキュー、および少量のシーンデータに基づく自然な体験の両方を提供することができる。
【００８７】
上記の実施例では、観察領域と、具体的にはＯＤＳのビューサークルの（中心）との間の距離の減少は、直接距離をゼロにするステップ変化によって達成されていた。しかしながら、多くの実施形態では、観察領域に向けたより緩やかなバイアスが実施されることが理解されるであろう。
【００８８】
例えば、いくつかの実施形態では、観察者の観察位置は、一定の割合で観察領域に向かってオフセットされ、すなわち、アダプタ１１１によって導入されるオフセットまたは変化は、観察者の観察位置を観察領域に向かって徐々に移動させるように徐々に増加または変更される。実際の変化率は、例えば予め定められていてもよく、アダプタ１１１が、方向変化量が所定の閾値以上の回転運動を示しているときに、この観察領域に向けたバイアスを適用するように構成されていてもよい。
【００８９】
いくつかの実施形態では、観察者の観察位置とビューサークルとの間の距離が減少する割合は、方位変化量に依存する。具体的には、変化率は、増加する方向変化量に対して増加してもよく、すなわち、ユーザの回転運動が速いほど、観察領域に向かってシフトまたは移動する速度が速くなるようにしてもよい。
【００９０】
距離の減少率は、具体的には、方向変化量の単調増加関数であってもよい。例えば、観察者の観察位置のシフトは、方向変化量の値に比例する割合で行ってもよい。典型的には、方向変化量が所定のレベルを超えている場合にのみシフトが導入され、それに応じて、小さなまたは実質的に並進の運動に対してはシフトが導入されないように、閾値がさらに実装されてもよい。
【００９１】
いくつかの実施形態では、この率は、方向変化量の非線形関数であってもよい。例えば、方向変化量が第１の閾値以下である場合には、シフトを導入しないようにしてもよい。第1と第2の閾値の間にある方向変化量に対しては、例えば変化率が方向変化量に比例するような、漸進的な依存性が適用されてもよい。第２の閾値を超える方向変化量の値に対して、アダプタ１１１は、例えば、ステップ状の変化を適用してもよく、例えば、方向変化量が所定のレベルを超えて増加した場合、観察者の観察位置は、ＯＤＳのビューサークルの中心に一致するようにリセットされる。
【００９２】
いくつかの実施形態では、アダプタ１１１は、減少率に上限を課すように構成されてもよい。例えば、変化率は、変化率のそれ以上の増加が適用されない所定の閾値まで、方向変化量に比例していてもよい。これにより、位置のシフトが相対的に知覚できない程度に十分に低く維持されることを保証することができる。
【００９３】
多くの実施形態では、モーションデータは、例えば、以前に説明したような仮想現実ユニットからの頭部の動き追跡データから構成されてもよい。
【００９４】
しかしながら、いくつかの実施形態では、モーションデータは、代替的に、または典型的には追加的に、瞳孔の追跡データを含んでいてもよい（この追跡データは、具体的には、頭部に対する瞳孔の動きを反映する瞳孔追跡データであってもよい）。
【００９５】
例えば、いくつかの実施形態では、モーションデータは、頭部の動きを追跡するだけでなく、目／瞳孔の動きを追跡することができる。このような場合には、方向変化量は、頭部の動きと眼球・瞳孔の動きの両方を示すように決定されてもよい。例えば、頭部の動きまたは眼球・瞳孔の動きのいずれかが所定のレベル以上であることが検出された場合には、観察者の観察位置をＯＤＳのビューサークルの中心に移動させてもよい。
【００９６】
しかし、典型的には、頭部の動きと眼球/瞳孔の動きは独立して考慮されるのではなく、1つの方向変化量に結合される。方向変化量は、具体的には、頭部運動追跡データと眼球・瞳孔追跡データとによって示される相対的な動きに応じて決定されてもよい。具体的には、頭部の動きと眼球／瞳孔の動きが同じ方向にあることが検出されたときは、それらが反対方向であり、それによってお互いを補うこと（例えば、ユーザが観察方向を維持しながら頭を回転させている状況、すなわち、同じ物体を見続けるために眼球を移動させている状況に対応する）が検出されたときよりも、より大きな方位変化量が決定されてもよい。  
実際、多くの実施形態では、眼球・瞳孔運動追跡装置を使用することにより、観察領域に対する観察者の観察位置をいつどのように変更するかについてのより良好な決定を可能にすることができるだろう。眼／瞳孔追跡は、例えば、ヘッドセットに対する眼／瞳孔の相対的な動きを検出することができる、仮想現実ヘッドセット内の赤外線眼球／瞳孔追跡センサを含むことによって実施されることができる。  このような実施形態では、例えば目が右に移動しているかや、上に移動しているかなどが検出/測定されることができ、同時に、ヘッドセットのジャイロスコープなどによって頭部の動きを検出することができる。それに応じて、眼球/瞳孔の動きがヘッドセットの動きと同じ方向にあるのか、あるいは、例えば反対方向にあるのか（したがって、頭部の動きを「補償」するのか）を検出することができる。 後者の場合には、観察者の観察位置のシフトは適用されないが、前者の場合には、ユーザがそのようなシフトに気付きにくくなるため、より大きなシフトが導入されることができる。
【００９７】
多くの実施形態では、頭部運動のトラッキングと眼球・瞳孔運動のトラッキングを組み合わせて、ユーザの視線を直接トラッキングしてもよく、この視線トラッキングから方向変化量を決定してもよい。例えば、頭部と眼球・瞳孔のモーションデータは、例えば、ユーザの現在の視線の向きを反映する３成分ベクトルに結合されてもよい。次に、この視線ベクトルの変化を反映するように、方向変化量が生成されることができる。このように、調整は、方向変化量が、ユーザの視線の方向が所定の閾値以上の割合で変化していることを示している場合に（そして、その場合にのみ）適用されることができる。
いくつかの実施形態では、頭部と眼球の相対的な動きに応じて区別された動作が実行されてもよい。例えば、頭は回転していないが眼球が素早く向きを変化させる場合に、異なるアクションをとることができる。その場合には、観察領域へのわずかなバイアスまたはシフトが適用されることができる。頭部の回転と視線の回転の両方が小さい場合には調整は行われない。
【００９８】
これまでの説明では、観察者の観察位置を変更したりオフセットしたりすることにより調整が導入された例に焦点を当ててきた。しかしながら、他の実施形態では、観察者の観察位置と観察領域との間の距離の減少は、他のエンティティの座標または座標基準などの他のパラメータを追加的または代替的に変更することによって達成されてもよいことが理解されるであろう。
【００９９】
具体的には、いくつかの実施形態では、アダプタ１１１は、三次元シーンデータの座標を修正することによって距離を低減するように構成されていてもよい。このように、観察者の観察位置を変更するのではなく、他のシーン要素の座標が変更されてもよい。これは、例えば、動きの追跡、観察者の観察位置の決定、および画像の生成が、適応が難しいかもしれない確立されたアルゴリズムに基づいている多くの実施形態において魅力的であるかもしれない。 多くの実用的な実装では、より効率的なアプローチは、実際にシーン座標を適応させることだろう。具体的には、多くの実施形態では、シーンデータは、１セットの観察位置からの１つ以上のキャプチャ画像から構成されることができる。例えば、ODSアプローチの場合、シーンデータはODS画像とODSビューサークルの座標表現で構成される。 多くの実施形態では、観察者の観察位置を変更するよりも、ODSビューサークルの座標などのシーンデータの座標を変更することによって距離を低減する方が、計算上効率的である場合がある。
【０１００】
多くの実施形態では、システムは、異なる状況／エンティティ／パラメータに対して異なる座標系を使用することができる。例えば、シーンデータは、シーンデータの生成時（例えば、撮影時）に採用された座標系で表される座標で記憶される場合がある。この座標系は、例えばシーン座標系と呼ばれる第１の基準座標系とすることができる。このシーン座標系を参照して、キャプチャされた画像の視点の座標が表現される。
【０１０１】
しかし、モーションデータは、現実世界におけるユーザの動きに関して提供される場合があり、したがって、最初はシーン座標系とは関連していない。多くの実施形態では、モーションデータは、世界座標系と呼ばれることがある第２の基準座標系に対する動き情報および観察ポーズを生成するために処理される。多くの実施形態では、モーションデータを処理して、この世界座標系における観察者の観察位置を生成することが実用的であるだろう。
【０１０２】
異なるパラメータを調和させるために、２つの基準座標系は互いに対してマッピングされることができる。簡単な例として、多くの実施形態では、シーン座標系と世界座標系は、同じ原点（および同じ縮尺）を持つように設定されることができる。
【０１０３】
しかしながら、多くの実施形態では、観察領域に対する観察者の観察位置の適応は、２つの基準座標系の間のマッピングを動的に変更することによって達成されることができる。具体的には、シーン座標系と世界座標系とのオフセットが変更されることができる。これは、例えば、世界座標系においてシーン座標系の原点の座標を変更することにより変更されることができる。具体的な例として、方向変化量が十分に大きい場合には、ＯＤＳビューサークルの中心が現在の観察者の観察位置と一致するように、世界座標系におけるシーン座標系の原点が設定される。
【０１０４】
以下では、具体的な実施例について説明する。この説明のために、ω[rad/s]が、ある瞬間におけるヘッドユニットの角速度の大きさを表すとする。所定の最小角速度マグニチュードωmin [rad/s]以上では、方向変化量は、ユーザが頭の回転動作を開始していることを示す。 より洗練されたメカニズムは、観察者が頭部回転を開始したかどうかを認識するために、頭部ユニットのポーズのより長い履歴を使用することができる。
【０１０５】
頭部の回転が検出されると、シーン基準座標系は、光線変位を一定に保つか、あるいはこれらを減少させるために、観察者の観察位置に追従するように変位される。ユーザが回転を停止すると(ω≦ωmin)、シーン基準座標系の並進が停止する。 この瞬間の後、現在の観察者の観察位置を反映するようにビュー画像が動的に生成され、その結果、運動視差が提示される。
【０１０６】
頭部回転中の時間は、観察者の観察位置と観察領域との間の差を小さくするために用いられる。xsceneが世界座標系におけるシーン座標系の原点の位置を表し、観察領域がこの原点に中心を置かれるとする。通常、xsceneは、アプリケーションの起動時に世界座標系の原点と一致する。
【０１０７】
方向変化量で指示される角速度に応じて、ビュー画像生成装置は、頭部ユニットのセンサから観察者の観察位置xobserverを決定するステートループでシーンを常に更新する：
2021507425.tif 000003
【０１０８】
ここで、αは、シーン／観察領域が現在の観察者の観察位置に向かってどれだけ強く引っ張られるかを決定する「プルファクター」であり（具体的には、観察領域と観察者の観察位置との間の距離の減少がどれだけ速いか）、ｆは、ポーズ測定システムの更新頻度［Ｈｚ］である。より高い更新頻度のためには、シーン座標系の翻訳を少なくする必要があり、言い換えれば、ポーズ測定システムの更新頻度とは独立した「プルファクター」αが規定されてもよい。上の式から、xsceneは原則として常に更新されていることがわかる。しかし、シーン位置の変化は、頭部の角速度が所定の閾値（ω≧ωmin）を超えた場合にのみ、ゼロよりも大きくなる。
【０１０９】
「プルファクター」αは角速度と、度差ω-ωminがプルファクターαをどのように変化させるかを決定するゲインK [rad-1]とに依存する。
2021507425.tif 000004
【０１１０】
この式からわかるように、ω≦ωmin の場合、「プルファクター」α＝０であり、結果としてシーンの位置は変更されない。この場合、観察者はODSのビューサークルから任意の距離を移動することができる。ゲインKが大きくなると、小さな角速度差ω-ωminに対してαはすでに1になる。そうすると、観察領域が直ちに観察者の観察位置に引き寄せられ、生成されるビュー画像の歪み品質が向上するという効果が得られる。ωminの考えられる値はπ/8 rad/sであり、これは観察者が4秒間で90度の角度で頭を回転させる角速度である。この速度の４倍において、距離が０に低減されるべきであると仮定すると：
2021507425.tif 000005
である。
【０１１１】
本発明は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の好適な形態で実施することができる。本発明は、任意に、少なくとも部分的に、１つ以上のデータプロセッサおよび／またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして実装されてもよい。本発明の実施形態の要素および構成要素は、任意の好適な態様で物理的に、機能的に、および論理的に実装されてもよい。実際、機能は、単一のユニット、複数のユニット、または他の機能ユニットの一部として実装されてもよい。このように、本発明は、単一のユニットで実施されてもよいし、異なるユニット、回路、およびプロセッサ間で物理的および機能的に分散されてもよい。
【０１１２】
本発明は、いくつかの実施形態に関連して記載されてきたが、本明細書に記載された特定の実施形態に限定されることを意図するものではない。 むしろ、本発明の範囲は、添付の特許請求の範囲のみによって限定される。さらに、ある特徴が特定の実施形態に関連して記載されているように見えるかもしれないが、当業者であれば、記載された実施形態の様々な特徴が本発明に従って組み合わされてもよいことを認識するであろう。特許請求の範囲において、「有する」という用語は、他の要素またはステップの存在を排除するものではない。
【０１１３】
さらに、個々に記載されているが、複数の手段、要素、回路または方法ステップは、例えば単一の回路、ユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれている場合があるが、これらは、有利に組み合わされることができ、異なる請求項に含まれていることは、特徴の組み合わせが実現可能でないことおよび／または有利でないことを意味するものではない。また、ある特許請求の範囲の１つのカテゴリに或る特徴を含めることは、このカテゴリへの制限を意味するものではなく、むしろ、その特徴が他の特許請求の範囲にも同様に適切に適用可能であることを示すものである。さらに、請求項中の特徴の順序は、これらの特徴が動作しなければならない特定の順序を示すものではなく、特に、方法の請求項の個々のステップの順序は、ステップがこの順序で実行されなければならないことを暗示するものではない。むしろ、ステップは、任意の適切な順序で実行されることができる。また、単数の参照は複数を排除するものではない。したがって、「a」、「an」、「first」、「second」などへの言及は、複数を排除するものではない。 特許請求の範囲の参照符号は、単に明確にするための例として提供されており、いかなる方法でも特許請求の範囲を制限するものと解釈されてはならない。
【図１】
2021507425.tif 000006
【図２】
2021507425.tif 000007
【図３】
2021507425.tif 000008
【図４】
2021507425.tif 000009
【図５】
2021507425.tif 000010
【図６】
2021507425.tif 000011
【図７】
2021507425.tif 000012
【国際調査報告】
2021507425.tif 000013
2021507425.tif 000014