(57)【要約】  Ｎ次元空間内の一群の経路に関する経路データを記憶するための記憶部１０１を有する装置であり、前記経路群における各経路には画像及び深さ情報の両方を有するフレームを含んだビデオ項目が関連付けられる。入力部１０５はビューワ位置指示情報を受信する一方、セレクタ１０７は前記ビューワ位置指示情報及び前記経路群における経路の位置に依存した距離メトリックに依存する選択基準に応答して前記経路群における第１経路を選択する。検索部１０３，１０９は、第１経路に関連付けられた第１ビデオ項目をビデオ源２０３から取り込む。画像生成部１１１は、前記ビューワ位置指示情報に対する少なくとも１つのビュー画像を第１ビデオ項目の第１フレーム群から生成する。当該システムにおいて、前記選択基準は、前記経路群における他の経路に対し現在選択されている経路に向かってバイアスされる。
2020515977.tif 000002
【特許請求の範囲】
【請求項１】
空間姿勢を表すＮ次元空間内の一群の経路を記憶するための記憶部であって、該経路群は複数の経路を有し、前記経路群における各経路が、前記Ｎ次元空間を経るカメラ姿勢軌道を記述すると共に当該経路のカメラ姿勢に関する画像及び深さ情報の両方を有するフレームを含んだビデオ項目にリンクされた記憶部と、
ビューワ位置指示情報を受信するための入力部と、
前記経路群における第１経路を、前記ビューワ位置指示情報及び前記経路群における経路の位置に依存した距離メトリックに依存する選択基準に応答して選択するためのセレクタと、
前記第１経路に関連付けられた第１ビデオ項目をビデオ源から取り出すための検索部と、
前記ビューワ位置指示情報に関する少なくとも１つのビュー画像を前記第１ビデオ項目の第１フレーム群から生成する画像生成部と、
を有し、
前記選択基準が前記経路群における他の経路に対して現在選択されている経路に向かってバイアスされる、
装置。
【請求項２】
前記画像生成部は、前記第１フレーム群を、前記ビューワ位置指示情報に対する前記第１ビデオ項目のフレームに関する経路位置データに応答して選択する、請求項１に記載の装置。
【請求項３】
前記画像生成部は、前記第１経路が前記現在選択されている経路として選択される場合、前記第１フレーム群の選択を、前記第１ビデオ項目の現在選択されている第１フレーム群まで一層小さな時間的距離を有するフレームに向かってバイアスする、請求項１又は請求項２に記載の装置。
【請求項４】
前記画像生成部は、前記第１経路が前記現在選択されている経路として選択される場合、前記第１フレーム群の選択を、前記第１ビデオ項目の現在選択されているフレームまでの時間的距離の減少に伴って増加するフレーム選択メトリックに基づいて実行する、請求項１又は請求項２に記載の装置。
【請求項５】
前記記憶部は、ビデオシーケンスの経路に関して交差位置を更に記憶し、前記選択基準が、これら交差位置に依存する、請求項１に記載の装置。
【請求項６】
前記セレクタが、前記交差位置に対応するビューワ位置指示情報に対して前記現在選択されている経路に向かう前記バイアスを低減する、請求項５に記載の装置。
【請求項７】
前記現在選択されている経路に向かう前記バイアスが、前記ビューワ位置指示情報と交差位置との間の距離に依存する、請求項５に記載の装置。
【請求項８】
前記記憶部が、ノードとしての交差、及び、辺により反映される経路を有するグラフを記憶する、請求項５ないし７の何れか一項に記載の装置。
【請求項９】
少なくとも幾つかのビデオシーケンスに関する交差位置に関連付けられたフレームがイントラコード化フレームである、請求項５ないし８の何れか一項に記載の装置。
【請求項１０】
前記画像生成部が、前記ビュー画像を、少なくとも前記第１フレーム群の第１フレーム及び前に選択された第２経路にリンクされたビデオ項目の第２フレームから生成する、請求項１ないし９の何れか一項に記載の装置。
【請求項１１】
前記第２フレームが、前記第１経路と前記前に選択された第２経路との間の交差に関連付けられたフレームである、請求項５ないし９の何れか一項に従属する請求項１０に記載の装置。
【請求項１２】
前記記憶部は、前記経路群における経路の間の空間的関係を示す関係データを更に記憶し、前記第１経路の選択が該関係データに応答するものである、請求項１に記載の装置。
【請求項１３】
前記関係データが、
２つの経路の交差、
２つの経路の接合、
２つの経路のうちの、該２つの経路における第２経路に対して反対の移動方向に対応する第１経路、及び
２つの経路が平行であること、
の群から選択される２つの経路の間の少なくとも１つの空間的関係を示す、請求項１２に記載の装置。
【請求項１４】
前記ビデオ項目はイントラコード化フレーム及びインターコード化フレームの両方を有するコード化されたビデオ項目であり、前記セレクタが、インターコード化フレームに対応するビューワ位置指示情報に対して、イントラコード化フレームに対応するビューワ位置指示情報に対する前記現在選択されている経路に向かうバイアスを低減する、請求項１ないし１３の何れか一項に記載の装置。
【請求項１５】
空間姿勢を表すＮ次元空間内の一群の経路を記憶するステップであって、前記経路群は複数の経路を有し、前記経路群における各経路が、前記Ｎ次元空間を経るカメラ姿勢軌道を記述すると共に当該経路のカメラ姿勢に関する画像及び深さ情報の両方を有するフレームを含んだビデオ項目にリンクされた、前記一群の経路を記憶するステップと、
ビューワ位置指示情報を受信するステップと、
前記経路群における第１経路を、前記ビューワ位置指示情報及び前記経路群における経路の位置に依存した距離メトリックに依存する選択基準に応答して選択するステップと、
前記第１経路に関連付けられた第１ビデオ項目をビデオ源から取り出すステップと、
前記ビューワ位置指示情報に関する少なくとも１つのビュー画像を前記第１ビデオ項目の第１フレーム群から生成するステップと、
を有し、
前記選択基準が前記経路群における他の経路に対して現在選択されている経路に向かってバイアスされる、
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ項目（アイテム）からの画像の生成に関し、専らではないが、特には実世界環境のビデオキャプチャに由来し得る記憶されたビデオ項目からの仮想現実環境のためのビュー画像の生成に関する。
【背景技術】
【０００２】
画像及びビデオアプリケーションの多様性及び範囲は、ビデオを利用及び消費する新たなサービス及び手法が継続して開発及び導入されることに伴い、近年、大幅に増加している。
【０００３】
例えば、益々人気となっている１つのサービスは、ビューワ（観察者）がレンダリングのパラメータを変更するためにシステムと能動的且つ動的に対話することができるような画像シーケンスの提供である。多くのアプリケーションにおける非常に魅力のあるフィーチャは、例えばビューワが提示されているシーン内で移動及び“見回す”ことを可能にする等の、ビューワの実効的な観察位置（viewing position）及び視線方向（viewing direction）を変更する能力である。
【０００４】
このようなフィーチャは、特に、ユーザに対し仮想現実体験が提供されることを可能にし得る。このことは、ユーザが、仮想環境内を（相対的に）自由に動き回ると共に、ユーザの位置及びユーザが見ている場所を動的に変化させることを可能にし得る。典型的に、このような仮想現実アプリケーションはシーンの三次元モデルに基づくもので、該モデルは特別にリクエストされたビューを提供するために動的に評価される。このアプローチは、例えば、コンピュータ及びコンソール用のゲームアプリケーション（ファーストパーソンシュータの分類におけるような）から良く知られている。
【０００５】
特に仮想現実アプリケーションに対しては、提示される画像が三次元画像であることも望ましい。確かに、ビューワの没入を最適化するためには、ユーザにとり提示される画像を三次元シーンとして体験することが典型的に好まれる。確かなことに、仮想現実体験は、好ましくは、ユーザが仮想世界に対して自身の位置、カメラ視点及び時点を選択することを可能にすべきである。
【０００６】
典型的に、仮想現実アプリケーションは、これらアプリケーションがシーンの予め定められたモデルに、典型的には仮想世界の人工的モデルに基づくものである点で、本来的に制限される。仮想現実体験が実世界のキャプチャに基づいて提供することができたら望ましいであろう。しかしながら、多くの場合において、このようなアプローチは非常に制限されるか、又は実世界の仮想モデルが実世界のキャプチャから構築されることを必要としがちである。この場合、仮想現実体験は、このモデルを評価することにより生ぜられる。
【０００７】
しかしながら、現在のアプローチは、最適以下となりがちであると共に、しばしば、高い計算若しくは通信資源要件を有し及び／又は最適以下のユーザ体験（例えば、低い品質又は限られた自由度）を提供しがちである。
【０００８】
アプリケーションの一例として、現在、仮想現実メガネが市場に投入されている。これらメガネはビューワがキャプチャされた３６０度（パノラマ）ビデオを体験することを可能にする。これらの３６０度ビデオは、しばしば、カメラ装置を用いて事前にキャプチャされ、個々の画像は単一の球状マッピングに縫い合わされる。３６０度ビデオのための通常のステレオフォーマットは上／下及び左／右である。非パノラマステレオビデオと同様に、左眼及び右眼画像は単一のH.264ビデオストリームの一部として圧縮される。単一フレームを復号した後、ビューワは自身の周囲の世界を見るために自身の頭を回転させる。現在の一例は、カーネギホールにおけるコンサートのグーグルによりなされた記録である［https://performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall］。この例において、ビューワは３６０度のルックアラウンド効果を体験することができ、異なる位置から記録された３つのビデオストリームの間で個別に切り換えることができる。切り換える場合、他のビデオストリームがロードされ、このことが当該体験を中断させる。
【０００９】
斯かるステレオパノラマビデオアプローチの１つの欠点は、ビューワが仮想世界内での位置を変更することができないことである。パノラマステレオビデオに加えてのパノラマ奥行マップのエンコード及び伝送は、クライアント側におけるビューワの小さな並進的移動の補償は可能にし得るが、このような補償は本来的に小さな変化及び移動に限定されるもので、没入し且つ自由な仮想現実体験を提供することはできない。
【００１０】
関連する技術は、奥行マップを伴う複数の視点が単一のビデオストリーム内でエンコード及び伝送されるような自由視点ビデオである。該ビデオストリームのビットレートは、良く知られた時間予測スキームに加えて視点間の角度依存性を利用することにより低減することができる。しかしながら、該アプローチは、高いビットレートを依然として必要とすると共に、生成し得る画像の点で限定的である。該アプローチは、三次元仮想現実世界における完全に自由な移動の体験を実際的に提供することはできない。
【００１１】
残念ながら、従来技術の何れも、理想的な体験を提供することはできず、しばしば、位置及び視線方向の変更の自由度が制限される傾向にある。加えて、これら技術は、非常に高いデータレートを必要とすると共に個々の画像／ビューの生成に必要なものより多くのデータを含むデータストリームを供給しがちである。
【００１２】
更に、従来技術のアプローチは、例えば多数の個々にキャプチャされた画像を記憶するために大きな記憶容量を必要とする傾向がある。また、従来技術のアプローチは、相対的に複雑な処理を必要とすると共に高い資源計算要求を有しがちである。これにも拘わらず、従来技術のアプローチは、ビュー画像の最適以下の生成しか得られない傾向があり、特に、仮想世界内で動くユーザに対して、ばらばらで一貫性のない体験しか時には提供されない。
【００１３】
例えば、文献KR20170007098は、シーンの画像がキャプチャされたキャプチャ姿勢とは相違し得る所与のユーザ姿勢に対する画像を生成するためのシステムを開示している。該アプローチは、最も近いキャプチャ姿勢を選択すると共に、該最も近い姿勢からの画像からユーザ姿勢のためのビュー画像を生成することができる。しかしながら、該アプローチは、上述した全ての欠点を被る傾向があり、特に高度の計算資源を必要とし、複雑であり、また、複雑且つ困難なキャプチャ処理に基づくものであり、最適な品質のものでないと共に更にユーザが移動した場合に一貫性のないものとなる傾向があるビュー画像を生成しがちである。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従って、改善されたアプローチが望ましいであろう。特に、改善された処理、増加された柔軟性、異なる観察位置及び方向に対応する生成するための広い余地、改善された仮想現実体験、低減されたデータレート、容易化された分配、低減された複雑さ、容易化された実施化、低減された記憶要件、及び／又は改善された性能及び／又は処理を可能にするアプローチが望ましいであろう。
【００１５】
従って、本発明は、前述した欠点の１以上を好ましくも単独で又は組み合わせで軽減、緩和又は除去することを目指すものである。
【課題を解決するための手段】
【００１６】
本発明の一態様によれば、空間姿勢（spatial poses）を表すＮ次元空間内の一群の経路を記憶するための記憶部であって、該経路群は複数の経路を有し、前記経路群における各経路が、前記Ｎ次元空間を経るカメラ姿勢軌道を記述すると共に当該経路のカメラ姿勢に関する画像及び深さ（奥行き）情報の両方を有するフレームを含んだビデオ項目（ビデオアイテム）にリンクされた記憶部と；ビューワ（観察者）位置指示情報を受信するための入力部と；前記経路群における第１経路を、前記ビューワ位置指示情報及び前記経路群における経路の位置に依存した距離メトリック（距離尺度）に依存する選択基準に応答して選択するためのセレクタと；前記第１経路に関連付けられた第１ビデオ項目（video item）をビデオ源から取り出すための検索部と；前記ビューワ位置指示情報に関する少なくとも１つのビュー画像を前記第１ビデオ項目の第１フレーム群から生成する画像生成部と；を有し、前記選択基準が前記経路群における他の経路に対して現在選択されている経路に向かってバイアスされる装置が提供される。
【００１７】
当該アプローチは、多くのシナリオにおいて且つ多くのアプリケーションに対して改善された性能及び／又は動作をもたらすことができる。特に、該アプローチは、多くのシナリオにおいて改善された仮想現実体験を提供することができる。特に、低レイテンシ、高品質、低通信資源要件、低記憶資源要件、及び／又は低計算資源要件による効率的なアプローチを、しばしば、達成することができる。
【００１８】
当該アプローチは、例えば、ビデオ項目を記憶すると共に恐らくは経路データも供給するサーバに基づきクライアント装置において仮想現実体験を提供するためのクライアント・サーバ装置に対して、低減された通信又は計算資源要件を可能にすることができる。
【００１９】
該アプローチは、例えば、仮想環境を、個々の画像及び関連付けられた位置に基づくというより、経路データに関連付けられた（リンクされた）ビデオ項目に基づいて表すために用いることができる。このことは、例えば、結果として低減された記憶及び通信資源をもたらす効率的なビデオエンコーディング技術の使用を可能にし得る。
【００２０】
該アプローチは、多くの実施態様において、実世界のキャプチャからの仮想環境を表すデータの生成を容易化することができる。例えば、実世界環境に対応した仮想環境における仮想体験を、該実世界環境内を動き回る際にキャプチャされたビデオ項目に基づいて効果的に発生させることができる。
【００２１】
前記Ｎ次元空間は、特に、該Ｎ次元空間内の位置及び／又はビュー方位（向き）に関係する次元を有することができる。Ｎは、仮想環境における位置を反映する１〜３の空間次元及び該仮想環境におけるビューの向きを反映する１〜３の空間次元を表し得る整数である。
【００２２】
前記ビューワ位置指示情報は、特に、前記Ｎ次元空間における位置のＭ次元（Ｍは典型的にはＮに等しい）指示情報とすることができる。該ビューワ位置指示情報は、特に、仮想環境における位置を反映する１〜３の空間次元及び該仮想環境におけるビューの向きを反映する１〜３の次元を表すことができる。
【００２３】
前記ビデオ項目は、画像及び深さ情報の両方を含み、これにより、当該ビデオ項目によりキャプチャされたものとは相違し得る視点からのビュー画像生成を可能にする。このことは、改善された体験を提供する、例えば、ユーザが当該ビデオ項目の画像のカメラ方向に対して回転することを可能にすることができる。
【００２４】
各経路は１つのビデオ項目にリンクすることができ、当該経路は当該ビデオ項目に対応する前記Ｎ次元空間を経る（恐らくは、仮想の）カメラ軌道を描く。当該経路に沿う位置には、当該ビデオ項目のフレームの位置を関連付けることができる。
【００２５】
前記セレクタは、所与の経路が選択される確率を、該経路に対する前記距離メトリックが前記ビューワ位置指示情報と該所与の経路との間の距離が減少することを示すことに応答して増加させるように構成することができる。該距離メトリックは、例えば、適切なノルムに基づくものとすることができる。
【００２６】
前記ビュー画像は、前記ビューワ位置指示情報により与えられた前記Ｎ次元空間内の位置における観察者により知覚されるビューに対応するように生成され得る。
【００２７】
前記入力部は一連のビューワ位置指示情報を受信することができる一方、当該装置は対応する一連のビュー画像を生成するように構成することができる。当該装置の動作は動的に反復させることができ、これにより、動的なユーザ体験を提供する。例えば、ビューワ位置指示情報は当該Ｎ次元空間を経て通路又は経路を描くことができ、当該装置は、これに応答して、該通路又は経路に沿って移動するユーザにより体験されるビューに対応する画像のシーケンスを生成することができる。
【００２８】
前記現在選択されている経路は、前のビューワ位置指示情報に対して選択された経路であり得ると共に、特には、最後に受信されたビューワ位置指示情報に対して選択された経路であり得る。特に、当該ビューワ位置指示情報は、一連のビューワ位置指示情報における１つのビューワ位置指示情報であり得、現在選択されている経路は現在のビューワ位置指示情報の前に受信された最後のビューワ位置指示情報に対して選択された経路であり得る。
【００２９】
前記ビデオ項目はコード化されたビデオ項目とすることができる。該ビデオ項目はイントラコード化フレーム（intra-coded frames：フレーム内符号化フレーム）及びインターコード化フレーム（inter-coded frames：フレーム間符号化フレーム）を有することができる。イントラコード化フレームは、他のフレームから独立にコード化される。インターコード化フレームは、少なくとも１つの他のフレームに対してコード化される。当該ビデオ項目はIフレーム並びにＢ及び／又はＰコード化フレームを有することができる。
【００３０】
前記現在選択されている経路に向かってバイアスすることは、前記選択基準が現在選択されている経路に対して前記経路群における他の経路に対するよりも異なることにより実施することができる。該選択基準は、前記現在選択されている経路及び前記経路群における他の経路に対して非対称とすることができる。即ち、該選択基準は、前記経路群における他の経路に関する距離メトリックに対する現在選択されている経路に関する距離メトリックに対して非対称であり得る。
【００３１】
該選択基準は、異なる経路が前記ビューワ位置指示情報の異なる値に対して選択される結果となるように構成することができる。前記バイアスは、現在選択されている経路が、他の経路に対する距離メトリックが該現在の経路に対する距離メトリックより１より大きな倍数で短くならない限り選択されるというようなものであり得る。
【００３２】
前記第１フレーム群は、１以上のフレームであり得る。幾つかの実施態様において、前記画像生成部は更に前記ビュー画像を２以上のビデオ項目からのフレームに応答して生成するように構成することができる。例えば、新たな経路が選択された場合、当該ビュー画像は前に選択された経路及び該新たに選択された経路の両方のフレームから生成することができる。
【００３３】
本発明のオプション的フィーチャによれば、前記画像生成部は、前記第１フレーム群を、前記ビューワ位置指示情報に対する前記第１ビデオ項目のフレームに関する経路位置データに応答して選択するよう構成される。
【００３４】
この構成は、多くの実施態様において改善された性能及び／又は動作を提供することができる。
【００３５】
本発明のオプション的フィーチャによれば、前記画像生成部は、前記第１経路が前記現在選択されている経路として選択される場合、前記第１フレーム群の選択を、前記第１ビデオ項目の現在選択されている第１フレーム群まで一層小さな時間的距離を有するフレームに向かってバイアスするように構成される。
【００３６】
この構成は、多くの実施態様において改善された性能及び／又は動作を提供することができる。該構成は、特に、改善された時間的一貫性を提供することができると共に、時間的に変化するアーチファクトを軽減することができる。
【００３７】
本発明のオプション的フィーチャによれば、前記画像生成部は、前記第１経路が前記現在選択されている経路として選択される場合、前記第１フレーム群の選択を、前記第１ビデオ項目の現在選択されているフレームまでの時間的距離の減少に伴って増加するフレーム選択メトリックに基づいて実行するよう構成される。
【００３８】
この構成は、多くの実施態様において改善された性能及び／又は動作を提供することができる。該構成は、特に、改善された時間的一貫性を提供することができると共に、時間的に変化するアーチファクトを軽減することができる。
【００３９】
本発明のオプション的フィーチャによれば、前記記憶部は更にビデオシーケンスの経路に関して交差位置を記憶するように構成され、前記選択基準が、これら交差位置に依存するようにする。
【００４０】
この構成は、多くの実施態様において改善された性能を提供することができると共に、特に適切なビデオ項目の改善された選択を行うことができる。該構成は、例えば幾つかの実施態様では、例えば当該装置が現在の経路と交差する潜在的な将来の経路に関してビデオ項目を取り込むことを可能にすることにより、レイテンシ（待ち時間）を低減することができる。
【００４１】
上記交差位置は、経路間の交差を示すことができ、前記Ｎ次元空間の次元における（少なくとも幾つかの次元の）座標で提供することができるか、又は、例えば、前記経路データ若しくはビデオ項目に対して（例えば、フレーム番号等）与えられ得る。
【００４２】
交差は、２つの経路の位置が閾値距離より小さい距離にある場合に存在すると見なすことができる。
【００４３】
交差は、Ｔ接合部又は或る経路の終点と他のものの始点との間の接合部等の任意の接合部であり得る。
【００４４】
本発明のオプション的フィーチャによれば、前記セレクタは、前記交差位置に対応するビューワ位置指示情報に対して前記現在選択されている経路に向かうバイアスを低減するように構成される。
【００４５】
この構成は、改善された性能を提供することができると共に、異なるビデオ項目の間の移行を、特に、斯かる移行が他よりも交差部で一層起こりそうにさせることにより改善することができる。幾つかの実施態様において、新たな経路への移行は交差部においてのみ許容され得る。
【００４６】
本発明のオプション的フィーチャによれば、前記現在選択されている経路に向かうバイアスは、前記ビューワ位置指示情報と交差位置との間の距離に依存する。
【００４７】
この構成は、改善された性能を提供することができると共に、異なるビデオ項目の間の移行を、特に、斯かる移行が他よりも交差部で一層起こりそうにさせることにより改善することができる。幾つかの実施態様において、新たな経路への移行は交差部においてのみ許容され得る。
【００４８】
本発明のオプション的フィーチャによれば、前記記憶部は、ノードとしての交差及び辺により反映される経路を有するグラフを記憶するように構成される。
【００４９】
この構成は、多くの実施態様において特に効率的な動作をもたらすことができる。
【００５０】
本発明のオプション的フィーチャによれば、少なくとも幾つかのビデオシーケンスに関する交差位置に関連付けられたフレームは、イントラコード化フレームである。
【００５１】
この構成は、多くの実施態様における動作を容易化及び／又は改善することができる。例えば、該構成は異なる経路／ビデオ項目間の移行を容易化することができる。該構成は、デコードされることを要するフレームの数を低減するからである。
【００５２】
本発明のオプション的フィーチャによれば、前記画像生成部は、前記ビュー画像を、少なくとも前記第１フレーム群の第１フレーム及び前に選択された第２経路からの第２フレームから生成するよう構成される。
【００５３】
この構成は、多くの実施態様において動作を容易化／改善することができる。
【００５４】
前記第１フレームはイントラコード化フレームとして選択することができ、及び／又は前記第２フレームはイントラコード化フレームとして選択することができる。第１フレームは、特に、交差フレームとすることができる。前記ビュー画像の生成は、前に選択された経路からのイントラコード化（Ｉ）フレームからの予測フレーム（しばしば、双方向（Ｂ）フレーム）及び前記第１経路からのイントラコード化（Ｉ）フレーム（前記第１フレーム）をデコードすることを含み得る。（前記前に選択された経路は、特に前記セレクタが第１経路を現在選択されている経路（第１経路の選択の前の）とは異なる経路として選択する場合、第１経路の選択の前の現在選択されている経路に対応し得る）。これは、典型的に、当該装置が或る経路から他の経路へ切り換える場合のシナリオであり得る。
【００５５】
本発明のオプション的フィーチャによれば、前記第２フレームは、前記第１経路と前記前に選択された第２経路との間の交差に関連付けられたフレームである。
【００５６】
この構成は、多くの実施態様において動作を容易化及び／又は改善することができる。
【００５７】
本発明のオプション的フィーチャによれば、前記記憶部は前記経路群における経路の間の空間的関係を示す関係データを更に記憶するよう構成され、前記第１経路の選択は該関係データに応答するものとなる。
【００５８】
この構成は、多くの実施態様において改善された性能及び／又は動作をもたらすことができる。
【００５９】
本発明のオプション的フィーチャによれば、前記関係データは、２つの経路の交差、２つの経路の接合、２つの経路のうちの、該２つの経路における第２経路に対して反対の移動方向に対応する第１経路、及び、２つの経路が平行であること、の群から選択される２つの経路の間の少なくとも１つの空間的関係を示すことができる。
【００６０】
この構成は、多くの実施態様において改善された性能及び／又は動作をもたらすことができる。
【００６１】
本発明のオプション的フィーチャによれば、前記ビデオ項目はイントラコード化フレーム及びインターコード化フレームの両方を有するコード化されたビデオ項目であり、前記セレクタは、インターコード化フレームに対応するビューワ位置指示情報に対して、イントラコード化フレームに対応するビューワ位置指示情報に対する前記現在選択されている経路に向かうバイアスを低減するように構成される。
【００６２】
この構成は、計算資源使用を低減することができると共に、特に、前記ビュー画像を生成するのに適したフレームをデコードするための資源の使用及び複雑さを低減することができる。
【００６３】
本発明の一態様によれば、空間姿勢を表すＮ次元空間内の一群の経路を記憶するステップであって、前記経路群は複数の経路を有し、前記経路群における各経路が、前記Ｎ次元空間を経るカメラ姿勢軌道を記述すると共に当該経路のカメラ姿勢に関する画像及び深さ情報の両方を有するフレームを含んだビデオ項目にリンクされたステップと；ビューワ位置指示情報を受信するステップと；前記経路群における第１経路を、前記ビューワ位置指示情報及び前記経路群における経路の位置に依存した距離メトリックに依存する選択基準に応答して選択するステップと；前記第１経路に関連付けられた第１ビデオ項目をビデオ源から取り出すステップと；前記ビューワ位置指示情報に関する少なくとも１つのビュー画像を前記第１ビデオ項目の第１フレーム群から生成するステップと；を有し、前記選択基準が前記経路群における他の経路に対して現在選択されている経路に向かってバイアスされる方法が提供される。
【００６４】
本発明の上記及び他の態様、フィーチャ及び利点は、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説されるであろう。
【図面の簡単な説明】
【００６５】
【図１】図１は、本発明の幾つかの実施態様によるビューワ位置指示情報に応答してビュー画像を生成する装置の構成要素の一例を示す。
【図２】図２は、図１の装置をクライアント装置として含むクライアント・サーバ装置の一例を示す。
【図３】図３は、図２のクライアント・サーバ装置のためのサーバの一例を示す。
【図４】図４は、環境をキャプチャするためのキャプチャ経路の一例を示す。
【図５】図５は、仮想環境におけるキャプチャ経路に対するビューワ経路の一例を示す。
【図６】図６は、仮想環境に対するキャプチャ経路の一例を示す。
【図７】図７は、仮想環境を表すキャプチャ経路／ビデオ項目のグラフの一例を示す。
【図８】図８は、仮想環境を表すキャプチャ経路／ビデオ項目の間の関係のグラフの一例を示す。
【発明を実施するための形態】
【００６６】
以下、本発明の実施態様を、図面を参照して例示のみとして説明する。
【００６７】
ユーザが仮想世界内で動き回ることを可能にする仮想体験は、益々、人気となり、このような需要を満たすためにサービスが開発されている。しかしながら、効率的な仮想現実サービスの提供は、特に体験が完全に仮想的に生成された人工世界に基づくというより実世界環境のキャプチャに基づくものである場合、非常に困難である。
【００６８】
仮想現実サービスを提供する一アプローチは、各画像が特定の位置及び、典型的に、視線の向き／方向にリンクされた多数の画像を記憶するものである。仮想世界におけるユーザ位置が与えられた場合、該位置（又は近い位置）のための画像を取り出すために記憶された位置を検索することができ、これをユーザに対して適切にレンダリングすることができる。例えば、サーバはユーザの位置を受信することができ、ローカルな画像記憶部から関連する画像を抽出すると共に仮想世界を介してのユーザの経路に対応する専用のビデオシーケンスを生成することができる。
【００６９】
しかしながら、このようなアプローチは、当該仮想環境の十分なサービス範囲を保証するために大量のデータが記憶されることを要するであろう。必要とされる画像の密度、従って、記憶されることを要する画像の全数は、画像と一緒に奥行（深さ）情報を記憶することにより低減することができる。このことは、記憶された位置及び方向とは正確に合致しない観察位置及び方向のためのビュー画像のローカルな生成を可能にし得る。しかしながら、記憶される多数の画像は依然として必要とされる。更に、画像及び関連する位置を個別に記憶するために要するデータ構造は、典型的に、最適化された記憶効率を可能にすることがない。
【００７０】
更に、上記アプローチは典型的に相対的に高い計算及び通信資源使用を伴う相対的に高い複雑さとなる。特に、該アプローチは、インターネットを介して共通サーバにアクセスする増加する数のユーザに良く対応しない。このような場合、該サーバは各ユーザに対して専用のビデオ信号を発生すると共に、それに応じて、各ユーザのために（典型的に複雑な）ビデオエンコーディングを個別に実行する必要があるであろう。
【００７１】
図１は、多くのシナリオにおいて改善された仮想現実ユーザ体験を提供することができる装置を示す。幾つかの実施態様において、該装置は、例えば図２に示されるインターネット等のネットワーク２０５を介して遠隔サーバ２０３と連携するクライアント装置２０１であり得る。サーバ２０３は、潜在的に多数のクライアント装置２０１を同時にサポートするように構成することができる。
【００７２】
該装置は、所与の観察者の観察（ビュー）姿勢に対してシーンのビューに対応する画像を生成するように構成される。多くの実施態様において、該装置は所与の観察者姿勢に対してステレオ画像を生成するように構成され、又は、等価的に、ビューワの両眼の間のオフセットに対応する僅かに異なる観察者姿勢に対して２つの画像を生成することができる。
【００７３】
当該分野においては、配置（placement）及び姿勢（pose）なる用語が、位置（position）及び／又は方向（direction）／向き（orientation）に関する共通用語として使用される。例えば、対象、カメラ又はビューの位置及び方向／向きの組み合わせを、姿勢又は配置と称することができる。このように、配置又は姿勢の指示情報は、各値／成分が対応する対象の位置／場所又は向き／方向の個々の特性を典型的に記述する６つの値／成分／自由度を有することができる。勿論、多くの状況において、配置又は姿勢は、例えば１以上の成分が固定又は無関係と考えられるなら（例えば、全ての対象が同一の高さにあると共に水平の向きを有すると考えられる場合、４つの成分が対象の姿勢の全表現を提供し得る）、一層少ない成分でもって考察する又は表すことができる。以下においては、姿勢なる用語が、１〜６個の値（最大可能自由度に対応する）により表され得る位置及び／又は向きを参照するために使用される。当該説明は、姿勢が最大自由度（即ち、合計で６つの自由度となる、位置及び向きの各々の３つの自由度）を有するような実施態様及び例に焦点を合わせる。このように、当該姿勢は６つの自由度を表す６つの値の組又はベクトルにより表すことができ、従って、当該姿勢ベクトルは三次元位置及び／又は三次元方向の指示情報を提供することができる。しかしながら、他の実施態様において、当該姿勢は一層少ない値により表すこともできることが理解されるであろう。
【００７４】
該装置は、Ｎ次元空間（Ｎは整数）における一群の経路（経路群）に関する経路データを記憶するように構成された記憶部１０１を有する。上記Ｎ次元空間は、仮想世界の空間とすることができ、特には、当該空間におけるユーザの位置に対応する三次元空間とすることができる。幾つかの実施態様において、当該次元のうちの１以上は、当該仮想空間におけるビュー方向（view orientation）に対応し得る。このように、幾つかの実施態様において、ユーザは、３つの自由度（３DoF）により、他の実施態様では、例えば三次元位置及び三次元方向に対応する６つの自由度（６DoF）により表すことができる。当該Ｎ次元空間は、空間的姿勢を表し、詳細には、仮想世界における空間次元を表すＮ次元空間における姿勢を表す。
【００７５】
記憶部１０１は、このように、Ｎ次元空間における経路（例えば、通路又は軌道）を記憶する。これら経路の各々は、当該仮想現実世界を経る通路又は軌道を提供する。更に、記憶された該経路群における各経路はビデオ項目（video item）に関連付けられ／リンクされる。このように、各経路は、当該経路の位置及び／又は向きに対応する画像のシーケンスを有するビデオ項目にリンクされる。等価的に、各ビデオ項目は、当該経路に沿うビューに対応する画像のシーケンスを提供することができる。従って、所与の経路のためのビデオ項目は、該経路に沿って移動する際のビューに対応する画像のシーケンスを有する。従って、静止画像、位置又はビューに対応するというより、特定の経路に関する該ビデオ項目は、該経路に沿って移動する際にカメラによりキャプチャされるであろう、又は、等価的に、該経路に沿って移動する仮想的ユーザにより体験されるであろう画像を提供する。各ビデオ項目はリンクされた経路のカメラ姿勢に関する画像及び深さ情報の両方を有するフレームを含む一方、各経路は当該Ｎ次元空間を介しての姿勢（カメラ姿勢）の対応するカメラ軌道を記述する（描く）。
【００７６】
各ビデオ項目は、当該経路に沿う位置の系列に対応する画像のシーケンスを有することができる。該ビデオ項目を再生することは、当該経路に沿って移動する人又はカメラのビューを提供する。これら経路の各々は、当該経路に沿う位置の系列により表すことができる。幾つかの実施態様においては、明示的に定められた位置のみが考慮され得る（例えば、各フレームに対して１つの位置を含めることができる）一方、他の実施態様では、前記記憶部に記憶された明示的値の間の位置を補間により決定することができる。他の実施態様において、各経路は、例えば、３つの位置の値を時間変数の関数として提供するような数学的関数により定めることができる。該時間変数は、例えば、対応するビデオ項目に関するフレーム時間に対応する時区間に量子化することができる。
【００７７】
当該例において、記憶部１０１は、クライアント装置２０１をネットワーク２０５（以下の説明では、インターネットであると見なされる）にインターフェースするネットワークインターフェース１０３に結合される。ネットワークインターフェース１０３は、特に、当該クライアント装置２０１がサーバ２０３につながる機能を提供することができる。
【００７８】
当該例において、サーバ２０３は複数のユーザに同時にサービスすることができる共通サーバである。サーバ２０３の幾つかの構成要素は、図３に示されている。該例において、サーバ２０３は、該サーバ２０３をネットワーク２０５にインターフェースし、これにより該サーバがクライアント装置２０１と通信することを可能にするよう構成されたサーバネットワークインターフェース３０１を有する。該サーバネットワークインターフェース３０１はサーバコントローラ３０３に結合され、該サーバコントローラはサーバ２０３の動作の殆どを制御及び実行するように構成される。該サーバコントローラ３０３はビデオ記憶部３０５及び経路記憶部３０７に結合される。
【００７９】
該例において、経路記憶部３０７は前記経路群に関する経路データを記憶する一方、ビデオ記憶部３０５は対応するリンクされたビデオ項目を記憶する。サーバ２０３は、特に、前述したように関連するビデオ項目を伴う経路群により仮想現実世界を表すことができる。例えば、仮想環境は、該仮想環境のＮ次元空間を経る（恐らくは相対的に大きな）数の経路により表すことができる。これら経路の各々に関して、当該経路に沿うビューを表すビデオ項目が記憶される。即ち、斯かるビデオ項目は、当該経路に沿って移動する際のカメラ又はユーザのビューを表すように生成することができる。
【００８０】
多くの実施態様において、当該仮想環境は実環境の表現とすることができ、当該ビデオ項目及び経路は実環境における記録／キャプチャにより生成することができる。例えば、実環境を介して位置認識（position-aware）ビデオカメラを運ぶことができ、キャプチャされたビデオはビデオ項目として記憶することができる一方、対応する位置情報は経路として記憶することができる。幾つかの実施態様において、当該ビデオ項目及び経路データは、例えば仮想環境を介して仮想カメラを移動させることにより、該仮想環境の仮想モデルから生成することもできる。
【００８１】
記憶されるビデオ項目は、当該経路に沿ったビューを表すフレーム／画像のシーケンスを有する。該アプローチの特別な利点は、フレーム／画像をエンコードし、これによりビデオ項目を生成するためにビデオエンコーディング技術を使用することができることである。このことは、所与の画像品質に対して一層低いデータレートとなる非常に効率的なエンコーディングを可能にし、これにより、個々の画像をエンコードする場合よりも大幅に効率的なエンコーディングを典型的に可能にする。即ち、データ量を低減するために、動き推定及び（典型的に双方向的）予測ビデオエンコーディング等のビデオエンコーディング技術を使用することができる。特定の実施態様において、フレームはＩフレーム（如何なる他のフレームにも依存しないでエンコードされるイントラフレーム）として又はＢフレーム（特にＩフレームからの動き推定に基づき、Ｉフレームに対してコード化された残差フレームである双方向フレーム）としてエンコードされる。更に、低減された記憶及び通信要件に加えて、当該ビデオエンコーディングの使用は、効率的な既製のエンコーディング及びデコーディング機能（専用のハードウェアを含む）が使用されることを可能にする。使用することが可能なビデオエンコーディング技術は、例えば、H.264又はＭＰＥＧ２エンコーディングを含む。
【００８２】
当該ビデオ項目は、画像及び深さ（奥行）情報の両方を有する。即ち、該ビデオ項目は３Ｄビデオ項目とすることができ、その場合において、光強度画像／フレームは当該フレームに関する深さ情報と関連付けられる。ステレオ画像、明示的深さ又は視差マップ等を含む、深さ情報を提供するための種々のアプローチを用いることができることが理解されるであろう。該深さ情報はビューの生成の柔軟性を可能にすると共に、特に、当該経路／ビデオ項目が画像を提供する位置と正確に合わない位置（／向き）に対応するビュー画像の生成を可能にし、容易化し又は改善する。
【００８３】
当該例においては、このように、仮想環境は空間経路の典型的に相対的に疎な集合（例えば、実世界環境を介してカメラを移動させることによりキャプチャされた）により表される。各経路は、ビデオ項目、及び該ビデオ項目に関する位置情報を提供すると共に特に該ビデオ項目の各フレームに関する位置指示情報を提供することができる経路データの形態のメタデータにリンクされる。図４は、二次元環境を複数の（恐らくは、かなり任意の）経路によりどの様にカバーすることができるかの一例を示す。
【００８４】
該例において、クライアント装置２０１はサーバ２０３に経路データ及びビデオ項目をリクエストするように構成され、これに応答して、サーバ２０３は該リクエストされたデータを供給する。
【００８５】
しかしながら、該例において、クライアント装置２０１は単に全てのデータをダウンロードし、該データをローカルに処理するのではなく、最初に経路データのみを取り込み、該経路データは、次いで、何の経路（又は複数の経路）が所望の位置に近いかを動的に決定するために使用される。次いで、選択された経路に関するビデオ項目がサーバ２０３から選択的に取り込まれ、適切なビューを生成するために使用される。
【００８６】
このように、該特定の例において、クライアント装置２０１が仮想現実アプリケーションを開始した場合、該アプリケーションはサーバ２０３に経路データをリクエストする。これに応答して、サーバ２０３は経路記憶部３０７から経路データを取り出し、該経路データをクライアント装置２０１に送信する。しかしながら、最初にビデオデータは供給されず、上記経路データのみがネットワーク２０５を介して送信される。
【００８７】
更に詳細には、新たな仮想現実アプリケーションが開始された場合、ネットワークインターフェース１０３はサーバ２０３に経路記憶部３０７に記憶された経路データを送信するようリクエストする。これに応答して、サーバ２０３は、この経路データを送信する。該経路データはネットワークインターフェース１０３により受信され、記憶部１０１に記憶される。このようにして、初期のダウンロードの後、記憶部１０１はＮ次元空間内の一群の経路に関する経路データのローカルな複製を記憶することになる。これら経路の各々は当該経路のビューを表す対応するビデオ項目に関連付けられ（リンクされ）ているが、これらビデオ項目はダウンロードされず、サーバに留まる。
【００８８】
クライアント装置２０１は、更に、ビューワ位置指示情報（viewer position indication）を受信するように構成された位置入力部１０５を有する。該ビューワ位置指示情報は、当該仮想環境のＮ次元空間におけるビューワの位置を示すもので、従って該仮想環境の所望のビューを示す。幾つかの実施態様において、該ビューワ位置指示情報は、例えばユーザが位置を直接供給する又は例えばジョイスティック若しくはマウスを制御することによる等の、特定のユーザ入力に応答して発生され得る。他の実施態様において、該ビューワ位置指示情報は、アプリケーション（例えば、これもクライアント装置２０１上で動作する）により発生することもできる。例えば、該ビューワ位置指示情報はゲームアプリケーションにより発生することができる。
【００８９】
上記ビューワ位置指示情報は、ビューワの三次元位置及び三次元の向きを提供する完全な六次元位置指示情報とすることができる。他の実施態様においては、例えば、二次元位置のみを二次元の向きと一緒に供給することができる（例えば、当該ビューワが常に同じ高さにあると見なされ、且つ、当該経路が実質的に二次元経路である場合）。
【００９０】
クライアント装置２０１は、更に、記憶部１０１及び位置入力部１０５に結合されたセレクタ１０７を有する。該セレクタ１０７は、記憶された経路群から受信されたビューワ位置指示情報に基づいて経路を選択するように構成される。即ち、所与のビューワ位置指示情報に対して、セレクタ１０７は該ビューワ位置指示情報及び前記経路群における当該経路の位置に依存した距離メトリックに依存する選択基準を評価するように構成される。このように、ビューワ位置指示情報及び記憶された経路に関する位置データに基づいて、距離メトリックが評価され、１以上の経路が現在のビューワ位置指示情報に対するビュー画像を生成するために適切であるとして選択される。
【００９１】
クライアント装置２０１は、更に、セレクタ１０７及びネットワークインターフェース１０３に結合された検索部１０９を有する。該検索部１０９は、何のビデオ項目（又は複数のビデオ項目）が選択されたかの情報を受信し、該情報に応答して、サーバ２０３とネットワークインターフェース１０３を介して通信することにより上記選択されたビデオ項目（又は複数のビデオ項目）を受信する。
【００９２】
クライアント装置２０１は、更に、第１ビデオ項目の第１フレーム群から当該ビューワ位置指示情報に対する少なくとも１つのビュー画像を生成する画像生成部１１１を有する。前記取り込まれた（検索された）ビデオ項目は画像生成部１１１に供給され、該画像生成部は当該仮想環境における前記ビューワ位置指示情報により示された位置におけるビューワにより見られるであろう画像に対応する画像を生成する。該ビュー画像を生成するために使用されるフレームの選択も、前記ビューワ位置指示情報及び空間距離メトリックに基づくものであり得る。確かに、当該ビデオ項目におけるフレームは当該経路に沿った位置を有するので、当該ビューワ位置指示情報の位置に最も近くで一致するフレーム（又は複数のフレーム）を選択することができる（例えば、他のパラメータ又は考察の下で）。
【００９３】
このように、所与のビューワ位置指示情報に対し、クライアント装置２０１は適切なビデオ項目（又は複数のビデオ項目）及び該ビデオクリップの適切なフレーム（又は複数のフレーム）を選択すると共に、ビュー画像を生成するために該選択されたフレームを用いることができる。幾つかの実施態様及びシナリオにおいては、上記選択されたフレームは当該ビューワ位置指示情報に対するビュー画像に直に十分に近接して対応し得、当該生成されるビュー画像を直に該選択されたフレームのコピーとして生成することができる。
【００９４】
しかしながら、殆どの実施態様及びシナリオにおいて、当該フレーム（又は複数のフレーム）の位置（向きを含む）と当該ビューワ位置指示情報との間の差を、該フレームを処理することにより補償することができる。この処理は、特には、深さ情報に基づくビュー変換であり得る。このようなビュー変換のための多くのアプローチは当業者により既知であり、本発明から削除することなく使用することができる。
【００９５】
従って、クライアント装置２０１は、受信されたビューワ位置指示情報に基づいてビュー画像を生成するよう構成される。実際に、上述した処理が反復され、これに従って、クライアント装置２０１はビューワ位置指示情報の系列に応答してビュー画像のシーケンスを生成することができる。該クライアント装置２０１は、特に、当該仮想環境を介する経路に沿い移動するビューワのためのビューのシーケンスを生成することができる。
【００９６】
該生成された画像は、当該仮想環境を介し一連のビューワ位置指示情報により示される軌道を辿って移動する場合にビューワが見るであろうビューを提供することができる。しかしながら、当該例において、このことは、個々の画像に依存することによるというより、ビデオ項目及び経路に基づくアプローチから達成される。これは、大幅に効率的なアプローチを提供し、効率的なエンコーディング、容易化されたキャプチャ、低減された複雑さ、低減された記憶要件等を可能にする。更に、当該システムは、必要とされるビデオ項目しか検索及びダウンロードされることを要さないので、クライアント装置２０１における大幅に低減された通信要件及び記憶要件を可能にし得る。このように、該アプローチは、経路データ及びビデオ項目データの扱い（及び、特に、通信）を区別し得る。経路データは典型的にビデオデータより少なくとも１桁少ないので、このことは、ダウンロード通信要件の大幅な低減をもたらし得る。
【００９７】
当該適切な経路の選択は、当該ビューワ位置指示情報（の位置）と当該経路の位置との間の距離を反映する距離メトリックに基づくものである。即ち、該距離メトリックは、当該ビューワ位置指示情報と現在選択されているビデオ項目／経路に関する現在のフレームの位置との間の距離、及び当該ビューワ位置指示情報と現在選択されていない経路に関する経路の位置との間の最小距離を反映する。これら距離は、何らかの適切なノルムに従って、又は、例えば、適切なノルムの単調増加関数により決定することができる。
【００９８】
このような距離メトリックは、何の経路が所望の位置に最も近い位置を有するかを示すことにより、適切な経路の良い指示情報を提供することができる。しかしながら、図１のクライアント装置２０１において、当該選択基準は、上記距離メトリックに基づくのみでなく、所望の視点に最も近い経路を選択するのみでもない。むしろ、セレクタ１０７は、他の経路に対し現在選択されている経路に向かってバイアスされた選択基準を使用するように構成される。かくして、該選択基準は、現在の経路上に留まる方向に、従って、他のビデオ項目に飛び移るというより同じビデオ項目に基づくビュー画像を生成する方向にバイアスされ得る。
【００９９】
図１のクライアント装置２０１において、セレクタ１０７の上記選択基準は、現在選択されている経路（従って、及びビデオ項目）に関する及び現在選択されていない他の経路（従って、及びビデオ項目）に関する距離メトリックに対して非対称である。特に、使用される選択基準は、他の経路に対する距離メトリックが、該他の経路が選択されるまで（即ち、クライアント装置２０１が他の経路／ビデオ項目に切り換わるまで）、現在の経路に対する距離メトリックより特定の余裕又は閾値だけ小さいことを要する。
【０１００】
特定の例が、２つの平行な経路ＲＴ１及びＴＲ２を示す図５を参照して提供され、該図においてＲＴ１は現在選択されている経路であり、対応するビデオ項目に基づいてビュー画像が現在生成されている。当該環境を介してのビューワの経路ＲＴ３は、斯かる２つのキャプチャされた経路ＲＴ１，ＲＴ２の間に位置し、これら２つの経路までの距離が変化する。
【０１０１】
この例のための選択基準の一例は、
【数１】
2020515977.tif 000003
であり得、ここで、ｒcurrentは現在選択されている経路であり、ｄｒは経路ｒまでの最短距離であり、ｒselectedは選択される経路である。この選択基準は、別の経路及びビデオへの切り換えが、現在の経路から閾距離Δより更に逸脱した場合にのみ生じるという結果を有する。このように、当該経路は、現在選択されている経路までの距離が特定の閾値Δを越える場合にのみ、当該ビューワ位置指示情報まで最小の距離を持つものとして選択される。図５は、この選択基準が適用されているものを示す。該例において、選択される経路は、ＲＴ２が幾つかの位置において当該ビューワ位置パラメータベクトルまで一層近いにも拘わらず、全体を通してＲＴ１となる。
【０１０２】
現在選択されている経路に向かう当該選択基準のバイアスは、実用上大幅な利益をもたらし得る。先ず、このことは、典型的に検索及びダウンロードされることを要するビデオ項目の数を大幅に低減することができるので、低減された通信要件による一層効率的なアプローチを提供し易い。
【０１０３】
更に、斯かるバイアスは、一層少ない知覚的アーチファクトで大幅に一層一貫性のある出力を提供することができる。確かに、仮想環境の一層安定した時間的及び空間的に一貫性のある体験が提供されることが分かった。
【０１０４】
幾つかの実施態様において、当該経路データは、経路に関する位置情報に限定されるものではなく、経路が互いに対してどの様に関係するかの情報を提供するデータも含む。
【０１０５】
特に、当該経路データは経路間の交差に関する情報を更に有することができる。例えば、図４に例示されたように、経路は多くの実施態様では相対的にランダムな経路に基づくものであり得、この結果、経路間で多くの交差及び重なり合いが生じ得る。確かに、交差は、環境の良好なカバレッジ（有効範囲）を提供するために固有の経路が意図的に発生される場合にも、しばしば、生じ得る。例えば、所与の空間は、経路の格子系を生成するために意図的に多数の平行及び直交する経路を歩くことによりカバーすることができる。このような例においては、異なる直交経路の間に多数の交差が存在するであろう。
【０１０６】
異なる実施態様では、経路間に交差が存在すると見なすための異なる基準を用いることができる。共通の位置を有する場合、２つの経路間には交差が生じると見なすことができる。交差は、Ｔ字路等の２つの経路の間の何らかの接合点又は３以上の経路間の接合点を含む。幾つかの実施態様において、交差／接合点は、一方の経路上の位置と他方の経路上の位置との間の距離が閾値より小さくなる場合に存在すると見なされ得る。該閾値は典型的に非常に小さく、従って、交差は典型的に２つの経路が少なくとも１つの位置において実質的に重なり合う場合にのみ存在すると見なされる。
【０１０７】
多くの実施態様において、当該選択基準は、更に、記憶された交差位置に依存する。即ち、前記セレクタ１０７は、交差位置に対応するビューワ位置指示情報に対し、現在選択されている経路に向かってのバイアスを低減するよう構成することができる。ビューワ位置指示情報は、現在のビューワ位置指示情報に最良に合致する（例えば、最短距離の）現在の経路上の位置が、該現在の経路が他の経路と交差する交差点である場合に、交差位置に対応し得る。
【０１０８】
このように、幾つかの実施態様において、当該選択基準は、新たな経路を選択することを、現経路と該新経路との間の交差における場合（即ち、現経路上への当該ビューワ位置指示情報のマッピングが交差点である場合）に、交差におけるものでない場合よりも一層容易にさせるであろう。
【０１０９】
確かに、幾つかの実施態様においては、当該ビューワ位置指示情報が交差点／位置に対応する場合にのみ新たな経路を選択することが可能であり得る。このような実施態様において、当該ビューワ位置指示情報は、例えば、当該仮想環境を介して所望の経路又は軌道に従って変更され得る。このビューワ位置指示情報は現経路上に投影され、現在選択されているビデオの対応するフレームが抽出されると共に該ビューワ位置指示情報に対応するビュー画像を生成するために使用することができる。しかしながら、現在選択されている経路上の交差点でない投影された位置の場合、セレクタ１０７は新たな経路を選択することはないであろう。即ち、この場合、現在選択されている経路へのバイアスは如何なる新たな経路の選択も可能にしないほど強烈である。しかしながら、当該ビューワ位置指示情報が現在選択されている経路上の投影された又は対応する位置が交差点に合致するような値に変化された場合、当該選択基準は、この交差点において如何なる他の経路の選択も可能にし得る。このように、現在選択されている経路への極端なバイアスは低減され、恐らくは、完全に除去され、例えば幾つかの実施態様において、セレクタ１０７は当該経路を、単に、当該交差におけるビューワ位置指示情報に最も近い経路として選択することができる。
【０１１０】
このように、斯様なアプローチはクライアント装置２０１が利用可能な経路に“固着する（snap）”と共に交差点においてのみ他の経路に“飛び移る”ことを可能にし得る。このことは、ビュー画像が他の利用可能なフレーム（他のビデオ項目からの）よりも当該ビューワ位置指示情報から空間的に遠いフレームに基づいて生成される結果となり得るが、該アプローチは多くのシナリオにおいて好ましいユーザ体験を提供することができる。特に、該アプローチは、生成される出力ビュー画像シーケンスにおける改善された一貫性を可能にすると共に、エラー又はアーチファクトの数及び重大性を低減することができる。
【０１１１】
多くの実施態様において、他の経路の選択は交差点に限定されることはなく、バイアスの一層緩やかな変化が実行される。多くの実施態様において、現在選択されている経路へのバイアスは、当該ビューワ位置指示情報と交差位置との間の距離を示す距離メトリックに依存し得る。該距離メトリックは多くの実施態様では適切なノルムとすることができ、又は、幾つかの実施態様では、該距離は当該経路に沿って、特に現在選択されている経路に沿って測定することができる。このように、当該ビューワ位置指示情報を現在選択されている経路上に投影することができ（例えば、該経路上の該ビューワ位置指示情報への最短距離を持つ位置）、この投影位置から交差点までの当該経路に沿う距離を決定することができる。
【０１１２】
殆どの実施態様において、現在選択されている経路へのバイアスは、交差点までの距離を減じるために低減されるであろう。このような例において、クライアント装置２０１は、依然として現在の経路に“固着”しようとするであろうが、異なる経路間の“飛び移り（ジャンプ）”を、これが交差点におけるものでない場合にも可能にし得る。このアプローチは、例えば、適切な場合に経路間の幾らかの“近道”を可能にするような一層柔軟性のあるアプローチを可能にし得る。
【０１１３】
所与のビューワ位置指示情報に関してビュー画像を生成するために使用されるフレーム又は複数のフレームの選択は、選択されたビデオ項目（選択された経路に対応する）から異なる考察に基づいて選択することができる。しかしながら、斯かるフレームは、典型的には、画像生成部１１１により、当該ビューワ位置指示情報に対する第１ビデオ項目のフレームに関する経路位置データに応答して選択される。即ち、選択されたビデオ項目におけるフレームの位置がビューワ位置指示情報と比較され、距離メトリックが決定される。幾つかの実施態様において、当該フレーム又は複数のフレームは、単に、当該ビューワ位置指示情報に空間的に最も近いフレームとして選択することができる。
【０１１４】
幾つかの実施態様において、フレーム（又は複数のフレーム）の選択は時間的側面を更に考慮する。即ち、当該ビュー画像を生成するために使用されるべきフレームが現在選択されている経路／ビデオからのフレームである場合（即ち、当該システムが同じ経路に留まり、新しい経路に飛び移らない場合）、当該選択はフレーム選択を現在選択されているフレームに時間的に近い（当該ビデオ項目において）フレームに向かってバイアスすることができる。このように、新たなフレームが、使用されているビデオ項目の変更無しで選択される場合、これら新たなフレームは、当該ビデオ項目において一層小さな時間距離に向かうバイアスが存在するようにして選択される。例えば、２組のフレームが当該ビューワ位置指示情報に対して空間的に等しい距離である場合、画像生成部１１１は前に選択されたフレームに最も近いフレームを選択するであろう。
【０１１５】
即ち、当該ビデオ項目の現在選択されているフレームまでの時間距離が減少すると増加するフレーム選択メトリックを用いることができる。詳細には、該フレーム選択メトリックは、当該ビデオ項目におけるフレーム番号の間の差が小さいほど増加し得る。
【０１１６】
上記アプローチは、多くの実施態様において改善された性能を提供することができる。特に、該アプローチは現在の経路が実際に自身と交差するような多くのシナリオにおいて改善された動作を提供することができる。このような経路の一例が図６に示される。該例において、当該経路は自身と重なり合い、これにより、交差点を形成する。フレームの選択が空間距離のみに基づく場合、当該交差点の周辺に留まると共に、恐らくは、僅かに移動する（例えば、ランダムに）ビューワ位置指示情報は、結果として、当該ビュー画像を生成するために使用されるフレームの組の頻繁な転換が生じ得る。即ち、該ビュー画像は、当該交差点に到達する１回目のフレームと該交差点に到達する２回目のフレームとの間で切り換わり得る。従って、選択されるフレームは、ランダムに且つ恐らくは頻繁に、当該ビデオ項目における非常に異なる時点におけるフレームの間で切り換わるであろう。この結果、当該画像生成は異なるフレームに基づくものとなり、このことは、大きな時間的ノイズを生じさせそうである。
【０１１７】
しかしながら、同一のビデオ項目の異なる部分への時間的ジャンプに抗するように適切にバイアスすることにより、このことは回避することができ、大幅に一層一貫性があり且つ安定した出力を生成することができる。例えば、図６の例に関しては、ユーザが該図の下部から交差点に対応する領域に向かって移動する場合、ユーザが該領域内にいる場合のビュー画像は該交差点に最初に到達した時のフレームに基づくものであろうし、そのようであり続けるであろう。しかしながら、ユーザが該交差点に対応する領域に該図の左側から接近する場合、ユーザが該領域内にいる場合のビュー画像は該交差点に２番目に到達した時のフレームに基づくものであろうし、そのようであり続けるであろう。
【０１１８】
記載される該システムは、適切なビュー画像を生成するために当該仮想空間を経る経路（／通路／軌道）に対応する１つの（又はそれ以上の）ビデオ項目を使用することに基づくものである。このようなシステムにおける重要な配慮は、何のビデオを使用すべきか、及び、特に、何時経路／ビデオ項目を切り換えるべきかをどの様に選択するかである。
【０１１９】
クライアント装置２０１において、当該アプローチは同一のビデオからビデオ画像をレンダリングすると共に新たなビデオ項目への切り換えに対してバイアスを掛けようとするものである。同様の趣旨で、ビデオ項目内で何のフレームを使用するかを選択する場合、クライアント装置２０１は時間的ジャンプに対してバイアスを掛ける。
【０１２０】
このことは、多数の利点を提供するもので、種々の配慮に基づくものである。例えば、
１．典型的に、ビュー合成のために使用される視差／深さ（深度）はステレオカメラを用いて推定され、時間的安定性は時間的深度フィルタ処理を用いて強化される。深さ値は正しくないかも知れないが、これら値は典型的に或るフレームから次のフレームへと一貫しており、このことは、時間的アーチファクトは、しばしば、回避されることを意味する。
２．単一のビデオ内の隣接するフレームに対応する仮想カメラ位置は、典型的に、互いに近い。例えば、毎秒３０フレームにおいて、仮想カメラは３mm〜１cm離れ得る。異なるビデオの仮想カメラ位置は２０cm又はそれ以上離れ得、このことは、基準視点を斯様な大きな距離を超えて突然ずらすことは、結果としてアーチファクトを生じさせるであろうことを意味する。
３．頻繁な切り換えはコーディングのオーバーヘッドを増加させる。何故なら、単一のビデオストリーム内での大きな各ジャンプ又はビデオ間の各ジャンプは、イントラコード化フレームのダウンロード及びデコーディングを必要とするからである。
【０１２１】
このように、当該アプローチは、環境を、該環境内で特定の姿勢に限定されることのないユーザにとり異なるビュー姿勢に関して画像を生成することができるように表すことに関するものである。
【０１２２】
当該分野における及び斯かるアプリケーションに関する主な難題の１つは、異なる姿勢に対して高品質画像が生成されることを可能にするが、それでいて、過度のメモリを要せずに記憶することができ、過度の複雑さ無しで且つ過度の計算資源を要せずに適切な処理及び画像生成を可能にするようなフォーマットにおけるものであり、クライアント／サーバアプリケーション等における通信要件を低減することができるような態様で、どの様にして環境を効果的に表し且つキャプチャするかである。他の非常に大きな難題は、好ましくは過度に高価な又は特化された回路を要することがなく、且つ、面倒又は要求が多いことのない実用的なキャプチャ処理を可能にすることである。
【０１２３】
従来のアプローチは、単に、当該シーンの個々の画像（画像及び深さ）を典型的には予め定められたビュー姿勢から撮影し、次いで、これら画像及び深さ画像を記憶するというものである。典型的に、キャプチャ姿勢は予め定められており、ユーザは手動でカメラを新たな姿勢に移動し、画像を撮影し、カメラを次の姿勢に移動し、他の画像を撮影し、等々を行わなければならない。このことは、非常に時間が掛かり、面倒な処理である。代わりに、多数のカメラを使用することもできるが、これは高価であるのみならず、全てのカメラを正しい姿勢で注意深く配置する必要があるので非常に煩雑である。更に、正確な動作のためには多数の画像が必要とされ、多数の個別の画像をアクセス可能なアプローチで記憶しなければならない。
【０１２４】
従来のアプローチにおいて、所与のビュー姿勢に関するビュー画像は、次いで、利用可能な記憶された画像から、良く知られた視点シフトアルゴリズムを用いて、視点を切り換えることにより生成される。
【０１２５】
記載される当該アプローチにおいて、シーンは個々の画像により表されるのではなく、複数の経路及びリンクされたビデオ項目により表される。例えば、該アプローチは、１以上の人がビデオを関連された位置と共にキャプチャしながら所与の環境内を単に動き回ることができるようなキャプチャ処理を可能にする。例えば、一群の人が、例えばランダムな経路に沿って歩きつつビデオをキャプチャしながらシーンを単に歩き回ることができる。該経路データが関連付けられたビデオ項目は、次いで、ビデオ項目が関連付けられた複数の経路の集合を設けるために集めることができ、これにより、シーンの表現を提供する。
【０１２６】
このように、当該アプローチは、大幅に簡略化されたキャプチャ動作を可能にし得ると共に、例えば、多数のランダムな経路をビデオと共にキャプチャすることによりキャプチャが簡単に実行されることを可能にし得る。このように、シーンの十分に正確な表現を生成するために個々の画像を用いた細心で計画されたキャプチャを必要とするというより、該経路及びビデオストリームの使用は、大幅に大量の情報がキャプチャされることを可能にし、これにより、しばしば、有利な位置における厳格に制御された画像キャプチャの必要性を不要にする。
【０１２７】
詳細には、シーン表現を単に個々の画像にというよりビデオ項目（及び関連する経路情報）に基づかせることにより、メモリ／記憶要件を大幅に低減することができ、及び／又は記憶することができる情報量を大幅に多くすることができる。ビデオのエンコーディングは、個々の画像のエンコーディングより大幅に効率的である。ビデオエンコーディングは、所要のデータ量を低減するために画像内の冗長性を利用するのみならず、各フレームのためのデータ量を大幅に低減するために異なるフレーム間の冗長性も（しばしば、大幅に効率的に）利用する（例えば、動き推定を用いて）。例えば仮想現実アプリケーションのための多くの典型的シーン（例えば、静止シーン）の場合、異なるフレーム間の相関は非常に高いので、データの大幅な低減を達成することができる。
【０１２８】
このように、個別の画像を使用することと比較した場合の関連する経路を伴ったビデオ項目の使用の１つの効果は、当該表現が注意深く選択された位置からの画像に基づくのではなく、典型的には実質的にランダムとすることができる複数の（及び、相対的に多数の）経路に基づくような完全に異なるキャプチャ動作が実行されることを実際的に可能にする大幅に効率的な圧縮を可能にすることである。該アプローチは典型的に記憶要件を低減すると共に、キャプチャ表現の複雑さ及び労力を相当に低減する。
【０１２９】
しかしながら、記載される当該アプローチは、複数のリンクされた経路及びビデオ項目による環境の表現のみに関わるものではない。むしろ、該アプローチは、画像がどの様に斯様な表現から生成されるかにも関わるものである。
【０１３０】
記載される当該アプローチにおいて、当該ビュー画像を生成すべき適切な基の決定は、経路ベースの選択処理に依存する。選択基準が経路を選択するために使用され、画像はリンクされたビデオの少なくとも１つのフレームから生成される。該選択はビューワ位置からの距離に基づくものであるが、該選択基準は更に現在選択されている経路へのバイアスを有する。
【０１３１】
このように、最も近い経路を単に選択するというより、当該選択基準は他の経路に対して現在選択されている経路に向かうバイアスを更に有する。このように、当該システムは、最も近いフレームを単に選択するのではなく、同一の経路に属するフレームの時間的に一貫性のある選択に基づいて画像を生成し続けるようにバイアスを掛けることができる。該システムは、或る経路に実効的に“固定”することができると共に、この経路（画像を生成するための基としての）上に、ユーザが該経路に固定されたままとするには当該バイアスが最早不十分となるまで留まることができる。例えば、当該選択基準は、別の経路への切り換えが、該別の経路までの距離が例えば現在の経路までの距離の半分未満になることを要するということを要求することにより、現在の経路に向かってバイアスすることができる。
【０１３２】
該アプローチは、当該シーンを複数の経路及びリンクされたビデオ項目により表すという固有のアプローチに大きく依存する。記載される当該アプローチの画像（フレーム）及びキャプチャ位置は、他の画像及びキャプチャ位置から独立及び分離されているものではなく、むしろ、当該ビデオ項目は密に相互に関係付けられたフレームを有し、これらは経路と密に互いに関連付けられる。確かに、ビデオ項目のフレームは空間的関係を有し、互いに密に相関される。即ち、ビデオ項目の連続するフレームは典型的に高度の相関を有する。同様に、複数の経路はビデオ項目に直接的に関係される複数の位置を定め、従って、これら経路は単に空間内の位置に関する情報を提供するのみならず、当該ビデオリンク（これは、本来的に、時間的表現である）内のフレームに対して位置がどの様に変化するかの情報等の、時間的情報も提供する。
【０１３３】
発明者は、これらの相違を理解すると共に、現在のビューに対して最も近い画像情報を選択するだけのアプローチは表現にとっては余り適していないことを理解し、位置によってのみ定義される分離されたキャプチャのためのみならず、代わりに密に関係する特性を有する（即ち、ビデオ項目における時間的関係を有する）密に相関されたキャプチャの系列を提供するデータをキャプチャする。
【０１３４】
特に、発明者は、最も近い画像（従って、ビデオ項目ベースのキャプチャにおけるフレーム）を単に選択することは確かに可能であり得るが、このことは、計算的に非常に複雑であり、フレーム間の相関及びキャプチャ位置が無視されることによりエラーを生じ易いことを理解した。
【０１３５】
即ち、発明者は、ビデオ項目のフレームは個々のフレームとしてコード化されているのではなく、当該ビデオ項目内の他のフレームに対してコード化されていることを理解した。典型的に、ビデオ項目は、他のフレームを参照して且つイントラコード化フレームよりも大幅に高い効率でコード化された相当に多数のインターコード化フレームを典型的に伴う幾つかのイントラコード化フレームを含む。
【０１３６】
このことは、特に、個々の画像を抽出することを困難にさせる。というのは、これらは、両方の関連するイントラコード化フレームの抽出、これらのデコーディング、所望のフレームが予測される任意の予測フレームの抽出、これらのイントラコード化フレームを用いたデコーディング、所望のフレームの抽出、これのデコーディング、及び最後に、これら全ての組み合わせを必要とするからである。このことは、非常に高い計算的負担を有する。更に、コーディングエラー、ノイズ及びアーチファクトは不可避であり、これらは結果としての画像品質を低下させ得る。
【０１３７】
発明者は、更に、位置のみならずビューワ位置の履歴も考慮することにより、ビデオ項目内に存在する時間的及びフレーム間の相関を利用し及び該相関に適応させることができることを理解した。このことは、当該選択を個々の位置を考慮するだけというより経路に基づかせることにより、及び、この選択を更に同じ経路上に“固着させる”方向にバイアスを掛けることにより実行される。
【０１３８】
この結果、特にビデオエンコーディングの特性に関して大幅に効率的なアプローチが得られ、該アプローチは特にビデオ項目から画像を生成することに関する問題に対処する。即ち、実際に計算的負担を非常に大幅に低減することが分かった。経路ベースの選択及び同一のビデオ項目／経路から（しばしば連続した）フレームを選択することの一貫性の増加の結果、イントラコード化フレームに基づいてエンコードされた全てのインターコード化フレームに対して１度しかデコードされることを要さないイントラコード化フレームを実質的に再利用することになる。同様に、他のフレームに対して中間予測フレームを生成する必要性は、これら中間フレームが以前の画像を生成するために既に使用されていたとしたら、オーバーヘッドをもたらすことはないであろう。
【０１３９】
更に、不可避的なエンコーディング／デコーディングエラー及びアーチファクトは、当該アプローチでは連続した画像に関して大幅に一貫したものとなる傾向があるであろう。例えば、イントラコード化フレームに対して発生するエンコーディング／デコーディングアーチファクトは、当該イントラコード化フレームを用いてコード化された同一のビデオ項目／経路からのフレームに基づいて生成される全ての画像において同様に表されるであろう。このことは、しばしば、連続して生成される画像間において余り一貫性のない潜在的に余り可視的でないエラー又はアーチファクトより好ましいであろう。
【０１４０】
このように、経路／ビデオ項目のバイアスされた経路ベースの選択のための該アプローチは、大幅に改善された性能を提供すると共に、特に、一層少ない計算的複雑さ及び資源使用、低減された記憶要件、容易化されたビュー画像の生成、改善された画像品質を可能にする。該アプローチは、例えばクライアントサーバベースのアプリケーションに対して、通信要件を低減することもできる。
【０１４１】
幾つかの実施態様において、当該経路データは交差をノードとして及び経路を辺として有することにより表されるグラフを含むことができる。家に対応する仮想環境に対する例が、図７に示されている。
【０１４２】
該例において、各ノードは、Ｔ接合部（n2）を含み、経路間の交差を表している。このようなグラフにおいて、交差は更に１つの経路が終わり、他のものが始まる位置を反映することもできる。該例において、各経路は２つのノードにより境界を区切られ、これらノードは、典型的に、複数の経路に対して共通である。当該アプローチは、経路及びビデオ項目が専用の計画されたキャプチャにより生成される、又はキャプチャされた経路及びビデオ項目が一層小さな経路及びビデオ項目に分割されているシナリオに対して特に適している。当該グラフは、例えば二進部分（binary section）又はテキスト（例えば、xml）としてコード化することができると共に、当該アプリケーションが初期化される場合にサーバ２０３からクライアント装置２０１に（少なくとも部分的に）送信することができる。
【０１４３】
グラフの使用は、多くの実施態様において効率的であり得ると共に、効率的な動作を提供することができる。例えば、当該グラフ構造は、所与の経路の終点において複数（１，２，…）の定義された他の経路が開始し得ることが判定されることを可能にし、従って、対応するビデオの取り込み及びデコーディングを前もって開始することができ、これにより、潜在的な遅れ及び中断を低減する。
【０１４４】
幾つかの実施態様において、当該経路データは当該経路群における経路の間の空間的関係を示す関係データを更に含むことができる。この場合、該関係データは現在のビューワ位置指示情報に対する経路の選択において使用することができる。
【０１４５】
特定の例として、該関係データは、各経路に関して、当該経路が何の他の経路と交差するかの指示情報を提供することができる。この場合、前記セレクタ１０７は、幾つかの実施態様において、現在選択されている経路に関して当該関係データをチェックし、当該経路が何の他の経路を横切り及び斯かる他の経路との交差を有するかを調べる。セレクタ１０７は、次いで、別の経路を選択すべきかを判断する場合に、例えば、これらの特定の経路のみを考察すればよい。
【０１４６】
幾つかの実施態様において、当該関係データは、何の経路が互いに接合部を形成するかの指示情報を提供することができる。このようなデータは、セレクタ１０７により、ビュー合成のための適切なビデオ及びフレームを選択するために使用することができる。例えば、Ｔ接合部に接近する場合、この接合部においてユーザが右折又は左折をしようとしているかを位置データに基づいて早期に予想することができる。
【０１４７】
幾つかの実施態様において、該関係データは、幾つかの経路が同一の経路に対して反対の方向の移動に対応することの指示情報を提供することができる。このようなデータは、セレクタ１０７により、ビューワが自身の経路上で約１８０度回転している場合に方向を切り換えるために使用することができる。
【０１４８】
幾つかの実施態様において、該関係データは、互いに実質的に平行である経路の指示情報を提供することができる。このようなデータは、セレクタ１０７により、ユーザが目指している方向を一層良好に示す他の経路に切り換えるかを決定するために使用することができる。
【０１４９】
上記関係は、例えば、ノードとしての経路及び対応する２つのノード間の関係を示す辺を有するグラフの形で提供することができる。このようなグラフの一例が図８に示される。
【０１５０】
前述したように、当該ビデオ項目の如何なる好適なビデオエンコーディング法も本発明から逸脱することなしに用いることができる。多くの実施態様において、当該ビデオ項目は、如何なる他のフレームの考慮も無しにコード化されるイントラコード化フレーム及び少なくとも１つの他のフレームに対してコード化される予測フレームの両方を用いてコード化することができる。予測フレームは、１以上のイントラコード化フレーム及び／又は１以上の予測フレームに対してコード化することができる。予測フレームは、１以上の一層早期の（即ち、当該ビデオ項目における時間的に一層早い）フレームに対してのみコード化されるフレームとすることができるか、又は例えば１以上の一層早期のフレームに対して且つ１以上の一層遅いフレームに対して（即ち、現在のフレームより前及び後の両方のフレームに対して）コード化される双方向予測フレームとすることができる。該ビデオエンコーディングは、H.264又はH.265エンコーディングとすることができる。
【０１５１】
多くの実施態様において、当該エンコーディング処理にとって、Ｂフレーム（双方向予測フレーム）に関連するＩフレーム（イントラコード化フレーム画像）のみを使用することが特に有利であり得る。この結果として、多くの実施態様においてビュー画像の低レイテンシの（待ち時間の少ない）生成が得られる。
【０１５２】
このように、当該ビデオ項目は、イントラコード化フレーム及び予測／インターコード化フレームを有するコード化されたビデオ項目とすることができる。当該予測フレームは、幾つかの実施態様では、双方向予測／コード化フレームのみとすることができる。当該ビュー画像の生成は、従って、該ビュー画像を生成するために使用されるフレーム（又は複数のフレーム）をデコードする画像生成部１１１を含むことができる。
【０１５３】
記載された当該アプローチは、特に、複数の経路の集合に基づいて仮想環境のビューの効率的なキャプチャ、記憶及び再生を提供しようとするものである。個々の画像ではなくビデオ項目の使用は、記憶要件、通信帯域幅要件等を低減する。このことは、ビデオのエンコーディングが、別個の画像のエンコーディングより大幅に効率的である傾向にある故に達成される。特に、予測フレームの使用は、フレームを表すために要するデータ量を非常に大幅に減少させることができる。しかしながら、ビデオキャプチャ及びコーディングの使用は、ユーザが内部を自由に移動し得る仮想環境を表すためには反直感的である。例えば、このような状況において、ユーザは当該ビデオがキャプチャされた方向とは反対の方向に移動し得、これにより、当該ビデオコンテンツの空間的及び時間的関係に従わないばかりか、真逆にさえなる。しかしながら、発明者は、当該アプローチは非常に効率的な動作を提供し得ることを理解した。
【０１５４】
記載された同じ経路上に留まる方向のバイアスを伴う経路に基づく選択の当該アプローチは、改善された動作を提供する。特に、発明者は、このようなバイアスの結果（一層時間的に安定したビュー合成品質となること以外に）、ユーザが他の経路に切り換える（即ち、経路の選択が或るものから他のものに変化する場合）というより同じ経路にリンクされ続ける場合、ユーザ視点に対応するフレームがインターコード化された（予測された）ものとなることにより、大幅に低減された帯域幅要件（当該フレームを検索／伝送するための低減されたデータレート）となることを理解した。
【０１５５】
多くの実施態様において、当該選択は、経路を選択する際にビデオエンコーディングを考慮に入れることができる。即ち、多くの実施態様において、セレクタ１０７はイントラコード化フレームに対応するビューワ位置指示情報に関して現在選択されている経路へのバイアスを低減するように構成することができる。セレクタ１０７は、インターコード化（予測）フレームに対応するビューワ位置指示情報に対してイントラコード化フレームに対応するビューワ位置指示情報のための現在選択されている経路へのバイアスを低減するように構成することができる。このように、該セレクタは、ビューワ位置がインターコード化／予測フレームに対応する場合に、同じ経路上に居続けるより新たな経路を一層選択しそうになり得る。
【０１５６】
考慮されるフレーム（バイアスに影響を与える）は、幾つかの実施態様では、現在／以前に選択された経路のフレームであり得るか、又は新たな候補の経路のフレームであり得る。このように、当該フレームは、現在／以前に選択された経路（これが選択されている場合）に関するビュー画像を生成するために使用されるであろうフレームであり得るか、又は候補経路（これが選択される場合）に関するビュー画像を生成するために使用されるであろうフレームであり得る。このように、当該フレームは、現在選択されている経路の又は第１経路（選択される経路）のフレームであり得る。多くの実施態様において、当該バイアスは、イントラコード化フレームである目標／候補フレームに対して及びイントラコード化フレームである現在／以前に選択された経路のフレームに対しての両方において低減することができる。
【０１５７】
ビューワ位置指示情報に関する対応するフレーム（又は複数のフレーム）は、該ビューワ位置指示情報に関するビュー画像を生成するために使用される所与の経路のフレーム（又は複数のフレーム）であり得る（該所与の経路が選択されるなら）。対応するフレームは、典型的に、該所与の経路における当該ビューワ位置指示情報により示される姿勢／位置に最も近いフレームであり得る（典型的に、経路を選択するためにも使用された距離メトリックを使用して）。
【０１５８】
多くの実施態様において、第１フレームは、或る経路から他の経路への切り換えに続いて、イントラコード化フレームとして選択することができる。新たな経路へ切り換える場合、画像生成部１１１は従ってイントラフレームを先ず選択し、これを用いてビュー画像を生成することができる。
【０１５９】
多くの実施態様において、これらのアプローチは異なる経路間のリンクを確立するために使用することができる。例えば、図９は２つの経路９０１，９０３を、イントラコード化フレームと関連付けられた複数の位置（小さな円により示される）と共に示す。このような実施態様において、同じ経路上に留まるためのバイアスはイントラコード化フレームに対して低減することができ、新たな経路に関して選択されたフレームは他のイントラコード化フレームに対応することができる。特に、現在の経路へのバイアスは、２つのイントラコード化フレームの間で生じる経路切り換えに対して低減する（典型的には非常に大幅に）ことができる。このように、“ジャンプ”は、図９に矢印により示されるように、イントラコード化フレームの間で発生する傾向がある。
【０１６０】
実際に、このことは、前述したような経路を表すグラフに斯様な考慮を含めることにより達成することができる。確かに、ノードを斯様なグラフにおいて交差点／交差部の近くに形成することができる。更に、これらノードは、インターコード化フレームに対応する間の区間を伴うイントラコード化フレームに対応するように選択することができる。この場合、このようなノードをリンクする、例えば、これらの間の関係（例えば、“交差点”又は“戻り経路”等）を示すような、更なるデータを設けることができる。
【０１６１】
後述するように、当該システムは特に経路間の交差におけるイントラコード化フレームを生成することができる（例えば、ビデオ項目をトランスコードすることにより）。
【０１６２】
多くの実施態様において、所与の経路のＩフレームの間に相対的に多数のＢフレームを使用することが更に好ましいであろう。このアプローチの結果、高効率が得られる。何故なら、Ｂフレーム（これらは、予測を補償した後の残差フレームである）は、しばしば、Ｉフレームよりも一層圧縮されているからである。多数のＢフレームの使用は、典型的に、静止シーンにおける隣接するカメラ位置の高いコヒーレンスにより許容可能である。Ｉフレームの間に多数のＢフレームを有することは、ビデオ再生のためにも魅力的である。何故なら、ユーザの所与の動きに対して一層少ないＩフレームしかデコードされることを要さないからである。
【０１６３】
しかしながら、新たな経路の選択によりビデオ項目を変更する場合に多数のＢフレームを使用することの潜在的マイナス面を軽減するために、当該アプローチは、Ｉフレームの選択的割り当てを使用することができる。
【０１６４】
多くの実施態様において、Ｉフレームを生成し、交差のためのビデオ項目に含めることができる。このように、交差に関連付けられるフレームはＩフレームとしてエンコードすることができる。このことは、経路の切り換えを容易にさせ得るので、多くの実施態様において特に魅力的な性能を提供することができる。確かに、Ｉフレームとしてエンコードされた交差フレームを有することは、結果として、切り換えがＩフレームで開始及び／又は停止するような関連するビデオ項目を提供する交差部において実行されることとなる傾向があり、かくして、Ｂフレームをエンコードするために追加のＩフレームがエンコードされねばならないことを回避する。
【０１６５】
確かに、交差フレームがＩフレームとしてエンコードされる場合、同一のＩフレームを、可能性として、前に選択された経路のため及び新たに選択される経路のための両方に使用することができる。このように、前に選択された経路からのＩフレームを、新たに選択される経路のＢフレームをデコードするために該新たに選択される経路に関するＩフレームと一緒に使用することができる。幾つかの実施態様において、このことは、正確に交差点にはないが、潜在的に該交差点に近く、従って適度な推定を提供する前の経路のＩフレームを使用して達成することができる。しかしながら、好ましいアプローチにおいて、前に選択された経路のＩフレームは交差部におけるフレームとすることができ、確かに、該Ｉフレームは、前に選択された経路に関連するビデオ項目に関すると共に新たに選択される経路に関連するビデオ項目に関する共通のフレームとすることさえできる。
【０１６６】
多くの実施態様において、Ｂフレーム及びＩフレームの有利な編成及び構成を実施することができる。例えば、サーバ２０３は最初に適切なＩフレームを供給することができる。これらは、現在のビューワ位置指示情報に直接関連付けられていなくても、クライアント装置２０１によりデコードすることができる。しかしながら、該デコードされたＩフレームは、この場合、基準フレームを提供することができ、該基準フレームは、これらが画像生成部１１１によりビュー画像の生成のために使用されるべく選択された場合に適切なＢフレームの迅速なデコーディングを可能にする。
【０１６７】
確かに、多くの実施態様においては、Ｂフレームが幾つかのＢフレームを他のＢフレームのための基準フレームとして更に使用することができるような階層構造で配置される階層ビデオエンコーディングアプローチを用いることができる。このような場合において、適切なＢフレームを、他のＢフレームのための基準フレームとして即座に使用されるように更にデコードすることができる。
【０１６８】
このように、幾つかの実施態様において、検索部１０９は、複数のＩフレーム及び可能性としてＢフレームを、これらが、これらフレームに対してエンコードされている他のＢフレームのデコーディングのために即座に使用されるようにデコードするデコーダを有することができる。
【０１６９】
従って、幾つかの実施態様において、Ｂフレームの階層状順序付けを採用することができ、大きな割合のＩフレームを回避することにより高コーディング効率を維持しながら、当該ビデオのランダムアクセス及び双方向再生を可能にする。例えば、当該デコーダは、常に、Ｂフレームをデコードするための基準として使用される準備が整った（解読され且つデコードされた）少なくとも２つのＩフレーム及び複数（０以上）のＢフレームを有することができる。
【０１７０】
このようなアプローチは、H.264／MPEG-4 AVC及びHEVC等の新しいビデオエンコーディングアプローチによりサポートすることができる。
【０１７１】
上記説明は図２に例示されたようなクライアント・サーバ方式に焦点を合わせたが、当該概念は、これに限定されるものではなく多くの他の構成及び機能の分散に対しても等しく好適であることが理解されよう。例えば、幾つかの実施態様において、前記ビデオ項目を記憶するビデオ記憶部はローカルな記憶部とすることができ、検索部１０９は該ローカル記憶部からビデオを取り出すことができる。幾つかの実施態様において、当該アプローチは、ビデオ項目及び経路データの両方を記憶すると共に、受信されたビューワ位置指示情報に応答してビュー画像を生成する単一の独立型装置において使用することもできる。
【０１７２】
明瞭化のために、上記記載は本発明の実施態様を異なる機能回路、ユニット及びプロセッサに関連して説明されたことが分かる。しかしながら、異なる機能回路、ユニット又はプロセッサの間での機能の如何なる好適な分散も、本発明から逸脱することなしに用いることができることは明らかであろう。例えば、別個のプロセッサ又はコントローラにより実行されると説明された機能は、同一のプロセッサ又はコントローラにより実行することができる。従って、特定の機能ユニット又は回路に対する言及は、厳格な論理的又は物理的構造又は編成を示すというより、説明された機能を提供するための好適な手段の参照としてのみ理解されるべきである。
【０１７３】
本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの何らかの組み合わせを含む任意の好適な形態で実施化することができる。本発明は、オプションとして、少なくとも部分的に１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施化することができる。本発明の実施態様の構成要素及び部品は、物理的に、機能的に及び論理的に、任意の好適なやり方で実施化することができる。確かに、当該機能は、単一のユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実施化することができる。かくして、本発明は、単一のユニットにおいて実施化することができ、又は異なるユニット、回路及びプロセッサの間で物理的及び機能的に分散させることができる。
【０１７４】
以上、本発明は幾つかの実施態様に関連して説明されたが、これは本明細書に記載された特定の形態に限定されることを意図するものではない。むしろ、本発明の範囲は添付請求項によってのみ限定されるものである。更に、フィーチャは特定の実施態様に関連して説明されているように見えるが、当業者であれば、記載された実施態様の種々のフィーチャは、本発明に従って組み合わせることができることを理解するであろう。尚、請求項において、有するなる用語は、他の要素又はステップの存在を排除するものではない。
【０１７５】
更に、個別に掲載されているが、複数の手段、要素、回路又は方法のステップは、例えば単一の回路、ユニット又はプロセッサにより実施することができる。更に、個々のフィーチャは異なる請求項に含まれ得るが、これらは有利には恐らく組み合わせることができ、異なる請求項に含めることは、フィーチャの組み合わせが可能でない及び／又は有利でないことを意味するものではない。また、フィーチャを１つの部類の請求項に含めることは、この部類への限定を意味するものではなく、むしろ、該フィーチャが他の請求項の部類に、適宜、等しく適用可能であることを示す。更に、請求項におけるフィーチャの順序は、斯かるフィーチャが動作されるべき如何なる特定の順序を意味するものでもなく、特に、方法の請求項における個々のステップの順序は、斯かるステップが、この順序において実行されねばならないことを意味するものではない。むしろ、これらステップは如何なる好適な順序で実行することもできる。更に、単数形の参照は、複数を排除するものではない。このように、単数形、“第１の”、“第２の”等は、複数を排除するものではない。また、請求項における符号は、単に明瞭にする例として設けられたものであり、当該請求項の範囲を如何なる態様でも限定するものと見なしてはならない。
【図１】
2020515977.tif 000004
【図２】
2020515977.tif 000005
【図３】
2020515977.tif 000006
【図４】
2020515977.tif 000007
【図５】
2020515977.tif 000008
【図６】
2020515977.tif 000009
【図７】
2020515977.tif 000010
【図８】
2020515977.tif 000011
【国際調査報告】
2020515977.tif 000012
2020515977.tif 000013