(57)【要約】シーンの第一仮想現実コンテンツは、第一仮想現実コンテンツキャプチャデバイスによってキャプチャされ、同じシーンの第二仮想現実コンテンツは、第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で物理的に相互に所定の距離内に配置されており、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供し、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。【選択図】図２
2019512177.tif 000002
【特許請求の範囲】
【請求項１】
第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置であって、
前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、シーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、前記シーンと同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記装置は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供するように構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を備える、
装置。
【請求項２】
前記第二コンテンツキャプチャデバイスの姿が入っている、前記第一コンテンツキャプチャデバイスによって得られた前記第一仮想現実コンテンツの前記画像またはその部分の１つ以上が前記融合仮想現実空間から除外され、前記第二コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った前記シーンの対応する部分の１つ以上の画像またはその部分によって代置され、および／または、
前記第一コンテンツキャプチャデバイスの姿が入っている、前記第二コンテンツキャプチャデバイスによって得られた前記第二仮想現実コンテンツの前記画像またはその部分の１つ以上が前記融合仮想現実空間から除外され、前記第一コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った前記シーンの対応する部分の１つ以上の画像またはその部分によって代置される、
請求項１に記載の装置。
【請求項３】
前記融合仮想現実空間が、前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第一仮想現実コンテンツから形成可能な前記第一仮想現実空間の視点と、前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第二仮想現実コンテンツから形成可能な前記第二仮想現実空間の視点との間に仮想の視点を有する、請求項１または２に記載の装置。
【請求項４】
前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実キャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツからの画像と前記第二仮想現実コンテンツからの画像との間の境界沿いに位置する前記画像またはその部分を少なくとも用いた画像ひずみ効果を含む前記融合仮想現実空間の映像を提供する、請求項１から３の何れかに記載の装置。
【請求項５】
前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実キャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツからの境界画像と前記第二仮想現実コンテンツからの境界画像との間に不連続部を含む前記融合仮想現実空間の映像を提供し、前記境界画像は、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツから得られた画像と前記第二仮想現実コンテンツから得られた画像との間の境界沿いに位置する前記画像を含む、請求項１から４の何れかに記載の装置。
【請求項６】
前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実キャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、仮想現実中に、ユーザ選択に基づいて、前記第一仮想現実空間および前記第二仮想現実空間のうちの１つを備える選択された仮想現実空間の映像を提供し、これにより、前記ユーザが、前記融合仮想現実空間の視聴に後続して、前記第一および第二仮想現実空間のどちらかを選ぶことを可能にする、請求項１から５の何れかに記載の装置。
【請求項７】
前記融合仮想現実空間の映像の提供と前記選択された仮想現実空間の映像の提供との間の移行において、前記融合仮想現実空間中に、前記選択されない仮想現実空間に関連する前記第一／第二仮想現実コンテンツから得られた前記画像にフェージング効果の映像を提供する、請求項６に記載の装置。
【請求項８】
前記融合仮想現実空間の映像の提供と、前記選択された仮想現実空間の映像の提供との間の移行において、前記選択された仮想現実空間が、仮想現実中の全ての視角で漸増的に視取可能となるように、前記選択された仮想現実空間のより多くの映像を漸増的に提供する、請求項６または請求項７に記載の装置。
【請求項９】
前記融合仮想現実空間の映像の提供と、前記選択された仮想現実空間の映像の提供との間の移行において、前記選択された仮想現実空間に関連付けられた前記仮想現実コンテンツから得られた、前記融合仮想現実空間中の画像の数を次第に増やすのに続いて、前記選択された仮想現実空間の映像を提供する、請求項６〜８の何れか１項に記載の装置。
【請求項１０】
前記ユーザ選択が、ユーザ入力デバイスからのシグナリング、ユーザのジェスチャ、ユーザの音声コマンド、前記ユーザの頭の方向、および前記ユーザの視線コマンドのうちの何れか１つに基づく、請求項６〜９の何れか１項に記載の装置。
【請求項１１】
前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツが、
ｉ）前記仮想現実コンテンツがキャプチャされたときに、前記対応するコンテンツキャプチャデバイスが所在していた地理的位置、および／または
ｉｉ）他方のコンテンツキャプチャデバイスの相対的位置、
を示す位置情報を含み、
前記融合仮想現実空間を形成するための前記第一および第二仮想現実コンテンツからの前記画像の前記融合は、前記位置情報基づいて、前記融合仮想現実空間を生成する際に、前記仮想現実コンテンツキャプチャデバイスの１つの姿が入っている前記画像またはその部分の１つ以上が除外されるように行われる、
請求項１から１０の何れかに記載の装置。
【請求項１２】
前記融合仮想現実空間を形成するための前記第一および第二仮想現実コンテンツからの画像の前記選択は、前記融合仮想現実空間を生成する際に、前記仮想現実コンテンツキャプチャデバイスの１つの姿が入っている画像またはその部分を除外すべく識別するため前記画像の１つ以上に対し行われる画像特徴認識に基づく、請求項１から１１の何れかに記載の装置。
【請求項１３】
前記第一および第二仮想現実コンテンツをキャプチャする際に、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが、前記所定の距離よりも遠く離れて位置し、だが、前記第一および第二仮想現実コンテンツキャプチャデバイスの１つまたは両方が、他方の仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第一および第二仮想現実コンテンツの中に見える場合、前記仮想現実コンテンツキャプチャデバイスの前記姿を除去するための画像編集を含む、前記関連仮想現実コンテンツから形成された前記仮想現実空間の１つの映像を提供する、請求項１から１２の何れかに記載の装置。
【請求項１４】
第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置によって実行される方法であって、前記方法は、
前記第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、前記第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
前記第二仮想現実コンテンツキャプチャデバイスによって、前記シーンと同じシーンの第二仮想現実コンテンツをキャプチャするステップであって、前記第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記方法は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供することをさらに含み、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を含む、
方法。
【請求項１５】
コンピュータプログラムコードを備えるコンピュータプログラムであって、前記コンピュータプログラムコードは、第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置の少なくとも１つのプロセッサ上で実行されると、前記装置に、少なくとも、
前記第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、前記第一仮想現実コンテンツは、第一仮想現実空間を形成するための複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
前記第二仮想現実コンテンツキャプチャデバイスによって、前記同じシーンの第二仮想現実コンテンツをキャプチャすることであって、前記第二仮想現実コンテンツは、第二仮想現実空間を形成するための複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
を実行させるように構成され、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサ上で実行されると、前記装置に、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供することを実行させるようにさらに構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を含む、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、仮想現実の分野に関し、具体的には、仮想現実装置によるコンテンツの提示および前記提示されたコンテンツの制御に関する。また、関連する方法、コンピュータプログラム、および装置も開示される。特定の開示諸態様／諸例は、携帯電子デバイスに関し、具体的には仮想現実装置および仮想現実ヘッドセット／眼鏡に関する。
【背景】
【０００２】
仮想現実は、ユーザに没入型の仮想体験を提供するため、眼鏡もしくはゴーグルなどのヘッドセット、またはユーザを取り囲む１つ以上のディスプレイを用いてよい。仮想現実装置は、ユーザが仮想現実空間内に存在しているようにシミュレートするため、ユーザに対し仮想現実空間を表現するマルチメディア仮想現実コンテンツを提示することができる。この仮想現実空間は、幅広いまたは３６０°の視野（これは水平配向の視野の上方および／または下方を含み得る）を有する映像などのパノラマ映像によって提示することが可能である。仮想現実によって提供されるこの没入型の体験は、複数の仮想現実コンテンツキャプチャデバイス、および、ユーザがかかる仮想現実コンテンツを遣ってやり取りするためのいろいろな仕方を用いて、インタラクティブ・コンテンツを生みだすための機会を提供する。
【０００３】
本明細書中の、過去に発行された文書または何らかの背景の記載または説明は、その文書または背景が、必ずしも、最新技術の一部または共通の一般的知識であることの認容として取られるべきではない。本開示の１つ以上の態様／例は、これら背景事項の１つ以上について言及することもしないこともある。
【摘要】
【０００４】
第一例示態様において、第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置が提供され、
第一仮想現実コンテンツキャプチャデバイスによってキャプチャされたシーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための複数の視角によるシーンの画像を含み、
第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための複数の視角によるシーンの画像を含み、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本装置は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供するように構成され、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
【０００５】
これは、融合仮想現実空間を形成するために、複数の情報源からのＶＲコンテンツを選択的に組み合わせることができるので有利である。融合仮想現実空間は、インタラクティブな仮想現実コンテンツの没入的および効果的な映像を提供するためそのイメージを操作できるので都合がよい。
【０００６】
この仮想現実コンテンツキャプチャデバイスは携帯型であってよい。融合仮想現実空間は、２つ以上のまたは３つ以上の仮想現実コンテンツキャプチャデバイスからの仮想現実コンテンツの画像の融合体を備えることができる。各仮想現実コンテンツキャプチャデバイスは、互いのデバイスと所定の距離内にある必要があり得るか、または、各仮想現実コンテンツキャプチャデバイスは、複数のＶＲコンテンツキャプチャデバイスの仮想中心点から所定の距離内にある必要があり得る。
【０００７】
１つ以上の例において、第二コンテンツキャプチャデバイスの姿が入っている、第一コンテンツキャプチャデバイスによって得られた第一仮想現実コンテンツの画像またはその部分の１つ以上は融合仮想現実空間から除外され、第二コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った当該シーンの対応する部分の１つ以上の画像またはその部分によって代置され、および／または
第一コンテンツキャプチャデバイスの姿が入っている、第二コンテンツキャプチャデバイスによって得られた第二仮想現実コンテンツの画像またはその部分の１つ以上は融合仮想現実空間から除外され、第一コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った当該シーンの対応する部分の１つ以上の画像またはその部分によって代置される。
【０００８】
これは、コンテンツキャプチャデバイス自体は、融合仮想現実空間中で見えないので都合がよい。ＶＲコンテンツキャプチャデバイスは、複数の視角で画像をキャプチャする複数のカメラを含んでよく、本装置は、これらＶＲコンテンツ源のそれぞれから、どの画像またはその部分を使うかを選択するように構成され得る。１つ以上の例において、ほぼ半球の領域に亘って延びる視角を有する画像またはその部分が、第一ＶＲコンテンツキャプチャデバイスから選択され、反対方向に面するほぼ半球の領域に亘って延びる視角を有する画像が、第二ＶＲコンテンツキャプチャデバイスから選択され、融合仮想現実空間はこれらの半球の領域の画像に基づく。
【０００９】
１つ以上の例において、融合仮想現実空間は、第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた第一仮想現実コンテンツから形成可能な第一仮想現実空間の視点と、第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた第二仮想現実コンテンツから形成可能な第二仮想現実空間の視点との間に仮想の視点を有する。コンテンツから生成される仮想現実空間の視点は、当該関連ＶＲコンテンツキャプチャデバイスの中央に位置するように見え得る。しかしながら、融合仮想現実空間は、両方のＶＲコンテンツキャプチャデバイスの間など、それらの中心の外側に視点を有するように見え得る。
【００１０】
１つ以上の例において、第一および第二仮想現実コンテンツがキャプチャされたときの、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、第一仮想現実コンテンツと第二仮想現実コンテンツとの視点の違いに対し、画像ひずみ効果を含む融合仮想現実空間の映像を提供する。１つ以上の例において、この画像ひずみ効果は、少なくとも、融合仮想現実空間を形成する第一仮想現実コンテンツからの画像と第二仮想現実コンテンツからの画像との間の境界沿いに位置する画像またはその部分を用いて適用される。１つ以上の例で、この画像ひずみ効果は、融合仮想現実空間中の他の場所に提示されるか、または、融合仮想現実空間中のユーザが現在見ている場所に基づいて提示されてもよい。
【００１１】
１つ以上の例において、第一および第二仮想現実コンテンツがキャプチャされたときの、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、第一仮想現実コンテンツと第一仮想現実コンテンツとの視点の違いに対し、不連続部を含む融合仮想現実空間の映像を提供する。１つ以上の例において、この不連続部は、融合仮想現実空間を形成する第一仮想現実コンテンツからの境界画像と第二仮想現実コンテンツからの境界画像との間に提示することができ、これらの境界画像は、融合仮想現実空間を形成する第一仮想現実コンテンツから得られた画像と第二仮想現実コンテンツから得られた画像との間の境界沿いに位置する画像を含む。１つ以上の例では、この不連続部は、融合仮想現実空間中の他の場所に提示されるか、または、融合仮想現実空間中のユーザが現在見ている場所に基づいて提示されてもよい。１つ以上の例において、この不連続部はギャップを備える。
【００１２】
１つ以上の例において、第一および第二仮想現実コンテンツがキャプチャされたときの、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、第一仮想現実コンテンツと第一仮想現実コンテンツとの視点の違いに対し、仮想現実中に、ユーザ選択に基づいて、第一仮想現実空間および第二仮想現実空間のうちの１つを備える選択された仮想現実空間の映像を提供し、これにより、ユーザが、当融合仮想現実空間の視聴に後続して、第一および第二仮想現実空間のどちらかを見るかを選ぶことを可能にする。これは、本装置が、ユーザがどちらのＶＲコンテンツキャプチャデバイスからアクションを視聴するかを選択できる、インタラクティブなＶＲ体験を提供できるので有利である。
【００１３】
１つ以上の例において、当融合仮想現実空間の映像の提供と選択された仮想現実空間の映像の提供との間の移行において、該融合仮想現実空間中で、選択されなかった仮想現実空間に関連する第一／第二仮想現実コンテンツから得られた画像へのフェージング効果の映像を提供する。このフェージング効果は、ユーザの選択に処置が取られていることを表すことができ有利であり得る。
【００１４】
１つ以上の例において、当融合仮想現実空間の映像の提供と、選択された仮想現実空間の映像の提供との間の移行において、選択された仮想現実空間が仮想現実中の全視角で漸増的に視取可能となるように、選択された仮想現実空間のより多くの映像を漸増的に提示する。１つ以上の例では、当融合仮想現実空間の映像の提供と、選択された仮想現実空間の映像の提供との間の移行において、選択された仮想現実空間に関連する仮想現実コンテンツから得られた融合仮想現実空間中の画像の数を次第に増やしながら、選択された仮想現実空間の映像を提供する。
【００１５】
しかして、融合仮想現実空間において、第一および第二ＶＲコンテンツキャプチャデバイスの何れかからのイメージは、ユーザのＶＲ視聴においてあり得る視角の一部をカバーすることが可能なだけで、したがって、この移行の過程で、より多くの視角で選択されたＶＲ空間からのイメージを漸増的に示すことは、効果的なフィードバックを提供する。
【００１６】
１つ以上の例において、ユーザ選択は、ユーザ入力デバイスからのシグナリング、ユーザのジェスチャ、ユーザの音声コマンド、ユーザの頭の方向、およびユーザの視線コマンドのうちの何れか１つに基づく。しかして、ユーザは、選択を行うための、ハンドヘルドデバイスまたは他の入力デバイスを有してよい。自由空間のユーザジェスチャをキャプチャするための、タッチスクリーンまたはカメラまたは他のセンサなど、ユーザのジェスチャをキャプチャするための装置を備えることが可能である。入力は、音声コマンドを聴取するマイクロフォンによって与えられてもよい。コンテンツは仮想現実を用いて表示されるので、ＶＲヘッドセット中のセンサなどからの頭の方向または眼の方向を、ユーザ入力として用いることも可能である。
【００１７】
１つ以上の例において、第一仮想現実コンテンツおよび第二仮想現実コンテンツは、
ｉ）仮想現実コンテンツがキャプチャされたときに、対応するコンテンツキャプチャデバイスが所在していた地理的位置、および／または
ｉｉ）他方のコンテンツキャプチャデバイスの相対的位置、
を示す位置情報を含み、
融合仮想現実空間を形成するための第一および第二仮想現実コンテンツからの画像の融合は、この位置情報基づいて、融合仮想現実空間を生成する際に仮想現実コンテンツキャプチャデバイスの１つの姿が入っている画像またはその部分の１つ以上が除外されるように行われる。しかして、この位置情報は、美的に快適な融合仮想現実空間を確保するために、イメージの間の境界などで、イメージをどのようにひずませ、ねじらせることが可能かについてのパラメータを提供するなど、ＶＲコンテンツを如何に組み合わせるかを決めるため有利に使用することができる。
【００１８】
１つ以上の例において、融合仮想現実空間を形成するための第一および第二仮想現実コンテンツからの画像の選択は、融合仮想現実空間を生成する際に、仮想現実コンテンツキャプチャデバイスの１つの姿が入っている画像またはその部分を除外するべく識別するために画像の１つ以上に対し行われる画像特徴認識に基づく。しかして、画像認識は、ＶＲコンテンツキャプチャデバイスの相対的位置の代わりにまたはそれに加えて使用されてよい。
【００１９】
１つ以上の例において、第一および第二仮想現実コンテンツをキャプチャする際に、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが、所定の距離よりも遠く離れて位置し、だが、第一および第二仮想現実コンテンツキャプチャデバイスの１つまたは両方が、他方の仮想現実コンテンツキャプチャデバイスによってキャプチャされた第一および第二仮想現実コンテンツの中に見える場合、仮想現実コンテンツキャプチャデバイスの姿を除去するための画像編集を含む、関連仮想現実コンテンツから形成された仮想現実空間の１つの映像を提供する。しかして、本装置が融合仮想現実空間を提供できない、所定距離を超えたところでは、仮想現実コンテンツキャプチャデバイスの姿が見えることを克服するために、自動画像編集を備えることが可能である。
【００２０】
さらなる態様において、或る方法が提供され、本方法は、
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャすることであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
を備え、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたときに、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本方法は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することをさらに備え、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
【００２１】
さらなる態様において、コンピュータプログラムコードを備えるコンピュータプログラムが提供され、該コンピュータプログラムコードは、第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置の少なくとも１つのプロセッサ上で実行されると、該装置に、少なくとも、
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャすることであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
を実行させるように構成され、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本コンピュータプログラムコードは、該少なくとも１つのプロセッサ上で実行されると、該装置に、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することを実行させるようにさらに構成され、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と、第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
【００２２】
さらなる態様において、格納されたコンピュータプログラムコードを備えるコンピュータ可読媒体が提供され、該コンピュータプログラムコードは、前述の態様の方法により形成された融合仮想現実空間を表現する。
【００２３】
さらなる態様において、或る装置が提供され、本装置は、
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャし、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含み、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャし、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、
ように構成された手段を備え、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたときに、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本方法は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することをさらに備え、該融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と。第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
【００２４】
本開示には、互いに対応する１つ以上の側面、例、または特徴が、単独でまたは様々な組み合わせで、明示的又は暗示的に、開示されている。また、説明した諸機能の１つ以上を実行するための、対応する手段および対応する機能ユニット（例えば、機能イネーブラ、画像セレクタ、融合空間フォーマ、仮想現実空間レンダラ、仮想現実表示レンダラ、ユーザ入力レシーバ）は本開示の範囲内にある。
【００２５】
開示された方法の１つ以上を実装するための対応するコンピュータプログラムも本開示内であり、記載された諸例の１つ以上によって網羅される。
【００２６】
前述の摘要は、単に例示を意図したものであり限定ではない。
【００２７】
以下に、単なる例として、添付の図面を参照しながら説明を行う。
【図面の簡単な説明】
【００２８】
【図１】本開示の一実施形態による、仮想現実装置、コンテンツストレージ、および仮想現実ヘッドセットを含む、いくつかの電子コンポーネントを備えるシステムの一部として、或る例示の装置の実施形態を示す。
【図２】２つの仮想現実コンテンツキャプチャデバイスによって取られた或る例示のパスを示す。
【図３】複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。
【図４】複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。
【図５】複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。
【図６】複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。
【図７】複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。
【図８】融合仮想現実空間の形成を、図的に示す。
【図９】本開示の或る方法によるフローチャートを示す。
【図１０】プログラムを備えたコンピュータ可読媒体を概略的に示す。
【詳細説明】
【００２９】
仮想現実（ＶＲ）は、ユーザに没入型仮想体験を提供するため、眼鏡もしくはゴーグルなどのヘッドセットまたはユーザを取り囲む１つ以上のディスプレイを用いてよい。仮想現実装置は、ユーザが仮想現実空間内に存在しているようにシミュレートするため、仮想現実空間を表すマルチメディア仮想現実コンテンツを提示することができる。仮想現実空間は、ユーザが実世界の場所に物理的に存在するようにシミュレートするために実世界環境を模写してもよく、または仮想現実空間は、コンピュータ生成であってももしくはコンピュータ生成と実世界マルチメディアコンテンツの組み合わせであってもよい。仮想現実空間は、幅広いまたは３６０°の視野（これは水平配向の視野の上方および／または下方を含み得る）を有する映像など、パノラマ映像によって提示することが可能である。仮想現実装置は、ユーザに、表示された仮想現実空間とのインタラクションを提供することができる。ユーザに提供される仮想現実コンテンツは、例えば、パノラマ映像キャプチャデバイスまたはテレプレゼンスデバイスなどの仮想現実コンテンツキャプチャデバイスによってキャプチャされた、実世界のライブなまたは録画された画像を備えてよい。仮想現実コンテンツキャプチャデバイスの一例には、ノキアのＯＺＯカメラがある。仮想現実空間は、３６０°以上の視野を備えることができ、ＶＲユーザの頭または眼の動きに基づいて、前記視野周りのパンを提供することが可能である。仮想現実空間の仮想現実の眺めは、ヘッドセット中のディスプレイを介して仮想現実装置によって前記ユーザに提供することができる。しかして、この仮想現実空間は、ＶＲ装置のユーザには、仮想現実コンテンツの画像から生み出された三次元空間として見える。このように、ＶＲコンテンツは、複数の視角で撮られた画像を含み、これらは、（途切れのない、連続的な）「取り囲み形の」視野を形成するために一緒に表示し配列することができる。
【００３０】
図１は、ＶＲコンテンツの複数の源泉からの画像の融合体を備える融合仮想現実空間の映像を提供するよう構成された装置１００を示し、これについては後記で説明することとする。この例において、装置１００は、コンピュータサーバ１０１によって機能的に提供され、これはメモリおよびプロセッサを備えることできる。この例では、サーバ１０１は、ユーザまたはコンテンツ産生者による使用のため、仮想現実ヘッドセット１０３と組み合わさって、仮想現実装置１０２の機能の少なくとも部分を提供する。装置１００は、２つ以上の仮想現実コンテンツキャプチャデバイスによって取得された仮想現実コンテンツからの融合仮想現実空間を提示することができ、コンテンツキャプチャデバイスからのこの仮想現実コンテンツは、仮想現実コンテンツストア１０５中に、過渡的に、一時的に、またはもっと恒久的に格納される。いくつかの例において、装置１００は、仮想現実装置１０２から離間していて、それとの通信リンクを有してよい。
【００３１】
いくつかの例では、装置１００は、複数のＶＲコンテンツキャプチャデバイスによりキャプチャされた仮想現実コンテンツから、融合仮想現実空間を生成するよう構成された仮想現実コンテンツ産生デバイスの部分である。したがって、このＶＲコンテンツ産生デバイスは、コンテンツ産生者／他のユーザに対し融合仮想現実空間を表示し、および／または、ＶＲ装置のユーザへの後の表示のため、生成された融合仮想現実空間を備える生成仮想現実コンテンツを録画することができる。他の例において、この装置は、融合仮想現実空間を備えるＶＲコンテンツなどの仮想現実コンテンツを「プレイする」ため、仮想現実装置の一部とされるかまたはこれと関連付けられる。１つ以上の例において、この装置は、ユーザへの表示のために複数のＶＲコンテンツからリアルタイムで融合仮想現実空間を生成することができる。
【００３２】
この例では、１つの装置サーバ１０１が、仮想現実（ＶＲ）装置１０２と、融合仮想現実空間の映像を提供するための装置１００との機能を提供する。一般に、当然のことながら、これらの装置１００、１０２は物理的に離間していても、および／または一緒にグループ化されていてもよい。
【００３３】
この実施形態において、前述のサーバ１０１または各装置１００、１０２は、１つだけのプロセッサおよび１つのメモリを有してよいが、当然のことながら、他の実施形態は、（例えば、同じまたは異なったプロセッサ／メモリ種類の）１より多いプロセッサおよび／または１より多いメモリを用いてもよい。さらに、装置（群）１００、１０２は、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）であってもよい。
【００３４】
このプロセッサは、メモリ中にコンピュータプログラムコードの形で格納された命令に従って、コンテンツストア１０５および（ＶＲヘッドセット１０３または入力デバイス１０４などを介しての）ユーザ入力など、他のコンポーネントから受信された情報を実行／処理するための専用の汎用プロセッサであってよい。プロセッサのかかるオペレーションによって生成された出力シグナリングは、次いで、１０２、１０３などさらなるコンポーネントに送られる。
【００３５】
このメモリ（必ずしも単一のメモリユニットではない）は、コンピュータプログラムコードを格納するコンピュータ可読媒体（この例では固体メモリであるが、ハードドライブ、ＲＯＭ、ＲＡＭ，フラッシュなど、他の種類のメモリであってもよい）である。このコンピュータプログラムコードは、該プログラムコードがプロセッサ上で実行されたときにそのプロセッサによって実行可能な命令を格納する。１つ以上の例示の実施形態において、メモリとプロセッサとの間の内部接続は、プロセッサがメモリに格納されたコンピュータプログラムコードにアクセスできるように、プロセッサとメモリとの間にアクティブな結合を備えるものとして理解することができる。
【００３６】
この例において、プロセッサおよびメモリは、それぞれのコンポーネントの間での電気通信を可能にするため、全て内部で相互に電気的に接続されている。この例では、これらコンポーネントは、合わさってＡＳＩＣとして形成されるように、言い換えれば、電子デバイスの中に取付け可能な単一のチップ／回路として組み込まれるように、全て相互に近接して配置される。いくつかの例では、１つ以上または全てのコンポーネントは相互から別れて配置されてもよい。
【００３７】
上記により、装置１００は、ＶＲコンテンツを表すシグナリングをコンテンツストア１０５から受信して、融合仮想現実空間を表示するためシグナリングをＶＲ装置１０２に送ることが可能である。次いで、ＶＲ装置１０２は、ＶＲヘッドセット１０３を介して、ユーザに向け融合仮想現実空間を表示することができる。装置１００は、入力デバイス１０４から受信されたシグナリングに基づいて、複数のＶＲコンテンツキャプチャデバイスのＶＲコンテンツから生成された融合仮想現実空間の映像の提供と、単一のＶＲコンテンツキャプチャデバイスからの単一のＶＲコンテンツから生成された仮想現実空間との間の移行を提供することができる。
【００３８】
複数のＶＲコンテンツキャプチャデバイスが、共通のシーン中のＶＲコンテンツをキャプチャするために使われる場合、ＶＲコンテンツキャプチャデバイスの１つだけからのＶＲコンテンツを表示するよりも、むしろ、複数のコンテンツキャプチャデバイスから得られたＶＲコンテンツから生成された仮想現実空間の映像を提供する方が有利であり得よう。しかして、各ＶＲコンテンツキャプチャデバイスは、ユーザに対する仮想現実表示のための仮想現実空間が生成できるように、複数の視角で画像をキャプチャすることができる。コンテンツキャプチャデバイスが相互への所定の距離内にあるなど、一緒に近接して配置されている場合、融合仮想現実空間を含め、仮想現実空間は、複数の視点からの画像、すなわち相異なるＶＲコンテンツキャプチャデバイスから得られたＶＲコンテンツを用いた映像を提供することが可能である。
【００３９】
図２は、仮想現実コンテンツをキャプチャする際、相互に対し様々な位置にある、２つのＶＲコンテンツキャプチャデバイス２０１および２０２を示す。位置ａ、ｂ、およびｃの各々に所在するＶＲコンテンツキャプチャデバイスの間の区分をするために参照符号２０１および２０２には、接尾語ａ、ｂ、およびｃが付加されている。別の例では、２より多くのＶＲコンテンツキャプチャデバイスがあってもよい。この例では、仮想現実コンテンツキャプチャデバイス２０１、２０２は、ノキアのＯＺＯカメラを備えているが、ただし、他の仮想現実コンテンツキャプチャデバイスも利用可能である。この例において、ＶＲコンテンツキャプチャデバイスは、実世界の仮想現実コンテンツをキャプチャするように構成されている。これらの仮想現実コンテンツキャプチャデバイスは、それぞれが、周囲のシーンをキャプチャするため相異なる視角に方位付けられた、複数のカメラ２０３を備えてよい。仮想現実空間は、これらの画像から形成することが可能で、これらコンテンツキャプチャデバイスによって得られたＶＲコンテンツには、仮想現実空間を形成するために前処理または後処理をすることができる。仮想現実空間は、諸視角の球面に亘って拡がる画像のパッチワークと見なしてもよい。１つ以上の例において、当然のことながら、この視覚の球面は不完全なことがあり、しかして、例えば、コンテンツキャプチャデバイスの車輪が位置し得る該デバイスの底部に向いているなど、画像のパッチワークが不完全な領域を含み得る。ＶＲコンテンツキャプチャデバイス２０１、２０２は移動型であり、シーン中をあちこち動けるように車輪を有する。ＶＲコンテンツキャプチャデバイス２０１、２０２は遠隔制御が可能である。
【００４０】
これらＶＲコンテンツキャプチャデバイスは、複数のカメラ２０３からの、動画像または映像など、仮想現実空間を形成するために処理し一緒に「縫い合わせる」ことの可能な複数の画像を備えたＶＲコンテンツを生成することができる。このように、ＶＲコンテンツキャプチャデバイスにより生成されたＶＲコンテンツは、複数の画像を組み合わせてまたは「一緒に縫い合わせて」形成された仮想現実空間を備えることができ、または別の装置によって仮想現実空間を生成するための複数の画像を含むことが可能である。しかして、これらＶＲコンテンツの画像は、仮想現実コンテンツキャプチャデバイスの能力次第で、縫い合わされた仮想現実空間の時間連続的フレームであっても、および／または仮想現実空間を形成すべく一緒に縫い合わせるための画像群（ならびに対応する時間連続的な画像群）であってもよい。
【００４１】
この仮想現実空間は、少なくとも、当該空間のＶＲ装置によって提供される仮想現実視野よりも大きい画像から形成された空間を備えてよく、且つ少なくとも１８０°または２７０°または３６０°の視野を備えてよい。しかして、ＶＲ装置のユーザは、全体のＶＲ空間を認識するために、自分の頭を動かすなどして、ＶＲ空間を周ってパンすることができる。本例のＶＲコンテンツキャプチャデバイスは、複数のカメラを使って、ほぼ球形状の視野をキャプチャするように構成することが可能である。
【００４２】
図２では、位置「ａ」においてＶＲコンテンツキャプチャデバイス２０１ａ、２０２ａは、例えば所定の距離より遠く離れるなど、当初は離れて配置されている。各ＶＲコンテンツキャプチャデバイス２０１ａ、２０２ａは、例えば、同時に行われ得る映画製作の別々のセクションのＶＲコンテンツをキャプチャしているのかもしれない。この例において、各ＶＲコンテンツキャプチャデバイス２０１、２０２は、異なる俳優または女優を追っているのかもしれない。しかして、各ＶＲコンテンツキャプチャデバイス２０１ａ、２０２ａは、ＶＲ装置のユーザに向けた仮想現実表示のための仮想現実空間を形成するのに使うことのできるＶＲコンテンツを生成／録画している。
【００４３】
位置「ｂ」で、ＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂは、相互に所定の距離内にするなど、同一場所に一緒に配置されている。かかる配置において、第二コンテンツキャプチャデバイス２０２ｂによってキャプチャされたＶＲコンテンツ中に、第一コンテンツキャプチャデバイス２０１ｂの明瞭な姿が入っている可能性があり、その逆もあり得よう。したがって、装置１００は、融合仮想現実空間を形成するために、ＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂ両方からのＶＲコンテンツを用いるように構成されてよい。融合仮想現実空間は、それがＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂの１つまたは両方の姿または画像を含まないように生成することができる。融合仮想現実空間は、コンテンツキャプチャデバイス各々の複数カメラによってキャプチャされた複数の画像のサブセットに基づいてよい。例えば、第一コンテンツキャプチャデバイスの一方の半球側上の複数のカメラによってキャプチャされた画像は、第二コンテンツキャプチャデバイスの対向半球側上の複数のカメラによってキャプチャされた画像と併せ使用することができる。ＶＲコンテンツが（例えば、基本的には球形状画像である）仮想現実空間を備える場合、該融合仮想現実空間は、第一コンテンツキャプチャデバイスからの仮想現実空間の一部と、第二コンテンツキャプチャデバイスからの仮想現実空間の一部とに基づくことが可能である。しかして、融合仮想現実空間は、処理のいろいろな段階において、すなわち、例えば、カメラ２０３の画像の縫い合わせの前の処理または後の処理においてＶＲコンテンツから生成することができる。当然のことながら、２を上回るＶＲコンテンツキャプチャデバイスが存在する場合、融合仮想現実空間は、ＶＲコンテンツキャプチャデバイスの２つ以上からのＶＲコンテンツを備えてよい。どのＶＲコンテンツを使うかの選択は、コンテンツの分析またはＶＲコンテンツキャプチャデバイスの相対的位置に基づけばよい。
【００４４】
位置「ｂ」で、ＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂの両方は、各ＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂが割り当てられた俳優／女優の両方を包含する映画のセクションなど、共通のシーン中のＶＲコンテンツをキャプチャしているのかもしれない。
【００４５】
位置「ｃ」において、第一ＶＲコンテンツキャプチャデバイス２０１ｃと第二ＶＲコンテンツキャプチャデバイス２０２ｃとは、物理的に離れて移動すなわち互いに遠ざかっている。これにより、これらＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂが、相互に対し所定の距離内にあるときは、融合仮想現実空間を生成することが可能であり得る一方、信じられるまたは美的に容認可能な融合仮想現実空間を生成するためには遠く離れ過ぎている場合は、離間状態となる。しかして、一方のＶＲコンテンツキャプチャデバイスの視点は、他方のＶＲコンテンツキャプチャデバイスの視点とは違い過ぎる（すなわち、遠く離れてい過ぎる）。したがって、装置１００は、融合仮想現実空間の映像から、ＶＲコンテンツキャプチャデバイスの１つからの仮想現実空間の１つの映像に移行する必要があり得る。
【００４６】
この所定の距離は、融合ＶＲ空間を生成するのに使われるソフトウェアの洗練さ、または利用可能な処理法、またはＶＲコンテンツキャプチャデバイスのカメラのレンズもしくはカメラの設定、または他の要素のうちの１つ以上に依り得る。通常、この所定の距離は、１００メートルまで、または好ましくは３０メートルまでの距離を有する。
【００４７】
当然のことながら、この所定の距離を超えても、ＶＲコンテンツキャプチャデバイスの一方のＶＲコンテンツが、他方のＶＲコンテンツキャプチャデバイスの姿を含んでいることがまだあり得、その逆もあり得る。このような場合、融合仮想現実空間を生成するよりもむしろ、他方のコンテンツキャプチャデバイスの姿を除去すべく、ＶＲコンテンツまたは仮想現実空間をデジタル編集するため、他の画像編集技法を用いることが可能である。しかして、ＶＲコンテンツキャプチャデバイスを識別するために画像認識技法を使用してよく、次いで、他方のＶＲコンテンツキャプチャデバイスの姿を除去するために（例えば、ＶＲコンテンツキャプチャデバイスの姿を置き換えるための周囲背景による内挿または時間的に異なる点からの画像情報の使用などの）画像編集を適用すればよい。このため、該装置は、ＶＲコンテンツキャプチャデバイス２０１、２０２が互いに近づいたり遠ざかったりすることに対し、デジタルに除去された他方コンテンツキャプチャデバイスの姿を含む仮想現実空間の映像の提供と、融合仮想現実空間の映像の提供との間の移行を提供することができる。この移行は、画像またはその部分に対するワーピング、視点調整、光／色調整の１つ以上を含んでよい。
【００４８】
このようなＶＲコンテンツの生成によって、インタラクティブなストーリー展開を提供することができる。このように、ユーザは、例えば第一コンテンツキャプチャデバイス２０２ａなど、ＶＲコンテンツキャプチャデバイスの１つの視点（点２０４で表されている）からＶＲ「映画」を見ることが可能となる。しかして、点２０４は、ＶＲコンテンツを見ているユーザの視点を表す。その後で、ＶＲコンテンツキャプチャデバイスが位置「ｂ」にあるとき、装置１００は、ユーザに融合仮想現実空間の映像を提供することができる。融合ＶＲ空間を見ているユーザの視点を表す点２０５が、第一および第二ＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂの物理的位置の間に示されている。しかして、ユーザに、両方のデバイス２０１ｂおよび２０２ｂからのＶＲコンテンツの画像から形成された融合仮想現実空間が提示される際、ユーザに対する「仮想視点」は、あたかもそれが第一仮想現実空間の視点と第二仮想現実空間の視点との間にあるように見える。装置１００は、このとき、ユーザがどちらの仮想現実空間を追い求めたいかのユーザ選択を必要とし得る。上記により、図２の例において、ユーザは、第二仮想現実コンテンツキャプチャデバイス２０２ｃのＶＲコンテンツから生成された仮想現実空間を選択しており、これは点２０６によって表されている。しかして、点２０４、２０５、２０６は、ＶＲ装置のユーザの視点が、複数のＶＲコンテンツキャプチャデバイスによってキャプチャされたＶＲコンテンツの間でどのように移動することが可能かを示す。
【００４９】
以降の諸図は、位置「ｂ」に基づき、また位置「ｂ」から位置「ｃ」への移行に基づき、ユーザに表示され得るものの例を示す。当然のことながら、位置「ａ」から位置「ｂ」への移行で表示されるものは、位置ｂ〜ｃの移行の逆向きであり得る。
【００５０】
図３は、海浜のシーンの、仮想現実空間、具体的には融合仮想現実空間３００を示す。ＶＲ空間３００は、パノラマ画像として示されているが、ユーザが見取れるＶＲ空間を表すように意図されており、これは３６０°の画像であってよい。当然のことながら、ＶＲ装置のユーザは、このシーンのＶＲ空間が見取るのに広大に過ぎて、どの一時点でもこのＶＲ空間の全てを見ることはできず、ユーザは、その全てを見るためには、このシーンに対しＶＲコンテンツがキャプチャされた視角に対応して、自分たちの頭を動かさねばならない。第一および第二ＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂが、この海浜に存在し、両方ともＶＲコンテンツをキャプチャしている。この例において、これらコンテンツキャプチャデバイスは、警官３０１が泥棒３０２を追いかけるＶＲ映画をキャプチャしている。図２に関連して述べたように、仮想現実コンテンツキャプチャデバイス２０１ｂ、２０２ｂは同一場所に配置され、装置１００は、線図の３０３で示されている融合仮想現実空間の映像を提供する。この融合仮想現実空間３０３を表すためにほぼ球状の空間が示されており、この球の中心にいるＶＲ視聴者は、仮想現実によって提供された、３６０°取り囲み形のイメージに類似のこの球の全ての方向を見ることができる。この融合仮想現実空間３００は、明瞭化およびその構成要素を説明するために分解された形で示されている。上記で説明したように、融合仮想現実空間は、コンテンツキャプチャデバイス２０１ｂ、２０２ｂの両方からのＶＲコンテンツで形成される。この例において、第一仮想現実空間のほぼ半球状のセクション３０４は、第二仮想現実空間のほぼ半球状のセクション３０５と組み合わされる。当然のことながら、これらの半球状のセクションは、融合仮想現実空間を形成するのに使われた、半球表面に亘って延びる視角でのイメージを有するＶＲコンテンツの部分を表す。ＶＲコンテンツが縫合されていない画像を備えている場合、これら半球は、関連するＶＲコンテンツから画像のパッチワークを選択するのに使われた視角、すなわち、半球の半径の原点からその表面への方向に横たわる視角を示す。当然ながら、これら半球は、他方のＶＲコンテンツキャプチャデバイス２０１ｂ、２０２ｂの姿が入らないように選択することが可能である。これも当然のことながら、半球が示されているが、融合仮想現実空間の形成において、第一および第二仮想現実コンテンツまたはそれらの構成画像のうちの複数を他に換えて用いてもよい。この例において、融合仮想現実空間は、境界域３０６を含み、これは第一／第二ＶＲコンテンツの半球形に選択された部分に応じて、ほぼ円形のストリップを備える。この境界域は、第一ＶＲコンテンツと第二ＶＲコンテンツとの間の「結合個所」が滑らかで美的に容認可能なように、該境界域に沿って位置する第一および第二ＶＲコンテンツの画像の内挿を備えることが可能である。当然のことながら、本装置は、ＶＲコンテンツの間の結合ライン沿いの画像の間の不連続性を評価し、それによって境界域３０６の内挿を制御するように構成することができる。いくつかの例において、この境界域は必要のないことがあり、半球３０４、３０５は、融合仮想現��空間３０３を形成するため、画面平滑化効果の限られた使用またはその使用なしで一緒に当接させる（すなわち、半球によって表される視角による関連イメージが、相互に隣り合って表示される）ことが可能である。当然のことながら、画像の内挿が設けられる場所である境界域３０６の幅は、ＶＲコンテンツがキャプチャされるときのＶＲコンテンツキャプチャデバイスの間の物理的間隔の如何に依り得る。シーン３００において、境界域３０６は、中央部に垂直なストリップとして位置するが、その両側の画像の諸部分の内挿によって目立たない。
【００５１】
図４は、位置「ｂ」から位置「ｃ」への移行の開始を示す。コンテンツキャプチャデバイス２０１ｂ、２０２ｂの間の物理的離間は増しつつあるが、融合仮想現実空間が生成される所定の距離よりはまだ小さい。この例では、このシーン３００における融合仮想現実空間の境界域が、ボックス４００によって示されている。各半球（すなわち、各ＶＲコンテンツから得られた画像またはその部分）の視点が、現在さらに離れつつあるとすれば、境界域４０１の大きさ（またはこの例では幅）は増加する。しかして、この融合仮想現実空間は、そのイメージ中に、ボックス４００で示される、より大きな／幅広い内挿画像セクションを含む。これにより、融合仮想現実空間４０３の線図上の表現において、境界域ストリップ４０１はより幅広く伸びて示されている。これに応じ、融合仮想現実空間３００において、ボックス４００内の領域は、矢印４０４によって示されたストレッチ効果またはワーピング効果など、画像ひずみ効果とともに示されている。ストレッチ効果は、境界域４０１のサイズの増大によってもたらされ得、したがって、第一ＶＲコンテンツと第二ＶＲコンテンツとの間の内挿は、境界域がストレッチされて見える結果をもたらす。他の実施形態において、画像ひずみ効果は、人為的に適用することができる。このように、切れ目のない美的に受容可能な融合ＶＲ空間４０３が生成可能な一方、本装置は、融合仮想現実空間４０３の構成部分３０４、３０５が離れていくことを示すまたはその印象を与えるために、画像ひずみ効果を適用することができる。
【００５２】
この画像ひずみ効果を提供することは、融合仮想現実空間４０３を見ているユーザに、自分たちがどちらの視点を追い求めたいかについての選択をする必要があるとの直観的気配を与えるので都合がよい。この例では、第一ＶＲコンテンツキャプチャデバイス２０１ｂは警官３０１に関連付けられており、一方、第二ＶＲコンテンツキャプチャデバイス２０２ｂは泥棒に関連付けられている。しかして、ユーザ／ＶＲ視聴者は、警官または泥棒を追跡するかどうかを決めなければならない。このように、装置１００は、インタラクティブなＶＲコンテンツを提供することができ、これはこの例ではインタラクティブな映画である。
【００５３】
選択を行うためのユーザの入力は、タッチスクリーンデバイスまたはハンドヘルドデバイスなどの入力デバイス、音声コマンド、視線コマンドを介する、またはユーザが見つつある融合仮想現実空間中の箇処に基づくなど、任意の適切な手段によって装置１００に与えることが可能である。例えば、ユーザが、移行の期間に泥棒を見ていた場合、これは、第二ＶＲコンテンツキャプチャデバイス２０２ｂから得られた第二ＶＲコンテンツがユーザの選択であると見なすことができる。ユーザが見ている画像のどの部分を見ているかに基づく、頭の位置センサからのまたはＶＲ装置からのシグナリングは、他の「視角」の指標とともに使用することが可能である。
【００５４】
図５は、所定距離近くの（閾値内の）位置を示す。融合仮想現実空間５００が表示のため提示されているが、これは不連続部５０１を包含する。融合仮想現実空間５０３の線図では、この不連続部は、半球５０４、５０５の間のギャップ５０２として示されている。この不連続部は、融合仮想現実空間５００を形成する第一ＶＲコンテンツの画像群と第二ＶＲコンテンツの画像群との間の境界に沿って表示され得る。また、不連続部５０１は、融合仮想現実空間のこれらの「境界画像群」の間のギャップも備え得る。この不連続部は、受容できない閾値に達した境界域４０１への内挿のおかげで表示に供することが可能である。他の例において、この不連続部を人為的に表示することが可能で、しかして、切れ目のない美的に受容可能な融合ＶＲ空間５００が生成可能な一方、本装置は、融合仮想現実空間５０３の構成部分５０４、５０５が離れていくことを示すまたはその印象を与えるために、不連続性を適用することができる。他の例では、不連続部は、美的でないが快適な内挿に依るなどして、イメージ中の局所的なひずみ効果としてそれ自体を備えまたは表すことが可能である。
【００５５】
不連続部の表示は、ユーザが、第一および第二ＶＲコンテンツのどちらを追求したいかのユーザ選択を行うのをさらに促すので好都合である。
【００５６】
図６は、ＶＲユーザ６０１が、ＶＲヘッドセット６０２を使って、融合仮想現実空間６００の中で、第二ＶＲコンテンツキャプチャデバイス２０２ｃから得られた第二ＶＲコンテンツを見ているのを示す。融合仮想現実空間６００の中でかかる方角を見る行為は、ユーザの選択を決める視線コマンドを備えることが可能である。この例では、このユーザ選択に応じて、装置１００が、当融合仮想現実空間の映像に後続して、ＶＲ装置１０２によって、第二ＶＲコンテンツから生成された仮想現実空間の映像を提供するように構成される。これにより、装置１００は、ユーザにより視聴される仮想現実空間、すなわち第二仮想現実空間を表示するため、ユーザ選択の第二ＶＲコンテンツからのコンテンツだけが使われるようになるまで、第二ＶＲコンテンツから次第に多くのイメージの映像を、且つ第一ＶＲコンテンツからは次第に少なくなるイメージの映像を提供することができる。したがって、装置１００は、当融合仮想現実空間中に表示されていない第二ＶＲコンテンツの部分を、第一ＶＲコンテンツを置き換えるようにして漸増的に表示することが可能である。
【００５７】
図６は、第一ＶＲコンテンツから得られた部分６００ａが減少され、しかして仮想現実の映像から除去されていき、第二ＶＲコンテンツからの部分６００ｂが、それがＶＲユーザに表示される「面積」を拡げていくのを示す。
【００５８】
図７は、当融合仮想現実空間の映像に後続してユーザ６０１に表示される、第二ＶＲコンテンツからの第二仮想現実空間７００を示す。上記に応じ、この図は、位置「ｃ」にあるＶＲコンテンツキャプチャデバイスを示し、第二仮想現実空間７００を生成するために使われるＶＲコンテンツは、第二コンテンツキャプチャデバイス２０２ｃからもっぱら取得される。当然のことながら、コンテンツキャプチャデバイス２０１ｃは、第二コンテンツキャプチャデバイスの画像からは除去することができる。この映画は、以降、ユーザが泥棒の行動を見ながら続いてよい。
【００５９】
前述の諸実施形態において、融合仮想現実空間の形成は、第一ＶＲコンテンツからのイメージの半球と、第二ＶＲコンテンツからのイメージの半球と、おそらくは、例えば、何らかの配景ベースの不一致を円滑化するための内挿境界域との使用を備えるとして示されている。しかして、融合仮想現実空間は、第一コンテンツキャプチャデバイス２０１と第二コンテンツキャプチャデバイス２０２との間に位置する仮想視点を有する。ただし、当然のことながら、融合仮想現実空間は、その大部分に第一および第二ＶＲコンテンツの一方のイメージを含んでもよい。図８は、第一ＶＲコンテンツからの第一仮想現実空間８０１および第二ＶＲコンテンツからの第二仮想現実空間８０２を線図で示す。斜線部は、融合ＶＲ空間を形成するために使われ得る第一および第二ＶＲコンテンツの各々からのイメージの部分を示す。しかして、第二ＶＲ空間８０２のＶＲコンテンツのより大きな第一の部分８０３は、第一ＶＲ空間８０１のＶＲコンテンツのより小さな第二の部分８０４と一緒に使用される。部分８０４のＶＲコンテンツまたはその部分の画像は、除外された部分８０７のＶＲコンテンツまたはその部分の画像とほぼ共通の視角８０５、８０６を有する。しかして、融合ＶＲ空間を形成するに際し、第一および第二ＶＲコンテンツの一方から除外されたイメージの部分は、第一および第二ＶＲコンテンツの他方のほぼ類似の視角を持つ対応する部分によって充填される。
【００６０】
当然のことながら、本装置は、コンテンツキャプチャデバイスからのライブなＶＲコンテンツ、または事前録画されたＶＲコンテンツに基づいて、融合仮想現実空間を提供するように構成することが可能である。この事前録画されたコンテンツは、コンテンツキャプチャデバイスのＶＲコンテンツの再生および融合仮想現実空間の形成が、再生過程の適切な時間に提供されるように、タイムスタンプまたは他の同期情報を含んでよい。
【００６１】
図９は、以下のステップを説明するフロー図を示す。
（９００）第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャするステップであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による該シーンの画像を含む、該キャプチャするステップ、および第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャするステップであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャするステップ。第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で相互に対し所定の距離内に物理的に配置され、前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためである。
（９０１）仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供するステップであって、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える、提供するステップ。
【００６２】
図１０は、或る例による、プログラムを備えるコンピュータ／プロセッサ可読媒体１０００を概略的に示す。この例において、コンピュータ／プロセッサ可読媒体は、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ）またはコンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ  ｄｉｓｃ）などのディスクである。いくつかの例では、このコンピュータ可読媒体は、発明の機能を実行するようにプログラムされた任意の媒体であってよい。コンピュータプログラムコードは、同じ種類の複数のメモリ、またはＲＯＭ、ＲＡＭ、フラッシュ、ハードディスク、ソリッドステートなど、異なる種類の複数のメモリの間に分配されてよい。
【００６３】
ユーザの入力は、デバイスのユーザインタフェースの近傍でのタップ、スワイプ、スライド、加圧、掌握、回転ジェスチャ、浮遊停止ジェスチャ、デバイス近傍での旋回動ジェスチャ、デバイスの少なくとも部分的屈曲、デバイスの少なくとも部分的圧搾、複数指のジェスチャ、デバイスの傾斜、または制御デバイスのフリッピング、のうちの１つ以上を備えるジェスチャであってもよい。さらに、これらのジェスチャは、ユーザの腕などのユーザの身体、またはスタイラス、または自由空間ユーザジェスチャを行うのに適した他のエレメント、を使った自由空間ユーザジェスチャであってもよい。
【００６４】
前述の諸例で示された装置は、携帯電子デバイス、ラップトップコンピュータ、携帯電話、スマートフォン、タブレットコンピュータ、携帯情報端末、デジタルカメラ、スマートウォッチ、スマート眼鏡、ペンコンピュータ、据え置き型電子デバイス、デスクトップコンピュータ、モニタ、家庭電気機器、スマートＴＶ、サーバ、ウェアラブル機器、仮想現実装置、または前述の１つ以上に対するモジュール／回路であってよい。
【００６５】
前述のどの装置および／または前述の特定の装置の他の特徴も、有効化されたとき、例えばスイッチがオンにされたときなどだけに、所望の動作を実行するように構成され整備された装置によって提供することができる。かかる場合において、これら装置は、非使用可能状態（例えばスイッチオフ状態）では、必ずしもアクティブなメモリ中にロードされた適切なソフトウェアを有さないことがあり、有効状態（例えばオン状態）でだけ適切なソフトウェアをロードすることが可能である。本装置は、ハードウェア回路系および／またはファームウェアを備えてよい。本装置は、メモリ上にロードされたソフトウェアを備えてもよい。かかるソフトウェア／コンピュータプログラムは、同一のメモリ／プロセッサ／機能ユニット、および／または１つ以上のメモリ群／プロセッサ群／機能ユニット群に記録されてもよい。
【００６６】
いくつかの例において、前述の特定の装置には、所望のオペレーションを実行するために、適切なソフトウェアを事前プログラムすることが可能であり、この適切なソフトウェアは、ユーザが、例えば、該ソフトウェアおよびその関連機能をロック解除／有効にするための「キー」をダウンロードすることにより、そのユーザに対し有効化することができる。上記の例に関連する利点には、デバイスに対し追加の機能が必要なときに、データをダウンロードする必要量の削減を含めることができ、これは、デバイスが、かかる事前プログラムの対象となる、ユーザが有効にしない可能性のある機能のためのソフトウェアを格納するのに十分な容量を有することが分かっている場合には有用であり得る。
【００６７】
前述のどの装置／回路系／エレメント／プロセッサも、前述の機能に加えて他の機能を有してよく、これらの機能は、同一の装置／回路系／エレメント／プロセッサによって実行されてよい。１つ以上の開示された態様は、関連するコンピュータプログラムの電子的な配布、および適切な搬送体（例えばメモリ、信号）に記録されたコンピュータプログラム（これはソース／移送符号化されたものであってよい）を網羅することが可能である。
【００６８】
本明細書に記載のどの「コンピュータ」も、同じ回路基板に、または回路基板上の同じ領域／位置に、さらには同じデバイスに配置されていることもあり、いないこともある、１つ以上の個別のプロセッサ／処理エレメントの集合を備えることが可能である。いくつかの例において、前述したどの１つ以上のプロセッサ群も複数のデバイスに亘って分散されてよい。同じまたは異なったプロセッサ／処理エレメントが、本明細書に記載の１つ以上の機能を実行してもよい。
【００６９】
用語「シグナリング」とは、一連の送信および／または受信電気／光信号として送信される１つ以上の信号を称し得る。この一連の信号は、１、２、３、４のまたはさらに多くの個別信号成分、または前記シグナリングを構成する別々の信号群を備えてよい。これら個別の信号の一部または全部は、ワイヤレスまたは有線通信で、同時に、順次に、および／または、それらが互いに一時的にオーバーラップするようにして送信／受信することが可能である。
【００７０】
前述の何れのコンピュータ、および／またはプロセッサおよびメモリ（例えば、ＲＯＭ、ＣＤ−ＲＯＭなどを含む）の何れの説明を参照しても、これらは、コンピュータプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、および／または本発明の機能を実行するようにプログラムされた他のハードウェアコンポーネントを備えてよい。
【００７１】
本出願人は、本明細書によって、本明細書に記載の個別の特徴を、単独でおよびかかる特徴の２つ以上の任意の組み合わせで、当業者の共通の一般的知識に照らしてかかる特徴または組み合わせが全体として本明細書に基づいて実行できる限りにおいて、かかる特徴または特徴の組み合わせが本明細書に開示された何れかの問題を解決するかどうかにかかわらず、また本特許請求の範囲を限定することなく、開示する。本出願人は、開示された諸態様／諸例が、かかる何れかの個別の特徴または特徴の組み合わせから成り立ち得ることを表明する。前述の説明を考慮すれば、当業者には、本開示の範囲内で様々な変更を加えることが可能なことが明らかであろう。
【００７２】
基本的に新規な特徴をそれらの例に適用して示し、説明し、指摘してきたが、当業者は、本開示の範囲から逸脱することなく、説明されたデバイスおよび方法の形態および細部に様々な省略、代替、および変更を行うことが可能なことを理解していよう。例えば、同じ結果を達成するために実質的に同じ仕方で、実質的に同じ機能を実行するエレメントおよび／または方法ステップの全ての組み合わせは本開示の範囲内にあることが明確に意図されている。さらに、一切の開示された形態または例に関連して提示され、および／または説明された構造体および／またはエレメントおよび／または方法ステップは、設計チョイスの一般的事項として、任意の他の開示された、または説明された、または提案された形態または例の中に組み込みが可能なことを認識すべきである。さらに、本特許請求の範囲中の、ミーンズプラスファンクション条項は、述べられた機能を実行するとして本明細書中に記載された構造体、および構造的等価物だけでなく等価的構造体をも網羅する。しかして、釘とねじくぎとは、釘が木材部分を結合して固定するための円筒形表面を用い、一方、ねじくぎは螺旋表面を用いる点で、構造的等価物ではないかもしれないが、釘とねじくぎとは等価的構造体ではあり得る。
【図１】
2019512177.tif 000003
【図２】
2019512177.tif 000004
【図３】
2019512177.tif 000005
【図４】
2019512177.tif 000006
【図５】
2019512177.tif 000007
【図６】
2019512177.tif 000008
【図７】
2019512177.tif 000009
【図８】
2019512177.tif 000010
【図９】
2019512177.tif 000011
【図１０】
2019512177.tif 000012
【国際調査報告】
2019512177.tif 000013
2019512177.tif 000014
2019512177.tif 000015