(57)【要約】  本開示の実施形態は、仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法および装置を提供する。当該方法は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供する段階とを備える。
2021513773.tif 000002
【特許請求の範囲】
【請求項１】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する表示角度を決定する段階と
を備える方法。
【請求項２】
ＶＲ送信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連する、
請求項１に記載の方法。
【請求項３】
前記ＶＲ送信デバイスには、前記ＶＲ送信デバイスの前記動きにより生じる視野角変化情報を検出するように構成されたセンサが設けられ、
ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する前記段階は、
前記センサによりアップロードされる前記視野角変化情報に従って、前記画像フレームに対応する前記送信ユーザ視野角情報を決定する段階
を有する、
請求項２に記載の方法。
【請求項４】
表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度は、前記ＶＲ受信デバイスの動きに関連しない、
請求項１から３のいずれか一項に記載の方法。
【請求項５】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、
表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定する段階と、
決定された前記表示角度に従って、表示される前記現在の画像フレームを表示する段階と
を備える方法。
【請求項６】
表示される前記現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定する前記段階は、
表示される前記現在の画像フレームと、前記現在の画像フレームの前記予め設定された数の前の画像フレームとに対応する前記送信ユーザ視野角情報の平均値を計算する段階と、
表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度としての前記平均値を決定する段階と
を有する、
請求項５に記載の方法。
【請求項７】
表示される前記現在の画像フレームと、前記現在の画像フレームの前記予め設定された数の前の画像フレームとに対応する前記送信ユーザ視野角情報の平均値を計算する前記段階の前に、
隣接する前記予め設定された数の前の画像フレームに対応する前記送信ユーザ視野角情報に対する、表示される前記現在の画像フレームに対応する前記送信ユーザ視野角情報の変化度情報を決定する段階と、
予め設定された閾値に前記変化度情報が到達した場合、表示される前記現在の画像フレームと、前記現在の画像フレームの前記予め設定された数の前の画像フレームとに対応する前記送信ユーザ視野角情報の平均値を計算する前記段階をトリガする段階と
をさらに備える、請求項６に記載の方法。
【請求項８】
前記予め設定された閾値に前記変化度情報が到達していない場合、表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度として、前記現在の画像フレームに対応する前記送信ユーザ視野角情報を決定する段階
をさらに備える、請求項７に記載の方法。
【請求項９】
表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度は、受信ユーザによりトリガされる前記ＶＲ受信デバイスの動きに関連しない、
請求項５から８のいずれか一項に記載の方法。
【請求項１０】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、受信ユーザ視野角と送信ユーザ視野角との間の視差に従って、前記送信ユーザ視野角についてのプロンプト情報を提供する段階と
を備える方法。
【請求項１１】
ＶＲ送信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連し、前記ＶＲ送信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連する、
請求項１０に記載の方法。
【請求項１２】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、
表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、
表示される前記現在の画像フレームに対応する受信ユーザ視野角と送信ユーザ視野角との間の視差情報に従って、前記送信ユーザ視野角についてのプロンプト情報を生成する段階と、
表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する段階と
を備える方法。
【請求項１３】
前記ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連し、ＶＲ受信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ受信デバイスの動きに関連する、
請求項１２に記載の方法。
【請求項１４】
送信ユーザ視野角についてのプロンプト情報を生成する前記段階は、
前記視差情報に従って視覚化方向指示情報を生成する段階
を有し、
表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する前記段階は、
表示される前記現在の画像フレームが表示されるときに、前記視覚化方向指示情報を表示用の前記画像フレームにスーパーインポーズする段階
を有する、
請求項１２または１３に記載の方法。
【請求項１５】
送信ユーザ視野角についてのプロンプト情報を生成する前記段階は、
前記視覚化方向指示情報へ送信ユーザのユーザ識別情報を追加する段階
をさらに有する、
請求項１４に記載の方法。
【請求項１６】
送信ユーザ視野角についてのプロンプト情報を生成する前記段階は、
前記視差情報に従って音声プロンプト情報を生成する段階
を有し、
表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する前記段階は、
表示される前記現在の画像フレームが表示されるときに前記音声プロンプト情報を再生する段階
を有する、
請求項１２から１５のいずれか一項に記載の方法。
【請求項１７】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第１の送信ユーザ視野角情報決定ユニットと、
前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する表示角度を決定する、ように構成された第１のＶＲコンテンツ提供ユニットと
を備える装置。
【請求項１８】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、
表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成された表示角度決定ユニットと、
決定された前記表示角度に従って、表示される前記現在の画像フレームを表示するように構成されたディスプレイユニットと
を備える装置。
【請求項１９】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第２の送信ユーザ視野角情報決定ユニットと、
前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、受信ユーザ視野角と送信ユーザ視野角との間の視差に従って、前記送信ユーザ視野角についてのプロンプト情報を提供する、ように構成された第２のＶＲコンテンツ提供ユニットと
を備える装置。
【請求項２０】
仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、
表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成された受信ユーザ視野角情報決定ユニットと、
表示される前記現在の画像フレームに対応する受信ユーザ視野角と送信ユーザ視野角との間の視差情報に従って、前記送信ユーザ視野角についてのプロンプト情報を生成するように構成されたプロンプト情報生成ユニットと、
表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供するように構成されたプロンプト情報提供ユニットと
を備える装置。
【請求項２１】
拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
前記ＡＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＡＲ受信デバイスに提供することにより、前記ＡＲ受信デバイスが前記ＡＲコンテンツを表示する場合、前記ＡＲ受信デバイスが、表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームを前記ＡＲ受信デバイスが表示する表示角度を決定する段階と
を備える方法。
【請求項２２】
拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、
表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームをＡＲ受信デバイスが表示する表示角度を決定する段階と、
決定された前記表示角度に従って、表示される前記現在の画像フレームを表示する段階と
を備える方法。
【請求項２３】
拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
前記ＡＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＡＲ受信デバイスに提供することにより、前記ＡＲ受信デバイスが前記ＡＲコンテンツを表示する場合、前記ＡＲ受信デバイスが、受信ユーザ視野角と送信ユーザ視野角との間の視差に従って、前記送信ユーザ視野角についてのプロンプト情報を提供する段階と
を備える方法。
【請求項２４】
拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、
表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、
表示される前記現在の画像フレームに対応する受信ユーザ視野角と送信ユーザ視野角との間の視差情報に従って、前記送信ユーザ視野角についてのプロンプト情報を生成する段階と、
表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する段階と
を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１８年２月１４日に出願された中国特許出願第２０１８１０１５１９２２．０号の優先権を主張する、２０１９年２月２日に出願された国際出願第ＰＣＴ／ＣＮ２０１９／０７４５２９号の国内段階移行である。これらの出願の両方とも、参照により、その全体が本明細書に組み込まれる。
【背景技術】
【０００２】
本開示は概して、仮想現実ライブストリーミングの技術分野に関し、特に、仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置に関する。
［関連技術の説明］
【０００３】
仮想現実（ＶＲ）技術では、コンピュータを用いて、複数のコンピュータにより生成されるリアルタイム画像、前景画像、さらに現実画像から構成されるシミュレート環境を生成する。ユーザは、自分のモバイルデバイス（例えば、携帯電話）のスクリーン上で、または、専用のヘッドマウントディスプレイデバイス等を用いてシミュレート環境に入り込むことにより、そのような画像を見ることができる。ＶＲコンテンツと通常のビデオコンテンツとの間の顕著な差異の１つは、各ＶＲビデオフレームが３６０度パノラマ方式で撮影され得ることで、シーンをより明確かつ正確に再現できるということである。ビデオ再生処理において、再生デバイスのスクリーンは通常、平面構造であり、３６０度パノラマ方式で表示できないので、再生デバイスはまず、各画像フレームを表示するための表示角度として利用される視野角をユーザのために決定する必要がある。最初、ＶＲコンテンツは、デフォルトの表示角度を含み得る。再生処理において後に、見る人は、ヘッドマウントディスプレイデバイスを装着している事例では、ディスプレイデバイスを回転させることにより、または、自分の頭部を回したり、自分の眼球を転がしたりすることにより、視野角を変えることで、１つよりも多くの角度からビデオの各画像フレームのコンテンツを見ることができる。
【０００４】
ＶＲライブストリーミングは、ＶＲコンテンツをライブストリーミング技術と組み合わせた新規な応用である。ＶＲライブストリーミングにおいて、ＶＲコンテンツは通常、前もって作成されるＶＲビデオなどのコンテンツを含む。ＶＲコンテンツ送信デバイスが、ＶＲコンテンツを前もって取得し、次に、それを１または複数のＶＲ受信デバイスと同期的にリアルタイムで再生する。ＶＲライブストリーミングには多くの応用シナリオがある。例えば、インターネットベースの販売システムでは、いくつかの製品（例えば、家具または装飾製品）の販売には、特定の製品機能をよりはっきりと提示および展示するために大規模なシーンが必要とされる。ＶＲ技術を用いることで、それらの製品をそのようなシーンに前もって配置して、対応するＶＲコンテンツを作成できる。その後、ＶＲコンテンツは、ショッピングまたは購入中のユーザにＶＲライブストリーミングを介して再生され、ユーザは、特定の製品についてのより正確な情報を取得することが可能になる。様々なシナリオにおいて、ＶＲライブストリーミングは、映画のような純粋な表示コンテンツ、ゲームのような探検コンテンツ等をＶＲ受信デバイスへ送信するために用いられる。
【発明の概要】
【０００５】
本開示の実施形態は、ＶＲライブストリーミングにおける視野角の同期と関連する問題を解決するために、仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法および装置を提供する。
【０００６】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレーム、および、当該画像フレームに対応する送信ユーザ視野角情報をＶＲ受信デバイスに提供する段階とを備える。
【０００７】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定する段階と、決定された表示角度に基づいて、表示される現在の画像フレームを表示する段階とを備える。
【０００８】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて、送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供する段階とを備える。
【０００９】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲコンテンツ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成する段階と、表示される現在の画像フレームが表示されているときにプロンプト情報を提供する段階とを備える。
【００１０】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第１の送信ユーザ視野角情報決定ユニットと、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成された第１のＶＲコンテンツ提供ユニットとを備える。
【００１１】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成された表示角度決定ユニットと、決定された表示角度に基づいて、表示される現在の画像フレームを表示するように構成されたディスプレイユニットとを備える。
【００１２】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第２の送信ユーザ視野角情報決定ユニットと、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて、送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成された第２のＶＲコンテンツ提供ユニットとを備える。
【００１３】
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成された受信ユーザ視野角情報決定ユニットと、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザ視野角についてのプロンプト情報を生成するように構成されたプロンプト情報生成ユニットと、表示される現在の画像フレームが表示されているときにプロンプト情報を提供するように構成されたプロンプト情報提供ユニットとを備える。
【００１４】
本開示の一実施形態において、拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法は、ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲコンテンツ受信デバイスが表示する表示角度を決定するように構成されるように、ＡＲコンテンツにおける画像フレーム、および、当該画像フレームに対応する送信ユーザ視野角情報をＡＲ受信デバイスに提供する段階とを備える。
【００１５】
本開示の一実施形態において、拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲコンテンツ受信デバイスが表示する表示角度を決定する段階と、決定された表示角度に基づいて、表示される現在の画像フレームを表示する段階とを備える。
【００１６】
本開示の一実施形態において、ＡＲライブストリーミングにおいて視野角を同期させるための方法は、ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて、送信ユーザの視野角についてのプロンプト情報を提供するように、ＡＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＡＲコンテンツ受信デバイスに提供する段階とを備える。
【００１７】
本開示の一実施形態において、ＡＲライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成する段階と、表示される現在の画像フレームが表示されているときにプロンプト情報を提供する段階とを備える。
【００１８】
現在の技術と比較して、本開示の実施形態は、以下の利点を提供する。
【００１９】
本開示の実施形態では、映画のような純粋な表示ＶＲコンテンツのライブストリーミングについて、ＶＲコンテンツにおける画像フレームと、対応する送信ユーザ視野角情報とをＶＲ送信デバイスがＶＲ受信デバイスへ同時に送信することにより、送信ユーザ視野角情報は、表示される画像フレームを受信デバイスが表示する表示角度として前処理された情報が用いられる前に、ＶＲ受信デバイス側で前処理される。このため、送信デバイス側で生じる送信ユーザの視野角のあらゆる突然の変化にもかかわらず、ＶＲ受信デバイスが画像フレームを表示する表示角度の変化がより滑らかになる。故に、そのような突然の変化に起因して受信ユーザが目まいを感じる状況の発生確率が制御および／または低減される。
【００２０】
ゲームのような探検ＶＲコンテンツのライブストリーミングでは、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報を計算し、それに応じてプロンプト情報を提供することにより、受信ユーザが、自分のＶＲ受信デバイスを回転させることなどのオペレーションをどのように実行するかに関してプロンプトされる。このように、受信ユーザが自分の独自の視野角をプロンプト情報に基づいて調整することで、送信ユーザが視聴しているものと同じＶＲコンテンツを、ＶＲ受信デバイスを介して視聴するように、送信ユーザの視野角と受信ユーザの視野角の同期が実現される。
【００２１】
上述の利点は例示的なものに過ぎず、本開示の実施形態は、以上で説明した利点の全てが同時に実現されることを必ずしも必要とはしない。
【図面の簡単な説明】
【００２２】
実施形態の説明において用いられる図面を以下で簡単に紹介する。以下の説明における図面は、本開示の実施形態のうちのいくつかに過ぎない。当業者であれば、著しい努力をすることなく、これらの図面に基づいて他の図面を取得できる。
【００２３】
【図１】本開示のいくつかの実施形態によるＶＲライブストリーミングシナリオを示すブロック図である。
【００２４】
【図２】本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
【００２５】
【図３】本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
【００２６】
【図４】本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
【００２７】
【図５】本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
【００２８】
【図６】本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
【００２９】
【図７】本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
【００３０】
【図８】本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
【００３１】
【図９】本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
【発明を実施するための形態】
【００３２】
本開示の実施形態における図面を参照して、本開示の実施形態における技術的解決手段を以下で明確かつ完全に説明する。本明細書において説明する実施形態は、本開示の実施形態の全てではなく、いくつかに過ぎない。当業者が著しい努力を行うことなく本開示における実施形態に基づいて取得する他の実施形態の全てが、本開示の保護範囲に含まれる。
【００３３】
現在の技術では、異なる種類のＶＲライブストリーミングコンテンツについて、送信デバイスと受信デバイスとの間のインタラクションモードが異なるので、未だ、視野角の同期の問題に同様に直面することになる。
【００３４】
例えば、映画のような純粋な表示コンテンツであるコンテンツでは通常、送信ユーザが、視聴のための主たる視野角を選択する。送信デバイスにより受信デバイスへ送信される情報は、各画像フレームの画像データのみではなく、各画像フレームに対応する、送信ユーザ視野角情報も含む。受信デバイスは、特定の画像フレームと、対応する送信ユーザの視野角とに基づいて受信デバイスの表示角度を決定して、対応する画像フレームを表示し、受信したＶＲコンテンツを再生するように構成される。言い換えると、受信ユーザは、送信ユーザの視野角を受動的に採用する。この事例において、受信ユーザの視点からは、受信ユーザが、ヘッドマウントディスプレイデバイスを装着しているときに視聴デバイス（例えば、受信ユーザの携帯電話）を回転させ、または頭部を回したり眼球を転がしたりした場合でも、この動きによっては、ＶＲコンテンツを表示するための視野角のいかなる変化ももたらされない。受信ユーザの視野角は常に、送信ユーザの視野角と同期させられる。これは、各受信ユーザがＶＲコンテンツをどのように視聴するかを送信ユーザが指示するのと同等である。
【００３５】
しかしながら、上述のライブストリーミングシナリオでは、送信ユーザが視野角を選択または変更する態様は通常、それでもなお、ヘッドマウントディスプレイデバイスを装着しているときにモバイルデバイス（例えば、携帯電話）を回転させ、または頭部を回したり眼球を転がしたりすることである。ライブストリーミングプロセスの間、送信ユーザは、端末デバイスを急激に回転させ、および／または、頭部を急激に回す等をすることがある。例えば、ライブストリーミングプロセスにおいて、送信ユーザは、パノラマ画像の上側部分におけるコンテンツを見るために突然見上げる、または、いくつかのオペレーションを実行するために突然見下ろす等のことを行い得る。そのような動きにより、送信ユーザがＶＲコンテンツを視聴する視野角が大幅に変わる。これに対応して、送信ユーザの視野角の突然の変化が原因で、ＶＲ受信デバイスにより再生されるＶＲビデオデータの表示角度も変わり、劇的な画像のずれが生じる。このため、受信ユーザは、突然および／または大幅に変化したビデオデータを見ることになるか、または、目まいを感じることにさえなる。なぜなら、受信ユーザは、画像の突然のずれの方を向いているわけではないからである。
【００３６】
他方、ゲームのような探検コンテンツでは、送信ユーザは、やはり自分の視野角を選択または変更する。しかしながら、現在の技術だと、送信ユーザ視野角情報が受信デバイスへ提供されない。加えて、受信ユーザは、ヘッドマウントディスプレイデバイスを装着しているときに、受信ユーザのデバイス（例えば、携帯電話）を回転させることにより、または、頭部を回したり眼球を転がしたりすることにより、自分の視野角を変えることで、ゲームシーンのインタフェース（例えば、マップ）を探検すること等を行い得る。言い換えると、受信ユーザは、自分の視野角を能動的に変更し得る。受信デバイスがＶＲコンテンツを再生する場合、ＶＲコンテンツの表示角度が、受信ユーザの視野角に基づいて決定される。このように、同じライブストリーミングプロセスの間に送信デバイスおよび様々な受信デバイスが同じＶＲコンテンツを異なる表示角度で表示し得るということが可能である。
【００３７】
しかしながら、ユーザが同じアクティビティのライブストリーミングインタラクションに入っている（例えば、同じゲームに参加している）ので、いくつかの状況において、受信ユーザは、ゲームインタラクションをより良く実行すること等を行うために、送信ユーザの視野角を把握する必要がある。現在の技術では、送信ユーザは、音声および他のメカニズムを介して、送信ユーザの視野角の方向を受信ユーザに通知する。その結果として、受信ユーザは、送信ユーザの音声プロンプトに基づいて送信ユーザの視野角の方向を見つけることになる。しかしながら、大規模なゲームシーンなどのＶＲコンテンツでは、画像フレームの領域が非常に大きい。一方、送信ユーザは、自分の視野角の方向を言葉では明確に説明できない。他方、送信ユーザが明確な説明を行った場合でも、スクリーン上の過度の量のコンテンツ等に起因して、送信当事者と関連付けられた視野角の方向を見つけることは、受信ユーザにとって依然として困難である。したがって、そのような状況では、現在の技術において提供されている方法は適用不能になる。その結果として、同じゲーム内の受信ユーザは、送信ユーザの主たる視野角の方向の確認または識別に失敗することが多くなる。
【００３８】
上述の２つのシナリオに基づいて、本開示の実施形態は、改善された解決手段を提供する。本開示の様々な実施形態によれば、映画のような純粋な表示コンテンツのライブストリーミングおよびゲームのような探検コンテンツのライブストリーミングの両方において、ライブストリーミングのための送信デバイスが、画像フレームの画像データと送信ユーザの対応する視野角情報とを受信デバイスに提供するように構成される。その後、異なる種類のＶＲコンテンツのライブストリーミングについて、受信デバイスは、異なる処理を実行するように構成される。
【００３９】
まず、映画のような純粋な表示コンテンツのライブストリーミングについては、ＶＲ受信デバイス側で、ＶＲ受信デバイスは、フレームデータと関連付けられた送信ユーザの視野角に直接基づいてフレームを表示することはない。むしろ、表示デバイスは、表示される現在のフレームと、現在の画像フレームよりも前のいくつかの画像フレームに対応する視野角情報とに基づいて、処理オペレーション（例えば、平均化オペレーション）をまず実行するように構成される。次に、処理された視野角情報の結果が、現在の画像フレームを受信デバイスにおいて表示するための表示角度として決定されることで、当該画像フレームの表示角度が平滑化される。その後、ＶＲ受信デバイス側では、平滑化された表示角度情報に基づいてＶＲビデオデータが表示され、ライブストリーミングを視聴しているユーザに対して、ＶＲビデオデータが表示される。このように、ユーザがライブストリーミングを視聴する場合、突然の方向の変化がバッファリングされ、視聴中にユーザが目まいの感覚を経験するインシデントが低減する。
【００４０】
ゲームのような探検ＶＲコンテンツのライブストリーミングでは、ＶＲ受信デバイスは、対応する画像フレームの表示角度として受信ユーザの視野角を用いるように構成される。同時に、ＶＲ受信デバイスはさらに、各画像フレームに対応する送信ユーザの視野角と受信ユーザの視野角との間の方向情報における視差を計算するように構成される。受信デバイスがＶＲコンテンツを再生するプロセスの間、方向情報における視差に基づいて、プロンプト情報が提供される。例えば、「矢印」アイコンなどのプロンプト情報がＶＲコンテンツ再生インタフェースを介して表示され得、および／または、音声ベースのプロンプト情報が生成および再生され得る等である。
【００４１】
異なる種類のＶＲコンテンツのライブストリーミングに対応する視野角の同期の例示的な実施形態を以下で詳細に示す。
【００４２】
図１は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるシナリオを示すブロック図である。一実施形態において、視野角の同期は、映画のような純粋な表示ＶＲコンテンツのライブストリーミングのために提供される。本願において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度は、ＶＲ送信デバイスの動きに関連する。他方、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、ＶＲ受信デバイスの動きに関連しない。本明細書における図１に示されるように、ＶＲ送信デバイス１０１を用いているユーザが、ライブストリーミングユーザ（例えば、コンテンツ製作者またはホストユーザ）であり、本明細書において送信ユーザとも称される。送信ユーザは、ＶＲ送信デバイス１０１（例えば、ＶＲヘッドマウントディスプレイ（ＨＭＤ）またはモバイルデバイス）を利用してＶＲコンテンツを視聴する。ＶＲ送信デバイス１０１は、送信ユーザが視聴するＶＲコンテンツの他、ＶＲコンテンツにおける特定の画像フレームに対応する送信ユーザ視野角情報もＶＲ受信デバイス１０３に提供するように構成される。いくつかの実施形態において、ＶＲ送信デバイス１０１により提供される上述の情報は、サーバ１０２を介してＶＲ受信デバイス１０３へ転送される。他の実施形態において、そのような情報は、ポイントツーポイント接続を介して、ＶＲ送信デバイス１０１からＶＲ受信デバイス１０３へ直接提供される。
【００４３】
いくつかの実施形態において、ＶＲ送信デバイス１０１により送信されるＶＲビデオデータの各フレームは、３６０度パノラマデータを含む。ＶＲビデオデータと、対応する送信ユーザ視野角情報とを受信した後に、ＶＲ受信デバイスは、視野角情報を平滑化するように構成される。視野角情報を平滑化するために、任意の適切なアルゴリズムが用いられ得る。例えば、現在のフレームよりも前のＮ個の画像フレームに対応する視野角情報の平均値が取得され、現在の画像フレームの表示角度として用いられる。次に、ＶＲ受信デバイスは、現在の画像フレームのそのような表示角度に基づいて現在の画像フレームを受信ユーザに対して表示するように構成される。同じく、他の画像フレームが同様に処理される。
【００４４】
１つのＶＲ受信デバイス１０３のみが図１に示されるが、任意の数のＶＲ受信デバイスが様々な実施形態において含まれ得ることが理解される。
【００４５】
現在の技術と比較すると、本開示の実施形態において提供される技術は、送信ユーザの視野角をＶＲ受信デバイスにおける表示角度として直接用いることはない。むしろ、受信デバイスにおいて再生される画像フレームの突然のずれまたは回転など、送信ユーザの視野角の突然の変化により生じるインシデントを回避するために、ユーザ視野角情報の送信が、ＶＲ受信デバイス側での表示角度へと平滑化される。このように、視聴しているときに受信ユーザが目まいを感じるという事態の発生確率が低減される。
【００４６】
図２は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための方法を示すフロー図である。いくつかの実施形態において、当該方法は、ＶＲ送信デバイスにおいて実行される。一実施形態において、当該方法は、以下の段階を含む。
【００４７】
段階Ｓ２０１：ＶＲ送信デバイスは、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
【００４８】
一実施形態において、送信ユーザがＶＲ送信デバイスを用いてＶＲビデオを視聴する。例えば、ライブストリーミングユーザが、ＶＲヘッドマウントディスプレイを身に着けて映画等を見る。自分の視聴プロセス中、送信ユーザの視野角の方向は、いつでも変わり得る。例えば、送信ユーザが頭部を上げる動きにより、視線の方向に突然の上方への動きが生じ、送信ユーザが頭部を下げる動きにより、視線の方向に突然の下方への動きが生じる等である。したがって、送信ユーザがＶＲビデオを視聴する場合、ＶＲ送信デバイスは、ＶＲビデオの各フレームのパノラマデータのみでなく、ビデオデータの各フレームに対応する視野角情報も取得する必要がある。視野角情報は、ＶＲ送信デバイス側の送信ユーザがＶＲコンテンツを視聴する視線の方向を示すために用いられる。一実施形態において、ＶＲ送信デバイスには、ＶＲ送信デバイスの動きにより生じる視野角情報の変化を検出するように構成されたセンサが設けられる。このため、ＶＲコンテンツをＶＲ送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報が決定される場合、画像フレームに対応する送信ユーザ視野角情報は、センサによりアップロードされる視野角情報の変化に基づいて決定される。
【００４９】
いくつかの実施形態において、ＶＲコンテンツの各画像フレームは、そのそれぞれの送信ユーザ視野角情報に対応する。このため、画像フレームに対応する送信ユーザ視野角情報を決定することは、各画像フレームについての対応する送信ユーザの視野角をそれぞれ決定することである。他の実施形態において、送信ユーザ視野角情報は、特定の数のフレーム毎に１回提供される等である。
【００５０】
段階Ｓ２０２：送信デバイスは、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
【００５１】
いくつかの実施形態において、ＶＲ送信デバイスは、遠隔データ同期などの技術を介して、ＶＲコンテンツにおける画像フレームと、対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。様々な実施形態において、画像フレームと、対応する送信ユーザ視野角情報とは、ポイントツーポイント接続等を介して、サーバを介してＶＲ受信デバイスへ転送され、ＶＲ受信デバイスへ直接送信される。一例において、ＶＲコンテンツにおける画像フレームと、対応する送信ユーザ視野角情報とは、フレーム単位で送信される。他の例において、いくつかの画像フレームが、ビデオストリームとしてＶＲ受信デバイスと同期させられ、ＶＲコンテンツにおける当該画像フレームに対応する送信ユーザ視野角情報が、ビデオストリームに提供される。どの送信モードが採用されるかにかかわらず、ＶＲ送信デバイスおよびＶＲ受信デバイスは、ＶＲ受信デバイスが各画像フレームをそれぞれの送信ユーザの視野角に対応させることができるように合意する必要がある。
【００５２】
ＶＲコンテンツを受信した後に、ＶＲ受信デバイスは、画像フレームと、対応する送信ユーザ視野角情報とをＶＲコンテンツから抽出するように構成される。一例において、ＶＲ受信デバイスでの表示用の現在の画像フレームと関連付けられた表示角度が、ＶＲコンテンツにおける予め設定された数（例えば、５つ）の前の画像フレームの全てに対応する送信ユーザの視野角に関連する。故に、ＶＲ受信デバイスは、少なくとも予め設定された数の受信した画像フレームに対応する送信ユーザの視野角を保存するように構成される。一実施形態において、予め設定された数のフレームに基づいて、（…，  Ｘｎ−１，  Ｘｎ，  Ｘｎ＋１，  Ｘｎ＋２，…）などの一連の送信ユーザ視野角情報が、予め設定された数に基づいて保存される。ここで、Ｘｎは、ｎ番目の画像フレームに対応する送信ユーザ視野角情報を表すベクトルである。いくつかの実施形態において、予め設定された数が既知である場合、スライディングウィンドウのサイズは、予め設定された数と同じに設定される。新しい画像フレームに対応する送信ユーザ視野角情報が受信される度に、新しい画像フレームに対応する送信ユーザ視野角情報のベクトルが上述のシリーズに追加され、スライディングウィンドウは、１ウィンドウ単位だけ前進する。
【００５３】
様々な実施形態によれば、視野角の変化に関してスムーズな移行が実現される限り、受信された送信ユーザ視野角情報を処理するために、任意の適切な技術が用いられ得る。例えば、一実装において、ＶＲコンテンツにおけるフレームの再生順序に基づいて、表示される現在の画像フレームと、現在の画像フレームよりも前の予め設定された数の隣接する画像フレームとが決定される。次に、表示される現在の画像フレームと予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値が、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として計算および決定される。例えば、スライディングウィンドウのサイズがｍ＋１と予め設定されていれば、表示される現在の画像フレームは、現在の画像フレームよりも前のｍ個の隣接する画像フレームに対応する送信ユーザ視野角情報に関連する。ｍは、１よりも大きい整数であり得る。ここで、表示される現在の画像フレームの表示角度を計算するために、Ｙｎ＝Ｘｎ−ｍ＋Ｘｎ−ｍ＋１＋…Ｘｎ／（ｍ＋１）という式が用いられる。すなわち、ＶＲ受信デバイスにおける表示用のｎ番目の画像フレームの表示角度（Ｙｎ）が、ｎ番目の画像フレームと、ｎ番目の画像フレームよりも前のｍ個の画像フレームとに対応する送信ユーザの視野角の平均値である。
【００５４】
様々な実施形態によれば、ｍの値が大きければ大きいほど、計算される表示角度の変化がより安定したものになり、ＶＲ受信デバイスにおける表示用の画像フレームと関連付けられた表示角度の変化曲線がより滑らかになる。
【００５５】
視野角情報に対して平滑化オペレーションが実行された後に、結果として生じる視野角が、ＶＲ受信デバイスでの表示のための表示角度として用いられる。このため、表示される現在の画像フレームは、当該表示角度に基づいて表示され、他のフレームは、同様に処理される。
【００５６】
本開示の様々な実施形態によれば、視野角を平滑化することにより、ＶＲ受信側における画像フレームの表示角度の変化が、表示プロセスにおいてより安定したものになる。このように、送信ユーザの視野角の突然の変化に起因して受信ユーザが目まいを感じるなどのインシデントの発生の確率が低減される。しかしながら、平滑化プロセスにより、受信ユーザがＶＲコンテンツを視聴する視野角が送信ユーザの視野角と完全には合致しなくなり得るだけでなく、遅延などの状況が発生し得る。さらに、送信ユーザの視野角が突然変化しない場合、各画像フレームを表示の前に平滑化すると、計算リソース等がある程度浪費されてしまう。さらに、これにより、受信ユーザによるコンテンツの視聴に関する遅延も生じ、当該プロセスが意味のないものになってしまう。
【００５７】
このことを考慮して、本開示のいくつかの実施形態において、表示される現在の画像に対応する視野角情報が平滑化される前に、表示される現在の画像の送信ユーザの視野角がいくつかの前の画像フレームの視野角に対して突然変化しているかどうかが、まず決定される。突然の変化がある場合、上述の平滑化オペレーションが実行される。そうでなければ、表示される画像フレームは、表示される現在の画像フレームに対応する送信ユーザの視野角に基づいて表示される。送信ユーザの視野角は、受信デバイスにおける表示のための表示角度として直接設定される。一実施形態において、現在の画像フレームよりも前の予め設定された数の隣接する画像フレームに対応する送信ユーザ視野角情報に対する、表示される現在の画像フレームに対応する送信ユーザ視野角情報の変化度が決定される。予め設定された閾値に変化度が到達した場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算する段階がトリガされる。そうでなければ、予め設定された閾値に変化度が到達していない場合、現在の画像フレームに対応する送信ユーザの視野角は、表示される現在の画像フレームをＶＲ受信デバイスが表示するための表示角度として決定される。一例において、各画像フレームと関連付けられた送信ユーザの視野角がベクトルに対応するので、変化度の大きさは、ベクトル間の距離を計算し、そのような距離の長さを決定することにより決定される。すなわち、変化度に対応する予め設定された閾値は、１つのベクトルと別のベクトルとの間の距離等を表す長さ値として設定される。
【００５８】
このように、上述の方法を介して、平滑化オペレーションが必要に応じて実行される。すなわち、平滑化オペレーションが必要とされる場合（例えば、送信ユーザの視野角に突然の変化があることが分かった場合）、平均値の計算などの処理が実行される。このため、計算リソースの使用が低減され、受信ユーザがＶＲコンテンツを視聴する視野角と送信ユーザの視野角との間の整合性が大いに保証される。
【００５９】
本開示の様々な実施形態によれば、ＶＲコンテンツにおける画像フレームおよび対応する視野角情報は、ＶＲ送信デバイスによりＶＲ受信デバイスへ同時に送信される。このように、送信ユーザ視野角情報は、ＶＲ受信デバイス側で前処理された後に、表示される画像フレームを受信デバイスが表示するための表示角度として用いられる。結果として、送信ユーザの視野角が送信デバイス側で突然変化した場合、突然の変化に起因して受信ユーザが目まいを感じるなどのインシデントの発生確率が制御および／または低減されるように、ＶＲ受信デバイスが画像フレームを表示する表示角度の変化が、より平滑化されたものになる。
【００６０】
図３は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための方法を示すフロー図である。いくつかの実施形態において、当該方法は、ＶＲコンテンツ受信デバイスにより実行される。一実施形態において、当該方法は、以下の段階を含む。
【００６１】
段階Ｓ３０１：ＶＲコンテンツ受信デバイスは、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲコンテンツ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
【００６２】
段階Ｓ３０２：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成される。
【００６３】
一例において、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するために、表示される現在の画像フレームと、現在の画像フレームよりも前の予め設定された数の画像フレームとに対応する送信ユーザ視野角情報の平均値が計算され、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として決定される。
【００６４】
さらに、平均値が計算される前に、予め設定された数の前の隣接する画像フレームに対応する送信ユーザ視野角情報に対する、表示される現在の画像フレームに対応する送信ユーザ視野角情報の変化度がまず決定される。予め設定された閾値に変化度が到達した場合、表示される現在の画像フレームと、現在の画像フレームよりも前の予め設定された数の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算する段階がトリガされる。予め設定された閾値に変化度が到達していない場合、現在の画像フレームに対応する送信ユーザの視野角は、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として決定される。
【００６５】
段階Ｓ３０３：ＶＲコンテンツ受信デバイスは、決定した表示角度に基づいて、表示される現在の画像フレームを表示するように構成される。
【００６６】
この例において、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、ＶＲ受信デバイスの動きに関連しない。
【００６７】
簡潔にするために、図２に関して説明されるものと実質的に同様である、図３に関する詳細については、繰り返さない。
【００６８】
図４は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角の同期のための方法を示すフロー図である。いくつかの実施形態において、視野角の同期のための当該方法は、ゲームのような探検ＶＲコンテンツのライブストリーミングにおいて提供される。このシナリオでは、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度がＶＲ送信デバイスの動きに関連し、ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度がＶＲ受信デバイスの動きに関連する。いくつかの実施形態において、当該方法は、ＶＲコンテンツ送信デバイスにおいて実行される。一実施形態において、ＶＲライブストリーミングにおいて視野角を同期するための当該方法は、以下の段階を含む。
【００６９】
段階Ｓ４０１：ＶＲコンテンツ送信デバイスは、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
【００７０】
いくつかの実施形態において、段階Ｓ４０１は、図２に関連して上述した段階Ｓ２０１と実質的に同じである。すなわち、受信ユーザの視野角に基づいて変化する表示角度でＶＲコンテンツ受信デバイスがＶＲコンテンツを表示するが、送信デバイス側での送信ユーザ視野角情報は依然として、ＶＲ受信デバイスに提供される。受信した送信ユーザ視野角情報に基づいて、ＶＲ受信デバイスは、送信ユーザの視野角方向についてのプロンプト情報を受信ユーザに提供するように構成される。
【００７１】
段階Ｓ４０２：ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＶＲコンテンツ送信デバイスは、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
【００７２】
ＶＲコンテンツがＶＲ受信デバイスに提供される場合、同様に、提供されるＶＲコンテンツにおける画像フレームのみでなく、当該画像フレームに対応する送信ユーザ視野角情報も提供される。ＶＲ受信デバイスについては、ＶＲ受信デバイスにおける画像フレームの表示角度は、受信ユーザの視野角に基づいて決定される。例えば、ゲームシーンにおいて、送信ユーザは当該シーンの右上部分に既に入っており、受信ユーザは依然として当該シーンの左下部分に留まっている。この事例において、ＶＲ受信デバイスは、当該シーンのフレームの右上部分の表示角度に基づいて現在の画像フレームを再生するのではなく、代わりに、受信ユーザが位置する当該シーンのフレームの左下部分の表示角度に基づいて現在の画像フレームを再生する。
【００７３】
しかしながら、いくつかの実施形態において、ＶＲ受信デバイスが送信ユーザ視野角情報を取得するように構成されるので、受信ユーザが例えば自分でＶＲ受信デバイスを回転させること等により送信ユーザの視野角の方向を見つけるのを支援するために、受信ユーザの視野角と送信ユーザの視野角との間の視差は、どのプロンプト情報が受信ユーザに提供されるかに基づいて計算される。当該視差は、送信ユーザの視野角の方向と受信ユーザの視野角の方向との間の角度値であり、ベクトル等により表される。
【００７４】
受信ユーザの視野角と送信ユーザの視野角との間の視差が計算された後に、どのようにＶＲ受信デバイスを回転させて送信ユーザの視野角に対応する位置を見つけるかについて受信ユーザに通知するために、当該視差に基づいてプロンプト情報が生成される。
【００７５】
一実施形態において、プロンプト情報は、任意の適切な方式で生成される。いくつかの例において、プロンプト情報が受信ユーザに提供される場合、表示される現在の画像フレームが表示されるときに視覚化方向指示情報が画像フレームにスーパーインポーズされるように、視覚化方向指示情報が視差情報に基づいて生成される。例えば、どのように自分のＶＲ受信デバイスを回転させるかについて受信ユーザにプロンプトする歪みの度合いを示す矢印アイコンを用いて視覚化方向指示情報が実装される。受信ユーザの視野角と送信ユーザの視野角との間の視差が大きければ大きいほど、矢印の歪みがより明らかになる。さらに、実装において、送信ユーザの名前などのユーザ識別情報が、視覚化された情報（例えば、矢印）において表示される。
【００７６】
いくつかの実施形態において、視覚化された情報を介してプロンプト情報を提供することに加え、音声情報等によりプロンプトが提供される。例えば、音声プロンプト情報が視差情報に基づいて生成され、次に、表示される現在の画像フレームが表示されているときに再生される。実装において、テキストテンプレートおよび音声再生モデルが前もって提供される。視差情報が計算された後に、対応するテキストがテンプレートに基づいて生成され、再生のために音声再生モデル等を介して音声へ変換される。一例において、送信ユーザの視野角が現在の受信ユーザの視野角に対して右後方の位置に位置していることが計算によって分かった場合、「送信ユーザの視野角を見つける必要がある場合は、携帯電話またはＶＲヘッドマウントディスプレイを右後方へ回転させてください」というテキストが生成される。
【００７７】
上述のプロンプト情報が提供されており、送信ユーザの視野角と同期させる必要がある場合、受信ユーザは、それに応じて、プロンプト情報に基づいて、例えば自分のＶＲ受信デバイスを回転させること等により、自分の視野角を調整する。故に、受信ユーザの視野角が送信ユーザの視野角と合致し、送信ユーザの視野角との同期が実現する。
【００７８】
言い換えると、受信ユーザが、プロンプト情報を取得した後に、プロンプト情報に基づいて自分の視野角方向を調整する場合、ＶＲ受信デバイスは、受信ユーザにより調整される視野角方向に基づいてＶＲコンテンツを受信ユーザに対して表示するように構成される。上述の例を用いて、受信ユーザの視線も当該シーンの右上部分に入っている場合、当該シーンと関連付けられたフレームの右上部分におけるＶＲ画像は、当該シーンの右上部分に対応する表示角度に基づいてＶＲ受信デバイス上で再生される必要がある。このため、受信ユーザは、当該画像のこの部分を見ることが可能になる。
【００７９】
本開示の実施形態によれば、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報の計算を介して、プロンプト情報が視差情報に基づいて生成される。プロンプト情報は、どのようにオペレーション（例えば、自分のＶＲ受信デバイスを回転させること）を実行して送信ユーザの視野角との同期を実現するかに関して受信ユーザにプロンプトするように構成される。このように、受信ユーザは、自分の独自の視野角をプロンプト情報に基づいて調整することで、送信ユーザが視聴しているものと同じＶＲコンテンツをＶＲ受信デバイスにおいて視聴することが可能になる。
【００８０】
いくつかの実施形態において、複数のＶＲコンテンツ受信デバイスの事例では、他のＶＲコンテンツ受信デバイスに対応するユーザの視野角についてのプロンプト情報を提供するために、それぞれのＶＲコンテンツ受信デバイス間の視差情報は、上述の方法に基づいて決定される。例えば、ＶＲ受信デバイスＡに対応する受信ユーザＡの視野角の方向が、ＶＲ受信デバイスＢに対応する受信ユーザＢの視野角の方向とは異なる場合、ユーザＢの視野角と関連付けられた位置をユーザＡが見つけること等を支援するために、ユーザＢの視野角情報は、ＶＲ受信デバイスＡのディスプレイスクリーン上でプロンプトされる。
【００８１】
図５は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角の同期のための方法を示すフロー図である。いくつかの実施形態において、当該方法は、図４に関連して説明した方法を介して送信されるＶＲコンテンツを受信するように構成されたＶＲコンテンツ受信デバイスにおいて実行される。一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための当該方法は、以下の段階を含む。
【００８２】
段階Ｓ５０１：ＶＲコンテンツ受信デバイスは、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
【００８３】
段階Ｓ５０２：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成される。
【００８４】
段階Ｓ５０３：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成するように構成される。
【００８５】
段階Ｓ５０４：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームが表示されるときにプロンプト情報を提供するように構成される。
【００８６】
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度がＶＲ送信デバイスの動きに関連し、一方、ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度がＶＲ受信デバイスの動きに関連する。
【００８７】
一実施形態において、送信ユーザの視野角についてのプロンプト情報を生成するために、上述の視差情報に基づいて視覚化方向指示情報が生成される。一例において、視覚化方向指示情報は、表示される現在の画像フレームが表示されるときに、画像フレームにスーパーインポーズされる。別の例において、送信ユーザのユーザ識別情報が、視覚化された情報へ追加される。
【００８８】
他の実施形態において、送信ユーザの視野角についてのプロンプト情報は、視差情報に基づいて音声プロンプト情報を生成することにより生成される。一例において、音声プロンプト情報は、表示される現在の画像フレームを表示するときに再生される。
【００８９】
簡潔にするために、図５に関連して説明していない詳細は、図２から図４に関連して上述したものと実質的に同様なので、ここでは繰り返さない。
【００９０】
本開示の実施形態において簡潔な方式で提供された前述の方法を説明するために、全ての方法を一連の動作の組み合わせとして説明した。しかしながら、当業者であれば、特定の動作が異なる順序で適用され得るか、または本開示に従って同時に実行され得るので、本開示は説明された動作の順序により限定されないことを把握しているはずである。さらに、当業者であれば、本明細書において説明する実施形態について、本開示を実装するため当該動作およびモジュールが必ずしも必要とされないことを把握しているはずである。
【００９１】
図６は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図６に示すように、当該装置は、第１の送信ユーザ視野角情報決定ユニット（６０１）および第１のＶＲコンテンツ提供ユニット（６０２）を含む。
【００９２】
第１の送信ユーザ視野角情報決定ユニット（６０１）は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
【００９３】
第１のＶＲコンテンツ提供ユニット（６０２）は、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
【００９４】
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度が、ＶＲ送信デバイスの動きに関連する。表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、ＶＲ受信デバイスの動きに関連しない。
【００９５】
いくつかの実施形態において、ＶＲ送信デバイスは、ＶＲ送信デバイスの動きにより生じる視野角変化情報を検出するためのセンサと共に構成される。一例において、第１の送信ユーザ視野角情報決定ユニット（６０１）はさらに、センサによりアップロードされる視野角情報の変化に基づいて、画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
【００９６】
図７は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図７に示すように、当該装置は、ＶＲコンテンツ取得ユニット（７０１）、表示角度決定ユニット（７０２）およびディスプレイユニット（７０３）を含む。
【００９７】
ＶＲコンテンツ取得ユニット（７０１）は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
【００９８】
表示角度決定ユニット（７０２）は、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成される。
【００９９】
ディスプレイユニット（７０３）は、決定された表示角度に基づいて、表示される現在の画像フレームを表示するように構成される。
【０１００】
一実施形態において、表示角度決定ユニット（７０２）は、計算サブユニットおよび表示角度決定サブユニットを含む。計算サブユニットは、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算するように構成される。表示角度決定サブユニットは、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度としての平均値を決定するように構成される。
【０１０１】
いくつかの実施形態において、当該装置は、視聴角度変化度決定ユニット、トリガユニットおよび直接決定ユニットをさらに含む。視聴角度変化度決定ユニットは、予め設定された数の前の隣接する画像フレームに対応する送信ユーザ視野角情報に対する、表示される現在の画像フレームに対応する送信ユーザ視野角情報の変化度情報を決定するように構成される。トリガユニットは、予め設定された閾値に変化度情報が到達した場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算する段階をトリガするように構成される。直接決定ユニットは、予め設定された閾値に変化度情報が到達していない場合、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として、現在の画像フレームに対応する送信ユーザの視野角を決定するように構成される。
【０１０２】
いくつかの実施形態において、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、受信ユーザにより生じるＶＲ受信デバイスの動きに関連しない。
【０１０３】
図８は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図８に示すように、当該装置は、第２の送信ユーザ視野角情報決定ユニット（８０１）および第２のＶＲコンテンツ提供ユニット（８０２）を含む。
【０１０４】
第２の送信ユーザ視野角情報決定ユニット（８０１）は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
【０１０５】
ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、第２のＶＲコンテンツ提供ユニット（８０２）は、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
【０１０６】
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度がＶＲ送信デバイスの動きに関連し、一方、ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度がＶＲ受信デバイスの動きに関連する。
【０１０７】
図９は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図９に示すように、当該装置は、ＶＲコンテンツ取得ユニット（９０１）、受信ユーザ視野角情報決定ユニット（９０２）、プロンプト情報生成ユニット（９０３）およびプロンプト情報提供ユニット（９０４）を含む。
【０１０８】
ＶＲコンテンツ取得ユニット（９０１）は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
【０１０９】
受信ユーザ視野角情報決定ユニット（９０２）は、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成される。
【０１１０】
プロンプト情報生成ユニット（９０３）は、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成するように構成される。
【０１１１】
プロンプト情報提供ユニット（９０４）は、表示される現在の画像フレームが表示されるときにプロンプト情報を提供するように構成される。
【０１１２】
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度が、ＶＲ送信デバイスの動きに関連する。ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度が、ＶＲ受信デバイスの動きに関連する。
【０１１３】
いくつかの実施形態において、プロンプト情報生成ユニット（９０３）はさらに、視差情報に基づいて視覚化方向指示情報を生成するように構成される。
【０１１４】
一例において、プロンプト情報提供ユニット（９０４）はさらに、表示される現在の画像フレームが表示されているときに表示用の画像フレームに関する視覚化方向指示情報をスーパーインポーズするように構成される。
【０１１５】
いくつかの実施形態において、プロンプト情報生成ユニット（９０３）はさらに、視覚化された情報へ送信ユーザのユーザ識別情報を追加するように構成される。
【０１１６】
他の実施形態において、プロンプト情報生成ユニット（９０３）はさらに、視差情報に基づいて音声プロンプト情報を生成するように構成される。
【０１１７】
一例において、プロンプト情報提供ユニット（９０４）はさらに、表示される現在の画像フレームが表示されているときに音声プロンプト情報を再生するように構成される。
【０１１８】
本開示の様々な実施形態は、拡張現実（ＡＲ）のライブストリーミングにおいて視野角の同期をさらに提供する。ＡＲライブストリーミングとＶＲライブストリーミングとの間の差異は、ＡＲライブストリーミングのプロセスでは、送信ユーザおよび受信ユーザの両方が、同じエンティティオブジェクトの画像を収集でき、かつ、関連付けられたＡＲコンテンツをスクリーンに示されるエンティティオブジェクトの表示位置に基づいて表示できる必要があるということである。本開示の実施形態により提供される解決手段は、ＡＲベースのライブストリーミングにおいて用いられる。すなわち、ＡＲコンテンツにおける各画像フレームが３６０度パノラマ画像であり、ユーザが自分のＡＲデバイスを回転させることにより視野角を変えることができる場合、本開示の実施形態により提供される解決手段は、送信ユーザおよび受信ユーザの視野角を同期させるためにも用いられ得る。これにより、受信ユーザが目まいを感じるなどの状況の発生が回避される。
【０１１９】
ＡＲライブストリーミングには、純粋な表示コンテンツのライブストリーミングおよび探検コンテンツのライブストリーミングがある。これに対応して、異なる種類のＡＲコンテンツでは、同期の問題と、対応する処理方法とが異なる。
【０１２０】
いくつかの実施形態において、図２に関連して上述した方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期させるための方法が提供される。当該方法は、以下の段階を含む。
【０１２１】
段階１：ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する。
【０１２２】
段階２：ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＡＲコンテンツにおける画像フレームと、画像フレームに対応する送信ユーザ視野角情報とをＡＲ受信デバイスに提供する。
【０１２３】
いくつかの実施形態において、図３と関連して上述された方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期するための方法が提供される。当該方法は、以下の段階を含む。
【０１２４】
段階１：画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する。
【０１２５】
段階２：表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲ受信デバイスが表示する表示角度を決定する。
【０１２６】
段階３：決定した表示角度に基づいて、表示される現在の画像フレームを表示する。
【０１２７】
いくつかの実施形態において、図４と関連して上述された方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期させるための方法が提供される。当該方法は、以下の段階を含む。
【０１２８】
段階１：ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する。
【０１２９】
段階２：ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＡＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＡＲ受信デバイスに提供する。
【０１３０】
いくつかの実施形態において、図５に関連して上述した方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期させるための方法が提供される。当該方法は、以下の段階を含む。
【０１３１】
段階１：画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する。
【０１３２】
段階２：表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する。
【０１３３】
段階３：表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成する。
【０１３４】
段階４：表示される現在の画像フレームが表示されているときにプロンプト情報を提供する。ＡＲに関連する特定の実装については、上述の対応する実施形態におけるＶＲについての説明を参照されたい。
【０１３５】
本明細書における実施形態は、他の実施形態とは異なる部分を強調した各実施形態と共に漸次説明されていることに留意されたい。実施形態のうち同一または同様の部分については、互いに参照することにより取得され得る。デバイスの実施形態が方法の実施形態と実質的に同様なので、デバイスの実施形態についての説明は比較的簡潔であり、関連部分については、方法の実施形態の説明を参照できる。
【０１３６】
最終的に、本書において、第１のおよび第２のなど、関係についての用語は、１つのエンティティまたはオペレーションを別のエンティティまたはオペレーションと区別するために用いられているに過ぎず、エンティティまたはオペレーションがこの実際の関係または順序を有することを必要としたり示唆したりしていないことにさらに留意されたい。さらに、「含む」という用語、「備える」という用語またはそれらの他の変形が非排他的な包含を対象に含むことが意図されている。このことにより、一連の要素を含むプロセス、方法、物品またはデバイスは、当該要素のみを含むのではなく、はっきりと列挙されていない他の要素も含むか、または、プロセス、方法、物品またはデバイスの固有の要素をさらに含む。「１つを含む」という記述により定義される要素は、さらなる限定なく、当該要素を含むプロセス、方法、コモディティまたはデバイスにおける追加の同一の要素の存在を除外しない。
【０１３７】
本開示により提供されるＶＲライブストリーミングにおいて視野角を同期させるための方法および装置を以上で詳細に説明した。本開示の原理および実装を、本明細書における特定の例を適用することにより説明した。実施形態に関する以上の説明は、本開示の方法および当該方法の核となる概念の理解を支援するために用いられているに過ぎない。一方、当業者の場合、本開示の概念に従って、特定の実装と本開示の範囲とについて修正を行い得る。要約すると、本明細書の内容は、本開示に対するいかなる限定とも解釈されるべきではない。
【図１】
2021513773.tif 000003
【図２】
2021513773.tif 000004
【図３】
2021513773.tif 000005
【図４】
2021513773.tif 000006
【図５】
2021513773.tif 000007
【図６】
2021513773.tif 000008
【図７】
2021513773.tif 000009
【図８】
2021513773.tif 000010
【図９】
2021513773.tif 000011
【国際調査報告】
2021513773.tif 000012
2021513773.tif 000013
2021513773.tif 000014
2021513773.tif 000015