(57)【要約】  ビデオ再生方法、デバイス、およびシステムが提供される。本方法は、VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信することであって、第1の解像度が第2の解像度よりも大きいものと、第1の視野角のVRビデオストリームを使用することによって第1の視野角の画像を再生すること、視野角が変化していると決定した場合、フル視野角のVRビデオストリームと第1の視野角のVRビデオストリームの第1または両方を使用することによって、現在の視野角の画像を再生すること、変化した第2の視野角を示すためのパラメータを搬送する、視野角情報をサーバに送信すること、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信すること、および第2の視野角のVRビデオストリームを使用することによって第2の視野角の画像を再生することを含む。本出願の実装形態で提供される解決策は、ネットワークVRサービスの高いレイテンシと大きな帯域幅の占有の両方の問題を解決し、サーバのストレージオーバーヘッドを削減し、トラフィックバーストを回避できる。
2020519094.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ再生方法であって、前記方法が、
仮想現実VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信するステップであって、前記第1の解像度が前記第2の解像度よりも大きい、ステップと、
前記VRデバイスによって、前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第1の視野角の画像を再生するステップと、
前記VRデバイスが、前記視野角が変化していると決定した場合、前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって、現在の視野角の画像を再生するステップと、
前記VRデバイスによって、視野角情報を前記サーバに送信するステップであって、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ステップと、
前記VRデバイスによって、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信するステップと、
前記VRデバイスによって、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生するステップと
を含む方法。
【請求項２】
前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する前記ステップが、
前記VRデバイスによって、フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードするステップと、
前記VRデバイスによって、前記フル視野角の画像から前記現在の視野角の前記画像を抽出するステップと、
前記VRデバイスによって、前記現在の視野角の前記画像を再生するステップと
を含む、請求項1に記載の方法。
【請求項３】
前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームおよび前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する前記ステップが、
前記VRデバイスによって、前記第1の視野角の前記画像を取得するために、前記第1の視野角の前記第1の解像度VRビデオストリームをデコードするステップと、
前記VRデバイスによって、フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードするステップと、
前記VRデバイスによって、前記第1の視野角の前記画像から重複画像を抽出するステップと前記フル視野角の画像から非重複画像を抽出するステップであって、前記重複画像が、前記第1の視野角の前記画像と前記現在の視野角の前記画像の間の重複領域の画像で、前記非重複画像が、前記現在の視野角の前記画像の前記重複領域の前記画像とは異なる画像である、ステップと、
前記VRデバイスによって、前記現在の視野角の前記画像を取得するために、前記重複画像と前記非重複画像を組み合わせるステップと、
前記VRデバイスによって、前記現在の視野角の前記画像を再生するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記VRデバイスによって、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信する前記ステップの後、前記方法が、
前記VRデバイスによって、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、前記現在再生されている画像のタイムスタンプと同期するかどうかを検出するステップであって、「同期」が、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプを含むことを意味する、ステップと、
前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記VRデバイスによって、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生する前記ステップを実行するステップと
をさらに含む、請求項1に記載の方法。
【請求項５】
前記VRデバイスによって、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、前記現在再生されている画像のタイムスタンプと同期するかどうかを検出する前記ステップの後、前記方法が、
前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって前記第2の視野角の前記画像を再生するステップ
をさらに含む、請求項4に記載の方法。
【請求項６】
VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信する前記ステップの後、前記方法が、
前記VRデバイスによって、前記第1の視野角の前記第1の解像度VRビデオストリームを第1のビデオバッファに格納し、前記フル視野角の前記第2の解像度VRビデオストリームを第2のビデオバッファに保存するステップ
をさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記方法が、
前記VRデバイスが前記視野角が変化していると決定した場合、または前記VRデバイスが前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の前記画像を再生する場合、前記VRデバイスによって、前記第1のビデオバッファにバッファリングされた前記第1の視野角の前記第1の解像度VRビデオストリームでデータエージングを実行するステップと
をさらに含む、請求項6に記載の方法。
【請求項８】
ビデオ再生方法であって、前記方法が、
サーバによって、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを仮想現実VRデバイスに送信するステップであって、前記第1の解像度が前記第2の解像度より大きい、ステップと、
前記サーバによって、前記VRデバイスによって送信された視野角情報を受信するステップであって、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ステップと
前記サーバによって、前記パラメータに基づいて、前記第2の視野角の第1の解像度VRビデオストリームを前記VRデバイスに送信するステップと
を含む方法。
【請求項９】
前記フル視野角の前記第2の解像度VRビデオストリームが、前記フル視野角の第1の解像度VRビデオストリームから変換される、請求項8に記載の方法。
【請求項１０】
仮想現実VRデバイスであって、前記VRデバイスが通信ユニットおよび処理ユニットを備え、
前記通信ユニットが、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信し、前記第1の解像度が前記第2の解像度よりも大きい、ように構成され、
前記処理ユニットが、前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第1の視野角の画像を再生するように構成され、
前記処理ユニットが、前記VRデバイスが、前記視野角が変化していると決定した場合、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって、現在の視野角の画像を再生するようにさらに構成され、
前記通信ユニットが、視野角情報を前記サーバに送信し、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ようにさらに構成され、
前記通信ユニットが、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信するようにさらに構成され、
前記処理ユニットが、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生するようにさらに構成される、
VRデバイス。
【請求項１１】
前記処理ユニットが、
フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードし、
前記フル視野角の画像から前記現在の視野角の前記画像を抽出し、
前記現在の視野角の前記画像を再生する
ように構成される、請求項10に記載のVRデバイス。
【請求項１２】
前記処理ユニットが、
前記第1の視野角の前記画像を取得するために、前記第1の視野角の前記第1の解像度VRビデオストリームをデコードし、
フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードし、
前記第1の視野角の前記画像から重複画像を抽出し、前記フル視野角の画像から非重複画像を抽出し、前記重複画像が、前記第1の視野角の前記画像と前記現在の視野角の前記画像の間の重複領域の画像で、前記非重複画像が、前記現在の視野角の前記画像の前記重複領域の前記画像とは異なる画像であり、
前記現在の視野角の前記画像を取得するために、前記重複画像と前記非重複画像を組み合わせて、
前記現在の視野角の前記画像を再生する、
ように構成される、請求項10に記載のVRデバイス。
【請求項１３】
前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、前記現在再生されている画像のタイムスタンプと同期するかどうかを検出し、「同期」が、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプを含むことを意味する、ようにさらに構成され、
前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生する前記ステップを実行するようにさらに構成される、
請求項10に記載のVRデバイス。
【請求項１４】
前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって前記第2の視野角の前記画像を再生するようにさらに構成される、
請求項13に記載のVRデバイス。
【請求項１５】
前記VRデバイスが、記憶ユニットをさらに備え、
前記記憶ユニットが、前記第1の視野角の前記第1の解像度VRビデオストリームを第1のビデオバッファに格納し、前記フル視野角の前記第2の解像度VRビデオストリームを第2のビデオバッファに格納するように構成される、
請求項10から14のいずれか一項に記載のVRデバイス。
【請求項１６】
前記処理ユニットが、前記視野角が変化していると決定された場合、または前記第2の視野角の前記画像が前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって再生される場合、前記第1のビデオバッファにバッファリングされた前記第1の視野角の前記第1の解像度VRビデオストリームでデータエージングを実行するようにさらに構成される、
請求項15に記載のVRデバイス。
【請求項１７】
サーバであって、前記サーバが、通信ユニットおよび処理ユニットを備え、
前記通信ユニットが、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを仮想現実VRデバイスに送信し、前記第1の解像度が前記第2の解像度より大きい、ように構成され、
前記通信ユニットが、前記VRデバイスによって送信された視野角情報を受信し、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ようにさらに構成され、
前記処理ユニットが、前記パラメータに基づいて、前記第2の視野角の第1の解像度VRビデオストリームを取得する、ように構成され、
前記通信ユニットが、前記第2の視野角の前記第1の解像度VRビデオストリームを前記VRデバイスに送信するようにさらに構成される、
サーバ。
【請求項１８】
前記フル視野角の前記第2の解像度VRビデオストリームが、前記フル視野角の第1の解像度VRビデオストリームから変換される、請求項17に記載のサーバ。
【請求項１９】
ビデオ再生システムであって、前記システムが、VRデバイスおよびサーバを備え、
前記VRデバイスが、請求項10から16のいずれか一項に記載のVRデバイスで、
前記サーバが、請求項17または18に記載のサーバである、
システム。
【請求項２０】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体が、実行可能な命令を格納し、前記実行可能な命令が、請求項1から7のいずれか一項に記載の方法を実行するために使用される、コンピュータ記憶媒体。
【請求項２１】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体が、実行可能な命令を格納し、前記実行可能な命令が、請求項8または9に記載の方法を実行するために使用される、コンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、2017年4月28日に中国国家知的財産局に提出され、「ビデオ再生方法、デバイス、およびシステム」という名称の中国特許出願第201710294033．5号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
【０００２】
本出願の実施形態は、仮想現実（virtual reality、VR）技術の分野に関し、特に、ビデオ再生方法、デバイス、およびシステムに関する。
【背景技術】
【０００３】
VR技術は、仮想世界が作成され、体験されることを可能にするコンピュータシミュレーション技術で、VR技術は、視覚、聴覚、触覚、およびその他の感覚の没入体験をユーザに提供できる。ネットワークVR技術は、ネットワークを使用してユーザにVRサービスを提供する技術である。ネットワークに展開されたサービスサーバは、ネットワークを使用してVRビデオストリームをVRデバイスに送信し、VRデバイスは受信したVRビデオストリームを再生する。
【０００４】
現在、VRビデオストリームの送信および再生には通常、次の2つの解決策が使用される、すなわち、第1の解決策では、サーバは360度のパノラマVRビデオストリームをVRデバイスに送信し、VRデバイスは360度のパノラマVRビデオストリームを使用して、ユーザの視野角に対応する画像を再生する。360度のパノラマVRビデオストリームの解像度は比較的高く、360度のパノラマVRビデオストリームのデータ量は比較的大きいため、360度パノラマVRビデオストリームを送信するには、比較的大きな帯域幅が占有される必要があるので、一般的なホームユーザが使用する帯域幅は、360度のパノラマVRビデオストリームの送信要件を満たすことができない。第2の解決策では、サーバは、360度のパノラマVRビデオストリームから、ユーザの視野角に対応するVRビデオストリームを抽出し、サーバは、ユーザの視野角に対応するVRビデオストリームのみをVRデバイスに送信して、VRデバイスはVRビデオストリームを受信して直接再生する。第1の解決策は360度の伝送解決策と呼ばれ、第2の解決策は視野（Field of View、FOV）伝送解決策と呼ばれることがある。第1の解決策と比較して、第2の解決策は帯域幅を節約できるが、次の問題を有する、すなわち、ユーザの視野角が変わると、VRデバイスは、サーバから、変化した視野角に対応するVRビデオストリームの取得を要求する必要がある。伝送およびバッファリングには特定の時間がかかるため、モーションからフォトン（Motion to Photon、MTP）のレイテンシは比較的高く、VR技術によって必要とされる20ミリ秒未満のMTPレイテンシ要件を満たすことはできない。MTPレイテンシは、ユーザの視野角の変化と、変化した視野角に対応する画像のVRデバイスによる表示の間のレイテンシである。
【０００５】
したがって、従来技術では、高いレイテンシおよびネットワークVRサービスの大きな帯域幅の占有の問題を一緒に解決することはできない。
【発明の概要】
【０００６】
本出願の実施形態は、従来技術ではネットワークVRサービスの高いレイテンシおよび大きな帯域幅の占有の問題を一緒に解決できないという困難を克服するためのビデオ再生方法、デバイス、およびシステムを提供する。
【課題を解決するための手段】
【０００７】
一態様によると、本出願の一実施形態は、ビデオ再生方法を提供し、本方法は、VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信するステップであって、第1の解像度が第2の解像度よりも大きい、ステップと、VRデバイスによって、第1の視野角の第1の解像度VRビデオストリームを使用して第1の視野角の画像を再生するステップと、VRデバイスが、視野角が変化していると決定した場合、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって、現在の視野角の画像を再生するステップと、VRデバイスによって、視野角情報をサーバに送信するステップであって、視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ステップと、サーバによって、パラメータに基づいて第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信するステップと、VRデバイスによって、第2の視野角の第1の解像度VRビデオストリームを使用して第2の視野角の画像を再生するステップを含む。
【０００８】
本出願のこの実施形態で提供される解決策によると、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームで、視野角の切り替え中に表示要件を満たすために使用される。この解決策では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。
【０００９】
可能な設計では、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生するステップが、VRデバイスによって、フル視野角の画像を取得するために、フル視野角の第2の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、フル視野角の画像から現在の視野角の画像を抽出するステップと、VRデバイスによって、現在の視野角の画像を再生するステップとを含む。
【００１０】
本出願のこの実施形態で提供される解決策によると、視野角の変化中に、VRデバイスはビデオバッファからフル視野角の第2の解像度VRビデオストリームを読み取り、フル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する。フル視野角の第2の解像度VRビデオストリームはローカルビデオバッファに保存されるため、VRデバイスはサーバからVRビデオストリームを取得するように要求する必要がない。したがって、視野角の切り替え中のMTPレイテンシは削減され得、20ミリ秒未満のMTPレイテンシ要件が満たされる。さらに、視野角の変化中（例えば、ユーザが頭を回すプロセス）、低解像度の画像が表示されるが、移動中に人間の目によって感知される画像はぼやけているため、ユーザに低解像度の画像を表示しても視覚的な体験が低下することはない。
【００１１】
可能な設計では、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームおよび第1の視野角の第1の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生するステップは、VRデバイスによって、第1の視野角の画像を取得するために、第1の視野角の第1の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、フル視野角の画像を取得するために、フル視野角の第2の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、第1の視野角の画像から重複画像を抽出するステップとフル視野角の画像から非重複画像を抽出するステップであって、重複画像が、第1の視野角の画像と現在の視野角の画像の間の重複領域の画像で、非重複画像が、現在の視野角の画像の重複領域の画像とは異なる画像である、ステップと、VRデバイスによって、現在の視野角の画像を取得するために、重複画像と非重複画像を組み合わせるステップと、VRデバイスによって、現在の視野角の画像を再生するステップとを含む。
【００１２】
本出願のこの実施形態で提供される解決策によると、視野角の変化中、現在の視野角と第1の視野角の間に重複領域が引き続き存在し得る。重複領域の画像は、引き続き高解像度を使用して再生され、鮮明度の損失を可能な限り減らすことができる。
【００１３】
可能な設計では、VRデバイスによって、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信するステップの後、本方法が、VRデバイスによって、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが、現在再生されている画像のタイムスタンプと同期するかどうかを検出するステップであって、「同期」が、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプを含むことを意味する、ステップと、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期している場合、VRデバイスによって、第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生するステップを実行するステップ、または第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期していない場合、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって、第2の視野角の画像を再生するステップをさらに含む。
【００１４】
本出願のこの実施形態で提供される解決策によると、VRデバイスは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期しているかどうかをさらに検出して、ユーザ向けの正確なVRビデオ再生を確保する。
【００１５】
可能な設計では、VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信した後、本方法は、VRデバイスによって、第1の視野角の第1の解像度VRビデオストリームを第1のビデオバッファに格納し、フル視野角の第2の解像度VRビデオストリームを第2のビデオバッファに保存するステップをさらに含む。
【００１６】
本出願のこの実施形態で提供される解決策によると、VRデバイスは、2つのビデオバッファを使用し、再生用の異なるVRビデオストリームの迅速な選択を容易にし、切り替えのスムーズさを向上させることによって、異なる解像度でVRビデオストリームを個別に格納する。
【００１７】
可能な設計では、本方法は、VRデバイスが視野角が変化していると決定した場合、またはVRデバイスが第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生する場合、VRデバイスによって、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングを実行するステップをさらに含む。
【００１８】
本出願のこの実施形態で提供される解決策によると、VRデバイスが、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームを使用する必要がない場合、VRデバイスはデータでデータエージングを実行する。これにより、第1のビデオバッファのバッファリングリソースはできるだけ早く解放できる。
【００１９】
可能な設計では、VRデバイスによって、第1の視野角の第1の解像度VRビデオストリームを使用することによって第1の視野角の画像を再生するステップは、VRデバイスによって、第1の視野角の画像を取得するために、第1の視野角の第1の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、第1の視野角の画像を再生するステップとを含み、VRデバイスによって、第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生するステップは、VRデバイスによって、第2の視野角の画像を取得するために、第2の視野角の第1の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、第2の視野角の画像を再生するステップとを含む。
【００２０】
本出願のこの実施形態で提供される技術的解決策によると、VRデバイスは異なるVRビデオストリームを別々にデコードするので、異なるVRビデオストリームは互いに区別され得る。
【００２１】
別の態様によると、本出願の一実施形態は、VRデバイスを提供する。VRデバイスは、上記の方法例におけるVRデバイス側の動作を実装する機能を有する。当該機能はハードウェアの使用により実装されても、ハードウェアにより対応するソフトウェアの実行によって実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する1つ以上のモジュールまたはユニットを含む。
【００２２】
可能な設計では、VRデバイスの構造はプロセッサおよび通信インタフェースを含む。プロセッサは、前述の方法で対応する機能を実行する際にVRデバイスをサポートするように構成される。通信インタフェースは、VRデバイスと別のデバイスの間の通信をサポートするように構成される。さらに、VRデバイスは、メモリをさらに含むことができる。メモリは、プロセッサと結合し、VRデバイスに必要なプログラム命令およびデータを格納するように構成される。
【００２３】
さらに別の態様によると、本出願の一実施形態は、サーバを提供する。サーバは、上記の方法例におけるサーバ側の動作を実装する機能を有する。当該機能はハードウェアの使用により実装されても、ハードウェアにより対応するソフトウェアの実行によって実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する1つ以上のモジュールまたはユニットを含む。
【００２４】
可能な設計では、サーバの構造はプロセッサおよび通信インタフェースを含む。プロセッサは、前述の方法で対応する機能を実行する際にサーバをサポートするように構成される。通信インタフェースは、サーバと別のデバイスの間の通信をサポートするように構成される。さらに、サーバは、メモリをさらに含むことができる。メモリは、プロセッサと結合し、サーバに必要なプログラム命令およびデータを格納するように構成される。
【００２５】
さらに別の態様によると、本出願の一実施形態は、ビデオ再生システムを提供する。当該システムは、前述の態様で説明されたVRデバイスおよびサーバを含む。
【００２６】
さらに別の態様によると、本出願の一実施形態は、前述のVRデバイスによって使用されるコンピュータソフトウェア命令を格納するように構成された、コンピュータ記憶媒体を提供し、コンピュータソフトウェア命令は前述の態様を実行するために設計されたプログラムを含む。
【００２７】
さらなる態様によると、本出願の一実施形態は、前述のサーバによって使用されるコンピュータソフトウェア命令を格納するように構成された、コンピュータ記憶媒体を提供し、コンピュータソフトウェア命令は前述の態様を実行するために設計されたプログラムを含む。
【００２８】
なおさらなる態様によると、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が実行されると、コンピュータプログラム製品は、前述の態様に従ってVRデバイス側で方法を実行するように構成される。
【００２９】
さらなる態様によると、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が実行されると、コンピュータプログラム製品は、前述の態様に従ってサーバ側で本方法を実行するように構成される。
【００３０】
先行技術と比較して、本出願のこの実施形態で提供される解決策によると、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームで、視野角の切り替え中に表示要件を満たすために使用される。当該解決策では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。
【図面の簡単な説明】
【００３１】
【図１Ａ】一実施例による単一の視野角のVR画像を生成する概略図である。
【図１Ｂ】一実施例による複数の視野角のVR画像を生成する概略図である。
【図２Ａ】本出願の一実施形態による適用シナリオの概略図である。
【図２Ｂ】本出願の別の実施形態による適用シナリオの概略図である。
【図３】本出願の一実施形態によるビデオ再生方法のフローチャートである。
【図４】本出願の一実施形態による、組み合わせによって現在の視野角の画像を取得する概略図である。
【図５Ａ】本出願の別の実施形態によるビデオ再生方法のフローチャートである。
【図５Ｂ】図5Aの実施形態に対応する概略相互作用図である。
【図６Ａ】本出願の一実施形態によるデバイスの概略ブロック図である。
【図６Ｂ】本出願の一実施形態によるデバイスの概略構造図である。
【発明を実施するための形態】
【００３２】
本出願の目的、技術的解決策、および利点をより明確にするために、以下では、添付の図面を参照して本出願の実施形態における技術的解決策について説明する。
【００３３】
本出願の実施形態で説明されるシステムアーキテクチャおよびサービスシナリオは、本出願の実施形態で提供される技術的解決策をより明確に説明することを意図しており、本出願の実施形態での技術的解決策に対する制限を意味するわけではない。当業者は、システムアーキテクチャの進化および新しいサービスシナリオの出現で、本発明の実施形態で提供される技術的解決策が同様の技術的問題にさらに適用可能であることを周知することができる。
【００３４】
図2Aは、本出願の一実施形態による可能な適用シナリオの概略図である。適用シナリオはネットワークVRシステムであり得、ネットワークVRシステムはネットワークを使用することによってユーザにVRサービスを提供するシステムである。適用シナリオは、VRデバイス21およびサーバ22を含み得る。
【００３５】
VRデバイス21は、サーバ22によって送信されたVRビデオストリームを受信し、VRビデオストリームに基づいて画像を再生し、ユーザにVRビデオを表示する機能を提供するように構成される。VRデバイス21は、VRヘルメットまたはVR眼鏡などの頭部装着型VR表示デバイスであってもよい。もちろん代替として、VRデバイスは、VRビデオの再生に使用され得る他のいずれかのデバイスであってもよい。
【００３６】
サーバ22は、VRビデオリソースを格納し、VRデバイス21にVRビデオストリームを提供するように構成される。サーバ22は、サーバ、複数のサーバを含むサーバクラスタ、またはクラウドコンピューティングサービスセンターであってもよい。任意選択で、サーバ22は、ネットワークVRサービスのウェブサイトまたはアプリケーションを提供するように構成されたバックグラウンドサーバなど、ネットワークVRサービスを提供するように構成されたバックグラウンドサーバである。
【００３７】
VRデバイス21とサーバ22の間には通信接続がある。通信接続は、無線ネットワーク接続でも、有線ネットワーク接続でもよい。
【００３８】
図2Bを参照し、図2Aの実施形態で提供される適用シナリオに基づくと、本出願の一実施形態は、別の可能な適用シナリオの概略図をさらに提供する。適用シナリオには、VRデバイス21およびサーバ22だけでなく、少なくとも1つのカメラ23も含まれる。
【００３９】
カメラ23は、VRビデオストリームを収集し、収集したVRビデオストリームをサーバ22に送信するように構成される。
【００４０】
カメラ23とサーバ22の間には通信接続がある。通信接続は、無線ネットワーク接続でも、有線ネットワーク接続でもよい。
【００４１】
図2Bの実施形態で提供される適用シナリオは、ライブ放送シナリオに適用可能である。
【００４２】
一例では、VRビデオを送信および再生する方法が提供される。サーバは、360度の視野角を事前に30個の視野角に分割し、各視野角のVR画像を生成するプロセスは図1Aに示される。目標視野角は一例として使用され、目標視野角は前述の30個の視野角のいずれかである。サーバは、360度のパノラマ画像11から目標視野角領域の画像12を抽出し、360度のパノラマ画像11から目標視野角領域の画像12を除去した後に残る画像は背景領域画像13と呼ばれる場合がある。サーバは、背景領域画像13の解像度を下げ、低解像度の背景領域画像14を取得する。目標視野角のVR画像15は、目標視野角領域の画像12および低解像度の背景領域画像14を含む。このようにして、30個の視野角のVR画像が図1Bに示され得る。
【００４３】
一例では、ユーザの現在の視野角が視野角2であると仮定すると、VRデバイスはサーバから視野角2のVRビデオストリームを受信し、VRビデオストリームをビデオバッファに格納し、VRデバイスは視野角2のVRビデオストリームを使用することによって、視野角2の画像を再生する。ユーザが視野角2から視野角3に切り替えると、VRデバイスはサーバから視野角3のVRビデオストリームの取得を要求する。ネットワーク伝送とビデオバッファリングの両方が特定の時間を必要とするため、視野角3のVRビデオストリームがVRデバイスに到達して再生できるようになる前に、VRデバイスは最初に、現在の視野角の画像を視野角2のローカルにバッファリングされたVRビデオストリームの低解像度の背景領域画像から抽出し、画像を再生する。視野角の切り替え中、低解像度の画像が表示される。しかしならが、移動中に人間の目によって感知された画像はぼやけているため、視野角の切り替え中に低解像度の画像を表示しても、視覚体験が明らかに低下することはない。
【００４４】
前述の例で提供されている解決策は、ネットワークVRサービスの高いレイテンシおよび大きな帯域幅の占有の問題を解決するが、次の技術的な問題を有する。
【００４５】
最初に、サーバ側のストレージオーバーヘッドが大きい。サーバは30個の視野角のVRビデオストリームを事前格納する必要があり、各視野角のVRビデオストリームは低解像度の背景領域画像を含む。低解像度の背景領域画像は大量のコンテンツの重複内容を有しているため、サーバ側のストレージオーバーヘッドが増加する。
【００４６】
次に、視野角の切り替え中にトラフィックバーストが発生する。視野角の切り替え中、VRデバイスによる、変化した視野角のVRビデオストリームを取得するための要求から、VRデバイスによる、変化した視野角のVRビデオストリームの受信および再生用のVRビデオストリームの使用までの動作には、特定の時間（データの伝送およびデコードに必要な時間を含む）が必要である。VRデバイスによってバッファリングされた、変化した視野角のVRビデオストリームが前述の特定の時間内に最後まで再生されると、VRデバイスで表示の中断が発生する。したがって、表示の中断を避けるために、視野角の切り替え中に、サーバは変化前の視野角のVRビデオストリームと変化した視野角のVRビデオストリームを同時にVRデバイスに送信する必要がある。この場合、視野角の切り替え中に2倍の帯域幅を使用する必要があり、その結果、トラフィックがバーストする。
【００４７】
ネットワークVRサービスの高いレイテンシおよび大きな帯域幅の占有の問題を解決し、前述の例の問題も回避するために、本出願の実施形態は、ビデオ再生方法、および本方法に基づくデバイスおよびシステムを提供する。本出願の実施形態では、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームであり、視野角の切り替え中に表示要件を満たすために使用される。本出願の実施形態では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。前述の例と比較して、本出願の実施形態では、サーバは、フル視野角の低解像度VRビデオストリームを繰り返し格納する必要がなく、ストレージオーバーヘッドを削減し、そして視野角情報に基づいて、VRデバイスの視野角が変化したと決定した場合、サーバは第1の視野角のVRビデオストリームのVRデバイスへの送信を停止し、次に変化した第2の視野角のVRビデオストリームの送信を行うことができ、その結果、トラフィックバーストは発生しない。
【００４８】
以下は、本出願の実施形態における共通性に基づいて、本出願の実施形態を詳細にさらに説明する。
【００４９】
図3は、本出願の一実施形態によるビデオ再生方法のフローチャートである。本方法は、図2Aまたは図2Bに示される適用シナリオに適用され得る。本方法には、以下のステップが含まれる場合がある。
【００５０】
ステップ301。サーバは、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームをVRデバイスに送信し、第1の解像度が第2の解像度より大きい。
【００５１】
本出願のこの実施形態では、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリーム（つまり、視野角の第1の解像度VRビデオストリーム（第1の視野角または第2の視野角など））で、固定視野角の場合、表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリーム（つまり、フル視野角の第2の解像度VRビデオストリーム）で、視野角の切り替え中に表示要件を満たすために使用される。本出願のこの実施形態では、解像度がVRビデオの鮮明度を決定する。より高い解像度はVRビデオの鮮明度が高いことを示し、より低い解像度はVRビデオの鮮明度が低いことを示す。
【００５２】
サーバは、視野角の変化に関係なく、フル視野角の第2の解像度VRビデオストリームをVRデバイスに送信する。一例では、サーバは、第1の視野角のVRビデオストリームをVRデバイスに送信するプロセスで、フル視野角のVRビデオストリームをVRデバイスに連続的に送信する。別の例では、サーバはフル視野角のVRビデオストリームをプリセットされた時間間隔でVRデバイスに送信する。プリセットされた時間間隔は同じでも異なっていてもよく、これは本出願のこの実施形態では限定されない。
【００５３】
一例では、サーバは、フル視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを格納する。VRデバイスが視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、フル視野角の第1の解像度VRビデオストリームから視野角のVRビデオストリームを抽出する。例えば、VRデバイスが第1の視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、フル視野角の第1の解像度VRビデオストリームから第1の視野角のVRビデオストリームを抽出する。この場合、サーバは、フル視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームのみを格納するだけで済む。フル視野角の第2の解像度VRビデオストリームによって占有されるストレージオーバーヘッドは、フル視野角の第1の解像度VRビデオストリームによって占有されるものの約0．1倍である。したがって、全体のストレージオーバーヘッドは、フル視野角の第1の解像度VRビデオストリームによって占有されるものの約1．1倍である。前述の例と比較すると、本方法では、サーバのストレージオーバーヘッドが大幅に削減される。
【００５４】
別の例では、サーバはn個の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを格納し、nは1より大きい整数である。実際の適用では、nの値は実際の経験に基づいて取得でき、組み合わせられたn個の視野角でフル視野角をカバーできる。例えば、nは25、30、または35である。VRデバイスが視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、n個の視野角の第1の解像度VRビデオストリームから視野角のVRビデオストリームを選択する。例えば、VRデバイスが第1の視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、n個の視野角の第1の解像度VRビデオストリームから第1の視野角のVRビデオストリームを選択する。第1の視野角は、n個の視野角の1つである。このように、サーバは、フル視野角の第2の解像度VRビデオストリームを繰り返し格納する必要はなく、フル視野角の第2の解像度VRビデオストリームを格納するだけで済む。前述の例と比較すると、本方法では、サーバのストレージオーバーヘッドがある程度削減される。さらに、この例では、サーバは、VRデバイスから要求を受信した後、フル視野角のVRビデオストリームから、VRデバイスによって必要とされる視野角のVRビデオストリームを抽出する必要がなく、n個の視野角の格納されたVRビデオストリームから、VRデバイスによって必要とされる視野角のVRビデオストリームを直接選択するだけで済む。これは、VRデバイスからの要求に対するサーバの応答のレイテンシを短縮するのに役立つ。
【００５５】
さらに、n個の視野角の第1の解像度VRビデオストリームは、サーバによって、フル視野角の第1の解像度VRビデオストリームから個別に抽出されるか、n個の独立したビデオストリームであり得、各視野角のVRビデオストリームは、1台以上のカメラによって個別に収集される。
【００５６】
任意選択で、フル視野角の第2の解像度VRビデオストリームは、フル視野角の第1の解像度VRビデオストリームから変換される。前述の解像度変換動作は、サーバによって実行されるか、サーバに接続された別のデバイス（サーバにVRビデオリソースを提供するように構成されたソースサーバなど）によって実行され得る。確かに、他の可能な実装形態では、n個の視野角の第1の解像度VRビデオストリームがn独立したビデオストリームであり、各視野角のVRビデオストリームが1つ以上のカメラによって個別に収集される場合、1つの方法では、サーバは、n個の視野角の第1の解像度VRビデオストリームを最初に統合して、フル視野角の第1の解像度VRビデオストリームを取得し、次に、フル視野角の第1の解像度VRビデオストリームをフル視野角の第2の解像度VRビデオストリームに変換することができるか、または、別の方法では、サーバは、n個の視野角の第1の解像度VRビデオストリームを、それぞれn個の視野角の第2の解像度VRビデオストリームに変換し、次に、n個の視野角の第2の解像度VRビデオストリームを統合して、フル視野角の第2の解像度VRビデオストリームを取得することができる。
【００５７】
任意選択で、解像度変換は、VRビデオストリームの画像伝送形式を変更することによって実装される。例えば、2倍共通中間フォーマット（Double Common Intermediate Format、DCIF）または4倍共通中間フォーマット（4CIF）などの画像伝送フォーマットは、第1の解像度VRビデオストリームに使用でき、共通中間フォーマット（Common Intermediate Format、CIF）または四半期共通中間フォーマット（Quarter Common Intermediate Format、QCIF）などの画像伝送フォーマットは、第2の解像度VRビデオストリームに使用できる。例えば、4CIFはフル視野角の第1の解像度VRビデオストリームに使用され、QCIFはフル視野角の第2の解像度VRビデオストリームに使用され、この場合、第1の解像度は704×576で、第2の解像度は176×144である。
【００５８】
VRビデオストリームは、ストリーミングメディアプロトコルを使用して送信され得る。ストリーミングメディアプロトコルでは、複数の異なるメディアストリームを区別するために、異なる識別子が使用される。例えば、ストリーミングメディアプロトコルがリアルタイムトランスポートプロトコル（Real−time Transport Protocol、RTP）の場合、RTPの同期ソース（Synchronization Source、SSRC）識別子（identifier）、および寄与ソース（Contributing Source、CSRC）識別子が、複数の異なるメディアストリームを区別するために使用される。別の例では、ストリーミングメディアプロトコルがリアルタイムメッセージングプロトコル（Real Time Messaging Protocol、RTMP）の場合、メッセージストリーム識別子（message stream ID）が、複数の異なるメディアストリームを区別するために使用される。さらに別の例では、ストリーミングメディアプロトコルがHTTPライブストリーミング（HTTP Live Streaming、HLS）プロトコルの場合、ユニフォームリソース識別子（Uniform Resource Identifier、URI）が、複数の異なるメディアストリームを区別するために使用される。したがって、サーバが2つのVRビデオストリームをVRデバイスに送信する場合、2つのVRビデオストリームは、ストリーミングメディアプロトコルによって定義された識別子を使用して区別され得る。さらに、異なるストリーミングメディアプロトコルの規定に応じて、メディアストリーム間を区別するための識別子は、各データパケットで搬送される場合と、第1のデータパケット（つまり、最初のデータパケット）でのみ搬送される場合がある。別の可能な例では、VRデバイスが異なるメディアストリームを個別にデコードするため（本出願のこの実施形態では、メディアストリームはVRビデオストリームである）、異なるメディアストリームは互いに区別され得る。
【００５９】
それに対応して、VRデバイスは、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信する。VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを第1のビデオバッファに格納し、フル視野角の第2の解像度VRビデオストリームを第2のビデオバッファに格納する。第1のビデオバッファは、特定の視野角の第1の解像度VRビデオストリームを格納するために使用され、第2のビデオバッファは、フル視野角の第2の解像度VRビデオストリームを格納するために使用される。本出願のこの実施形態では、VRデバイスは、2つのビデオバッファを使用し、再生用の異なるVRビデオストリームの迅速な選択を容易にし、切り替えのスムーズさを向上させることによって、異なる解像度でVRビデオストリームを個別に格納する。
【００６０】
ステップ302。VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを使用することによって、第1の視野角の画像を再生する。
【００６１】
VRデバイスは、第1の視野角の第1の解像度VRビデオストリームをデコードして、第1の視野角の画像を取得し、次に第1の視野角の画像を再生する。本出願のこの実施形態では、VRビデオストリームのコーデックアルゴリズムは限定されない。例えば、コーデックアルゴリズムは、動画専門家集団（Moving Picture Experts Group、MPEG）規格、ビデオコーデック（Video Codec、VC）関連アルゴリズム、またはH．264コーデックアルゴリズムによって提供されるコーデックアルゴリズムである。
【００６２】
任意選択で、VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角のVRビデオストリームのデータ量がプリセットされたしきい値より大きいことを検出すると、第1のビデオバッファから第1の視野角のVRビデオストリームの読み取りを開始し、VRビデオストリームをデコードして再生する。プリセットされたしきい値は、実際の経験に基づいてプリセットされ得る。
【００６３】
ステップ303。VRデバイスが、視野角が変化していると決定した場合、VRデバイスは、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって現在の視野角の画像を再生する。
【００６４】
VRビデオ再生プロセスでは、VRデバイスは、視野角が変化しているかどうか、つまり、視野角が第1の視野角から別の視野角に変化しているかどうかをリアルタイムで検出する。VRデバイスが視野角が変化していると決定する場合、VRデバイスは、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって現在の視野角の画像を再生し、現在の視野角は、VRデバイスによってリアルタイムで決定される視野角である。視野角が変化していないとVRデバイスが決定する場合、VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを使用することによって、第1の視野角の画像の再生を続ける。
【００６５】
一例では、VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する。このステップは、次のサブステップを含む場合がある。
【００６６】
1．VRデバイスは、フル視野角の第2の解像度VRビデオストリームをデコードして、フル視野角の画像を取得する。
【００６７】
2．VRデバイスは、現在の視野角の画像をフル視野角の画像から抽出する。
【００６８】
3．VRデバイスは、現在の視野角の画像を再生する。
【００６９】
視野角の変化中に、VRデバイスは第2のビデオバッファからフル視野角の第2の解像度VRビデオストリームを読み取り、フル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する。フル視野角の第2の解像度VRビデオストリームはローカルの第2のビデオバッファに保存されるため、VRデバイスはサーバからVRビデオストリームを取得するように要求する必要がない。したがって、視野角の切り替え中のMTPレイテンシは削減され得、20ミリ秒未満のMTPレイテンシ要件が満たされる。さらに、視野角の変化中（例えば、ユーザが頭を回すプロセス）、低解像度の画像が表示されるが、移動中に人間の目によって感知される画像はぼやけているため、ユーザに低解像度の画像を表示しても視覚的な体験が低下することはない。
【００７０】
別の例では、VRデバイスは、フル視野角の第2の解像度VRビデオストリームおよび第1の視野角の第1の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する。このステップは、次のサブステップを含む場合がある。
【００７１】
1．VRデバイスは、第1の視野角の第1の解像度VRビデオストリームをデコードして、第1の視野角の画像を取得する。
【００７２】
2．VRデバイスは、フル視野角の第2の解像度VRビデオストリームをデコードして、フル視野角の画像を取得する。
【００７３】
3．VRデバイスは、第1の視野角の画像から重複画像を抽出し、フル視野角の画像から非重複画像を抽出する。
【００７４】
4．VRデバイスは、重複画像と非重複画像を組み合わせて、現在の視野角の画像を取得する。
【００７５】
5．VRデバイスは、現在の視野角の画像を再生する。
【００７６】
重複画像は、第1の視野角の画像と現在の視野角の画像の間の重複領域の画像であり、非重複画像は、現在の視野角の画像の重複領域の画像とは異なる画像である。視野角の変化中、現在の視野角と第1の視野角の間に重複領域が引き続き存在し得る。重複領域の画像は、引き続き高解像度を使用して再生され、鮮明度の損失を可能な限り減らすことができる。
【００７７】
図4は、本出願のこの実施形態による、組み合わせによって現在の視野角の画像を取得する概略図である。重複領域43（図の斜線で塗りつぶされた長方形のボックスによって表示）は、第1の視野角41（図の実線の四角のボックスによって表示）と現在の視野角42（図の破線の四角のボックスによって表示）の間に存在する。VRデバイスは、第1の視野角の第1の解像度の画像44から重複画像45を抽出し、第2の解像度のフル視野角の画像46から非重複画像47を抽出し、重複画像45と非重複画像47を組み合わせ、現在の視野角の画像48を取得する。任意選択で、VRデバイスは、重複画像45および非重複画像47を同じ解像度にスケーリングし、それらを組み合わせて現在の視野角の画像48を取得する。
【００７８】
本出願のこの実施形態では、別の例におけるサブステップ1およびサブステップ2を実行するためのシーケンスは限定されない。サブステップ1は、サブステップ2の前に実行されることも、サブステップ2の後に実行されることも、サブステップ2と同時に実行されることもできる。
【００７９】
さらに、本出願のこの実施形態では、視野角の変化は、現在の視野角が元の視野角と異なること、または現在の視野角と元の視野角の間の変化量がプリセットされたしきい値よりも小さいこと、およびプリセットされたしきい値は、実際の必要性に基づいてプリセットされ得ることを意味し得る。
【００８０】
ステップ304。VRデバイスは、視野角情報をサーバに送信し、視野角情報は、変化した第2の視野角を示すためのパラメータを搬送する。
【００８１】
一例では、VRデバイスはサーバに視野角情報を事前に報告する。例えば、VRデバイスは、最初にプリセットされた時間間隔で視野角情報をサーバに送信し、毎回報告される視野角情報は、現在の視野角（つまり、報告時の視野角）を示すパラメータを保持する。第1のプリセットされた時間間隔は、実際の必要性に基づいてプリセットされてもよい。別の例として、VRデバイスは、視野角が変化していることを検出した場合、視野角情報をサーバに送信し、視野角情報は、変化した第2の視野角を示すパラメータを保持し、視野角が変化していないことを検出すると、VRデバイスは視野角情報をサーバに送信しない。
【００８２】
別の例では、VRデバイスは、サーバによって送信されたポーリング要求を受信した後、サーバに視野角情報を送信する。例えば、サーバは、第2のプリセットされた時間間隔でポーリング要求をVRデバイスに送信し、VRデバイスはポーリング要求を受信した後、サーバに視野角情報を送信する。毎回報告される視野角情報は、現在の視野角（つまり、レポート時の視野角）を示すためのパラメータを含む。第2のプリセットされた時間間隔は、実際の必要性に基づいてプリセットされてもよい。
【００８３】
それに対応して、サーバはVRデバイスによって送信された視野角情報を受信する。本出願のこの実施形態で提供される方法は、サーバがタイムリーな方法でVRデバイスの視野角の変化を確実に習得できるようにする。
【００８４】
ステップ305。サーバは、前述のパラメータに基づいて、第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信する。
【００８５】
サーバは、変化した第2の視野角を示すため、視野角情報で搬送されたパラメータに基づいて、第2の視野角の第1の解像度VRビデオストリームを取得し、次に第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信する。
【００８６】
一例では、サーバがフル視野角の第1の解像度VRビデオストリームを格納している場合、サーバはフル視野角の第1の解像度VRビデオストリームから第2の視野角のVRビデオストリームを抽出する。
【００８７】
別の例では、サーバがn個の視野角の第1の解像度VRビデオストリームを格納している場合、サーバはフル視野角の第1の解像度VRビデオストリームから第2の視野角のVRビデオストリームを選択する。
【００８８】
それに対応して、VRデバイスは、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信する。VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを第1のビデオバッファに格納する。
【００８９】
本出願のこの実施形態では、視野角情報に基づいて、VRデバイスの視野角が変化したことを決定する場合、サーバは、第1の視野角のVRビデオストリームをVRデバイスに送信することを停止し、次に、変化した第2の視野角のVRビデオストリームを送信することができ、その結果、トラフィックバーストは発生しない。さらに、フル視野角の低解像度VRビデオストリームが個別に送信され、したがって、第2の視野角のVRビデオストリームがVRデバイスに到達する前に、VRデバイスはフル視野角の低解像度VRビデオストリームを使用することによって現在の視野角の画像を再生でき、表示の中断は発生しない。
【００９０】
ステップ306。VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
【００９１】
VRデバイスは、第2の視野角の第1の解像度VRビデオストリームをデコードして、第2の視野角の画像を取得し、次に第2の視野角の画像を再生する。
【００９２】
任意選択で、VRデバイスが、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームを使用する必要がない場合、VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角のVRビデオストリームでデータエージングを実行する。データエージングは、バッファリングされたデータを除去することを示し、第1の視野角のVRビデオストリームでデータエージングを実行すると、第1の視野角のVRビデオストリームが第1のビデオバッファから削除される。このようにして、第1のビデオバッファのバッファリングリソースはできるだけ早く解放され得る。
【００９３】
VRデバイスが、視野角が変化していると決定したとき、VRデバイスがフル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する場合、VRデバイスが、視野角が変化していると決定したとき、VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングを実行してもよい。VRデバイスが視野角が変化していると決定したとき、VRデバイスがフル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって現在の視野角の画像を再生する場合、VRデバイスが第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生するとき、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングが実行され得る。
【００９４】
本出願のこの実施形態で提供される解決策によると、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームで、視野角の切り替え中に表示要件を満たすために使用される。この解決策では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。前述の例と比較して、この解決策では、サーバは、フル視野角の低解像度VRビデオストリームを繰り返し格納する必要がなく、ストレージオーバーヘッドを削減し、そして視野角情報に基づいて、VRデバイスの視野角が変化したと決定した場合、サーバは第1の視野角のVRビデオストリームのVRデバイスへの送信を停止し、次に変化した第2の視野角のVRビデオストリームの送信を行うことができ、その結果、トラフィックバーストは発生しない。
【００９５】
図5Aおよび図5Bは、本出願の別の実施形態によるビデオ再生方法のフローチャートである。本方法は、図2Aまたは図2Bに示される適用シナリオに適用され得る。本方法には、以下のステップが含まれる場合がある。
【００９６】
図5Bでは、丸によって表されたステップ1から10は、それぞれ、以下のステップ501から510に対応する。
【００９７】
ステップ501。VRデバイスは、サービス要求をサーバに送信し、サービス要求は第1の視野角を示すためのパラメータを搬送する。
【００９８】
サービス要求は、サーバからVRビデオリソースを取得する要求に使用される。
【００９９】
それに対応して、サーバはVRデバイスによって送信されたサービス要求を受信する。
【０１００】
ステップ502。サーバは、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームをVRデバイスに送信し、第1の解像度が第2の解像度より大きい。
【０１０１】
サービス要求を受信した後、サーバは、最初の視野角を示すための、サービス要求で搬送された、パラメータに基づいて第1の視野角の第1の解像度VRビデオストリームを取得し、VRビデオストリームをVRデバイスに送信する。加えて、サーバは、VRデバイスがサーバからVRビデオリソースを取得するための要求を停止するまで、つまりサービスが停止するまで、フル視野角の第2の解像度VRビデオストリームをVRデバイスにさらに送信する。さらに、第2の解像度VRビデオストリームは、第1の解像度VRビデオストリームのビデオトランスコーディングによって取得できる。例えば、第2の解像度は第1の解像度の10％である。
【０１０２】
それに対応して、VRデバイスは、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信する。
【０１０３】
図5Bを参照すると、第1の送信バッファおよび第2の送信バッファを含む、送信バッファの2つのチャネルがサーバに設定される。第1の送信バッファは、視野角の第1の解像度VRビデオストリーム（FOVビデオストリームとも呼ばれる場合がある）をVRデバイスに送信するために使用され、第2の送信バッファは、フル視野角の第2の解像度VRビデオストリーム（360度のビデオストリームとも呼ばれる場合がある）をVRデバイスに送信するために使用される。それに対応して、VRデバイスには、第1の受信バッファと第2の受信バッファを含む、受信バッファの2つのチャネルが設定される。第1の受信バッファ、すなわち、図3の実施形態で説明された第1のビデオバッファは、視野角の受信された第1の解像度VRビデオストリーム（FOVビデオストリームとも呼ばれる場合がある）を格納するために使用され、第2の受信バッファ、すなわち、図3の実施形態で説明された第2のビデオバッファは、フル視野角の受信した第2の解像度VRビデオストリーム（360度のビデオストリームとも呼ばれる場合がある）を格納するために使用される。
【０１０４】
ステップ503。VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを使用することによって、第1の視野角の画像を再生する。
【０１０５】
第1のビデオバッファのVRビデオストリームのバッファリングされたビデオデータが特定の時間長（例えば、1秒）に到達すると、VRデバイスは第1のビデオバッファから第1の視野角の第1の解像度VRビデオストリームを読み取り、VRビデオストリームをデコードして再生する。
【０１０６】
ステップ504。VRデバイスが、視野角が変化していると決定した場合、VRデバイスは、視野角情報をサーバに送信し、視野角情報は、変化した第2の視野角を示すためのパラメータを搬送する。
【０１０７】
任意選択で、VRデバイスは視野角の切り替え要求をサーバに送信する。視野角の切り替え要求は、変化した第2の視野角を示すためのパラメータを搬送し、視野角の切り替え要求は、変化した第2の視野角のVRビデオストリームの取得を要求するために使用される。
【０１０８】
それに対応して、サーバはVRデバイスによって送信された視野角情報を受信する。
【０１０９】
ステップ505。VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングを実行する。
【０１１０】
例えば、VRデバイスは、第1のビデオバッファに格納されているデータを削除し、第2の視野角の第1の解像度VRビデオストリームを受信する準備をする。
【０１１１】
ステップ506。VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する。
【０１１２】
VRデバイスは、第2のビデオバッファからフル視野角の第2の解像度VRビデオストリームを読み取り、VRビデオストリームをデコードしてフル視野角の画像を取得し、再生用に現在の視野角の画像をフル視野角の画像から抽出する。
【０１１３】
本出願のこの実施形態では、ステップ504、505、および506を実行するためのシーケンスは限定されないことに留意していただきたい。前述の3つのステップは、順次または同時に実行してもよい。
【０１１４】
ステップ507。サーバは、変化した第2の視野角を示すために、視野角情報で搬送される、パラメータに基づいて、第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信する。
【０１１５】
視野角情報に基づいて、VRデバイスの視野角が変化したことを決定する場合、サーバは、第1の視野角のVRビデオストリームをVRデバイスに送信することを停止し、次に、変化した第2の視野角のVRビデオストリームを送信することができる。それに対応して、VRデバイスは、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信する。
【０１１６】
さらに、VRデバイスの視野角が変化したと決定した場合、サーバは第1の送信バッファからデータを削除することができ、第2の視野角の第1の解像度VRビデオストリームを送信する準備をする。
【０１１７】
ステップ508。VRデバイスは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期しているかどうかを検出し、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期される場合、ステップ509を実行するか、または第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期されていない場合、ステップ510を実行する。
【０１１８】
VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを受信した後、VRビデオストリームのタイムスタンプを現在再生されている画像のタイムスタンプと比較して、タイムスタンプが同期しているかどうかを決定する。任意選択として、「同期」とは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが、現在再生されている画像のタイムスタンプを含むことを意味する。つまり、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプを含む場合、第2の視野角の受信した第1の解像度VRビデオストリームが期限切れになっていないことを示す。第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプを含まない場合、第2の視野角の受信した第1の解像度VRビデオストリームが期限切れになっていることを示す場合があり、VRデバイスは期限切れのVRビデオストリームを破棄する場合がある。
【０１１９】
ステップ509。VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
【０１２０】
タイムスタンプが同期されている場合、VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
【０１２１】
ステップ510。VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
【０１２２】
タイムスタンプが同期されていない場合、VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって第2の視野角の画像を引き続き再生し、タイムスタンプが同期されるようになったとき、第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生する。
【０１２３】
任意選択で、タイムスタンプが同期されていない場合、VRデバイスはサーバに同期要求を送信し、同期要求は、当該タイムスタンプが現在再生されている画像のタイムスタンプと同期されているVRビデオストリームをフィードバックするようサーバに要求するために使用される。VRデバイスによって送信された同期要求を受信した後、サーバは、一定の時間後にVRが必要とする第2の視野角の第1の解像度VRビデオストリームを送信する。例えば、サーバは、第2の視野角の当初送信したVRビデオストリームのタイムスタンプを一定の時間後方に移動することによって新しいタイムスタンプを取得することができ、新しいタイムスタンプから第2の視野角の第1の解像度VRビデオストリームの送信を開始する。別の例では、VRデバイスによってサーバに送信された同期要求は、現在再生されている画像のタイムスタンプを搬送することができ、サーバは現在再生されている画像のタイムスタンプならびにデータの伝送およびエンコードとデコードに必要とされる時間に基づく予測を通じて新しいタイムスタンプを取得することができ、新しいタイムスタンプから第2の視野角の第1の解像度VRビデオストリームの送信を開始する。確かに、別の可能な実装形態では、ステップ507で第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信するとき、サーバは、フル視野角の現在送信中の第2の解像度VRビデオストリームのタイムスタンプに基づき、つまり、タイムスタンプから、またはタイムスタンプを一定の時間後方に移動した後に取得された新しいタイムスタンプから、第2の視野角の第1の解像度VRビデオストリームのVRデバイスへの送信を開始することができる。これにより、タイムスタンプの同期プロセスが高速化され、タイムスタンプが長時間同期されず、結果としてVRデバイスが長時間にわたって第2の解像度の画像を再生することから、ユーザの視覚体験が影響されることを防ぐことができる。
【０１２４】
さらに、ユーザがVRビデオを視聴しているプロセスでは、ユーザの視野角は常に変化している可能性があり、その結果、VRデバイスによってサーバにフィードバックされる視野角情報は実際の視野角に追いつくことができない。したがって、対応する視野角予測メカニズムはサーバ側でさらに設定され得る。視野角予測メカニズムは、VRデバイスによってフィードバックされる視野角情報に基づいて実際の視野角を予測し、次に視野角の同期を実装するために、VRデバイスによって必要とされる視野角のビデオデータを、VRデバイスにフィードバックするために使用される。
【０１２５】
本出願のこの実施形態で提供される解決策によると、VRデバイスは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期しているかどうかをさらに検出して、ユーザ向けの正確なVRビデオ再生を確保する。
【０１２６】
前述の方法の実施形態では、本出願で提供される技術的解決策は、単に、VRデバイスとサーバの間の相互作用の観点から説明されている。VRデバイス側のステップは、VRデバイス側のビデオ再生方法として別個に実装されてもよく、サーバ側のステップは、サーバ側のビデオ再生方法として別個に実装されてもよい。
【０１２７】
前述の機能を実装するために、デバイス（例えば、VRデバイスまたはサーバ）は、機能を実行するために対応するハードウェア構造および／またはソフトウェアモジュール（またはユニット）を含むことを理解していただきたい。本出願で開示される実施形態を参照して説明される例でのユニットおよびアルゴリズムステップは、本出願の実施形態でのハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせによって実装され得る。機能がハードウェアによって、またはハードウェアを駆動するコンピュータソフトウェアによって実行されるかどうかは、特定の用途および技術的解決策の設計制約により異なる。特定の用途ごとに、当業者であれば、説明した機能を実装するために異なる方法を使用することができるが、当該実装形態が本出願の実施形態の技術的解決策の範囲を逸脱すると見なされるべきではない。
【０１２８】
本出願の実施形態では、デバイス（例えば、VRデバイスまたはサーバ）は、前述の方法例に基づいて機能ユニットに分割され得る。例えば、各機能ユニットは1つの機能に対応していてもよいし、2つ以上の機能が1つの処理ユニットに統合されていてもよい。統合されたユニットはハードウェアの形で実装されてもよく、またはソフトウェアの機能的ユニットの形で実施されてもよい。本出願の実施形態でのユニット分割は一例であり、単に論理的な機能分割であり、実際の実装形態では他の分割であってもよいことに留意していただきたい。
【０１２９】
統合ユニットが使用される場合、図6Aは、前述の実施形態におけるデバイスの可能な概略構造図である。デバイス600は、処理ユニット602および通信ユニット603を含む。処理ユニット602は、デバイス600の動作を制御および管理するように構成される。例えば、デバイス600がVRデバイスである場合、処理ユニット602は、図3のステップ302から304およびステップ306、図5Aのステップ501、ステップ503から506、およびステップ508から510ならびに／または本明細書で説明された技術を実装するための別のステップの実行においてデバイス600をサポートするように構成される。デバイス600がサーバである場合、処理ユニット602は、図3のステップ301および305、図5Aのステップ502および507、ならびに／または本明細書で説明された技術を実装するための別のステップの実行においてデバイス600をサポートするように構成される。通信ユニット603は、デバイス600と別のデバイスの間の通信をサポートするように構成される。デバイス600は、記憶ユニット601をさらに含むことができ、記憶ユニット601は、デバイス600のプログラムコードおよびデータを格納するように構成される。
【０１３０】
処理ユニット502は、例えば、中央処理装置（Central Processing Unit、CPU）、汎用プロセッサ、デジタル信号プロセッサ（Digital Signal Processor、DSP）、特定用途向け集積回路、（Application−Specific Integrated Circuit、ASIC）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、FPGA）、または別のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネント、またはそれらの組み合わせなどのプロセッサまたはコントローラであってもよい。コントローラ／プロセッサは、本出願で開示された内容を参照して説明された各種例示的な論理ブロック、モジュール、および回路を実装または実行することができる。代替として、プロセッサは、計算機能を実行する組み合わせ、例えば、1つ以上のマイクロプロセッサを含む組み合わせ、またはDSPとマイクロプロセッサとの組み合わせであり得る。通信ユニット603は、通信インタフェース、トランシーバ、トランシーバ回路などとしてもよい。通信インタフェースは集合的な用語であり、1つ以上のインタフェース、例えばサーバとVRデバイスの間のインタフェースを含む場合がある。記憶ユニット601はメモリであってもよい。
【０１３１】
処理ユニット602がプロセッサであり、通信ユニット603が通信インタフェースであり、記憶ユニット601がメモリである場合、本出願のこの実施形態におけるデバイスは、図6Bに示されるデバイスであり得る。
【０１３２】
図6Bを参照すると、デバイス610は、プロセッサ612、通信インタフェース613、およびメモリ611を含む。任意選択として、デバイス610は、バス614をさらに含むことができる。通信インタフェース613、プロセッサ612、およびメモリ611は、バス614を使用して互いに接続されてもよい。バス614はペリフェラルコンポーネント相互接続（Peripheral Component Interconnect、短縮してPCI）バス、拡張業界標準アーキテクチャ（Extended Industry Standard Architecture、短縮してEISA）バスなどとすることができる。バス614は、アドレスバス、データバス、コントロールバスなどに分類され得る。表現を容易にするために、図6Bでバスを表すために1本の太い線のみが使用されているが、これは1本のバスのみまたは1つのタイプのバスしかないことを意味するものではない。
【０１３３】
図6Aまたは図6Bに示されるデバイスは、サーバまたはVRデバイスであり得る。
【０１３４】
本出願の実施形態で開示された内容を参照して説明された方法またはアルゴリズムステップは、ハードウェアによって実装されてもよく、ソフトウェア命令を実行することによってプロセッサによって実装されてもよい。ソフトウェア命令は対応するソフトウェアモジュール（またはユニット）を含み得る。ソフトウェアモジュール（またはユニット）は、ランダムアクセスメモリ（Random Access Memory、RAM）、フラッシュメモリ、読み出し専用メモリ（Read Only Memory、ROM）、消去可能プログラマブル読み出し専用メモリ（Erasable Programmable ROM、EPROM）、電気的消去可能プログラマブル読み出し専用メモリ（Electrically EPROM、EEPROM）、レジスタ、ハードディスク、リムーバブルハードディスク、コンパクトディスク読み出し専用メモリ（CD−ROM）、または当業界で周知された他の形式の記憶媒体に格納することができる。例えば、例示的記憶媒体はプロセッサに結合され、それによりプロセッサは記憶媒体から情報を読み取ることや、記憶媒体に情報を書き込むことができる。もちろん、記憶媒体は代替としてプロセッサの構成要素であり得る。プロセッサおよび記憶媒体はASIC内に配置されてもよい。さらに、ASICはデバイスに配置されてもよい。もちろん、プロセッサおよび記憶媒体は、個別の構成要素としてデバイス内に代替的に存在してもよい。
【０１３５】
当業者は、前述の1つ以上の例では、本出願の実施形態で説明されている機能がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせによって実装され得ることを認識していただきたい。本出願の実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品が実行されると、コンピュータプログラム製品は前述の機能を実装するように構成される。加えて、コンピュータプログラム製品は、コンピュータ可読媒体に格納されてもよく、またはコンピュータ可読媒体の1つ以上の命令またはコードとして送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含み、通信媒体は、コンピュータプログラムをある場所から別の場所に伝送することを可能にする任意の媒体を含む。記憶媒体は、汎用または専用コンピュータにアクセス可能な任意の利用可能な媒体とし得る。
【０１３６】
前述の特定の実装形態では、本出願の実施形態の目的、技術的解決策、および有益な効果が、詳細にさらに説明される。前述の説明は、本出願の実施形態の特定の実装形態に過ぎず、本出願の実施形態の保護範囲を限定することを意図するものではないことを理解していただきたい。本出願の実施形態の技術的解決策に基づいてなされたいかなる修正、同等の置換、または改良も、本出願の実施形態の保護範囲内にあるものとする。
【符号の説明】
【０１３７】
11  360度のパノラマ画像
12  目標視野角領域の画像
13  背景領域画像
14  低解像度の背景領域画像
15  目標視野角のVR画像
21  VRデバイス
22  サーバ
23  カメラ
41  第1の視野角
42  現在の視野角
43  重複領域
44  第1の視野角の第1の解像度の画像
45  重複画像
46  第2の解像度のフル視野角の画像
47  非重複画像
48  現在の視野角の画像
502  処理装置
600  デバイス
601  記憶ユニット
602  処理ユニット
603  通信ユニット
610  デバイス
611  メモリ
612  プロセッサ
613  通信インタフェース
614  バス
【図１Ａ】
2020519094.tif 000003
【図１Ｂ】
2020519094.tif 000004
【図２Ａ】
2020519094.tif 000005
【図２Ｂ】
2020519094.tif 000006
【図３】
2020519094.tif 000007
【図４】
2020519094.tif 000008
【図５Ａ】
2020519094.tif 000009
【図５Ｂ】
2020519094.tif 000010
【図６Ａ】
2020519094.tif 000011
【図６Ｂ】
2020519094.tif 000012
【手続補正書】
【提出日】令和1年12月2日(2019.12.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
処理ユニット602は、例えば、中央処理装置（Central Processing Unit、CPU）、汎用プロセッサ、デジタル信号プロセッサ（Digital Signal Processor、DSP）、特定用途向け集積回路、（Application−Specific Integrated Circuit、ASIC）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、FPGA）、または別のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネント、またはそれらの組み合わせなどのプロセッサまたはコントローラであってもよい。コントローラ／プロセッサは、本出願で開示された内容を参照して説明された各種例示的な論理ブロック、モジュール、および回路を実装または実行することができる。代替として、プロセッサは、計算機能を実行する組み合わせ、例えば、1つ以上のマイクロプロセッサを含む組み合わせ、またはDSPとマイクロプロセッサとの組み合わせであり得る。通信ユニット603は、通信インタフェース、トランシーバ、トランシーバ回路などとしてもよい。通信インタフェースは集合的な用語であり、1つ以上のインタフェース、例えばサーバとVRデバイスの間のインタフェースを含む場合がある。記憶ユニット601はメモリであってもよい。
【国際調査報告】
2020519094.tif 000013
2020519094.tif 000014
2020519094.tif 000015
2020519094.tif 000016