(57)【要約】  本発明は、VRビデオ再生方法、端末、およびサーバを提供する。本方法は、仮想現実VRビデオ要求メッセージをサーバに端末によって送信するステップであって、VRビデオ要求メッセージは再生されるビデオの識別子を含む、ステップと、サーバによって送信されたVRビデオ応答メッセージを受信するステップであって、VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと、ユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいてターゲット・サブ・ビットストリームを取得するステップと、を含む。このようにして、マルチキャスト・アドレスが再生されるビデオの各サブ・ビットストリームに割り当てられるため、端末は現在視野に基づいて必要なサブ・ビットストリームを決定し、再生されるビデオ全体のビデオ・ストリームを受信することなく、これらの現在必要なサブ・ビットストリームを取得することができる。これにより、帯域幅が大幅に節約される。
2021526778.tif 000002
【特許請求の範囲】
【請求項１】
仮想現実VRビデオ要求メッセージを、端末によってサーバに送信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含む、ステップと、
前記サーバによって送信されたVRビデオ応答メッセージを、前記端末によって受信するステップであって、前記VRビデオ応答メッセージは、前記再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと、
ユーザの現在視野に基づいて、ターゲット・サブ・ビットストリームを前記端末によって決定し、前記ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームを取得するステップと
を含む、VRビデオ再生方法。
【請求項２】
前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームの特徴記述情報をさらに含み、前記特徴記述情報は、前記サブ・ビットストリームの空間位置情報および前記サブ・ビットストリームの画質記述情報を含む、請求項1に記載の方法。
【請求項３】
ユーザの現在視野に基づいて、ターゲット・サブ・ビットストリームを前記端末によって決定する前記ステップは、
前記ユーザの前記現在視野および前記N個のサブ・ビットストリームの前記特徴記述情報に基づいて、前記ターゲット・サブ・ビットストリームを前記端末によって決定するステップであって、前記ターゲット・サブ・ビットストリームは、少なくとも1つのサブ・ビットストリームを含む、ステップ
を含む、請求項2に記載の方法。
【請求項４】
前記ユーザの前記現在視野および前記N個のサブ・ビットストリームの前記特徴記述情報に基づいて、前記ターゲット・サブ・ビットストリームを前記端末によって決定する前記ステップは、
前記ユーザの前記現在視野および前記N個のサブ・ビットストリームの前記特徴記述情報に基づいて、前記現在視野領域内のサブ・ビットストリームを高解像度サブ・ビットストリームとして前記端末によって選択し、前記現在視野領域以外の領域内のビットストリームを低解像度ビットストリームとして選択するステップ
を含む、請求項2に記載の方法。
【請求項５】
前記VRビデオ応答メッセージは、前記再生されるビデオの動的適応ストリーミングのN個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスをさらに示し、
前記ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームを前記端末によって取得する前記ステップの前に、前記方法は、
前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームのユニキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームを前記端末によって取得するステップ
をさらに含む、請求項1または2に記載の方法。
【請求項６】
端末によって送信されたVRビデオ要求メッセージをサーバによって受信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含む、ステップと、
前記再生されるビデオの前記識別子に基づいて、VRビデオ応答メッセージを前記端末にサーバによって送信するステップであって、前記VRビデオ応答メッセージは、前記再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと
を含む、VRビデオ再生方法。
【請求項７】
端末によって送信されたVRビデオ要求メッセージをサーバによって受信する前記ステップの前に、前記方法は、
前記再生されるビデオの前記N個のサブ・ビットストリームおよびすべてのサブ・ビットストリームに対応する前記マルチキャスト・アドレスを前記サーバによって決定するステップであって、Nは、1より大きい整数である、ステップと、
前記N個のサブ・ビットストリームを前記対応するマルチキャスト・アドレスに、前記サーバによって個別に送信するステップと
をさらに含む、請求項6に記載の方法。
【請求項８】
前記VRビデオ応答メッセージが、前記N個のサブ・ビットストリームの特徴記述情報をさらに含む、請求項6または7に記載の方法。
【請求項９】
メモリ、プロセッサ、および通信インターフェイスを含む端末であって、
前記メモリは、プログラムを格納するように構成され、前記通信インターフェイスは、別のデバイスとの有線または無線通信を実行するように構成され、
前記プロセッサは、前記メモリに格納されている前記プログラムを呼び出して、以下の方法、すなわち：
仮想現実VRビデオ要求メッセージをサーバに送信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含む、ステップと、前記サーバによって送信されたVRビデオ応答メッセージを受信するステップであって、前記VRビデオ応答メッセージは、前記再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと、ユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、前記ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームを取得するステップと
を実行する
端末。
【請求項１０】
前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームの特徴記述情報をさらに含み、前記特徴記述情報は、前記サブ・ビットストリームの空間位置情報および前記サブ・ビットストリームの画質記述情報を含む、請求項9に記載の端末。
【請求項１１】
前記プロセッサは、前記ユーザの前記現在視野および前記N個のサブ・ビットストリームの前記特徴記述情報に基づいて、前記ターゲット・サブ・ビットストリームを決定するように特に構成され、前記ターゲット・サブ・ビットストリームは、少なくとも1つのサブ・ビットストリームを含む、請求項10に記載の端末。
【請求項１２】
前記プロセッサは、前記ユーザの前記現在視野および前記N個のサブ・ビットストリームの前記特徴記述情報に基づいて、現在視野領域内のサブ・ビットストリームを高解像度サブ・ビットストリームとして選択し、前記現在視野領域以外の領域のビットストリームを低解像度ビットストリームとして選択するように特に構成された、請求項10に記載の端末。
【請求項１３】
前記VRビデオ応答メッセージは、前記再生されるビデオの動的適応ストリーミングのN個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスをさらに示し、
前記プロセッサは、前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームのユニキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームを取得するようにさらに構成された、請求項9または10に記載の端末。
【請求項１４】
メモリ、プロセッサ、および通信インターフェイスを含むサーバであって、
前記メモリは、プログラムを格納するように構成され、前記通信インターフェイスは、別のデバイスとの有線または無線通信を実行するように構成され、
前記プロセッサは、前記メモリに格納されたプログラムを呼び出して、以下の方法、すなわち：端末によって送信されたVRビデオ要求メッセージを受信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含む、ステップと、前記再生されるビデオの前記識別子に基づいて、VRビデオ応答メッセージを前記端末に送信するステップであって、前記VRビデオ応答メッセージは、前記再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと
を実行する
サーバ。
【請求項１５】
前記プロセッサは、前記再生されるビデオの前記N個のサブ・ビットストリーム、および、すべてのサブ・ビットストリームに対応する前記マルチキャスト・アドレスを決定し、Nは、1より大きい整数であり、前記N個のサブ・ビットストリームを前記対応するマルチキャスト・アドレスに個別に送信するようにさらに構成された、請求項14に記載のサーバ。
【請求項１６】
前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームの特徴記述情報をさらに含む、請求項14または15に記載のサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、2018年5月22日に中国国家知識産権局に提出された「VRビデオ再生方法、端末、およびサーバ」と題された中国特許出願第201810497645．9号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【０００２】
本発明は、仮想現実の分野に関し、詳細には、VRビデオ再生方法、端末、およびサーバに関連する。
【背景技術】
【０００３】
仮想現実（Virtual Reality，VR）は、コンピュータによって構築された仮想環境である。環境は、実世界の複製からでも、架空の世界でもあり得る。人々は、この仮想環境で3次元空間情報を使用してリアルタイムで対話する。VR 360度のパノラマ・ビデオは、「パノラマ・ビデオ」または「VR 360度ビデオ」とも呼ばれる。VR 360度ビデオは、水平方向（経度方向）に360度、垂直方向（緯度方向）に180度で、囲まれた全方位の物理的空間ビジョンを、観察者に提供する。ユーザは、頭の位置を変えることによって、または、マウスやリモコンなどの入力デバイスを使うことによって、視野を切り替わることで、没入型の体験を楽しむことができる。
【０００４】
技術開発とユーザ体験の条件が改善して、VRビデオの解像度は継続的に改善されている。VR 360度ビデオの場合、ユーザは、実際には、VR 360度ビデオのごく一部を視聴する。従来の符号化方式と従来の送信方式をビデオ全体に使用した場合、多くの帯域幅リソースが浪費される。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明は、VRビデオ再生方法、端末、およびサーバを提供し、既存のVRビデオ再生プロセスにおける帯域幅の比較的大きな浪費の問題を解決する。
【０００６】
本発明の第1の様態によれば、
仮想現実VRビデオ要求メッセージを、端末によってサーバに送信するステップであって、VRビデオ要求メッセージは再生されるビデオの識別子を含む、ステップと、
サーバによって送信されたVRビデオ応答メッセージを、端末によって受信するステップであって、VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと、
ユーザの現在視野に基づいて、ターゲット・サブ・ビットストリームを前記端末によって決定し、ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、ターゲット・サブ・ビットストリームを取得するステップとを含む、VRビデオ再生方法が提供される。
【０００７】
実現可能な設計においては、VRビデオ応答メッセージは、N個のサブ・ビットストリームの特徴記述情報をさらに含み、特徴記述情報は、サブ・ビットストリームの空間位置情報およびサブ・ビットストリームの画質記述情報を含む。
【０００８】
実現可能な設計においては、ユーザの現在視野に基づいて、ターゲット・サブ・ビットストリームを端末によって決定するステップは、
端末によって、ユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいて、ターゲット・サブ・ビットストリームを決定するステップであって、ターゲット・サブ・ビットストリームは少なくとも1つのサブ・ビットストリームを含む、ステップを含む。
【０００９】
実現可能な設計においては、ユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいて、ターゲット・サブ・ビットストリームを端末によって決定するステップは、
ユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいて、現在視野領域内のサブ・ビットストリームを高解像度サブ・ビットストリームとして端末によって選択し、現在視野領域以外の領域のビットストリームを低解像度ビットストリームとして選択するステップを含む。
【００１０】
実現可能な設計においては、VRビデオ応答メッセージはさらに、再生されるビデオの動的適応ストリーミングのN個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスを示し、
ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、ターゲット・サブ・ビットストリームを端末によって取得するステップの前に、本方法は、
ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームのユニキャスト・アドレスに基づいて、ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームを端末によって取得するステップを、さらに含む。
【００１１】
第2の態様によれば、本発明はVRビデオ再生方法を提供し、VRビデオ再生方法は、
端末によって送信されたVRビデオ要求メッセージをサーバによって受信するステップであって、VRビデオ要求メッセージは、再生されるビデオの識別子を含む、ステップと、
再生されるビデオの識別子に基づいて、VRビデオ応答メッセージを端末にサーバによって送信するステップであって、VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップを含む。
【００１２】
実現可能な設計においては、端末によって送信されたVRビデオ要求メッセージをサーバによって受信する前に、本方法は、
再生されるビデオのN個のサブ・ビットストリームと、すべてのサブ・ビットストリームに対応するマルチキャスト・アドレスをサーバによって決定することであって、Nは1より大きい整数である、ステップと、
N個のサブ・ビットストリームを、対応するマルチキャスト・アドレスにサーバによって個別に送信するステップとを、
さらに含む。
【００１３】
実現可能な設計においては、VRビデオ応答メッセージは、N個のサブ・ビットストリームの特徴記述情報を、さらに含む。
【００１４】
第3の態様によれば、本発明は、端末を提供する。端末は、第1の態様で提供される方法および第1の態様の実装を実行するように構成されたモジュールまたは手段（means）を含む。
【００１５】
第4の様態によれば、本発明は、サーバを提供する。サーバは、第2の態様で提供される方法および第2の態様の実装を実行するように構成されたモジュールまたは手段（means）を含む。
【００１６】
第5の態様によれば、本発明は、端末を提供する。端末は、メモリ、プロセッサ、および通信インターフェイスが含まれる。
【００１７】
メモリはプログラムを格納するように構成され、通信インターフェイスは別のデバイスとの有線または無線通信を実行するように構成される。
【００１８】
プロセッサは、メモリに格納されたプログラムを呼び出して、第1の態様で提供される方法および第1の態様の実装を実行する。
【００１９】
第6の様態によれば、本発明は、サーバを提供する。サーバには、メモリ、プロセッサ、および通信インターフェイスが含まれる。
【００２０】
メモリはプログラムを格納するように構成され、通信インターフェイスは別のデバイスとの有線または無線通信を実行するように構成される。
【００２１】
プロセッサは、メモリに格納されたプログラムを呼び出して、第2の態様で提供される方法および第2の態様の実装を実行する。
【００２２】
第7の態様によれば、本発明は、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体は、プログラムを格納するように構成され、第1の態様および第2の態様で任意の方法を実行するために、プログラムが使用される。
【００２３】
本発明では、VRビデオ再生方法、端末、サーバが提供される。端末は、VRビデオ要求メッセージをサーバに送信し、サーバは、VRビデオ応答メッセージを端末に送信する。VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示すため、端末はユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスからのターゲット・サブ・ビットストリームを取得する。このようにして、マルチキャスト・アドレスが再生されるビデオの各サブ・ビットストリームに割り当てられるため、端末は現在視野に基づいて必要なサブ・ビットストリームを決定し、再生されるビデオ全体のビデオ・ストリームを受信することなく、これらの現在必要なサブ・ビットストリームを取得できる。これにより、帯域幅が大幅に節約される。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態によるVRシステムの概略構造図である。
【図２】本発明の一実施形態によるVRビデオ再生方法の概略フローチャートである。
【図３】本発明の一実施形態によるVRビデオ再生方法における遅延の概略図である。
【図４】本発明の別の実施形態によるVRビデオ再生方法における遅延の概略図である。
【図５】本発明の一実施形態による端末の概略構造図である。そして
【図６】本発明の一実施形態によるサーバの概略構造図である。
【発明を実施するための形態】
【００２５】
図1は、本発明の実施形態によるVRシステムの概略構造図である。図1に示されるように、システムは、サーバ01および端末02を含む。
【００２６】
サーバ02は、有線または無線ネットワークを使用することによって端末01と通信することができる。具体的には、端末02は、ネットワークを使用してサーバ02からビデオを要求する必要がある。
【００２７】
端末01は、コンピュータ、コンピュータ、VRメガネ、およびタブレット・コンピュータなど、VR再生をサポートする様々なデバイスであり得る。これは、本発明にでは特に制限されない。
【００２８】
サーバ02は、ビデオリソースを取得するために、カメラ装置にさらに接続できる。本発明のカメラ装置は、カメラレンズ、ビデオカメラなどであり得る。
【００２９】
サーバ02は、処理されたビデオをサーバ02上に配置し、端末01は、格納されたビデオのアドレスをサーバ02から要求することができる。
【００３０】
視野（Field Of View，FOV）に基づく送信ソリューションには、ハイブリッド送信ソリューションがあり、業界ではタイルベース（tile−based）の送信ソリューションと呼ばれる。このソリューションでは、パノラマフレームを符号化するために複数のサブ・ブロックに分割し、各サブ・ブロックは、個別に送信および復号化され得る。各サブ・ブロックはtileと呼ばれる。また、低解像度パノラマ・ビデオ・ストリームがさらに符号化され、低解像度パノラマ・ビデオ・ストリームは、元のパノラマ・ビデオ・ストリームのビットレートまたは解像度を低減することによって実装され得る。
【００３１】
端末は、表示される視野および表示される方向に基づいて、必要な高解像度tileビットストリームと必要な低解像度パノラマ・ビデオ・ストリームをサーバに適用する。高解像度tileビットストリームに対応する画像は、視野領域でユーザによって表示される。低解像度パノラマ・ビットストリームに対応する画像は、視野を切り替えるとすぐに見ることができ、新しい視野に対応する高解像度tileビットストリームが要求される。
【００３２】
ただし、現在のソリューションでは、ビデオ・ストリーム全体がマルチキャスト・アドレスに基づいて実装され、つまり、ビデオ・ストリーム全体がマルチキャスト・アドレスに配置される。これは、tile−basedの送信ソリューションを実装するのに不便である。本発明は、tile−basedの送信ソリューションの特定処理を実装するために、VRビデオのマルチキャスト再生方式の新しい再生方法を提供する。
【００３３】
図2は、本発明の一実施形態による、VRビデオ再生方法の概略フローチャートである。図2に示すように、本方法は以下のステップを含む。
【００３４】
S201において、端末は、VRビデオ要求メッセージをサーバに送信する。
【００３５】
VRビデオ要求メッセージには、再生されるビデオの識別子が含まれる。
【００３６】
特定の実装中には、VRを再生するためのアプリケーションプログラム（APP）が、端末にインストールされる場合がある。ネットワークにアクセスした後、端末は、APPを使用してVRビデオ要求メッセージを送信する。ユーザは、端末のAPPで操作を実行して、ビデオを再生する必要があることを示すことができ、APPは、VRビデオ要求メッセージをサーバに送信する。ただし、これに限定されるものではない。
【００３７】
S202において、サーバは、VRビデオ応答メッセージを端末に送信し、VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す。
【００３８】
この実施形態では、マルチキャスト・アドレスは、サブ・ビットストリームごとに構成される。VRビデオ応答メッセージは、サブ・ビットストリームの識別子およびすべてのサブ・ビットストリームに対応するマルチキャスト・アドレスを、搬送することができる。具体的には、端末は360度パノラマ・ビデオに含まれるすべてのサブ・ビットストリームの識別子（ID）、および対応するマルチキャスト・アドレスを取得する。
【００３９】
S203において、端末は、ユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスからターゲット・サブ・ビットストリームを取得する。
【００４０】
360度パノラマ・ビデオに含まれるすべてのサブ・ビットストリームの識別子、および対応するマルチキャスト・アドレスを取得した後、端末は、現在視野領域に基づいて、具体的には、ユーザがこれから見ようとしている視野領域、どのサブ・ビットストリームを受信する必要があるかを決定し、受信する必要のあるサブ・ビットストリームに対応するマルチキャスト・アドレスからサブ・ビットストリームを取得する。
【００４１】
ターゲット・サブ・ビットストリームを受信した後、端末は、360度のパノラマ・ビデオを処理するのと同じ方法でサブ・ビットストリームを復号化およびレンダリングし、次にサブ・ビットストリームをユーザに再生する。
【００４２】
この実施形態では、端末はVRビデオ要求メッセージをサーバに送信し、サーバはVRビデオ応答メッセージを端末に送信する。VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示すため、端末はユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスからのターゲット・サブ・ビットストリームを取得する。このようにして、マルチキャスト・アドレスが再生されるビデオの各サブ・ビットストリームに割り当てられるため、端末は現在視野に基づいて必要なサブ・ビットストリームを決定し、再生されるビデオ全体のビデオ・ストリームを受信することなく、これらの現在必要なサブ・ビットストリームを取得できる。これにより、帯域幅が大幅に節約される。
【００４３】
特定の実装中に、サーバは最初に、再生されるビデオのN個のサブ・ビットストリームおよびすべてのサブ・ビットストリームに対応するマルチキャスト・アドレスを決定し、N個のサブ・ビットストリームを対応するマルチキャスト・アドレスに、それぞれ送信する。Nは、1より大きい整数である。
【００４４】
サーバは、サービスプランに基づいて、再生されるビデオ（360度のビデオ・ストリームの場合がある）のコンテンツを準備する。具体的には、準備には、再生されるビデオのリアルタイム・キャプチャ、および再生されるビデオのサブ・ビットストリーム構成情報に基づくサブ・ビットストリーム上の分割、符号化／トランスコーディング、カプセル化などを含み得る。
【００４５】
より具体的には、再生されるビデオのサブ・ビットストリーム構成情報は、再生されるビデオの各サブ・ビットストリームの特徴記述情報を含む。
【００４６】
特徴記述情報には、サブ・ビットストリームの空間位置情報とサブ・ビットストリームの画質記述情報が含まれる。サブ・ビットストリームの空間位置情報は、サブ・ビットストリームの再生されるビデオに対するサブ・ビットストリームの位置関係を参照し、再生されるビデオにおける座標およびサブ・ビットストリームの占有解像度などの情報を含む。サブ・ビットストリームの画質記述情報は、ビットレートやサブ・ビットストリームの解像度などの情報であり得る。
【００４７】
サーバは、サブ・ビットストリーム構成情報（Tile構成情報）に一致する複数のサブ・ビットストリームを生成し、例えば、複数のサブ・ビットストリームは、高解像度tileビットストリームおよび低解像度パノラマ・ビットストリームであり得、複数の品質レベルでのtileビットストリームであり得る。各サブ・ビットストリームは、独立して復号化できるビットストリームであるか、単一のtileビットストリームであるか、または低解像度パノラマ・ビットストリームであり得る。言い換えれば、高解像度パノラマ・ビットストリームは複数のサブ・ビットストリームに分割され、低解像度パノラマ・ビットストリームはサブ・ビットストリームに分割されない場合がある。
【００４８】
表1に、Tile構成情報を示す。
【００４９】
【表１】
2021526778.tif 000003
【００５０】
表1の空間位置情報の記述では、Tile 0に対応する［0、0、1280、640、1280、640］を例にとると、ゼロ番目から1番目の数字は、0と0であり、再生するビデオのTileの左上隅の座標を示す。2番目の数字と3番目の数字は、1280と640であり、再生するビデオのTileの右下隅の座標を示す。4番目の数字と5番目の数字は、1280と640で、Tileの画像解像度を示す。
【００５１】
次に、マルチキャスト・アドレスが各サブ・ビットストリームに割り当てられ、サブ・ビットストリームが対応するマルチキャスト・アドレスに配置される。具体的には、操作者は、サーバ上で再生されるビデオの各サブ・ビットストリームにマルチキャスト・アドレスを割り当てることができ、またはサーバは、事前設定されたルールに従って、再生されるビデオの各サブ・ビットストリームにマルチキャスト・アドレスを自動的に割り当てることができる。これは、本発明に限定されるものではない。
【００５２】
同様に、一実施形態では、VRビデオ応答メッセージは、N個のサブ・ビットストリームの特徴記述情報をさらに含み得る。特徴記述情報には、サブ・ビットストリームの空間位置情報とサブ・ビットストリームの画質記述情報が含まれる。
【００５３】
サーバは、各サブ・ビットストリームに対応するマルチキャスト・アドレスを取得した後、トリプレット情報（サブ・ビットストリームの識別子、サブ・ビットストリームのマルチキャスト・アドレス、およびサブ・ビットストリームの特徴記述情報）を生成することができる。サーバは、端末によって送信されたVRビデオ要求メッセージを受信した後、トリプレット情報をVRビデオ応答メッセージに追加し、VRビデオ応答メッセージを端末に送信する。
【００５４】
例えば、サーバは、トリプレット情報を生成した後、表2の情報を確立することができる。
【００５５】
【表２】
2021526778.tif 000004
【００５６】
この場合、端末がユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定することは、端末がユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいてターゲット・サブ・ビットストリームを決定することであり得る。
【００５７】
端末は、ユーザの現在視野領域の座標情報を取得し、座標情報をすべてのサブ・ビットストリームと照合して、現在視野領域に対応するサブ・ビットストリームを取得し、サブ・ビットストリームをターゲット・サブ・ビットストリームとして使用する。
【００５８】
特定の実装プロセスでは、端末がユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいてターゲット・サブ・ビットストリームを決定することは、端末が現在視野領域でサブ・ビットストリームを高解像度サブ・ビットストリームとして選択し、現在視野領域以外の領域のビットストリームを低解像度ビットストリームとして選択することを、含み得る。
【００５９】
具体的には、帯域幅を節約するために、現在視野領域に高解像度ビデオが提供され、別の領域に低解像度ビデオが再生される。このようにして、ユーザは視野を切り替えるときにビデオを見ることができ、端末は切り替えられた領域に対応する高解像度サブ・ビットストリームを取得する。
【００６０】
任意選択で、ユーザが視野を切り替えた後、端末は、新しい視野情報に基づいて、新しい視野に対応するターゲット・サブ・ビットストリームを取得し、視野領域にないマルチキャスト・グループを離れることを選択し、新しい視野領域のマルチキャスト・グループに参加し、ターゲット・サブ・ビットストリームのマルチキャスト・アドレスに基づいて、新しい視野に対応するターゲット・サブ・ビットストリームを受信する。
【００６１】
高解像度サブ・ビットストリームの解像度は第1のプリセット閾値よりも大きく、低解像度ビットストリームの解像度は第2のプリセット閾値よりも小さいことに留意されたい。任意選択で、高解像度サブ・ビットストリームと比較して、低解像度ビットストリームの解像度は、水平方向の解像度を半分に、垂直方向の解像度を半分に下げることによって実装し得る。低解像度ビットストリームはサブ・ビットストリームに分割されておらず、パノラマ・ビットストリームであり得る。
【００６２】
端末によって取得されるサブ・ビットストリームは、高解像度サブ・ビットストリームである。表1のサブ・ビットストリーム構成情報に基づいて、サーバは、再生されるビデオの複数の高解像度サブ・ビットストリームおよび低解像度パノラマ・ビットストリームを生成することができる。
【００６３】
4Kの360度パノラマ・ビデオ（解像度：3840×1920）をマルチキャストする必要があり、360度パノラマ・ビデオのIDはA1234であり、360度パノラマ・ビデオのTile構成情報は、高解像度tileビットストリームと低解像度パノラマ・ビットストリーム（tileに分割しない）の方式であると、想定されている。例えば、高解像度サブ・ビットストリームは3×3に基づいて9個のtileに均等に分割することができ、低解像度パノラマ・ビットストリームは、水平方向の解像度を半分に、垂直方向の解像度を半分に下げることによって実装される。
【００６４】
低解像度パノラマ・ビットストリームは、一般的なビデオの符号化方式で生成することができ、高解像度tileは、高効率ビデオ符号化（High Efficiency Video Coding，HEVC）標準のTile符号化方式で符号化することができる。動き予測中に、各tileを個別に復号化できるように、動きベクトルが時間と空間でtileの境界を越えないことを知っておく必要がある。符号化が完了すると、ビットストリームが抽出される。1つのtileは、1つのビットストリーム・ファイルに対応する。あるいは、再生されるビデオの各フレームは、符号化前に表1のtile分割方法に基づいて9個のサブ画像ビデオに分割することができ、各サブ画像ビデオは、共通のビデオ・エンコーダを使用して符号化される。
【００６５】
例えば、表2を参照すると、現在視野領域に対応する左上隅および右下隅の座標は、それぞれ［1000，640］および［1960，1280］であると仮定する。視野領域がTile3およびTile4の領域をカバーすることは、VRビデオ応答メッセージから知ることができ、端末は、Tile3およびTile4に対応するマルチキャスト・アドレス232．151．62．226および232．198．224．57に参加するように申請することができる。（Tile3およびTile4のサブ・ビットストリームのビットレートは2Mbpsであり、高解像度サブ・ビットストリームであることが、表2からわかる。）
【００６６】
ユーザが水平に頭の向きを変えて、視野を［2000、640］と［2960、1280］に対応する領域に切り替えた場合、新しい視野領域はTile4とTile5の領域をカバーし、Tile5は現在視野領域に入り、Tile3は現在視野領域を離れる。この場合、端末は、Tile5に対応するマルチキャスト・アドレス232．58．166．100への参加を申請し、Tile3に対応するマルチキャスト・アドレス232．151．62．226を離れることを申請することができる。
【００６７】
プロセス全体で、低解像度パノラマ・ビットストリームの場合、端末は常に低解像度パノラマ・ビットストリームのマルチキャスト・アドレス232．18．94．216に参加する。
【００６８】
任意選択で、低解像度パノラマ・ビットストリームをN個の低解像度サブ・ビットストリームに分割することもできる。
【００６９】
端末がユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいて、ターゲット・サブ・ビットストリームを決定することは、端末が現在視野領域のサブ・ビットストリームを高解像度サブ・ビットストリームとして選択し、現在視野領域以外の領域のサブ・ビットストリームを低解像度サブ・ビットストリームとして選択することを、含み得る。
【００７０】
例えば、サブ・ビットストリームは、3×3に従って分割された高品質tileビットストリームと、3×3に従って分割された低品質tileビットストリームで構成されているため、合計で18個のサブ・ビットストリームがある。サーバは、前述の実装に従って、IDが0から17である18個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを、同様に生成することができる。IDが0〜8のサブ・ビットストリームは、9個の高解像度サブ・ビットストリームに対応し、IDが8〜17のサブ・ビットストリームは9個の低解像度サブ・ビットストリームに対応する。現在視野領域に対応する左上隅と右下隅の座標は、それぞれ［1000、640］と［1960、1280］であると仮定する。視野領域は、Tile3およびTile4の領域をカバーする。端末は、高精細Tile3および高精細Tile4に対応するマルチキャスト・アドレスへの参加、および他の領域に対応する低解像度サブ・ビットストリームに対応するマルチキャスト・アドレスへの参加、言い換えれば、IDが9、10、11、14、15、16、または17の低解像度サブ・ビットストリームに対応するマルチキャスト・アドレスへの参加、を申請することができる。ユーザが水平に頭を回転させ、視野を［2000、640］および［2960、1280］に対応する領域に切り替え、新しい視野領域がTile4およびTile5の領域をカバーすることを前提としている。端末が参加する必要のあるサブ・ビットストリームIDは、4、5、9、10、11、12、15、16、および17である。対応する操作は、Tile3のマルチキャスト・アドレスを離れ、Tile5のマルチキャスト・アドレスに参加することである。
【００７１】
任意選択で、マルチキャスト・アドレスへの参加または離脱は、端末に対応するゲートウェイに、標準のインターネット・グループ管理プロトコル（Internet Group Management Protocol，IGMP）参加（Join）メッセージまたはグループ離脱（Leave Group）メッセージを送信することによって、実装できる。例えば、端末の識別子（または端末にインストールされているアプリの識別子）が190．50．10．40であり、端末がマルチキャスト・アドレス232．198．224．57に参加する場合、メッセージ形式は、次のようになる。
「．．．190．50．10．40 232．198．224．57 IGMP V2 Membership Report／Join group 232．198．224．57．．．」
【００７２】
別の例として、端末が2つのマルチキャスト・アドレス232．198．224．57および232．58．166．100への参加を申請する場合、端末は、端末に対応するゲートウェイに2つのIGMP参加メッセージを送信できる。具体的なメッセージは次のとおりである。
「．．．190．50．10．40 232．198．224．57 IGMP V2 Membership Report／Join group 232．198．224．57．．．」および、
「．．．190．50．10．40 232．58．166．100 IGMP V2 Membership Report／Join group 232．58．166．100．．．」
【００７３】
複数の高精細tileビットストリームがダウンロードされた後、各高精細tileビットストリームは、独立して符号化され得るか、または複数の高精細tileビットストリームは、符号化のために1個のビットストリームに結合され得る。最後に、VRビデオの再生およびレンダリング方法において、復号化された画像は、復号化された画像の位置情報に基づいて、球体に対応する視野領域に投影される。さらに、ユーザの視野領域内の画像がキャプチャされ、ユーザに提示される。
【００７４】
前述のサーバは、複数のサーバによって形成されるシステムであり得、例えば、ヘッドエンド・サーバ、管理サーバ、およびビデオ・ストリーム・サーバを含み得ることに留意されたい。
【００７５】
ヘッドエンド・サーバは、再生されるビデオのコンテンツを準備する（360度のパノラマ・ビデオ・ストリームの場合がある）。具体的には、準備には、再生されるビデオのサブ・ビットストリーム構成情報に基づくサブ・ビットストリーム上での、リアルタイムのキャプチャ、分割、符号化／トランスコーディング、カプセル化などが含まれ得る。
【００７６】
ヘッドエンド・サーバは、サブ・ビットストリーム構成情報（Tile構成情報）に一致する複数のサブ・ビットストリームを、ビデオ・ストリーム・サーバに送信する。
【００７７】
管理サーバは、従来のビデオ・マルチキャストに類似している。管理サーバは、ビデオ・マルチキャスト・サービスの管理プラットフォームでもある。操作者は、管理サーバを使用して、ビデオ・ストリームのマルチキャスト・アドレスを計画および構成し（例えば、サブ・ビットストリームごとにマルチキャスト・アドレスを割り当てる）、ビデオ・ストリームマルチキャスト・サービスを開始できる。端末は、VRビデオ要求メッセージを管理サーバに送信し、管理サーバも、VRビデオ応答メッセージを生成して送信する。
【００７８】
ビデオ・ストリーム・サーバは、再生する必要のあるビデオデータを格納し、管理サーバによって示されたマルチキャスト・アドレスに基づいて対応するマルチキャスト・アドレスにビデオデータを配置するように構成されている。本発明では、管理サーバはすべてのサブ・ビットストリームに対応するマルチキャスト・アドレスを示し、ビデオサーバは再生されるビデオのサブ・ビットストリームを対応するマルチキャスト・アドレスに格納する。
【００７９】
確かに、ヘッドエンド・サーバ、管理サーバ、およびビデオ・ストリーム・サーバを1つのサーバに統合することもできる。これは、本発明に限定されるものではない。
【００８０】
別の任意選択の実施形態では、VRビデオ応答メッセージは、再生されたビデオの動的適応ストリーミングのN個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスをさらに示す。
【００８１】
動的適応ストリーミングは、ハイパーテキスト転送プロトコル（HyperText Transfer Protocol，HTTP）（Dynamic Adaptive Streaming over HTTP，DASH）を介した動的適応ストリーミングであり得る。
【００８２】
具体的には、再生されるビデオのN個のサブ・ビットストリームを準備した後、サーバは、サブ・ビットストリームのリアルタイム・トランスポート・プロトコル（Real−time Transport Protocol，RTP）データ・パケットを取得し、例えば、サブ・ビットストリームのRTPデータ・パケットを、ビデオサーバへ注入する。サーバはさらに、サブ・ビットストリーム上でDASH空間表現記述（DASH Spatial Representation Description，DASH−SRD）のカプセル化およびスライスを実行して、サブ・ビットストリームのDASHセグメントを取得することができる。サブ・ビットストリームのDASHセグメントは、RTPマルチキャストデータストリームに変換される。さらに、DASHセグメントのサービスアドレスが割り当てられ、再生されるビデオとDASHセグメントのサービスアドレスとの間の関連付け関係が確立される。DASHセグメントは、再生されるビデオの高解像度サブ・ビットストリームに対応する。
【００８３】
カプセル化およびスライスされたDASHセグメントは、ユニキャスト・サーバ上のDASHセグメントに対応するサービス・アドレス（ユニキャスト・アドレス）に格納される。
【００８４】
サブ・ビットストリームのDASHセグメントおよびRTPデータ・パケットには、それぞれ個別のインターフェイスが使用される。
【００８５】
端末のVRビデオ要求メッセージは、再生されるビデオのマルチキャスト・アドレスを要求するだけでなく、再生されるビデオのユニキャスト・アドレスも要求する。サーバから返されるVRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームに対応するマルチキャスト・アドレスと、再生されるビデオのDASHセグメントに対応するユニキャスト・アドレスを搬送する。
【００８６】
この実施形態では、視野が切り替わるとき、新しい視野のサブ・ビットストリーム・データは、DASHセグメントに対応するユニキャスト・アドレスを使用することによって、最初に要求される必要があり、言い換えれば、高解像度サブ・ビットストリームは、新しい視野領域に対応するサブ・ビットストリームのDASHセグメントのユニキャスト・アドレスから取得され、符号化されて表示される。マルチキャスト・データが再生同期ポイントに到達すると、マルチキャスト・データが表示され（具体的には、新しい視野領域に対応するサブ・ビットストリームのマルチキャスト・アドレスからターゲット・サブ・ビットストリームが取得された後、マルチキャスト・データが表示される）、DASHユニキャスト・データの要求が停止される。
【００８７】
図3は、本発明の一実施形態によるVRビデオ再生方法における遅延の概略図である。図4は、本発明の別の実施形態によるVRビデオ再生方法における遅延の概略図である。
【００８８】
この実施形態で提供される解決策では、マルチキャスト方式でのみ高精細サブ・ビットストリームを取得する方式と比較して、高精細サブ・ビットストリームを取得する遅延が、視野を切り替える過程において減らすことができる。
【００８９】
図3は、図2に示される実施形態において、サブ・ビットストリームのマルチキャスト方式でのみ生成される遅延を示す。図4は、この実施形態で追加されるDASHセグメント方式で生成された遅延を示している。ユーザの視野を切り替える過程において、図4に対応する実施形態では、ユーザは、視野を切り替えた後、より短時間で高解像度ビデオを見ることができることがわかる。
【００９０】
即時復号リフレッシュ（Instantaneous Decoding Refresh、IDR）フレームは、内部画像（I）フレームの第1のフレームを表す。
【００９１】
例えば、表2を参照すると、ユーザの現在視野に対応する左上隅および右下隅の座標は、それぞれ［1000，640］および［1960，1280］であると仮定する。視野領域は、Tile3とTile4の領域をカバーする。この場合、Tile3、Tile4および低解像度パノラマ・ビットストリームに対応するマルチキャスト・グループは、端末によって、現在結合されている。
【００９２】
ユーザは、現在のピクチャー群（Group of Pictures、GOP）の300ミリ秒の時点で、水平に頭を回転させると想定される（符号化ラメータは、GOPの長さが2秒で、DASHセグメントの継続時間が2秒で想定される）。視野は、「2000，640」と「2960，1280」に対応する領域に変更される。視野は、Tile4およびTile5の領域をカバーし、言い換えれば、Tile5は現在視野に入り、Tile3は現在視野を離れる。この場合、端末は、Tile5の高解像度ビデオを再度要求する必要がある。具体的には、Tile5に対応するマルチキャスト・アドレス232．58．166．100への参加を申請すると、端末は、ユニキャスト・サーバからTile5のDASHセグメント（高解像度セグメント）をダウンロードするように要求する。Tile5のDASHセグメントは、現在のGOPの500ミリ秒の時点で、到着すると想定される。端末は、別のデコーダがDASHセグメントの復号化を高速にすることを可能にする。GOPの1000ミリ秒で、Tile5のDASHセグメントは、復号化後の現在の再生時点に到達すると想定される。この場合、DASHセグメントの高解像度データを使用して、対応する領域の低解像度データをカバーできる。
【００９３】
1つの可能性としては、端末が、GOPの500ミリ秒の時点で、Tile5のマルチキャスト・アドレスにも参加していると想定されるが、現在受信されているマルチキャスト・データには、Iフレームがなく復号化できない。Tile5のマルチキャスト・データは、次のGOPの開始時にのみ復号化することができ、具体的には、1500ミリ秒後に、Tile5（次のGOP）のマルチキャスト・データの復号化および表示を開始する。その後、Tile5のDASHセグメントは要求されない。
【００９４】
図5は、本発明の一実施形態による端末の概略構造図である。図5に示されるように、端末は、メモリ501、プロセッサ502、および通信インターフェイス503を含む。
【００９５】
メモリ501は、プログラムを格納するように構成される。
【００９６】
通信インターフェイス503は、別のデバイスとの有線または無線通信を実行するように構成される。
【００９７】
プロセッサ502は、メモリ501に格納されたプログラムを呼び出して、以下の方法、すなわち：仮想現実VRビデオ要求メッセージをサーバに送信するステップであって、VRビデオ要求メッセージは、再生されるビデオの識別子が含まるステップと、サーバによって送信されたVRビデオ応答メッセージを受信するステップであって、VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示すステップと、ユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいてターゲット・サブ・ビットストリームを取得するステップと
を実行する。
【００９８】
この実施形態では、端末はVRビデオ要求メッセージをサーバに送信し、サーバはVRビデオ応答メッセージを端末に送信する。VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示すため、端末はユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスからのターゲット・サブ・ビットストリームを取得する。このようにして、マルチキャスト・アドレスが再生されるビデオの各サブ・ビットストリームに割り当てられるため、端末は現在視野に基づいて必要なサブ・ビットストリームを決定し、再生されるビデオ全体のビデオ・ストリームを受信することなく、これらの現在必要なサブ・ビットストリームを取得できる。これにより、帯域幅が大幅に節約される。
【００９９】
さらに、VRビデオ応答メッセージは、N個のサブ・ビットストリームの特徴記述情報をさらに含み、特徴記述情報は、サブ・ビットストリームの空間位置情報およびサブ・ビットストリームの画質記述情報を含む。
【０１００】
実装において、プロセッサ502は、ユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいて、ターゲット・サブ・ビットストリームを決定するように特に構成される。ターゲット・サブ・ビットストリームには、少なくとも1つのサブ・ビットストリームが含まれる。
【０１０１】
別の実装形態では、プロセッサ502は、ユーザの現在視野およびN個のサブ・ビットストリームの特徴記述情報に基づいて、現在視野領域内のサブ・ビットストリームを高解像度サブ・ビットストリームとして選択し、現在視野領域以外の領域のビットストリームを低解像度ビットストリームとして選択するように特に構成される。
【０１０２】
さらに別の実装形態では、VRビデオ応答メッセージは、再生されるビデオの動的適応ストリーミングのN個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスをさらに示す。
【０１０３】
同様に、プロセッサ502は、ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームのユニキャスト・アドレスに基づいて、ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームを取得するようにさらに構成される。
【０１０４】
図6は、本発明の実施形態によるサーバの概略構造図である。図6に示されるように、端末は、メモリ601、プロセッサ602、および通信インターフェイス603を含む。
【０１０５】
メモリ601は、プログラムを格納するように構成される。
【０１０６】
通信インターフェイス603は、別のデバイスとの有線または無線通信を実行するように構成される。
【０１０７】
プロセッサ602は、メモリ601に格納されたプログラムを呼び出して、以下の方法、すなわち：端末によって送信されたVRビデオ要求メッセージを受信するステップであって、VRビデオ要求メッセージは、再生されるビデオの識別子を含むステップと、再生されるビデオの識別子に基づいて、VRビデオ応答メッセージを端末に送信するステップであって、VRビデオ応答メッセージは、再生されるビデオのN個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示すステップとを実行する。
【０１０８】
任意選択で、プロセッサ602はさらに、再生されるビデオのN個のサブ・ビットストリームと、すべてのサブ・ビットストリームに対応するマルチキャスト・アドレスとを決定し、Nは、1より大きい整数であり、N個のサブ・ビットストリームを対応するマルチキャスト・アドレスに個別に送信するように構成される。
【０１０９】
任意選択で、VRビデオ応答メッセージには、N個のサブ・ビットストリームの特徴記述情報がさらに含まれる。
【０１１０】
任意選択で、前述の実施形態におけるVRビデオ再生方法のいくつかまたはすべてがソフトウェアを使用して実装される場合、端末またはプロセッサは、その代わりに、プロセッサのみを含み得る。プログラムを格納するように構成されたメモリは、装置の外部にある。プロセッサは、回路／配線を使用してメモリに接続され、メモリに格納されているプログラムを読み取って実行するように構成されている。
【０１１１】
プロセッサは、中央処理装置（central processing unit，CPU）、ネットワーク・プロセッサ（network processor，NP）、またはCPUとNPの組み合わせであり得る。
【０１１２】
プロセッサは、ハードウェア・チップをさらに含み得る。前述のハードウェア・チップは、特定用途向け集積回路（application−specific integrated circuit，ASIC）、プログラマブル・ロジック・デバイス（programmable logic device，PLD）、またはそれらの組み合わせであり得る。PLDは、コンプレックス・プログラマブル・ロジック・デバイス（complex programmable logic device，CPLD）、フィールド・プログラマブル・ゲートアレイ（field−programmable gate array，FPGA）、ジェネリック・アレイ・ロジック（generic array logic，GAL）、または、それらの任意の組み合わせであり得る。
【０１１３】
メモリは、揮発性メモリ（volatile memory）、例えば、ランダム・アクセス・メモリ（random−access memory，RAM）を含み得る、または、メモリは、不揮発性メモリ（non−volatile memory）、例えば、フラッシュ・メモリ（flash memory）、ハードディスク・ドライブ（hard disk drive，HDD）、もしくはソリッド・ステート・ドライブ（solid−state drive，SSD）を含み得る、または、メモリは、前述のタイプのメモリの組み合わせを含み得る。
【０１１４】
端末およびサーバは、前述の方法の実施形態を実行するように構成される。端末とサーバの実装原理と技術的効果は、本方法の実施形態のものと同様である。詳細については、本明細書では再度説明しない。
【０１１５】
本発明では、さらにコンピュータ記憶媒体を提供する。コンピュータ記憶媒体は、プログラムを格納するように構成され、プログラムは、前述の方法を実行するために使用される。
【０１１６】
本発明で提供される端末およびサーバはまた、前述の方法を実行するように構成されたモジュールまたは手段（means）を含み得る。実装原理と技術的効果は、前述の方法と同様である。詳細については、本明細書では再度説明しない。
【符号の説明】
【０１１７】
01  端末
02  サーバ
501  メモリ
502  プロセッサ
503  通信インターフェイス
601  メモリ
602  プロセッサ
603  通信インターフェイス
【図１】
2021526778.tif 000005
【図２】
2021526778.tif 000006
【図３】
2021526778.tif 000007
【図４】
2021526778.tif 000008
【図５】
2021526778.tif 000009
【図６】
2021526778.tif 000010
【手続補正書】
【提出日】令和2年12月28日(2020.12.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
図1は、本発明の実施形態によるVRシステムの概略構造図である。図1に示されるように、システムは、サーバ02および端末01を含む。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
サーバ02は、有線または無線ネットワークを使用することによって端末01と通信することができる。具体的には、端末01は、ネットワークを使用してサーバ02からビデオを要求する必要がある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
端末01は、コンピュータ、VRメガネ、およびタブレット・コンピュータなど、VR再生をサポートする様々なデバイスであり得る。これは、本発明にでは特に制限されない。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
別の任意選択の実施形態では、VRビデオ応答メッセージは、再生されるビデオの動的適応ストリーミングのN個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスをさらに示す。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
具体的には、再生されるビデオのN個のサブ・ビットストリームを準備した後、サーバは、サブ・ビットストリームのリアルタイム・トランスポート・プロトコル（Real−time Transport Protocol，RTP）データ・パケットを取得し、例えば、サブ・ビットストリームのRTPデータ・パケットを、ビデオサーバへ注入する。サーバはさらに、サブ・ビットストリーム上でDASH空間表現記述（DASH Spatial Representation Description，DASH−SRD）のカプセル化およびスライスを実行して、サブ・ビットストリームのDASHセグメントを取得することができる。さらに、DASHセグメントのサービスアドレスが割り当てられ、再生されるビデオとDASHセグメントのサービスアドレスとの間の関連付け関係が確立される。DASHセグメントは、再生されるビデオの高解像度サブ・ビットストリームに対応する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
任意選択で、前述の実施形態におけるVRビデオ再生方法のいくつかまたはすべてがソフトウェアを使用して実装される場合、端末またはサーバは、その代わりに、プロセッサのみを含み得る。プログラムを格納するように構成されたメモリは、装置の外部にある。プロセッサは、回路／配線を使用してメモリに接続され、メモリに格納されているプログラムを読み取って実行するように構成されている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
メモリは、揮発性メモリ（volatile memory）、例えば、ランダム・アクセス・メモリ（random access memory，RAM）を含み得る、または、メモリは、不揮発性メモリ（non−volatile memory）、例えば、フラッシュ・メモリ（flash memory）、ハードディスク・ドライブ（hard disk drive，HDD）、もしくはソリッド・ステート・ドライブ（solid−state drive，SSD）を含み得る、または、メモリは、前述のタイプのメモリの組み合わせを含み得る。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想現実VRビデオ要求メッセージを、端末によってサーバに送信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含み、前記再生されるビデオは、N個のサブ・ビットストリームを含む、ステップと、
前記サーバによって送信されたVRビデオ応答メッセージを、前記端末によって受信するステップであって、前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと、
ユーザの現在視野に基づいて、ターゲット・サブ・ビットストリームを前記端末によって決定し、前記ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームを取得するステップであって、前記マルチキャスト・アドレスは、前記マルチキャスト・アドレスの１つであり、前記ターゲット・サブ・ビットストリームは、前記N個のサブ・ビットストリームの少なくとも1つのサブ・ビットストリームを含む、ステップと
を含む、VRビデオ再生方法。
【請求項２】
前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームの特徴記述情報をさらに含み、前記特徴記述情報は、前記N個のサブ・ビットストリームの各サブ・ビットストリームの空間位置情報および前記N個のサブ・ビットストリームの各サブ・ビットストリームの画質記述情報を含む、請求項1に記載の方法。
【請求項３】
ユーザの現在視野に基づいて、ターゲット・サブ・ビットストリームを前記端末によって決定する前記ステップは、
前記ユーザの前記現在視野および前記N個のサブ・ビットストリームの前記特徴記述情報に基づいて、前記現在視野領域内の少なくとも１つのサブ・ビットストリームを高解像度サブ・ビットストリームとして前記端末によって選択し、前記現在視野領域以外の領域内の少なくとも１つのビットストリームを低解像度ビットストリームとして選択するステップ
を含む、請求項2に記載の方法。
【請求項４】
前記VRビデオは動的適応ストリーミングのN個のサブ・ビットストリームをさらに含み、前記VRビデオ応答メッセージは、動的適応ストリーミングの前記N個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスをさらに示し、
前記ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームを前記端末によって取得する前記ステップの前に、前記方法は、
前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームのユニキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームを前記端末によって取得するステップであって、前記ユニキャスト・アドレスは、前記ユニキャスト・アドレスの１つであり、動的適応ストリーミングの前記サブ・ビットストリームは、動的適応ストリーミングの前記N個のサブ・ビットストリームの少なくとも１つのサブ・ビットストリームを含む、ステップ
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
端末によって送信されたVRビデオ要求メッセージをサーバによって受信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含み、前記再生されるビデオは、N個のサブ・ビットストリームを含む、ステップと、
前記再生されるビデオの前記識別子に基づいて、VRビデオ応答メッセージを前記端末にサーバによって送信するステップであって、前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと
を含む、VRビデオ再生方法。
【請求項６】
端末によって送信されたVRビデオ要求メッセージをサーバによって受信する前記ステップの前に、前記方法は、
前記N個のサブ・ビットストリームおよび前記N個のサブ・ビットストリームに対応する前記マルチキャスト・アドレスを前記サーバによって決定するステップであって、Nは、1より大きい整数である、ステップと、
前記N個のサブ・ビットストリームを前記対応するマルチキャスト・アドレスに、前記サーバによって個別に送信するステップと
をさらに含む、請求項5に記載の方法。
【請求項７】
前記VRビデオ応答メッセージが、前記N個のサブ・ビットストリームの特徴記述情報をさらに含む、請求項5または6に記載の方法。
【請求項８】
メモリ、プロセッサ、および通信インターフェイスを含む端末であって、
前記メモリは、プログラムを格納するように構成され、前記通信インターフェイスは、別のデバイスとの有線または無線通信を実行するように構成され、
前記プロセッサは、前記メモリに格納されている前記プログラムを呼び出して、以下の方法、すなわち：
仮想現実VRビデオ要求メッセージをサーバに送信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含み、前記再生されるビデオは、N個のサブ・ビットストリームを含む、ステップと、前記サーバによって送信されたVRビデオ応答メッセージを受信するステップであって、前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと、ユーザの現在視野に基づいてターゲット・サブ・ビットストリームを決定し、前記ターゲット・サブ・ビットストリームに対応するマルチキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームを取得するステップであって、前記マルチキャスト・アドレスは、前記マルチキャスト・アドレスの１つであり、前記ターゲット・サブ・ビットストリームは、前記N個のサブ・ビットストリームの少なくとも1つのサブ・ビットストリームを含む、ステップと
を実行する
端末。
【請求項９】
前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームの特徴記述情報をさらに含み、前記特徴記述情報は、前記N個のサブ・ビットストリームの各サブ・ビットストリームの空間位置情報および前記N個のサブ・ビットストリームの各サブ・ビットストリームの画質記述情報を含む、請求項8に記載の端末。
【請求項１０】
前記プロセッサは、前記ユーザの前記現在視野および前記N個のサブ・ビットストリームの前記特徴記述情報に基づいて、現在視野領域内の少なくとも１つのサブ・ビットストリームを高解像度サブ・ビットストリームとして選択し、前記現在視野領域以外の領域の少なくとも１つのビットストリームを低解像度ビットストリームとして選択するように構成された、請求項9に記載の端末。
【請求項１１】
前記再生されるビデオは動的適応ストリーミングのN個のサブ・ビットストリームをさらに含み、前記VRビデオ応答メッセージは、動的適応ストリーミングの前記N個のサブ・ビットストリームにそれぞれ対応するユニキャスト・アドレスをさらに示し、
前記プロセッサは、前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームのユニキャスト・アドレスに基づいて、前記ターゲット・サブ・ビットストリームに対応する動的適応ストリーミングのサブ・ビットストリームを取得するようにさらに構成され、前記ユニキャスト・アドレスは、前記ユニキャスト・アドレスの１つであり、動的適応ストリーミングの前記サブ・ビットストリームは、動的適応ストリーミングの前記N個のサブ・ビットストリームの少なくとも１つのサブ・ビットストリームを含む、請求項8から10のいずれか一項に記載の端末。
【請求項１２】
メモリ、プロセッサ、および通信インターフェイスを含むサーバであって、
前記メモリは、プログラムを格納するように構成され、前記通信インターフェイスは、別のデバイスとの有線または無線通信を実行するように構成され、
前記プロセッサは、前記メモリに格納されたプログラムを呼び出して、以下の方法、すなわち：端末によって送信されたVRビデオ要求メッセージを受信するステップであって、前記VRビデオ要求メッセージは、再生されるビデオの識別子を含み、前記再生されるビデオは、N個のサブ・ビットストリームを含む、ステップと、前記再生されるビデオの前記識別子に基づいて、VRビデオ応答メッセージを前記端末に送信するステップであって、前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームにそれぞれ対応するマルチキャスト・アドレスを示す、ステップと
を実行する
サーバ。
【請求項１３】
前記プロセッサは、前記N個のサブ・ビットストリーム、および、前記N個のサブ・ビットストリームに対応する前記マルチキャスト・アドレスを決定し、Nは、1より大きい整数であり、前記N個のサブ・ビットストリームを前記対応するマルチキャスト・アドレスに個別に送信するようにさらに構成された、請求項12に記載のサーバ。
【請求項１４】
前記VRビデオ応答メッセージは、前記N個のサブ・ビットストリームの特徴記述情報をさらに含む、請求項12または13に記載のサーバ。
【請求項１５】
命令を格納するコンピュータ可読媒体であって、前記命令がコンピュータ上で実行されると、前記コンピュータは請求項1から4のいずれか一項に記載の方法を実行する、コンピュータ可読媒体。
【国際調査報告】
2021526778.tif 000011
2021526778.tif 000012
2021526778.tif 000013
2021526778.tif 000014