(57)【特許請求の範囲】
【請求項１】
仮想現実画像を送信する方法であって、
仮想現実ホストによって、仮想現実デバイスにより送信された第1のモーション情報を受信するステップであって、前記第1のモーション情報が前記仮想現実デバイスの現在のモーション状態を示すために使用される、ステップと、
前記仮想現実ホストによって、前記第1のモーション情報に基づいて第1の画像圧縮率を決定するステップと、
前記仮想現実ホストによって、前記第1の画像圧縮率に基づいて送信される仮想現実画像を圧縮するステップと、
前記仮想現実ホストによって、前記圧縮された仮想現実画像を前記仮想現実デバイスに送信するステップと
を含み、
前記仮想現実ホストによって、前記第1のモーション情報に基づいて第1の画像圧縮率を決定する前記ステップの前に、前記方法が、
前記仮想現実ホストによって、無線チャネルの現在のチャネル品質を検出するステップであって、前記無線チャネルが前記仮想現実デバイスと前記仮想現実ホストの間の通信チャネルである、ステップと、
無線チャネルのチャネル品質と画像圧縮率の間のマッピング関係に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する画像圧縮率を決定するステップと
を含み、
前記仮想現実ホストによって、前記第1のモーション情報に基づく第1の画像圧縮率を決定する前記ステップが、
前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記画像圧縮率を前記第1の画像圧縮率として決定するステップ、または前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記画像圧縮率を調整し、調整された画像圧縮率を前記第1の画像圧縮率として使用するステップと
をさらに含み、
前記仮想現実ホストによって、無線チャネルの現在のチャネル品質を検出した前記ステップの後、前記方法が、
無線チャネルのチャネル品質と変調および符号化方式の間のマッピング関係に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する変調および符号化方式を決定するステップと、
前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記変調および符号化方式を第1の変調および符号化方式として決定するステップ、または前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記変調および符号化方式を調整し、調整された変調および符号化方式を第1の変調および符号化方式として使用するステップ
をさらに含み、
前記仮想現実ホストによって、前記圧縮された仮想現実画像を前記仮想現実デバイスに送信する前記ステップの前に、前記方法が、
前記仮想現実ホストによって、前記第1の変調および符号化方式に従って前記圧縮された仮想現実画像に対して変調および符号化を実行するステップ
をさらに含み
前記仮想現実ホストによって、前記圧縮された仮想現実画像を前記仮想現実デバイスに送信する前記ステップが、
前記仮想現実ホストによって、変調および符号化が実行された前記圧縮された仮想現実画像を前記仮想現実デバイスに送信するステップ
をさらに含む、方法。
【請求項２】
前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記第1の画像圧縮率として前記検出されたチャネル品質に対応する前記画像圧縮率を決定する前記ステップが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定する場合、前記仮想現実ホストによって、前記第1の画像圧縮率として前記検出されたチャネル品質に対応する前記画像圧縮率を決定するステップ
を含む、請求項1に記載の方法。
【請求項３】
前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記画像圧縮率を調整する前記ステップが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定する場合、前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記画像圧縮率を調整するステップ
を含む、請求項1に記載の方法。
【請求項４】
前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記画像圧縮率を調整する前記ステップが、
前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第1の速度未満または等しいことを示すために使用される場合、前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記画像圧縮率を低減するステップ、あるいは
前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第2の速度より大きいことを示すために使用される場合、前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記画像圧縮率を増大するステップ
を含み、
前記第1の速度が前記第2の速度未満または等しい、請求項1または3に記載の方法。
【請求項５】
前記第1のモーション情報に基づいて前記仮想現実ホストによって、第1の変調および符号化方式として前記検出されたチャネル品質に対応する前記変調および符号化方式を決定する前記ステップが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定する場合、前記仮想現実ホストによって、前記第1の変調および符号化方式として前記検出されたチャネル品質に対応する前記変調および符号化方式を決定するステップ
を含む、請求項1に記載の方法。
【請求項６】
前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記変調および符号化方式を調整する前記ステップが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定する場合、前記第1のモーション情報に基づいて前記仮想現実ホストによって、前記検出されたチャネル品質に対応する前記変調および符号化方式を調整するステップ
を含む、請求項1に記載の方法。
【請求項７】
前記検出されたチャネル品質に対応する前記変調および符号化方式を、前記第1のモーション情報に基づいて前記仮想現実ホストによって調整する前記ステップが、
前記仮想現実ホストによって、前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第1の速度未満または等しいことを示すために使用される場合、前記検出されたチャネル品質に対応する前記変調および符号化方式を第2の変調および符号化方式に調整するステップであって、前記第2の変調および符号化方式の変調および符号化速度が前記検出されたチャネル品質に対応する前記変調および符号化方式の変調および符号化速度より大きい、ステップ、あるいは
前記仮想現実ホストによって、前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第2の速度より大きいことを示すために使用される場合、前記検出されたチャネル品質に対応する前記変調および符号化方式を第3の変調および符号化方式に調整するステップであって、前記第3の変調および符号化方式の変調および符号化速度が前記検出されたチャネル品質に対応する前記変調および符号化方式の変調および符号化速度未満である、ステップ
を含み、
前記第1の速度が前記第2の速度未満である、請求項6に記載の方法。
【請求項８】
前記第1のモーション情報が前記仮想現実デバイスの現在の位置情報を示すために使用され、前記仮想現実ホストによって、無線チャネルの現在のチャネル品質を検出する前記ステップが、
前記位置情報に基づく第1の角度の範囲内の前記仮想現実ホストによって、前記仮想現実デバイスによって生成され、360度の範囲に分散される少なくとも1つの無線伝送方向からの第1の無線伝送方向を決定するステップであって、前記第1の角度が0度より大きく、360度未満である、ステップと、
前記仮想現実ホストによって、前記第1の無線伝送方向における無線チャネルの現在のチャネル品質を検出するステップと
を含む、請求項1に記載の方法。
【請求項９】
前記第1のモーション情報が、前記仮想現実デバイスの速度情報、加速度情報、角速度情報、および角加速度情報の1つ以上を含む、請求項1から7のいずれか一項に記載の方法。
【請求項１０】
仮想現実画像を送信するための装置であって、
仮想現実デバイスにより送信された第1のモーション情報を受信するように構成される受信ユニットであって、前記第1のモーション情報が前記仮想現実デバイスの現在のモーション状態を示すために使用される、受信ユニットと、
前記第1のモーション情報に基づいて第1の画像圧縮率を決定し、
前記第1の画像圧縮率に基づいて送信される仮想現実画像を圧縮する、
ように構成される、処理ユニットと、
前記圧縮された仮想現実画像を前記仮想現実デバイスに送信する
ように構成される、送信ユニットと
を備え、
前記処理ユニットが、
無線チャネルの現在のチャネル品質を検出し、前記無線チャネルが仮想現実画像を送信するための前記仮想現実デバイスと前記装置の間の通信チャネルで、
無線チャネルのチャネル品質と画像圧縮率の間のマッピング関係に基づいて、前記検出されたチャネル品質に対応する画像圧縮率を決定する、
ようにさらに構成され、
前記処理ユニットが、
前記第1のモーション情報に基づいて、前記検出されたチャネル品質に対応する前記画像圧縮率を前記第1の画像圧縮率として決定する、または前記第1のモーション情報に基づいて、前記検出されたチャネル品質に対応する前記画像圧縮率を調整し、調整された画像圧縮率を前記第1の画像圧縮率として使用する、
ように特に構成され、
前記処理ユニットが、
無線チャネルのチャネル品質と変調および符号化方式の間のマッピング関係に基づいて、前記検出されたチャネル品質に対応する変調および符号化方式を決定し、
前記第1のモーション情報に基づいて、前記検出されたチャネル品質に対応する前記変調および符号化方式を第1の変調および符号化方式として決定する、または前記第1のモーション情報に基づいて、前記検出されたチャネル品質に対応する前記変調および符号化方式を調整し、調整された変調および符号化方式を第1の変調および符号化方式として使用し、
前記第1の変調および符号化方式に従って前記圧縮された仮想現実画像で変調および符号化を実行する、
ようにさらに構成され、
前記送信ユニットが、変調および符号化が実行された前記圧縮された仮想現実画像を前記仮想現実デバイスに送信する
ように特に構成される、装置。
【請求項１１】
前記処理ユニットが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定する場合、前記検出されたチャネル品質に対応する前記画像圧縮率を前記第1の画像圧縮率として決定する、
ように特に構成される、請求項10に記載の装置。
【請求項１２】
前記処理ユニットが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定する場合、前記第1のモーション情報に基づいて、前記検出されたチャネル品質に対応する前記画像圧縮率を調整する、
ように特に構成される、請求項10に記載の装置。
【請求項１３】
前記処理ユニットが、
前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第1の速度未満または等しいことを示すために使用される場合、前記検出されたチャネル品質に対応する前記画像圧縮率を低減する、あるいは
前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第2の速度より大きいことを示すために使用される場合、前記検出されたチャネル品質に対応する前記画像圧縮率を増大する、
ように特に構成され、
前記第1の速度が前記第2の速度未満または等しい、請求項10または12に記載の装置。
【請求項１４】
前記処理ユニットが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定する場合、前記検出されたチャネル品質に対応する前記変調および符号化方式を前記第1の変調および符号化方式として決定する、
ように特に構成される、請求項10に記載の装置。
【請求項１５】
前記処理ユニットが、
前記仮想現実デバイスの前記第1のモーション情報および履歴モーション情報に基づいて、前記仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定する場合、前記第1のモーション情報に基づいて、前記検出されたチャネル品質に対応する前記変調および符号化方式を調整する、
ように特に構成される、請求項10に記載の装置。
【請求項１６】
前記処理ユニットが、
前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第1の速度未満または等しいことを示すために使用される場合、前記検出されたチャネル品質に対応する前記変調および符号化方式を第2の変調および符号化方式に調整し、前記第2の変調および符号化方式の変調および符号化速度が前記検出されたチャネル品質に対応する前記変調および符号化方式の変調および符号化速度より大きい、あるいは
前記第1のモーション情報が、前記仮想現実デバイスの移動速度が第2の速度より大きいことを示すために使用される場合、前記検出されたチャネル品質に対応する前記変調および符号化方式を第3の変調および符号化方式に調整し、前記第3の変調および符号化方式の変調および符号化速度が前記検出されたチャネル品質に対応する前記変調および符号化方式の前記変調および符号化速度未満である、
ように特に構成され、
前記第1の速度が前記第2の速度未満である、請求項15に記載の装置。
【請求項１７】
前記第1のモーション情報が前記仮想現実デバイスの現在の位置情報を示すために使用され、前記処理ユニットが、
前記位置情報に基づく第1の角度の範囲内で、前記仮想現実デバイスによって生成され、360度の範囲に分散される少なくとも1つの無線伝送方向からの第1の無線伝送方向を決定し、前記第1の角度が0度より大きく、360度未満であり、
前記第1の無線伝送方向における無線チャネルの現在のチャネル品質を検出する、
ように特に構成される、請求項10に記載の装置。
【請求項１８】
前記第1のモーション情報が、前記仮想現実デバイスの速度情報、加速度情報、角速度情報、および角加速度情報の1つ以上を含む、請求項10から16のいずれか一項に記載の装置。
【請求項１９】
プロセッサおよびメモリを備える仮想現実画像を送信するための装置であって、
前記メモリが、コンピュータ実行可能命令を格納するように構成され、前記プロセッサが前記命令を実行すると、前記装置が、請求項1から9のいずれか一項に記載の前記方法を実行することが可能になる、装置。
【請求項２０】
命令を含むコンピュータ可読記憶媒体であって、前記命令がコンピュータ上で実行されると、前記コンピュータが請求項1から9のいずれか一項に記載の方法を実行することが可能になる、コンピュータ可読記憶媒体。
【請求項２１】
命令を含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されると、前記コンピュータが請求項1から9のいずれか一項に記載の方法を実行することが可能になる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、2017年3月22日に中国特許庁に提出された「無線仮想現実に適用される画像圧縮および伝送のための方法およびデバイス」という名称の中国特許出願第201710175242．8号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【０００２】
本出願は、仮想現実技術の分野に関し、特に、仮想現実画像を送信するための方法および装置に関する。
【背景技術】
【０００３】
仮想現実（Virtual Reality、VR）技術は、近年新しく登場したマルチメディア技術である。VR技術は、仮想世界を作成して体験するために使用され得るコンピュータシミュレーション技術である。ユーザは通常、VRシナリオを体験するために仮想現実デバイスを装着する。仮想現実デバイスは、統合されたグラフィックスシステム、光学システム、および姿勢追跡システムを使用するので、ユーザはインタラクティブな没入型エクスペリエンスを取得できる。
【０００４】
現在、仮想現実デバイスの処理能力は制限されており、仮想現実デバイスはいくつかの大きなゲームやビデオアプリケーションを実装できない場合がある。したがって、現在、業界では、大規模なコンピューティングを実行するために使用されるプロセッサが、デスクトップコンピュータ、携帯電話、またはゲームコンソールなどの他のデバイスに配置されることが提案されている。これらのデバイスは、仮想現実ホストと呼ばれる。仮想現実ホストは仮想現実画像を生成し、仮想現実画像を仮想現実デバイスに無線で送信する。仮想現実デバイスは、仮想現実ホストによって送信される仮想現実画像を受信し、仮想現実画像を表示するためにのみ使用される。これにより、仮想現実デバイスの重量およびサイズが削減され、ユーザにより優れたエクスペリエンスをもたらす。したがって、現在のVRシステムには通常、仮想現実デバイスおよび仮想現実ホストが含まれる。仮想現実ホストは仮想世界を作成するために使用され、ユーザは仮想現実デバイスを装着して仮想世界を体験する。
【０００５】
より豊かな仮想世界を提示するために、VRシステムでは大量の仮想現実画像が送信され、つまり、データ量は非常に大きくなる。一般に、仮想現実ホストと仮想現実デバイス間の無線チャネルは5 Gbps以上の伝送速度を有することが必要とされるが、既存の商用無線チャネルはこの要件を満たすことができない。この問題を解決するため、帯域幅の要件を満たす目的で、送信されるデータの数量を減らすために、伝送前に仮想現実画像を圧縮する方法が業界で提案されている。
【０００６】
従来技術では、仮想現実画像を圧縮するために使用される画像圧縮率は、無線チャネルのチャネル品質に基づいて決定される。例えば、現在のチャネル品質が比較的低い場合、送信されるデータの数量を減らすために比較的大きな画像圧縮率が決定され得る。ただし、このようにして決定された画像圧縮率は不正確である。例えば、仮想現実デバイスによって表示される仮想現実画像の切り替え速度は、時々高く、時々低くなる。スローモーション画像または静的な仮想現実画像の場合でも、ユーザは通常、画像の品質について比較的小さい事にこだわる。したがって、この場合、画像品質を確保するために、比較的大きな画像圧縮率が、仮想現実画像を圧縮するために使用され得ない。ただし、チャネル品質が常に低い場合、仮想現実ホストは常に、比較的大きな画像圧縮率を使用して仮想現実画像を圧縮し、最終的には画像品質が低下する。画像圧縮率を決定する現在の方法の精度は比較的低いことが習得され得る。
【発明の概要】
【０００７】
本出願は、VRシステムで決定される画像圧縮率の精度を改善する目的で、仮想現実画像を送信するための方法および装置を提供する。
【課題を解決するための手段】
【０００８】
第1の態様によると、本出願は仮想現実画像を送信する方法を提供する。本方法は、VRシステムで仮想現実ホストを使用して実装され得る。本方法は、仮想現実ホストによって、仮想現実デバイスにより送信された第1のモーション情報を受信するステップであって、第1のモーション情報は仮想現実デバイスのモーション状態を示すために使用される、ステップと、仮想現実ホストによって、第1のモーション情報に基づいて画像圧縮率を決定し、第1の画像圧縮率に基づいて送信される仮想現実画像を圧縮するステップと、仮想現実ホストによって、圧縮された仮想現実画像を仮想現実デバイスに送信するステップとを含む。
【０００９】
本出願では、仮想現実ホストは、仮想現実デバイスのモーション情報に基づいて画像圧縮率を決定する。例えば、仮想現実デバイスの移動速度が比較的遅い場合、すなわち、仮想現実デバイスによって表示される仮想現実画像の切り替え速度が比較的遅い場合、比較的小さな画像圧縮率が決定され、仮想現実画像の品質を確保する。仮想現実デバイスの移動速度が比較的速い場合、すなわち、仮想現実デバイスによって表示される仮想現実画像の切り替え速度が比較的速い場合、比較的大きな画像圧縮率が決定され、仮想現実画像の整合性を確保する。このようにして、決定された画像圧縮率の精度が改善され、ユーザの要件がよりよく満たされ得る。
【００１０】
可能な設計では、仮想現実ホストによって、第1のモーション情報に基づいて第1の画像圧縮率を決定する前に、本方法はさらに、仮想現実ホストによって、無線チャネルの現在のチャネル品質を検出するステップと、無線チャネルのチャネル品質と画像圧縮率の間のマッピング関係に基づいて、検出されたチャネル品質に対応する画像圧縮率を決定するステップとを含む。仮想現実ホストによって、第1のモーション情報に基づいて第1の画像圧縮率を決定するステップは、第1のモーション情報に基づいて仮想現実ホストによって、第1の画像圧縮率として検出されたチャネル品質に対応する画像圧縮率を決定するステップ、または第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する画像圧縮率を調整し、調整された画像圧縮率を第1の画像圧縮率として使用するステップを含む。
【００１１】
本出願では、仮想現実ホストは無線チャネルの現在のチャネル品質に基づいて画像圧縮率を事前に決定してから、仮想現実ホストは第1のモーション情報に基づいて、事前に決定された画像圧縮率が仮想現実画像を圧縮する第1の画像圧縮率として使用され得るかどうかを決定する。例えば、仮想現実デバイスが静止状態にあるとき、仮想現実ホストは事前に決定された画像圧縮率を第1の画像圧縮率として直接決定し得る。仮想現実デバイスが移動状態にあるとき、仮想現実ホストは、第1のモーション情報に基づいて事前に決定された画像圧縮率を調整し、調整された画像圧縮率を第1の画像圧縮率として使用し得る。この方法は、決定された画像圧縮率の精度を改善するのに役立つ。
【００１２】
可能な設計では、第1のモーション情報に基づいて仮想現実ホストによって、第1の画像圧縮率として検出されたチャネル品質に対応する画像圧縮率を決定するステップは、仮想現実デバイスの第1のモーション情報および履歴モーション情報に基づいて、仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定する場合、仮想現実ホストによって、第1の画像圧縮率として検出されたチャネル品質に対応する画像圧縮率を決定するステップを含む。
【００１３】
仮想現実デバイスと仮想現実ホストの間の無線チャネルのチャネル品質は、仮想現実デバイスのモーション情報にある程度関連している。例えば、仮想現実デバイスの移動速度が比較的速い場合、チャネル品質はしばしば不安定であり、仮想現実デバイスの移動速度が比較的遅い場合、チャネル品質は比較的安定している。したがって、本出願では、仮想現実ホストは、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する場合がある。仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定された場合、つまり仮想現実デバイスと仮想現実ホストの間の無線チャネルのチャネル品質が比較的安定している場合、仮想現実ホストはチャネル品質に対応する画像圧縮率を第1の画像圧縮率として直接決定できる。このようにして、決定された画像圧縮率の精度が改善される。
【００１４】
可能な設計では、第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する画像圧縮率を調整するステップは、仮想現実デバイスの第1のモーション情報および履歴モーション情報に基づいて、仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定する場合、第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する画像圧縮率を調整するステップを含む。
【００１５】
本出願では、仮想現実ホストは、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する場合がある。仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定された場合、仮想現実ホストが、検出されたチャネル品質に対応する画像圧縮率を第1の画像圧縮率として直接使用することは不正確である。したがって、仮想現実ホストは、第1のモーション情報に基づいて、検出されたチャネル品質に対応する画像圧縮率を調整し得る。このようにして、決定された画像圧縮率の精度が改善される。
【００１６】
可能な設計では、第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する画像圧縮率を調整するステップは、第1のモーション情報が、仮想現実デバイスの移動速度が第1の速度未満または等しいことを示すために使用される場合、仮想現実ホストによって、検出されたチャネル品質に対応する画像圧縮率を低減するステップ、あるいは第1のモーション情報が、仮想現実デバイスの移動速度が第2の速度より大きいことを示すために使用される場合、仮想現実ホストによって、検出されたチャネル品質に対応する画像圧縮率を増大するステップを含む。第1の速度は第2の速度未満または等しい。
【００１７】
本出願では、仮想現実ホストは、仮想現実デバイスの移動速度に基づいて、検出されたチャネル品質に対応する画像圧縮率を調整し得る。例えば、仮想現実デバイスの移動速度が比較的速い場合、仮想現実ホストは、検出されたチャネル品質に対応する画像圧縮率を増大させて、仮想現実画像の整合性を確保する。仮想現実デバイスの移動速度が比較的遅い場合、仮想現実ホストは、検出されたチャネル品質に対応する画像圧縮率を低減させて、仮想現実画像の品質を確保する。このようにして、決定された画像圧縮率の精度が改善される。
【００１８】
可能な設計では、仮想現実ホストによって、無線チャネルの現在のチャネル品質の検出したステップの後、本方法は、無線チャネルのチャネル品質と変調および符号化方式の間のマッピング関係に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する変調および符号化方式を決定するステップと、第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する変調および符号化方式を第1の変調および符号化方式として決定するステップ、または第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する変調および符号化方式を調整し、調整された変調および符号化方式を第1の変調および符号化方式として使用するステップをさらに含む。仮想現実ホストによって、圧縮された仮想現実画像の仮想現実デバイスへの送信するステップの前に、本方法は、仮想現実ホストによって、第1の変調および符号化方式に従って圧縮された仮想現実画像の変調および符号化を実行するステップをさらに含む。仮想現実ホストによって、圧縮された仮想現実画像を仮想現実デバイスに送信するステップは、仮想現実ホストによって、変調および符号化が実行された圧縮された仮想現実画像を仮想現実デバイスに送信するステップを含む。
【００１９】
本出願では、仮想現実ホストは無線チャネルのチャネル品質に基づいて変調および符号化方式を事前に決定してから、仮想現実ホストは第1のモーション情報に基づいて、事前に決定された変調および符号化方式が圧縮された仮想現実画像で変調および符号化を実行するための第1の変調および符号化方式として使用され得るかどうかを決定する。例えば、仮想現実デバイスが静止状態にあるとき、仮想現実ホストは事前に決定された変調および符号化方式を第1の変調および符号化方式として直接決定し得る。仮想現実デバイスが移動状態にあるとき、仮想現実ホストは、第1のモーション情報に基づいて事前に決定された変調および符号化方式を調整し、調整された変調および符号化方式を第1の変調および符号化方式として使用し得る。このようにして、決定された変調および符号化方式の精度が改善される。
【００２０】
可能な設計では、第1のモーション情報に基づいて仮想現実ホストによって、第1の変調および符号化方式として検出されたチャネル品質に対応する変調および符号化方式を決定するステップは、仮想現実デバイスの第1のモーション情報および履歴モーション情報に基づいて、仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定する場合、仮想現実ホストによって、第1の変調および符号化方式として検出されたチャネル品質に対応する変調および符号化方式を決定するステップを含む。
【００２１】
仮想現実デバイスと仮想現実ホストの間の無線チャネルのチャネル品質は、仮想現実デバイスのモーション情報にある程度関連している。例えば、仮想現実デバイスの移動速度が比較的速い場合、チャネル品質はしばしば不安定であり、仮想現実デバイスの移動速度が比較的遅い場合、チャネル品質は比較的安定している。したがって、本出願では、仮想現実ホストは、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する場合がある。仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定された場合、つまり仮想現実デバイスと仮想現実ホストの間の無線チャネルのチャネル品質が比較的安定している場合、仮想現実ホストは検出されたチャネル品質に対応する変調および符号化方式を第1の変調および符号化方式として直接決定し得る。このようにして、決定された変調および符号化方式の精度が改善される。
【００２２】
可能な設計では、第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する変調および符号化方式を調整するステップは、仮想現実デバイスの第1のモーション情報および履歴モーション情報に基づいて、仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定する場合、第1のモーション情報に基づいて仮想現実ホストによって、検出されたチャネル品質に対応する変調および符号化方式を調整するステップを含む。
【００２３】
本出願では、仮想現実ホストは、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する場合がある。仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定された場合、仮想現実ホストが、検出されたチャネル品質に対応する変調および符号化方式を第1の変調および符号化方式として直接使用することは不正確である。したがって、仮想現実ホストは、第1のモーション情報に基づいて、検出されたチャネル品質に対応する変調および符号化方式を調整する。このようにして、決定された変調および符号化方式の精度が改善される。
【００２４】
可能な設計において、検出されたチャネル品質に対応する変調および符号化方式を、第1のモーション情報に基づいて仮想現実ホストによって調整するステップは、仮想現実ホストによって、第1のモーション情報が、仮想現実デバイスの移動速度が第1の速度未満または等しいことを示すために使用される場合、検出されたチャネル品質に対応する変調および符号化方式を第2の変調および符号化方式に調整するステップであって、第2の変調および符号化方式の変調および符号化速度が検出されたチャネル品質に対応する変調および符号化方式の変調および符号化速度より大きい、ステップ、あるいは仮想現実ホストによって、第1のモーション情報が、仮想現実デバイスの移動速度が第2の速度より大きいことを示すために使用される場合、検出されたチャネル品質に対応する変調および符号化方式を第3の変調および符号化方式に調整するステップであって、第3の変調および符号化方式の変調および符号化速度が、検出されたチャネル品質に対応する変調および符号化方式の変調および符号化速度未満である、ステップを含み、第1の速度は第2の速度未満である。
【００２５】
本出願では、仮想現実ホストは、仮想現実デバイスの移動速度に基づいて、検出されたチャネル品質に対応する変調および符号化方式を調整し得る。例えば、仮想現実デバイスの移動速度が比較的速い場合、仮想現実ホストは、比較的遅い変調および符号化速度で変調および符号化方式を決定し、仮想現実画像の整合性を確保する。仮想現実デバイスの移動速度が比較的遅い場合、仮想現実ホストは、比較的速い変調および符号化速度で変調および符号化方式を決定し、仮想現実画像の品質を確保する。このようにして、決定された変調および符号化方式の精度が改善される。
【００２６】
可能な設計では、第1のモーション情報は仮想現実デバイスの現在の位置情報を示すために使用され、仮想現実ホストによって、無線チャネルの現在のチャネル品質を検出するステップは、位置情報に基づく第1の角度の範囲内の仮想現実ホストによって、仮想現実デバイスによって生成され、360度の範囲に分散される少なくとも1つの無線伝送方向からの第1の無線伝送方向を決定するステップであって、第1の角度が0度より大きく、360度未満である、ステップ、および仮想現実ホストによって、第1の無線伝送方向における無線チャネルの現在のチャネル品質を検出するステップを含む。
【００２７】
本出願では、仮想現実ホストは、仮想現実デバイスの位置情報に基づいて比較的小さな角度の範囲内で、少なくとも1つの無線伝送方向からの第1の無線伝送方向を決定してもよく、無線伝送方向の無線チャネルは、仮想現実ホストと仮想現実デバイスの間の通信チャネルである。このようにして、仮想現実ホストは、360度の範囲で無線伝送方向を検索する必要がなくなり、それにより仮想現実画像の伝送効率が改善する。
【００２８】
可能な設計では、第1のモーション情報は、仮想現実デバイスの速度情報、加速度情報、角速度情報、および角加速度情報の1つ以上を含む。
【００２９】
本出願では、第1のモーション情報は他の情報であってもよく、前述のタイプの情報は単なる例である。これは、本出願では特に制限されない。
【００３０】
第2の態様によれば、本出願は仮想現実画像を送信するための装置をさらに提供する。仮想現実画像を送信するための装置は、前述の方法設計における仮想現実ホストを実装する機能を有する。これらの機能はハードウェアにより実装されても、対応するソフトウェアを実行するハードウェアにより実装されてもよい。ハードウェアまたはソフトウェアは、機能に対応する1つ以上のユニットを含む。
【００３１】
可能な設計では、仮想現実画像を送信するための装置の特定の構造は、受信ユニット、処理ユニット、および送信ユニットを含み得る。これらのユニットは、第1の態様または第1の態様の任意の可能な設計で提供される方法で対応する機能を実行してもよい。
【００３２】
第3の態様によれば、本出願は仮想現実画像を送信するための装置をさらに提供する。仮想現実画像を送信するための装置は、前述の方法設計における仮想現実ホストを実装する機能を有する。これらの機能はハードウェアで実装されてもよい。仮想現実画像を送信するための装置は、メモリ、トランシーバ、およびプロセッサを含む。メモリは、コンピュータ実行可能プログラムコードを格納するように構成され、プロセッサはメモリおよびトランシーバに結合される。メモリに格納されたプログラムコードは命令を含み、プロセッサが命令を実行すると、命令により、仮想現実画像を送信するための装置は、第1の態様または第1の態様の任意の可能な設計の仮想現実ホストによって実行される方法を実行することができる。
【００３３】
第4の態様によれば、本出願は、コンピュータ可読記憶媒体をさらに提供し、コンピュータ可読記憶媒体は命令を格納し、命令がコンピュータで実行されると、コンピュータは第1の態様の仮想現実画像を送信する方法の実行が可能にされる。
【００３４】
第5の態様によれば、本出願は命令を含むコンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは第1の態様の仮想現実画像を送信する方法の実行が可能にされる。
【図面の簡単な説明】
【００３５】
【図１】本出願によるVRシステムのアーキテクチャ図である。
【図２】本出願による仮想現実画像を送信する方法のフローチャートである。
【図３】本出願による仮想現実ホストおよび仮想現実デバイスのビーム形成の概略図である。
【図４】本出願による仮想現実画像を送信するための装置の概略構造図である。
【図５】本出願による仮想現実画像を送信するための別の装置の概略構造図である。
【発明を実施するための形態】
【００３６】
以下は、本出願の添付図面を参照して、本出願によって提供される技術的ソリューションを明確かつ完全に説明する。
【００３７】
本出願では、VRシステムが仮想現実ホストおよび仮想現実デバイスを含む例が説明に使用される。以下では、当業者がよりよく理解できるように、本出願のいくつかの用語が説明される。
【００３８】
（1）仮想現実ホストはVRシステムの重要なデバイスであり、仮想現実画像を生成するか、別の電子デバイスまたはクラウドから仮想現実画像をローカルに取得し、仮想現実画像を仮想現実デバイスに送信するように構成される。仮想現実ホストは、テレビ、ノートブックコンピュータ、スマートフォンなどの電子デバイスであり得る。仮想現実ホストは、仮想現実ホストなどと呼ばれることもある。
【００３９】
（2）仮想現実画像は3次元画像であり得る。例えば、仮想現実画像は、幾何学的モデルに基づいて仮想現実ホストによって生成されるか、2次元画像のソリッドモデルから変換される。
【００４０】
（3）仮想現実デバイスは、仮想現実ディスプレイを含む。例えば、仮想現実デバイスは、ヘッドマウントディスプレイ（Head Mounted Display、HMD）である。ユーザがヘッドマウントディスプレイを装着すると、仮想現実ディスプレイはユーザの目の前に配置される。仮想現実ディスプレイは通常、独立して分離された左右のメガネが含まれているため、人の左右の目で取得される情報は異なる。例えば、左目および右目の異なる画像が左目スクリーンおよび右目スクリーンに別々に表示される。人間の目が異なる情報を取得した後、ステレオ知覚が心に生成される。
【００４１】
（4）ビーム（beam）は通信リソースである。ビームは、幅の広いビーム、幅の狭いビーム、または別のタイプのビームであり得る。異なるビームは、異なる通信リソースと見なされ得る。異なるビームを使用することで、同じ情報または異なる情報が送信され得る。ビームフォーミング技術（Beamforming）とは、複数のアンテナを使用して無線信号が送信されるときに、特定のビームを特定の方向に形成し、予測される方向で比較的大きな信号ゲインを取得することにより、電力消費を削減し、信号品質を確保することを意味する。一般に、送信端によって生成された送信ビームは、空間で360度の異なる方向に分散され得、受信端によって生成された受信ビームは空間で360度の異なる方向に分散され得る。ビームトレーニングは、送信端で生成された送信ビームと受信端で生成された受信ビームの間のビームアライメントのプロセスであり得、最適な送受信ビームがビームトレーニングから決定され、最適な送受信ビームが送信端と受信端の間の無線チャネルである。
【００４２】
本出願では、「ビーム」は「伝送リソース」などと呼ばれることもある。すなわち、「ビーム」の名前は、前述の概念が表現される限り、本明細書では限定されない。
【００４３】
（5）さらに、本明細書の「および／または」という用語は、関連オブジェクトを説明するための関連関係のみを説明し、3つの関係が存在する可能性があることを表す。例えば、Aおよび／またはBは、以下の3つの場合を表すことがある、すなわち、Aのみが存在する、AとBの両方が存在する、およびBのみが存在する。さらに、本明細書の文字「／」は、特別な説明がない限り、通常、関連するオブジェクト間の「または」関係を示す。さらに、本出願の説明では、「第1」および「第2」などの用語は区別された説明に使用されるのみであり、相対的な重要性の指示または意味として、または順序の指示または意味として理解されるべきではない。
【００４４】
本出願で仮想現実画像を送信する方法をよりよく説明するために、以下ではまず、本出願のアプリケーションシナリオ、つまりVRシステムのシステムアーキテクチャについて説明する。図1を参照してください。図1に示されるように、VRシステムは、仮想現実ホストおよび仮想現実デバイスを含み、仮想現実デバイスの例はヘッドマウントディスプレイである。仮想現実ホストは仮想現実画像を生成してから、仮想現実ホストは生成された仮想現実画像をHMDに送信する。仮想現実画像を受信した後、HMDは仮想現実画像を表示する。したがって、HMDを装着したユーザは、仮想現実画像を閲覧できる。
【００４５】
現在、仮想現実ホストは通常、無線チャネルを通して仮想現実画像を仮想現実デバイスに送信するが、送信する必要がある仮想現実画像のデータ数量は非常に大きい。例えば、VRビデオの画像サイズは1000×1000pixel、24ビットのトゥルーカラー、30フレーム／秒の速度、2時間の持続時間である。圧縮が実行されない場合、648 GB（1000＊1000＊24＊30＊60＊120＝5．184×1012 bit≒648GB）の空間がこのビデオを格納するために必要である。例えば、無線チャネルの帯域幅が4 Mの場合、VRビデオの送信に必要な最小時間は360時間、つまり15日間である。無線チャネルの帯域幅の制限と大量のデータの影響により、仮想現実画像は圧縮され、送信されるデータの数量を減らし、伝送効率を改善する必要があることが習得され得る。
【００４６】
仮想現実画像が圧縮される必要がある場合、仮想現実ホストは画像圧縮率を決定する必要がある。以下では、現在のVRシステムにおける画像圧縮率を決定する方法を説明する。
【００４７】
現在、仮想現実ホストは、無線チャネルのチャネル品質に基づいて画像圧縮率を決定する。仮想現実ホストは、無線チャネルの現在のチャネル品質を検出する。例えば、現在のチャネル品質が低い場合、送信されるデータの数量を減らすために比較的大きな画像圧縮率が決定される。
【００４８】
ただし、このようにして決定された画像圧縮率は不正確である。例えば、仮想現実画像の切り替え速度は時々速く、時々遅くなる、つまり、コンテンツは時々すばやく、時々ゆっくりと変化する。スローモーション画像または静的な仮想現実画像の場合でも、ユーザは通常、画像の品質について比較的小さい事にこだわる。したがって、この場合、画像品質を確保するために、比較的大きな画像圧縮率が、仮想現実画像を圧縮するために使用され得ない。ただし、チャネル品質が常に低い場合、仮想現実ホストは常に、比較的大きな画像圧縮率を使用して仮想現実画像を圧縮し、最終的には画像品質が低下する。画像圧縮率を決定する現在の方法の精度は正確ではないことが習得され得る。
【００４９】
技術的な問題を解決するために、本出願は仮想現実画像を送信する方法を提供する。すなわち、仮想現実ホストは、仮想現実デバイスのモーション情報に基づいて画像圧縮率を決定する。この方法では、決定された画像圧縮率の精度が改善される。詳細については、本出願による仮想現実画像を送信する方法のフローチャートである、図2を参照してください。以下の説明プロセスでは、一例として、図1に示されるVRアーキテクチャに本方法を適用することを使用する。したがって、図2は、図1に示されるVRアーキテクチャにおける仮想現実ホストとHMDの間の情報交換の概略図として理解されてもよい。本方法の手順は次のとおりである。
【００５０】
S201．仮想現実デバイスのモーション情報を検出する。モーション情報は、仮想現実デバイスの現在のモーション状態を示すために使用される。
【００５１】
本出願では、S201は仮想現実デバイスによって完了しても、仮想現実ホストによって完了してもよい。S201が仮想現実デバイスによって完了すると、ジャイロスコープや加速度計などのモーションセンサが仮想現実デバイス上に配置され、モーション情報を検出することができる。S201が仮想現実ホストによって完了すると、カメラまたは別の光学センサが仮想現実ホスト上に配置され得、単位時間内の仮想現実デバイスの位置移動サイズがカメラまたは光学センサを使用して検出され、仮想現実デバイスのモーション情報を決定する。確かに、別の検出方法もあり得る。これは、本出願では特に制限されない。図2では、一例として、仮想現実デバイスを使用することによるモーション情報の検出が使用されている。以下の説明では、一例として仮想現実デバイスによるモーション情報の検出を引き続き使用する。
【００５２】
本出願では、モーション情報は、位置情報、仮想現実デバイスの速度情報、加速度情報、角速度情報、および角加速度情報の1つ以上を含み得る。仮想現実デバイスは、モーション情報を定期的にまたはリアルタイムで検出してもよい。確かに、負担を軽減するために、仮想現実デバイスは、代替として、仮想現実ホストによって送信されたモーション情報検出要求を受信した後にのみモーション情報を検出してもよく、要求を受信しないとモーション情報を検出しない。例えば、VRアプリケーションが開始されたばかりの場合、仮想現実ホストはモーション情報検出要求を仮想現実ホストに送信でき、仮想現実デバイスは要求の受信後にモーション情報を検出する。代替として、ユーザがVRアプリケーションを体験するプロセスでは、仮想現実ホストは、画像圧縮率が決定される前に毎回モーション情報検出要求を仮想現実デバイスに送信でき、仮想現実デバイスは要求の受信後にモーション情報を検出する。
【００５３】
S202．仮想現実デバイスはモーション情報を仮想現実ホストに送信し、それに対応して、仮想現実ホストはモーション情報を受信する。
【００５４】
上述のように、仮想現実デバイスは、定期的またはリアルタイムでモーション情報を検出してもよく、あるいは仮想現実ホストによって送信されたモーション情報検出要求を受信した後にのみモーション情報を検出してもよい。そして、仮想現実デバイスが仮想現実ホストによって送信されたモーション情報検出要求を受信した後にモーション情報を検出する場合、仮想現実デバイスはモーション情報の検出後にモーション情報を仮想現実ホストに送信してもよい。仮想現実デバイスが定期的またはリアルタイムでモーション情報を検出した場合、仮想現実デバイスは、モーション情報を毎回検出した後にモーション情報を仮想現実ホストに送信することも、あるいは仮想現実ホストに、最新の検出されたモーション情報、または仮想現実ホストによって送信されたモーション情報検出要求を受信した後に最新の時間期間に検出されたすべてのモーション情報を送信することもできる。
【００５５】
本出願では、仮想現実デバイスは、モーション情報を送信する間に、仮想現実デバイスによってモーション情報を生成する時間に関する情報および仮想現実デバイスのデバイス識別子などの情報を送信してもよい。例えば、多人数VRインタラクティブゲームでは、複数のユーザがそれぞれのHMDを装着することにより同じ仮想ゲームを体験する。この場合、通常、1つの仮想現実ホストが複数のHMDと通信する必要がある、つまり、仮想現実ホストは仮想現実画像を複数のHMDに送信する必要があり、仮想現実ホストも複数のHMDによって送信されたモーション情報を受信し得る。仮想現実ホストが複数のHMDのどのHMDが受信したモーション情報を送信するかを識別できるように、それ自体のモーション情報を送信する間、各HMDはモーション情報を生成するHMDのデバイス識別子を送信できる。別の例では、仮想現実ホストは、同じHMDによって送信された複数のモーション情報を受信する場合がある。したがって、それ自体のモーション情報を送信する間、各HMDは、HMDによってモーション情報を生成する時間に関する情報を送信することができ、その結果、仮想現実ホストは複数のモーション情報の各モーション情報の生成時間を識別することができる。
【００５６】
例えば、仮想現実ホストは1つの仮想現実デバイスとのみ通信する。仮想現実デバイスが、モーション情報を送信しながら、モーション情報を生成する時間に関する情報をさらに送信する場合、仮想現実ホストは、モーション情報および時間に関する情報を受信した後、モーション情報および時間に関する情報をそれに応じて格納してもよい。仮想現実ホストが複数のモーション情報を受信し、各モーション情報が異なる生成時間を有する場合、仮想現実ホストがモーション情報を使用する必要があるとき、仮想現実ホストは複数のモーション情報から最新のモーション情報を選択してもよく、またはある時間の期間のすべてのモーション情報の平均値を取得し、その平均値を必要なモーション情報として使用してもよい。例えば、仮想現実ホストは、仮想現実デバイスによって送信された3つのモーション情報を受信する、すなわち、それぞれ3 m／sの速度、4 m／sの速度、および3 m／sの速度、ならびに3つのモーション情報を生成する時間についての情報を同時に受信する、すなわち、それぞれ00：10の時点、00：15の時点、および00：20の時点である。仮想現実ホストがモーション情報を使用する必要があるとき、仮想現実ホストは直近のモーション情報を直接選択できる、つまり、00：20での仮想現実デバイスの移動速度が3 m／sである、または仮想現実ホストは00：15から00：20までの持続時間などの時間の期間のモーション情報の平均値を取得できる、つまり、3 m／sおよび4 m／sの平均値（3．5 m／s）を取得し、仮想現実ホストは必要なモーション情報として3．5 m／sを決定する。本明細書で言及される時間の期間は、実際の状態に基づいて決定されてもよく、本出願では限定されない。
【００５７】
S203．仮想現実ホストは、モーション情報に基づいて画像圧縮率を決定する。
【００５８】
本出願では、S203の可能な実装形態は次のとおりである、すなわち、仮想現実ホストは、最初に無線チャネルのチャネル品質に基づいて画像圧縮率を事前に決定し、次にモーション情報および事前に決定された画像圧縮率に基づいて最終的な画像圧縮率を決定する。このようにして、2つの異なる要因、つまりチャネル品質およびモーション情報が包括的に考慮されるため、決定された画像圧縮率はより正確になる。以下では、この方法の実装プロセスについて具体的に説明する。
【００５９】
このようにして、仮想現実ホストが最終的な画像圧縮率を決定することは、3つのステップによって具体的に完了され得る。第1のステップでは、仮想現実ホストと仮想現実デバイスの間の無線チャネルが決定される、第2のステップでは、無線チャネルのチャネル品質に基づいて画像圧縮率が事前に決定される、ならびに第3のステップでは、モーション情報および事前に決定された画像圧縮率に基づいて最終的な画像圧縮率が決定される。
【００６０】
現在のVRシステムは、2つのタイプに分類され得、すなわち、第1のタイプは、ビームフォーミング技術を使用してデータ伝送を実行するVRシステムで、例えば、高周波帯域（例えば、60 GHz）通信モードを使用してデータ伝送を実装するVRシステムである。第2のタイプは、ビームフォーミング技術を使用しないでデータ伝送を実行するVRシステムで、例えば、低周波帯域（例えば、30 GHz）通信技術を使用してデータ伝送を実装するVRシステムである。
【００６１】
第1のタイプのVRシステムの場合、仮想現実ホストと仮想現実デバイスの間の無線チャネルは異なる場合がある。仮想現実ホストおよび仮想現実デバイスは、通信が確立される前にビームトレーニングを実行する場合がある。現在のVRシステムの仮想現実ホストには、仮想現実デバイスの位置がわからない。したがって、仮想現実ホストと仮想現実デバイスの間のビームトレーニングは、360度の範囲内で個別に検索する必要がある、つまり、仮想現実ホストによって生成される送信ビーム（360度内の異なる角度で分散）間のアライメントのプロセスおよび仮想現実デバイスによって生成される受信ビーム（360度内の異なる角度で分散）が必要とされ、アライメント後に形成される送受信ビームは、仮想現実ホストと仮想現実デバイスの間の無線チャネルである。第1のタイプの現在のVRシステムにおける仮想現実ホストと仮想現実デバイスの間のビームトレーニングは比較的長い時間がかかり、その結果、画像伝送遅延が過度に大きいことが習得され得る。
【００６２】
一般的に、仮想現実ホストの位置は比較的固定されている。したがって、本出願では、仮想現実ホストは、仮想現実デバイスの位置情報に基づいて第1の角度の範囲内で、仮想現実デバイスによって生成され、360度の範囲で分散される少なくとも1つの無線伝送方向から最適な無線伝送方向を決定し得る。最適な無線伝送方向の無線チャネルのチャネル品質のみが検出される必要があり、ビームトレーニングによってもたらされる遅延は360度の範囲で検索することなく短縮される。
【００６３】
本出願において、第1の角度の範囲は、現在の瞬間での仮想現実デバイスの位置情報と前の瞬間での仮想現実デバイスの位置情報の間の移動距離に基づいて決定され得る、または次の瞬間での仮想現実デバイスの位置情報は、仮想現実デバイスの履歴位置情報および現在の位置情報に基づいて予測され得、第1の角度の範囲は次の瞬間での仮想現実デバイスの予測された位置情報と現在の瞬間での仮想現実デバイスの位置情報の間の移動距離に基づいて決定される。
【００６４】
例えば、図3を参照すると、仮想現実ホストによって生成された送信ビームは、360度の範囲で8つの方向にある。図で示されるように、仮想現実デバイスは第1の位置から第2の位置に移動し、移動距離、つまり第1の位置と第2の位置の間の移動範囲は2つの方向、つまり、仮想現実ホストによって生成された送信ビームの、方向t1と方向t2である。この場合、仮想現実ホストは、仮想現実デバイスによって生成された受信ビームを探すために方向t1と方向t2の間で検索するだけで済む。例えば、検索結果は、仮想現実ホストによって決定された最適な無線チャネルが送受信ビーム（t2、r8）である。
【００６５】
第2のタイプのVRシステムの場合、ビームフォーミング技術がこのタイプのVRシステムにより使用されないため、ビームフォーミングの方向の検索は不要である。このタイプのVRシステムにおける仮想現実ホストと仮想現実デバイスの間の無線チャネルは、通常プリセットされているため、仮想現実ホストはS203の第2のステップを直接実行することができる。
【００６６】
無線チャネルを決定した後、仮想現実ホストは第2ステップに入る、つまり、仮想現実ホストは、無線チャネルのチャネル品質に基づいて画像圧縮率を事前に決定する。第2のステップでは、仮想現実ホストが無線チャネルのチャネル品質を検出する必要がある。複数の特定の実装形態があり得る。例えば、仮想現実ホストはリアルタイムまたは定期的にチャネル品質を検出し、仮想現実ホストは検出されたチャネル品質を格納できる。この場合、仮想現実ホストは、格納されているチャネル品質から、直近に検出されたチャネル品質を決定し得る。この方法は比較的簡単である。仮想現実ホストは、チャネル品質を再度特別に検出する必要がないため、効率が改善できる。代替として、仮想現実ホストが現在のチャネル品質を直接検出し、その結果、決定されたチャネル品質がより正確になるようにしてもよい。次に、仮想現実ホストは、チャネル品質と画像圧縮率の間の事前に格納されたマッピング関係に基づいて、画像圧縮率を事前に決定する。無線チャネルのチャネル品質と画像圧縮率の間には、複数のタイプのマッピング関係がある。表1は一例である。表1では、無線チャネルの伝送速度が例として使用され、無線チャネルのチャネル品質を示している。
【００６７】
【表１】
0006873268.tif 000002
【００６８】
例えば、仮想現実ホストによって決定された無線チャネルの伝送速度が4 Gbpsの場合、表1に従って、画像圧縮率が4：1であると事前に決定できる。
【００６９】
以下では、第3のステップの実装プロセスを説明する、すなわち、仮想現実ホストは、モーション情報および事前に決定された画像圧縮率に基づいて最終的な画像圧縮率を決定する。決定された画像圧縮率の精度を改善するため、仮想現実ホストは最初に、受信したモーション情報に基づいて将来の第1の持続時間における仮想現実デバイスのモーション状態を予測し得る。仮想現実ホストが、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する理由については後述される。次いで、仮想現実ホストは、将来の第1の持続時間における仮想現実デバイスの予測されたモーション状態および事前に決定された画像圧縮率に基づいて、最終的な画像圧縮率を決定する。また、仮想現実デバイスのモーション状態は、一般に2つの場合、すなわち、静止状態または移動状態に分類され得る。したがって、第3のステップの実装プロセスはさらに2つの場合に分けられる、第1の場合では、仮想現実デバイスが将来の第1の持続時間で静止状態にあるとき、仮想現実ホストが最終画像圧縮率を決定する方法、および第2の場合では、仮想現実デバイスが将来の第1の持続時間で移動状態にあるとき、仮想現実ホストが最終画像圧縮率を決定する方法である。
【００７０】
2つの場合が説明される前に、仮想現実ホストが、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する理由および実装形態が最初に説明される。詳細は次のとおりである。
【００７１】
ユーザが仮想世界を体験するために仮想現実デバイスを装着するプロセスでは、ユーザのモーション状態は時間とともに変化する、つまり、仮想現実デバイスのモーション状態が時間とともに変化する。例えば、仮想現実デバイスが現在の状態が定常状態であること、つまり速度が0 m／sであることを検出した場合、仮想現実デバイスによって、モーション情報、つまり0 m／sの速度を仮想現実ホストに送信することから仮想現実ホストによって送信された圧縮された仮想現実画像の仮想現実デバイスによる受信までのプロセスには特定の持続時間が必要な場合がある。当該持続時間の後、仮想現実デバイスは静止状態から移動状態に変化した可能性がある。したがって、決定された画像圧縮率の精度を改善するため、仮想現実ホストは、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測し得る。
【００７２】
例えば、仮想現実ホストは、00：10に、仮想現実デバイスによって送信されるモーション情報および仮想現実デバイスによってモーション情報を生成するための時間に関する情報を受信し、具体的には、00：08に仮想現実デバイスの速度は0 m／sである。この場合、仮想現実ホストは、仮想現実デバイスが00：08に静止していることのみしか決定できない。仮想現実ホストが仮想現実画像を圧縮して、圧縮された仮想現実画像を仮想現実デバイスに送信するプロセスに5秒必要な場合、仮想現実デバイスは00：15に圧縮された仮想現実画像を受信するが、仮想現実デバイスは00：15に静止状態から移動状態に変化した可能性がある。したがって、画像圧縮率の精度を改善するため、仮想現実ホストは、受信したモーション情報に基づいて将来の第1の持続時間、例えば5s、における仮想現実デバイスのモーション状態を予測し得る。
【００７３】
本出願では、第1の持続時間はエクスペリエンスに基づいて決定されてもよく、計算によって決定されてもよい。第1の持続時間が計算によって決定される場合、仮想現実ホストが将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する前述の理由から、第1の持続時間はモーション情報を生成する瞬間から仮想現実ホストによって送信された圧縮された仮想現実画像を受信する瞬間までの仮想現実デバイスによって必要とされる持続時間であり得ることが習得され得る。持続時間は、具体的には3つの持続時間の合計であり得る。持続時間の第1の部分は、モーション情報を仮想現実ホストに送信するために仮想現実デバイスによって必要とされる持続時間であり得、持続時間の第2の部分は、仮想現実ホストが仮想現実画像を圧縮するために必要とされる持続時間であり得、持続時間の第3の部分は、圧縮された仮想現実画像を仮想現実デバイスに送信するために仮想現実ホストによって必要とされる持続時間であり得る。以下では、3つの持続時間の計算方法を個別に説明する。持続時間の第1の部分は、仮想現実ホストによるモーション情報の受信時間と仮想現実デバイスによるモーション情報の生成時間の間の時間差であってもよい。持続時間の第2の部分は、一度に送信される必要がある仮想現実画像のフレームの合計量に、仮想現実画像の1つのフレームを圧縮するのに必要な持続時間を掛けることによって取得され得る。仮想現実画像の1つのフレームを圧縮するのに必要な持続時間は、テストを通じて取得され得る。例えば、仮想現実ホストは、仮想現実画像の1つのフレームが圧縮される前の第1の瞬間と、圧縮が完了される第2の瞬間を記録することができる。第2の瞬間と第1の瞬間の差は、仮想現実画像の1つのフレームを圧縮するのに必要な持続時間である。持続時間の第3の部分は、一度に送信されるデータの数量を無線チャネルの伝送速度で除算することにより取得され得る。一度に送信されるデータの数量は、送信される仮想現実画像のフレームの合計量と、仮想現実画像の各フレームに含まれるデータの数量に基づいて決定され得る。持続時間の3つ部分が決定された後、持続時間の3つの部分を合計することにより、第1の持続時間が取得される。確かに、第1の持続時間を計算する別の方法があり得るので、これは本出願では特に限定されない。
【００７４】
本出願では、仮想現実ホストは、仮想現実デバイスの受信したモーション情報および履歴モーション情報に基づいて、仮想現実デバイスが将来の第1の持続時間で静止状態または移動状態にあるかどうかを決定し得る。
【００７５】
上記のように、仮想現実デバイスが、モーション情報を送信している間に、モーション情報を生成する時間に関する情報をさらに送信する場合、モーション情報およびモーション情報を生成する時間に関する情報を受信するとき、仮想現実ホストは仮想現実デバイスのモーション情報が時間とともに変化するという情報を取得するため、すなわち、仮想現実デバイスの履歴モーション情報を取得するために、モーション情報および時間に関する情報をそれに対応して格納してもよい。
【００７６】
VRゲームを例にとると、仮想現実ホストに格納されている仮想現実デバイスの履歴モーション情報は次のとおりである、例えば、瞬間00：00での仮想現実デバイスの速度は0、瞬間00：05での仮想現実デバイスの速度は1 m／s、瞬間00：10での仮想現実デバイスの速度は2 m／s、瞬間00：15での仮想現実デバイスの速度は3 m／s、瞬間00：20での仮想現実デバイスの速度は2 m／s、瞬間00：25での仮想現実デバイスの速度は1 m／s、瞬間00：30での仮想現実デバイスの速度は0 m／s、瞬間00：35の仮想現実デバイスの速度は0 m／s、瞬間00：40での仮想現実デバイスの速度は0 m／sである。
【００７７】
引き続きVRゲームを例にとると、仮想現実ホストは、瞬間00：14に、仮想現実デバイスによって送信されるモーション情報およびモーション情報を生成するための時間に関する情報を受信し、具体的には、瞬間00：12での仮想現実デバイスの速度は2 m／sである。第1の持続時間が3sの場合、仮想現実ホストは、仮想現実デバイスの履歴モーション情報に基づいて、将来の3s以内、つまり、瞬間00：15での仮想現実ホストの速度が3 m／sであることを習得し得る。すなわち、仮想現実デバイスが移動状態にあると決定される。別の例では、仮想現実ホストは、瞬間00：30に、仮想現実ホストによって送信されるモーション情報およびモーション情報を生成するための時間に関する情報を受信し、具体的には、瞬間00：28での仮想現実デバイスの速度は0 m／sである。第1の持続時間が3sの場合、仮想現実ホストは、仮想現実デバイスの履歴モーション情報に基づいて、将来の3s以内、つまり、瞬間00：15での仮想現実ホストの速度が0 m／sであることを習得し得る。つまり、仮想現実デバイスは静止状態にある。
【００７８】
以下では、第3のステップの実装プロセスの2つの場合について個別に説明する。
【００７９】
第1の場合では、仮想現実デバイスが将来の第1の持続時間で静止状態にあるとき、仮想現実ホストが最終画像圧縮率をどのように決定するかである。
【００８０】
仮想現実ホストと仮想現実デバイスの間の無線チャネルのチャネル品質は、仮想現実デバイスのモーション状態にある程度関連していることに留意していただきたい。例えば、仮想現実デバイスがすばやく移動すると、チャネルの安定性が比較的悪くなり、チャネルの品質が大きく変化する。仮想現実デバイスが静止している場合、通常、チャネル品質は比較的安定しており、わずかにしか変化しない。したがって、仮想現実ホストが、仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定した場合、チャネル品質が比較的安定していると決定され得る。この場合、仮想現実ホストは、検出された無線チャネルのチャネル品質に対応する画像圧縮率を最終画像圧縮率として直接決定してもよく、すなわち、事前に決定された画像圧縮率を最終画像圧縮率として直接使用する。
【００８１】
第2の場合では、仮想現実デバイスが将来の第1の持続時間で移動状態にあるとき、仮想現実ホストが最終画像圧縮率をどのように決定するかである。
【００８２】
本出願では、仮想現実デバイスが将来の第1の持続時間で移動状態にあると仮想現実デバイスが決定すると、事前に決定された画像圧縮率は、モーション情報に基づいて調整され得る（本明細書のモーション情報は、仮想現実デバイスの現在のモーション状態であり、上記の履歴モーション情報ではない）。例えば、仮想現実デバイスの移動速度が比較的遅いことを示すためにモーション情報が使用される場合、仮想現実ホストは、事前に決定された画像圧縮率に基づいて画像圧縮率を適切に低下させる。仮想現実デバイスの移動速度が比較的速いことを示すためにモーション情報が使用される場合、仮想現実ホストは、事前に決定された画像圧縮率に基づいて画像圧縮率を適切に増大させる。
【００８３】
これは、仮想現実デバイスの移動速度が比較的速い場合、仮想現実デバイスによって表示される仮想現実画像の切り替え速度が比較的速い、すなわち、コンテンツがすばやく変化するためである。高速モーション画像の場合、ユーザは画像の品質を無視する傾向があるが、画像の整合性と流暢さには注意を払っている。したがって、画像の整合性は、画像圧縮率を上げることで確保され得るので、ユーザエクスペリエンスが改善される。しかしながら、仮想現実デバイスの移動速度が比較的遅い場合、仮想現実デバイスによって表示される仮想現実画像のコンテンツはゆっくりと変化する。スローモーション画像または静止画像の場合、ユーザはしばしば、画像の品質に対する比較的高い要件、例えば、画像の鮮明さと解像度に対する比較的高い要件を有している。この場合、画像の品質は画像圧縮率を下げることで改善され得るので、ユーザエクスペリエンスが改善される。
【００８４】
第2の場合、画像圧縮率を決定する精度を改善するために、仮想現実ホストは、モーション情報に基づいて事前に決定された画像圧縮率を調整するとき、将来の第1の持続時間における無線チャネルのチャネル品質の変化傾向を考慮する場合がある。すなわち、仮想現実ホストは、モーション情報および将来の第1の持続時間におけるチャネル品質の予測される変化傾向に基づいて、事前に決定された画像圧縮率を調整することができる。詳細は次のとおりである。
【００８５】
仮想現実デバイスの移動速度が比較的遅いことを示すためにモーション情報が使用され、将来の第1の持続時間におけるチャネル品質が改善される場合、仮想現実ホストは、事前に決定された画像圧縮率に基づいて画像圧縮率を適切に低下させる。仮想現実デバイスの移動速度が比較的速いことを示すためにモーション情報が使用され、将来の第1の持続時間におけるチャネル品質が低下される場合、仮想現実ホストは、事前に決定された画像圧縮率に基づいて画像圧縮率を適切に増大させる。
【００８６】
これは、仮想現実デバイスの移動速度が比較的速い場合、仮想現実デバイスによって表示される仮想現実画像のコンテンツはすばやく変化するからである。仮想現実画像の流暢さを確保するために、仮想現実ホストは、事前に決定された画像圧縮率に基づいて画像圧縮率を増大させる。ただし、画像の圧縮率が増大された後、送信されるデータの数量は大幅に低減される。この場合、良好なチャネル品質がなくても伝送要件が満たされ得る。したがって、チャネルの品質が低下しても、仮想現実画像の伝送は影響されない。仮想現実デバイスの移動速度が比較的遅い場合、仮想現実デバイスによって表示される仮想現実画像のコンテンツはゆっくりと変化する。仮想現実画像の品質を確保するために、仮想現実ホストは、事前に決定された画像圧縮率に基づいて画像圧縮率を低下させる。ただし、画像の圧縮率が低下された後、送信されるデータの数量は大幅に増大され得る。無線チャネルのチャネル品質が改善される場合、増大したデータ数量の伝送は影響されない。すなわち、仮想現実ホストは、モーション情報および将来の第1の持続時間におけるチャネル品質の変化傾向に基づいて、画像圧縮率を調整し、その結果、画像圧縮率の決定の精度はさらに改善され得る。
【００８７】
実際の用途では、仮想現実ホストは、モーション情報のみに基づいて画像圧縮率を調整することができるか、モーション情報と将来の第1の持続時間における無線チャネルのチャネル品質の変化傾向に基づいて画像圧縮率を調整することができる。
【００８８】
S204．仮想現実ホストは、画像圧縮率に基づいて、送信される仮想現実画像を圧縮する。
【００８９】
本出願では、仮想現実ホストは、決定された最終画像圧縮率に基づいて仮想現実画像の各フレームを圧縮することができるか、毎回仮想現実画像の複数のフレームを一緒に圧縮することができる。
【００９０】
本出願では、仮想現実ホストは、仮想現実デバイスのモーション情報に基づいて画像圧縮率を決定する。例えば、仮想現実デバイスの移動速度が比較的遅い場合、すなわち、仮想現実デバイスによって表示される仮想現実画像のコンテンツがゆっくりと変化する場合、比較的小さな画像圧縮率が決定され、仮想現実画像の品質を確保する。仮想現実デバイスの移動速度が比較的速い場合、すなわち、仮想現実デバイスによって表示される仮想現実画像のコンテンツがすばやく変化する場合、比較的大きな画像圧縮率が決定され、仮想現実画像の整合性を確保する。このようにして、決定された画像圧縮率の精度が改善され、ユーザの要件がよりよく満たされ得る。
【００９１】
実際の操作プロセスでは、仮想現実画像を送信する前に、仮想現実ホストは変調および符号化方式を決定してから、変調および符号化方式に従って仮想現実画像に対して変調および符号化を実行する必要がある。以下では、現在のVRシステムが変調および符号化方式を決定する方法を説明する。
【００９２】
現在、VRシステムでは、仮想現実ホストが無線チャネルのチャネル品質に基づいて変調および符号化方式を決定する。例えば、無線チャネルのチャネル品質が比較的良好な場合、比較的速い変調および符号化速度を備えた変調および符号化方式が決定される。ただし、このようにして決定された変調および符号化方式は不正確である。これは、実際には、各変調および符号化方式がそれ自体の変調および符号化速度に対応し、変調および符号化速度が仮想現実画像の伝送プロセスで生成されるフレームエラー速度に関連するためである。例えば、変調符号化速度が比較的速い場合、伝送効率は比較的高いが、フレームエラーまたはフレーム損失が発生する確率は比較的高い。仮想現実デバイスの移動速度が比較的速い場合、仮想現実デバイスによって表示される仮想現実画像のコンテンツはすばやく変化する。仮想現実画像の流暢さを確保するには、フレームエラーまたはフレーム損失の確率を減らす必要があるため、非常に高い変調および符号化速度の変調および符号化方式は適用できない。無線チャネルのチャネル品質が常に良好であり、仮想現実ホストが常に比較的速い変調および符号化速度の変調および符号化方式を使用している場合、フレーム損失およびフレームエラーの発生確率は非常に高くなる。フレーム損失が発生すると、ユーザに表示される仮想現実画像は整合性がなくなる。現在、VRシステムでは、チャネル品質に基づいて仮想現実ホストによって決定される変調および符号化方式が不正確であることが習得され得る。以下では、本出願での変調および符号化方式を決定するプロセスについて説明する。
【００９３】
S205．仮想現実ホストは、モーション情報に基づいて変調および符号化方式を決定する。
【００９４】
S205とS203またはS204の間の実行シーケンスは、S205がS202の後に発生するのであれば、限定されない。図2は、S204の後にS205が発生する例である。
【００９５】
S203と同様に、S205の可能な実装形態は次のとおりである、すなわち、仮想現実ホストは、最初に無線チャネルのチャネル品質に基づいて変調および符号化方式を事前に決定し、次にモーション情報および事前に決定された変調および符号化方式に基づいて最終的な変調および符号化方式を決定する。このようにして、2つの異なる要因、つまりチャネル品質およびモーション情報が包括的に考慮されるため、決定された変調および符号化方式はより正確になる。以下では、この方法の実装プロセスについて詳しく説明する。
【００９６】
このようにして、仮想現実ホストは、2つのステップで最終的な変調および符号化方式を決定できる。第1のステップでは、仮想現実ホストと仮想現実デバイスの間の無線チャネルが決定される、第2のステップでは、無線チャネルのチャネル品質に基づいて変調および符号化方式が事前に決定される、ならびに第3のステップでは、モーション情報および事前に決定された変調および符号化方式に基づいて最終的な変調および符号化方式が決定される。
【００９７】
第1のステップの実装プロセスについては、S203の第1のステップに関する説明を参照してください。明細書を簡潔にするために、本明細書では詳細が再度説明されない。
【００９８】
第2のステップの実装プロセスでは、仮想現実ホストはチャネル品質、ならびにチャネル品質と変調および符号化方式の間のマッピング関係を最初に決定する必要がある。チャネル品質と変調および符号化方式の間のマッピング関係は、仮想現実ホストによって事前に格納されている場合がある。したがって、仮想現実ホストはチャネル品質を主に決定する必要がある。仮想現実ホストによるチャネル品質の決定方法は上記で説明している。次に、仮想現実ホストは、チャネル品質と変調および符号化方式の間の格納されたマッピング関係に基づいて、変調および符号化方式を事前に決定する。無線チャネルのチャネル品質と変調および符号化方式の間には、複数のタイプのマッピング関係がある。表2は一例である。さらに、表2は、チャネル品質と変調および符号化方式の間のマッピング関係の例にすぎず、チャネル品質と変調および符号化方式間のマッピング関係の制限ではない。表1では、無線チャネルの伝送速度が例として使用され、無線チャネルのチャネル品質を示している。
【００９９】
【表２】
0006873268.tif 000003
【０１００】
本出願では、無線チャネルのチャネル品質と変調および符号化方式の間のマッピング関係は、従来技術の変調および符号化方式（Modulation and Coding Scheme、MCS）インデックス表を使用し得るか、またはユーザによって定義されたマッピング関係を使用し得る。
【０１０１】
例えば、仮想現実ホストによって決定された無線チャネルの伝送速度が4 Gbpsの場合、表2に基づいて、変調および符号化方式が16−QAMであると事前に決定され得る。
【０１０２】
以下では、第3のステップの実装プロセスを説明する、すなわち、仮想現実ホストは、モーション情報および事前に決定された変調および符号化方式に基づいて最終的な変調および符号化方式を決定する。S203と同様に、仮想現実ホストは、受信したモーション情報に基づいて、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測してから、モーション状態および事前に決定された変調および符号化方式に基づいて最終的な変調および符号化方式を決定する。したがって、第3のステップの実装プロセスも2つの場合に分けられる、すなわち、第1の場合では、仮想現実デバイスが将来の第1の持続時間で静止状態にあるとき、仮想現実ホストが最終的な変調および符号化方式をどのように決定するかである。第2の場合では、仮想現実デバイスが将来の第1の持続時間で移動状態にあるとき、仮想現実ホストが最終的な変調および符号化方式をどのように決定するかである。仮想現実ホストが、将来の第1の持続時間における仮想現実デバイスのモーション状態を予測する理由および実装形態は上述されているので、本明細書では再度説明されない。したがって、以下では、第2のステップの実装プロセスの2つの場合を直接説明する。
【０１０３】
第1の場合では、仮想現実デバイスが将来の第1の持続時間で静止状態にあるとき、仮想現実ホストが最終的な変調および符号化方式をどのように決定するかである。
【０１０４】
上述したように、仮想現実ホストと仮想現実デバイスの間の無線チャネルのチャネル品質は、仮想現実デバイスのモーション状態にある程度関連している。仮想現実ホストが、仮想現実デバイスが将来の第1の持続時間で静止状態にあると決定した場合、チャネル品質が比較的安定していると決定され得る。この場合、仮想現実ホストは、無線チャネルの検出されたチャネル品質に対応する変調および符号化方式を最終的な変調および符号化方式として直接決定してもよい。
【０１０５】
第2の場合では、仮想現実デバイスが将来の第1の持続時間で移動状態にあるとき、仮想現実ホストが最終的な変調および符号化方式をどのように決定するかである。
【０１０６】
本出願では、仮想現実デバイスが、仮想現実デバイスが将来の第1の持続時間で移動状態にあると決定するとき、仮想現実ホストはモーション情報に基づいて事前に決定された変調および符号化方式を調整してもよい。例えば、仮想現実デバイスの移動速度が比較的遅いことを示すためにモーション情報が使用される場合、仮想現実ホストは事前に決定された変調および符号化方式を第1の変調および符号化方式に調整し、第1の変調および符号化方式の変調および符号化速度は、事前に決定された変調および符号化方式の変調および符号化速度より大きいまたは同じである。仮想現実デバイスの移動速度が比較的速いことを示すためにモーション情報が使用される場合、仮想現実ホストは事前に決定された変調および符号化方式を第2の変調および符号化方式に調整し、第2の変調および符号化方式の変調および符号化速度は、事前に決定された変調および符号化方式の変調および符号化速度未満である。
【０１０７】
これは、仮想現実デバイスの移動速度が比較的速い場合、すなわち、仮想現実デバイスによって表示される仮想現実画像のコンテンツがすばやく変化する場合、毎回送信される仮想現実画像のフレームの数量が比較的大きいためである。仮想現実画像の整合性と流暢さを確保し、フレームエラーまたはフレーム損失の発生確率を減らし、画像の再伝送を回避するために、仮想現実ホストは比較的遅い変調および符号化速度で変調および符号化方式を決定してもよい。仮想現実デバイスの移動速度が比較的遅く、仮想現実デバイスによって表示される仮想現実画像のコンテンツがゆっくりと変化する場合、毎回送信される仮想現実画像のコンテンツはほとんど変化しないので、毎回送信される必要のある仮想現実画像のフレームの数量は比較的小さい。この場合、非常に遅い変調および符号化速度の変調および符号化方式は必要とされない。したがって、仮想現実ホストは、比較的速い変調および符号化速度で変調および符号化方式を決定でき、その後、伝送効率が改善される。代替として、仮想現実デバイスの移動速度が比較的低い場合、無線チャネルもゆっくりと変化し、検出されたチャネル品質は比較的正確である。したがって、仮想現実ホストは、検出されたチャネル品質に対応する変調および符号化方式を最終的な変調および符号化方式として直接決定してもよい。
【０１０８】
S206．仮想現実ホストは、変調および符号化方式に従って、圧縮された仮想現実画像に対して変調および符号化を実行する。
【０１０９】
本出願では、仮想現実ホストが仮想現実画像の各フレームを圧縮する場合、仮想現実ホストは、最終的な変調および符号化方式に従って、圧縮された仮想現実画像の各フレームに対して変調および符号化を実行してもよい。仮想現実ホストが仮想現実画像の複数のフレームを一緒にパッケージ化および圧縮する場合、仮想現実ホストは、最終的な変調および符号化方式に従って、仮想現実画像の圧縮されたパッケージに対して変調および符号化を実行してもよい。
【０１１０】
S207．仮想現実ホストは、変調および符号化が実行された圧縮された仮想現実画像を仮想現実デバイスに送信し、それに対応して、仮想現実デバイスは、変調および符号化が実行された仮想現実画像を受信する。
【０１１１】
変調および符号化が実行された圧縮された仮想現実画像を受信した後、仮想現実デバイスは、仮想現実画像を復調および復号化して圧縮された仮想現実画像を取得し、圧縮された仮想現実画像を解凍して、最終的に仮想現実画像を表示する。
【０１１２】
本出願では、仮想現実ホストは、仮想現実デバイスのモーション情報に基づいて変調および符号化方式を決定する。例えば、仮想現実デバイスの移動速度が比較的速い場合、仮想現実デバイスによって表示される仮想現実画像の切り替え速度は比較的速く変化する。仮想現実画像の整合性と流暢さを確保し、フレームエラーまたはフレーム損失の発生確率を減らし、画像の再伝送を回避するために、仮想現実ホストは比較的遅い変調および符号化速度で変調および符号化方式を決定してもよい。仮想現実デバイスの移動速度が比較的遅い場合、つまり、毎回送信される仮想現実画像のフレームの数量が比較的小さい場合、仮想現実ホストは、比較的速い変調および符号化速度で変調および符号化方式を決定しても、無線チャネルのチャネル品質に基づいて変調および符号化方式を直接決定してもよく、それによって、伝送効率が改善される。このようにして、決定された変調および符号化方式の精度が改善され、ユーザの要件がよりよく満たされ得る。
【０１１３】
要約すると、本出願では、仮想現実ホストは、仮想現実デバイスのモーション情報に基づいて、画像圧縮率ならびに変調および符号化方式を決定する。例えば、仮想現実デバイスの移動速度が比較的遅い場合、すなわち、仮想現実デバイスによって表示される仮想現実画像のコンテンツがゆっくりと変化する場合、この時点で比較的小さな画像圧縮率が決定され、変調および符号化方式は現在のチャネル品質に基づいて直接決定されてもよい。仮想現実デバイスの移動速度が比較的速い場合、すなわち、フラッシュモーション画像で仮想現実デバイスによって表示される仮想現実画像のコンテンツがすばやく変化する場合、人間の目は画像品質に対してより低い要件を有している。したがって、この時点で仮想現実画像の整合性を確保するために、比較的大きな画像圧縮率が決定され得る。さらに、仮想現実ホストは、比較的遅い変調および符号化速度で変調および符号化方式を決定し、仮想現実画像の整合性を二重に確保する。したがって、本出願で提供される仮想現実画像を送信する方法では、仮想現実ホストは、仮想現実デバイスのモーション情報に基づいて画像圧縮率ならびに変調および符号化方式を決定し、仮想現実画像の品質を確保し、伝送効率を改善し、ユーザの要件をよりよく満たすことができる。
【０１１４】
以下では、添付の図面を参照して、本出願で提供されるデバイスを説明する。
【０１１５】
図4は、仮想現実画像を送信する装置400の概略構造図である。仮想現実画像を送信するための装置400は、上述の仮想現実ホストの機能を実装してもよい。仮想現実画像を送信するための装置400は、受信ユニット401、処理ユニット402、および送信ユニット403を含むことができる。受信ユニット401は、図2に示される実施形態においてS202を実行するように構成されても、および／または本明細書で説明される技術の別のプロセスをサポートするように構成されてもよい。処理ユニット402は、図2に示される実施形態においてS203からS206を実行するように構成されても、および／または本明細書で説明される技術の別のプロセスをサポートするように構成されてもよい。送信ユニット403は、図2に示される実施形態においてS207を実行するように構成されても、および／または本明細書で説明される技術の別のプロセスをサポートするように構成されてもよい。前述の方法の実施形態におけるステップのすべての関連するコンテンツは、対応する機能モジュールの機能説明で引用され得る。詳細については、本明細書では再度説明されない。
【０１１６】
本出願では、仮想現実画像を送信するための装置が機能ユニットの形で表示されることに留意していただきたい。無制限に、本明細書で使用される「ユニット」という用語は、1つ以上のソフトウェアまたはファームウェアプログラムを実行する特定用途向け集積回路（application−specific integrated circuit、ASIC）、電子回路、（共有、専用、またはパケット）プロセッサ、およびメモリ、複合論理回路、ならびに／あるいは機能を提供する別の適切な構成要素を指す場合がある。
【０１１７】
単純な実施形態では、当業者は、仮想現実画像を送信するための装置400が、図5に示される構造を使用することによりさらに実装され得ることを理解し得る。
【０１１８】
図5に示すように、仮想現実画像を送信する装置500は、メモリ501、プロセッサ502、受信機503、送信機504、およびバス505を含むことができる。メモリ501、プロセッサ502、受信機503、および送信機504は、バス505を使用して接続され得る。受信機503は、仮想現実デバイスによって送信された第1のモーション情報を受信するように構成され、第1のモーション情報は、仮想現実デバイスの現在のモーション状態を示すために使用される。プロセッサ502は、第1のモーション情報に基づいて第1の画像圧縮率を決定し、第1の画像圧縮率に基づいて送信される仮想現実画像を圧縮するように構成される。送信機504は、圧縮された仮想現実画像を仮想現実デバイスに送信するように構成される。プロセッサ502、受信機503、および送信機504によって実行される動作の特定の実装形態については、図2の実施形態の仮想現実ホストによって実行される対応するステップを参照してください。詳細については、本出願では再度説明されない。
【０１１９】
メモリ501は、コンピュータ実行可能命令を格納するように構成される。仮想現実画像を送信する装置500が動作しているとき、プロセッサ502は、メモリ501に格納されたコンピュータ実行可能命令を実行して前述の機能を実装し、図2に示された実施形態で提供される仮想現実画像を送信する方法を実装する。特定の画像撮影方法については、前述および添付図面の関連説明を参照してください。詳細については、本明細書では再度説明されない。
【０１２０】
本出願では、プロセッサ502は、フィールドプログラマブルゲートアレイ（field−programmable gate array、FPGA）、特定用途向け集積回路（application−specific integrated circuit、ASIC）、システムオンチップ（system on chip、SoC）、中央処理装置（central processor unit、CPU）、ネットワークプロセッサ（network processor、NP）、デジタルシグナルプロセッサ（digital signal processor、DSP）、マイクロコントローラーユニット（micro controller unit、MCU）、プログラマブルロジックデバイス（programmable logic device、PLD）、または別の統合チップにすることができる。バス505はペリフェラルコンポーネント相互接続（peripheral component interconnect、PCI）バス、拡張業界標準アーキテクチャ（extended industry standard architecture、EISA）バスなどとすることができる。バス505は、アドレスバス、データバス、コントロールバスなどに分類され得る。表現を容易にするために、図5でバスを表すために1本の太い線のみが使用されているが、これは1本のバスのみまたは1つのタイプのバスしかないことを意味ものではない。
【０１２１】
前述の本発明の前述の実施形態の全部または一部は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせによって実装され得る。ソフトウェアが実施形態を実施するために使用される場合、実施形態は全体または部分的にコンピュータプログラム製品の形で実施され得る。コンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにロードされ実行されると、本出願による手順または機能は全部または部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能な装置とすることができる。コンピュータ命令は、コンピュータ可読記憶媒体に格納されてもよく、またはコンピュータ可読記憶媒体から別の可読記憶媒体に送信されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、またはデータセンタから別のウェブサイト、コンピュータ、サーバ、またはデータセンタに有線（例えば、同軸ケーブル、光ファイバ、またはデジタル加入者回線（DSL））またはワイヤレス（例えば、赤外線、無線、またはマイクロ波）の方法で送信されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能媒体、または1つ以上の使用可能媒体を統合したサーバまたはデータセンタなどのデータ記憶デバイスとすることができる。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、または磁気テープ）、光学媒体（例えば、DVD）、半導体媒体（例えば、ソリッドステートディスクSolid State Disk（SSD））などであり得る。
【０１２２】
前述の説明は、本出願の単なる特定の実装形態であり、本出願の保護範囲を限定することを意図するものではない。本出願に開示された技術的範囲内で当業者によって容易に理解されるあらゆる変形または置換は、本出願の保護範囲に含まれるものとする。したがって、本発明の保護範囲は特許請求の範囲の保護範囲に従うものとする。
【符号の説明】
【０１２３】
400  仮想現実画像を送信するための装置
401  受信ユニット
402  処理ユニット
403  送信ユニット
500  仮想現実画像を送信するための装置
501  メモリ
502  プロセッサ
503  受信機
504  送信機
505  バス
【図１】
0006873268.tif 000004
【図２】
0006873268.tif 000005
【図３】
0006873268.tif 000006
【図４】
0006873268.tif 000007
【図５】
0006873268.tif 000008