(57)【要約】  ビデオ処理方法が、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表わされた３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信するステップと、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、３６０ＶＲ投影フォーマットで表わされた回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするステップと、を含み、少なくとも１つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される。
2019530296.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ処理方法であって、
３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信するステップと、
前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、前記３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、
前記コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、
前記ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするステップであり、前記少なくとも１つのシンタックス要素は、前記コンテンツ方向づけ回転の回転情報を示すように設定される、ステップと、
を含むビデオ処理方法。
【請求項２】
前記回転情報は、前記少なくとも１つのシンタックス要素により示される少なくとも１つの回転度数を含む、請求項１に記載のビデオ処理方法。
【請求項３】
前記少なくとも１つのシンタックス要素は、
第１のシンタックス要素を含み、前記第１のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示すように設定される、請求項１に記載のビデオ処理方法。
【請求項４】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第２のシンタックス要素は、複数の事前定義されたインデックス値から選択されたインデックス値により設定され、前記事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる、請求項１に記載のビデオ処理方法。
【請求項５】
前記少なくとも１つのシンタックス要素は、
第３のシンタックス要素をさらに含み、前記インデックス値が前記ユーザ定義された回転度数にマッピングされた事前定義されたインデックス値であるとき、前記第３のシンタックス要素は、前記ユーザ定義された回転度数を示すように設定される、請求項４に記載のビデオ処理方法。
【請求項６】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記第２のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるとき第１の値により設定され、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値により設定され、前記特定の回転軸は前記第２のシンタックス要素に依存して変わる、請求項３に記載のビデオ処理方法。
【請求項７】
前記少なくとも１つのシンタックス要素は、
第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記現在の入力フレームに適用された前記コンテンツ方向づけ回転が少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転と同じであるか否かを示すように設定される、請求項１に記載のビデオ処理方法。
【請求項８】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記現在の入力フレームに適用された前記コンテンツ方向づけ回転が前記少なくとも１つの前の入力フレームに適用された前記コンテンツ方向づけ回転と異なるとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示すように設定される、請求項７に記載のビデオ処理方法。
【請求項９】
前記少なくとも１つのシンタックス要素は、
第３のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第３のシンタックス要素は、前記現在の入力フレームの前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数と、前記少なくとも１つの前の入力フレームの前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数との間の差を示すように設定される、請求項８に記載のビデオ処理方法。
【請求項１０】
前記少なくとも１つのシンタックス要素は、
第３のシンタックス要素をさらに含み、前記第３のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるときに第１の値により設定され、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値により設定され、前記特定の回転軸は前記第３のシンタックス要素に依存して変わる、請求項８に記載のビデオ処理方法。
【請求項１１】
前記少なくとも１つのシンタックス要素は、
第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツの前記コンテンツ方向づけ回転が有効にされているか否かを示すように設定される、請求項１に記載のビデオ処理方法。
【請求項１２】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツの前記コンテンツ方向づけ回転が有効にされているとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転度数を示すように設定される、請求項１に記載のビデオ処理方法。
【請求項１３】
ビデオ処理方法であって、
ビットストリームを受信するステップと、
前記ビットストリームを処理して前記ビットストリームから少なくとも１つのシンタックス要素を取得するステップと、
前記ビットストリームをデコードして、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するステップと、
前記現在のデコードされたフレームと、前記少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するステップであり、前記コンテンツ方向づけ回転は、前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与する、ステップと、
を含むビデオ処理方法。
【請求項１４】
前記回転情報は、前記少なくとも１つのシンタックス要素により示される少なくとも１つの回転度数を含む、請求項１３に記載のビデオ処理方法。
【請求項１５】
前記少なくとも１つのシンタックス要素は、
第１のシンタックス要素を含み、前記第１のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示す、請求項１３に記載のビデオ処理方法。
【請求項１６】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第２のシンタックス要素は、複数の事前定義されたインデックス値のうちの１つであるインデックス値を有し、前記事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる、請求項１３に記載のビデオ処理方法。
【請求項１７】
前記少なくとも１つのシンタックス要素は、
第３のシンタックス要素をさらに含み、前記インデックス値が前記ユーザ定義された回転度数にマッピングされた事前定義されたインデックス値であるとき、前記第３のシンタックス要素は、前記ユーザ定義された回転度数を示す、請求項１６に記載のビデオ処理方法。
【請求項１８】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記第２のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるとき第１の値を有し、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値を有し、前記特定の回転軸は前記第２のシンタックス要素に依存して変わる、請求項１５に記載のビデオ処理方法。
【請求項１９】
前記少なくとも１つのシンタックス要素は、
第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記現在のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転が、少なくとも１つの前のデコードされたフレーム内の回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転と同じであるか否かを示す、請求項１３に記載のビデオ処理方法。
【請求項２０】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記現在のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転が、前記少なくとも１つの前のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転と異なるとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示す、請求項１９に記載のビデオ処理方法。
【請求項２１】
前記少なくとも１つのシンタックス要素は、
第３のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第３のシンタックス要素は、前記現在のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数と、前記少なくとも１つの前のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数との間の差を示す、請求項２０に記載のビデオ処理方法。
【請求項２２】
前記少なくとも１つのシンタックス要素は、
第３のシンタックス要素をさらに含み、前記第３のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるときに第１の値を有し、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値を有し、前記特定の回転軸は前記第３のシンタックス要素に依存して変わる、請求項２０に記載のビデオ処理方法。
【請求項２３】
前記少なくとも１つのシンタックス要素は、
第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記コンテンツ方向づけ回転が有効にされているか否かを示す、請求項１３に記載のビデオ処理方法。
【請求項２４】
前記少なくとも１つのシンタックス要素は、
第２のシンタックス要素をさらに含み、前記コンテンツ方向づけ回転が有効にされているとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転度数を示す、請求項１３に記載のビデオ処理方法。
【請求項２５】
３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信し、前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して前記３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するように構成されたコンテンツ方向づけ回転回路と、
前記コンテンツ回転フレームをエンコードしてビットストリームを生成し、前記ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするように構成されたビデオエンコーダであり、前記少なくとも１つのシンタックス要素は、前記コンテンツ方向づけ回転の回転情報を示すように設定される、ビデオエンコーダと、
を含むビデオ処理装置。
【請求項２６】
ビットストリームを受信し、前記ビットストリームを処理して前記ビットストリームから少なくとも１つのシンタックス要素を取得し、前記ビットストリームをデコードして３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するように構成されたビデオデコーダと、
前記現在のデコードされたフレームと、前記少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するように構成されたグラフィックレンダリング回路であり、前記コンテンツ方向づけ回転は、前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与する、グラフィックレンダリング回路と、
を含むビデオ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、2016年11月09日に出願された米国仮出願第62/419,513号、2016年12月13日に出願された米国仮出願第62/433,272号、2017年03月09日に出願された米国仮出願第62/469,041号、及び2017年11月03日に出願された米国特許出願第15/802,481号の利益を主張し、これらは本明細書において参照により援用される。
【０００２】
本発明は、３６０度イメージ／ビデオコンテンツ処理に関し、より詳細には、投影フォーマットで表された３６０度イメージ／ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置に関する。
【背景技術】
【０００３】
ヘッドマウントディスプレイ（head-mounted  displays；ＨＭＤ）を用いたバーチャルリアリティ（ＶＲ）は、様々なアプリケーションに関連づけられる。広視野コンテンツをユーザに見せる能力は、没入的な視覚体験を提供するために使用できる。現実世界の環境がすべての方向において捕捉される必要があり、ビューイング球形に対応する全方位ビデオを結果としてもたらす。カメラリグ及びＨＭＤの進化により、ＶＲコンテンツの配信は、こうした３６０度イメージ／ビデオコンテンツを表現するために必要な高いビットレートに起因して、すぐにボトルネックになる可能性がある。全方位ビデオの解像度が４Ｋ又はそれより高いとき、データ圧縮／エンコーディングはビットレート低減に対してクリティカルである。
【０００４】
一般に、ビューイング球形に対応する全方位ビデオはイメージのシーケンスに変換され、該イメージの各々は３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットにより表現され、次いで、結果として生じるイメージシーケンスは送信のためにビットストリームへエンコードされる。しかしながら、３６０ＶＲ投影フォーマットで表現された元の３６０度イメージ／ビデオコンテンツは、採用された３６０ＶＲ投影フォーマットにより分割及び／又は伸縮される動くオブジェクトに起因して、不十分な圧縮効率を有する可能性がある。ゆえに、３６０ＶＲ投影フォーマットで表現される３６０度イメージ／ビデオコンテンツの圧縮効率を向上させることができる革新的な設計の必要がある。
【発明の概要】
【０００５】
請求される発明の目的の１つは、投影フォーマットで表現された３６０度イメージ／ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置を提供することである。
【０００６】
本発明の第１の態様によれば、例示的なビデオ処理方法が開示される。例示的なビデオ処理方法は、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信するステップと、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするステップであり、少なくとも１つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される、ステップと、を含む。
【０００７】
本発明の第２の態様によれば、例示的なビデオ処理方法が開示される。例示的なビデオ処理方法は、ビットストリームを受信するステップと、ビットストリームを処理してビットストリームから少なくとも１つのシンタックス要素を取得するステップと、ビットストリームをデコードして、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するステップと、現在のデコードされたフレームと、少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するステップであり、コンテンツ方向づけ回転は、回転された３６０度イメージ／ビデオコンテンツを生成することに関与する、ステップと、を含む。
【０００８】
本発明の第３の態様によれば、例示的なビデオ処理装置が開示される。例示的なビデオ処理装置は、コンテンツ方向づけ回転回路及びビデオエンコーダを含む。コンテンツ方向づけ回転回路は、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信し、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するように構成される。ビデオエンコーダは、コンテンツ回転フレームをエンコードしてビットストリームを生成し、ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするように構成され、少なくとも１つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される。
【０００９】
本発明の第４の態様によれば、例示的なビデオ処理装置が開示される。例示的なビデオ処理装置は、ビデオデコーダ及びグラフィックレンダリング回路を含む。ビデオデコーダは、ビットストリームを受信し、ビットストリームを処理してビットストリームから少なくとも１つのシンタックス要素を取得し、ビットストリームをデコードして３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するように構成される。グラフィックレンダリング回路は、現在のデコードされたフレームと、少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するように構成され、コンテンツ方向づけ回転は、回転された３６０度イメージ／ビデオコンテンツを生成することに関与する。
【００１０】
本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例による３６０度バーチャルリアリティ（３６０ＶＲ）システムを示す図である。
【図２】本発明の実施例による提案のコンテンツ方向づけ回転の概念を示す図である。
【図３】本発明の実施例によるビデオエンコーダを示す図である。
【図４】本発明の実施例による、同じ回転角度を用いて異なる回転順序を使用して実行されるコンテンツ方向づけ回転を示す図である。
【図５】本発明の実施例によるビデオデコーダを示す図である。
【発明を実施するための形態】
【００１２】
特定の用語が以下の説明及び特許請求の範囲を通して使用され、これらは特定のコンポーネントを参照する。当業者が十分理解するように、電子機器製造業者は異なる名前でコンポーネントを参照することがある。本文献は、名前は異なるが機能は異ならないコンポーネント間で区別することは意図しない。以下の説明において、及び特許請求の範囲において、用語「含む」（“include”、“comprise”）は開放的に使用され、ゆえに、「これらに限られないが・・・を含む」を意味するように解釈されるべきである。また、用語「結合する」は、間接又は直接のいずれかの電気接続を意味することが意図される。したがって、あるデバイスが別のデバイスに結合される場合、その接続は、直接の電気接続を通してでもよく、あるいは他のデバイス及び接続を介して間接の電気接続を通してでもよい。
【００１３】
図１は、本発明の実施例による３６０度バーチャルリアリティ（360-degree  Virtual  Reality）（３６０ＶＲ）システムを示す図である。３６０ＶＲシステム１００は、ソース電子デバイス１０２及び宛先デバイス１０４を含む。ソース電子デバイス１０２は、ビデオ捕捉デバイス１１２、コンバージョン回路１１４、コンテンツ方向づけ回転（content-oriented  rotation）回路１１６、及びビデオエンコーダ１１８を含む。例えば、ビデオ捕捉デバイス１１２は、ビューイング球形（viewing  sphere）に対応する全方位イメージコンテンツ（例えば、全周囲をカバーする複数のイメージ）Ｓ＿ＩＮを提供するために使用されるカメラのセットでもよい。コンバージョン回路１１４は、全方位イメージコンテンツＳ＿ＩＮに従って３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットＬ＿ＶＲで現在の入力フレームＩＭＧを生成する。この例において、コンバージョン回路１１４は、ビデオ捕捉デバイス１１２から提供された３６０度ビデオの各ビデオフレームについて１つの入力フレームを生成する。コンバージョン回路１１４により採用される３６０ＶＲ投影フォーマットＬ＿ＶＲは、正距円筒的投影（equirectangular  projection；ＥＲＰ）フォーマット、キューブマップ投影（cube  map  projection；ＣＭＰ）フォーマット、８面体投影（octahedron  projection；ＯＨＰ）フォーマット、２０面体投影（icosahedron  projection；ＩＳＰ）フォーマット等を含む利用可能な投影フォーマットのうち任意のものでよい。コンテンツ方向づけ回転回路１１６は、現在の入力フレームＩＭＧ（これは、３６０ＶＲ投影フォーマットＬ＿ＶＲで表された３６０度イメージ／ビデオコンテンツを有する）を受信し、現在の入力フレームＩＭＧ内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、同じ３６０ＶＲ投影フォーマットＬ＿ＶＲで表された、回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームＩＭＧ’を生成する。さらに、適用されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒは、シンタックス要素シグナリングのためにビデオエンコーダ１１８に提供される。
【００１４】
図２は、本発明の実施例による、提案のコンテンツ方向づけ回転の概念を示す図である。明確さ及び簡潔さのため、３６０ＶＲ投影フォーマットＬ＿ＶＲはＥＲＰフォーマットであると仮定される。ゆえに、ビューイング球形２０２の３６０度イメージ／ビデオコンテンツは、ビューイング球形２０２の正距円筒的投影を介して矩形（rectangular）投影面上にマッピングされる。こうして、ＥＲＰフォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームＩＭＧがコンバージョン回路１１４から生成される。上述されたように、３６０ＶＲ投影フォーマットで表された元の３６０度イメージ／ビデオコンテンツは、採用された３６０ＶＲ投影フォーマットにより分割及び／又は伸縮される動くオブジェクトに起因して、不十分な圧縮効率を有する可能性がある。この問題に対処するために、本発明は、符号化効率向上のために３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用することを提案する。
【００１５】
さらに、コンテンツ回転フレームＩＭＧ’内のピクセル位置におけるピクセル値を計算する例が図２に示される。コンテンツ回転フレームＩＭＧ’内の座標（ｘ，ｙ）を有するピクセルｃｏについて、２Ｄ座標（ｘ，ｙ）は、２Ｄ対３Ｄマッピング処理を通して３Ｄ座標ｓ（ビューイング球形２０２上の点）にマッピングできる。次いで、この３Ｄ座標ｓは、コンテンツ方向づけ回転が実行された後、別の３Ｄ座標ｓ’（ビューイング球形２０２上の点）に変換される。コンテンツ方向づけ回転は、回転行列乗算により達成できる。最後、座標（ｘ’ｉ，ｙ’ｉ）を有する対応する２Ｄ座標ｃｉ’が、３Ｄ対２Ｄマッピング処理を通して現在の入力フレームＩＭＧ内で見つけられる。したがって、コンテンツ回転フレームＩＭＧ’内の各整数ピクセル（例えば、ｃｏ＝（ｘ，ｙ））について、現在の入力フレームＩＭＧ内の対応する位置（例えば、ｃｉ’＝（ｘ’ｉ，ｙ’ｉ））が、コンテンツ回転フレームＩＭＧ’からビューイング球形２０２への２Ｄ対３Ｄマッピングと、コンテンツ回転のためにビューイング球形２０２で乗算された回転行列と、ビューイング球形２０２から現在の入力フレームＩＭＧへの３Ｄ対２Ｄマッピングとを通して見つけられる。ｘ’ｉ及びｙ’ｉのうち一方又は双方が非整数位置である場合、補間フィルタ（図示せず）が現在の入力フレームＩＭＧ内の点ｃｉ’＝（ｘ’ｉ，ｙ’ｉ）の周りの整数ピクセルに適用されて、コンテンツ回転フレームＩＭＧ’内のｃｏ＝（ｘ，ｙ）のピクセル値を導出してもよい。
【００１６】
現在の入力フレームＩＭＧを送信のためにビットストリームへエンコードする従来のビデオエンコーダと対照的に、ビデオエンコーダ１１８は、コンテンツ回転フレームＩＭＧ’をビットストリームＢＳへエンコードし、次いで、有線／無線通信リンク又は記憶媒体などの送信手段１０３を介してビットストリームＢＳを宛先電子デバイス１０４に出力する。具体的に、ビデオエンコーダ１１８は、コンテンツ方向づけ回転回路１１６から出力された各々のコンテンツ回転フレームについて１つのエンコードされたフレームを生成する。ゆえに、連続的なエンコードされたフレームが、順次、ビデオエンコーダ１１８から生成される。さらに、コンテンツ方向づけ回転回路１１６で実行されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒは、ビデオエンコーダ１１８に提供される。ゆえに、ビデオエンコーダ１１８は、ビットストリームＢＳを介してシンタックス要素をさらにシグナリングし、シンタックス要素は、現在の入力フレームＩＭＧに適用されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示すように設定される。
【００１７】
図３は、本発明の実施例によるビデオエンコーダを示す図である。図１に示されるビデオエンコーダ１１８は、図３に示されるビデオエンコーダ３００を使用して実現されてもよい。ビデオエンコーダ３００は、生の（raw）ビデオデータを圧縮して圧縮されたビデオデータを生成するために使用されるハードウェア回路である。図３に示されるように、ビデオエンコーダ３００は、制御回路３０２及びエンコーディング回路３０４を含む。図３に示されるビデオエンコーダアーキテクチャは単に例示目的のものであり、本発明の限定であるようには意図されないことが留意されるべきである。例えば、エンコーディング回路３０４のアーキテクチャは符号化標準に依存して変わってもよい。エンコーディング回路３０４は、コンテンツ回転フレームＩＭＧ’（これは、３６０ＶＲ投影レイアウトＬ＿ＶＲにより表された回転された３６０度イメージ／ビデオコンテンツを有する）をエンコードしてビットストリームＢＳを生成する。図３に示されるように、エンコーディング回路３０４は、残差計算回路３１１、変換回路（「Ｔ」で表される）３１２、量子化回路（「Ｑ」で表される）３１３、エントロピーエンコーディング回路（例えば、可変長エンコーダ）３１４、逆量子化回路（「ＩＱ」で表される）３１５、逆変換回路（「ＩＴ」で表される）３１６、再構成回路３１７、少なくとも１つのループ内フィルタ３１８、参照フレームバッファ３１９、インター予測（inter  prediction）回路３２０（これは、動き推定回路（「ＭＥ」で表される）３２１及び動き補償回路（「ＭＣ」で表される）３２２を含む）、イントラ予測（intra  prediction）回路（「ＩＰ」で表される）３２３、及びイントラ／インターモード選択スイッチ３２４を含む。エンコーディング回路３０４で実現されるこれらの回路コンポーネントの基本的な機能及び動作は当業者によく知られているため、簡潔さのためにここでさらなる説明は省略される。
【００１８】
ビデオエンコーダ３００と典型的なビデオエンコーダとの間の主な差は、制御回路３０２が前の回路（例えば、図１に示されるコンテンツ方向づけ回転回路１１６）から回転情報ＩＮＦ＿Ｒを受信し、回転情報ＩＮＦ＿Ｒに従って少なくとも１つのシンタックス要素（syntax  element；ＳＥ）を設定するために使用されることであり、回転情報ＩＮＦ＿Ｒを示すシンタックス要素は、エントロピーエンコーディング回路３１４から生成されたビットストリームＢＳを介してビデオデコーダに対してシグナリングされる。こうして、宛先電子デバイス１０４（これはビデオデコーダを有する）は、シグナリングされたシンタックス要素に従ってエンコーダ側のコンテンツ方向づけ回転の詳細を知ることができ、例えば、デコーダ側の逆コンテンツ方向づけ回転を実行してレンダリング及び表示のために必要されるビデオデータを取得することができる。
【００１９】
コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転は、回転軸、回転順序、及び回転角度により指定されてもよい。コンテンツ方向づけ回転は、ある回転順序における回転軸のセットに沿った要素回転を含んでもよく、回転順序は、コンテンツ方向づけ回転により使用される回転軸の順序を指定し、対応する回転軸に沿った各要素回転は、特定の回転度数を有する回転角度により表される。例えば、回転軸は、デカルト座標系における３つの直交軸（例えば、ｘ軸、ｙ軸、ｚ軸）でもよく、回転順序は、一般に使用される特定順序ヨー‐ピッチ‐ロール（例えば、ｚ‐ｙ‐ｘ）でもよい。しかしながら、これらは単に例示目的のものであり、本発明の限定であるようには意図されない。例えば、回転軸は、直交軸であることを要求されない。別の例として、回転軸の数及び回転角度の数は調整されてもよい。単一の回転軸のみがコンテンツ方向づけ回転に関与する場合において、回転順序は省略できる。
【００２０】
同じ回転角度を用いた異なる回転順序は、異なる結果を作り出し得ることが留意されるべきである。図４は、本発明の実施例による、同じ回転角度を用いて異なる回転順序を使用して実行されるコンテンツ方向づけ回転を示す図である。第１の例Ｅｘ１におけるコンテンツ方向づけ回転は、ｙ軸に沿って３０°回転し、次いでＺ軸に沿って３０°回転することを含む。第２の例Ｅｘ２における別のコンテンツ方向づけ回転は、Ｚ軸に沿って３０°回転し、次いでｙ軸に沿って３０°回転することを含む。図４に示されるように、（ｘ，ｙ，ｚ）＝（１，０，０）におけるイメージ／ビデオコンテンツは、第１の例Ｅｘ１ではコンテンツ方向づけ回転に従って
【数１】
2019530296.tif 000003
に回転され、第２の例Ｅｘ２ではコンテンツ方向づけ回転に従って
【数２】
2019530296.tif 000004
に回転される。ゆえに、回転軸及び関連づけられた回転角度に追加で、回転順序がコンテンツ方向づけ回転において正確に定義される必要がある。
【００２１】
各回転軸は、エンコーダ側及びデコーダ側に事前定義され（例えば、仕様テキストに定義され）てもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される複数の回転軸（又は、単一の回転軸）の情報は、ビットストリームＢＳを介してシグナリングされる必要がない。別法として、各回転軸は、コンテンツ方向づけ回転回路１１６により能動的に設定されてもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される複数の回転軸（又は、単一の回転軸）の情報は、ビットストリームＢＳを介してシグナリングされる必要がある。
【００２２】
回転順序は、エンコーダ側及びデコーダ側に事前定義され（例えば、仕様テキストに定義され）てもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される回転順序の情報は、ビットストリームＢＳを介してシグナリングされる必要がない。別法として、回転順序は、コンテンツ方向づけ回転回路１１６により能動的に設定されてもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される回転順序の情報は、ビットストリームＢＳを介してシグナリングされる必要がある。
【００２３】
各回転軸に関連づけられた回転角度の回転度数は、異なるフレームについて変動してもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される複数の回転度数（又は、単一の回転度数）の情報は、ビットストリームＢＳを介してシグナリングされる必要がある。
【００２４】
上述されたように、シンタックス要素ＳＥは、現在の入力フレームＩＭＧに適用されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示すように設定される。回転軸がエンコーダ側及びデコーダ側に事前定義される第１の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転順序及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転軸及び回転順序がエンコーダ側及びデコーダ側に事前定義される第２の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転度数を含み、これは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転順序がエンコーダ側及びデコーダ側に事前定義される第３の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転軸及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転軸及び回転順序のいずれもエンコーダ側及びデコーダ側に事前定義されない第４の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転軸、回転順序、及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。
【００２５】
図１を再度参照されたい。宛先電子デバイス１０４は、ヘッドマウントディスプレイ（ＨＭＤ）デバイスでもよい。図１に示されるように、宛先電子デバイス１０４は、ビデオデコーダ１２２、グラフィックレンダリング回路１２４、及びディスプレイ画面１２６を含む。ビデオデコーダ１２２は、送信手段１０３（例えば、有線／無線通信リンク又は記憶媒体）からビットストリームＢＳを受信し、受信したビットストリームＢＳをデコードして現在のデコードされたフレームＩＭＧ’’を生成する。具体的に、ビデオデコーダ１２２は、送信手段１０３により配信された各々のエンコードされたフレームについて１つのデコードされたフレームを生成する。ゆえに、連続的なデコードされたフレームが、順次、ビデオデコーダ１２２から生成される。この実施例において、ビデオエンコーダ１１８によりエンコードされるコンテンツ回転フレームＩＭＧ’は３６０ＶＲ投影フォーマットを有する。ゆえに、ビットストリームＢＳがビデオデコーダ１２２によりデコードされた後、現在のデコードされたフレーム（すなわち、再構成されたフレーム）ＩＭＧ’’は、同じ３６０ＶＲ投影フォーマットを有する。
【００２６】
図５は、本発明の実施例によるビデオデコーダを示す図である。図１に示されるビデオデコーダ１２２は、図５に示されるビデオデコーダ５００を使用して実現されてもよい。ビデオデコーダ５００は、有線／無線通信リンク又は記憶媒体などの送信手段を介してビデオエンコーダ（例えば、図１に示されるビデオエンコーダ１１８）と通信してもよい。ビデオデコーダ５００は、圧縮されたイメージ／ビデオデータを伸張して伸張されたイメージ／ビデオデータを生成するために使用されるハードウェア回路である。この実施例において、ビデオデコーダ５００はビットストリームＢＳを受信し、受信したビットストリームＢＳをデコードして現在のデコードされたフレームＩＭＧ’’を生成する。図５に示されるように、ビデオデコーダ５００は、デコーディング回路５２０及び制御回路５３０を含む。図５に示されるビデオデコーダアーキテクチャは単に例示目的のものであり、本発明の限定であるようには意図されないことが留意されるべきである。例えば、デコーディング回路５２０のアーキテクチャは符号化標準に依存して変わってもよい。デコーディング回路５２０は、エントロピーデコーディング回路（例えば、可変長デコーダ）５０２、逆量子化回路（「ＩＱ」で表される）５０４、逆変換回路（「ＩＴ」で表される）５０６、再構成回路５０８、動きベクトル計算回路（「ＭＶ計算」で表される）５１０、動き補償回路（「ＭＣ」で表される）５１３、イントラ予測回路（「ＩＰ」で表される）５１４、イントラ／インターモード選択スイッチ５１６、少なくとも１つのループ内フィルタ５１８、及び参照フレームバッファ５２０を含む。デコーディング回路５２０で実現されるこれらの回路コンポーネントの基本的な機能及び動作は当業者によく知られているため、簡潔さのためにここでさらなる説明は省略される。
【００２７】
ビデオデコーダ５００と典型的なビデオエンコーダとの間の主な差は、エントロピーデコーディング回路５０２が、ビットストリームＢＳに対してデータ処理（例えば、シンタックス解析）を実行して、ビットストリームＢＳによりシグナリングされたシンタックス要素ＳＥを取得し、取得されたシンタックス要素ＳＥを制御回路５３０に出力するためにさらに使用されることである。ゆえに、現在の入力フレームＩＭＧから生成されたコンテンツ回転フレームＩＭＧ’に対応する現在のデコードされたフレームＩＭＧ’’に関して、制御回路５３０は、シンタックス要素ＳＥを参照して、現在の入力フレームＩＭＧに適用されたエンコーダ側のコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを決定することができる。
【００２８】
上述されたように、現在のデコードされたフレームＩＭＧ’’は、３６０ＶＲ投影フォーマットで表された、回転された３６０度イメージ／ビデオコンテンツを有する。この実施例において、ビットストリームＢＳから取得されたシンタックス要素ＳＥは、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示す。回転軸がエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義される第１の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転順序及び回転度数を含む。回転軸及び回転順序がエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義される第２の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転度数を含む。回転順序がエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義される第３の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転軸及び回転度数を含む。回転軸及び回転度数のいずれもエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義されない第４の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転軸、回転順序、及び回転度数を含む。
【００２９】
グラフィックレンダリング回路１２４は、現在のデコードされたフレームＩＭＧ’’と、回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒとに従って、出力イメージデータをディスプレイ画面１２６にレンダリングし、表示する。例えば、シグナリングされたシンタックス要素ＳＥから導出された回転情報ＩＮＦ＿Ｒに従って、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツが逆回転されてもよく、３６０ＶＲ投影フォーマットで表された逆回転された３６０度イメージ／ビデオコンテンツがレンダリング及び表示のために使用されてもよい。
【００３０】
本発明の技術的特徴のより良い理解のために、いくつかの例示的なシンタックスシグナリング方法が以下のとおり説明される。ビデオエンコーダ１１８／３００は、提案のシンタックスシグナリング方法のうち１つを採用して、３６０ＶＲ投影フォーマットで表された３６０度イメージ／ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示すシンタックス要素ＳＥをシグナリングしてもよく、ビデオデコーダ１２２／５００は、ビデオエンコーダ１１８／３００により採用された１つの提案のシンタックスシグナリング方法によりシグナリングされたシンタックス要素ＳＥを参照して、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを決定してもよい。
【００３１】
以下の例示的なシンタックステーブル内の記述子は、各シンタックス要素の解析処理を指定することが留意されるべきである。具体的に、シンタックス要素は、固定長符号化（例えば、ｆ（ｎ）、ｉ（ｎ）、又はｕ（ｎ））及び／又は可変長符号化（例えば、ｃｅ（ｖ）、ｓｅ（ｖ）、又はｕｅ（ｖ））により符号化できる。記述子ｆ（ｎ）は、左ビット最初で（左から右に）書かれたｎビットを使用する固定パターンビットストリングを記述する。記述子ｉ（ｎ）は、ｎビットを使用する符号付き整数（integer）を記述する。記述子ｕ（ｎ）は、ｎビットを使用する符号なし整数を記述する。記述子ｃｅ（ｖ）は、左ビット最初のコンテンツ適応的な可変長エントロピー符号化シンタックス要素を記述する。記述子ｓｅ（ｖ）は、左ビット最初の符号付き整数の指数ゴロム符号化（Exp-Golomb-coded）シンタックス要素を記述する。シンタックス要素ｕｅ（ｖ）は、左ビット最初の符号なし整数の指数ゴロム符号化シンタックス要素を記述する。
【００３２】
第１のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
【表１】
2019530296.tif 000005
【００３３】
第１のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、シーケンスレベルヘッダ内に示されてもよい。例えば、Ｈ．２６４及びＨ．２６５は、各スライスにより参照される複数のシーケンスパラメータセット（Sequence  Parameter  Set；ＳＰＳ）／ピクチャパラメータセット（Picture  Parameter  Set；ＰＰＳ）を有することができる。各スライスは、そのＰＰＳ／ＳＰＳ識別子（ＩＤ）に従って対応する符号化パラメータを取得することができる。ゆえに、コンテンツ方向づけ回転の回転情報は、各回転軸の回転度数をシグナリングすることにより、ＳＰＳ／ＰＰＳ又は付加拡張情報（Supplementary  Enhancement  Information；ＳＥＩ）内に示されてもよい。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、対応するＳＰＳ／ＰＰＳ  ＩＤ又はＳＥＩを参照することにより回転情報を取得することができる。
【００３４】
シンタックス要素zero_yaw_orientationは、ヨー軸（例えば、ｚ軸）に沿った回転があるか否かを示すように設定される。シンタックス要素zero_roll_orientationは、ロール軸（例えば、ｘ軸）に沿った回転があるか否かを示すように設定される。シンタックス要素zero_pitch_orientationは、ピッチ軸（例えば、ｙ軸）に沿った回転があるか否かを示すように設定される。ヨー軸に沿った回転があるとき（すなわち、!zero_yaw_orientation  ==  True）、シンタックス要素yaw_orientation_indexが、複数の事前定義されたインデックス値から選択されたインデックス値により設定され、事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる。例えば、インデックス値と回転度数との間のマッピングは、以下の表により定義されてもよい。
【表２】
2019530296.tif 000006
【００３５】
ヨー軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合（すなわち、yaw_orientation_index  ==  ‘111’）、ユーザ定義された回転度数が、シンタックス要素yaw_orientation_degreeを設定することによりシグナリングされる。
【００３６】
ロール軸に沿った回転があるとき（すなわち、!zero_roll_orientation  ==  True）、シンタックス要素roll_orientation_indexが、上記テーブルで列挙されたように事前定義されたインデックス値から選択されたインデックス値により設定される。ロール軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合（すなわち、roll_orientation_index  ==  ‘111’）、ユーザ定義された回転度数が、シンタックス要素roll_orientation_degreeを設定することによりシグナリングされる。
【００３７】
ピッチ軸に沿った回転があるとき（すなわち、!zero_pitch_orientation  ==  True）、シンタックス要素pitch_orientation_indexが、上記テーブルで列挙された事前定義されたインデックス値から選択されたインデックス値により設定される。ピッチ軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合（すなわち、pitch_orientation_index  ==  ‘111’）、ユーザ定義された回転度数が、シンタックス要素pitch_orientation_degreeを設定することによりシグナリングされる。
【００３８】
すべての可能なコンテンツ方向づけ回転を表すために、これら３つの軸の回転度数の範囲は、−１８０°から１８０°（すなわち０°〜３６０°）である必要はない。実際、回転範囲の１つが−９０°から９０°（すなわち０°〜１８０°）であり、他が−１８０°から１８０°（すなわち０°〜３６０°）であることで、コンテンツ方向づけ回転の表現に対して十分である。第１のシンタックスシグナリング方法において、回転角度は整数値であるように仮定される。ある回転順序（例えば、ヨー‐ロール‐ピッチ（ｚ‐ｘ‐ｙ））における第１の回転軸（例えば、ヨー軸又はｚ軸）及び第２の回転軸（例えば、ロール軸又はｘ軸）のユーザ定義された回転度数に関して、各々が、−１８０°から１８０°（すなわち０°〜３６０°）の範囲内の回転度数を示すように９ビットで設定される。しかしながら、この回転順序（例えば、ヨー‐ロール‐ピッチ（ｚ‐ｘ‐ｙ））における第３の回転軸（例えば、ピッチ軸又はｙ軸）のユーザ定義された回転度数に関して、ユーザ定義された回転度数の範囲は、−９０°から９０°（すなわち０°〜１８０°）のみである。ゆえに、８ビットで、第３の回転軸（例えば、ピッチ軸又はｙ軸）のユーザ定義された回転度数を表すのに十分である。
【００３９】
第２のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
【表３】
2019530296.tif 000007
【００４０】
第２のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、ある期間（time-duration）のビデオフレームにおけるシーケンスレベルヘッダ内に示されてもよい。例えば、オーディオビデオ符号化標準（Audio  Video  coding  Standard；ＡＶＳ）は、ある期間のビデオフレームに対して１つのＳＰＳを有する。同じ期間内のこれらビデオフレームは、同じシーケンスレベル符号化パラメータを有する。ゆえに、コンテンツ方向づけ回転の回転情報は、現在の期間のビデオフレームにおいて示されてもよく、次の期間のビデオフレームのために更新されてもよい。本発明のいくつかの実施例において、コンテンツ方向づけ回転の回転情報は、ある期間のビデオフレームにおけるＳＰＳ／ＰＰＳ又は付加拡張情報（ＳＥＩ）内に示されてもよい。別法として、第２のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、ピクチャレベルヘッダ内に示されてもよい。ゆえに、コンテンツ方向づけ回転の回転情報は、各ビデオフレームについてシグナリングされる。
【００４１】
シンタックス要素prev_orientationは、現在の入力フレームに適用されたコンテンツ方向づけ回転が少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転と同じであるか否かを示すように設定する。例えば、コンテンツ方向づけ回転の回転情報が、ある期間のビデオフレームにおけるシーケンスレベルヘッダ内に示される場合に関して、現在の入力フレームは、現在の期間のビデオフレームにおける第１のビデオフレームでもよく、少なくとも１つの前の入力フレームの各々は、現在の期間のビデオフレームが直ぐに続く前の期間のビデオフレームにおける１つのビデオフレームでもよい。別の例として、コンテンツ方向づけ回転の回転情報が、各ビデオフレームについてピクチャレベルヘッダ内に示される場合に関して、少なくとも１つの前の入力フレームと現在の入力フレームとは、２つの連続的なビデオフレームである。ゆえに、現在の期間のビデオフレームのコンテンツ方向づけ回転が前の期間のビデオフレームのものと同じであるとき、１ビットのシンタックス要素prev_orientationがシグナリングされて、回転角度情報を表すシンタックスビットを節約することができる。
【００４２】
現在の入力フレームに適用されたコンテンツ方向づけ回転が、少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転と異なるとき（すなわち、!prev_orientation  ==  True）、シンタックス要素zero_yaw_orientationが、ヨー軸（例えば、ｚ軸）に沿った回転があるか否かを示すように設定され、シンタックス要素zero_roll_orientationが、ロール軸（例えば、ｘ軸）に沿った回転があるか否かを示すように設定され、シンタックス要素zero_pitch_orientationが、ピッチ軸（例えば、ｙ軸）に沿った回転があるか否かを示すように設定される。
【００４３】
ヨー軸に沿った回転があるとき（すなわち、!zero_yaw_orientation  ==  True）、シンタックス要素yaw_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のヨー軸の回転度数差を示すように設定される。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、シンタックス要素yaw_orientation_diffによりシグナリングされた回転度数差を累算することにより、ヨー軸の回転度数を決定することができる。
【００４４】
ロール軸に沿った回転があるとき（すなわち、!zero_roll_orientation  ==  True）、シンタックス要素roll_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のロール軸の回転度数差を示すように設定される。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、シンタックス要素roll_orientation_diffによりシグナリングされた回転度数差を累算することにより、ロール軸の回転度数を決定することができる。
【００４５】
ピッチ軸に沿った回転があるとき（すなわち、!zero_pitch_orientation  ==  True）、シンタックス要素pitch_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のピッチ軸の回転度数差を示すように設定される。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、シンタックス要素pitch_orientation_diffによりシグナリングされた回転度数差を累算することにより、ピッチ軸の回転度数を決定することができる。
【００４６】
前述の第１のシンタックスシグナリング方法及び第２のシンタックスシグナリング方法の各々は、採用される３６０ＶＲ投影フォーマットに関らず、回転情報の統一されたシンタックスシグナリングを実行する。別法として、第１のシンタックスシグナリング方法及び第２のシンタックスシグナリング方法は、投影フォーマットベースのシンタックスシグナリング方法であるように変更されてもよい。すなわち、回転情報のシンタックスシグナリングは、採用された３６０ＶＲ投影フォーマットに依存することができる。
【００４７】
第３のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
【表４−１】
2019530296.tif 000008
【表４−２】
2019530296.tif 000009
【００４８】
第４のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
【表５−１】
2019530296.tif 000010
【表５−２】
2019530296.tif 000011
【００４９】
異なる３６０ＶＲ投影フォーマットは、異なる適切な回転次元を有し得る。例えば、ヨー回転だけで、キューブマップ投影フォーマットに対して十分であり得る。別の例として、ロール回転だけで、正距円筒的投影フォーマットに対して十分であり得る。ゆえに、３６０ＶＲ投影フォーマットがキューブマップ投影フォーマットであるとき、シンタックス要素vr_content_formatは‘1’で設定され、３６０ＶＲ投影フォーマットが正距円筒的投影フォーマットであるとき、シンタックス要素vr_content_formatは「3」で設定される。この例において、vr_content_format=1/3は、シンタックスシグナリングについて１次元の回転を有し、vr_content_format=2は、シンタックスシグナリングについて２次元の回転を有する。簡単に言うと、第３のシンタックスシグナル方法及び第４のシンタックスシグナリング方法の各々に関して、コンテンツ方向づけ回転の回転軸選択は、採用された３６０ＶＲ投影フォーマットに基づき設定されるシンタックス要素vr_content_formatに依存して変わる。当業者は、第１のシンタックスシグナル方法及び第２のシンタックスシグナリング方法に向けられた上記段落を読んだ後に第３のシンタックスシグナル方法及び第４のシンタックスシグナリング方法の詳細を容易に理解できるため、簡潔さのためにここでさらなる説明は省略される。
【００５０】
第５のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
【表６】
2019530296.tif 000012
【００５１】
１ビットのオン／オフフラグ（disable_content_orientation）が、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が有効にされているか否かを示すために使用される。現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が有効にされているとき、シンタックス要素disable_content_orientationは‘0’で設定される。現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が無効にされているとき、シンタックス要素disable_content_orientationは‘1’で設定される。現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が有効にされている場合において（すなわち、!disable_content_orientation  ==  True）、シンタックス要素roll_orientation_degreeは、ロール軸（例えば、ｘ軸）の回転度数を示すように設定され、シンタックス要素yaw_orientation_degreeは、ヨー軸（例えば、ｚ軸）の回転度数を示すように設定され、シンタックス要素pitch_orientation_degreeは、ピッチ軸（例えば、ｙ軸）の回転度数を示すように設定される。
【００５２】
第５のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、シーケンスレベルヘッダ内に示されてもよい。例えば、コンテンツ方向づけ回転の回転情報は、各回転軸の回転度数をシグナリングすることにより、ＳＰＳ／ＰＰＳ又は付加拡張情報（ＳＥＩ）内に示されてもよい。別法として、第５のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、各ビデオフレームについてピクチャレベルヘッダ内に示されてもよい。
【００５３】
当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。
【図１】
2019530296.tif 000013
【図２】
2019530296.tif 000014
【図３】
2019530296.tif 000015
【図４】
2019530296.tif 000016
【図５】
2019530296.tif 000017
【国際調査報告】
2019530296.tif 000018
2019530296.tif 000019