【手続補正書】
【提出日】令和1年8月7日(2019.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを符号化するための方法であって、
仮想現実ビデオデータを取得するステップであって、前記仮想現実ビデオデータが仮想環境の360度の視界を表現し、前記仮想現実ビデオデータが複数のフレームを含み、前記複数のフレームからの各フレームが対応する球面ビデオデータを含む、ステップと、
前記複数のフレームからのあるフレームのための前記球面ビデオデータを四角錐台の平面へとマッピングするステップであって、前記四角錐台の前記平面が、下底平面、上底平面、左側平面、右側平面、上側平面、および下側平面を含み、前記上底平面のサイズが前記下底平面のサイズより小さい、ステップとを備え、前記球面ビデオデータをマッピングするステップが、
前記球面ビデオデータの第1の部分を前記下底平面へと完全な解像度でマッピングするステップと、
前記球面ビデオデータの第2の部分を前記上底平面へと低減された解像度でマッピングするステップと、
前記球面ビデオデータの第3の部分を前記左側平面へと低下する解像度でマッピングするステップと、
前記球面ビデオデータの第4の部分を前記右側平面へと低下する解像度でマッピングするステップと、
前記球面ビデオデータの第5の部分を前記上側平面へと低下する解像度でマッピングするステップと、
前記球面ビデオデータの第6の部分を前記下側平面へと低下する解像度でマッピングするステップと
を備える、方法。
【請求項２】
前記球面ビデオデータを長方形のフォーマットへと詰めるステップをさらに備える、請求項1に記載の方法。
【請求項３】
前記球面ビデオデータをパッキング構造へと詰めるステップをさらに備え、前記詰めるステップが、
第1のデータブロックの中の前記第2の部分の周りに、前記球面ビデオデータの前記第3の部分、前記第4の部分、前記第5の部分、および前記第6の部分を詰めるステップと、
第1の部分を第2のデータブロックへと詰めるステップと、
前記第1のデータブロックおよび前記第2のデータブロックを前記パッキング構造へと詰めるステップであって、前記第1のデータブロックが前記パッキング構造において前記第2のデータブロックの隣に配置される、ステップと
を含む、請求項1に記載の方法。
【請求項４】
前記球面ビデオデータをパッキング構造へと詰めるステップをさらに備え、前記詰めるステップが、
第1のデータブロックの中の前記第2の部分の第1の半分の周りに、前記球面ビデオデータの前記第5の部分の第1の半分、前記第6の部分の第1の半分、および前記第3の部分を詰めるステップと、
第2のデータブロックの中の前記第2の部分の第2の半分の周りに、前記球面ビデオデータの前記第5の部分の第2の半分、前記第6の部分の第2の半分、および前記第4の部分を詰めるステップと、
前記球面ビデオデータの前記第1の部分を第3のデータブロックへと詰めるステップと、
前記第1のデータブロック、前記第2のデータブロック、および前記第3のデータブロックを前記パッキング構造へと詰めるステップであって、前記第1のデータブロックおよび前記第2のデータブロックが前記パッキング構造において前記第3のデータブロックの隣に配置される、ステップと
を含む、請求項1に記載の方法。
【請求項５】
前記複数のフレームからの第1のフレームを送信するステップであって、前記第1のフレームのためのビデオデータが第1の四角錐台の平面にマッピングされる、ステップと、
前記複数のフレームからの第2のフレームを送信するステップであって、前記第2のフレームのためのビデオデータが第2の四角錐台の平面にマッピングされ、前記第2の四角錐台が前記第1の四角錐台に対して回転されている、ステップとをさらに備える、請求項1に記載の方法。
【請求項６】
前記四角錐台がさらに、前記左側平面に隣接した長方形の左側平面、前記右側平面に隣接した長方形の右側平面、前記上側平面に隣接した長方形の上側平面、および前記下底平面に隣接した長方形の下底平面を含み、前記球面ビデオデータをマッピングするステップがさらに、
前記球面ビデオデータの第7の部分を前記長方形の左側平面へと完全な解像度でマッピングするステップと、
前記球面ビデオデータの第8の部分を前記長方形の右側平面へと完全な解像度でマッピングするステップと、
前記球面ビデオデータの第9の部分を前記長方形の上側平面へと完全な解像度でマッピングするステップと、
前記球面ビデオデータの第10の部分を前記長方形の下側平面へと完全な解像度でマッピングするステップと
を含む、請求項1に記載の方法。
【請求項７】
前記四角錐台の幾何学的形状タイプを定義するステップであって、前記幾何学的形状タイプが、前記球面ビデオデータをファイルフォーマットにマッピングするための幾何学的形状を特定する、ステップと、
前記四角錐台の高さを定義するステップと、
前記四角錐台の背幅を定義するステップであって、前記背幅が前記上底平面と関連付けられる、ステップと、
前記四角錐台の背高を定義するステップであって、前記背高が前記上底平面と関連付けられる、ステップとをさらに備える、請求項1に記載の方法。
【請求項８】
前記四角錐台の仮想現実(VR)マッピングタイプを定義するステップをさらに備え、前記VRマッピングタイプが前記球面ビデオデータを長方形のフォーマットにマッピングするためのマッピングタイプを示し、前記四角錐台の前記VRマッピングタイプがビデオ情報ボックスと関連付けられる、請求項1に記載の方法。
【請求項９】
ビデオデータを符号化するためのデバイスであって、
ビデオデータを記憶するように構成されるメモリと、
前記メモリと通信しているビデオ符号化デバイスとを備え、前記ビデオ符号化デバイスが、
仮想現実ビデオデータを取得することであって、前記仮想現実ビデオデータが仮想環境の360度の視界を表現し、前記仮想現実ビデオデータが複数のフレームを含み、前記複数のフレームからの各フレームが対応する球面ビデオデータを含む、取得することと、
前記複数のフレームからのあるフレームのための前記球面ビデオデータを四角錐台の平面へとマッピングすることであって、前記四角錐台の前記平面が、下底平面、上底平面、左側平面、右側平面、上側平面、および下側平面を含み、前記上底平面のサイズが前記下底平面のサイズより小さい、マッピングすることと
を行うように構成され、前記球面ビデオデータをマッピングすることが、
前記球面ビデオデータの第1の部分を前記下底平面へと完全な解像度でマッピングすることと、
前記球面ビデオデータの第2の部分を前記上底平面へと低減された解像度でマッピングすることと、
前記球面ビデオデータの第3の部分を前記左側平面へと低下する解像度でマッピングすることと、
前記球面ビデオデータの第4の部分を前記右側平面へと低下する解像度でマッピングすることと、
前記球面ビデオデータの第5の部分を前記上側平面へと低下する解像度でマッピングすることと、
前記球面ビデオデータの第6の部分を前記下側平面へと低下する解像度でマッピングすることと
を含む、デバイス。
【請求項１０】
前記ビデオ符号化デバイスがさらに、
前記球面ビデオデータを長方形のフォーマットへと詰めるように構成される、請求項9に記載のデバイス。
【請求項１１】
前記ビデオ符号化デバイスがさらに、前記球面ビデオデータをパッキング構造へと詰めるように構成され、前記詰めることが、
第1のデータブロックの中の前記第2の部分の周りに、前記球面ビデオデータの前記第3の部分、前記第4の部分、前記第5の部分、および前記第6の部分を詰めることと、
第1の部分を第2のデータブロックへと詰めることと、
前記第1のデータブロックおよび前記第2のデータブロックを前記パッキング構造へと詰めることであって、前記第1のデータブロックが前記パッキング構造において前記第2のデータブロックの隣に配置される、詰めることと
を含む、請求項9に記載のデバイス。
【請求項１２】
前記ビデオ符号化デバイスがさらに、前記球面ビデオデータをパッキング構造へと詰めるように構成され、前記詰めることが、
第1のデータブロックの中の前記第2の部分の第1の半分の周りに、前記球面ビデオデータの前記第5の部分の第1の半分、前記第6の部分の第1の半分、および前記第3の部分を詰めることと、
第2のデータブロックの中の前記第2の部分の第2の半分の周りに、前記球面ビデオデータの前記第5の部分の第2の半分、前記第6の部分の第2の半分、および前記第4の部分を詰めることと、
前記球面ビデオデータの前記第1の部分を第3のデータブロックへと詰めることと、
前記第1のデータブロック、前記第2のデータブロック、および前記第3のデータブロックを前記パッキング構造へと詰めることであって、前記第1のデータブロックおよび前記第2のデータブロックが前記パッキング構造において前記第3のデータブロックの隣に配置される、詰めることと
を含む、請求項9に記載のデバイス。
【請求項１３】
前記ビデオ符号化デバイスがさらに、
前記複数のフレームから第1のフレームを送信することであって、前記第1のフレームのためのビデオデータが第1の四角錐台の平面にマッピングされる、送信することと、
前記複数のフレームから第2のフレームを送信することであって、前記第2のフレームのためのビデオデータが第2の四角錐台の平面にマッピングされ、前記第2の四角錐台が前記第1の四角錐台に対して回転されている、送信することと
を行うように構成される、請求項9に記載のデバイス。
【請求項１４】
前記四角錐台がさらに、前記左側平面に隣接した長方形の左側平面、前記右側平面に隣接した長方形の右側平面、前記上側平面に隣接した長方形の上側平面、および前記下底平面に隣接した長方形の下底平面を含み、前記球面ビデオデータをマッピングすることが、
前記球面ビデオデータの第7の部分を前記長方形の左側平面へと完全な解像度でマッピングすることと、
前記球面ビデオデータの第8の部分を前記長方形の右側平面へと完全な解像度でマッピングすることと、
前記球面ビデオデータの第9の部分を前記長方形の上側平面へと完全な解像度でマッピングすることと、
前記球面ビデオデータの第10の部分を前記長方形の下側平面へと完全な解像度でマッピングすることと
を含む、請求項9に記載のデバイス。
【請求項１５】
前記フレームのための前記球面ビデオデータを前記四角錐台の前記平面へとマッピングすることが、
前記球面ビデオデータからビデオデータを選択することと、
前記四角錐台の前記平面からの対応する平面上での前記選択されたビデオデータの場所を特定することとを含む、請求項9に記載のデバイス。
【請求項１６】
前記フレームのための前記球面ビデオデータを前記四角錐台の前記平面へとマッピングすることが、
前記球面ビデオデータからビデオデータを選択することと、
前記選択されたビデオデータをダウンサンプリングすることと、
前記四角錐台の前記平面からの対応する平面上での前記ダウンサンプリングされたビデオデータの場所を特定することとを含む、請求項9に記載のデバイス。
【請求項１７】
前記ビデオ符号化デバイスがさらに、
前記四角錐台の幾何学的形状タイプを定義することであって、前記幾何学的形状タイプが、前記球面ビデオデータをファイルフォーマットにマッピングするための幾何学的形状を特定する、定義することと、
前記四角錐台の高さを定義することと、
前記四角錐台の背幅を定義することであって、前記背幅が前記上底平面と関連付けられる、定義することと、
前記四角錐台の背高を定義することであって、前記背高が前記上底平面と関連付けられる、定義することと
を行うように構成される、請求項9に記載のデバイス。
【請求項１８】
前記ビデオ符号化デバイスがさらに、
表面識別子を定義することであって、前記表面識別子が前記四角錐台の平面を識別する、定義することと、
前記四角錐台の平面の各々の左上水平座標を定義するであって、前記左上水平座標がパッキング構造内での前記平面の左上の角の水平位置を示し、前記パッキング構造が前記球面ビデオデータを前記ファイルフォーマットにマッピングするために使用される、定義することと、
前記四角錐台の各平面の左上垂直座標を定義することであって、前記左上垂直座標が前記パッキング構造内での前記平面の前記左上の角の垂直座標を示す、定義することと、
前記四角錐台の各平面のエリア幅を定義することであって、前記エリア幅が前記平面の幅と関連付けられる、定義することと、
前記四角錐台の各平面のエリア高さを定義することであって、前記エリア高さが前記平面の高さと関連付けられる、定義することと
を行うように構成される、請求項17に記載のデバイス。
【請求項１９】
前記ビデオ符号化デバイスがさらに、
前記四角錐台の仮想現実(VR)マッピングタイプを定義するように構成され、前記VRマッピングタイプが前記球面ビデオデータを長方形のフォーマットにマッピングするためのマッピングタイプを示し、前記四角錐台の前記VRマッピングタイプがビデオ情報ボックスと関連付けられる、請求項9に記載のデバイス。
【請求項２０】
前記ビデオ情報ボックスが、
前記四角錐台の深さを示す深さと、
前記上底平面の幅を示す背幅と、
前記上底平面の高さを示す背高と、
前記四角錐台の前記平面からのある平面を識別する領域識別子と、
前記球面ビデオデータの中心画素がレンダリングされる点の座標のピッチ角を示す中心ピッチと、
前記球面ビデオデータの前記中心画素がレンダリングされる前記点の前記座標のヨー角を示す中心ヨーと、
前記球面ビデオデータの前記中心画素がレンダリングされる前記点の前記座標の前記ピッチ角のオフセット値を示す中心ピッチオフセットと、
前記球面ビデオデータの前記中心画素がレンダリングされる前記点の前記座標の前記ヨー角のオフセット値を示す中心ヨーオフセットと、
前記平面の左上の角の水平座標を示す左上水平座標と、
前記平面の前記左上の角の垂直座標を示す左上垂直座標と、
前記平面の幅を示す領域幅と、
前記平面の高さを示す領域高とを含む、請求項19に記載のデバイス。
【請求項２１】
ビデオデータを復号するための方法であって、
仮想現実ビデオデータのフレームを取得するステップであって、前記仮想現実ビデオデータが仮想環境の360度の視界を表現し、前記フレームが長方形のフォーマットを有する、ステップと、
前記フレームのフレームパッキング構造を特定するステップであって、前記フレームパッキング構造が前記フレームの中でのビデオデータの場所を与え、前記フレームパッキング構造が四角錐台の平面を含み、前記四角錐台の前記平面が、下底平面、上底平面、左側平面、右側平面、上側平面、および下側平面を含み、前記上底平面のサイズが前記下底平面のサイズより小さい、ステップと、
前記フレームパッキング構造を使用して前記フレームを表示するステップとを備える、方法。
【請求項２２】
前記フレームパッキング構造がさらに、前記左側平面に隣接した長方形の左側平面、前記右側平面に隣接した長方形の右側平面、前記上側平面に隣接した長方形の上側平面、および前記下底平面に隣接した長方形の下底平面を含む、請求項21に記載の方法。
【請求項２３】
前記フレームの幾何学的形状タイプを決定するステップであって、前記幾何学的形状タイプが、前記仮想現実ビデオデータをファイルフォーマットにマッピングするための幾何学的形状を特定する、ステップと、
前記幾何学的形状タイプに基づいて、前記四角錐台から高さを決定するステップと、
前記幾何学的形状タイプを使用して前記四角錐台の背幅を決定するステップであって、前記背幅が前記上底平面と関連付けられる、ステップと、
前記幾何学的形状タイプを使用して前記四角錐台の背高を決定するステップであって、前記背高が前記上底平面と関連付けられる、ステップとをさらに備える、請求項21に記載の方法。
【請求項２４】
仮想現実(VR)マッピングタイプを特定するステップをさらに備え、前記VRマッピングタイプが前記仮想現実ビデオデータを長方形のフォーマットにマッピングするためのマッピングタイプを示し、前記VRマッピングタイプが前記四角錐台を特定し、前記VRマッピングタイプがビデオ情報ボックスと関連付けられる、請求項21に記載の方法。
【請求項２５】
ビデオデータを復号するためのデバイスであって、
前記ビデオデータを記憶するように構成されるメモリと、
前記メモリと通信しているビデオ復号デバイスとを備え、前記ビデオ復号デバイスが、
仮想現実ビデオデータのフレームを取得することであって、前記仮想現実ビデオデータが仮想環境の360度の視界を表現し、前記フレームが長方形のフォーマットを有する、取得することと、
前記フレームのフレームパッキング構造を特定することであって、前記フレームパッキング構造が前記フレームの中でのビデオデータの場所を与え、前記フレームパッキング構造が四角錐台の平面を含み、前記四角錐台の前記平面が、下底平面、上底平面、左側平面、右側平面、上側平面、および下側平面を含み、前記上底平面のサイズが前記下底平面のサイズより小さい、特定することと、
前記フレームパッキング構造を使用して前記フレームを表示することと
を行うように構成される、デバイス。
【請求項２６】
前記フレームを表示することが、
前記フレームの中の前記ビデオデータの第1の部分を前の視界として提供することであって、前記ビデオデータの前記第1の部分が前記下底平面に対応し、前記ビデオデータの前記第1の部分が完全な解像度にある、提供することと、
前記フレームの中の前記ビデオデータの第2の部分を後ろの視界として提供することであって、前記ビデオデータの前記第2の部分が前記上底平面に対応し、前記ビデオデータの前記第2の部分が低減された解像度にある、提供することと、
前記フレームの中の前記ビデオデータの第3の部分を左の視界として提供することであって、前記ビデオデータの前記第3の部分が前記左側平面に対応し、前記ビデオデータの前記第3の部分が低下する解像度にある、提供することと、
前記フレームの中の前記ビデオデータの第4の部分を右の視界として提供することであって、前記ビデオデータの前記第4の部分が前記右側平面に対応し、前記ビデオデータの前記第4の部分が低下する解像度にある、提供することと、
前記フレームの中の前記ビデオデータの第5の部分を上の視界として提供することであって、前記ビデオデータの前記第5の部分が前記上側平面に対応し、前記ビデオデータの前記第5の部分が低下する解像度にある、提供することと、
前記フレームの中の前記ビデオデータの第6の部分を下の視界として提供することであって、前記ビデオデータの前記第6の部分が前記下側平面に対応し、前記ビデオデータの前記第6の部分が低下する解像度にある、提供することと含む、請求項25に記載のデバイス。
【請求項２７】
前記ビデオ復号デバイスがさらに、
仮想現実ビデオデータの第2のフレームを受信することであって、前記第2のフレームが前記フレームに対して回転されている、受信することと、
前記フレームパッキング構造を使用して前記第2のフレームを表示することとを行うように構成される、請求項25に記載のデバイス。
【請求項２８】
前記フレームパッキング構造がさらに、前記左側平面に隣接した長方形の左側平面、前記右側平面に隣接した長方形の右側平面、前記上側平面に隣接した長方形の上側平面、および前記下底平面に隣接した長方形の下底平面を含む、請求項25に記載のデバイス。
【請求項２９】
前記復号デバイスがさらに、
前記フレームの幾何学的形状タイプを決定することであって、前記幾何学的形状タイプが、前記仮想現実ビデオデータをファイルフォーマットにマッピングするための幾何学的形状を特定する、決定することと、
前記幾何学的形状タイプに基づいて、前記四角錐台から高さを決定することと、
前記幾何学的形状タイプを使用して前記四角錐台の背幅を決定することであって、前記背幅が前記上底平面と関連付けられる、決定することと、
前記幾何学的形状タイプを使用して前記四角錐台の背高を決定することであって、前記背高が前記上底平面と関連付けられる、決定することと
を行うように構成される、請求項25に記載のデバイス。
【請求項３０】
前記復号デバイスがさらに、
仮想現実(VR)マッピングタイプを特定するように構成され、前記VRマッピングタイプが前記仮想現実ビデオデータを長方形のフォーマットにマッピングするためのマッピングタイプを示し、前記VRマッピングタイプが前記四角錐台を特定し、前記VRマッピングタイプがビデオ情報ボックスと関連付けられる、請求項25に記載のデバイス。