【手続補正書】
【提出日】令和3年7月15日(2021.7.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
圧縮された画像を生成するための、コンピュータによって実施される方法であって、前記方法は、
３次元の画像を表す多平面画像（ＭＰＩ：multi-plane image）を識別することを含み
、前記ＭＰＩは複数の正対する平面を含み、
前記方法は、さらに、
複数のサブボリュームに前記ＭＰＩを分割することを含み、前記複数のサブボリュームにおける各前記サブボリュームは、前記複数の正対する平面のサブセットを含み、
前記方法は、さらに、
前記ＭＰＩの各前記サブボリュームに対して深度マップを算出することと、
各前記深度マップをメッシュに変換することとを含み、各前記メッシュは、レンダリングされる多深度画像（ＭＤＩ：multi-depth image）に関連付けられた複数のレイヤーのうちのレイヤーに対応し、
前記方法は、さらに、
前記複数のレイヤーの各前記レイヤーに対して、ＲＧＢＡ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ−Ａｌｐｈａ）テクスチャ値を算出することと、
前記ＭＤＩの前記複数のレイヤーに対応する前記メッシュ、および、前記ＭＤＩの前記複数のレイヤーに対応する前記画像を、前記ＭＤＩとして格納することと
を含む、方法。
【請求項２】
前記複数の正対する平面の各々は、前記複数の正対する平面の各ピクセルの色および透過度を示す画像に関連付けられ、および／または、
各前記深度マップは、前記ＭＤＩの前記対応するレイヤーに含まれる、前記ＭＤＩの各ボクセルの位置ならびに深度を示し、前記ＭＤＩに関連付けられた前記複数のレイヤーにおけるレイヤーの数は、前記ＭＰＩに関連付けられた前記複数の正対する平面に含まれる正対する平面の数よりも小さく、および／または、
ユーザー装置から前記３次元の画像に対する要求を受信することに応答して前記ユーザー装置に前記ＭＤＩを伝達し、前記ユーザー装置は、前記ＭＤＩの各前記レイヤーに対して、当該レイヤーに対応する前記メッシュ上に、テクスチャとしての、当該レイヤーに対応する前記画像をマッピングすることにより前記ＭＤＩをレンダリングするように構成されている、請求項１に記載の方法。
【請求項３】
ＭＰＩ画像のシーケンスに対応する、ＭＤＩ画像のシーケンスを生成することをさらに含み、ＭＰＩ画像の前記シーケンスは、３次元の動画コンテンツに対応する、請求項１または請求項２に記載の方法。
【請求項４】
前記複数のサブボリュームに前記ＭＰＩを分割することは、前記複数のサブボリュームを用いて前記ＭＤＩをレンダリングすることにより生成されるレンダリング誤差を最小化することにより、前記複数のサブボリュームを生成する複数のカットを最適化することを含む、請求項１〜請求項３のいずれか１項に記載の方法。
【請求項５】
前記レンダリング誤差は、前記複数のカットのうちのカットを用いて前記ＭＤＩをレンダリングすることから結果として生ずる深度における誤差を示す単一項を含み、または、
前記レンダリング誤差は、前記複数のカットのうちのカットの平滑度を示す平滑度項を含み、前記平滑度は、当該カットに対応する前記サブボリュームに含まれるボクセルにわたる平滑度を含む、請求項４に記載の方法。
【請求項６】
前記複数のサブボリュームに前記ＭＰＩを分割することは、前記複数のサブボリュームを生成する複数のカットを識別するために、訓練されたニューラルネットワークを用いることを含む、請求項１〜請求項５のいずれか１項に記載の方法。
【請求項７】
前記ＭＤＩの各前記レイヤーに対応する各前記メッシュは、三角形のメッシュである、請求項１〜請求項６のいずれか１項に記載の方法。
【請求項８】
圧縮された画像を生成するためのシステムであって、前記システムは、
ハードウェアプロセッサを備え、前記ハードウェアプロセッサは、
３次元の画像を表す多平面画像（ＭＰＩ）を識別するように構成されており、前記ＭＰＩは複数の正対する平面を含み、
前記ハードウェアプロセッサは、さらに、
複数のサブボリュームに前記ＭＰＩを分割するように構成されており、前記複数のサブボリュームにおける各前記サブボリュームは、前記複数の正対する平面のサブセットを含み、
前記ハードウェアプロセッサは、さらに、
前記ＭＰＩの各前記サブボリュームに対して深度マップを算出し、
各前記深度マップをメッシュに変換するように構成されており、各前記メッシュは、レンダリングされる多深度画像（ＭＤＩ）に関連付けられた複数のレイヤーのうちのレイヤーに対応し、
前記ハードウェアプロセッサは、さらに、
前記複数のレイヤーの各前記レイヤーに対して、ＲＧＢＡ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ−Ａｌｐｈａ）テクスチャ値を算出し、
前記ＭＤＩの前記複数のレイヤーに対応する前記メッシュと、前記ＭＤＩの前記複数のレイヤーに対応する前記画像とを前記ＭＤＩとして格納するように構成される、システム。
【請求項９】
前記複数の正対する平面の各々は、前記複数の正対する平面の各ピクセルの色および透過度を示す画像に関連付けられ、および／または、
各前記深度マップは、前記ＭＤＩの前記対応するレイヤーに含まれる、前記ＭＤＩの各ボクセルの位置ならびに深度を示し、前記ＭＤＩに関連付けられた前記複数のレイヤーにおけるレイヤーの数は、前記ＭＰＩに関連付けられた前記複数の正対する平面に含まれる正対する平面の数よりも小さく、および／または、
ユーザー装置から前記３次元の画像に対する要求を受信することに応答して前記ユーザー装置に前記ＭＤＩを伝達し、前記ユーザー装置は、前記ＭＤＩの各前記レイヤーに対して、当該レイヤーに対応する前記メッシュ上に、テクスチャとしての、当該レイヤーに対応する前記画像をマッピングすることにより前記ＭＤＩをレンダリングするように構成されている、請求項８に記載のシステム。
【請求項１０】
前記ハードウェアプロセッサは、ＭＰＩ画像のシーケンスに対応する、ＭＤＩ画像のシーケンスを生成するようにさらに構成されており、ＭＰＩ画像の前記シーケンスは、３次元の動画コンテンツに対応する、請求項８または請求項９に記載のシステム。
【請求項１１】
前記複数のサブボリュームに前記ＭＰＩを分割することは、前記複数のサブボリュームを用いて前記ＭＤＩをレンダリングすることにより生成されるレンダリング誤差を最小化することにより、前記複数のサブボリュームを生成する複数のカットを最適化することを含む、請求項８〜請求項１０のいずれか１項に記載のシステム。
【請求項１２】
前記レンダリング誤差は、前記複数のカットのうちのカットを用いて前記ＭＤＩをレンダリングすることから結果として生ずる深度における誤差を示す単一項を含み、または、
前記レンダリング誤差は、前記複数のカットのうちのカットの平滑度を示す平滑度項を含み、前記平滑度は、当該カットに対応する前記サブボリュームに含まれるボクセルにわたる平滑度を含む、請求項１１に記載のシステム。
【請求項１３】
前記複数のサブボリュームに前記ＭＰＩを分割することは、前記複数のサブボリュームを生成する複数のカットを識別するために、訓練されたニューラルネットワークを用いることを含む、請求項８〜請求項１２のいずれか１項に記載のシステム。
【請求項１４】
前記ＭＤＩの各前記レイヤーに対応する各前記メッシュは、三角形のメッシュである、請求項８〜請求項１３のいずれか１項に記載のシステム。
【請求項１５】
コンピュータ実行可能な命令を含むプログラムであって、前記命令は、プロセッサにより実行されると、前記プロセッサに、圧縮された画像を生成するための方法を行わせ、前記方法は、
３次元の画像を表す多平面画像（ＭＰＩ）を識別することを含み、前記ＭＰＩは複数の正対する平面を含み、
前記方法は、さらに、
複数のサブボリュームに前記ＭＰＩを分割することを含み、前記複数のサブボリュームにおける各前記サブボリュームは、前記複数の正対する平面のサブセットを含み、
前記方法は、さらに、
前記ＭＰＩの各前記サブボリュームに対して深度マップを算出することと、
各前記深度マップをメッシュに変換することとを含み、各前記メッシュは、レンダリングされる多深度画像（ＭＤＩ）に関連付けられた複数のレイヤーのうちのレイヤーに対応し、
前記方法は、さらに、
前記複数のレイヤーの各前記レイヤーに対して、当該レイヤーに含まれる各ボクセルの色および透過度を示す画像を算出することと、
前記ＭＤＩの前記複数のレイヤーに対応する前記メッシュ、および、前記ＭＤＩの前記複数のレイヤーに対応する前記画像を、前記ＭＤＩとして格納することとを含む、プログラム。
【請求項１６】
前記方法は、ＭＰＩ画像のシーケンスに対応する、ＭＤＩ画像のシーケンスを生成することをさらに含み、ＭＰＩ画像の前記シーケンスは、３次元の動画コンテンツに対応する、請求項１５に記載のプログラム。
【請求項１７】
前記複数のサブボリュームに前記ＭＰＩを分割することは、前記複数のサブボリュームを用いて前記ＭＤＩをレンダリングすることにより生成されるレンダリング誤差を最小化することにより、前記複数のサブボリュームを生成する複数のカットを最適化することを含む、請求項１５または請求項１６に記載のプログラム。
【請求項１８】
前記レンダリング誤差は、前記複数のカットのうちのカットを用いて前記ＭＤＩをレンダリングすることから結果として生ずる深度における誤差を示す単一項を含む、請求項１７に記載のプログラム。
【請求項１９】
前記レンダリング誤差は、前記複数のカットのうちのカットの平滑度を示す平滑度項を含み、前記平滑度は、当該カットに対応する前記サブボリュームに含まれるボクセルにわたる平滑度を含む、請求項１７に記載のプログラム。
【請求項２０】
前記複数のサブボリュームに前記ＭＰＩを分割することは、前記複数のサブボリュームを生成する複数のカットを識別するために、訓練されたニューラルネットワークを用いることを含む、請求項１５〜請求項１９のいずれか１項に記載のプログラム。
【請求項２１】
前記ＭＤＩの各前記レイヤーに対応する各前記メッシュは、三角形のメッシュである、請求項１５〜請求項２０のいずれか１項に記載のプログラム。