(57)【要約】  仮想深度を用いて３Ｄ相互環境を生成するための機器、システム、方法が以下に記載される。即ち、この方法は、前記メディアファイルに関する深度データであって、複数の前記フレームのそれぞれに対応する前記深度データを受信する工程と、前記深度データに基づいて、前記メディアファイルの第１フレームについて、不可視の３次元（３Ｄ）フレームワークを作成する工程と、予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、を含む。【選択図】図２
2019527899.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを含む、予めレンダリングされたメディアファイルを受信する工程と、
前記メディアファイルに関する深度データであって、複数の前記フレームのそれぞれに対応する前記深度データを受信する工程と、
前記深度データに基づいて、前記メディアファイルの第１フレームについて、不可視の３次元（３Ｄ）フレームワークを作成する工程と、
予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記深度データは、カメラ視点情報とカメラ動き情報とを含むことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、
前記深度データは、レンダリングモジュールからストリーミングデータファイルとして受信されることを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、
レンダリングモジュールから受信した前記メディアファイルに基づいて、更なるフレームが使用可能であることを特定する工程と、
レンダリングモジュールから、更なるフレームのための更なる前記深度データを受信する工程と、
当該深度データに基づいて、前記メディアファイル内の更なるフレームの更なる不可視の３次元のフレームワークを作成する工程と、
を更に含むことを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、
仮想的かつ可視の３Ｄオブジェクトのレンダリングは、前記メディアファイルの対応する前記深度データに基づいて行われることを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、
前記メディアファイルに関する更なる情報を受信する工程であって、当該更なる情報は、照明データ、動画データ、視覚効果データ、及びフレームパラメータの少なくとも１つを含む工程と、
当該更なる情報に基づいて、１又は複数の仮想的かつ可視の３Ｄオブジェクトのレンダリングを調整する工程と、
を更に含むことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、
新たな第１フレームのリアルタイムでのレンダリングには、不可視の３Ｄフレームワークを、予めレンダリングされた第１フレーム内の予めレンダリングされた１又は複数のオブジェクトに合わせる処理が含まれることを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、
新たな第１ファイルに含まれるとともに１又は複数の仮想的かつ可視の３Ｄオブジェクトの少なくとも一部を、不可視の３Ｄフレームワークに基づいて非表示にする工程を更に含むことを特徴とする方法。
【請求項９】
コンピュータによって読取可能である非一時的な記憶媒体であって、当該記憶媒体には実行可能なプログラムが記憶されており、当該プログラムによってプロセッサが実行する動作には、
複数のフレームを含む、予めレンダリングされたメディアファイルを受信する工程と、
前記メディアファイルに関する深度データであって、複数の前記フレームのそれぞれに対応する前記深度データを受信する工程と、
前記深度データに基づいて、前記メディアファイルの第１フレームについて、不可視の３次元（３Ｄ）フレームワークを作成する工程と、
予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、
が含まれることを特徴とする記憶媒体。
【請求項１０】
請求項９に記載のコンピュータによって読取可能な記憶媒体であって、
前記深度データは、カメラ視点情報とカメラ動き情報とを含むことを特徴とする記憶媒体。
【請求項１１】
請求項９に記載のコンピュータによって読取可能な記憶媒体であって、
前記動作には、
レンダリングモジュールから受信した前記メディアファイルに基づいて、更なるフレームが使用可能であることを特定する工程と、
レンダリングモジュールから、更なるフレームのための更なる前記深度データを受信する工程と、
当該深度データに基づいて、前記メディアファイル内の更なるフレームの更なる不可視の３次元のフレームワークを作成する工程と、
が更に含まれることを特徴とする記憶媒体。
【請求項１２】
請求項９に記載のコンピュータによって読取可能な記憶媒体であって、
仮想的かつ可視の３Ｄオブジェクトのレンダリングは、前記メディアファイルの対応する前記深度データに基づいて行われることを特徴とする記憶媒体。
【請求項１３】
請求項９に記載のコンピュータによって読取可能な記憶媒体であって、
前記動作には、前記メディアファイルに関する更なる情報を受信する工程が更に含まれ、当該工程における当該更なる情報は、照明データ、動画データ、視覚効果データ、及びフレームパラメータの少なくとも１つを含むことを特徴とする記憶媒体。
【請求項１４】
請求項９に記載のコンピュータによって読取可能な記憶媒体であって、
新たな第１フレームのリアルタイムでのレンダリングには、不可視の３Ｄフレームワークを、予めレンダリングされた第１フレーム内の予めレンダリングされた１又は複数のオブジェクトに合わせる処理が含まれることを特徴とする記憶媒体。
【請求項１５】
請求項９に記載のコンピュータによって読取可能な記憶媒体であって、
前記動作には、新たな第１ファイルに含まれるとともに１又は複数の仮想的かつ可視の３Ｄオブジェクトの少なくとも一部を、不可視の３Ｄフレームワークに基づいて非表示にする工程が更に含まれることを特徴とする記憶媒体。
【請求項１６】
複数の命令を記憶するメモリと、
前記メモリと協働して動作を実行するプロセッサと、
を備え、
前記動作には、
複数のフレームを含む、予めレンダリングされたメディアファイルを受信する工程と、
前記メディアファイルに関する深度データであって、複数の前記フレームのそれぞれに対応する前記深度データを受信する工程と、
前記深度データに基づいて、前記メディアファイルの第１フレームについて、不可視の３次元（３Ｄ）フレームワークを作成する工程と、
予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、
が含まれることを特徴とするシステム。
【請求項１７】
請求項１６に記載のシステムであって、
前記プロセッサは、
レンダリングモジュールから受信した前記メディアファイルに基づいて、更なるフレームが使用可能であることを特定する工程と、
レンダリングモジュールから、更なるフレームのための更なる前記深度データを受信する工程と、
当該深度データに基づいて、前記メディアファイル内の更なるフレームの更なる不可視の３次元のフレームワークを作成する工程と、
を更に行うように構成されていることを特徴とするシステム。
【請求項１８】
請求項１６に記載のシステムであって、
仮想的かつ可視の３Ｄオブジェクトのレンダリングは、前記メディアファイルの対応する前記深度データに基づいて行われることを特徴とするシステム。
【請求項１９】
請求項１６に記載のシステムであって、
新たな第１フレームのリアルタイムでのレンダリングには、不可視の３Ｄフレームワークを、予めレンダリングされた第１フレーム内の予めレンダリングされた１又は複数のオブジェクトに合わせる処理が含まれることを特徴とするシステム。
【請求項２０】
請求項１６に記載のシステムであって、
前記プロセッサは、新たな第１ファイルに含まれるとともに１又は複数の仮想的かつ可視の３Ｄオブジェクトの少なくとも一部を、不可視の３Ｄフレームワークに基づいて非表示にする工程を更に行うように構成されていることを特徴とするシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
３次元（「３Ｄ」）コンピュータグラフィックスは、形状データの３Ｄ表現を作成するために用いられるグラフィックスであり、計算を実行して２Ｄ画像をレンダリングする目的でコンピュータに記憶されている。そのため、そのような画像は、後で見るために記憶されるか、又はリアルタイムで表示され得る。３Ｄコンピュータグラフィックスは、ワイヤフレームモデルにおいては、ベクター形式の２Ｄコンピュータグラフィックスのアルゴリズムに多くの部分で依拠し、最終レンダリング表示においては、ラスタ形式の２Ｄコンピュータグラフィックスのアルゴリズムに多くの部分で依拠している。コンピュータグラフィックスソフトウェアでは、２Ｄアプリケーションは照明などの効果を達成するために３Ｄ技術を使用することがあり、また３Ｄにおいても２Ｄレンダリング技術を使用することがあるので、２Ｄと３Ｄの間の区別は狭くなり得る。
【０００２】
３Ｄコンピュータグラフィックスは、たびたび３Ｄモデルと呼ばれることがある。レンダリングされたグラフィックスの他に、３Ｄモデルはグラフィックデータファイルに含まれてもよい。しかしながら、２Ｄレンダリング画像と３Ｄコンピュータグラフィックスの間の違いの一つは、３Ｄモデルがあらゆる３次元オブジェクトの数学的表現であるということである。つまり、モデルは表示されるまで技術的にはグラフィックスではない。モデルは、３Ｄレンダリングと呼ばれる過程を通して２次元画像として視覚的に表示されてもよく、又は非グラフィカルコンピュータシミュレーション及び計算において使用されてもよい。
【０００３】
レンダリングは、コンピュータプログラムを用いて、２Ｄモデルか３Ｄモデルから、又は、シーンファイルかフレームファイルと総称されるものに含まれるモデルから画像を生成する過程である。更には、このようなモデルから得られる結果物をレンダリングと呼ぶこともできる。そのため、シーンファイルは、仮想シーンの描写として形状、視点、テクスチャ、照明、及びシェーディングの情報を含みつつ厳密に定義された文字列又はデータ構造としてのオブジェクトを含み得る。シーンファイルに含まれるデータはレンダリングプログラムに渡されて処理され、デジタル画像又はラスタ形式のグラフィックス画像ファイルとして出力される。
【０００４】
動画と、リアルタイムでレンダリングされた３Ｄオブジェクトと、の結合についての現在の使用例においては、大抵、元となる動画を、３Ｄ環境での平面的なテクスチャとして使用することに依拠している。これは主に、予めレンダリングされた動画は、ラスタライズ処理中において、全ての形状、深度、及びカメラ情報を失うことによるものである。ラスタライズとは、ベクトルグラフィックス形式（例えば、シェイプ）で描写されたイメージを取得し、それを動画画面やプリンタに出力するため、若しくは例えばビットマップなどのファイル形式で保存するためにラスタイメージ（例えば、ピクセルやドット）に変換する作業である。
【発明の概要】
【０００５】
仮想深度を用いて３Ｄ相互環境を生成するための機器、システム、方法が以下に記載される。即ち、この方法は、前記メディアファイルに関する深度データであって、複数の前記フレームのそれぞれに対応する前記深度データを受信する工程と、前記深度データに基づいて、前記メディアファイルの第１フレームについて、不可視の３次元（３Ｄ）フレームワークを作成する工程と、予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、を含む。
【０００６】
コンピュータによって読取可能である非一時的な記憶媒体が更に以下に記載されており、この記憶媒体には実行可能なプログラムが記憶されており、当該プログラムによってプロセッサは、仮想深度を用いて３Ｄ相互環境を生成するための動作を実行する。この動作には、複数のフレームを含む、予めレンダリングされたメディアファイルを受信する工程と、前記メディアファイルに関する深度データであって、複数の前記フレームのそれぞれに対応する前記深度データを受信する工程と、前記深度データに基づいて、前記メディアファイルの第１フレームについて、不可視の３次元（３Ｄ）フレームワークを作成する工程と、予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、が含まれる。
【０００７】
仮想深度を用いて３Ｄ相互環境を生成するためのシステムが更に以下に記載される。即ち、このシステムは、複数の命令を記憶するメモリと、前記メモリと協働して動作を実行するプロセッサと、を備えることで、複数のフレームを含む、予めレンダリングされたメディアファイルを受信する工程と、前記メディアファイルに関する深度データであって、複数の前記フレームのそれぞれに対応する前記深度データを受信する工程と、前記深度データに基づいて、前記メディアファイルの第１フレームについて、不可視の３次元（３Ｄ）フレームワークを作成する工程と、予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、を実行する。
【図面の簡単な説明】
【０００８】
【図１】本明細書に記載の例示的実施形態に関する、仮想深度を使用して３Ｄ相互環境を生成するためのシステムを示す図。
【０００９】
【図２】本明細書に記載の例示的実施形態に関する、仮想深度を使用して３Ｄ相互環境を生成するための方法を示す図。
【００１０】
【図３】本明細書に記載の例示的実施形態に関する、仮想深度を使用して３Ｄ相互環境を生成するためのソフトウェアアプリケーションを動作させるためのグラフィカルユーザインタフェース（「ＧＵＩ」）における複数のスクリーンショットを示す図。
【発明を実施するための形態】
【００１１】
例示的実施形態は、以下の明細書及び関連する添付の図面を参照して更に理解することができる。明細書及び図面では、同様の要素には同じ参照番号が与えられている。例示的実施形態は、仮想深度を使用して３Ｄ相互環境を生成するためのシステム、及び方法を示す。例えば、このシステム及び方法により、前もってレンダリングされて（又は「予めレンダリングされて」）動画化された動画に含まれる仮想３Ｄオブジェクト（３Ｄ物体）と、リアルタイムでレンダリングされた３Ｄオブジェクトと、がシームレスに統合及び相互作用し得る相互的な３Ｄ環境を作成することができる。
【００１２】
３Ｄ相互環境は、１つのフレーム（例えば、単一の画像ファイル）又は複数のフレーム（例えば、動画ファイル）を含むメディアファイルから生成することができる。メディアファイルはまた、演算装置上においてソフトウェアを作動するプロセッサによって、表示のためのデータとして生成され得る。当業者であれば、演算装置は、タブレット型コンピュータ、デスクトップ型コンピュータ、ラップトップ型コンピュータ、携帯電話、携帯情報端末などに限定されない任意のタイプの演算装置とすることができることを理解するだろう。更には、本明細書に記載の例示的な実施形態は、演算装置上で３Ｄ相互環境を生成するためのアプリケーションに関するものであり得る。しかしながら、当業者はまた、本明細書に記載のシステム及び方法は、演算装置上で実行される、スタンドアローンのソフトウェアパッケージ又は統合されたソフトウェアコンポーネントの何れかによって実行され得ることを理解するだろう。
【００１３】
上記のように、元となる動画と、リアルタイムにレンダリングされた３Ｄオブジェクトと、を結合する現在の実施は、元となる動画を平面的な２次元（「２Ｄ」）テクスチャとして取り扱うことに依拠している。この理由の１つは、元となる動画が、その形状データ、深度データ、及びカメラデータをラスタライズ処理中に全て失うことによるものである。つまり、元となる動画がラスタライズされてレンダリングされると、動画内のフレームの３Ｄ態様に関連する任意の情報は追加のアプリケーションには利用されないか、保持されない。
【００１４】
以下でより詳細に説明するように、例示的なシステム及び方法は、アプリケーションがメディアファイル内のすべての動画フレームについて、形状、深度、及びカメラ情報を受信し解読することを可能にする。更には、アプリケーションは、この情報を使用して、他の新たにレンダリングされた（例えば、リアルタイムでレンダリングされた）３Ｄオブジェクトがその中で相互作用することができる仮想深度のシーン（場面）を作成することができる。新しい３Ｄオブジェクトと元となる動画間の相互作用は、カメラの視点及び動き、照明、光源、視覚効果、表面性状、衝突検出、オブジェクトが隠れて見えないこと、剛体の力学、軟体の力学、流体力学などを含み得るが、これらに限定はされない。
【００１５】
図１は、仮想深度を使用して３Ｄ相互環境を生成するための例示的なシステム１００を示す。例示的なシステム１００は、ディスプレイ１２０、プロセッサ１３０及び非一時的コンピュータ可読記憶媒体などのメモリ１４０を備えるパーソナルメディア装置１１０（例えば、スマートフォン、タブレットコンピュータなど）を含むことができる。メディア装置１１０は、例えば、タブレット、スマートフォン、ノートパソコン、デスクトップコンピュータ、ラップトップコンピュータ、家庭用ゲーム機、スマートテレビ、デジタルメディアプレーヤなどのような演算装置であってもよい。
【００１６】
例示的なプロセッサ１３０は、ディスプレイ１２０及び／又は装置１１０の他の構成要素（例えば、キーボードやマウスなど）を介してユーザの入力を受信することができる。例示的なメモリ１４０は、プロセッサ１３０によって実行可能な上述のソフトウェアアプリケーション（例えば、メディアプレーヤアプリケーション）に関連する指令を記憶することができる。従って、装置１１０のユーザは、装置１１０のメモリ１４０に記憶されているソフトウェアアプリケーションと相互に作用し合うことができる。プロセッサ１３０は、これらのユーザ側の作用を処理し、コンテンツ（例えば、ソースメディアファイル）を調整することができる。更には、メモリ１４０は、レンダリング中及び／又はラスタライズ処理中において、メディアファイル（例えば、画像や動画など）に関する情報、例えば形状データ、深度データ、及びカメラデータ（ただしこれらに限定されない情報）を受信して記憶することができる。
【００１７】
図２は、本明細書に記載の例示的実施形態による仮想深度を使用して３Ｄ相互環境を生成するための例示的方法２００を示す。方法２００によって実行されるステップは、図１を参照して上述したように例示的システム１００及びその様々な構成要素を参照して説明される。例えば、方法２００を行うための処理は、演算装置１１０のプロセッサ１３０によって実行可能な一連の指令を行うアプリケーションとして含まれてもよい。
【００１８】
ステップ２１０において、方法２００では、レンダリングモジュールから動画ファイル、画像ファイルなどのソースメディアファイルを受信することができる。例えば、メディアプレーヤアプリケーションは、外部レンダリングモジュールから得られた動画ファイルであって、かつ、予めレンダリングされており複数のフレームを含む動画ファイルを出力することができる。例示的な方法２００では、外部レンダリングモジュールと協働するが、当業者であればレンダリングモジュールも本明細書に記載のシステム、方法及びアプリケーション内に統合された構成要素であってもよいことを理解するだろう。つまり、レンダリングモジュールは、スタンドアローンのソフトウェアパッケージであってもよいし、統合されたソフトウェアコンポーネントであってもよい。
【００１９】
ステップ２２０において、方法２００では、受信したメディアファイルに関する深度データをレンダリングモジュールから受信することができる。深度データは、メディアファイル内の複数のフレームのそれぞれに対応し得るものである。例えば、この情報は、仮想深度のストリーミングファイルなどを介してレンダリングモジュールから受信することができる。即ち、プロセッサ１３０は、メディアファイルの作成中及びレンダリング中にレンダリングモジュールから情報を受信することができる。この情報は、カメラ位置及び動きの情報、シーン形状の記述情報、照明及び視覚効果の記述、動画化の情報、シーンパラメータなどのような各フレームについての３Ｄ関連データを含み得るが、これらに限定されない。一例としては、ステップ２１０において、ソースメディアファイル（例えば、動画、画像など）の受信に伴って、仮想深度のストリーミング情報が受信されてもよい。例えば、方法２００では、動画内の各フレームに関するデータの受信に伴って、それぞれのフレームに対する形状データ及びカメラ情報に基づく仮想深度データをフレーム毎に受信してもよい。
【００２０】
本明細書で説明されるシステム及び方法の例示的な実施形態によれば、仮想深度ストリーミング内に含まれるデータは、メディアファイルをレンダリングするために使用された動画内のシーンなどのオリジナル又は元となる３Ｄメディアファイルから抽出することができる。例えば、外部レンダラは、シーン形状（例えば、メッシュデータ、頂点、三角ポリゴン、オブジェクト階層など）、カメラの動き、オブジェクトの動きなどに関する詳細な情報を特徴とすることができる。従って、方法２００では、そのようなデータ収集のために設計されたコンピュータプログラム又はスクリプトを実行することによって対応するシーンデータを抽出することができる。
【００２１】
仮想深度ストリーミングを抽出するプロセス中に、方法２００では、リアルタイムの使用のためより適切になるようにメッシュデータを任意で単純化することができる。例えば、ソースレンダラ（例えば、３Ｄモデリングソフトウェア）は、特定の３Ｄメッシュの詳細レベルを下げるための選択肢を提供することができる。つまり、仮想深度データは不可視の３Ｄフレームワーク（例えば、視聴中のユーザには見えない要素）をレンダリングするために使用されるので、仮想深度データを高レベルの精度で抽出する必要はない。つまり、方法２００では、レンダラからのソースメディアファイルに含まれる詳細なデータの全てを必要としない。そのため、３Ｄメッシュデータは、はるかに少ない数のポリゴンを抽出すればよい。
【００２２】
ソースメディアファイルから抽出されるデータ量及び詳細レベルを減らすことによって、このデータを処理するときのクライアント側（例えば、演算装置１１０）で必要な処理が大幅に減少し、従って、携帯電話などのローエンドデバイスで方法２００を動作させることができる。
【００２３】
カメラの動き及びオブジェクトの動きに関して、例示的なソースレンダラは、これらの動きを定義するためにキーフレームを使用することができる。方法２００では、これらのキーフレームを使用して動画ファイルの再生中などの特定の離散時間でのカメラの変位（例えば、位置や回転など）を定めることができる。これらの離散時間又はメディア時間としては、動画ファイル内の特定の時間が指定される。これらの各キーフレーム間では、動画制作者によって定義された曲線をたどることにより変位値を補間することができる。そのため、方法２００では、新たに生成された３Ｄ相互環境において正確な動きを再現するためにこれらのキーフレーム及び曲線式に関連する値を抽出し、こうして動画内のカメラの動きを一致させることができる。カメラの動きと同様、レンダリングされたシーン内の一部のオブジェクトは、動きが含まれている場合がある。そのため、これらのオブジェクトに対する任意の動きも上記で定義した同じプロセスを使用して抽出することができる。
【００２４】
ステップ２３０において、方法２００では、対応する深度データに基づきメディアファイルの第１フレームの不可視の３次元（「３Ｄ」）フレームワークを作成することができる。例示的な不可視の３Ｄフレームワークは、予めレンダリングされたメディアファイル内の任意の数のオブジェクトを表す隠れた（表示されない）フレームワーク又は幾何学的形状のメッシュを指すことがあることに留意されたい。不可視のフレームワークは、例示的な３Ｄ相互環境のリアルタイムでの生成中において、視聴者に対しての表示から隠されてもよい。そのため、メディアプレーヤアプリケーションは、ステップ２２０で受信した情報を読み取り、カメラの視点に合わせて調整された不可視のフレームワークを使用してメディアファイルのシーンを再現することができる。このシーンは仮想深度シーンと呼ぶこともできる。
【００２５】
ステップ２４０において、方法２００では、予めレンダリングされた第１フレーム、１つか複数の仮想的な可視の３Ｄオブジェクト、及び不可視の３Ｄフレームワークを、予めレンダリングされたソースメディアファイルに含めるため、新しい第１フレームをリアルタイムでレンダリングすることができる。メディアプレーヤアプリケーションは、ソースメディアファイルの様々な要素と合わされている可視の３Ｄオブジェクトを仮想深度シーンに追加することができる。つまり、リアルタイムでの新たな第１フレームのレンダリングは、不可視の３Ｄフレームワークを、予めレンダリングされた第１フレーム内の任意の数の予めレンダリングされたオブジェクトに調整して合わせる処理を含むことができる。従って、これらの仮想３Ｄオブジェクトはまた、メディアファイルのフレーム内のシーン形状を詳細に示すことができる。
【００２６】
例えば、リアルタイムにレンダリングされた３Ｄボールは、仮想深度シーンに挿入された不可視の３Ｄフレームワークの隠された形状と相互作用することによって、元となる動画内のテーブルの表面に対して跳ね返ることができる。フレームワークの隠された形状は予めレンダリングされた元となる動画のオブジェクト（例えば、ソファ又はテーブル）と合わさるので、新しく挿入された３Ｄオブジェクトがソースメディアファイル内のオブジェクトと相互作用するという幻視を与えることになる。
【００２７】
レンダリング処理の間、方法２００では、第１フレームの不可視の３Ｄフレームワークを新しいメディアファイルに適合させることができる。メディアが変化すると（例えば、動画ファイルが再生されるなど）、カメラ、形状データ、及び深度データは仮想深度ストリーミングファイル内の情報に応じてリアルタイムで変わることがある。これにより、仮想深度シーンの不可視の３Ｄフレームワークをソースメディアファイルの光景に適合させたままにすることができる。
【００２８】
動画ファイルなどのソースメディアファイルは、フレームごとのレベルで仮想深度シーンに適合されるため、メディアプレーヤアプリケーションはアプリケーションがカメラ、形状データ、及び深度データ、並びに任意の情報の変化を把握している間は、非常に高品質の予めレンダリングされたシーンを含む新しいメディアファイル（例えば、統合動画ファイル）を再生することが可能となる。
【００２９】
ステップ２５０において、方法２００では、レンダリングモジュールから更なる情報を受信することができ、更なる情報は照明データ、動画データ、視覚効果データ、及びフレームパラメータの少なくとも１つを含む。更に、方法２００では、更なる情報に基づき、１つかそれ以上の仮想３Ｄオブジェクトの表示を調整することができる。例えば、ボールが元となる動画内のテーブルの下を移動する場合、上述の３Ｄボールの色及び陰影は暗い色合いに調整され、それによりボール上に影の幻像が現れる。
【００３０】
ステップ２６０において、方法２００では、不可視の３Ｄフレームワークに基づき、新しいメディアファイル内の１つかそれ以上の仮想的な可視の３Ｄオブジェクトの少なくとも一部を見えないようにすることができる。つまり、メディアプレーヤアプリケーションは、仮想深度シーンのリアルタイム３Ｄオブジェクトを見えなくすることができる。即ち、これは不可視の３Ｄフレームワークの非表示の形状を透明マスクとして機能させることにより、実現することができる。従って、仮想深度を示すフレームワークの形状は視聴者には見えないが、仮想深度シーンにおいてフレームワークの後ろにある３Ｄオブジェクトはカメラ情報（例えば、カメラアングル、カメラの動きなど）に応じて部分的又は完全に見えなくすることができる。
【００３１】
ステップ２７０において、方法２００では、レンダリングモジュールから受信されたメディアファイルの更なるフレームが利用可能であると決定し、ステップ２１０〜２６０を繰り返すことができる。そのため、ソースメディアファイルに利用可能な追加のフレームがある場合、方法２００では、レンダリングモジュールからこれらのフレームの更なる深度データを受信し、追加の仮想深度シーン内に更なる不可視の３Ｄフレームワークを作成することができる。あるいは、このような更なるフレームがない場合、方法２００を終了することができる。
【００３２】
本明細書に記載のシステム、及び方法の例示的実施形態によると、新たに作成されたメディアファイルは、仮想深度シーンとは別にレンダリングされ、仮想深度シーンのレンダリングの実行後に、合成される。従って、構成要素は、仮想深度マスクを通しメディアプレーヤアプリケーションを通して見え続ける。最終的には、元となる動画のフレームに含まれる構成要素の後ろに、リアルタイム３Ｄオブジェクトがレンダリングされているという幻視を視聴者に提供する。例示的なリアルタイム３Ｄボールは、ソース動画内にのみ存在するソファの後ろに投げられる。それから、視聴者はボールがソファによって遮られるようになるのを見ることになり、それにより確信可能な程度の深い幻視が提供される。
【００３３】
図３は、仮想深度を用いた３Ｄ相互環境を作り出す上述の例示的実施形態のソフトウェアアプリケーションで動作するグラフィカルユーザインタフェース（ＧＵＩ）での複数のスクリーンショット３１０−３４０を示す。上述したように、装置１１０のメディアプレーヤアプリケーションは、３Ｄ相互環境をディスプレイ１２０を介してユーザに提供する。３Ｄ相互環境は、リアルタイムでレンダリングされた３Ｄオブジェクトが、予めレンダリングされた動画（例えば外部ソースからの動画）内のオブジェクトに作用したものである。従って、スクリーン（シーン）ショット３１０−３４０のそれぞれは、複数のシーン構成物の異なる段階を示し得る。
【００３４】
スクリーンショット３１０は、ソースメディアファイルを示す。ソースメディアファイルは、例えば家具が配置されたリビングのようなセットの動画であり得る。メディアファイル及びセットに含まれるオブジェクトは、観察可能な３Ｄ構成物を含む。例えば、メディアファイルは、カメラの位置や動きの情報、照明情報などを含む。更に、このオブジェクトは、形状情報、深度情報などを含む。上述したように、シーンに関連するこれらの情報の全ては、セット内に表示される不可視の３Ｄフレームワークの作成中に、メディアプレーヤアプリケーションによって受信される。
【００３５】
スクリーンショット３２０は、ソースメディアファイルから生成された仮想深度ストリーミングである。より詳細には、仮想深度ストリーミングとは、ソースメディアファイルの再生中において、セットに含まれる物のそれぞれのリアルタイムの３次元の外観を、カメラ視点を考慮して描いたものである。スクリーンショット３２０に示すように、オブジェクト（例えばソファ、テーブルなど）の物理的特性に基づいて、当該オブジェクトのワイヤフレーム表示が生成され続ける。このフレームワークは、再生中において視聴者から見えず、カメラの動き及び位置に基づいて調整され続けられる。言い換えれば、動画の再生が開始されると、カメラ情報のリアルタイムの変化とオブジェクトの形状／深度情報の変化は、ソースメディアファイルに対して同一性を持ち続ける。
【００３６】
スクリーンショット３３０は、相互的３Ｄオブジェクトのリアルタイムストリーミングを示す。より詳細には、スクリーンショット３３０は、ソースメディアファイルに基づいて、リアルタイムでレンダリングされた３Ｄオブジェクトが挿入されることが示されている。詳述したように、これらのオブジェクトは、元となるオブジェクトの形状や深度の変化及びカメラ視点の変化によって変化を示す。このような変化と特性は、スクリーンショット３２０に生成されているオブジェクトのワイヤフレーム表示に基づいている。
【００３７】
スクリーンショット３４０は、ソースメディアファイルに相互的な３Ｄオブジェクトが統合された最終的な構成を示す。これにより、リアルタイム３Ｄオブジェクト（例えばボール）が現れ、元となるオブジェクト（例えばソファ）に作用する。例えば、実際的な角度でオブジェクトから跳ね返ったり、実際的な端点でオブジェクトから転がり落ちたりする。このように、リアルタイム３Ｄオブジェクトは、スクリーンショット３２０で得られたオブジェクトの不可視のフレームワークに相互に作用し続ける。
【００３８】
予めレンダリングされた動画によって達成される映像品質は、リアルタイムでレンダリングされた動画で達成される映像品質よりも、一般的には高い。これは、装置のなかでも携帯機器などの処理能力が限られている装置については正しい。従って、上述の例示的なシステム及び方法を使うことで、優れた映像品質を有する一方で、リアルタイム３Ｄオブジェクトが元となる動画に組み込まれている、視聴者への視覚体験を生み出すことが可能となる。
【００３９】
上述の例示的なシステム及び方法によれば、メディアプレーヤアプリケーションは、何らかのラベルが付加された内容をユーザに提供するための創造的なサンドボックスを提供できる。このメディアプレーヤアプリケーションによって、楽しくかつ双方的な手法による新たな体験をユーザ層に提供することができる。例えば、双方的でないメディアコンテンツ（例えばテレビ番組、ストリーミング動画など）に対するテレビゲームアプリケーションのように、既存の番組に対して当該番組から派生したコンテンツを含ませることができる。予めレンダリングされた動画とリアルタイム要素を混合することにより、視聴者／ユーザを十分に参加させ、かつそれを視覚的に働きかけるための相互的なマルチメディア体験を生み出すことが可能となる。
【００４０】
新たな世代のメディアコンテンツにより、異なる媒体を通じて付帯要素として追加的なコンテンツが提供される。追加的なコンテンツにより、ユーザに対して、メディアファイル（例えばテレビ番組）を視聴している間において、リアルタイムでセット及び／又はキャラクターが装飾されることが許容される。つまり、メディアプレーヤからのコンテンツにより、ユーザに対して、より掘り下げられ、一層の関与が求められ、相互的で、個人向けに調整された視聴体験を提供できる。
【００４１】
更に、上述の例示的なシステム及び方法は、仮想現実（「ＶＲ」）アプリケーションにも適用することができる。複数のＶＲ体験が設計されることで、予め決められたカメラ視点とカメラの動きを含む「レールに沿った」体験（例えば視聴者がある場面又はセットから次のものに移動すること）ができる。つまり、仮想深度を用いて、異なるリアルタイム３Ｄ相互的オブジェクトを追加することで、ＶＲに適合した高品質なレールに沿った体験を生み出すことができる。
【００４２】
当業者は、上述の例示的実施形態が、メディアプレーヤソフトウェアプログラムを含む様々な手段で実行されてもよいことを理解するだろう。例えば、例示的方法２００では、プログラムは、非一時的な記憶媒体に記憶され、複数行のコードを含み、コンパイルされることでプロセッサ（例えば装置１１０のプロセッサ１３０）によって実行される。更に、当業者は、例示的なソフトウェアアプリケーションが他のコンピュータで読取可能な言語（例えばＨＴＭＬ５などのマークアップ言語）に変換されてもよいことを理解するだろう。
【００４３】
本発明の意図及び範囲から逸脱することなく、本発明が様々に変更され得ることは、当業者にとって明らかである。従って、本発明は、添付の請求項及びそれらと同などの範囲内において、この発明の実施形態と変形例を含むものである。
【図１】
2019527899.tif 000003
【図２】
2019527899.tif 000004
【図３】
2019527899.tif 000005
【手続補正書】
【提出日】平成31年4月9日(2019.4.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のフレームを含む、予めレンダリングされたメディアファイルを受信する工程と、
前記メディアファイルに関する深度データを受信する工程であって、当該深度データは、複数の前記フレームのそれぞれに対応するとともに、予めレンダリングされた前記メディアファイルを生成する元となるソースメディアファイルに基づいている工程と、
不可視の３次元（３Ｄ）フレームワークを作成するためのメッシュ品質を決定する工程であって、不可視の３Ｄフレームワークのメッシュ品質が、前記ソースメディアファイルに関するメッシュ品質よりも、詳細レベルが低い工程と、
前記深度データ及び前記メッシュ品質に基づいて、前記メディアファイルの第１フレームについて、不可視の３Ｄフレームワークを作成する工程と、
予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記深度データは、カメラ視点情報とカメラ動き情報とを含むことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、
前記深度データは、レンダリングモジュールからストリーミングデータファイルとして受信されることを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、
レンダリングモジュールから受信した前記メディアファイルに基づいて、更なるフレームが使用可能であることを特定する工程と、
レンダリングモジュールから、更なるフレームのための更なる前記深度データを受信する工程と、
当該深度データに基づいて、前記メディアファイル内の更なるフレームの更なる不可視の３Ｄのフレームワークを作成する工程と、
を更に含むことを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、
仮想的かつ可視の３Ｄオブジェクトのレンダリングは、前記メディアファイルの対応する前記深度データに基づいて行われることを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、
前記メディアファイルに関する更なる情報を受信する工程であって、当該更なる情報は、照明データ、動画データ、視覚効果データ、及びフレームパラメータの少なくとも１つを含む工程と、
当該更なる情報に基づいて、１又は複数の仮想的かつ可視の３Ｄオブジェクトのレンダリングを調整する工程と、
を更に含むことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、
新たな第１フレームのリアルタイムでのレンダリングには、不可視の３Ｄフレームワークを、予めレンダリングされた第１フレーム内の予めレンダリングされた１又は複数のオブジェクトに合わせる処理が含まれることを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、
新たな第１ファイルに含まれるとともに１又は複数の仮想的かつ可視の３Ｄオブジェクトの少なくとも一部を、不可視の３Ｄフレームワークに基づいて非表示にする工程を更に含むことを特徴とする方法。
【請求項９】
複数の命令を記憶するメモリと、
前記メモリと協働して動作を実行するプロセッサと、
を備え、
前記動作には、
複数のフレームを含む、予めレンダリングされたメディアファイルを受信する工程と、
前記メディアファイルに関する深度データを受信する工程であって、当該深度データは、複数の前記フレームのそれぞれに対応するとともに、予めレンダリングされた前記メディアファイルを生成する元となるソースメディアファイルに基づいている工程と、
不可視の３次元（３Ｄ）フレームワークを作成するためのメッシュ品質を決定する工程であって、不可視の３Ｄフレームワークのメッシュ品質が、前記ソースメディアファイルに関するメッシュ品質よりも、詳細レベルが低い工程と、
前記深度データ及び前記メッシュ品質に基づいて、前記メディアファイルの第１フレームについて、不可視の３Ｄフレームワークを作成する工程と、
予めレンダリングされた第１フレームと、１又は複数の仮想的かつ可視の３Ｄオブジェクトと、不可視の３Ｄフレームワークと、を含む新たな第１フレームをリアルタイムでレンダリングする工程と、
が含まれることを特徴とするシステム。
【請求項１０】
請求項９に記載のシステムであって、
前記プロセッサは、
レンダリングモジュールから受信した前記メディアファイルに基づいて、更なるフレームが使用可能であることを特定する工程と、
レンダリングモジュールから、更なるフレームのための更なる前記深度データを受信する工程と、
当該深度データに基づいて、前記メディアファイル内の更なるフレームの更なる不可視の３Ｄのフレームワークを作成する工程と、
を更に行うように構成されていることを特徴とするシステム。
【請求項１１】
請求項９に記載のシステムであって、
仮想的かつ可視の３Ｄオブジェクトのレンダリングは、前記メディアファイルの対応する前記深度データに基づいて行われることを特徴とするシステム。
【請求項１２】
請求項９に記載のシステムであって、
新たな第１フレームのリアルタイムでのレンダリングには、不可視の３Ｄフレームワークを、予めレンダリングされた第１フレーム内の予めレンダリングされた１又は複数のオブジェクトに合わせる処理が含まれることを特徴とするシステム。
【請求項１３】
請求項９に記載のシステムであって、
前記プロセッサは、新たな第１ファイルに含まれるとともに１又は複数の仮想的かつ可視の３Ｄオブジェクトの少なくとも一部を、不可視の３Ｄフレームワークに基づいて非表示にする工程を更に行うように構成されていることを特徴とするシステム。
【国際調査報告】
2019527899.tif 000006