(57)【要約】  全方位ビデオの動きベクトル補償処理の改善から生じるコード効率の改善が提供され、この処理は、マッピングｆを用いて、エンコードするフレームＦを、フレームのレンダリングに使用する表面Ｓにマッピングする。表面上のブロックのコーナーは、コードされたフレームにマッピングするように補正され、これは、新しいフレームをレンダリングするために使用できる。種々の実施形態は、ピクセルの補正、および各ピクセル群に対する別々の動きベクトルの使用を含む。別の実施形態では、動きベクトルは、プロジェクションマッピングまたはオーバーラップブロック動き補償モデルを用いて、擬似モデルにより極座標で表すことができる。【選択図】図２１
2019537294.tif 000002
【特許請求の範囲】
【請求項１】
動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをデコードする方法であって、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびに前記ビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、方法。
【請求項２】
ビデオ画像ブロックをデコードするための装置であって、
記憶装置および
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをデコードするように構成されたプロセッサーを含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
【請求項３】
ビデオ画像ブロックをデコードするための装置であって、
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをデコードするための手段を含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
【請求項４】
動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをエンコードする方法であって、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、方法。
【請求項５】
ビデオ画像ブロックをエンコードするための装置であって、
記憶装置および
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをエンコードするように構成されたプロセッサーを含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
【請求項６】
ビデオ画像ブロックをエンコードするための装置であって、
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをエンコードするための手段を含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
【請求項７】
ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を実施することをさらに含む、請求項１または請求項４のいずれかに記載の方法。
【請求項８】
ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を同様に実施するように構成された前記プロセッサーをさらに含む、請求項２または請求項５のいずれかに記載の装置。
【請求項９】
各群のピクセルが、それ自身の動きベクトルを有する、請求項７に記載の方法または請求項８に記載の装置。
【請求項１０】
前記動きベクトルが、極座標で表される、請求項９に記載の方法または請求項９に記載の装置。
【請求項１１】
前記動きベクトルが、擬似パラメーター表示で表される、請求項９に記載の方法または請求項９に記載の装置。
【請求項１２】
ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を実施することをさらに含む、請求項３または請求項６のいずれかに記載の装置。
【請求項１３】
１つまたはいくつかのプロセッサーにより実行される場合、請求項１、４、７、９、１１のいずれか１項に記載の方法を実施するためのソフトウェアコード命令を含む、コンピュータープログラム。
【請求項１４】
請求項２または３のいずれか１項に記載のビデオ特有のビットストリームをデコードするための装置を含む没入型レンダリング装置。
【請求項１５】
ビットストリームにエンコードされた大きな視界のビデオの没入型レンダリングのためのシステムであって、少なくとも
データネットワークから前記ビットストリームを受信するためのネットワークインターフェース（６００）、
請求項２または３に記載の前記ビットストリームをデコードするための装置（７００）、
没入型レンダリング装置（９００）を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
［0001］  発明の分野
実施形態に記載の態様は、全方位ビデオのための補正された動き補償に関する。
【背景技術】
【０００２】
［0002］  近年、利用可能な大きな視野（３６０°まで）のコンテンツが増大している。このようなコンテンツは、コンテンツを注視する使用者が、ヘッドマウンテッドディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォン、などの没入型ディスプレイデバイスでは十分に目で見ることができない可能性がある。これは、特定の時点で使用者がそのコンテンツの一部しか見ていない場合があることを意味する。しかし、使用者は通常、頭部の動き、マウスの動き、タッチスクリーン、音声などの種々の手段によりコンテンツ内を通り抜けることができる。通常は、このコンテンツをエンコードおよびデコードするのが望ましい。
【発明の概要】
【０００３】
［0003］  本発明の原理のある態様では、全方位ビデオのための補正された動き補償方法が提供される。方法は、動き補償を用いて全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをデコードするステップを含み、動き補償は、ブロックの中心点およびブロック高さと幅を用いて前記ビデオ画像ブロックのブロックコーナーを計算すること、およびブロックワーピング関数を用いて、ビデオ画像ブロックのコーナーと中心点の画像を計算されたブロックコーナー上のパラメトリック曲面上に取得することを含む。方法は、パラメトリック曲面上のコーナーから３次元表面に変換することにより３次元コーナーを取得するステップ、ブロックのそれぞれの３次元コーナーの３次元表面上のブロックの中心点に対する３次元オフセットを取得するステップ、ブロックワーピング関数を用いることによりパラメトリック曲面上の、ならびにビデオ画像ブロックに対する変換および動きベクトルを用いることにより３次元表面上の動き補償されたブロックの画像を計算すること、をさらに含む。方法は、３次元オフセットを用いて、ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算することをさらに含む。
【０００４】
［0004］  本発明の別の態様では、装置が提供される。装置は、記憶装置およびプロセッサーを含む。プロセッサーは、動き補償を用いて全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをデコードするように構成され、動き補償は、ブロックの中心点およびブロック高さと幅を用いて前記ビデオ画像ブロックのブロックコーナーを計算すること、およびブロックワーピング関数を用いて、ビデオ画像ブロックのコーナーと中心点の画像を計算されたブロックコーナー上のパラメトリック曲面上に取得することを含む。方法は、パラメトリック曲面上のコーナーから３次元表面に変換することにより３次元コーナーを取得するステップ、ブロックのそれぞれの３次元コーナーの３次元表面上のブロックの中心点に対する３次元オフセットを取得するステップ、ブロックワーピング関数を用いることによりパラメトリック曲面上の、ならびにビデオ画像ブロックに対する変換および動きベクトルを用いることにより３次元表面上の動き補償されたブロックの画像を計算するステップ、をさらに含む。方法は、３次元オフセットを用いて、ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算することをさらに含む。
【０００５】
［0005］  本発明の原理の別の態様では、全方位ビデオのための補正された動き補償方法が提供される。方法は、動き補償を用いて全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをエンコードするステップを含み、動き補償は、ブロックの中心点およびブロック高さと幅を用いて前記ビデオ画像ブロックのブロックコーナーを計算するステップ、およびブロックワーピング関数を用いて、ビデオ画像ブロックのコーナーと中心点の画像を計算されたブロックコーナー上のパラメトリック曲面上に取得するステップを含む。方法は、パラメトリック曲面上のコーナーから３次元表面に変換することにより３次元コーナーを取得するステップ、ブロックのそれぞれの３次元コーナーの３次元表面上のブロックの中心点に対する３次元オフセットを取得するステップ、ブロックワーピング関数を用いることによりパラメトリック曲面上の、ならびにビデオ画像ブロックに対する変換および動きベクトルを用いることにより３次元表面上の動き補償されたブロックの画像を計算するステップ、をさらに含む。方法は、３次元オフセットを用いて、ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算することをさらに含む。
【０００６】
［0006］  本発明の別の態様では、装置が提供される。装置は、記憶装置およびプロセッサーを含む。プロセッサーは、動き補償を用いて全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをエンコードするように構成され、動き補償は、ブロックの中心点およびブロック高さと幅を用いて前記ビデオ画像ブロックのブロックコーナーを計算すること、およびブロックワーピング関数を用いて、ビデオ画像ブロックのコーナーと中心点の画像を計算されたブロックコーナー上のパラメトリック曲面上に取得することを含む。方法は、パラメトリック曲面上のコーナーから３次元表面に変換することにより３次元コーナーを取得するステップ、ブロックのそれぞれの３次元コーナーの３次元表面上のブロックの中心点に対する３次元オフセットを取得するステップ、ブロックワーピング関数を用いることによりパラメトリック曲面上の、ならびにビデオ画像ブロックに対する変換および動きベクトルを用いることにより３次元表面上の動き補償されたブロックの画像を計算するステップ、をさらに含む。方法は、３次元オフセットを用いて、ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算することをさらに含む。
【０００７】
［0007］  本発明のこれらおよびその他の態様、特徴および利点は、例示的実施形態についての以下の詳細な説明から明らかになるであろう。これらの実施形態は、添付の図面と関連付けて読まれるべきものである。
【図面の簡単な説明】
【０００８】
【図１】［0008］本実施形態の１つの一般的態様による、エンコードおよびデコードシステムの概要を示す。
【図２】［0009］本実施形態の１つの一般的態様による、デコードシステムの一実施形態を示す。
【図３】［0010］本実施形態の１つの一般的態様による、拡張現実、仮想現実、拡張仮想感またはそれらのコンテンツシステムを処理するための第１のシステムを示す。
【図４】［0011］本実施形態の別の一般的態様による、拡張現実、仮想現実、拡張仮想感またはそれらのコンテンツシステムを処理するための第２のシステムを示す。
【図５】［0012］本実施形態の別の一般的態様による、拡張現実、仮想現実、拡張仮想感またはそれらのコンテンツシステムをスマートフォンを用いて処理するための第３のシステムを示す。
【図６】［0013］本実施形態の別の一般的態様による、拡張現実、仮想現実、拡張仮想感またはそれらのコンテンツシステムをハンドヘルドデバイスおよびセンサーを用いて処理するための第４のシステムを示す。
【図７】［0014］本実施形態の別の一般的態様による、拡張現実、仮想現実、拡張仮想感またはビデオウォールを組み込んだそれらのコンテンツシステムを処理するためのシステムを示す。
【図８】［0015］本実施形態の別の一般的態様による、拡張現実、仮想現実、拡張仮想感またはビデオウォールおよびセンサーを組み込んだそれらのコンテンツシステムを処理するためのシステムを示す。
【図９】［0016］本実施形態の別の一般的態様による、拡張現実、仮想現実、拡張仮想感またはゲーム機を有するそれらのコンテンツシステムを処理するためのシステムを示す。
【図１０】［0017］本発明による没入型ビデオレンダリング装置の別の実施形態を示す。
【図１１】［0018］本実施形態の別の一般的態様による、没入型ビデオレンダリング装置の別の実施形態を示す。
【図１２】［0019］本実施形態の別の一般的態様による、没入型ビデオレンダリング装置の別の実施形態を示す。
【図１３】［0020］本実施形態の一般的態様による、正距円筒図法を用いた球体表面からフレームへのマッピングを示す。
【図１４】［0021］本実施形態の一般的態様による、全方位ビデオのための正距円筒図法フレームレイアウトの例を示す。
【図１５】［0022］本実施形態の一般的態様による、キューブマッピングを用いた立方体表面からフレームへのマッピングを示す。
【図１６】［0023］本実施形態の一般的態様による、全方位ビデオのためのキューブマッピングフレームレイアウトの例を示す。
【図１７】［0024］本実施形態の一般的態様による、他のタイプの投影球面を示す。
【図１８】［0025］本実施形態の一般的態様による、球体および立方体のためのフレームおよび３次元（３Ｄ）表面座標系を示す。
【図１９】［0026］場面の直線に沿って動く移動オブジェクトおよびレンダリングしたフレーム中の見かけ動きの例を示す。
【図２０】［0027］本実施形態の一般的態様による、変換ブロックを用いた動き補償を示す。
【図２１】［0028］本実施形態の一般的態様による、ブロックワーピングに基づく動き補償を示す。
【図２２】［0029］本実施形態の一般的態様による、ブロックワーピングによるブロック動き補償の例を示す。
【図２３】［0030］本実施形態の一般的態様による、動きベクトルの極性パラメーター表示を示す。
【図２４】［0031］本実施形態の一般的態様による、擬似運動ベクトルおよびサブブロック例を示す。
【図２５】［0032］本実施形態の一般的態様による、擬似マップした動き補償を示す。
【図２６】［0033］オーバーラップブロック動き補償例を示す。
【図２７】［0034］本実施形態の一般的態様による、平面の球体による近似を示す。
【図２８】［0035］本実施形態の一般的態様による、キューブマッピングの平面の可能なレイアウトの２つの例を示す。
【図２９】［0036］本実施形態の一般的態様による、画像Ｆと表面Ｓに対する基準フレームを示す。
【図３０】［0037］本実施形態の一般的態様による、立方体表面Ｓの３Ｄ空間へのマッピングを示す。
【図３１】［0038］本実施形態の一般的態様による、方法の一実施形態を示す。
【図３２】［0039］本実施形態の一般的態様による、装置の一実施形態を示す。
【発明を実施するための形態】
【０００９】
［0040］  全方位ビデオのための改善された動き補償手法が本明細書で記載される。
【００１０】
［0041］  記載原理の実施形態は、仮想現実、拡張現実または拡張仮想感、仮想現実、拡張現実または拡張仮想感を表示するためのヘッドマウンテッドディスプレイ、および仮想現実、拡張現実または拡張仮想感システムのための処理装置に関する。
【００１１】
［0042］  記載実施形態によるシステムは、拡張現実から仮想現実まで、さらには、拡張仮想感までのコンテンツを処理および表示することを目指す。コンテンツは、ビデオコンテンツでゲームを行うまたはそれを見るまたはそれと対話をするために使用できる。そのため、仮想現実システムにより、我々は、この実施形態はまた、拡張現実システム、拡張仮想感システムにも関連していることを理解する。
【００１２】
［0043］  没入型ビデオは、特に、ヘッドマウンテッドディスプレイ（ＨＭＤ）などの新しい装置を用いた、または対話型ディスプレイ、例えば、タブレットを用いた、使用が増加し、広まっている。第１のステップとして、全方位ビデオのための、没入型ビデオフォーマットの重要な部分であるこのようなビデオのエンコードを考えてみる。ここで、全方位ビデオは、周囲の３次元（３Ｄ）表面Ｓの投影像が現在のビデオコーダー／デコーダー（コーデック）に好適する標準的長方形のフレームに投影できるフォーマットであると仮定する。このような投影は、必然的にいくつかのエンコードが困難な効果をビデオに導入し、これには、強力な幾何学的変形、もはやまっすぐではない直線、もはや正規直交ではない正規直交座標系、および不均一なピクセル密度を含み得る。不均一なピクセル密度は、エンコードするフレーム中のピクセルが必ずしもエンコードする表面上の同じ表面を表す、すなわち、レンダリングフェーズ中の画像上の同じ表面とは限らないことを意味する。
【００１３】
［0044］  さらなる困難な効果は、強い不連続性であり、これにより、フレームレイアウトが表面上の２つの隣接するピクセル間に強い不連続性、およびフレーム中に起こり得る、例えば、１つの境界から反対側の境界までの若干の周期性を導入することになる。
【００１４】
［0045］  図１は、本発明の例示的実施形態による、エンコードおよびデコードシステムの概要を示す。図１のシステムは、機能系である。前処理モジュール３００は、エンコード装置４００によりエンコードするコンテンツを準備し得る。前処理モジュール３００は、マルチ画像取得、共通空間における取得マルチ画像のマージング（我々が方向をエンコードする場合、通常は３Ｄ球体）、および限定されないが、例えば、正距円筒図法マッピングまたはキューブマッピングを用いて、３Ｄ球体の２Ｄフレームへのマッピングを実施する。前処理モジュール３００はまた、特定のフォーマット（例えば、正距円筒図法）の全方位ビデオを入力として受け入れ、ビデオを前処理してそのマッピングをエンコードにより好適するフォーマットへ変更し得る。取得ビデオデータ表現に応じて、前処理モジュール３００は、マッピング空間変更を実施し得る。エンコード装置４００およびエンコード方法は、明細書の他の図に関連して説明される。
【００１５】
［0046］  コードされた後、例えば、没入型ビデオデータまたは３Ｄ  ＣＧＩエンコードデータであってよいデータは、回路網インターフェース５００に送られ、これは通常、例えば、ゲートウェイ中に存在する任意の回路網インターフェース中に実装できる。その後、データは、インターネットなどの連通回路網を介して送信されるが、任意のその他の回路網も想起できる。その後、データは回路網インターフェース６００で受信される。回路網インターフェース６００は、ゲートウェイ、テレビ、セットトップボックス、ヘッドマウンテッドディスプレイ装置、没入型（投影）ウオールまたは任意の没入型ビデオレンダリング装置中に実装できる。受信後、データはデコード装置７００に送られる。デコード機能は、次の図２〜１２に記載の処理機能の１つである。デコードデータはその後、再生装置８００により処理される。再生装置８００は、レンダリング装置９００用のデータを準備し、また、センサーからの外部データまたは使用者入力データを受け得る。より詳細には、再生装置８００は、レンダリング装置９００で表示しようとしているビデオコンテンツの一部を準備する。デコード装置７００および再生装置８００は、単一装置（例えば、スマートフォン、ゲーム機、ＳＴＢ、タブレット、コンピューターなど）として統合されてもよい。別の形態では、再生装置８００は、レンダリング装置９００に統合される。
【００１６】
［0047］  例えば、没入型ビデオをレンダリングする場合、没入型表示装置のデコード、再生およびレンダリング機能を行ういくつかのタイプのシステムが想定し得る。
【００１７】
［0048］  図２〜６には、拡張現実、仮想現実、拡張仮想感コンテンツを処理するための第１のシステムが示されている。このようなシステムは、処理機能として、例えば、ヘッドマウントディスプレイ（ＨＭＤ）、タブレットまたはスマートフォンであってよく、またセンサーを備えてもよい、没入型ビデオレンダリング装置を含む。没入型ビデオレンダリング装置はまた、表示装置と処理機能との間に、追加のインターフェースモジュールも含み得る。処理機能は、１つまたはいくつかの装置により実施できる。それらは、没入型ビデオレンダリング装置に統合でき、または１つまたはいくつかの処理装置に統合できる。処理装置は、１つまたはいくつかのプロセッサーおよび没入型ビデオレンダリング装置との通信インターフェース、例えば、無線または有線通信インターフェースを含む。
【００１８】
［0049］  処理装置はまた、直接のまたはホームまたはローカルゲートウェイなどのネットワーク装置を介した、インターネットおよびクラウドに配置されたアクセスコンテンツなどの広域アクセス網との、第２の通信インターフェースを含む。処理装置はまた、イーサネットタイプのローカルアクセスネットワークインターフェースなどの第３のインターフェースを介して、ローカル記憶装置にアクセスできる。ある実施形態では、処理装置は、１つまたはいくつかの処理ユニットを有するコンピューターシステムであってよい。別の実施形態では、処理装置は、没入型ビデオレンダリング装置ビデオレンダリング装置への有線または無線接続を介して接続できる、または没入型ビデオレンダリング装置ビデオレンダリング装置中のハウジング中に挿入して同様のコネクタまたは無線での接続を介して通信できるスマートフォンであってよい。処理装置の通信インターフェースは、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはブルートゥース（登録商標）インターフェース）である。
【００１９】
［0050］  処理機能が没入型ビデオレンダリング装置で実施される場合、没入型ビデオレンダリング装置は、コンテンツを受信および／または送信するための、直接の、またはゲートウェイを介したネットワークへのインターフェースを備え得る。
【００２０】
［0051］  別の実施形態では、システムは、没入型ビデオレンダリング装置および処理装置と通信する補助装置を含む。このような実施形態では、この補助装置は、少なくとも１つの処理機能を含み得る。
【００２１】
［0052］  没入型ビデオレンダリング装置は、１つまたはいくつかのディスプレイを含み得る。装置は、そのそれぞれのディスプレイの前にレンズなどの光学素子を用いてもよい。ディスプレイはまた、スマートフォンまたはタブレットの場合のように、没入型表示装置の一部であり得る。別の実施形態では、ディスプレイおよび光学素子は、ヘルメット、眼鏡、または使用者が着用できるバイザー中に埋め込んでもよい。没入型ビデオレンダリング装置はまた、後述のように、いくつかのセンサーを統合し得る。没入型ビデオレンダリング装置はまた、いくつかのインターフェースまたはコネクタを備えることができる。それは、センサー、処理機能、手持ち式のまたはその他の体部位関連装置またはセンサーと通信するために、１つまたはいくつかの無線モジュールを備え得る。
【００２２】
［0053］  没入型ビデオレンダリング装置はまた、１つまたはいくつかのプロセッサーにより実行され、コンテンツをデコードするようにまたはコンテンツを処理するように構成された処理機能も備え得る。ここで、コンテンツを処理することにより、表示できるコンテンツを準備する全ての機能が理解される。これは、例えば、コンテンツのデコード、それを表示する前のコンテンツのマージングおよび表示装置に適合させるためのコンテンツの修正を含み得る。
【００２３】
［0054］  没入型コンテンツレンダリング装置の１つの機能は、仮想ボリュームとして構造化されたコンテンツの少なくとも一部を捕捉する仮想カメラを制御することである。このシステムは、仮想カメラの姿勢を処理するために、使用者の姿勢、例えば、使用者の頭の姿勢を全てまたは部分的に追跡する姿勢追跡センサーを含み得る。いくつかの測位センサーにより、使用者の移動を追跡し得る。システムは、環境に関連する、例えば、照明、温度または音響状態を測定するための他のセンサーも含み得る。このようなセンサーはまた、使用者の身体に関連してもよく、例えば、使用者の発汗または心拍数を測定するためであってもよい。これらのセンサーを介して取得された情報を使用して、コンテンツを処理し得る。システムはまた、使用者入力装置（例えば、マウス、キーボード、遠隔制御装置、ジョイスティック）を備え得る。使用者入力装置からの情報をもちいて、コンテンツを処理、ユーザーインターフェースを管理、または仮想カメラの姿勢を制御し得る。センサーおよび使用者入力装置は、有線または無線通信インターフェースを介して処理装置および／または没入型レンダリング装置と通信する。
【００２４】
［0055］  図２〜６では、拡張現実、仮想現実、拡張仮想感または拡張現実から仮想現実までの任意のコンテンツを表示するための、この第１のタイプのシステムのいくつかの実施形態が示される。
【００２５】
［0056］  図２は、没入型ビデオをデコード、処理およびレンダリングするように構成された特定の実施形態を示す。このシステムは、没入型ビデオレンダリング装置１０、センサー２０、使用者入力装置３０、コンピューター４０およびゲートウェイ５０（オプション）を備える。
【００２６】
［0057］  図１０に示した没入型ビデオレンダリング装置１０は、ディスプレイ１０１を備える。このディスプレイは、例えば、ＯＬＥＤまたはＬＣＤタイプである。没入型ビデオレンダリング装置１０は、例えば、ＨＭＤ、タブレットまたはスマートフォンである。装置１０は、タッチサーフェス１０２（例えば、タッチパッドまたは触覚スクリーン）、カメラ１０３、少なくとも１つのプロセッサー１０４および少なくとも１つの通信インターフェース１０６と接続した記憶装置１０５を備え得る。少なくとも１つのプロセッサー１０４は、センサー２０から受信した信号を処理する。センサーからの一部の測定値は、装置の姿勢を計算し、仮想カメラを制御するために使用される。姿勢推定に使用されるセンサーは、例えば、ジャイロスコープ、加速度計または羅針盤である。例えば、カメラリグを使った、さらに複雑なシステムも使用可能である。この場合、少なくとも１つのプロセッサーは、画像処理を行って装置１０の姿勢を推定する。いくつかのその他の測定値を使用して、環境条件または使用者の反応に応じて、コンテンツが処理される。環境および使用者を観察するのに使用されるセンサーは、例えば、マイクロフォン、光センサーまたは接触センサーである。例えば、使用者の目を追跡するビデオカメラなどを使った、さらに複雑なシステムも使用可能である。この場合、少なくとも１つのプロセッサーは、画像処理を行って、予測された測定値を操作する。センサー２０および使用者入力装置３０からのデータはまた、これらのセンサーの入力に応じて処理するコンピューター４０に送信できる。
【００２７】
［0058］  記憶装置１０５は、プロセッサー１０４用のパラメーターおよびコードプログラム命令を含む。記憶装置１０５はまた、センサー２０および使用者入力装置３０から受診したパラメーターを含み得る。通信インターフェース１０６は、没入型ビデオレンダリング装置をコンピューター４０と通信可能にする。処理装置の通信インターフェース１０６は、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはブルートゥース（登録商標）インターフェース）である。コンピューター４０はデータを送信し、必要に応じ、没入型ビデオレンダリング装置１０に制御コマンドを送信する。コンピューター４０は、データ処理、すなわち、没入型ビデオレンダリング装置１０によるディスプレイ用にデータを準備する役割を担う。処理は、コンピューター４０のみにより実施でき、または処理の一部はコンピューターにより、および一部は没入型ビデオレンダリング装置１０により実施できる。コンピューター４０は、直接に、またはゲートウェイまたはネットワークインターフェース５０を介して、インターネットに接続される。コンピューター４０は、インターネットから没入型ビデオ特有のデータを受信し、これらのデータを処理し（例えば、それらをデコードし、没入型ビデオレンダリング装置１０により表示されようとしているビデオコンテンツの一部を可能な限り準備する）、表示のために、処理したデータを没入型ビデオレンダリング装置１０に送信する。別の形態では、システムはまた、没入型ビデオ特有のデータが保存されるローカル記憶装置（示していない）を含んでもよく、前記ローカル記憶装置は、コンピューター４０上に、またはローカルエリアネットワークを介してアクセス可能な、例えば、ローカルサーバー上にあってもよい（示していない）。
【００２８】
［0059］  図３は、第２の実施形態を示す。この実施形態では、ＳＴＢ９０が、直接接続のインターネット（すなわち、ＳＴＢ９０は、ネットワークインターフェースを備える）またはゲートウェイ５０経由などのネットワークに接続される。ＳＴＢ９０は、ワイヤレスインターフェースまたは有線インターフェースを介して、テレビセット１００または没入型ビデオレンダリング装置２００などのレンダリング装置に接続される。ＳＴＢの古典的機能に加えて、ＳＴＢ９０は、テレビ１００上または任意の没入型ビデオレンダリング装置２００上でレンダリングするためにビデオコンテンツを処理する処理機能を備える。これらの処理機能は、コンピューター４０のために説明されたものと同じであり、ここでは再度説明しない。センサー２０および使用者入力装置３０はまた、以前に図２に関して説明したものと同じタイプである。ＳＴＢ９０は、没入型ビデオ特有のデータをインターネットから取得する。別の形態では、ＳＴＢ９０は、没入型ビデオ特有のデータを没入型ビデオ特有のデータが保存されているローカル記憶装置（示していない）から取得する。
【００２９】
［0060］  図４は、図２に示されるものに関連する第３の実施形態を示す。ゲーム機６０はコンテンツデータを処理する。ゲーム機６０はデータを送信し、必要に応じ、没入型ビデオレンダリング装置１０に制御コマンドを送信する。ゲーム機６０は、没入型ビデオ特有のデータを処理し、表示するために、処理したデータを没入型ビデオレンダリング装置１０に送信するように構成される。処理は、ゲーム機６０のみにより実施でき、または処理の一部は、没入型ビデオレンダリング装置１０により実施できる。
【００３０】
［0061］  ゲーム機６０は、直接に、またはゲートウェイまたはネットワークインターフェース５０を介して、インターネットに接続される。ゲーム機６０は、没入型ビデオ特有のデータをインターネットから取得する。別の形態では、ゲーム機６０は、没入型ビデオ特有のデータが保存されるローカル記憶装置（示していない）から没入型ビデオ特有のデータを取得し、前記ローカル記憶装置は、ゲーム機６０上に、または例えば、ローカルエリアネットワークを介してアクセス可能なローカルサーバー上にあってもよい（示していない）。
【００３１】
［0062］  ゲーム機６０は、インターネットから没入型ビデオ特有のデータを受信し、これらのデータを処理し（例えば、それらをデコードし、表示されようとしているビデオの一部を可能な限り準備する）、表示のために、処理したデータを没入型ビデオレンダリング装置１０に送信する。ゲーム機６０は、センサー２０および使用者入力装置３０からデータを受信し、それらを使って、インターネットまたはローカル記憶装置から取得した没入型ビデオ特有のデータを処理し得る。
【００３２】
［0063］  図５は、前記第１のタイプのシステムの第４の実施形態を示し、没入型ビデオレンダリング装置７０は、ハウジング７０５に挿入されたスマートフォン７０１により形成される。スマートフォン７０１は、インターネットに接続され得、したがって、没入型ビデオ特有のデータをインターネットから取得し得る。別の形態では、スマートフォン７０１は、没入型ビデオ特有のデータが保存されるローカル記憶装置（示していない）から没入型ビデオ特有のデータを取得し、前記ローカル記憶装置は、スマートフォン７０１上に、または例えば、ローカルエリアネットワークを介してアクセス可能なローカルサーバー上にあってもよい（示していない）。
【００３３】
［0064］  没入型ビデオレンダリング装置７０は、没入型ビデオレンダリング装置７０の好ましい実施形態を与える図１１に関連して説明される。これは、必要に応じ、少なくとも１つのネットワークインターフェース７０２およびスマートフォン７０１用のハウジング７０５を備える。スマートフォン７０１は、スマートフォンおよびディスプレイの全ての機能を含む。スマートフォンのディスプレイは、没入型ビデオレンダリング装置７０のディスプレイとして使用される。したがって、スマートフォン７０１のもの以外のディスプレイは必要ない。しかし、スマートフォンディスプレイ上のデータを見ることができるレンズなどの光学素子７０４の必要性は存在する。スマートフォン７０１は、センサー２０および使用者入力装置３０から受信したデータに従って、没入型ビデオ特有のデータを可能な限り処理する（例えば、デコードおよび表示用に準備する）ように構成される。センサーからの一部の測定値は、装置の姿勢を計算し、仮想カメラを制御するために使用される。姿勢推定に使用されるセンサーは、例えば、ジャイロスコープ、加速度計または羅針盤である。例えば、カメラリグを使った、さらに複雑なシステムも使用可能である。この場合、少なくとも１つのプロセッサーは、画像処理を行って装置１０の姿勢を推定する。いくつかのその他の測定値を使用して、環境条件または使用者の反応に応じて、コンテンツが処理される。環境および使用者を観察するのに使用されるセンサーは、例えば、マイクロフォン、光センサーまたは接触センサーである。例えば、使用者の目を追跡するビデオカメラなどを使った、さらに複雑なシステムも使用可能である。この場合、少なくとも１つのプロセッサーは、画像処理を行って、予測された測定値を操作する。
【００３４】
［0065］  図６は、前記第１のタイプのシステムの第５の実施形態を示し、没入型ビデオレンダリング装置８０は、データコンテンツを処理し、表示するための全ての機能を備える。このシステムは、没入型ビデオレンダリング装置８０、センサー２０、使用者入力装置３０を備える。没入型ビデオレンダリング装置８０は、センサー２０および使用者入力装置３０から受診したデータに従って、没入型ビデオ特有のデータを可能な限り処理する（例えば、デコードおよび表示用に準備する）ように構成される。没入型ビデオレンダリング装置８０は、インターネットに接続され得、したがって、没入型ビデオ特有のデータをインターネットから取得し得る。別の形態では、没入型ビデオレンダリング装置８０は、没入型ビデオ特有のデータが保存されるローカル記憶装置（示していない）から没入型ビデオ特有のデータを取得し、前記ローカル記憶装置は、レンダリング装置８０上に、または例えば、ローカルエリアネットワークを介してアクセス可能なローカルサーバー上にあってもよい（示していない）。
【００３５】
［0066］  没入型ビデオレンダリング装置８０は、図１２に示される。没入型ビデオレンダリング装置は、ディスプレイ８０１を備える。ディスプレイは、例えば、ＯＬＥＤまたはＬＣＤタイプ、タッチパッド（オプション）８０２、カメラ（オプション）８０３、少なくとも１つのプロセッサー８０４および少なくとも１つの通信インターフェース８０６と接続した記憶装置８０５であり得る。記憶装置８０５は、プロセッサー８０４用のパラメーターおよびコードプログラム命令を含む。記憶装置８０５はまた、センサー２０および使用者入力装置３０から受診したパラメーターを含み得る。記憶装置はまた、没入型ビデオコンテンツ特有のデータを保存するのに十分な大きさであり得る。このために、いくつかのタイプの記憶装置が存在し得、記憶装置８０５は、単一の記憶装置であってよく、またはいくつかのタイプの記憶装置（ＳＤカード、ハードディスク、揮発性または不揮発性記憶装置、．．．）であってよい。通信インターフェース８０６は、没入型ビデオレンダリング装置をインターネットネットワークと通信可能にする。プロセッサー８０４は、ビデオ特有のデータを処理して、そのデータをディスプレイ８０１上で表示する。カメラ８０３は、画像処理ステップのために環境画像を捕捉する。データは、没入型ビデオレンダリング装置を制御するために、このステップから抽出される。
【００３６】
［0067］  図７〜９には、拡張現実、仮想現実、拡張仮想感または拡張現実から仮想現実までの任意のコンテンツを表示するための、第２のタイプの仮想現実システムが示され、これは、没入型（投影）ウオールタイプでもあり得る。このような場合、システムは、通常は巨大サイズの１つのディスプレイを備え、そこにコンテンツが表示される。仮想現実システムはまた、表示するためにコンテンツを処理するための１つまたはいくつかの処理機能およびコンテンツまたはセンサーから情報を受信するためのネットワークインターフェースを備える。
【００３７】
［0068］  ディスプレイは、ＬＣＤ、ＯＬＥＤ、またはいくつかの他のタイプであってよく、レンズなどの光学素子を備えてもよい。ディスプレイはまた、後述のいくつかのセンサーを備えることができる。ディスプレイはまた、いくつかのインターフェースまたはコネクタを備えることができる。それは、センサー、プロセッサー、手持ち式のまたはその他の体部位関連装置またはセンサーと通信するために、１つまたはいくつかの無線モジュールを備えることができる。
【００３８】
［0069］  処理機能は、ディスプレイとおなじ装置であってもよく、または別の装置中に、またはその一部についてディスプレイ中に、およびその一部について別の装置中にあってもよい。
【００３９】
［0070］  ここで、コンテンツを処理することにより、表示できるコンテンツを準備する必要がある全ての機能が理解できる。これは、コンテンツのデコード、それを表示する前のコンテンツのマージングおよび表示装置に適合させるためのコンテンツの修正、またはいくつかの他の処理を含んでも、含まなくてもよい。
【００４０】
［0071］  処理機能が表示装置中に全く含まれない場合には、表示装置は、無線または有線インターフェースなどの第１の通信インターフェースを介してディスプレイと通信できる。
【００４１】
［0072］  いくつかのタイプの処理装置が想定できる。例えば、１つまたはいくつかの処理ユニットを有するコンピューターシステムを想定できる。また、有線または無線接続を介してディスプレイに接続でき、コネクタまたは無線での接続を介して同様にディスプレイと通信できるスマートフォンを見ることもできる。
【００４２】
［0073］  処理装置はまた、直接のまたはホームまたはローカルゲートウェイなどのネットワーク装置を介した、インターネットおよびクラウドに配置されたコンテンツへのアクセスなどの広域アクセス網との第２の通信インターフェースを備えることもできる。処理装置はまた、イーサネットタイプのローカルアクセスネットワークインターフェースなどの第３のインターフェースを介して、ローカル記憶装置にアクセスできる。
【００４３】
［0074］  センサーはまた、ディスプレイそれ自体（例えば、カメラ、マイクロフォン）上の、またはディスプレイ環境（例えば、光センサー、タッチパッド）中に配置された、システムの一部であってもよい。スマートフォン、タブレット、遠隔制御装置、またはハンドへルドデバイスなどの他の対話型装置もまた、システムの一部であってよい。
【００４４】
［0075］  センサーは、環境センシング、例えば、照明条件に関連してもよいが、位置追跡などの人体センシングに関連してもよい。センサーは、１つまたはいくつかの装置中に配置できる。例えば、照明条件または温度または任意の他の物理的パラメーターを測定する部屋に配置された１つまたはいくつかの環境センサーが存在し得る。使用者に関連するセンサーが存在し得、これらは、ハンドヘルドデバイス中にあっても、椅子（例えば、人が座る椅子）中にあっても、使用者の靴中または足中にあっても、および他の身体の部分上にあってもよい。カメラ、マイクロフォンはまた、ディスプレイに接続またはディスプレイ中に配置できる。これらのセンサーは、有線または無線通信を介してディスプレイおよび／または処理装置と通信できる。
【００４５】
［0076］  コンテンツは、いくつかの実施形態に従って、仮想現実システムにより受信できる。
【００４６】
［0077］  コンテンツは、例えば、仮想現実システム中に組み込まれたもの（例えば、ローカルハードディスク、メモリカード）などのローカル記憶装置を介して受信され得る、またはクラウドからストリーミングされ得る。
【００４７】
［0078］  次の段落は、拡張現実、仮想現実、拡張仮想感または拡張現実から仮想現実までの任意のコンテンツを表示するための、この第２のタイプのシステムを示すいくつかの実施形態を説明する。図５〜７は、これらの実施形態を図示する。
【００４８】
［0079］  図７は、第２のタイプのシステムを示す。これは、コンピューター４０００からデータを受信する没入型（投影）ウオールであるディスプレイ１０００を備える。コンピューター４０００は、没入型ビデオデータをインターネットから受信し得る。コンピューター４０００は通常、直接に、またはゲートウェイまたはゲートウェイ５０００またはネットワークインターフェースを介して、インターネットに接続される。別の形態では、没入型ビデオは、没入型ビデオ特有のデータが保存されるローカル記憶装置（示していない）からコンピューター４０００により取得され、前記ローカル記憶装置は、コンピューター４０００中にあってもよく、または例えば、ローカルエリアネットワークを介してアクセス可能な、ローカルサーバー中にあってもよい（示していない）。
【００４９】
［0080］  このシステムはまた、センサー２０００および使用者入力装置３０００も備える。没入型ウオール１０００は、ＯＬＥＤまたはＬＣＤタイプであってもよい。それは、１つまたはいくつかのカメラを装着できる。没入型ウオール１０００は、センサー２０００（または複数のセンサー２０００）から受信したデータを処理し得る。センサー２０００から受信したデータは、照明条件、温度、使用者の環境、例えば、オブジェクトの位置に関連してよい。
【００５０】
［0081］  没入型ウオール１０００はまた、使用者入力装置３０００から受信したデータを処理し得る。使用者入力装置３０００は、使用者の感情に対するフィードバックをあたえるために、触覚信号などのデータを送信する。使用者入力装置３０００の例は、スマートフォンなどのハンドヘルドデバイス、遠隔制御装置、およびジャイロスコープ機能を有する装置である。
【００５１】
［0082］  センサー２０００および使用者入力装置３０００のデータはまた、コンピューター４０００にも送信され得る。コンピューター４０００は、これらのセンサー／使用者入力装置から受信したデータに従って、ビデオデータを処理（例えば、それらをデコード、ディスプレイ用に準備）し得る。センサー信号は、没入型ウオールの通信インターフェースを介して受信できる。この通信インターフェースは、ブルートゥースタイプ、ＷＩＦＩタイプまたは任意の他の接続タイプであってよく、無線が好ましいが、有線接続でもよい。
【００５２】
［0083］  コンピューター４０００は処理データを送信し、必要に応じ、没入型ウオール１０００に制御コマンドを送信する。コンピューター４０００は、データ処理する、すなわち、没入型ウオール１０００により表示するために、ディスプレイに対するデータを準備するように構成される。処理は、コンピューター４０００のみにより実施でき、または処理の一部はコンピューター４０００により、および一部は没入型ウオール１０００により実施できる。図８は、第２のタイプの別のシステムを示す。これは、没入型（投影）ウオール６０００を備え、これは、処理し（例えば、デコードおよびディスプレイ用のデータを準備し）、ビデオコンテンツを表示するように構成される。これは、センサー２０００、使用者入力装置３０００をさらに備える。
【００５３】
［0084］  没入型ウオール６０００は、ゲートウェイ５０００を介してインターネットから、またはインターネットから直接に没入型ビデオデータを受信する。別の形態では、没入型ビデオデータは、没入型ビデオ特有のデータが保存されるローカル記憶装置（示していない）から没入型ウオール６０００により取得され、前記ローカル記憶装置は、没入型ウオール６０００中に、または例えば、ローカルエリアネットワークを介してアクセス可能なローカルサーバー中にあってもよい（示していない）。
【００５４】
［0085］  このシステムはまた、センサー２０００および使用者入力装置３０００も備える。没入型ウオール６０００は、ＯＬＥＤまたはＬＣＤタイプであってもよい。それは、１つまたはいくつかのカメラを装着できる。没入型ウオール６０００は、センサー２０００（または複数のセンサー２０００）から受信したデータを処理し得る。センサー２０００から受信したデータは、照明条件、温度、使用者の環境、例えば、オブジェクトの位置に関連してよい。
【００５５】
［0086］  没入型ウオール６０００はまた、使用者入力装置３０００から受信したデータを処理し得る。使用者入力装置３０００は、使用者の感情に対するフィードバックをあたえるために、触覚信号などのデータを送信する。使用者入力装置３０００の例は、スマートフォンなどのハンドヘルドデバイス、遠隔制御装置、およびジャイロスコープ機能を有する装置である。
【００５６】
［0087］  没入型ウオール６０００は、これらのセンサー／使用者入力装置から受信したデータに従って、ビデオデータを処理（例えば、それらをデコード、ディスプレイ用に準備）し得る。センサー信号は、没入型ウオールの通信インターフェースを介して受信できる。この通信インターフェースは、ブルートゥースタイプ、ＷＩＦＩタイプまたは任意の他の接続タイプであってよく、無線が好ましいが、有線接続でもよい。没入型ウオール６０００は、少なくとも１種の通信インターフェースを備え、センサーおよびインターネットと通信し得る。図９は、没入型ウオールがゲームに使用される第３の実施形態を示す。１つまたはいくつかのゲーム機７０００は、好ましくはワイヤレスインターフェースを介して没入型ウオール６０００に接続される。没入型ウオール６０００は、ゲートウェイ５０００を介してインターネットから、またはインターネットから直接に没入型ビデオデータを受信する。別の形態では、没入型ビデオデータは、没入型ビデオ特有のデータが保存されるローカル記憶装置（示していない）から没入型ウオール６０００により取得され、前記ローカル記憶装置は、没入型ウオール６０００中に、または例えば、ローカルエリアネットワークを介してアクセス可能なローカルサーバー中にあってもよい（示していない）。
【００５７】
［0088］  ゲーム機７０００は、没入型ウオール６０００に命令および使用者入力パラメーターを送信する。没入型ウオール６０００は、センサー２０００および使用者入力装置３０００およびゲーム機７０００から受信した入力データに可能な限り従って、ディスプレイ用のコンテンツを準備するために、没入型ビデオコンテンツを処理する。没入型ウオール６０００はまた、表示されるコンテンツを保存する内部記憶装置も備える。
【００５８】
［0089］  次のセクションは、コーデック内の動き補償性能の改善による、いわゆる全方向／４πステラジアン／没入型ビデオのエンコードについて扱う。完全または部分的な、無限遠の３Ｄ表面、無限遠に見えるように補正された３Ｄ表面の投影像に対応する長方形フレームがビデオコーデックによりエンコードされると仮定する。本発明の提案は、コーデック性能を改善するためにフレームのレイアウトに適合させるように、動き補償処理を改造することである。これらの改造は、通常、長方形フレームのエンコードによる、現在のビデオコーデックに対する最小限の変更を想定してなされる。
【００５９】
［0090］  全方位ビデオは、環境の４πステラジアン、または時には、全３Ｄ表面のサブパートをエンコードするのに使用されるフォーマットを記載するのに使用される１つの用語である。これは、いくつかの対話型装置を用いて、ＨＭＤまたは標準的ディスプレイ中で、「見回す」ように、理想的に可視化されることを目指している。ビデオは、さらに立体的であっても、そうでなくてもよい。
【００６０】
［0091］  時には、他の用語：ＶＲ、３６０、パノラマ方式、４πステラジアン、没入型、を使用してこのようなビデオが設計されるが、それらは必ずしも同じフォーマットを意味しない。
【００６１】
［0092］  さらに進んだフォーマット（埋め込み３Ｄ情報（ｅｍｂｅｄｄｉｎｇ  ３Ｄ  ｉｎｆｏｒｍａｔｉｏｎ）など）もまた同じ用語で表され、本明細書で記載のものと原理的に、適合する場合もしない場合もある。
【００６２】
［0093］  実際には、投影のために使用される３Ｄ表面は、凸状で単純な、例えば、球体、立方体、ピラミッドである。
【００６３】
［0094］  本発明は、極めて大きな視界で、例えば、魚眼レンズのような非常に短い焦点距離で取得される標準的画像の場合にも使用できる。
一例として、我々は、全方位ビデオ用の２つの可能なフレームレイアウトの特徴を示す。
【表１】
2019537294.tif 000003
【００６４】
［0095］  図１４は、２つのマッピングに使用された、表面からフレームへのマッピングを示す。図１４と図１６は、エンコードするために得られたフレームを示す。
【００６５】
［0096］  図１８は、フレーム（左）および表面（中央／右）用に使用された座標系を示す。フレームＦのピクセルＰ（ｘ，ｙ）は、球体上のポイントＭ（θ，φ）に対応する。記号は次の通り；
Ｆ：エンコーダーフレーム、すなわち、エンコーダーに送信されるフレーム
Ｓ：無限遠の表面で、フレームＦにマッピングプされる
Ｇ：レンダリングフレーム：これは、特定の視点から、すなわち、視点の角度（θ，φ）を固定して、レンダリングした場合に認められるフレーム。レンダリングフレーム特性は、最終ディスプレイ（ＨＭＤ、ＴＶスクリーン、など）：水平および垂直視界、ピクセル解像度、などに依存する。
【００６６】
［0097］  立方体、ピラミッドなどのいくつかの３Ｄ表面に対して、３Ｄ表面のパラメーター表示は連続的ではないが、区分的に定義される（通常は面で）。
【００６７】
［0098］  次のセクションは、最初に、全方位ビデオの典型的なレイアウト、正距円筒図法レイアウトの問題について説明するが、一般的な原理は、３Ｄ表面Ｓから長方形フレームＦへのいずれのマッピングにも適用可能である。同じ原理は、例えば、キューブマッピングレイアウトにも当てはまる。
【００６８】
［0099］  図１９は、場面の直線に沿って動くオブジェクトおよびレンダリングしたフレーム中の得られた見かけ動きの例を示す。図からわかるように、レンダリングした画像中で動きが完全に直線である場合でも、エンコードするフレームは、レンダリングしたフレーム中での拡大および回転を含む不均一な動きを示す。既存の動き補償は、デフォルトモードとして、純粋平行移動の四角ブロックを用いて動きを補償するために、このようなワープされたビデオに対しては適さない。
【００６９】
［0100］  本明細書で記載の実施形態は、フレームのレイアウトに基づく、ＨＥＶＣなどの既存のビデオコーデックの動き補償処理を改造することを提案する。
フレームをマップして球体をエンコードするように選択される特定のレイアウトは、シーケンスにより固定され、例えば、ＨＥＶＣのシークエンスパラメータセット（ＳＰＳ）におけるシーケンスレベルで信号送信できる。
【００７０】
［0101］  次のセクションは、任意のフレームレイアウトを用いて、動き補償を実施する方法（またはエンコードツールとしての評価）を説明する。
【００７１】
［0102］  最初の方策では、それぞれのブロックの動きは、単一ベクターで表されると仮定する。この方策では、動きモデルは、図２０に示されるように、ブロックに対し、ブロックの４つのコーナーから計算される。
【００７２】
［0103］  ブロックｄＰの現在の動きベクトルを踏まえて、デコード時間に、次の処理ステップが適用される。候補動きベクトルｄＰを試験する場合、同じ処理をエンコード時間にも適用できる。
現在のブロックｉサイズに対し、入力は：
ブロック中心座標Ｐ、ブロックサイズ２＊ｄｗおよび２＊ｄｈ、およびブロック動きベクトルｄＰ、である。
出力は、動き補償Ｄｉ後の現在のブロックの各コーナーの画像である。
【００７３】
［0104］  各コーナーの画像は、次のように計算される（図２１参照）：
１．動き補償後のＰの画像Ｑを計算する（図２１ａ）：
Ｑ＝Ｐ＋ｄＰ
２．ＰのブロックＢのそれぞれのコーナーＣｉ（図２１ａ）に対し、表面上のコーナーの画像Ｃｉ’および表面上のＰの画像Ｐｉ’を計算する（図２１ｂ）：
Ｃ０＝Ｐ−ｄｗ−ｄｈ
Ｃ１＝Ｐ＋ｄｗ−ｄｈ
Ｃ２＝Ｐ＋ｄｗ＋ｄｈ
Ｃ３＝Ｐ−ｄｗ＋ｄｈ
【数１】
2019537294.tif 000004
ｄｗおよびｄｈは半分のブロックサイズの幅および高さである。
３．デカルト座標系での３ＤポイントであるポイントＣｉ’のＣｉ３ｄおよびＰｉ’のＰｉ３ｄを計算する（図２１ｂ）：
【数２】
2019537294.tif 000005
４．各コーナーの中心に対する３Ｄオフセットを計算する（図２１ｂ）：
【数３】
2019537294.tif 000006
５．画像Ｑ’およびその後ＱのＱ３ｄを計算する（図２１ｃ）：
【数４】
2019537294.tif 000007
６．前に計算した３Ｄオフセットを用いてＱ３ｄから３ＤコーナーＤ３ｄを計算する（図２１ｃ）：
【数５】
2019537294.tif 000008
７．各変位させたコーナーから計算して逆像に戻す（図２１ｄ）：
【数６】
2019537294.tif 000009
【００７４】
［0105］  正距円筒図法マッピングの場合には、ブロックの平面は球体パッチで近似される。キューブマッピングの場合は、例えば、近似は行わない。
【００７５】
［0106］  図２２は、正距円筒図法レイアウトに対するブロックベースのワーピング動き補償の結果を示す。図２２は、動き予測ブロックおよび上記方法を使用した基準図からの巻き戻しブロックを示す。
【００７６】
［0107］  第２の方策は、第１の方策の変形であるが、４つのコーナーのみを補正し、動き補償のためにブロックをワーピングする代わりに、各ピクセルを個々に補正する。
【００７７】
［0108］  第１の方策の処理における、コーナーの計算を各ピクセルまたはピクセル群の計算、例えば、ＨＥＶＣの４ｘ４ブロックの計算で置き換える。
【００７８】
［0109］  第３の方策は、ピクセル／ピクセル群当たり１つの動きベクトルによるピクセルベースの補正を用いた動き補償である。ピクセル／ピクセル群当たりの動きベクトル予測値を得ることができる。次に、この予測値ｄＰｉを使って、動き残渣（ＭＶｄ）を加えて、ピクセルＰｉ当たりの動きベクトルＶｉを形成する：
Ｖｉ＝ｄＰｉ＋ＭＶｄ
【００７９】
［0110］  第４の方策は、極座標ベースの動きベクトルパラメーター表示を用いるものである。ブロックの動きベクトルは、極座標ｄθ，φで表すことができる。
【００８０】
［0111］  ブロックの動き補償をする処理は、次のようになる：
１．表面上のＰの画像Ｐ’およびＰ’の３ＤポイントＰ３ｄを計算する：
【数７】
2019537294.tif 000010
２．動きベクトルｄθ、ｄφを使ってポイントＰ３ｄを回転する：
【数８】
2019537294.tif 000011
Ｒは、極角ｄθ、ｄφによる回転行列である。
我々は次に、計算したＱ３ｄを用いて、方策１の処理を適用できる：
【数９】
2019537294.tif 000012
【００８１】
［0112］  動きベクトルが極座標で表されるので、単位は、マッピングに応じて変更できる。単位は、マッピング関数ｆを用いて見つけられる。正距円筒図法マッピングの場合、画像中の１つのピクセルの単位は、２π／幅の角度に相当し、式中の幅は、画像の幅である。
【００８２】
［0113］  既存の擬似動き補償モデルの場合には、図２４に示すように、２つのベクトルを用いて、現在のブロックの擬似動きを導出する。
【数１０】
2019537294.tif 000013
式中、（ｖ０ｘ，ｖ０ｙ）は、左上コーナーの制御点の動きベクトルであり、（Ｖ１ｘ，ｖ１ｙ）は、右上コーナーの制御点の動きベクトルである。
ブロックの各ピクセル（または各サブブロック）は上記式により計算された動きベクトルを有する。
【００８３】
［0114］  プロジェクションマッピングの場合、ブロックの動き補償の方法は、以下のように、また図２５に示すように応用できる。最初に、ローカル擬似変換を計算する。次に、変換ブロックがプロジェクションマッピングされ、およびマッピングし戻される。
１．擬似動き補償後のブロックＰの中心の画像Ｑを計算する：
【数１１】
2019537294.tif 000014
２．Ｐの３Ｄポイント画像を計算する：
【数１２】
2019537294.tif 000015
３．各サブブロックまたはピクセルに対し、サブブロック／ピクセルのローカル擬似変換値を計算する：
ｄＶＬ＝ＤＶ−ｄＰ
４．各サブブロックのローカル変換値を計算する：
ＶＬ＝Ｖ＋ｄＶＬ
５．各ローカルに変換されたサブブロックの３Ｄポイントを計算する：
【数１３】
2019537294.tif 000016
６．各サブブロックの中心Ｐに対する３Ｄオフセットを計算する：
【数１４】
2019537294.tif 000017
７．Ｑの画像Ｑ’およびその後Ｑ３ｄを計算する：
【数１５】
2019537294.tif 000018
８．前に計算した３Ｄオフセットを用いてＱ３ｄから３ＤポイントＷ３ｄを計算する：
【数１６】
2019537294.tif 000019
９．各変位させたサブブロックの逆像に戻す計算をする：
【数１７】
2019537294.tif 000020
Ｗは、動き補償すべき点の基準図中の点座標である。
【００８４】
［0115］  ＯＢＭＣモードでは、図２６に示すように、現在の動きベクトルならびに隣接ブロックの動きベクトルで補償された、いくつかのサブブロックの加重合計が計算される。
このモードに対する可能な改造は、最初に、サブブロックの動き補償を行う前に、現在のブロックのローカルフレーム中の隣接ブロックの動きベクトルを補正することである。
【００８５】
［0116］  上述のスキームのいくつかの変形には、マップ／アンマップ検索推定を使用できるパターンマッチ動きベクトル誘導を用いたフレームレートアップ変換（Ｆｒａｍｅ  Ｒａｔｅ  Ｕｐ  Ｃｏｎｖｅｒｓｉｏｎ）（ＦＲＵＣ）、二方向オプティカルフロー（ＢＩＯ）、イントラ予測に類似の式を用いるローカル照射補償（ＬＩＣ）、および高度時間動きベクトル予測（ＡＴＭＶＰ）を挙げることができる。
【００８６】
［0117］  記載実施形態およびその変形の利点は、全方位ビデオの動きベクトル補償処理の改善から生じるコード効率の改善である。この処理は、マッピングｆを用いて、エンコードするフレームＦを、フレームのレンダリングに使用する表面Ｓにマッピングする。
【００８７】
［0118］  フレームＦから３Ｄ表面Ｓへのマッピングを以下に説明する。２１は正距円筒図法マッピングを示す。このようなマッピングでは、関数ｆが次のように定義される：
【数１８】
2019537294.tif 000021
θ＝ｘ
φ＝ｙ
正規座標を仮定して、フレームＦ中のピクセルＭ（ｘ，ｙ）が球体上のポイントＭ’（θ，φ）にマッピングされる。
注：非正規座標の場合には、下記のようになる：
【数１９】
2019537294.tif 000022
【００８８】
［0119］  表面Ｓから３Ｄ空間へのマッピングは以下のように記載できる。Ｆ中のＭ（ｘ，ｙ）が球体（１８）上のＭ’（θ，φ）にマッピングされるとすると：
Ｍ３ｄの投影座標は、下式により与えられる：
【数２０】
2019537294.tif 000023
ポイントＭ３ｄからフレームＦに戻すために、逆変換Ｔ−１が計算される：
【数２１】
2019537294.tif 000024
ポイントＭ３ｄ（Ｘ，Ｙ，Ｚ）から、標準的デカルト座標から極座標変換を用いて、球体パラメーター表示に戻すことは、逆ｆの式により達成される：
【数２２】
2019537294.tif 000025
次に、
【数２３】
2019537294.tif 000026
注：単一の点（通常、極の位置）に対し、ＸおよびＹが０に近い場合は、下記のように直接設定する：
【数２４】
2019537294.tif 000027
注：モジュール方式の場合には特に注意すべきである。
【００８９】
［0120］  図２７は、平面の球体による近似を示す。左側の図には、完全計算が示され、右側の図には近似が示されている。
【００９０】
［0121］  キューブマッピングの場合には、表面のいくつかのレイアウトがフレーム内で可能である。図２８には、立方体マッピングの表面のレイアウトの２つの例を示す。フレームＦから表面Ｓへのマッピングが以下で説明できる。
全てのレイアウトに対し、マッピング関数ｆがフレームＦのピクセルＭ（ｘ，ｙ）を３Ｄ表面のポイントＭ’（ｕ，ｖ，ｋ）にマッピングする。ｋは、表面番号であり、（ｕ，ｖ）は立方体Ｓの表面上のローカル座標系である。
【数２５】
2019537294.tif 000028
以前のように、立方体面は、スケールファクターまで定められているので、任意に、例えば、
【数２６】
2019537294.tif 000029
を有するように選択される。
ここで、マッピングは、レイアウト２（図２９参照）を仮定して表現されるが、同じ論法はいずれのレイアウトにも当てはまる：
【数２７】
2019537294.tif 000030
ｗは、画像幅の１／３であり、ｈは画像（すなわち、図Ｆ中の立方体面のサイズ）の半分である。
逆関数ｆ−１は、上記式から直接導入できることに留意されたい：
【数２８】
2019537294.tif 000031
【００９１】
［0122］  図３０は、立方体表面Ｓから３Ｄ空間へのマッピングを示す。表面Ｓから３Ｄ空間へマッピングするために、ステップ２は、表面ｋ中のポイントの立方体上の３Ｄポイントへのマッピングに相当する：
【数２９】
2019537294.tif 000032
逆関数３ｄ−１は、上記式から直接導入できることに留意されたい：
【数３０】
2019537294.tif 000033
【００９２】
［0123］  改善された動きベクトル補償方法の一実施形態が図３１に示される。方法３１００は、開始ブロック３１０１で開始され、ブロック中心点およびブロック高さおよび幅を使ったブロックコーナーの計算のために制御はブロック３１１０に進む。画像コーナーおよびパラメトリック曲面上のブロックの中心点を取得するために、制御は、ブロック３１１０からブロック３１２０に移る。パラメトリック曲面上のポイントの３次元表面への変換から３次元コーナーを取得するために、制御は、ブロック３１２０からブロック３１３０に移る。ブロックの中心点に対するコーナーの３次元オフセットを取得するために、制御は、ブロック３１３０からブロック３１４０に移る。パラメトリック曲面および３次元表面上の動き補償されたブロックを計算するために、制御は、ブロック３１４０からブロック３１５０に移る。逆ワーピングおよび逆変換により、基準フレームから動き補償されたブロックコーナーの画像を計算するために、制御は、ブロック３１６０からブロック３１７０に移る。
【００９３】
［0124］  上述の方法は、動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをデコードする場合に、デコード操作として実施され、上述の方法は動き補償のために使用される。
【００９４】
［0125］  上述の方法は、動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをエンコードする場合に、エンコード操作として実施され、上述の方法は動き補償のために使用される。
【００９５】
［0126］  全方位ビデオにおける改善された動き補償のための装置の一実施形態が図３２に示される。装置３２００は、記憶装置３２２０と信号連通状態で接続されたプロセッサー３２１０を備える。プロセッサー３２１０と記憶装置３２２０との間に、双方向性接続として少なくとも１つの接続が示されるが、追加の一方向性または双方向性接続がその２つを接続できる。プロセッサー３２１０はまた、幅が指定されていない、入力ポートおよび出力ポートと共に示される。記憶装置３２２０はまた、出力ポートと共に示される。プロセッサー３２１０は、図３１の動き補償を実施するコマンドを実行する。
【００９６】
［0127］  本実施形態は、エンコーダーまたはデコーダーとしてそれぞれ用いて、動き補償を使って全方位ビデオ画像ブロックを予測することにより、ビデオ画像ブロックをエンコードまたはデコードでき、動き補償は、図３１のステップを含む。本実施形態はまた、図１〜図１２に示すシステムでも使用できる。
【００９７】
［0128］  図に示す各種要素の機能は、専用のハードウェアならびに適切なソフトウェアと連携してソフトウェアを実行できるハードウェアの使用により提供できる。プロセッサーにより提供される場合、機能は、単一の専用プロセッサーにより、単一共有プロセッサーにより、または複数の個別のプロセッサーでその内のいくつかが共有できるプロセッサーにより、提供できる。さらに、用語の「プロセッサー」または「制御装置」の明示的使用は、ソフトウェアを実行できるハードウェアのみを意味するように解釈されるべきではなく、限定されないが、暗黙的に、デジタル信号プロセッサー（「ＤＳＰ」）ハードウェア、ソフトウェア保存用の読み取り専用メモリー（「ＲＯＭ」）、ランダムアクセスメモリー（「ＲＡＭ」）、および不揮発性の記憶装置も含むことができる。
【００９８】
［0129］  その他のハードウェア、従来のおよび／またはカスタムも同様に含めることができる。同様に、図中に示すいずれの変更も概念的なものにすぎない。それらの機能は、専用のロジックにより、プログラム制御と専用ロジックとの相互作用により、あるいはマニュアルで、プログラムロジックの操作により実施でき、特定の技術は、文脈からより具体的に理解される実行者により選択可能である。
【００９９】
［0130］  本発明の記載は、本発明の原理を例示する。したがって、当業者なら、本明細書において明記または明示されていないが、本発明の原理を具体化し、本発明の範囲内に入る種々の配置を考え出すことができることは理解されよう。
【０１００】
［0131］  本明細書で引用されるすべての実施例および条件付き言語は、当該技術の推進に対して本発明者によりもたらされた本発明の原理および概念について読者の理解を教育上の目的のために支援することをも目的とするものであり、そのような具体的に記述された実施例および条件に限定されないものと解釈されるべきである。
【０１０１】
［0132］  さらに、本明細書において原理、態様を記述する記載、および本発明の原理の実施形態、ならびにその特定の実施例は、その構造的および機能的両方の等価物を包含することが意図されている。さらに、そのような等価物は、現在知られている等価物、および将来開発される等価物、すなわち、構造にかかわらず同一機能を実行する開発された任意の要素、の両方を含むことが意図されている。
【０１０２】
［0133］  したがって、例えば、当業者なら、本明細書で提供されるブロック図は、本発明の原理を具体化する例示的回路構成の概念的な図を表すものであることは理解されよう。同様に、任意のフローチャート、フローダイヤグラム、状態遷移図、擬似コード、などは、コンピューター可読媒体中で実質的に表され、コンピューターまたはプロセッサーにより、このようなコンピューターまたはプロセッサーが明示的に示されているかどうかにかかわらず、そのように実行される種々のプロセスを表すことは理解されよう。
【０１０３】
［0134］  これに関する特許請求の範囲において、指定機能を実施するための手段として表される任意の要素は、例えば、ａ）その機能を実行する回路素子の組み合わせ、またはｂ）したがって、ファームウェア、マイクロコード、などを含む、機能を実施するそのソフトウェアを実行するための適切な回路構成と組み合わせた任意の形態のソフトウェア、を含むその機能を実施する任意の方法を包含することが意図されている。特許請求の範囲により定められる本発明の原理は、種々の記述手段により提供される機能は、特許請求の範囲が求めるように組み合わされ、寄せ集められるという事実に存在する。したがって、これらの機能を提供できる任意の手段は、本明細書で示したものと等価であると見なされる。
【０１０４】
［0135］  本明細書において、「一実施形態（ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ）」または「ある実施形態（ａｎ  ｅｍｂｏｄｉｍｅｎｔ）」、ならびにその他のその変形例への言及は、その実施形態に関して記載された特定の特徴、構造、または特性、などが本発明の原理の少なくとも１つの実施形態に含まれているということを意味する。したがって、本明細書の全体の種々の箇所における「一実施形態において」または「ある実施形態において」という語句、および任意の他の変形表現は、必ずしも全てが同じ実施形態を参照することを意味しない。
【０１０５】
［0136］  結論として、前述の実施形態は、全方位ビデオの動きベクトル補償処理の改善から生じるコード効率の改善を示し、この処理は、マッピングｆを用いて、エンコードするフレームＦを、フレームのレンダリングに使用する表面Ｓにマッピングする。追加の実施形態は、前述の原理に基づいて容易に考え出すことができる。
【図１】
2019537294.tif 000034
【図２】
2019537294.tif 000035
【図３】
2019537294.tif 000036
【図４】
2019537294.tif 000037
【図５】
2019537294.tif 000038
【図６】
2019537294.tif 000039
【図７】
2019537294.tif 000040
【図８】
2019537294.tif 000041
【図９】
2019537294.tif 000042
【図１０】
2019537294.tif 000043
【図１１】
2019537294.tif 000044
【図１２】
2019537294.tif 000045
【図１３】
2019537294.tif 000046
【図１４】
2019537294.tif 000047
【図１５】
2019537294.tif 000048
【図１６】
2019537294.tif 000049
【図１７】
2019537294.tif 000050
【図１８】
2019537294.tif 000051
【図１９】
2019537294.tif 000052
【図２０】
2019537294.tif 000053
【図２１（Ａ）−２１（Ｄ）】
2019537294.tif 000054
【図２２】
2019537294.tif 000055
【図２３】
2019537294.tif 000056
【図２４】
2019537294.tif 000057
【図２５】
2019537294.tif 000058
【図２６】
2019537294.tif 000059
【図２７】
2019537294.tif 000060
【図２８】
2019537294.tif 000061
【図２９】
2019537294.tif 000062
【図３０】
2019537294.tif 000063
【図３１】
2019537294.tif 000064
【図３２】
2019537294.tif 000065
【国際調査報告】
2019537294.tif 000066
2019537294.tif 000067
2019537294.tif 000068