(57)【要約】  本発明は、３次元(３Ｄ)イメージを処理する方法を提供する。その方法は、３Ｄイメージを２次元(２Ｄ)イメージにプロジェクションするステップと、２Ｄイメージを構成する複数の領域をパッキングし、パッキングされた２Ｄイメージを生成するステップと、パッキングされた２Ｄイメージを符号化することによって符号化されたデータを生成するステップと、符号化されたデータを伝送するステップとを有する。
2019526852.tif 000002
【特許請求の範囲】
【請求項１】
３次元(３Ｄ)イメージを処理する方法であって、
３Ｄイメージを２次元(２Ｄ)イメージにプロジェクションするステップと、
２Ｄイメージを構成する複数の領域をパッキングし、パッキングされた２Ｄイメージを生成するステップと、
前記パッキングされた２Ｄイメージを符号化することによって符号化されたデータを生成するステップと、
前記符号化されたデータを伝送するステップと、
を有することを特徴とする方法。
【請求項２】
前記複数の領域が相互に重複しないことを特徴とする請求項１に記載の方法。
【請求項３】
前記複数の領域のパッキングは、前記複数の領域のうち少なくとも一つを回転させることを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記複数の領域のパッキングは、前記複数の領域のうち少なくとも一つの一つ以上の辺の長さを変更することを含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記複数の領域のパッキングは、前記複数の領域のうち少なくとも一つの水平軸と垂直軸に異なるサンプリングレートを適用することを含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記パッキングされた２Ｄイメージは、レンダリングされない少なくとも一つの追加領域をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
３次元(３Ｄ)イメージを表示する方法であって、
符号化されたデータを受信するステップと、
符号化されたデータを復号化して複数の領域にパッキングされた２次元(２Ｄ)イメージを生成するステップと、
前記パッキングされた２Ｄイメージをパッキング解除して３Ｄイメージからプロジェクションされた２Ｄイメージを生成するステップと、
前記プロジェクションされた２Ｄイメージに基づいて前記３Ｄイメージを表示するステップと、
を有することを特徴とする方法。
【請求項８】
前記複数の領域が相互に重複しないことを特徴とする請求項７に記載の方法。
【請求項９】
前記パッキング解除は、前記複数の領域のうち少なくとも一つを回転させることを含むことを特徴とする請求項７に記載の方法。
【請求項１０】
前記パッキング解除は、前記複数の領域のうち少なくとも一つの一つ以上の辺の長さを変更することを含むことを特徴とする請求項７に記載の方法。
【請求項１１】
前記パッキング解除は、前記複数の領域のうち少なくとも一つの水平軸と垂直軸に異なるサンプリングレートを適用することを含むことを特徴とする請求項７に記載の方法。
【請求項１２】
前記パッキングされた２Ｄイメージはレンダリングされない少なくとも一つの追加的な領域をさらに含むことを特徴とする請求項７に記載の方法。
【請求項１３】
３次元(３Ｄ)イメージをプロジェクションする送信器であって、
通信インターフェースと、
前記通信インターフェースに接続されるプロセッサと、を含み、
前記プロセッサは請求項１乃至６のいずれか１項の方法を実行するように構成されることを特徴とする送信器。
【請求項１４】
３次元(３Ｄ)イメージを表示する装置であって、
通信インターフェースと、
前記通信インターフェースに接続されるプロセッサと、を含み、
前記プロセッサは請求項７乃至１３のいずれか１項の方法を実行するように構成されることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元イメージを処理するための方法及び装置に関する。
【背景技術】
【０００２】
インターネットは、人間が情報を生成し消費する人間中心の接続ネットワークから、事物などが分散された構成要素間で情報をやり取りして処理するＩｏＴ(Internet  of  Things)ネットワークに進化している。ＩｏＥ(Internet  of  Everything)技術は、クラウドサーバとの接続によるビッグデータ処理技術などがＩｏＴ技術に結合された一例である。
【０００３】
ＩｏＴを実現するために、センシング技術、有線／無線通信及びネットワークインフラ、サービスインターフェース技術、及びセキュリティ技術のような技術要素が要求され、最近では事物間の接続のためのセンサネットワーク、Ｍ２Ｍ(Machine  to  Machine)、ＭＴＣ(Machine  Type  Communication)などの技術が研究されている。
【０００４】
ＩｏＴ環境では、接続された事物で生成されたデータを収集及び分析して人間の生活に新しい価値を創出する知能型ＩＴ(Internet  Technology)サービスを提供することができる。ＩｏＴは、従来のＩＴ技術と多様な産業との融合及び複合を通じて、スマートホーム、スマートビルディング、スマートシティ、スマートカー又はコネクテッドカー、スマートグリッド、ヘルスケア、スマート家電、先端医療サービスのような分野に応用できる。一方、ＩｏＴを実現するためのコンテンツも進化している。すなわち、白黒コンテンツからカラーコンテンツ、ＨＤ(High  Definition)、ＵＨＤ(Ultra-High Definition)、現代のＨＤＲ(High  Dynamic  Range)コンテンツの標準化及び配布を通じた継続的な進化により、Ｏｃｕｌｕｓ（登録商標）、三星のＧｅａｒ  ＶＲ(登録商標)のようなＶＲ装置で再生可能な仮想現実(ＶＲ)コンテンツに関する研究が進行中である。ＶＲシステムは、ユーザーをモニタリングし、ユーザーが任意のコントローラを用いてコンテンツのディスプレイ装置やプロセッシングユニットにフィードバック入力を提供可能にすると、その装置又はユニットが当該入力を処理してコンテンツをそれに合わせて調整することによって、インタラクションを可能にするシステムである。
【０００５】
ＶＲエコーシステム内の基本構成は、例えば、ＨＭＤ(Head Mounted Display)、無線、モバイルＶＲ、ＴＶ、ＣＡ  ＶＥ(Cave  Automatic  Virtual  Environment)、周辺機器、及びハプティクス[ＶＲに入力を提供するための他のコントロールデバイス]、コンテンツキャプチャ[カメラ、ビデオスティッチング]、コンテンツスタジオ[ゲーム、ライブ、映画、ニュース、及びドキュメンタリ]、産業的応用[教育、健康管理、不動産、建設、旅行]、生産道具及びサービス[３Ｄエンジン、プロセッシングパワー]、アップストア[ＶＲメディアコンテンツ向き]などを含むことができる。
【０００６】
ＶＲデバイスで再生される３次元(３Ｄ)イメージは、球形又は円柱形のような立体的なイメージである。ＶＲデバイスは、ユーザーの視線方向などを考慮して、３Ｄイメージの特定領域をディスプレイできる。
【０００７】
ＶＲのための３６０度イメージ(又は３Ｄイメージ、全方向(omnidirectional)イメージ)のための格納、圧縮、及び伝送システムにおいて、多数のカメラで撮影した複数のイメージを３Ｄモデル(例えば、球(sphere)モデル、立方体(cube)モデル、及び円柱(cylinder)モデル等）の表面にマッピングしてＨＭＤデバイスで特定ビュー(view)に対応する領域をレンダリングしてディスプレイする。この場合、遠隔にあるユーザーに３Ｄイメージを提供するために、既存の２Ｄイメージを圧縮/格納/伝送するためのシステムを活用できる。３Ｄイメージを２Ｄイメージにマッピング(又はプロジェクション)するために、例えば正距円筒図法(Equirectangular  Projection：ＥＲＰ）が使用される。ＥＲＰを用いて３Ｄイメージを２Ｄイメージに変換した後、既存の２Ｄイメージに対する圧縮/格納/伝送システムを用いて遠隔のユーザーに伝送する。遠隔のユーザーは、受信した２Ｄイメージを復号化した後に、ＥＲＰの逆変換を通じて再び３Ｄイメージを回復することができる。図１は、例示的なＥＲＰの逆変換を示す。図１を参照すると、長方形の２Ｄイメージは球形状の３ＤイメージにＥＲＰ逆変換を通じて変換される。
【０００８】
３Ｄイメージを２Ｄイメージにマッピングするために、ＥＲＰ以外にも、円筒図法（cylinder-based projection or cylindrical projection）又はキューブプロジェクション（cubic projection）が使用され、その他にも多様なマッピング方式が使用される。円筒図法又はキューブプロジェクションを用いて２Ｄイメージに変換された３Ｄイメージを受信したＶＲデバイスは、円筒図法の逆変換又はキューブプロジェクションの逆変換を通じて３Ｄイメージを復元できる。図２は、例示的な円筒図法の逆変換を示す。図２を参照すると、長方形の２Ｄイメージは、円柱(シリンダー)形状の３Ｄイメージにシリンダープロジェクションの逆変換を通じて変換できる。図３は、例示的なキューブプロジェクションを示す。図３を参照すると、キューブプロジェクションを通じて生成された２Ｄイメージは立方体(キューブ）の面(face）に対応する６個の長方形(又は正方形)の形状のサブイメージを含むことができる。キューブプロジェクションの逆変換を通じて、６個のサブイメージの各々を立方体の面に対応させることで、立方体の形状の３Ｄイメージを回復することができる。
【０００９】
図１乃至図３で説明したプロジェクション方法及びプロジェクションの逆変換方法による場合、各プロジェクション方法によって特定領域の映像が歪むか、あるいは特定領域に対する過度な冗長(redundant)データが生成される。例えば、ＥＲＰにおいて、２Ｄイメージの上側及び下側の隅において中央よりも激しい歪みが発生する。したがって、ＨＭＤデバイスを通じてイメージの上側及び下側のポール(pole)を見たとき、歪みにより没入感が低下する可能性がある。さらに、ポールでは点に該当するデータが直線にアップサンプリングされて２Ｄイメージにプロジェクションされるので、不要なデータが増加して２Ｄイメージを伝送するためのビットレートも増加するようになる。
【００１０】
３ＤイメージからＥＰＲなどを用いてプロジェクションされたイメージデータは、従来の２Ｄイメージに比べてデータ量が非常に大きい。したがって、データ伝送の負担を軽減させるために、プロジェクションされた２Ｄイメージを複数のタイル(tile)に分割し、現在のＦＯＶ(Field  of  View)に対応する領域のタイルに対するデータのみを伝送する方法が考えられる。しかしながら、このような方式では、タイルごとにプロジェクションによる歪みの程度が異なることによって、ビューポート(view  port)ごとに均一な視覚的品質(visual  quality)を保証できず、冗長データを伝送するという問題があった。さらに、タイル別に分割されて圧縮及び伝送されるので、ブロッキング効果(blocking  artifact）も発生するという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
したがって、上記した従来技術の問題点を解決するために、本発明の目的は、３Ｄイメージからプロジェクションされた２Ｄイメージを効率的に分割及び変換して伝送効率と回復画質を改善することにある。
【００１２】
本発明の課題は以上に記載した技術的課題に限定されるものでなく、その他の技術的課題は、当業者には以下の説明により明らかに理解できる。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の一態様によれば、３次元(３Ｄ)イメージを処理する方法が提供される。その方法は、３Ｄイメージを２次元(２Ｄ)イメージにプロジェクションするステップと、２Ｄイメージを構成する複数の領域をパッキングし、パッキングされた２Ｄイメージを生成するステップと、パッキングされた２Ｄイメージを符号化することによって符号化されたデータを生成するステップと、符号化されたデータを伝送するステップとを有する。
【００１４】
本発明の他の態様によれば、３次元(３Ｄ)イメージをプロジェクションする送信器が提供される。その送信器は、通信インターフェースと、上記通信インターフェースに接続されるプロセッサとを含み、上記プロセッサは、３Ｄイメージを２次元(２Ｄ)イメージにプロジェクションし、２Ｄイメージを構成する複数の領域をパッキングし、パッキングされた２Ｄイメージを生成し、パッキングされた２Ｄイメージを符号化することによって符号化されたデータを生成し、符号化されたデータを伝送するように構成される。
【００１５】
また、本発明の他の態様によれば、３次元(３Ｄ)イメージを表示する方法が提供される。その方法は、符号化されたデータを受信するステップと、符号化されたデータを復号化して複数の領域にパッキングされた２次元(２Ｄ)イメージを生成するステップと、パッキングされた２Ｄイメージをパッキング解除して３Ｄイメージからプロジェクションされた２Ｄイメージを生成するステップと、プロジェクションされた２Ｄイメージに基づいて３Ｄイメージを表示するステップとを有する。
【００１６】
さらに、本発明の他の態様によれば、３次元(３Ｄ)イメージを表示する装置が提供される。その装置は、通信インターフェースと、通信インターフェースに接続されるプロセッサとを含み、上記プロセッサは、符号化されたデータを受信し、符号化されたデータを復号化して複数の領域にパッキングされた２次元(２Ｄ)イメージを生成し、パッキングされた２Ｄイメージをパッキング解除して３Ｄイメージからプロジェクションされた２Ｄイメージを生成し、プロジェクションされた２Ｄイメージに基づいて３Ｄイメージを表示するように構成される。
【００１７】
その他の実施形態の具体的な事項は、詳細な説明及び図面に含まれている。
【発明の効果】
【００１８】
本発明によれば、３Ｄイメージからプロジェクションされた２Ｄイメージの伝送効率を改善し、回復画質を向上させることができる。
【００１９】
本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになる。
【図面の簡単な説明】
【００２０】
【図１】例示的なＥＲＰの逆変換を示す図である。
【図２】例示的な円筒図法の逆変換を示す図である。
【図３】例示的なキューブプロジェクションの逆変換を示す図である。
【図４】本発明の一実施形態による送信器のシステムを示す図である。
【図５】本発明の一実施形態による受信器のシステムを示す図である。
【図６】本発明の一実施形態によるＷＵ(Warping  Unit)を設定する方法を示す図である。
【図７】本発明の他の実施形態によるＷＵを設定する方法を示す図である。
【図８】本発明の一実施形態によるＷＵを変換する方法を示す図である。
【図９】本発明の一実施形態によるＷＵを変換する方法を示す図である。
【図１０】本発明の一実施形態によるＷＵを再結合する方法を示す図である。
【図１１Ａ】本発明の一実施形態によるＷＵのサンプリングレートに対する重み値を示すグラフである。
【図１１Ｂ】本発明の一実施形態によるＷＵのサンプリングレートに対する重み値を示すグラフである。
【図１２】本発明の一実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図１３】図１２の３Ｄイメージを２Ｄイメージにマッピングする方法における３Ｄイメージの領域と２Ｄイメージの領域のマッピング関係を示す図である。
【図１４】図１３の領域１乃至４のマッピング方法を示す図である。
【図１５】図１３の領域５乃至８のマッピング方法を示す図である。
【図１６】図１３の領域９乃至１２のマッピング方法を示す図である。
【図１７】図１３の領域１３乃至１５のマッピング方法を示す図である。
【図１８】図１３の領域１７乃至１９のマッピング方法を示す図である。
【図１９】図１３の領域２０のマッピング方法を示す図である。
【図２０】図１３の領域２０のマッピング方法を示す図である。
【図２１】図１３の領域１６のマッピング方法を示す図である。
【図２２】図１３の領域１６のマッピング方法を示す図である。
【図２３】本発明の他の実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図２４】本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図２５】本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図２６】本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図２７】本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図２８】本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図２９】本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図３０】本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す図である。
【図３１】本発明のもう一つの実施形態によるひし形の領域を長方形又は正方形の領域に変換するためのパッチを示す図である。
【図３２】本発明のもう一つの実施形態による２Ｄイメージを示す図である。
【図３３】本発明の一実施形態に他の送信器を示すブロック構成図である。
【図３４】本発明の一実施形態による受信器を示すブロック構成図である。
【発明を実施するための形態】
【００２１】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【００２２】
本発明の利点及び特徴、そしてこれらを達成する方法は、添付される図面と共に詳細に後述される実施形態を参照すれば明確になる。しかしながら、本発明は、以下に開示される実施形態に限定されるものではなく、多様な形態で実現され、本実施形態は本発明の開示を完全にするためのものであり、本発明が属する技術分野において通常の知識を持った者に本発明の範囲を明確に知らせるために提供されるものである。本発明は、特許請求の範囲により定義される。
【００２３】
「第１」、「第２」のように序数を含む用語は、多様な構成要素を説明するために使用されるが、構成要素は、上記用語により限定されるものではない。これら用語は、一つの構成要素を他の構成要素から区別する目的のみで使われる。例えば、本発明の開示範囲から外れない範囲で、第１の構成要素は第２の構成要素と称することが可能である。
【００２４】
図４は、本発明の一実施形態による送信器のシステムを示す。送信器は、３Ｄイメージに関連したデータ又はサービスを提供するためのサーバである。ここで、３Ｄイメージは、動的イメージ及び静的イメージの両方を指す。送信器は、３Ｄイメージを生成又は受信する(４１０)。送信器は、色々な方向から撮影された多数のカメラからのイメージをつなぎ合わせて(stitch)３Ｄイメージを生成することができる。送信器は、既にレンダリングされた３Ｄイメージに関するデータを外部から受信することもできる。
【００２５】
送信器は、３Ｄイメージを２Ｄイメージにプロジェクションする(４２０)。３Ｄイメージを２Ｄイメージにプロジェクションするために、ＥＲＰ、円筒図法、キューブプロジェクション、及び本願明細書で後述する多様なプロジェクション方法のうちいずれか一つが使用され、本発明は、これに限定されるものではない。
【００２６】
送信器は、プロジェクションされた２Ｄイメージの領域をパッキング(packing)する(４３０)。ここで、パッキングは、２ＤイメージをＷＵ(Warping  Unit)と称される複数の領域に分割し、ＷＵを変形し、及び/又はＷＵを再構成(あるいは再配置)することを含み、これを通じてパッキングされた２Ｄイメージを生成することを意味する。ＷＵは、２Ｄイメージを構成する領域であって、単に領域、区域、パーティションのように類似した他の用語に代替できる。以下、図６及び図７を参照して、ＷＵを設定する方法に関して詳細に説明する。
【００２７】
図６は、本発明の一実施形態によるＷＵを設定する方法を示す。図６において、２Ｄイメージ６００は、複数のＷＵ６１０，６２０に分けられる。複数のＷＵ６１  ０，６２０は、相互に重複しないように設定される。
【００２８】
図７は、本発明の他の実施形態によるＷＵを設定する方法を示す。図７において、２Ｄイメージ７００は、複数のＷＵ７１０，７２０に分けられる。複数のＷＵ７１０，７２０は、各々が少なくとも一つの隣接した他のＷＵと重なるように設定される。いくつかの実施形態によれば、ＷＵは、一部が他のＷＵと重複し、他の一部はＷＵと重複しないように設定される。ＷＵが重なる場合、重なる領域に対応するイメージは、各ＷＵに重複して存在する。このような重複により、受信器は、ＷＵに重複する領域をブレンディング(blending)し、それによってブロッキング現象を減少させる。さらに、重なるＷＵの各々は、重ならないＷＵより広いＦＯＶを提供するので、特定のビューポートに対応するＷＵを伝送するときに、より少ない数のＷＵを伝送することによって、ビューポートに対応する情報を伝送することができる。
【００２９】
図４を参照すると、ＷＵの変形は、ＷＵの各形状の変形(例えば、長方形から三角形、台形などに変形)、及びＷＵのうち少なくとも一部の回転及び/又は反転(ミラーリング)を含むことができる。
【００３０】
ＷＵの再構成(又は再配置)は、複数のＷＵのうち少なくとも一部を回転、ミラーリング、及び/又はシフトすることを含む。一部実施形態によれば、ＷＵは、パディング領域を最小化するように再構成されるが、これに限定されるものではない。ここで、パディング領域は、パッキングされた２Ｄイメージ上で３Ｄイメージに対応する領域を除いた付加領域を意味する。
【００３１】
送信器は、パッキングされた２Ｄイメージを符号化する(４４０)。符号化は、公知されている２Ｄイメージに対する符号化方式を利用して実行できる。ＷＵの各々に対して独立的に符号化が実行される。一部実施形態によれば、変換されたＷＵをグループ化して形成された一つのイメージに対して符号化が実行される。
【００３２】
送信器は、符号化されたデータをカプセル化(encapsulation)する(４５０)。カプセル化は、符号化されたデータを分割し、分割物にヘッダーを付加するなどの処理を通じて定められた伝送プロトコルに従うように符号化されたデータを加工することを意味する。送信器は、カプセル化されたデータを伝送する。ＷＵの各々に対してカプセル化が実行される。いくつかの実施形態によれば、変換されたＷＵをグループ化して形成された一つのイメージに対してカプセル化が実行される。
【００３３】
図５は、本発明の一実施形態による受信器のシステムを示す。受信器は、送信器から伝送された３Ｄイメージに関するデータを受信する。受信器は、受信されたデータに対してカプセル化解除(decapsulation)を実行する(５１０)。カプセル化解除(５１０)を通じて、図４での符号化(４４０)を通じて生成された符号化したデータが生成される。
【００３４】
受信器は、カプセル化解除(５１０)されたデータに対して復号化を実行する(５２０)。復号化(５２０)を通じてパッキングされた２Ｄイメージが回復される。
【００３５】
受信器は、復号化されたデータ(すなわち、パッキングされた２Ｄイメージ)に対してパッキング解除(unpacking)を実行する(５３０)。パッキング解除を通じて、図４でのプロジェクション(４２０)を通じて生成された２Ｄイメージが回復される。パッキング解除を実行することは、図４でのパッキング４３０で実行されたＷＵの再構成、変形、及び/又は２ＤイメージのＷＵへの分割の逆変換が実行される。このために、受信器は、パッキング４３０の方法について認知する必要がある。パッキング４３０の方法は、受信器と送信器との間で予め定められている。いくつかの実施形態によれば、送信器は、パッキング４３０の方法に関する情報をメタデータのような別のメッセージを通じて受信器に配信する。一部実施形態によると、カプセル化(４５０)を通じて生成された伝送データは、例えばヘッダーの内部にパッキング(４３０）の方法に関する情報を含むことができる。パッキング解除(５３０）は、各ＷＵに独立的に実行される。ＷＵが図７のように相互に重複するように設定された場合、受信器は、重複領域をブレンディングすることによってスムージング(smoothing)し、隣接したＷＵのイメージをスティッチングすることで、２Ｄイメージを生成することができる。
【００３６】
受信器は、パッキング解除された２Ｄイメージを３Ｄイメージにプロジェクションする(５４０)。受信器は、２Ｄイメージを３Ｄイメージにプロジェクションするために、図４で２Ｄイメージにプロジェクション(４２０)するために使用されたプロジェクションの逆プロジェクションを使用するが、これに限定されるものではない。受信器は、パッキング解除された２Ｄイメージを３Ｄイメージにプロジェクションして３Ｄイメージを生成できる。
【００３７】
受信器は、３Ｄイメージの少なくとも一部を、ディスプレイ装置を通じて表示する(５５０)。例えば、受信器は、３Ｄイメージのうち、現在のＦＯＶ(Field  of  View)に対応するデータのみを抽出してレンダリングする。
【００３８】
以下、プロジェクションされた２ＤイメージからのＷＵを変換する方法について詳細に説明する。分割されたＷＵは、一般的に四角形又は多面体の形状である。ＷＵは、プロジェクションされた２Ｄイメージ内の位置によって歪みの程度及び冗長データの比が異なることがある。効果的にデータを圧縮するために、不必要なデータをダウンサンプリングを通じて減少させたり、歪みの程度によって映像を変換(warping)して歪みを減少させたりする。
【００３９】
例えば、ＷＵデータに対して水平方向と垂直方向によって異なるサンプリングレートを適用してアップサンプリング又はダウンサンプリングを実行することによって、ＷＵの幅及び高さがリサイジング(resizing)される。あるいは、変換を通じて、ＷＵの形態が三角形、台形、四角形、ひし形(rhombus)、円のような多様な形態に変換される。これと関連して、図８を参照してより詳細に説明する。
【００４０】
図８は、本発明の実施形態によるＷＵを変換する方法を示す。図８を参照すると、正方形のＷＵ８１０は、三角形のＷＵ８２０、長方形のＷＵ８３０、又は台形のＷＵ８４０に変換される。三角形のＷＵ８２０を生成するために、正方形のＷＵ８１０の水平方向に対するサンプリングレートを一定に維持し、垂直方向に対するサンプリングレートを最上段で０になるように下側から上側に線形的に減少させることができる。長方形のＷＵ８３０を生成するためにＷＵ８１０の水平方向に対するサンプリングレートを垂直方向に対するサンプリングレートより大きく設定する。台形のＷＵ８４０を生成するために、正方形のＷＵ８１０の水平方向に対するサンプリングレートを一定に維持し、垂直方向に対するサンプリングレートを最上段で０より大きい値を有するように下側から上側に線形的に減少させる。
【００４１】
上記したように、ＷＵを多様な形状に変換できるが、いかなる形状に変換するか及びいかなるサンプリングレートを適用するかということは、コンテンツ製作者の選択、ＷＵ内のｘｙ座標、全体イメージ内でのＷＵの位置、コンテンツの特徴、コンテンツの複雑度、及び関心領域(Region  of  Interest：ＲＯＩ)のうち一つ以上を考慮して決定される。サンプリング方法及び補間(interpolation）の方法はＷＵ別に決定される。例えば、ＷＵごとに異なるアンチエイリアス(anti-aliasing)フィルタ及び補間フィルタが決定され、ＷＵ別に異なる垂直サンプリングレート及び水平サンプリングレートが決定される。補間時に、最近傍 (nearest  neighbor)補間、線形(liner)補間、Ｂスプライン(B-spline)補間のような多様な補間方法のうちＷＵ別に異なる補間方法が選択される。さらに、ＷＵ内でも緯度(latitude)及び経度(longitude)座標によってサンプリングレートが調整される。
【００４２】
図９は、本発明の一実施形態によるＷＵを変換する方法を示す。図９を参照すると、２Ｄイメージ９１０は、複数のＷＵに分割され、複数のＷＵに異なる変換が適用され、変換された２Ｄイメージ９２０が生成される。具体的に、北極領域(すなわち、２Ｄイメージ９１０の上段)に近いＷＵは正三角形にサンプリングされる。南極領域(すなわち、２Ｄイメージ９１０の下段)に近いＷＵは逆三角形にサンプリングされる。赤道部分に近い領域(すなわち、２Ｄイメージ９１０の垂直方向に中央領域)は四角形にサンプリングされる。このようなマッピング方式を使用する場合、各ＷＵにマッピングのためのパッチ形態が決定され、ＷＵ単位で伝送される場合、サンプリングされたパッチ形態の単位でレンダリングが可能である。
【００４３】
サンプリング方式は、規則的(regular)サンプリング方式と不規則的(irregular)サンプリング方式を含む。規則的サンプリング方式は、ＷＵ内で同一のＸ座標(又はＹ座標)を有するライン内では同一のレートでサンプリングを実行する。規則的サンプリング方式でサンプリングされるＷＵは、受信器で必ず逆変換(inverse  warping）過程を通じてＥＲＰ形態の２Ｄイメージに回復した後に、球形の３Ｄイメージにレンダリングすることができる。例えば、ＥＲＰイメージを８個のＷＵに分割し、各々正三角形に変換して正八面体(octahedron）と同一の幾何学(geometry)形態で構成が可能であっても、規則的にサンプリングされたＷＵはＥＲＰに逆変換した後にレンダリングされなければならない。不規則的サンプリングでは、各ラインにおいて幾何学構造(geometry）の表面で回転角度の単位にてサンプリングを実行する場合には、逆変換なしに当該幾何学構造にて直接的にレンダリングが可能である。但し、この場合、計算の複雑度が増加しうる。
【００４４】
ＷＵは、異なる形態を有していてもよい。ＷＵの形状が四角形でない場合、周辺のブランク領域に対するパディングが必要である。ＷＵに関するデータは、独立的に圧縮及び伝送されるが、いくつかの実施形態によると、ブランク領域のサイズを減少させるために、ＷＵは、グループ化して一つのイメージに再パッキング(re-packing)される。グループ化されるＷＵは、現在のＦＯＶに対応するＷＵであるが、これに限定されるものではない。これに関連して、図１０を参照してより具体的に説明する。図１０は、本発明の一実施形態によるＷＵを再結合する方法を示す。図１０のように、３個のＷＵ１０１０，１０２０，１０３０をグループ化して結合し、一つのイメージ１０４０が生成される。生成されたイメージ１０４０のブランク領域を減少させるために、三角形のＷＵ１０１０，１０３０を各々１８０度回転させた後にＷＵ１０１０，１０２０，１０３０の結合が実行される。図１０は、例示に過ぎず、結合されたイメージのブランク領域を減少させるために、多様な方法の変換(例えば、回転、ミラーリング、及びシフトなど)がＷＵに適用される。グループ化されたイメージ１０４０は、一つのイメージとして圧縮及び伝送される。
【００４５】
受信器は、図１０に関連して説明したＷＵのグループ化及び結合に対する逆変換を実行することによって、独立的なＷＵのイメージを抽出する。各ＷＵに対して実行された変換の逆変換を抽出されたＷＵに対して実行した後、スティッチング(stitching)及びブレンディング手順を実行することによって、３Ｄイメージをレンダリングできる。
【００４６】
ＷＵが相互に重なる場合、受信器は３Ｄ映像をレンダリングするために、加重和(weighted  sum）を用いるブレンディングを実行できる。加重和を利用したブレンディングに適用される重み値(weight  value）は、イメージ内のピクセルの位置によって決定される。例えば、重み値は、各ＷＵの中心点から遠くなるに従って小さい値を有する。このようなタイプの重み値は、図１１の(ａ)に例示的に示されている。図１１は、本発明の一実施形態による加重和を利用したブレンディングでＷＵに適用される重み値を示すグラフである。図１１で、ｗi,j[ｓ]は、ＷＵi,jの中心からｓだけ離れた所に位置したピクセルに適用される重み値を示す。図１１に記載されたウィンドウ係数は、重み値と同一の意味を有するものとして解釈される。一部実施形態によれば、重み値は、コンテンツに適応する状態(content-adaptively)に調整され、図１１の(ｂ）は、これを例示する。図１１の(ｂ)でｗi,j[ｓ]の重み値は、コンテンツによってｗ'i,j[ｓ]に調整される。
【００４７】
いくつかの実施形態によると、受信器は、加重和を用いるブレンディングの代わりに、重なるイメージに関するデータのうちいずれか一つを選択し、３Ｄイメージをレンダリングできる。
【００４８】
以下、本発明の例示的な３Ｄイメージを２Ｄイメージにマッピングする方法に関して説明する。
【００４９】
図１２は、本発明の一実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す。図１２の実施形態において、３Ｄイメージ１２１０は、立方体の形状にレンダリングされる。３Ｄイメージ１２１０は、２Ｄイメージ１２２０にマッピングされる。立方体の形状の３Ｄイメージ１２１０の側面１２１１は、２Ｄイメージ１２２０の中央の領域１２２１にマッピングされる。３Ｄイメージ１２１０の上部面は、上部面の対角線と上部面の中心と同一の中心を有する上部面より小さいサイズの正方形の辺により８個の領域に区分される。８個の領域は、台形の領域１２１２及び正三角形の領域１２１３に区分される。台形の領域１２１２は、２Ｄイメージ１２２０に対応する台形の領域１２２２にマッピングされる。正三角形の領域１２１３は、上下反転されるか、あるいは１８０度回転されて、２Ｄイメージ１２２０で台形の領域１２２２の間に挿入され、２Ｄイメージ１２２０が長方形の形状を有するようにする。下部面にも上部面と同一の方式のマッピングが適用される。３Ｄイメージ１２１０の上部面と下部面に対応する２Ｄイメージ１２２０の領域１２２２，１２２３には、イメージの不連続性(discontinuity)を減少させるためにローパスフィルタリングが適用される。３Ｄイメージ１２１０のそれぞれの領域と３Ｄイメージ１２２０のそれぞれの領域の具体的なマッピング関係は、図１３に示す。図１３は、図１２の３Ｄイメージを２Ｄイメージにマッピングする方法における３Ｄイメージの領域と２Ｄイメージの領域のマッピング関係を示す。図１３で同一のインデックスを有する３Ｄイメージ１２１０上の領域と２Ｄイメージ１２２０上の領域は相互に対応する。
【００５０】
例えば、図１２及び図１３におけるマッピング方法を特定するためのメッセージは、次のように表現される。
【００５１】
if(geometry_type != sphere){
unsignedint(8) num_of_regions;
for(i=0;i<num_of_regions;i++){
unsigned int(16) region_top_left_x;
unsigned int(16) region_top_left_y;
unsigned int(16) region_width;
unsigned int(16) region_height;
if(geometry_type == carousel_cube){
unsigned int(16) carousel_cube_surface_id;
unsigned int(16) orientation_of_surface;
unsigned int(16) area_top_left_x;
unsigned int(16) area_top_left_y;
unsigned int(16) area_width;
unsigned int(16) area_height;
}
}
}
【００５２】
上記のメッセージにおいて、フィールドの意味は次の通りである。
【００５３】
ｇｅｏｍｅｔｒｙ_ｔｙｐｅ：全方向メディア(すなわち、３Ｄイメージ）のレンダリングのための幾何学構造を示す。カルーセル立方体（ｃａｒｏｕｓｅｌ_ｃｕｂｅ）（すなわち、図１２及び図１３での幾何学構造)以外にも、球、円柱、立方体などを示す。
【００５４】
ｎｕｍ_ｏｆ_ｒｅｇｉｏｎｓ：参照されるトラック内で映像を分割する領域の数を示す。参照されるトラック内での映像は、このフィールドの値により与えられる数と同数の重複しない領域に分割され、それぞれの領域は、幾何学構造の領域及び特定の表面に分離してマッピングされる。
【００５５】
ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ及びｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ：各々の参照されるトラック内の映像の分割された領域の左上隅の水平及び垂直座標を示す。
【００５６】
ｒｅｇｉｏｎ_ｗｉｄｔｈ及びｒｅｇｉｏｎ_ｈｅｉｇｈｔ：各々の参照されるトラック内の映像の分割された領域の幅及び高さを示す。
【００５７】
ｃａｒｏｕｓｅｌ_ｓｕｒｆａｃｅ_ｉｄ：分割された領域が図１３で例示的に定義したようにマッピングされるカルーセル立方体の表面の識別子を示す。
【００５８】
ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅ：図１３で一例として示すような表面の形状の向きを示す。
【００５９】
ａｒｅａ_ｔｏｐ_ｌｅｆｔ_ｘ及びａｒｅａ_ｔｏｐ_ｌｅｆｔ_ｙ：各々の幾何学構造の表面上の特定領域の左上隅の水平及び垂直座標を示す。
【００６０】
ａｒｅａ_ｗｉｄｔｈ及びａｒｅａ_ｈｅｉｇｈｔ：各々の幾何学構造の表面上の特定領域の幅及び高さを示す。
【００６１】
図１４は、図１３の領域１乃至４のマッピング方法を示す。図１４を参照すると、図１３における領域１乃至４のｓｕｒｆａｃｅ  ＩＤ値を有する領域に対して、ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅは０に設定される(すなわち、向きなし)。それぞれの正方形領域のサイズ及び位置は、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ、ｒｅｇｉｏｎ_ｗｉｄｔｈ、及びｒｅｇｉｏｎ_ｈｅｉｇｈｔの値により定義される。
【００６２】
図１５は、図１３の領域５乃至８のマッピング方法を示す。図１５を参照すると、領域５乃至８のｓｕｒｆａｃｅ  ＩＤ値を有する領域に対して、ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅの値は１に設定される(すなわち、直立(upright)した向き)。それぞれの領域のサイズ及び位置は、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ、ｒｅｇｉｏｎ_ｗｉｄｔｈ、及びｒｅｇｉｏｎ_ｈｅｉｇｈｔの値により定義される。
【００６３】
図１６は、図１３の領域９乃至１２のマッピング方法を示す。図１６を参照すると、領域９乃至１２のｓｕｒｆａｃｅ  ＩＤ値を有する領域に対して、ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅの値は２に設定される(すなわち、上下逆(upside  down)向き)。それぞれの領域のサイズ及び位置は、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ、ｒｅｇｉｏｎ_ｗｉｄｔｈ、及びｒｅｇｉｏｎ_ｈｅｉｇｈｔの値により定義される。
【００６４】
図１７は、図１３の領域１３乃至１５のマッピング方法を示す。図１７を参照すると、領域１３乃至１５のｓｕｒｆａｃｅ  ＩＤ値を有する領域に対して、ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅの値は２に設定される(すなわち、上下逆向き)。それぞれの領域のサイズ及び位置は、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ、ｒｅｇｉｏｎ_ｗｉｄｔｈ、及びｒｅｇｉｏｎ_ｈｅｉｇｈｔの値により定義される。
【００６５】
図１８は、図１３の領域１７乃至１９のマッピング方法を示す。図１７を参照すると、領域１７乃至１９のｓｕｒｆａｃｅ  ＩＤ値を有する領域に対して、ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅの値は１に設定される(すなわち、直立した向き)。それぞれの領域のサイズ及び位置は、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ、ｒｅｇｉｏｎ_ｗｉｄｔｈ、及びｒｅｇｉｏｎ_ｈｅｉｇｈｔの値により定義される。
【００６６】
図１９及び図２０は、図１３の領域２０のマッピング方法を示す。図１９及び図２０を参照すると、領域２０のｓｕｒｆａｃｅ  ＩＤ値を有する領域に対して、ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅの値は、５(図１９において直立右半分向き)及び６(図２０において直立左半分向き)のように設定される。それぞれの領域のサイズ及び位置は、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ、ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ、ｒｅｇｉｏｎ_ｗｉｄｔｈ、及びｒｅｇｉｏｎ_ｈｅｉｇｈｔの値により定義される。
【００６７】
図２１及び図２２は、図１３の領域１６のマッピング方法を示す。図２１及び図２２を参照すると、領域１６のｓｕｒｆａｃｅ  ＩＤ値を有する領域に対して、ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅの値は、７(図２１において上下逆右半分向き)及び８(図２２において上下逆左半分向き)のように設定される。
【００６８】
図２３は、本発明の他の実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す。図２３では、上部及び下部が四角錐形状を有する四角柱形状の３Ｄイメージ２３１０がレンダリングされる。このような３Ｄイメージ２３１０は、３Ｄイメージ２３１０の展開図を用いた方式により２Ｄイメージ２３２０にマッピングされる。２Ｄイメージ２３２０を長方形にレンダリングするために、パディング領域が付加される。一部実施形態において、３Ｄイメージ２３１０から長方形の２Ｄイメージを形成するために、図１２及び図１３の直方体の３Ｄイメージ１２１０の上面及び下面に適用されるようなマッピング方式が適用される。それによって、図２４に示すような２Ｄイメージ２４００が生成される。
【００６９】
図２５は、本発明の他の実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す。また、六角柱形状にレンダリングされた３Ｄイメージ２５１０は、図２３及び図２４で３Ｄイメージ２３１０が２Ｄイメージ２４００にマッピングされたのと類似した方式で、２Ｄイメージ２５２０にマッピングされる。
【００７０】
図２６は、本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す。また、八角柱形状にレンダリングされた３Ｄイメージ２６１０は、図２３及び図２４で３Ｄイメージ２３１０が２Ｄイメージ２４００にマッピングされたのと類似した方式で２Ｄイメージ２６２０にマッピングされる。
【００７１】
図示されていないが、プロジェクトビヨンド(Project  Beyond)のように１６個の水平カメラが存在し、上側及び下側に各々一つずつのカメラが存在する場合は、十六角柱の幾何学形状にレンダリングされる３Ｄイメージが構成される。十六角柱形状の３Ｄイメージは、図２３乃至図２６で説明した方式に類似した方式で２Ｄイメージにマッピングされる。
【００７２】
このようなマッピング方式を示すメッセージは、例示的に次のように構成される。
【００７３】
unsignedint(16) center_pitch_offset;
unsignedint(16) center_yaw_offset;
unsignedint(8) num_of_regions;
for(i=0;i<num_of_regions;i++){
unsignedint(16) region_id;
unsignedint(16) region_top_left_x;
unsignedint(16) region_top_left_y;
unsignedint(16) region_width;
unsignedint(16) region_height;
if(geometry_type == carousel){
unsignedint(8) surface_id;
unsignedint(1) shape_of_surface;
if(shape_of_surface == 1){
unsignedint(1) orientation_of_triangle;
}
unsignedint(16) area_top_left_x;
unsignedint(16) area_top_left_y;
unsignedint(16) area_width;
unsignedint(16) area_height;
}
}
【００７４】
上記のメッセージにおいて、フィールドの意味は次の通りである。
【００７５】
ｃｅｎｔｅｒ_ｐｉｔｃｈ_ｏｆｆｓｅｔ及びｃｅｎｔｅｒ_ｙａｗ_ｏｆｆｓｅｔ：各々映像の中央のピクセルがレンダリングされる点の座標のピッチ(pitch)及びヨー(yaw)角のオフセット値を示す。
【００７６】
ｎｕｍ_ｏｆ_ｒｅｇｉｏｎｓ：参照されるトラック内の映像を分割する領域の数を示す。
【００７７】
ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ及びｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ：各々の参照されるトラック内の映像の分割された領域の左上隅の水平及び垂直座標を示す。
【００７８】
ｒｅｇｉｏｎ_ｗｉｄｔｈ及びｒｅｇｉｏｎ_ｈｅｉｇｈｔ：各々の参照されるトラック内の映像の分割された領域の幅及び高さを示す。
【００７９】
ｓｕｒｆａｃｅ_ｉｄ：幾何学構造の表面に対する識別子を示す。
【００８０】
ｓｈａｐｅ_ｏｆ_ｓｕｒｆａｃｅ：幾何学構造の表面の形状を示す数である。ｓｈａｐｅ_ｏｆ_ｓｕｒｆａｃｅが０である場合、幾何学構造の表面の形状は四角形である。ｓｈａｐｅ_ｏｆ_ｓｕｒｆａｃｅが１である場合、幾何学構造の表面の形状は三角形である。
【００８１】
ａｒｅａ_ｔｏｐ_ｌｅｆｔ_ｘ及びａｒｅａ_ｔｏｐ_ｌｅｆｔ_ｙ：各々の幾何学構造の表面上の特定領域の左上隅の水平及び垂直座標を示す。
【００８２】
ａｒｅａ_ｗｉｄｔｈ及びａｒｅａ_ｈｅｉｇｈｔ：各々の幾何学構造の表面上の特定領域の幅及び高さを示す。
【００８３】
ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｔｒｉａｎｇｌｅ：三角形の向きを示す数である。ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｔｒｉａｎｇｌｅが０である場合、三角形は図１８で説明したように表現される。ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｔｒｉａｎｇｌｅが１である場合、三角形は図１９で説明したように表現される。
【００８４】
カルーセル円柱（ｃａｒｏｕｓｅｌ_ｃｙｌｉｎｄｅｒ）のような幾何学構造マッピングを定義する場合において、参照されるトラック内の平面の映像は以下の構文(syntax)によってマッピングされる。
【００８５】
if(geometry_type != sphere){
unsignedint(8) num_of_regions;
for(i=0;i<num_of_regions;i++){
unsignedint(16) region_top_left_x;
unsignedint(16) region_top_left_y;
unsignedint(16) region_width;
unsignedint(16) region_height;
if(geometry_type == carousel_cylinder){
unsignedint(16) carousel_cylinder_surface_id;
unsignedint(16) orientation_of_surface;
unsignedint(16) area_top_left_x;
unsignedint(16) area_top_left_y;
unsignedint(16) area_width;
unsignedint(16) area_height;
}
}
}
【００８６】
上記構文において、フィールドの意味は次の通りである。
【００８７】
ｇｅｏｍｅｔｒｙ_ｔｙｐｅ：全方位メディア(すなわち、３Ｄイメージ）のレンダリングのための幾何学構造を示す。カルーセル円柱(carousel_cylinder、すなわち、図２３乃至図２６での幾何学構造)以外にも球、円柱、立方体を示す。
【００８８】
ｎｕｍ_ｏｆ_ｒｅｇｉｏｎｓ：参照されるトラック内で映像を分割する領域の数を示す。参照されるトラック内での映像は、このフィールドの値により与えられる数の重複しない領域に分割され、それぞれの領域は幾何学構造の領域及び特定の表面に分離してマッピングされる。
【００８９】
ｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｘ及びｒｅｇｉｏｎ_ｔｏｐ_ｌｅｆｔ_ｙ：各々の参照されるトラック内の映像の分割された領域の左上隅の水平及び垂直座標を示す。
【００９０】
ｒｅｇｉｏｎ_ｗｉｄｔｈ及びｒｅｇｉｏｎ_ｈｅｉｇｈｔ：各々の参照されるトラック内の映像の分割された領域の幅及び高さを示す。
【００９１】
ｃａｒｏｕｓｅｌ_ｓｕｒｆａｃｅ_ｉｄ：分割された領域がマッピングされるカルーセル円柱の表面の識別子を示す。ｓｕｒｆａｃｅ  ＩＤは、上記したカルーセル直方体と同様に定義される(図１３を参照)。
【００９２】
ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｓｕｒｆａｃｅ：上記したカルーセル直方体に関連して定義されたような表面形状の向きを示す。
【００９３】
ａｒｅａ_ｔｏｐ_ｌｅｆｔ_ｘ及びａｒｅａ_ｔｏｐ_ｌｅｆｔ_ｙ：各々幾何学構造の表面上の特定領域の左上隅の水平及び垂直座標を示す。
【００９４】
ａｒｅａ_ｗｉｄｔｈ及びａｒｅａ_ｈｅｉｇｈｔ：各々幾何学構造の表面上の特定領域の幅及び高さを示す。
【００９５】
図２７及び図２８は、本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す。３Ｄイメージは、正多面体形状にレンダリングされる。例えば、図２７の３Ｄイメージ２７１０のように正二十面体にレンダリングできる。他の例としては、３Ｄイメージは、正四面体、正六面体、正八面体、又は正十二面体にレンダリングできる。３Ｄイメージ２７１０は、正二十面体の展開図のような形状の２Ｄイメージ２７２０にプロジェクションされる。一部実施形態では、パディング領域が、２Ｄイメージ２７２０に長方形の２Ｄイメージを形成するために追加される。一部実施形態では、図２７の２Ｄイメージ２７２０の上部の三角形及び下部の三角形を分割、回転、及び再配置して図２８のような長方形の２Ｄイメージ２８００を形成する。このような三角形の分割及び再配置は、図１２及び図１３の実施形態で説明したのと実際に同一の方式で実行できる。
【００９６】
一部実施形態によると、ひし形(Rhombic)多面体にレンダリングされた３Ｄイメージは、上記した実施形態と同様に、２Ｄイメージにマッピングできる。図２９及び図３０は、本発明のもう一つの実施形態による３Ｄイメージを２Ｄイメージにマッピングする方法を示す。図２９のように、ひし形十二面体にレンダリングされた３Ｄイメージ２９１０は、展開図のような形態の２Ｄイメージ２９２０にプロジェクションできる。いくつかの実施形態では、２Ｄイメージ２９２０には長方形の２Ｄイメージを形成するためにパティング領域が追加される。一部実施形態では、図２９の２Ｄイメージ２９２０の上部の三角形及び下部の三角形を分割、回転、及び再配置して図３０のような長方形の２Ｄイメージ３０００を形成できる。このような三角形の分割及び再配置は、図１２及び図１３の実施形態で説明したのと実際に同一の方式で実行できる。
【００９７】
一部実施形態によると、図２９の２Ｄイメージ２９２０のひし形の領域(すなわち、ＷＵ)をそれぞれ長方形又は正方形に変換できる。２Ｄイメージ２９２０の領域を長方形又は正方形に変換するために、図３１のようなパッチが使用される。図３１は、ひし形の領域を長方形又は正方形の領域に変換するためのパッチを示す。パッチされた領域３１００は、第１の領域３１１０及び第２の領域３１２０を含むことができる。第１の領域３１１０は、２Ｄイメージ２９２０の各領域に対応する。第２の領域３１２０は、パッチされた領域３１００の形状を長方形又は長方形にレンダリングするための付加データを含む。
【００９８】
一部実施形態によると、図２９の２Ｄイメージ２９２０の領域に図３１のパッチが適用された後に図３２のように平面に配列される。図３２は、本発明のもう一つの実施形態による２Ｄイメージを示す。図３２で空きブロック(すなわち、空き領域)に対応するイメージが存在しない。この場合、該当ブロックに対するｓｋｉｐ_ｂｌｏｃｋ_ｆｌａｇの値を１に設定して該当ブロックを復号化しないことがある。空きブロックに対するｓｋｉｐ_ｂｌｏｃｋ_ｆｌａｇの値が１に設定される場合、該当ブロックは、復号化されるが、回復されたイメージの値は有効でない(invalid)ことがある。
【００９９】
図３２のように四角形に領域を分割してマッピングする場合、四角形間の境界領域でブロッキング現象が発生し、モーション推定(Motion  Estimation：ＭＥ)及びモーション補償(Motion  Compensation：ＭＣ）を実行するとき、イメージブロックの周辺のデータがない場合(すなわち、イメージブロックの周辺に空きブロックが存在する場合)、ＭＥ及びＭＣが効率的に実行されないことがある。効率的なＭＥ及びＭＣのために、パディングブロックが付加される。パディングブロックは、イメージブロックの周辺に配置可能である。パディングブロックは、実際イメージのデータが含まれない。したがって、パディングブロックは、受信器側でレンダリングされないことがある。パディングブロックは、空間的に隣接した領域の最も近いイメージの値をコピーしたデータが詰められ、隣接した領域のイメージに対する値に対して加重和(weighted  sum）が適用されたデータが詰められる。一部実施形態によると、各幾何学構造で連続する周辺映像データを利用したコピー及びフィリングを通じてパディングブロックのデータが形成される。パディングブロックは、受信器側で３Ｄイメージを再生するためにレンダリングされないことがあるが、レンダリングされる領域(すなわち、イメージブロックに対応する領域）のレンダリング品質を向上させるために利用される。パディング領域に関して、ひし形多面体に関連した実施形態を例にとって説明したが、２Ｄイメージに空き領域が存在する場合には、レンダリング品質の向上のためにパディング領域が適用されることが容易に理解できる。
【０１００】
図３３は、本発明の一実施形態による送信器を示すブロック構成図である。図１１は、本発明の一実施形態による送信器を示したブロック構成図である。送信器３３００は、サーバを指すこともある。送信器３３００は、メモリ３３１０、通信インターフェース３３２０、及びプロセッサ３３３０を含む。送信器３３００は、上記の実施形態で説明した送信器３３００の動作(すなわち、３Ｄイメージを２Ｄイメージにマッピングすることに関する動作）を実行するように構成される。プロセッサ３３３０は、メモリ３３１０及び通信インターフェース３３２０に通信可能に、そして電気的に接続される。送信器３３００は、通信インターフェース３３２０を介してデータを送信し受信することができる。メモリ３３１０は、送信器３３００の動作のための情報が格納される。プロセッサ３３３０を制御するための命令又はコードはメモリ３３１０に格納される。さらに、プロセッサ３３３０の演算のために必要な一時的又は持続的なデータがメモリ３３１０に格納される。プロセッサ３３３０は、一つのプロセッサであり、いくつかの実施形態によると、機能により区分された複数のプロセッサの集合を意味する。プロセッサ３３３０は、送信器３３００の動作を制御するように構成される。以上に説明した送信器３３００の動作は、実際にプロセッサ３３３０により処理され実行される。データの送受信が通信インターフェース３３２０を介してなされ、データ及び命令の格納がメモリ３３１０により実行されても、通信インターフェース３３２０及びメモリ３３１０の動作は、プロセッサ３３３０により制御されるので、データの送受信及び命令の格納もプロセッサ３３３０により実行されると見なされる。
【０１０１】
図３４は、本発明の一実施形態による受信器を示すブロック構成図である。受信器３４００は、ＨＭＤデバイスのようなＶＲデバイスである。受信器３４００は、３Ｄイメージに関するデータ(２Ｄにプロジェクションされたイメージに関するデータ)を受信し、３Ｄイメージを表示できる。受信器３４００は、メモリ３４１０、通信インターフェース３４２０、プロセッサ３４３０、及びディスプレイ３４４０を含む。メモリ３４１０、通信インターフェース３４２０、及びプロセッサ３４３０に関する説明は、送信器３３００のメモリ３３１０、通信インターフェース３３２０、及びプロセッサ３３３０に関する説明と同一である。ディスプレイ３４４０は、３Ｄイメージの少なくとも一部領域を再生できる。ディスプレイ３４４０の動作は、プロセッサ３４３０により制御される。
【０１０２】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲を逸脱しない限り、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。
【図１】
2019526852.tif 000003
【図２】
2019526852.tif 000004
【図３】
2019526852.tif 000005
【図４】
2019526852.tif 000006
【図５】
2019526852.tif 000007
【図６】
2019526852.tif 000008
【図７】
2019526852.tif 000009
【図８】
2019526852.tif 000010
【図９】
2019526852.tif 000011
【図１０】
2019526852.tif 000012
【図１１Ａ】
2019526852.tif 000013
【図１１Ｂ】
2019526852.tif 000014
【図１２】
2019526852.tif 000015
【図１３】
2019526852.tif 000016
【図１４】
2019526852.tif 000017
【図１５】
2019526852.tif 000018
【図１６】
2019526852.tif 000019
【図１７】
2019526852.tif 000020
【図１８】
2019526852.tif 000021
【図１９】
2019526852.tif 000022
【図２０】
2019526852.tif 000023
【図２１】
2019526852.tif 000024
【図２２】
2019526852.tif 000025
【図２３】
2019526852.tif 000026
【図２４】
2019526852.tif 000027
【図２５】
2019526852.tif 000028
【図２６】
2019526852.tif 000029
【図２７】
2019526852.tif 000030
【図２８】
2019526852.tif 000031
【図２９】
2019526852.tif 000032
【図３０】
2019526852.tif 000033
【図３１】
2019526852.tif 000034
【図３２】
2019526852.tif 000035
【図３３】
2019526852.tif 000036
【図３４】
2019526852.tif 000037
【手続補正書】
【提出日】平成31年3月12日(2019.3.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｔｒｉａｎｇｌｅ：三角形の向きを示す数である。ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｔｒｉａｎｇｌｅが０である場合、三角形は図１７で説明したように表現される。ｏｒｉｅｎｔａｔｉｏｎ_ｏｆ_ｔｒｉａｎｇｌｅが１である場合、三角形は図１８で説明したように表現される。
【国際調査報告】
2019526852.tif 000038
2019526852.tif 000039
2019526852.tif 000040
2019526852.tif 000041
2019526852.tif 000042
2019526852.tif 000043