(57)【要約】画像のマッピングと処理の方法、装置、及び、機械可読媒体を開示する。方法は、パノラマビデオ画像を取得し、そのパノラマビデオ画像を主領域と少なくとも１つの補助領域とに区分することと、主領域に対応する主量子化パラメータと、補助領域に対応する補助量子化パラメータを決定することであって、主量子化パラメータは補助量子化パラメータより小さく、量子化パラメータは画質に反比例する、量子化パラメータと補助量子化パラメータを決定することと、主量子化パラメータに基づいて主領域を符号化し、補助量子化パラメータに基づいて補助領域を符号化して、符号化されたパノラマビデオ画像を決定することと、を含む。
2020509647.tif 000002
【特許請求の範囲】
【請求項１】
パノラマビデオ画像を取得し、前記パノラマビデオ画像を主領域と１つまたは複数の補助領域とに区分することと、
前記主領域に対応する主量子化パラメータと、前記１つまたは複数の補助領域に対応する各１つまたは複数の補助量子化パラメータを決定することであって、前記主量子化パラメータは前記１つまたは複数の各補助量子化パラメータより小さい、前記主量子化パラメータと前記１つまたは複数の各補助量子化パラメータとを決定することと、
前記主量子化パラメータに従って前記主領域を符号化し、前記各１つまたは複数の補助量子化パラメータに従って前記１つまたは複数の補助領域を符号化して、符号化されたパノラマビデオ画像を取得することと、
を含む、方法。
【請求項２】
前記パノラマビデオ画像を前記主領域と前記１つまたは複数の補助領域とに区分することは、
マッピングモデルに従って視野角情報を決定することと、
前記視野角情報を用いて、前記パノラマビデオ画像を前記主領域と前記１つまたは複数の補助領域とに区分することと、
を含む、請求項１に記載の方法。
【請求項３】
前記パノラマビデオ画像を前記主領域と前記少なくとも１つの補助領域とに区分することは、
前記パノラマビデオ画像の主視野角領域と補助視野角領域を決定することと、
前記主視野角領域に基づいて前記主領域を決定し、前記補助視野角領域を、前記１つまたは複数の補助領域の少なくとも１つの補助領域として設定することと、
を含む、請求項１に記載の方法。
【請求項４】
前記補助視野角領域を前記少なくとも１つの補助領域として設定することは、前記補助視野角領域を第１レベルの補助サブ領域から第Ｎレベルの補助サブ領域に区分することを含み、Ｎは２以上の整数である、請求項３に記載の方法。
【請求項５】
前記主視野角領域に基づいて前記主領域を決定することは、視野角情報に基づいて、前記主領域を前記主視野角領域から決定することを含み、
前記１つまたは複数の補助領域は、前記主視野角領域内の前記主領域以外の領域をさらに含む、請求項３に記載の方法。
【請求項６】
前記パノラマビデオ画像を前記主領域と前記１つまたは複数の補助領域とに区分することは、前記主視野角領域内の前記主領域以外の前記領域を、第１レベルの補助領域として設定することと、前記補助視野角領域を第２レベルの補助領域から第Ｎレベルの補助領域に区分することとを含み、Ｎは２以上の整数である、請求項５に記載の方法。
【請求項７】
前記パノラマビデオ画像を前記主領域と前記１つまたは複数の補助領域とに区分することは、
取得した前記パノラマビデオ画像の視野角領域を決定することと、
前記パノラマビデオ画像の前記視野角領域を前記主領域として設定し、且つ、前記視野角領域以外の領域を前記１つまたは複数の補助領域として設定することと、
を含む、請求項１に記載の方法。
【請求項８】
前記パノラマビデオ画像を前記主領域と前記１つまたは複数の補助領域とに区分することは、
対応する視線経路を前記パノラマビデオ画像の視野角の標的経路として選択することと、
前記標的経路に対応する領域を前記主領域として設定し、且つ、前記標的経路に対応する前記領域以外の領域を前記１つまたは複数の補助領域として設定することと、
を含む、請求項１に記載の方法。
【請求項９】
前記標的経路に対応する前記領域を前記主領域として設定し、且つ、前記標的経路に対応する前記領域以外の前記領域を前記１つまたは複数の補助領域として設定することは、
前記標的経路に対応する前記領域内のサブ領域を前記主領域に選択し、且つ、前記標的経路に対応する前記領域内の前記主領域以外のサブ領域を第１レベルの補助サブ領域として設定することと、
前記標的経路以外の経路に対応する領域を、第２レベルの補助サブ領域から第Ｎレベルの補助サブ領域に区分することと、を含み、Ｎは２以上の整数である、
請求項８に記載の方法。
【請求項１０】
前記１つまたは複数の補助領域に対応する前記各１つまたは複数の補助量子化パラメータを決定することは、異なるレベルの補助サブ領域に対応する異なるレベルの補助量子化パラメータを個別に決定することを含み、
補助量子化パラメータは、前記補助サブ領域のレベルが上がると、増加する、請求項１に記載の方法。
【請求項１１】
前記パノラマビデオ画像を取得する前に、前記方法は、適応解像度を有するキューブマップマッピングモデルに基づいて、球面パノラマ画像をマッピングすることをさらに含み、前記球面パノラマ画像をマッピングすることは、
前記キューブマップマッピングモデルのキューブの標的マッピング平面を選択し、且つ、前記キューブの他のマッピング平面を非標的マッピング平面として設定することと、
第１のサンプリング値に基づいて、前記球面パノラマ画像を前記標的マッピング平面上にマッピングし、且つ、第２のサンプリング値に基づいて、前記球面パノラマ画像を前記非標的マッピング平面上にマッピングすることであって、前記第１のサンプリング値は、前記第２のサンプリング値より大きい、前記マッピングすることと、
前記マッピングされたパノラマビデオ画像を展開することと、
を含む、請求項１に記載の方法。
【請求項１２】
前記パノラマビデオ画像を取得する前に、前記方法は、適応解像度を用いたキューブマップマッピングモデルに基づいて、前記球面パノラマ画像をマッピングすることをさらに含み、前記球面パノラマ画像をマッピングすることは、
サンプリング値に基づいて、マッピング平面のサンプリング点のピクセル位置を決定することと、
前記ピクセル位置に従って、前記球面パノラマ画像をマッピングし、前記球面パノラマ画像のマッピング位置のピクセル値を決定することであって、前記マッピング平面は、標的マッピング平面と非標的マッピング平面とを含み、前記サンプリング値は、第１のサンプリング値と第２のサンプリング値とを含む、前記マッピングすること及び前記決定すること、
を含む、請求項１に記載の方法。
【請求項１３】
前記マッピング位置のある特定のマッピング位置は、球面における線の交差点であり、
前記線は、前記サンプリング点のある特定のサンプリング点と、前記球面パノラマ画像の中心点とを通る、請求項１２に記載の方法。
【請求項１４】
実行可能命令を記憶する１つまたは複数のコンピュータ可読媒体であって、前記実行可能命令は、１つまたは複数のプロセッサによって実行されると、
キューブマップマッピングモデルのマッピング平面に対応するサンプリング値を決定することと、
前記サンプリング値を用いて、球面パノラマ画像をマッピングして、マッピングされたパノラマビデオ画像を取得することと、
前記マッピングされたパノラマビデオ画像を展開することと
を含む動作を、前記１つまたは複数のプロセッサに行わせる、
前記１つまたは複数のコンピュータ可読媒体。
【請求項１５】
前記マッピング平面は、標的マッピング平面と非標的マッピング平面とを含み、前記サンプリング値は、第１のサンプリング値と第２のサンプリング値とを含み、前記キューブマップマッピングモデルの前記マッピング平面に対応する前記サンプリング値を決定することは、
前記キューブマップマッピングモデルのキューブの前記標的マッピング平面を選択し、且つ、前記キューブの他のマッピング平面を前記非標的マッピング平面として設定することと、
前記標的マッピング平面に対応する前記第１のサンプリング値と、前記非標的マッピング平面に対応する前記第２のサンプリング値とを決定することと、
を含む、請求項１４に記載の１つまたは複数のコンピュータ可読媒体。
【請求項１６】
前記サンプリング値を用いて前記球面パノラマ画像をマッピングすることは、
前記第１のサンプリング値に基づいて前記標的マッピング平面上に前記球面パノラマ画像をマッピングすることと、
前記第２のサンプリング値に基づいて前記非標的マッピング平面上に前記球面パノラマ画像をマッピングすることと、を含み、
前記第１のサンプリング値は前記第２のサンプリング値より大きい、請求項１５に記載の１つまたは複数のコンピュータ可読媒体。
【請求項１７】
前記サンプリング値を用いて前記球面パノラマ画像をマッピングすることは、
前記サンプリング値に基づいて、前記マッピング平面のサンプリング点のピクセル位置を決定することと、
前記ピクセル位置に従って前記球面パノラマ画像をマッピングし、前記球面パノラマ画像のマッピング位置のピクセル値を決定することであって、前記マッピング位置のある特定のマッピング位置は、球面における線の交差点であり、前記線は、前記サンプリング点のある特定のサンプリング点と、前記球面パノラマ画像の中心点とを通る、前記マッピングすること及び前記決定することと、
を含む、請求項１４に記載の１つまたは複数のコンピュータ可読媒体。
【請求項１８】
１つまたは複数のプロセッサと、
メモリと、
前記メモリに記憶された領域区分モジュールであって、パノラマビデオ画像を取得して、前記パノラマビデオ画像を主領域と１つまたは複数の補助領域とに区分するように前記１つまたは複数のプロセッサによって実行可能な、前記領域区分モジュールと、
前記メモリに記憶された量子化パラメータ決定モジュールであって、前記主領域に対応する主量子化パラメータと前記１つまたは複数の補助領域に対応する各１つまたは複数の補助量子化パラメータとを決定するように前記１つまたは複数のプロセッサによって実行可能で、前記主量子化パラメータは前記１つまたは複数の補助量子化パラメータより小さい、前記量子化パラメータ決定モジュールと、
前記メモリに記憶された符号化モジュールであって、前記主量子化パラメータに従って前記主領域を符号化し、前記各１つまたは複数の補助量子化パラメータに従って前記１つまたは複数の補助領域を符号化して、符号化されたパノラマビデオ画像を決定するように前記１つまたは複数のプロセッサによって実行可能な、前記符号化モジュールと、
を含む、装置。
【請求項１９】
前記領域区分モジュールは、マッピング方法に従って視野角情報を決定するように、また、前記視野角情報を用いて前記パノラマビデオ画像を区分して、前記主領域と前記１つまたは複数の補助領域とを決定するように構成される、請求項１８に記載の装置。
【請求項２０】
前記領域区分モジュールは、対応する視線経路を前記パノラマビデオ画像の視野角の標的経路として選択するように、前記標的経路に対応する領域を前記主領域として設定するように、また、前記標的経路に対応する前記領域以外の領域を前記１つまたは複数の補助領域として設定するように構成される、請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理技術の分野に関する。
【０００２】
関連出願の相互参照
本出願は、２０１７年２月２７日出願の中国特許出願番号第２０１７１０１０９０２６．３号「Ｉｍａｇｅ  Ｍａｐｐｉｎｇ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ  ａｎｄ  Ｍａｃｈｉｎｅ−Ｒｅａｄａｂｌｅ  Ｍｅｄｉａ  ｔｈｅｒｅｏｆ」の優先権を主張し、参照により、その全体を本明細書に組み込む。
【背景技術】
【０００３】
３６０度のパノラマビデオは、広範囲を対象とし、ユーザの全視野角または視点をカバーできる。従って、その解像度は、通常、従来の平面のビデオよりずっと大きい。圧縮ビットレートと伝送のスムーズさとの釣合いを取るために、パノラマビデオの解像度をできる限り上げながら、同時に、ビットレートを下げる、すなわち、高解像度のパノラマビデオをトランスコードする時のビットレートを低減することが必要である。
【０００４】
現在、符号化ビットレートを低減する一般的な方法は、マッピングを通して、符号化の必要があるパノラマビデオの領域を低減することである。しかしながら、マッピングを通した符号化するパノラマビデオ領域の低減は、限られた範囲しか符号化ビットレートを低減しない。
【０００５】
よって、当業者が直面している差し迫った技術的課題は、パノラマビデオの符号化ビットレートの有効な低減の仕方である。
【発明の概要】
【０００６】
本概要は、詳細な記載で以下にさらに記載する概念の一部を簡単に紹介するものである。本概要は、特許を請求する主題の全ての重要な特徴または必須の特徴を特定することを意図してはおらず、特許を請求する主題の範囲の決定を助けるものとして単独で使用されることも意図してはいない。例えば、「技術」という用語は、上記文脈及び本開示を通じて承認されるように、デバイス（複数可）、システム（複数可）、方法（複数可）、及び／または、コンピュータ可読命令を指してよい。
【０００７】
本開示は、画像マッピング及び処理の方法、装置、及び、機械可読媒体を提供する。方法は、パノラマビデオ画像を獲得し、そのパノラマビデオ画像を主領域と、少なくとも１つの補助領域とに区分することと、主領域に対応する主量子化パラメータと、補助領域に対応する補助量子化パラメータであって、主量子化パラメータは補助量子化パラメータより小さく、量子化パラメータは画像の質に反比例する、主量子化パラメータと補助量子化パラメータとを決定することと、主量子化パラメータに基づいて主領域を符号化し、補助量子化パラメータに基づいて補助領域を符号化して、符号化されたパノラマビデオ画像を決定することと、を含む。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施形態による、トランスコード側とユーザ端末でのパノラマビデオの処理のプロセスを示すフローチャートである。
【図２】本開示の実施形態による、適応画像符号化スキームを示す概略図である。
【図３】本開示の実施形態による、画像処理装置を示すブロック図である。
【図４】本開示の実施形態による、画像処理装置を示すブロック図である。
【図５Ａ】本開示の実施形態による、キューブマップ（Ｃｕｂｅｍａｐ）マッピングモデルを示す概略図である。
【図５Ｂ】本開示の実施形態による、キューブマップマッピングモデルを示す概略図である。
【図５Ｃ】本開示の実施形態による、キューブマップマッピングモデルを示す概略図である。
【図６Ａ】本開示の実施形態による、ピラミッド（Ｐｙｒａｍｉｄ）マッピング方法を示す概略図である。
【図６Ｂ】本開示の実施形態による、ピラミッドマッピング方法を示す概略図である。
【図６Ｃ】本開示の実施形態による、ピラミッドマッピング方法を示す概略図である。
【図７】本開示の実施形態による、エクイレクタングラー（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ）マッピング方法を示す概略図である。
【図８】本開示の実施形態による、画像マッピング装置を示すブロック図である。
【図９】本開示の実施形態による、画像処理方法を示すフローチャートである。
【図１０】本開示の実施形態による、キューブマップマッピングに基づいた適応量子化符号化方法を示すフローチャートである。
【図１１】本開示の実施形態による、ピラミッドマッピングに基づいた適応量子化符号化方法を示すフローチャートである。
【図１２】本開示の実施形態による、エクイレクタングラーマッピングに基づいた適応量子化符号化方法を示すフローチャートである。
【図１３】本開示の実施形態による、装置を示すブロック図である。
【発明を実施するための形態】
【０００９】
本開示の上記目的、特徴、及び、長所をより明瞭、且つ、理解しやすくするために、添付図面と例示の実施態様を参照して本開示を以下により詳細に記載する。
【００１０】
修正及び置き換えの様々な異なる形態は、本開示より容易に実行、導き出すことができる、また、本開示の例示の実施形態を図面によって示し、本明細書に詳細に記載する。しかしながら、下記内容は、開示されている例示の実施形態に発明の概念を制限する意図はないことを理解されたい。むしろ、本開示の明細書及び請求項は、このような修正、同等物、及び、置き換えを全て含むことを意図している。
【００１１】
本明細書において、「一実施形態」「ある実施形態」及び「１つの特定の実施形態」等は、記載されている実施形態が、特定の特徴、構造、または、特性を含み得ることを意味する。しかしながら、各実施形態は、特定の特徴、構造、または、特性を含んでもよく、または、必ずしも含まなくてもよい。さらに、このような句は、必ずしも同じ実施形態を指していない。さらに、明記されていてもいなくても、実施形態に関連して記載される特定の特徴、構造、または、特性は、当業者の既知の範囲内の他の実施形態に関連すると考えられてよい。さらに、「Ａ、Ｂ、及び、Ｃのうちの少なくとも１つを含む」のリストには、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、または、（Ａ、Ｂ、及び、Ｃ）が含まれてよいことは理解されたい。また、「Ａ、Ｂ、または、Ｃのうちの少なくとも１つ」の形式で列挙される項目は、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）Ｃ）、または、（Ａ、Ｂ、及び、Ｃ）を意味してよい。
【００１２】
ある場合には、開示の実施形態は、ハードウェア、ファームウェア、ソフトウェア、または、それらの任意の組み合わせとして実施されてよい。開示の実施形態は、１つまたは複数のプロセッサによって実行し得る１つまたは複数の一時的または非一時的機械可読（例えば、コンピュータ可読）記憶媒体によって伝えられるまたは記憶される命令として実施されてもよい。機械可読記憶媒体は、機械によって読み取ることができる形式で情報を記憶または伝送するストレージデバイス、機構、または、他の物理的構造（例えば、揮発性もしくは不揮発性メモリ、メディアディスク、他の媒体、または、他の物理的構造デバイス）として実施されてよい。
【００１３】
図面において、一部の構造的または方法論的特徴は、特定の配置及び／または順序で示され得る。しかしながら、このような特定の配置及び／または順序は、必要でない場合もある。むしろ、一部の実施態様においては、このような特徴は、図面に示すのとは異なる方法及び／または異なる順序で配置されてよい。さらに、特定の図面の構造または方法の特徴に含まれる内容は、このような特徴が全ての実施形態に必要であると示唆することを意味してはおらず、一部の実施形態においては、これらの特徴は、含まれなくてもよく、または、他の特徴と組み合わされてよい。
【００１４】
パノラマ画像は、通常、人間の眼の正常及び有効な視野角（水平方向に約９０°、垂直方向に約７０°）もしくは、両眼のディミング角度（dimming angle）（水平方向に約１８０°、垂直方向に約９０°）に適合する画像を指す、または、３６０°の全景さえ含む。３６０°のパノラマビデオは、ユーザの全視野角または視点をカバーできる非常に広い範囲を表示する。結果として、３６０°のパノラマビデオは、ＶＲ（仮想現実）分野のホットスポットであり、没入型のビデオ視聴体験をユーザに提供できる。
【００１５】
図１は、本開示の実施形態による、トランスコード側とユーザ端末でパノラマビデオを処理するプロセスを示すフローチャートである。ボックス１０２は、獲得側が画像データを収集できる動作を記載する。ある実施形態においては、獲得側は、カメラを含むデバイスであってよく、デバイスは、１つまたは複数のカメラを有してよい。カメラの数は、カメラ範囲に基づいて決定できる。例えば、魚眼レンズは、３６０°のパノラマ画像を撮影できる。他の実施形態においては、獲得側は、携帯電話、バックアップカメラ等、ユーザ側のデバイスであってよい。さらに別の実施形態においては、獲得側は、地図に対応するパノラマ画像獲得デバイス等、サービスエンドデバイスであってもよい。さらに別の実施形態においては、獲得側は、例えば、ＶＲ（仮想現実）ビデオ獲得デバイスであってもよい。キャプチャされる画像は、処理のためトランスコード側に送ることができる。トランスコード側において、球面パノラマ画像が、最初に、球形モデルに従って構築される。球面パノラマ画像は、３６０°の全範囲で撮影された画像である。しかしながら、球面パノラマ画像の表示範囲と解像度は、通常、大きい。従って、球面パノラマ画像は、圧縮する必要がある。結果として、トランスコード側は、球面パノラマ画像をマッピング及び符号化してよい。
【００１６】
ブロック１１２は、三次元マッピングモデルを確立することと、トランスコード側で球面パノラマ画像をマッピングすることとを記載する。画像の解像度は、三次元マッピングモデルへのマッピングによって低減される。よって、トランスコード側は、ニーズに従って、キューブマップモデル、ピラミッドモデル、エクイレクタングラーモデル等の三次元マッピングモデルを確立できる。三次元マッピングモデルを決定した後、球面パノラマ画像は、三次元マッピングモデルを使用してマッピングできる。例えば、三次元マッピングモデル上の点に対応する球面パノラマ画像上のサンプリング点が決定でき、サンプリング点でサンプリングが行われ、それによって、マッピングされたパノラマビデオ画像を取得する。
【００１７】
ブロック１１４は、マッピングされたパノラマビデオ画像を二次元平面上に展開することを記載する。言い換えると、平面展開モードは、三次元マッピングモデルの特性に従って決定され、取得されたマッピングパノラマビデオ画像は、平面展開モードに従って展開されて、対応する二次元画像、すなわち、二次元パノラマビデオ画像を取得する。
【００１８】
ブロック１１６は、二次元パノラマビデオ画像を符号化することを記載する。画像を符号化する方法は、ニーズに従って決定できる。対応する符号化パラメータも、符号化方法及びニーズに従って決定され、展開された二次元パノラマビデオ画像は、符号化方法に従って符号化される。符号化されたパノラマビデオ画像は、ユーザ端末に送られる。本開示の実施形態において、ユーザ端末は、モバイル端末（携帯電話、タブレットコンピュータ等を含む）、ＰＣ、または、ＶＲデバイス等、ユーザ側の端末デバイスであってよい。
【００１９】
ブロック１２２は、受信したパノラマビデオ画像をユーザ側で復号することを記載する。復号方法は、符号化方法に対応し、ニーズに従って設定できる。よって、トランスコード側が送信したパノラマビデオ画像を受信後、パノラマビデオ画像は、復号方法に従って復号されて、二次元パノラマビデオ画像を取得できる。
【００２０】
ブロック１２４は、三次元マッピングモデルを再構築することを記載する。復号された二次元パノラマビデオ画像に従って、トランスコード側に対応する三次元マッピングモデルが再構築できる。
【００２１】
ボックス１２６は、再構築された三次元マッピングモデルに基づいて、レンダリングを行うことを記載する。三次元マッピングモデルを再構築後、再構築された三次元マッピングモデルと視野角とに基づいて、画像がレンダリング及び出力できる。視野角は、リアルタイムのユーザの視野角によって決定できる。画像の各フレームは、上記方法に従って処理、出力できる、すなわち、パノラマビデオ全体を出力する。
【００２２】
本開示の実施形態において、トランスコード側のサーバ等のデバイスは、三次元マッピングモデルに基づいてマッピングを行うことができ、異なるモデルは異なるマッピングモードに対応する。三次元マッピングモデルは、符号化が必要なパノラマビデオの領域を低減できるが、ビットレートの低減はいまだ完全には達成されない。言い換えると、符号化されるパノラマビデオの領域をマッピングを通して低減することは、符号化ビットレートを限られた量しか低減しない。よって、本開示の実施形態において、適応量子化符号化方法を使用して、ビットレートを有効に低減し、且つ、より解像度の高いよりビットレートの低いパノラマビデオをユーザに提供する。
【００２３】
図２は、本開示の実施形態による、適応画像符号化スキームを示す概略図である。
【００２４】
実施態様において、任意の三次元マッピングモデルを使用して、マッピングによってパノラマビデオ画像を取得できる。パノラマビデオ画像は、次に、視野角情報に基づいて区分され、主領域と少なくとも１つの補助領域とが決定される。図２は、マッピングされたパノラマビデオ画像（すなわち、二次元平面展開図）である。パノラマビデオ画像は、視野角情報に基づいて区分された後、主領域１０と補助領域２０に区分できる。補助領域２０は、３つのサブ領域、すなわち、サブ領域Ａ、Ｂ、及び、Ｃを含んでよい。本実施形態は、適応量子化符号化方法を採用し、適応量子化符号化方法においては、異なる領域は、符号化に異なる量子化パラメータを採用してよい。よって、主領域に対応する主量子化パラメータは、補助領域に対応する補助量子化パラメータとは個別に決定できる。主量子化パラメータは、補助量子化パラメータより小さい。視野角は、人間の視力が通常、見て知覚する領域または範囲である。本開示においては、主視野角と補助視野角との各領域または範囲は、サーバ側及び／またはユーザ側のパラメータ等、実際のニーズまたは要件に基づいて規定される。例えば、ユーザ側（すなわち、ＶＲデバイス）が、４５°の視野角範囲を有する時、主領域は、４５°の範囲で、他の領域（複数可）は、補助領域（複数可）である。
【００２５】
量子化は、視覚回復（visual recovery）を達成する時に、視覚効果の損失を最小限に保ちながら二次情報を低減するプロセスである。量子化パラメータ（ＱＰ）は、符号化の質と画像のビットレートとに関連し、ビデオ品質ストリームの品質を決定するファクタの１つである。画像符号化において、量子化パラメータＱＰは、量子化ステップＱｓｔｅｐのシーケンス番号である。量子化パラメータＱＰは、画像の量子化損失に比例し、従って、画像の質に反比例する。言い換えると、ＱＰ値が小さければ小さいほど、Ｑｓｔｅｐからの量子化係数は細かくなり、画像の量子化損失は小さくなる。逆に、ＱＰ値が大きければ大きいほど、Ｑｓｔｅｐからの量子化係数は粗くなり、画像の量子化損失は大きくなる。
【００２６】
一例は、Ｈ．２６４コーデックである。量子化パラメータＱＰと量子化ステップＱｓｔｅｐの関係は次のようになる。量子化ステップＱｓｔｅｐは、全部で５２の値を有する。量子化パラメータＱＰは、量子化ステップＱｓｔｅｐの０から５１のシーケンス番号である。ＱＰが最小値０の時、これは、関連付けられた量子化が最も細かいことを意味する。逆に、ＱＰが最大値５１の時、量子化は最も粗い。ＱＰが増加すると、Ｑｓｔｅｐが増加し、ＱＰが６増加すると、Ｑｓｔｅｐは倍になる。例えば、ｘ．２６４符号化において、マクロブロックの符号化に関して、ＱＰ値が大きくなればなるほど、マクロブロックの符号化の質は低下し、対応する符号化のビットレートは低くなる。逆に、ＱＰ値が小さくなればなるほど、マクロブロックの画質は高くなり、対応するビットレートも高くなる。よって、ＱＰ値は、ｘ．２６４及び様々な他の符号化規格において、調節されたビットレートと画像の質とに関連する。適応量子化は、ビデオ符号化中、ある一定のアルゴリズムに従って同じフレーム内の異なるマクロブロック（例えば、ｘ．２６４における１６＊１６のブロックサイズのマクロブロック）に異なるＱＰ値を設定することを指す。
【００２７】
よって、実施態様において、主領域は、主量子化パラメータに基づいて符号化され、補助領域は、補助量子化パラメータに基づいて符号化される。言い換えると、符号化されたパノラマビデオ画像は、適応量子化符号化方法を用いてパノラマビデオ画像を処理することによって取得でき、次に、復号、マッピング、レンダリング、及び、提示のためにユーザ側に送信できる。
【００２８】
本開示の実施形態は、画像処理装置３００をさらに提供し、画像処理装置３００は、トランスコード側のサーバと、他のサービスエンドデバイスに適用できる。図３を参照すると、本開示の実施形態による、画像処理装置のブロック図が示されている。画像処理装置は、詳細には次のモジュールを含んでよい。
【００２９】
領域区分モジュール３０２は、パノラマビデオ画像を取得するように、また、そのパノラマビデオ画像を主領域と少なくとも１つの補助領域とに区分するように構成される。
【００３０】
量子化パラメータ決定モジュール３０４は、主領域に対応する主量子化パラメータと、補助領域に対応する補助量子化パラメータとを決定するように構成され、主量子化パラメータは、補助量子化パラメータより小さく、量子化パラメータは、画質に反比例する。
【００３１】
符号化モジュール３０６は、主量子化パラメータに従って主領域を符号化するように、また、補助量子化パラメータに従って補助領域を符号化するように構成されて、符号化されたパノラマビデオ画像を決定する。
【００３２】
装置３００は、視野角マッピングに基づいて、三次元マッピングモデルを確立する。言い換えると、装置３００は、三次元マッピングモデルを使用して、画像マッピングを行い、二次元展開の後、パノラマビデオ画像を取得する。画像がマッピングされ、二次元展開された後、画像はフィルタリングもされて、高周波成分を平滑化できる。よって、本実施形態においては、領域区分モジュール３０２から獲得され、マッピングによって決定されたパノラマビデオ画像は、マッピングされ、フィルタリングされたパノラマビデオ画像であってもよい。パノラマビデオは、広範囲の表示を有し、これは、ユーザの全視野角または視点をカバーできる。視野角は、ユーザが現在見ている主視野角と、ユーザが見ていない他の視野角（補助視野角とも呼ぶ）とを含む。補助視野角は、ユーザが見ていない領域なので、主視野角に使用するのと同じ符号化を採用すると、圧縮ビットレートに無駄を生じる。よって、本開示の実施形態において、量子化符号化が、圧縮ビットレートを低減するように、ユーザの視野角によって区別された領域に基づいて実行される。
【００３３】
よって、装置３００は、ユーザの視野角に基づいて、視野角情報を決定できる。視野角情報を使用して、ユーザによって使用される主視野角に対応する情報を表す。ユーザの主視野角が位置する画像領域が、マッピングモデルに従って決定できる。よって、領域区分モジュール３０２は、視野角情報に基づいて、パノラマビデオ画像を主領域と少なくとも１つの補助領域とに区分してよく、ここで、主領域は、ユーザが使用する主視野角に対応する領域であり、補助領域は、補助視野角に対応する、ユーザが見ていない領域である。従って、異なる領域に対応する量子化パラメータを決定する時、量子化パラメータは、ある領域を見ているか否かに従って適応的に調節できる。量子化パラメータ決定モジュール３０４は、主領域に対応する主量子化パラメータと補助領域に対応する補助量子化パラメータとを決定できる。これらの領域のうち、主領域は、ユーザが主に見ている領域であり、従って、比較的細かく量子化される必要がある。補助領域は、ユーザが見ていない領域、または、焦点を当てていない領域であり、従って、比較的粗く量子化できる。言い換えると、主量子化パラメータは、補助量子化パラメータより小さい。符号化モジュール３０６は、次に、主量子化パラメータに従って主領域を符号化し、補助量子化パラメータに従って補助領域を符号化する、すなわち、適応量子化符号化方法を用いてパノラマビデオ画像を処理し、符号化されたパノラマビデオ画像を決定する。
【００３４】
要するに、マッピングすると決定されたマッピングされたパノラマビデオ画像が取得される。パノラマビデオ画像は、視野角情報に基づいて、主領域と少なくとも１つの補助領域とに区分される。異なる量子化パラメータが、異なる領域に対して割り当てられる、すなわち、主領域に対応する主量子化パラメータを設定し、補助領域に対応する補助量子化パラメータを設定し、主量子化パラメータは補助量子化パラメータより小さい。主領域は、主量子化パラメータに基づいて符号化され、補助領域は、補助量子化パラメータに基づいて符号化されて、符号化されたパノラマビデオ画像を決定する。ビットレートは、適応符号化を用いて有効に低減される。一方、主領域に十分な解像度を保証し、ユーザがビデオを正常に見ることができるように、比較的小さい主量子化パラメータが、ユーザの視野角に対応する主領域の符号化に使用される。
【００３５】
本開示の実施形態は、様々な三次元マッピングモデルを用いて展開、マッピングされるパノラマビデオ画像に適用されてよい。異なる三次元マッピングモデルは、異なるマッピングモードに対応する。本実施形態において、三次元マッピングモデルは、キューブマップモデル、ピラミッドモデル、エクイレクタングラーモデルのうちの少なくとも１つを含み、他の三次元マッピングモデルも含んでよい。これらは、本開示において網羅的に列挙したものではなく、本開示の実施形態を限定するものと解釈すべきではない。対応するマッピングモードは、キューブマップモデルに対応するキューブマップマッピングモード、ピラミッドモデルに対応するピラミッドマッピングモード、エクイレクタングラーモデルに対応する球面マッピングモード、及び、他の三次元マッピングモデルに対応するマッピングモードのうちの少なくとも１つを含む。
【００３６】
図４は、本開示の実施形態による画像処理装置のブロック図を示す。画像処理装置は、マッピングモジュール３０８、領域区分モジュール３０２、量子化パラメータ決定モジュール３０４、及び、符号化モジュール３０６を含んでよい。
【００３７】
領域区分モジュール３０２を使用して、マッピングモデルに従って視野角情報を決定し、視野角情報に従ってパノラマビデオ画像を区分し、主領域と少なくとも１つの補助領域とを決定する。三次元マッピングモデルのマッピング方法に基づいて、領域区分モジュール３０２は、ユーザの主視野角の視野角情報を決定できる。例えば、マルチパスビデオ画像をマッピングする時、視野角は、ユーザがどの経路を見ているかに基づいて見つけることができる。別の例においては、マッピングモードに対応する三次元マッピングモデルに基づいて、ユーザが見る主視野角の対応する視野範囲が決定できる。次に、パノラマビデオ画像は、視野角の情報を用いて、主領域と少なくとも１つの補助領域とに区分される。
【００３８】
パノラマビデオは、様々な三次元マッピングモデルを使用することによってマッピングでき、異なるマッピングモードは、異なる方法を採用して主領域と補助領域（複数可）とを決定してよいので、本実施形態は、複数のマッピングモードを例として使用して、パノラマビデオ画像の適応量子化符号化を記載する。
【００３９】
実施態様において、キューブマップモデルに対応するキューブマップマッピングモードを使用する。
【００４０】
キューブマップモデルは、球面パノラマビデオ画像を六面体にマッピングし、その六面体を二次元画像に展開する。キューブマップモデルの六角形の各点に関して、各点をパノラマビデオ画像の中心と結ぶと、交差点が球面上に見つかる。結果として。交差点とパノラマビデオ画像の中心とを通る線を通して、キューブマップ六面体に対応する球面上の点とパノラマ球面ビデオ上の点との間に１対１のマッピング関係が確立できる。従って、パノラマ球面ビデオのキューブマップ六面体へのマッピングが実現できる。キューブマップ六面体をマッピングした後、キューブの６つの面が、平坦な画像に展開できる。二次元平面展開後のマッピングされたパノラマビデオ画像の例を図５Ａに示す。パノラマビデオ画像は、六面体の上、下、左、右、前、後ろの画像データに、それぞれ、対応する６つの展開された長方形を含む。キューブマップの二次元展開されたパノラマビデオ画像の６面は、それぞれ、６方向のユーザの視野角に対応するので、一例においては、符号化量子化は、上、下、左、右、前、後ろからのユーザの６つのビューに従って適応的に行うことができる。明らかに、実践的な適用においては、パノラマビデオ画像に対応するキューブマップのビューの数は、必要に応じて設定されてよく、本開示の実施形態においては制限されない。
【００４１】
キューブマップマッピング及び展開後、ユーザの視野角に従って３６０°パノラマビデオ画像に適応量子化処理が行われる。上記のようにユーザの６つの視野角の６方向の適応量子化処理が、例として使用される。６つの視野角のうちの１つが、ユーザが使用する視野角である。図５Ａに示すように、上部左隅の視野角が、ユーザの視野角とみなされる。ユーザが使用するこの視野角に対応する領域の量子化パラメータは、低減でき、他の視野角に対応する領域の量子化パラメータを増加させることができ、その結果、他の視野角に対応する量子化パラメータは、ユーザが使用する視野角の対応する量子化パラメータより高くなる。結果として、ユーザは、ユーザが使用する視野角から圧縮品質の高い画像を見ることができ、画像の残りの部分の圧縮ビットレートは、量子化パラメータを高くすることによって低減される。よって、方法は、ユーザが使用する視野角で高い明瞭さを維持し、残りのビデオ領域で圧縮ビットレートを低減する。上記方法は、ユーザのＭ個の視野角（図５Ａに示すユーザの上、下、左、右、前、後ろの６つの角度に対応する視野角等）に対して、それぞれ、実施されて、適応量子化のトランスコードを行う。６つのチャネルの適応量子化ビデオ符号化ストリームが、トランスコード側で取得される。端末のユーザが視聴を開始すると、ユーザの視野角の変化に基づいて、ユーザが見ている主視野角に対応する低減された量子化パラメータを有する適応量子化ストリームにタイムリーに切り替えることが可能である。結果として、ユーザは、常に、高品質の視聴体験を得ることができる。
【００４２】
領域区分モジュール３０２は、キューブマップマッピングモデルが取得したパノラマビデオ画像に関して、視野角の標的経路として対応する視線経路を選択するように、視野角の標的経路に対応する領域を主領域として設定するように、また、視野角の標的経路に対応する領域以外の領域（複数可）を補助領域（複数可）として設定するように構成される。
【００４３】
領域区分モジュール３０２は、キューブマップマッピングモデルによって決定されたパノラマビデオ画像を取得し、その画像に対して、各視野角がビデオストリームの１つのチャネルに対応するＭ個の視野角を決定する。ある経路が、最初に、標的経路に選択されてよく、次に、ビデオ送信プロセス中に、ユーザが見ている物に対応する（すなわち、視線経路に対応する）経路が、調節され、その経路が、視野角が位置する視野角の標的経路に設定される。視野角の標的経路に対応する領域は、主領域に設定され、標的経路の外側に位置する他の経路（複数可）に対応する他の領域（複数可）は、補助領域（複数可）として設定される。図５Ａに示すように、上部左隅の領域が、主領域に設定され、他の領域は、補助領域に設定される。量子化パラメータ決定モジュール３０４は、次に、主領域に対応する主量子化パラメータと、補助領域に対応する各補助量子化パラメータとを決定できる。符号化モジュール３０６は、主量子化パラメータに従って主領域を符号化し、各補助量子化パラメータに従って補助領域を符号化し、それによって、適応量子化符号化スキームを用いてパノラマビデオ画像を処理し、符号化されたパノラマビデオ画像を決定する。
【００４４】
実施態様において、領域区分モジュール３０２は、標的経路の対応する領域内のサブ領域を主領域に選択するように、標的経路の対応する領域の主領域以外のサブ領域（複数可）を第１レベルの補助領域（複数可）に設定するように、標的経路以外の経路（複数可）の領域（複数可）を第２レベルの補助サブ領域（複数可）から第Ｎレベルの補助領域（複数可）に区分するように構成され、Ｎは２以上の整数である。圧縮率を有効に低減するために、補助領域は、複数のレベルの補助量子化パラメータを決定し、その量子化パラメータをレベル毎に増加させるように、複数の異なるレベルの補助領域に区分されてよい。よって、領域区分モジュール３０２は、補助領域（複数可）を第１レベルから第Ｎレベルの補助領域に区分でき、ここで、Ｎは２以上の整数である。領域区分モジュール３０２は、また、標的経路に対応する領域内のサブ領域を主領域に選択でき、標的経路に対応する領域内の主領域以外のサブ領域（複数可）を第１レベルの補助領域（複数可）に設定でき、標的経路以外の経路（複数可）に対応する領域（複数可）を第２レベルの補助領域（複数可）から第Ｎレベルの補助領域（複数可）に区分できる。第１レベルから第Ｎレベルの補助量子化パラメータが、第１レベルの補助領域（複数可）から第Ｎレベルの補助領域（複数可）に、それぞれ、割り当てられ、補助領域のレベルが上がると、補助量子化パラメータの値は増加する。ユーザが見ている視野角の反対側の視野角に対応する領域は、第Ｎレベルの補助領域（複数可）に設定できる。例えば、図５は、上記のように上、下、左、右、前、後ろを含む６つの視野角を有する。上部左隅の斜線領域が、前に対応する視野角である場合、後ろに対応する視野角に対応する領域は、第Ｎレベルの補助領域に設定でき、それによって、ユーザが見る視野角に従って適応量子化符号化を処理し、ビットレートを低減する。
【００４５】
別の例は、ピラミッドモデルに対応するピラミッドマッピングモードである。
【００４６】
ピラミッドモデルは、ユーザの異なる視野角に基づいて、パノラマビデオをマルチチャネルのＶＲビデオにマッピングでき、それによって、各ＶＲビデオの解像度と伝送ビットレートを低下させる。この技術的なフレームワークで、高解像度の画像データが、ユーザが見る主視野角でユーザに提示でき、低解像度の画像データが、ユーザの主視野角から離れた領域で表示できる。結果として、モデルは、ユーザが主視野角で高精細コンテンツを見るのを可能にしながら、パノラマビデオの全体としての圧縮画像領域とビットレートとを比較的低いレベルに保つ。
【００４７】
最初に、入力ＶＲパノラマビデオは、復号されて、複数の並列の多視野角マッピングモジュールにフィードされる。マッピングモジュールは、異なる視野角からの元の入力ＶＲビデオに基づいて、マッピングアルゴリズムによって、異なる視野角で異なる解像度を有するマルチチャネルＶＲパノラマビデオを生成する。生成されたマルチチャネルパノラマビデオは、符号化及び出力のためにＶＲパノラマビデオ符号化モジュールに送られる。符号化された出力ストリームは、ストリームをスライス及びパッケージ化するモジュールに送られ、このモジュールは、スライス及びパッケージ化後、ＨＬＳ等のトランスポート層プロトコルに基づいて、ストリームを出力する。端末のユーザが視聴する時、端末は、ユーザの視野角の変化に応答してビデオストリームをすぐにダウンロードし、その結果、ユーザは、高精細の視聴体験をあらゆる視野角で得られる。
【００４８】
ピラミッドモデルに対応するマッピングモードは、ユーザの視野角の変化に従ったマッピングを既に行っている。図６Ａは、本開示の実施形態による、ピラミッドマッピング方法の根底にある原理を示す概略図である。よって、ユーザが見る主視野角に対応する画像は、高い解像度を有し、他の視野角の画像は、低い解像度を有する。ピラミッドマッピングモデルの四角錐の頂点は、ユーザが見る視野角から最も遠い位置を表す。ピラミッドマッピングモデルのマッピング及び展開後、様々なパノラマビデオ画像が取得できる。パノラマビデオ画像の例を図６Ｂに示す。画像の４つの三角形の領域によって囲まれたひし形の領域は、主視野角領域１０であり、三角形の領域は、補助視野角領域である。言い換えると、パノラマビデオ画像は、１つの主視野角領域１０と４つの補助視野角領域（すなわち、２０〜５０）を含む。パノラマビデオ画像の他の例を図６Ｃに示す。図６Ｃは、主視野角領域１１と、補助視野角領域２１〜５１とを含む。補助視野角領域に共通の頂点は、最も高い高周波成分を有する領域が位置する頂点であってよい。よって、この種類の展開の例は、これら４つの補助視野角領域を統合して１つの補助視野角領域にしてもよい。
【００４９】
本開示の実施形態は、ユーザの視野角の変化に基づいた適応量子化符号化に関する。同じくユーザの視野角の変化に基づいたピラミッドマッピングの後、適応量子化符号化を行ってよい、すなわち、各視野角の各ピラミッドマッピングの結果に対する適応量子化アルゴリズムを提供する。主領域は、マッピングによって決定される主視野角に従って決定されてよい。例えば、主視野角領域が、主領域に設定できる、または、視野角に対応する主領域は、図６Ｂ及び図６Ｃの斜線領域で示されるように、主視野角領域からさらに区分されてよい。詳細には、主視野角領域に決定された主領域は、ユーザの実際の視野角に従って決定される。例えば、適応量子化符号化は、ビデオストリームのフィードバックに従ってリアルタイム調節を通して実施できる。補助視野角領域は、補助領域として決定される。主視野角領域の一部のみが主領域である場合、主視野角領域の残りの領域も補助領域として区分される。例えば、図６Ｂ及び図６Ｃの斜線領域以外の領域は、補助領域である。量子化符号化において、主領域の量子化パラメータＱＰは低減され、補助領域の量子化パラメータは、増加される。よって、ユーザが斜線領域の方を向く視野角で見ている時、圧縮品質の高い画像を見ることができ、画像の残りの部分の圧縮のビットレートは、量子化パラメータが高くなることによってさらに低減され、それによって、ピラミッドマッピングによるユーザの主視野角の視聴解像度を向上させながら、ビデオ全体の他の部分の圧縮率を低減する。従って、圧縮率分布は、ユーザの主視野角内の視聴品質を向上させる傾向がある。このように、ユーザの視点に適応した解像度マッピングに基づいて、適応量子化アルゴリズムをパノラマビデオ符号化にさらに重ね合わせることができ、それによって、符号化ビットレートをユーザの視野角の方に集中させる。適応解像度に基づいて、ユーザの視野角内の画質は、圧縮モジュールでさらに向上される。
【００５０】
領域区分モジュール３０２は、パノラマビデオ画像のピラミッドマッピングモデルによって取得されるパノラマビデオ画像の主視野角領域と補助視野角領域（複数可）とを決定するように、主視野角領域に基づいて主領域を決定するように、また、補助視野角領域（複数可）を補助領域（複数可）として設定するように構成される。領域区分モジュール３０２は、ピラミッドマッピングモデルによって決定されるパノラマビデオ画像を取得する。パノラマビデオ画像は、主視野角領域と補助視野角領域（複数可）との両方を含む。領域区分モジュール３０２は、主視野角領域に基づいて主領域を決定し、補助視野角領域（複数可）を補助領域（複数可）に設定する。さらに、領域区分モジュール３０２は、主領域に対応する量子化パラメータを低減し、補助領域（複数可）に対応する補助量子化パラメータ（複数可）を増加させ、主量子化パラメータに従って主領域を符号化し、補助量子化パラメータ（複数可）に従って補助領域（複数可）を符号化し、符号化されたパノラマビデオ画像を決定する。
【００５１】
実施態様において、領域区分モジュール３０２は、主視野角領域を主領域として設定し、補助視野角領域（複数可）を補助領域（複数可）として設定する。ピラミッドモデルは、視野角に基づいた適応マッピング方法なので、主視野角領域を主領域として設定し、補助視野角領域（複数可）を補助領域（複数可）として設定することは実行可能である。本実施形態は、また、補助領域（複数可）内に複数レベルの補助領域を設定して、ビットレートをさらに低減できる。言い換えると、領域区分モジュール３０２は、主視野角領域を主領域として設定するように、また、補助領域（複数可）を第１レベルの補助領域（複数可）から第Ｎレベルの補助領域（複数可）に設定するように構成され、四角錐の頂点までの距離が近くなればなるほど、ユーザの視野角からの位置が遠くなる。よって、各レベルの補助領域（複数可）は、視野角との各関係に従って区分できる。
【００５２】
実施態様において、領域区分モジュール３０２は、視野角情報に基づいて主視野角領域内の主領域を決定するように、主領域以外の領域（複数可）を補助領域（複数可）として設定するように構成される。領域区分モジュール３０２は、主視野角領域内の主領域とは異なる領域（複数可）を第１レベルの補助サブ領域（複数可）として設定するように、また、パノラマビデオ画像の補助視野角領域を第２レベルの補助サブ領域（複数可）から第Ｎレベルの補助サブ領域（複数可）に区分するように構成され、ここで、Ｎは２以上の整数である。
【００５３】
領域区分モジュール３０２は、主視野角領域を主領域と補助領域（複数可）とにさらに区分してよい、すなわち、視野角情報に基づいて、主視野角領域から対応する主領域を選択してよい。視野角情報は、ユーザの視聴に関するフィードバック情報に従って決定できる。領域区分モジュール３０２は、次に、主視野角領域内に位置し、且つ、主領域とは異なる領域（複数可）を補助領域（複数可）として設定してよく、補助視野角領域（複数可）を補助領域（複数可）として設定してよい。四角錐の頂点までの距離が近くなると、位置は、ユーザの視野角から遠くなる。よって、各レベルの補助領域（複数可）は、視野角との各関係に従って区分できる。複数のレベルの補助領域が設定でき、これは、主視野角領域内の主領域以外の領域（複数可）を第１レベルの補助サブ領域（複数可）として設定することと、パノラマビデオ画像の補助視野角領域を第２レベルの補助サブ領域（複数可）から第Ｎレベルの補助サブ領域（複数可）に区分することを含む。例えば、図６Ｃにおいて、主視野角領域内の斜線領域は、主領域であり、主視野角領域の他の部分は、第１レベルのサブ領域である。補助視野角領域において、４つの補助視野角領域に共通の頂点は、四角錐の頂点に対応する。よって、領域区分は、高周波成分の数に従って実施でき、共通の頂点からその反対側の辺に移動できる。例えば、Ｇは、第２レベルの補助領域であり、Ｆは、第３レベルの補助領域であり、Ｅは、第４レベルの補助領域である。補助領域に対応する補助量子化パラメータを決定することは、各レベルの補助領域に対応する各レベルの補助量子化パラメータを個別に決定することと、対応する第１レベルから第Ｎレベルの補助量子化パラメータを、第１レベルから第Ｎレベルの補助領域にそれぞれ、割り当てることとを含み、ここで、補助量子化パラメータは、レベルが上がると、増加する。
【００５４】
別の例は、エクイレクタングラーモデルに対応する球面投影モードである。
【００５５】
エクイレクタングラーモデルに対応するパノラマビデオマッピングは、比較的一般的なマッピング法である。図７に示すように、エクイレクタングラーモデルは、入力されたパノラマビデオを円筒形状に展開して、最終的に平面画像を取得できる。エクイレクタングラーモデルとキューブマップモデルとの違いは、エクイレクタングラーモデルのマッピング及び展開は、ユーザビューの６方向に厳密に固執しないことである。しかしながら、エクイレクタングラーモデルのマッピング及び展開後に取得されるパノラマビデオ画像に関して、対応する適応量子化ウィンドウが、サービスのニーズに従って提供されてよい。主領域及び補助領域（複数可）は、ウィンドウを通して決定でき、ウィンドウはメイン領域であり、サブ領域は、ウィンドウを通して決定され、ウィンドウは、ユーザの視野角に従って決定される。よって、ウィンドウの内部及び外部の各量子化パラメータの変化の値が設定できる、すなわち、主領域の量子化パラメータを減少させ、補助領域（複数可）の量子化パラメータ（複数可）を増加させる。
【００５６】
領域区分モジュール３０２は、球面マッピングモデルを通して取得されたパノラマビデオ画像の視野角領域を決定するように、パノラマビデオ画像内の視野角領域を主領域として設定するように、また、視野角領域以外の領域を補助領域として設定するように構成される。領域区分モジュール３０２は、エクイレクタングラーマッピングモデルを通して決定されたパノラマビデオ画像を取得し、ウィンドウに対応する領域を主領域として最初に指定し、視聴中のユーザフィードバック等の情報に従って、視野角領域（すなわち、ウィンドウの位置）を取得し、ウィンドウの位置に対応する視野角領域を主領域として指定し、視野角領域以外の領域を補助領域として設定する。領域区分モジュール３０２は、次に、主領域に対応する主量子化パラメータと、補助領域に対応する補助量子化パラメータとを決定する。領域区分モジュール３０２は、次に、主量子化パラメータに従って主領域を符号化し、補助量子化パラメータに従って補助領域を符号化する、すなわち、適応量子化符号化方法を用いて、パノラマビデオ画像を処理して符号化されたパノラマビデオ画像を決定する。実施態様において、領域区分モジュール３０２を使用して、視野角領域以外の領域を第１レベルの補助サブ領域から第Ｎレベルの補助サブ領域に区分する。ここで、Ｎは２以上の整数である。
【００５７】
量子化パラメータ決定モジュール３０４は、各レベルの補助領域（複数可）に対応する各レベルの補助量子化パラメータを決定するように構成され、ここで、量子化パラメータは、レベルが上がると、増加する。圧縮率を有効に低減するために、実施態様において、量子化パラメータ決定モジュール３０４は、補助領域（複数可）を複数のレベルの補助サブ領域に区分し、それによって、複数のレベルの補助量子化パラメータを決定し、レベル毎に量子化パラメータを増加させる。よって、領域区分モジュール３０２は、補助領域（複数可）を第１から第Ｎレベルの補助サブ領域に区分でき、ここで、Ｎは２以上の整数である。第１から第Ｎレベルの補助量子化パラメータは、第１から第Ｎレベルの補助サブ領域に、それぞれ、割り当てられ、補助量子化パラメータは、補助サブ領域のレベルが上がると、増加する。
【００５８】
本開示の実施形態において、キューブマップモデルのマッピングは、適応解像度を用いてキューブマップモデルを決定するように調節できる。それに応じて、キューブマップモードは、適応解像度を用いたキューブマップモードを含む。よって、球面パノラマ画像は、適応解像度を用いたキューブマップマッピングモデルに基づいてマッピングできる。適応解像度を用いたキューブマップモデルは、ダウンサンプリングして、一般的なキューブマップモデルのユーザの視野角（すなわち、視野角）以外のマッピング平面の長さ及び幅の両方の１／２に解像度を低減でき、それによって、マッピング及び展開後、長方形の画像を生成する。従って、図５Ａに示す画像は、適応解像度を用いたキューブマップモデルを使用して展開された後、図５Ｂに示すパノラマビデオ画像に変換される。ダウンサンプリング無しに取得される長方形は、図５Ｂに示す上部左隅の長方形で、ユーザが見る視野角に対応する領域であり、主領域と見なすことができる。ダウンサンプリングによって取得される他の残りの長方形は、他の視野角に対する領域で、補助領域として区分できる。マッピングモジュール３０８は、キューブマップマッピングモデルのキューブから標的マッピング平面を選択するように、また、他のマッピング平面を非標的マッピング平面として決定するように構成されるマッピング平面決定サブモジュール３０８２と、第１のサンプリング値に基づいて、球面パノラマ画像を標的マッピング平面にマッピングするように、また、第２のサンプリング値に基づいて、球面パノラマ画像を非標的マッピング平面にマッピングするように構成されたマッピング処理サブモジュール３０８４であって、第１のサンプリング値は第２のサンプリング値の２倍であるマッピング処理サブモジュール３０８４と、マッピングされたパノラマビデオ画像を展開するように構成された展開サブモジュール３０８６とを含む。
【００５９】
マッピング処理サブモジュール３０８４は、サンプリング値に基づいて、マッピング平面でサンプリング点の各ピクセル位置を決定するように、ピクセル位置に従って、球面パノラマ画像をマッピングするように、また、球面パノラマ画像で、マッピング位置のピクセル値を決定するように構成される。言い換えると、マッピング処理サブモジュール３０８４は、第１のサンプリング値に基づいて、標的マッピング平面にサンプリング点のピクセル位置を決定するように、ピクセル位置に従って、球面パノラマ画像をマッピングするように、また、球面パノラマ画像でマッピング位置のピクセル値を決定するように構成される。マッピング処理サブモジュール３０８４は、第２のサンプリング値に基づいて、非標的マッピング平面でサンプリング点のピクセル位置を決定するように、ピクセル位置に従って、球面パノラマ画像をマッピングするように、また、球面パノラマ画像でマッピング位置のピクセル値を決定するように構成される。
【００６０】
マッピング平面は、標的マッピング平面と非標的マッピング平面とを含み、サンプリング値は、第１のサンプリング値と第２のサンプリング値とを含む。マッピング位置は、（サンプリング点と球面パノラマ画像の中心点とを通る）線の球面パノラマ画像の球面との交差点である。
【００６１】
本開示の実施態様において、適応解像度を用いたキューブマップモデルマッピング後に展開されるパノラマビデオ画像は、ピラミッドモデルマッピングによって展開されるパノラマビデオ画像と、面積という点で分析及び比較されてよい。図６Ｂを例として使用する。ピラミッドの中心にあるひし形は、ユーザの主視野角である。ひし形の辺の長さは１であると仮定し、ユーザの主視野角の面積は１であると仮定し、展開されたピラミッドの全面積は、２であると仮定する。同様に、図５Ｂに関しては、主視野角に対応する領域（上部左隅の正方形）は、辺の長さ１及び面積１を有すると仮定される。言い換えると、これらの２つのモデルは、ユーザの主視野角で同じピクセル面積と解像度を有し、図５Ｂの展開された画像の面積は、１．５＊１．５＝２．２５である。言い換えると、本開示のマッピング及び展開された面積は、ピラミッドのマッピング及び展開された面積と比較して１２．５％だけ増加している。詳細には、異なる視野角に対する適応解像度を用いたキューブマップモデルに基づいたパノラマビデオマッピングを採用することによって、最終的にマッピング及び展開された平面の面積は、ピラミッドモデルの最終的にマッピング及び展開された平面の面積より１２．５％だけ大きい。しかしながら、補助領域の高周波成分によるビットレートの消費による主視野角領域のジャギーや圧縮品質の低下等を含む、ピラミッドモデルに特有の問題を回避できる。
【００６２】
実用的な実施においては、圧縮率低減等の態様が、さらに行われてよい。ユーザの視野角の解像度もダウンサンプリングできる。例えば、主視野角の正方形は、長さ及び幅、それぞれ、３／４のスケールでダウンサンプリングできる。主視野角のマッピング及び展開された面積は、元の６／１９になり、残り５つの表面は主視野角のダウンサンプリングを基準にして、長さ及び幅、それぞれ、１／２のスケールでダウンサンプリングされる。従って、残りの５つの面の各面積は、それぞれ、通常のキューブマップの９／６４である。各領域は、等しい比率でダウンサンプリングされ、最終的に展開された画像は、常に、図５Ｂに示す形を維持する。
【００６３】
本開示の実施形態は、図８に示す画像マッピング装置８００をさらに提供し、画像マッピング装置８００は次のモジュールを含む。
【００６４】
画像マッピングモジュール８０２は、キューブマップマッピングモデルのマッピング平面に対応するサンプリング値を決定するように、また、対応するサンプリング値を有する球面パノラマ画像をマッピングして、マッピングされたパノラマビデオ画像を取得するように構成される。
【００６５】
画像展開モジュール８０４は、マッピングされたパノラマビデオ画像を展開するように構成される。
【００６６】
マッピング前のパノラマビデオに対応する各画像フレームは、球面パノラマ画像である。適応解像度を用いたキューブマップマッピングのプロセス中、画像マッピングモジュール８０２は、各マッピング平面と、各マッピング平面のサンプリング値とをキューブマップモデルに対応するキューブから決定してよく、サンプリング値に従って、各マッピング平面のサンプリング点を決定してよく、サンプリング点を用いて、球面パノラマ画像をマッピングしてよい。画像展開モジュール８０４は、各サンプリング点をマッピング後、マッピングされたキューブを展開し、それによって、マッピングされたパノラマビデオ画像を取得する。マッピングされたパノラマビデオ画像が展開される時、マッピングモデルに対応する展開モードに従って、展開を行うことができる。図５Ｂに示す展開された画像を例として使用する。標的マッピング平面は、図５Ｂの斜線領域に対応するように展開でき、非標的マッピング平面は、それぞれ、図５Ｂの残りの５つの領域に対応するように展開でき、それによって、展開された二次元パノラマビデオ画像を取得する。
【００６７】
実施態様において、マッピング平面は、標的マッピング平面と非標的マッピング平面（複数可）とを含み、サンプリング値は、第１のサンプリング値と第２のサンプリング値とを含む。画像マッピングモジュールは、キューブマップマッピングモデルのキューブから標的マッピング平面を選択し、他のマッピング平面（複数可）を非標的マッピング平面（複数可）として設定するために、標的マッピング平面に対応する第１のサンプリング値と、非標的マッピング平面（複数可）に対応する第２のサンプリング値とを決定するために、また、第１のサンプリング値に従って、球面パノラマ画像を標的マッピング平面にマッピングし、第２のサンプリング値に従って、球形パノラマ画像を非標的マッピング平面（複数可）にマッピングするために使用される。ここで、第１のサンプリング値は、第２のサンプリング値の２倍である。
【００６８】
マッピング前のパノラマビデオに対応する各画像フレームは、球面パノラマ画像である。適応解像度を用いたキューブマップマッピングのプロセス中、キューブマップモデルに対応するキューブのあるマッピング平面が、最初に、標的マッピング平面として設定でき、ここで、キューブのランダムに選択されたマッピング平面、または、視野角に対応しユーザに表示されるマッピング平面が、最初に、標的マッピング平面として設定できる。その後、視聴プロセス中、視野角に対応するマッピング平面が、ユーザが調節した視野角に基づいて、標的マッピングに設定される。標的マッピング平面を決定した後、残りの５つのマッピング平面が、非マッピング平面に設定される。標的マッピング平面のサンプリング点が、球面パノラマ画像をマッピングするための第１のサンプリング値に従って決定され、非標的マッピング平面のサンプリング点が、球面パノラマ画像をマッピングするための第２のサンプリング値に従って決定される。各サンプリング点をマッピングした後に取得されたマッピングされたキューブは、展開されて、マッピングされたパノラマビデオ画像を決定する。キューブマップモデルの六面体の各サンプリング点に関して、各サンプリング点とパノラマビデオ画像の中心点が、直線を形成し、この線と球面との交差点が決定される。交差点は、各サンプリング点のマッピング点である。１対１のマッピング関係が、キューブマップの六面体上の点とパノラマ球面ビデオに対応する球面上の点との間に確立でき、それによって、パノラマ球面ビデオのキューブマップ六面体へのマッピングを実施する。適応解像度を用いたマッピングモードの本実施形態において、第１のサンプリング値は、第２のサンプリング値の２倍である、すなわち、１／２のスケールのダウンサンプリングが、非標的マッピング平面に対して行われる。よって、図５Ｂに示すパノラマビデオ画像は、適応解像度を用いたキューブマップモデルを使用したマッピング及び展開後、図５Ａの画像から取得される。
【００６９】
画像マッピングモジュールは、サンプリング値に基づいて、マッピング平面上のサンプリング点のピクセル位置を決定するように、ピクセル位置に従って球面パノラマ画像をマッピングするように、また、球面パノラマ画像のマッピング位置のピクセル値を決定するように構成される。マッピング位置は、（関連付けられたサンプリング点と球面パノラマ画像の中心点とを通る）線の球面パノラマ画像の球面との交差点である。
【００７０】
適応解像度を用いたキューブマップモデルのマッピングは、一般的なキューブマップのマッピング原理に従って行うことができる。ダウンサンプリングが必要な平面に関しては、各ダウンサンプリングされるピクセル位置に対応する通常のキューブマップキューブのピクセル位置を、見つけて、次に球形モデル上にマッピングして、ピクセル値を取得する必要がある。球面上の焦点は、整数位置でなくてもよく、よって、ピクセル位置周囲のピクセルの補間が決定されてよく、ピクセル位置の輝度とクロマの補間が決定されてよい。補間方法は、要件に従って決定されてよい。マッピングによるピクセル値取得のプロセスにおいて、平滑化フィルタリングプロセスを行って、ダウンサンプリングされたマッピング画像を平滑化してよい。例えば、マッピング位置の周辺の幾つかのピクセルが取得され、フィルタリングのために重み付け平均される。このマッピング方法を採用する全ての他の平面のダウンサンプリングレートは同じである。よって、対応する処理アルゴリズムは、詳細には、端末上で、ダウンサンプリングされた表面のテクスチャを元の解像度にアップサンプリングするように構成でき、それによって、キューブマップモデルをレンダリングする時、不明瞭さやジャギーをさらに軽減する。
【００７１】
上記記載は、三次元マッピングモデルの例を用いて、パノラマビデオ画像をマッピング及び展開した後の適応量子化符号化方法を示す。実用的な実施においては、主領域及び補助領域（複数可）は、選択された三次元マッピングモデルと視野角情報とに基づいて区分でき、レベル毎の処理を、補助領域（複数可）に対して行うことができ、それによって、様々な種類のパノラマビデオマッピングと、圧縮の方法及びフレームワークに柔軟に組み込むことができる。
【００７２】
要するに、ユーザの視野角の変化に基づいた適応量子化を上記のパノラマビデオのマッピング及び圧縮のフレームワークに導入することによって、ユーザの視野角の画質を向上させながら、見ていない視野角に関連付けられた他の部分の圧縮率を低減し、それによって、同じ圧縮ビットレート下で、パノラマビデオのより良い視聴体験をユーザに提供する。
【００７３】
適応解像度を用いたキューブマップマッピングモデルは、ユーザの視野角から遠い領域で、ピラミッドマッピングモデルによく見られるぶれとジャギーを回避でき、様々なＧＰＵでサポートされるデフォルトレンダリングモデルを用いて最高のレンダリング性能を有する。同時に、この新しい種類のマッピング方法は、適応量子化フレームワークを便利に組み合わせることができ、圧縮率を効果的に低減できる。
【００７４】
上記パノラマビデオ画像処理装置に基づいて、例を用いて、画像の個々の領域のフィルタリングを説明する。
【００７５】
図９は、本開示の実施形態による、画像処理方法９００のフローチャートを示す。
【００７６】
ボックス９０２は、パノラマビデオ画像を取得し、パノラマビデオ画像を、主領域と少なくとも１つの補助領域とに区分する。
【００７７】
ボックス９０４は、主領域に対応する主量子化パラメータと補助領域に対応する補助量子化パラメータとを決定し、ここで、主量子化パラメータは、補助量子化パラメータより小さい。
【００７８】
ボックス９０６は、主量子化パラメータに基づいて主領域を符号化し、補助量子化パラメータに基づいて補助領域を符号化し、符号化されたパノラマビデオ画像を決定する。
【００７９】
装置は、視野角マッピングに基づいて三次元マッピングモデルを確立する。装置は、三次元マッピングモデルを使用して、画像マッピングを行い、二次元展開の後、パノラマビデオ画像を取得する。画像をマッピングし、二次元展開した後、画像をフィルタリングして、高周波成分の平滑化もできる。よって、本実施形態において、マッピングによって獲得及び決定されたパノラマビデオ画像は、マッピング及びフィルタリングされたパノラマビデオ画像であってもよい。パノラマビデオは、広範囲の表示を有し、ユーザの全視野角または視点をカバーできる。視野角は、ユーザが現在見ている主視野角と、ユーザが見ていない他の視野角（補助視野角と呼ぶ）とを含む。補助視野角は、ユーザが見ていない領域なので、主視野角に使用されるのと同じ符号化を採用すると、圧縮ビットレートが無駄になる。よって、本開示の実施形態において、量子化符号化は、圧縮ビットレートを低減するように、ユーザの視野角によって区別された領域に基づいて実行される。
【００８０】
よって、装置は、ユーザの視野角に基づいて、視野角情報を決定できる。視野角情報を用いて、ユーザが使用する主視野角に対応する情報を表す。ユーザの主視野角が位置する画像領域は、マッピングモデルに従って決定できる。よって、パノラマビデオ画像は、視野角情報に基づいて、主領域と少なくとも１つの補助領域とに区分されてよく、ここで、主領域は、ユーザが使用する主視野角に対応する領域であり、補助領域は、補助視野角に対応し、ユーザが見ていない領域である。従って、異なる領域に対応する量子化パラメータを決定する時、量子化パラメータは、領域が見られているか否かに従って、適応的に調節できる。装置は、主領域に対応する主量子化パラメータと補助領域に対応する補助量子化パラメータとを決定できる。これらの領域のうち、主領域は、ユーザが主に見ている領域であり、従って、比較的細かく量子化される必要がある。補助領域は、ユーザが見ていない領域、または、焦点を当てていない領域であり、従って、比較的粗く量子化できる。言い換えると、主量子化パラメータは、補助量子化パラメータより小さい。主領域は、主量子化パラメータに従って符号化され、補助領域は、補助量子化パラメータによって符号化される、すなわち、適応量子化符号化方法を用いてパノラマビデオ画像を処理し、符号化されたパノラマビデオ画像を決定する。図２は、マッピングされたパノラマビデオ画像（すなわち、二次元平面展開図）である。パノラマビデオ画像は、視野角情報に基づいて区分された後、主領域１０と補助領域２０とに区分できる。補助領域２０は、３つのサブ領域、すなわち、サブ領域Ａ、Ｂ、及び、Ｃを含んでよい。本実施形態は、適応量子化符号化方法を採用する。適応量子化符号化方法においては、異なる領域は、符号化に異なる量子化パラメータを採用してよい。よって、主領域に対応する主量子化パラメータは、補助領域に対応する補助量子化パラメータから個別に決定できる。主量子化パラメータは、補助量子化パラメータより小さい。よって、実施態様において、主領域は、主量子化パラメータに基づいて符号化され、補助領域は、補助量子化パラメータに基づいて符号化される。言い換えると、符号化されたパノラマビデオ画像は、適応量子化符号化方法を用いてパノラマビデオ画像を処理することによって取得でき、次に、復号、マッピング、レンダリング、及び、提示のためにユーザ側に送信できる。
【００８１】
要するに、マッピングされると決定されたマッピングされたパノラマビデオ画像を取得する。パノラマビデオ画像は、視野角情報に基づいて、主領域と少なくとも１つの補助領域とに区分される。異なる量子化パラメータが、異なる領域に対して割り当てられる、すなわち、主領域に対応する主量子化パラメータを設定し、補助領域に対応する補助量子化パラメータを設定し、主量子化パラメータは補助量子化パラメータより小さい。主領域は、主量子化パラメータに基づいて符号化され、補助領域は、補助量子化パラメータに基づいて符号化されて、符号化されたパノラマビデオ画像を決定する。ビットレートは、適応符号化を用いて有効に低減される。一方、主領域に十分な解像度を保証し、ユーザがビデオを正常に見ることができるように、比較的小さい主量子化パラメータが、ユーザの視野角に対応する主領域の符号化に使用される。
【００８２】
本開示の実施形態は、様々な三次元マッピングモデルによってマッピング及び展開されるパノラマビデオ画像に適用されてよい。異なる三次元マッピングモデルは、異なるマッピングモードに対応する。本実施形態においては、三次元マッピングモデルは、キューブマップモデル、ピラミッドモデル、エクイレクタングラーモデルのうちの少なくとも１つを含み、他の三次元マッピングモデルも含んでよい。これらは、本開示において網羅的に列挙したものではなく、本開示の実施形態を限定するものと解釈すべきではない。対応するマッピングモードは、キューブマップモデルに対応するキューブマップマッピングモード、ピラミッドモデルに対応するピラミッドマッピングモード、エクイレクタングラーモデルに対応する球面マッピングモード、及び、他の三次元マッピングモデルに対応するマッピングモードのうちの少なくとも１つを含む。
【００８３】
実施態様において、パノラマビデオ画像を主領域と少なくとも１つの補助領域とに区分することは、マッピングモデルに従って視野角情報を決定することと、視野角情報に従ってパノラマビデオ画像を区分することと、主領域と少なくとも１つの補助領域とを決定することとを含む。三次元マッピングモデルのマッピング方法に基づいて、領域区分モジュール３０２は、ユーザの主視野角の視野角情報を決定できる。例えば、マルチパスビデオ画像がマッピングされる時、視野角は、ユーザがどの経路を見ているかに基づいて見つけることができる。別の例においては、マッピングモードに対応する三次元マッピングモデルに基づいて、ユーザが見る主視野角の対応する視野範囲を決定できる。次に、パノラマビデオ画像は、視野角の情報を用いて、主領域と少なくとも１つの補助領域とに区分される。
【００８４】
パノラマビデオは、様々な三次元マッピングモデルを用いてマッピングでき、異なるマッピングモードは、異なる方法を採用して、主領域及び補助領域（複数可）を決定し得るので、本実施形態は、複数のマッピングモードを例として使用して、パノラマビデオ画像の適応量子化符号化を記載する。
【００８５】
実施態様において、キューブマップモデルに対応するキューブマップマッピングモードを使用する。
【００８６】
キューブマップモデルは、球面パノラマビデオ画像を六面体にマッピングし、六面体を二次元画像に展開する。キューブマップモデルの六角形の各点に関して、各点をパノラマビデオ画像の中心と結ぶと、交差点が球面上に見つかる。結果として、交差点とパノラマビデオ画像の中心とを通る線を通して、キューブマップ六面体に対応する球面上の点とパノラマ球面ビデオ上の点との間に１対１のマッピング関係が確立できる。従って、パノラマ球面ビデオのキューブマップ六面体へのマッピングが実現できる。キューブマップ六面体をマッピングした後、キューブの６つの面が、平坦な画像に展開できる。二次元平面展開後にマッピングされたパノラマビデオ画像の例を図５Ａに示す。パノラマビデオ画像は、それぞれ、六面体の上、下、左、右、前、後ろの画像データに対応する６つの展開された長方形を含む。
【００８７】
キューブマップの二次元に展開されたパノラマビデオ画像の６面は、それぞれ、６方向のユーザの視野角に対応するので、一例においては、符号化量子化は、上、下、左、右、前、後ろからのユーザの６つのビューに従って適応的に行うことができる。明らかに、実践的な適用においては、パノラマビデオ画像に対応するキューブマップのビューの数は、必要に応じて設定されてよく、本開示の実施形態においては制限されない。
【００８８】
キューブマップマッピング及び展開後、ユーザの視野角に従って３６０°パノラマビデオ画像に適応量子化処理を行う。上記のユーザの６つの視野角の６方向の適応量子化処理を例として使用する。６つの視野角のうちの１つが、ユーザが使用する視野角である。図５Ａに示すように、上部左隅の視野角が、ユーザの視野角とみなされる。ユーザが使用するこの視野角に対応する領域の量子化パラメータは、低減でき、他の視野角に対応する量子化パラメータを増加させることができ、その結果、他の視野角に対応する量子化パラメータは、ユーザが使用する視野角の対応する量子化パラメータより高くなる。結果として、ユーザは、この視野角から圧縮品質の高い画像を見ることができ、画像の残りの部分の圧縮ビットレートは、より高い量子化パラメータが原因で低減される。よって、方法は、ユーザが使用する視野角で高い明瞭さを維持し、残りのビデオ領域で圧縮ビットレートを低減する。
【００８９】
上記方法は、ユーザのＭ個の視野角（図５Ａに示すユーザの上、下、左、右、前、後ろの６つの角度に対応する視野角等）に対して、それぞれ、実施されて、適応量子化のトランスコードを行う。６つのチャネルの適応量子化ビデオ符号化ストリームは、トランスコード側で取得される。端末のユーザが視聴を開始すると、ユーザの視野角の変化に基づいて、ユーザが見ている主視野角に対応する低減された量子化パラメータを有する適応量子化ストリームにタイムリーに切り替えることが可能である。結果として、ユーザは、常に、高品質の視聴体験を得ることができる。
【００９０】
よって、キューブマップモデルによる画像のマッピング及び展開に対応する符号化のプロセスは、以下を含んでよい。
【００９１】
図１０は、本開示の実施形態による、キューブマップマッピングに基づいた適応量子化符号化方法１０００を示すフローチャートである。
【００９２】
ブロック１００２は、マッピングのために決定されたパノラマビデオ画像を取得する。
【００９３】
ブロック１００４は、キューブマップマッピング方法によって取得されたパノラマビデオ画像に関して、対応する視線経路を視野角が位置する標的経路として選択する。
【００９４】
ブロック１００６は、標的経路に対応する領域を主領域として設定し、標的経路に対応する領域以外の領域（複数可）を補助領域（複数可）として設定する。
【００９５】
ブロック１００８は、主領域に対応する主量子化パラメータと、補助領域（複数可）に対応する補助量子化パラメータ（複数可）とを決定する。
【００９６】
ブロック１０１０は、主量子化パラメータに基づいて主領域を符号化し、補助量子化パラメータ（複数可）に基づいて補助領域（複数可）を符号化し、符号化されたパノラマビデオ画像を決定する。
【００９７】
装置は、キューブマップマッピングモデルによって決定されたパノラマビデオ画像を取得し、各視野角がビデオストリームの１つのチャネルに対応する、画像に対するＭ個の視野角を決定する。ある経路が、最初に、標的経路に選択されてよく、次に、ビデオ送信プロセス中、ユーザが見ているものに対応する経路（すなわち、対応する視線経路）が、調節され、その経路が、視野角が位置する視野角の標的経路に設定される。視野角の標的経路に対応する領域は、主領域に設定され、標的経路の外側に位置する他の経路（複数可）に対応する他の領域（複数可）は、補助領域（複数可）として設定される。図５Ａに示すように、上部左隅の領域は、主領域に設定され、他の領域は、補助領域に設定される。主領域に対応する主量子化パラメータが決定され、補助領域に対応する各補助量子化パラメータが、決定される。主領域は、主量子化パラメータに従って符号化され、補助領域は、各補助量子化パラメータに従って符号化され、それによって、適応量子化符号化スキームを用いてパノラマビデオ画像を処理し、符号化されたパノラマビデオ画像を決定する。
【００９８】
実施態様において、標的経路に対応する領域を主領域として設定することと、標的経路に対応する領域以外の領域（複数可）を補助領域（複数可）として設定することは、以下の動作を含む。
【００９９】
Ｓ１は、標的経路の対応する領域内のサブ領域を主領域に選択し、標的経路の対応する領域の主領域以外のサブ領域（複数可）を第１レベルの補助領域（複数可）に設定する。
【０１００】
Ｓ２は、標的経路以外の経路（複数可）の領域（複数可）を第２レベルの補助サブ領域（複数可）から第Ｎレベルの補助領域（複数可）に区分し、ここで、Ｎは２以上の整数である。
【０１０１】
補助領域（複数可）に対応する補助量子化パラメータ（複数可）を決定することは、以下の動作を含む。
【０１０２】
Ｓ３は、異なるレベルの補助サブ領域に対応する異なるレベルの補助量子化パラメータを個別に決定し、ここで、補助量子化パラメータは、補助サブ領域のレベルが上がると、増加する。
【０１０３】
本開示の実施形態において、圧縮率を有効に低減するために、複数のレベルの補助量子化パラメータを決定し、レベル毎に量子化パラメータを増加させるように、補助領域は、複数の異なるレベルの補助領域に区分できる。よって、補助領域（複数可）は、第１レベルから第Ｎレベルの補助領域に区分でき、Ｎは２以上の整数である。領域区分モジュール３０２は、標的経路に対応する領域内のサブ領域を主領域に選択でき、標的経路の対応する領域の主領域以外のサブ領域（複数可）を第１レベルの補助領域（複数可）として設定でき、標的経路以外の経路（複数可）に対応する領域（複数可）を第２レベルの補助領域（複数可）から第Ｎレベルの補助領域（複数可）に区分できる。第１レベルから第Ｎレベルの補助量子化パラメータは、第１レベルの補助領域（複数可）から第Ｎレベルの補助領域（複数可）に、それぞれ割り当てられ、ここで、補助量子化パラメータの値は、補助領域のレベルが上がると、増加する。ユーザが見る視野角の反対側の視野角に対応する領域は、第Ｎレベルの補助領域（複数可）に設定できる。例えば、図５Ａは、上記のように、上、下、左、右、前、後ろを含む６つの視野角を有する。上部左隅の斜線領域が、前に対応する視野角である場合、後ろに対応する視野角に対応する領域は、第Ｎレベルの補助領域に設定でき、このようにして、ユーザが見る視野角に従って適応量子化符号化を処理し、ビットレートを低減する。
【０１０４】
本開示の実施形態において、キューブマップモデルのマッピングは、調節されて、適応解像度を用いたキューブマップモデルを決定できる。それに応じて、キューブマップモードは、適応解像度を用いたキューブマップモードを含む。よって、球面パノラマ画像は、適応解像度を用いたキューブマップマッピングモデルに基づいて、マッピングでき、これは、球面パノラマ画像を取得することと、キューブマップマッピングモデルのマッピング平面に対応するサンプリング値を個別に決定し、球面パノラマ画像を対応するサンプリング値でマッピングすることと、マッピングされたパノラマビデオ画像を展開することとを含む。マッピング前のパノラマビデオに対応する各画像フレームは、球面パノラマ画像である。適応解像度を用いたキューブマップマッピングのプロセスを行っている間、各マッピング平面と各マッピング平面のサンプリング値は、キューブマップモデルに対応するキューブから決定できる。各マッピング平面のサンプリング点は、次に、サンプリング値に従って決定され、球面パノラマ画像は、サンプリング点を用いてマッピングされる。各サンプリング点をマッピング後、マッピングされたキューブを展開し、マッピングされたパノラマビデオ画像が決定される。
【０１０５】
適応解像度を用いたキューブマップモデルは、ダウンサンプリングして、一般的なキューブマップモデルのユーザの視野角（すなわち、視野角）以外のマッピング平面の長さ及び幅の両方を１／２に解像度を低減でき、それによって、マッピング及び展開後、長方形の画像を生成する。従って、図５Ａに示す画像は、適応解像度を用いたキューブマップモデルを使用して展開された後、図５Ｂに示すパノラマビデオ画像に変換される。ダウンサンプリング無しに取得される長方形は、図５Ｂに示す上部左隅の長方形で、ユーザが見る視野角に対応する領域であり、主領域と見なすことができる。ダウンサンプリングによって取得される他の残りの長方形は、他の視野角に対応する領域で、補助領域として区分できる。
【０１０６】
適応解像度を用いたキューブマップマッピングモデルに基づいて、球面パノラマ画像をマッピングする方法５００のマッピングプロセスを図５Ｃに示す。
【０１０７】
ボックス５０２は、キューブマップマッピングモデルのキューブで標的マッピング平面を選択し、キューブの他のマッピング平面を非標的マッピング平面に設定する。
【０１０８】
ボックス５０４は、標的マッピング平面に対応する第１のサンプリング値と、非標的マッピング平面に対応する第２のサンプリング値とを決定する。
【０１０９】
ボックス５０６は、第１のサンプリング値に基づいて球面パノラマ画像を標的マッピング平面上にマッピングし、第２のサンプリング値に基づいて球面パノラマ画像を非標的マッピング平面上にマッピングする。
【０１１０】
ボックス５０８は、マッピングされたパノラマビデオ画像を展開する。
【０１１１】
マッピング前のパノラマビデオに対応する各画像フレームは、球面パノラマ画像である。適応解像度を用いたキューブマップマッピングのプロセス中、キューブマップモデルに対応するキューブのマッピング平面が、最初に、標的マッピング平面として設定でき、ここで、キューブのランダムに選択されたマッピング平面、または、視野角に対応し、ユーザに表示されるマッピング平面が、最初に、標的マッピング平面として設定できる。その後、視聴プロセス中、視野角に対応するマッピング平面が、ユーザが調節した視野角に基づいて、標的マッピング平面に設定され、標的マッピング平面を決定した後、残りの５つのマッピング平面が、非マッピング平面に設定される。標的マッピング平面のサンプリング点が、球面パノラマ画像をマッピングするための第１のサンプリング値に従って決定され、非標的マッピング平面のサンプリング点が、球面パノラマ画像をマッピングするための第２のサンプリング値に従って決定される。各サンプリング点をマッピングした後に取得されたマッピングされたキューブは、展開されて、マッピングされたパノラマビデオ画像を決定する。キューブマップモデルの六面体の各サンプリング点に関して、各サンプリング点とパノラマビデオ画像の中心点が、直線を形成し、この線と球面との交差点が決定される。交差点は、各サンプリング点のマッピング点である。１対１のマッピング関係が、キューブマップの六面体上の点とパノラマ球面ビデオに対応する球面上の点との間に確立でき、それによって、パノラマ球面ビデオのキューブマップ六面体へのマッピングを実施する。適応解像度を用いたマッピングモードの本実施形態において、第１のサンプリング値は、第２のサンプリング値の２倍である、すなわち、１／２のスケールのダウンサンプリングが、非標的マッピング平面に対して行われる。マッピングされたパノラマビデオ画像を展開する時、マッピングモデルに対応する展開モードに従って、展開を行うことができる。図５Ｂに示す展開された画像を例として使用する。標的マッピング平面は、図５Ｂの斜線エリアに対応するように展開でき、非標的マッピング平面は、それぞれ、図５Ｂの残りの５つの領域に対応するように展開でき、それによって、展開された二次元パノラマビデオ画像を取得する。
【０１１２】
第１のサンプリング値に基づいて球面パノラマ画像を標的マッピング平面上にマッピングすることは、第１のサンプリング値に基づいて、標的マッピング平面のサンプリング点のピクセル位置を決定することと、ピクセル位置に従って、球面パノラマ画像をマッピングすることと、球面パノラマ画像のマッピング位置のピクセル値を決定することとを含む。第２のサンプリング値に基づいて球面パノラマ画像を非標的マッピング平面にマッピングすることは、第２のサンプリング値に基づいて、非標的マッピング平面のサンプリング点のピクセル位置を決定することと、ピクセル位置に従って、球面パノラマ画像をマッピングすることと、球面パノラマ画像のマッピング位置のピクセル値を決定することとを含む。マッピング位置は、（サンプリング点と球面パノラマ画像の中心点とを通る）線の球面パノラマ画像の球面との交差点である。
【０１１３】
適応解像度を用いたキューブマップモデルのマッピングは、一般的なキューブマップのマッピング原理に従って行うことができる。ダウンサンプリングが必要な平面に関しては、各ダウンサンプリングされたピクセル位置に対応する通常のキューブマップキューブのピクセル位置を、見つける必要があり、次に球形モデル上にマッピングして、このピクセル値を取得する必要がある。球面上の焦点は、整数位置でなくてもよく、よって、ピクセル位置周囲のピクセルの補間が決定されてよく、ピクセル位置の輝度とクロマの補間が決定されてよい。補間方法は、要件に従って決定されてよい。マッピングによるピクセル値取得のプロセスにおいて、平滑化フィルタリングプロセスを行って、ダウンサンプリングされたマッピング画像を平滑化してよい。例えば、マッピング位置の周辺の幾つかのピクセルが取得され、フィルタリングのために重み付け平均される。このマッピング方法を使用する全ての他の平面のダウンサンプリングレートは同じである。よって、対応する処理アルゴリズムは、詳細には、端末において、ダウンサンプリングされた表面のテクスチャを元の解像度にアップサンプリングするように構成でき、それによって、キューブマップモデルをレンダリングする時の不明瞭さやジャギーをさらに軽減する。
【０１１４】
他の例は、ピラミッドモデルに対応するピラミッドマッピングモードである。
【０１１５】
ピラミッドモデルは、ユーザの異なる視野角に基づいて、パノラマビデオをマルチチャネルＶＲビデオにマッピングでき、それによって、各ＶＲビデオの解像度と伝送ビットレートとを低下させる。この技術的フレームワークにおいて、高解像度の画像データが、ユーザが見る主視野角で、ユーザに提示でき、低解像度の画像データが、ユーザの主視野角から離れた領域で表示できる。結果として、モデルは、パノラマビデオの全体としての圧縮画像領域とビットレートとを比較的低レベルに維持しながら、ユーザが、主視野角で高精細コンテンツを見るのを可能にする。
【０１１６】
最初に、入力ＶＲパノラマビデオが、復号され、複数の並列の多視野角マッピングモジュールにフィードされる。マッピングモジュールは、異なる視野角からの元の入力ＶＲビデオに基づいて、マッピングアルゴリズムによって、異なる視野角で異なる解像度を有するマルチチャネルＶＲパノラマビデオを生成する。生成されたマルチチャネルパノラマビデオは、符号化及び出力のためにＶＲパノラマビデオ符号化モジュールに送られる。符号化された出力ストリームは、ストリームをスライス及びパッケージ化するモジュールに送られ、このモジュールは、スライス及びパッケージ化後、ＨＬＳ等のトランスポート層プロトコルに基づいて、ストリームを出力する。端末のユーザが視聴する時、端末は、ユーザの視野角の変化に応答してビデオストリームをすぐにダウンロードし、それによって、ユーザは、高精細の視聴体験をあらゆる視野角で得られる。
【０１１７】
ピラミッドモデルに対応するマッピングモードは、ユーザの視野角の変化に従ったマッピングを既に行っている。図６Ａは、本開示の実施形態による、ピラミッドマッピング方法の根底にある原理を示す概略図である。よって、ユーザが見る主視野角に対応する画像は、高い解像度を有し、他の視野角の画像は、低い解像度を有する。ピラミッドマッピングモデルの四角錐の頂点は、ユーザが見る視野角から最も遠い位置を表す。ピラミッドマッピングモデルのマッピング及び展開後、様々なパノラマビデオ画像が取得できる。パノラマビデオ画像の例を図６Ｂに示す。画像の４つの三角形の領域によって囲まれたひし形の領域は、主視野角領域１０であり、三角形の領域は、補助視野角領域である。言い換えると、パノラマビデオ画像は、１つの主視野角領域１０と４つの補助視野角領域（すなわち、２０〜５０）を含む。パノラマビデオ画像の他の例を図６Ｃに示す。図６Ｃは、主視野角領域１１と、補助視野角領域２１〜５１とを含む。補助視野角領域に共通の頂点は、最も高い高周波成分を有する領域が位置する頂点であってよい。よって、この種類の展開の例は、これら４つの補助視野角領域を統合して１つの補助視野角領域にしてもよい。
【０１１８】
本開示の実施形態は、ユーザの視野角の変化に基づいた適応量子化符号化に関する。適応量子化符号化は、同じくユーザの視野角の変化に基づくピラミッドマッピングの後に行われてよい、すなわち、各視野角の各ピラミッドマッピング結果に適応量子化アルゴリズムを提供する。主領域は、マッピングを通して決定される主視野角に従って決定されてよい。例えば、主視野角領域が、主領域に設定でき、または、視野角に対応する主領域が、図６Ｂ及び図６Ｃの斜線領域に示すように、主視野角領域からさらに区分されてよい。詳細には、主視野角領域に決定される主領域は、ユーザの実際の視野角に従って決定される。例えば、適応量子化符号化は、ビデオストリームのフィードバックに従ってリアルタイム調節を通して実施できる。補助視野角領域は、補助領域として決定される。主視野角領域の一部のみが主領域である場合、主視野角領域の残りの領域も補助領域として区分される。例えば、図６Ｂ及び図６Ｃの斜線領域以外の領域は、補助領域である。量子化符号化において、主領域の量子化パラメータＱＰは低減され、補助領域の量子化パラメータは、増加される。よって、ユーザが斜線領域を向く視野角で見ている時、圧縮品質の高い画像を見ることができ、画像の残りの部分の圧縮ビットレートは、量子化パラメータが高くなることによってさらに低減され、それによって、ピラミッドマッピングによるユーザの主視野角の視聴解像度を向上させながら、ビデオ全体の他の部分の圧縮率を低減する。従って、圧縮率分布は、ユーザの主視野角内の視聴品質を向上させる傾向がある。このように、ユーザの視点に適応した解像度マッピングをベースにして、適応量子化アルゴリズムをパノラマビデオ符号化にさらに重ねることができることによって、符号化ビットレートをユーザの視野角の方に集中させる。適応解像度に基づいて、ユーザの視野角内の画質は、圧縮モジュールでさらに向上される。
【０１１９】
よって、ピラミッドモデルによる画像のマッピング及び展開に対応する符号化プロセスは、以下を含み得る。
【０１２０】
図１１は、本開示の別の実施形態による、ピラミッドモデルに基づいたフィルタリング方法を示すフローチャートである。
【０１２１】
ブロック１１０２は、マッピングのために決定されたパノラマビデオ画像を取得する。
【０１２２】
ブロック１１０４は、ピラミッドマッピングモデルによって取得したパノラマビデオ画像に関して、パノラマビデオ画像の主視野角領域と補助視野角領域とを決定する。
【０１２３】
ブロック１１０６は、主視野角領域に基づいて主領域を決定し、補助視野角領域を補助領域として設定する。
【０１２４】
ブロック１１０８は、主領域に対応する主量子化パラメータと、補助領域に対応する補助量子化パラメータとを決定する。
【０１２５】
ブロック１１１０は、主量子化パラメータに基づいて主領域を符号化し、補助量子化パラメータに基づいて補助領域を符号化し、符号化されたパノラマビデオ画像を決定する。
【０１２６】
装置は、ピラミッドマッピングモデルによって決定されるパノラマビデオ画像を取得する。パノラマビデオ画像は、主視野角領域と補助視野角領域（複数可）との両方を含む。装置は、主視野角領域に基づいて、主領域を決定し、補助視野角領域（複数可）を補助領域（複数可）に設定する。さらに、装置は、主領域に対応する量子化パラメータを低減し、補助領域（複数可）に対応する補助量子化パラメータ（複数可）を増加させ、主量子化パラメータに従って主領域を符号化し、補助量子化パラメータ（複数可）に従って補助領域（複数可）を符号化し、符号化されたパノラマビデオ画像を決定する。
【０１２７】
実施態様において、主視野角領域に基づいて主領域を決定することと補助視野角領域（複数可）を補助領域（複数可）として設定することは、以下の動作を含む。
【０１２８】
Ｓ４は、主視野角領域を主領域として設定し、補助視野角領域（複数可）を補助領域（複数可）として設定する。ピラミッドモデルは視野角に基づいた適応マッピング方法なので、主視野角領域を主領域として設定し、補助視野角領域（複数可）を補助領域（複数可）として設定することが実行可能である。本実施形態は、補助領域（複数可）内の複数のレベルの補助領域も設定して、ビットレートをさらに低減できる。言い換えると、補助視野角領域（複数可）を補助領域（複数可）として設定することは、主視野角領域を主領域として設定することと、補助領域（複数可）を第１レベルの補助領域（複数可）から第Ｎレベルの補助領域（複数可）に設定することとを含み、ここで、Ｎは２以上の整数である。四角錐の頂点への距離が近くなると、位置は、ユーザの視野角から遠くなる。よって、各レベルの補助領域（複数可）は、視野角との各関係に従って区分できる。
【０１２９】
実施態様において、主視野角領域に基づいて主領域を決定することと、補助視野角領域（複数可）を補助領域（複数可）として設定することとは、以下の動作を含む。
【０１３０】
Ｓ５は、主視野角領域内で視野角情報に対応する主領域をさらに選択し、主領域以外の領域（複数可）を補助領域（複数可）として設定し、補助視野角領域（複数可）を補助領域（複数可）として設定する。主視野角領域は、主領域と補助領域（複数可）とにさらに区分できる、すなわち、視野角情報に対応する主領域を主視野角領域から選択する。視野角情報は、ユーザの視聴に関するフィードバック情報に従って決定できる。領域区分モジュール３０２は、次に、主視野角領域内に位置し、主領域とは異なる領域（複数可）を補助領域（複数可）として設定してよく、補助視野角領域（複数可）を補助領域（複数可）として設定してよい。四角錐の頂点までの距離が近くなると、ユーザの視野角からの位置は遠くなる。よって、各レベルの補助領域（複数可）は、視野角との各関係に従って区分できる。複数のレベルの補助領域を設定でき、これは、主視野角領域内の主領域以外の領域（複数可）を第１レベルの補助サブ領域（複数可）として設定することと、パノラマビデオ画像の補助視野角領域を第２レベルの補助サブ領域（複数可）から第Ｎレベルの補助サブ領域（複数可）に区分することとを含む。例えば、図６Ｃにおいて、主視野角領域内の斜線領域は主領域で、主視野角領域の他の部分は第１レベルのサブ領域である。補助視野角領域において、４つの補助視野角領域に共通の頂点は、四角錐の頂点に対応する。よって、領域区分は、高周波成分の数に従って実施でき、共通の頂点からその反対側の辺に移動する。例えば、Ｇは第２レベルの補助領域であり、Ｆは第３レベルの補助領域であり、Ｅは第４レベルの補助領域である。補助領域に対応する補助量子化パラメータを決定することは、各レベルの補助領域に対応する各レベルの補助量子化パラメータを個別に決定することと、対応する第１レベルから第Ｎレベルの補助量子化パラメータを第１レベルから第Ｎレベルの補助領域にそれぞれ割り当てることとを含み、ここで、補助量子化パラメータは、レベルが上がると、増加する。
【０１３１】
本開示の実施態様において、適応解像度を用いたキューブマップモデルマッピング後に展開されたパノラマビデオ画像は、ピラミッドモデルマッピングによって展開されたパノラマビデオ画像と、面積という点で、分析、比較されてよい。
【０１３２】
図６Ｂを例として使用する。ピラミッドの中心にあるひし形は、ユーザの主視野角である。ひし形の辺の長さは１であると仮定し、ユーザの主視野角の面積は１であると仮定し、展開されたピラミッドの全面積は、２であると仮定する。同様に、図５Ｂに関しては、主視野角（上部左隅の正方形）に対応する領域は、辺の長さ１と面積１とを有すると仮定される。言い換えると、これら２つのモデルは、ユーザの主視野角と同じ画素面積と解像度を有し、図５Ｂの展開された画像の面積は、１．５＊１．５＝２．２５である。言い換えると、本開示のマッピング及び展開された面積は、ピラミッドマッピング及び展開された面積と比較して１２．５％だけ増加している。詳細には、異なる視野角に対して、適応解像度を用いたキューブマップモデルに基づいたパノラマビデオマッピングを採用することによって、最終的にマッピング及び展開された平面の面積は、ピラミッドモデルの最終的にマッピング及び展開された平面の面積より１２．５％だけ大きい。しかしながら、補助領域の高周波成分によるビットレートの消費による主視野角領域のジャギーと圧縮品質の低下等を含む、ピラミッドモデルに特有の問題を回避できる。
【０１３３】
実用的な実施においては、圧縮率低減等の態様もさらに行ってよい。ユーザの視野角の解像度もダウンサンプリングできる。例えば、主視野角の正方形は、長さ及び幅、それぞれ、３／４のスケールでダウンサンプリングできる。主視野角のマッピング及び展開された面積は、元の６／１９になり、残り５つの表面は主視野角のダウンサンプリングを基準にして、長さ及び幅、それぞれ、１／２のスケールでダウンサンプリングされる。従って、残りの５つの面の各面積は、それぞれ、通常のキューブマップの９／６４である。各領域は、等しい比率でダウンサンプリングされ、最終的に展開された画像は、常に、図５Ｂに示す形を維持する。
【０１３４】
別の例は、エクイレクタングラーモデルに対応する球面投影モードである。
【０１３５】
パノラマビデオマッピングに対応するエクイレクタングラーモデルは、図７に示すように、比較的一般的なマッピング法であり、エクイレクタングラーモデルは、入力パノラマビデオを取得して、それを円筒形に展開して、最終的な平面画像を取得できる。
【０１３６】
エクイレクタングラーモデルとキューブマップモデルの相違は、エクイレクタングラーモデルのマッピング及び展開は、ユーザビューの６方向に厳密に固執しないことである。しかしながら、エクイレクタングラーモデルのマッピング及び展開後に取得されるパノラマビデオ画像に対して、対応する適応量子化ウィンドウが、サービスのニーズに従って提供されてよい。主領域及び補助領域（複数可）は、ウィンドウを通して決定でき、ウィンドウはメイン領域であり、サブ領域は、ウィンドウを通して決定され、ウィンドウは、ユーザの視野角に従って決定される。よって、ウィンドウの内部及び外部の各量子化パラメータの変化の値が設定できる、すなわち、主領域の量子化パラメータを減少させ、補助領域（複数可）の量子化パラメータ（複数可）を増加させる。
【０１３７】
よって、エクイレクタングラーモデルによる画像のマッピング及び展開に対応する符号化プロセスは以下を含んでよい。
【０１３８】
図１２は、本開示の別の実施形態による、エクイレクタングラーマッピングに基づいたフィルタリング方法を示すフローチャートである。
【０１３９】
ブロック１２０２は、マッピングによって決定されたパノラマビデオ画像を取得する。
【０１４０】
ブロック１２０４は、エクイレクタングラー方法によって取得されたパノラマビデオ画像の視野角領域を決定する。
【０１４１】
ブロック１２０６は、パノラマビデオ画像内の視野角領域を主領域に設定し、視野角領域外の領域（複数可）を補助領域（複数可）として設定する。
【０１４２】
ブロック１２０８は、主領域に対応する主量子化パラメータと補助領域（複数可）に対応する補助量子化パラメータ（複数可）とを決定する。
【０１４３】
ブロック１２１０は、主量子化パラメータに基づいて、主領域を符号化し、補助量子化パラメータ（複数可）に基づいて、補助領域（複数可）を符号化し、符号化されたパノラマビデオ画像を決定する。
【０１４４】
装置は、エクイレクタングラーマッピングモデルを通して決定されるパノラマビデオ画像を取得し、最初に、ウィンドウに対応する領域を主領域として指定し、視聴中のユーザフィードバック等の情報に従って、視野角領域（すなわち、ウィンドウの位置）を取得し、ウィンドウの位置に対応する視野角領域を主領域として指定し、視野角領域以外の領域を補助領域として設定する。領域区分モジュール３０２は、次に、主領域に対応する主量子化パラメータと、補助領域に対応する補助量子化パラメータとを決定する。領域区分モジュール３０２は、次に、主量子化パラメータに従って主領域を符号化し、補助量子化パラメータに従って補助領域を符号化する、すなわち、適応量子化符号化方法を使用して、パノラマビデオ画像を処理して、符号化されたパノラマビデオ画像を決定する。
【０１４５】
実施態様において、視野角領域外の領域（複数可）を補助領域（複数可）として設定することは、視野角領域外の領域（複数可）を第１レベルの補助サブ領域（複数可）から第Ｎレベルの補助サブ領域（複数可）に区分することを含み、ここで、Ｎは２以上の整数である。さらに、補助領域（複数可）に対応する補助量子化パラメータ（複数可）を決定することは、各レベルの補助領域（複数可）に対応する各レベルの補助量子化パラメータを個別に決定することを含み、ここで、量子化パラメータは、レベルが上がると、増加する。圧縮率を有効に低減するために、実施態様において、補助領域（複数可）は、複数のレベルの補助サブ領域に区分することができ、それによって、複数のレベルの補助量子化パラメータが、量子化パラメータがレベル毎に増加するように、決定できる。よって、補助領域（複数可）は、第１から第Ｎレベルの補助サブ領域に区分でき、ここで、Ｎは２以上の整数である。第１から第Ｎレベルの補助量子化パラメータは、第１から第Ｎのレベルの補助サブ領域にそれぞれ、割り当てられ、ここで、補助量子化パラメータは、補助サブ領域のレベルが上がると、増加する。
【０１４６】
上記記載は、三次元マッピングモデルの例を用いて、パノラマビデオ画像をマッピング及び展開後の適応量子化符号化方法を示す。実用的な実施においては、主領域及び補助領域（複数可）は、選択された三次元マッピングモデルと視野角情報とに基づいて区分でき、レベル毎の処理を、補助領域（複数可）に対して行うことができ、それによって、様々な種類のパノラマビデオマッピングと、圧縮の方法及びフレームワークに柔軟に組み込むことができる。
【０１４７】
要するに、ユーザの視野角の変化に基づいた適応量子化を上記のパノラマビデオのマッピング及び圧縮のフレームワークに導入することによって、ユーザの視野角の画質を向上させながら、見ていない視野角に関連付けられた他の部分の圧縮率を低減し、それによって、同じ圧縮ビットレート下で、パノラマビデオのより良い視聴体験をユーザに提供する。
【０１４８】
適応解像度を用いたキューブマップマッピングモデルは、ユーザの視野角から遠い領域で、ピラミッドマッピングモデルによく見られるぶれとジャギーを回避でき、様々なＧＰＵでサポートされるデフォルトレンダリングモデルを用いて最高のレンダリング性能を有する。同時に、この新しい種類のマッピング方法は、適応量子化フレームワークを便利に組み合わせることができ、圧縮率を効果的に低減できる。
【０１４９】
本開示の実施形態において、ユーザ端末とは、マルチメディア機能を有し、オーディオ、ビデオ、データ、及び、他の機能をサポートする端末デバイスを指す。実施態様において、ユーザ端末は、スマートフォン、タブレットコンピュータ、スマートウェアラブルデバイス、ＶＲデバイス等、スマートモバイル端末を含んでよい。
【０１５０】
方法の実施形態は、記載目的で、アクションの一連の組み合わせとして表されていることに注意されたい。しかしながら、当業者は、一部の動作は、本開示の実施形態に従って、他の順序または並列で行い得るので、本開示の実施形態は、記載したアクションの順序に限定されないことを認識すべきである。さらに、当業者は、本明細書に記載の実施形態が、例示の実施形態であり、本明細書に含まれるアクションは、本出願の実施形態に必須でなくてよいことも認識すべきである。
【０１５１】
本開示の実施形態は、任意の適切なハードウェア、ファームウェア、ソフトウェア、または、これらの任意の組み合わせを用いて所望の構成を有する装置として実施されてよい。図１３は、本開示に記載の様々な実施形態を実施するのに使用されてよい例示の装置１３００（例えば、装置３００及び８００等）を概略的に示す。
【０１５２】
実施態様において、図１３は、装置１３００の例を示す。装置１３００は、１つまたは複数のプロセッサ１３０２と、１つまたは複数のプロセッサ１３０２のうちの少なくとも１つに結合された制御モジュール（チップセット）１３０４と、制御モジュール１３０４に結合されたメモリ１３０６と、制御モジュール１３０４に結合された不揮発性メモリ（ＮＶＭ）／メモリデバイス１３０８と、制御モジュール１３０４に結合された１つまたは複数の入力／出力デバイス１３１０と、制御モジュール１３０４に結合されたネットワークインタフェース１３１２とを含む。
【０１５３】
プロセッサ１３０２は、１つまたは複数のシングルコアまたはマルチコアのプロセッサを含んでよい。プロセッサ１３０２は、汎用プロセッサ（複数可）または専用プロセッサ（複数可）（例えば、グラフィックスプロセッサ、アプリケーションプロセッサ、ベースバンドプロセッサ等）の任意の組み合わせを含んでよい。実施態様において、装置１３００は、本開示の実施形態に記載のトランスコード側のサーバ等のデバイスであってよい。
【０１５４】
実施態様において、装置１３００は、命令１３１４を有する１つまたは複数のコンピュータ可読媒体（例えば、メモリ１３０６、または、ＮＶＭ／ストレージ１３０８）を含んでよく、１つまたは複数のコンピュータ可読媒体と組み合わせられ、命令１３１４を実行して、本開示に記載のアクションを実施するように構成された１つまたは複数のプロセッサ１３０２を含んでよい。
【０１５５】
実施態様において、制御モジュール１３０４は、制御モジュール１３０４と通信する１つまたは複数のプロセッサ１３０２のうちの少なくとも１つ、及び／または、任意の適切なデバイスもしくはコンポーネントに任意の適切なデバイスインタフェースを提供する任意の適切なインタフェースコントローラを含んでよい。
【０１５６】
制御モジュール１３０４は、メモリ１３０６にインタフェースを提供するメモリコントローラモジュールを含んでよい。メモリコントローラモジュールは、ハードウェアモジュール、ソフトウェアモジュール、及び／または、ファームウェアモジュールであってよい。
【０１５７】
メモリ１３０６は、データ及び／または命令１３１４を、例えば、装置１３００にロード及び記憶するために使用されてよい。実施態様において、メモリ１３０６は、任意の適切な揮発性メモリ、例えば、適切なＤＲＡＭを含んでよい。実施態様において、メモリ１３０６は、ＤＤＲ４  ＳＤＲＡＭ（ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ  ｔｙｐｅ  ｆｏｕｒ  ｓｙｎｃｈｒｏｎｏｕｓ  ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）を含んでよい。
【０１５８】
実施態様において、メモリ１３０６は、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、及び／または、不揮発性メモリ、例えば、リードオンリメモリ（ＲＯＭ）もしくはフラッシュＲＡＭ等、コンピュータ可読媒体の形態を含んでよい。メモリ１３０６は、コンピュータ可読媒体の例である。
【０１５９】
コンピュータ可読媒体は、揮発性もしくは不揮発性タイプ、取り外しできる、もしくは、取り外しできない媒体を含んでよく、これは、任意の方法または技術を用いた情報を記憶し得る。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または、他のデータを含んでよい。コンピュータ記憶媒体の例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラム可能リードオンリメモリ（ＥＥＰＲＯＭ）、クイックフラッシュメモリ、もしくは、他の内部ストレージ技術、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、もしくは、他の光学ストレージ、磁気カセットテープ、磁気ディスクストレージ、もしくは、他の磁気ストレージデバイス、または、コンピューティングデバイスがアクセスし得る情報の記憶に使用されてよい任意の他の非伝送媒体を含むが、これらに限らない。本明細書の定義では、コンピュータ可読媒体は、変調データ信号及び搬送波等、一時的媒体を含まない。
【０１６０】
実施態様において、制御モジュール１３０４は、ＮＶＭ／ストレージ１３０８及び１つまたは複数の入力／出力デバイス１３１０にインタフェースを提供する１つまたは複数の入力／出力コントローラを含んでよい。
【０１６１】
例えば、ＮＶＭ／ストレージ１３０８は、データ及び／または命令１３１４を記憶するために使用されてよい。ＮＶＭ／ストレージ１３０８は、任意の適切な不揮発性メモリ（例えば、フラッシュメモリ）を含んでよく、及び／または、任意の適切な不揮発性ストレージデバイス（例えば、１つまたは複数のハードディスクドライブ（ＨＤＤ）、１つまたは複数のコンパクトディスク（ＣＤ）ドライブ、及び／または、１つまたは複数のデジタル多用途ディスク（ＤＶＤ）ドライブ）を含んでよい。
【０１６２】
ＮＶＭ／ストレージ１３０８は、装置１３００に設置されたデバイスの物理的に一部であるストレージリソースを含んでよい、または、必ずしもデバイスの一部ではなく、デバイスによってアクセス可能であってよい。例えば、ＮＶＭ／ストレージ１３０８は、１つまたは複数の入力／出力デバイス１３１０の少なくとも１つによってネットワークを介してアクセスされてよい。
【０１６３】
１つまたは複数の入力／出力デバイス１３１０の少なくとも１つは、装置１３００が任意の他の適切なデバイス（複数可）と通信するためのインタフェースを提供してよい。入力／出力デバイス（複数可）１３１０は、通信コンポーネント、オーディオコンポーネント、センサコンポーネント等を含んでよい。ネットワークインタフェース１３１２は、装置１３００が１つまたは複数のネットワークを介して通信するためのインタフェースを提供してよく、装置１３００は、Ｗｉ−Ｆｉ、２Ｇ、もしくは、３Ｇ、または、それらの組み合わせ等の通信規格に基づいて無線ネットワークにアクセスする等、１つまたは複数の無線ネットワーク規格及び／またはプロトコルに従って、または、１つまたは複数の無線ネットワーク規格及び／またはプロトコルからの任意の規格及び／またはプロトコルに従って、無線ネットワークの１つまたは複数のコンポーネントと無線通信を行ってよい。
【０１６４】
実施態様において、１つまたは複数のプロセッサ１３０２の少なくとも１つは、制御モジュール１３０４の１つまたは複数のコントローラ（例えば、メモリコントローラモジュール）と一緒に論理的にパッケージ化されてよい。実施態様において、１つまたは複数のプロセッサ１３０２の少なくとも１つは、制御モジュール１３０４の１つまたは複数のコントローラと一緒に論理的にパッケージ化されて、システムインパッケージ（ＳｉＰ）を形成してよい。実施態様において、１つまたは複数のプロセッサ１３０２の少なくとも１つは、制御モジュール１３０４の１つまたは複数のコントローラと、同じ金型で論理的に一体化されてよい。実施態様において、１つまたは複数のプロセッサ１３０２の少なくとも１つは、制御モジュール１３０４の１つまたは複数のコントローラと、同じ金型で論理的に一体化されて、システムオンチップ（ＳｏＣ）を形成してよい。
【０１６５】
様々な実施形態において、装置１３００は、サーバ、デスクトップコンピューティングデバイス、または、モバイルコンピューティングデバイス（例えば、ラップトップコンピューティングデバイス、ハンドヘルドコンピューティングデバイス、タブレット、ネットブック等）等、端末デバイスを含んでよいが、これらに限らない。様々な実施形態において、装置１３００は、より多いもしくはより少ないコンポーネント、及び／または、異なるアーキテクチャを有してよい。例えば、実施態様において、装置１３００は、１つまたは複数のカメラ、キーボード、タッチスクリーンディスプレイを含む液晶ディスプレイ（ＬＣＤ）画面、不揮発性メモリポート、複数のアンテナ、グラフィックスチップス、特定用途向け集積回路（ＡＳＩＣ）、及び、スピーカを含んでよい。
【０１６６】
本開示の実施形態は、方法及び装置を提供する。例１は、パノラマビデオ画像を処理する方法を含み、方法は、パノラマビデオ画像を取得し、そのパノラマビデオ画像を主領域と少なくとも１つの補助領域とに区分することと、主領域に対応する主量子化パラメータと補助領域に対応する補助量子化パラメータであって、主量子化パラメータは、補助量子化パラメータより小さく、量子化パラメータは、画質に反比例する、主量子化パラメータと補助量子化パラメータとを決定することと、主量子化パラメータに基づいて主領域を符号化し、補助量子化パラメータに基づいて補助領域を符号化して、符号化されたパノラマビデオ画像を決定することとを含む。
【０１６７】
例２は、例１の方法を含み、ここで、パノラマビデオ画像を主領域と少なくとも１つの補助領域とに区分することは、マッピング方法に従って視野角情報を決定することと、視野角情報を用いて、パノラマビデオ画像を区分することと、主領域と少なくとも１つの補助領域とを決定することとを含む。
【０１６８】
例３は、例１及び／または例２の方法を含み、ここで、マッピングモデルは、キューブマップマッピング方法、ピラミッドマッピング方法、または、球面投影方法のうちの少なくとも１つを含む。
【０１６９】
例４は、例１〜例３のうちの１つまたは複数の方法を含み、ここで、マッピング方法に従って視野角情報を決定し、視野角情報を用いてパノラマビデオ画像を区分し、主領域と少なくとも１つの補助領域とを決定することは、対応する視線経路を、キューブマップマッピング方法によって取得したパノラマビデオ画像の視野角の標的経路として選択することと、標的経路に対応する領域を主領域として設定することと、標的経路に対応する領域以外の領域を補助領域として設定することとを含む。
【０１７０】
例５は、例１〜例４のうちの１つまたは複数の方法を含み、ここで、マッピング方法に従って視野角情報を決定することと、視野角情報を用いてパノラマビデオ画像を区分することと、主領域と少なくとも１つの補助領域とを決定することは、ピラミッドマッピング方法によって取得したパノラマビデオ画像に関して、パノラマビデオ画像の主視野角領域と補助視野角領域とを決定することと、主視野角領域に基づいて主領域を決定することと、補助視野角領域を補助領域として設定することとを含む。
【０１７１】
例６は、例１〜例５の１つまたは複数の方法を含み、ここで、主視野角領域に基づいて主領域を決定することは、視野角情報に基づいて、主視野角領域から主領域を決定することを含む。
【０１７２】
例７は、例１〜例６の１つまたは複数の方法を含み、主視野角領域内の主領域以外の領域を補助領域として設定することをさらに含む。
【０１７３】
例８は、例１〜例７の１つまたは複数の方法を含み、ここで、視野角情報は、マッピング方法に従って決定され、パノラマビデオ画像を視野角情報を用いて主領域と少なくとも１つの補助領域に区分することは、球面マッピングモデルを通して取得したパノラマビデオ画像の視野角領域を決定することと、パノラマビデオ画像の視野角領域を主領域として設定することと、視野角領域以外の領域を補助領域として設定することとを含む。
【０１７４】
例９は、例１〜例８の１つまたは複数の方法を含み、ここで、標的経路に対応する領域を主領域として設定することと、標的経路に対応する領域以外の領域を補助領域として設定することは、標的経路に対応する領域内のサブ領域を主領域に選択し、標的経路に対応する領域内の主領域以外のサブ領域を第１レベルの補助サブ領域として設定することと、標的経路以外の経路に対応する領域を第２レベルの補助サブ領域から第Ｎレベルの補助サブ領域に区分することとを含み、ここで、Ｎは２以上の整数である。
【０１７５】
例１０は、例１〜例９の１つまたは複数の方法を含み、ここで、補助視野角領域を補助領域として設定することは、補助視野角領域を第１レベルの補助サブ領域から第Ｎレベルの補助サブ領域に区分することを含み、ここで、Ｎは２以上の整数である。
【０１７６】
例１１は、例１〜例１０の１つまたは複数の方法を含み、ここで、主視野角領域内の主領域以外の領域を補助領域として設定することは、主視野角領域内の主領域以外の領域を第１レベルの補助領域として設定することを含み、パノラマビデオ画像の補助視野角領域を補助領域として設定することは、パノラマビデオ画像からの補助視野角領域を第２レベルの補助領域から第Ｎレベルの補助領域に区分することを含み、ここで、Ｎは２以上の整数である。
【０１７７】
例１２は、例１〜例１１の１つまたは複数の方法を含み、ここで、視野角領域以外の領域を補助領域として設定することは、視野角領域以外の領域を第１レベルの補助領域から第Ｎレベルの補助領域に区分することを含み、ここで、Ｎは２以上の整数である。
【０１７８】
例１３は、例１〜例１２の１つまたは複数の方法を含み、ここで、補助領域に対応する補助量子化パラメータを決定することは、異なるレベルの補助サブ領域に対応する異なるレベルの補助量子化パラメータを個別に決定することを含み、ここで、補助量子化パラメータは、補助サブ領域のレベルが上がると、増加する。
【０１７９】
例１４は、例１〜例１３の１つまたは複数の方法を含み、ここで、キューブマップマッピング方法は、適応解像度を用いたキューブマップマッピング方法を含む。
【０１８０】
例１５は、例１〜例１４の１つまたは複数の方法を含み、ここで、マッピングによって決定されたパノラマビデオ画像を取得する前に、方法は、適応解像度を用いたキューブマップマッピング方法に基づいて、球面パノラマ画像をマッピングすることをさらに含む。
【０１８１】
例１６は、例１〜例５の１つまたは複数の方法を含み、ここで、適応解像度を用いたキューブマップマッピングモデルに基づいて球面パノラマ画像をマッピングすることは、キューブマップマッピング方法のキューブの標的マッピング平面を選択し、キューブの他のマッピング平面を非標的マッピング平面として設定することと、第１のサンプリング値に基づいて、球面パノラマ画像を標的マッピング平面上にマッピングし、第２のサンプリング値に基づいて、球面パノラマ画像を非標的マッピング平面上にマッピングすることであって、第１のサンプリング値は、第２のサンプリング値の２倍である、マッピングすることと、且つ、マッピングされたパノラマビデオ画像を展開することとを含む。
【０１８２】
例１７は、例１〜例１６の１つまたは複数の方法を含み、ここで、球面パノラマ画像をマッピング平面上にマッピングすることは、サンプリング値に基づいて、マッピング平面のサンプリング点のピクセル位置を決定することと、ピクセル位置に従って、球面パノラマ画像をマッピングすることと、球面パノラマ画像でマッピング位置のピクセル値を決定することとを含み、ここで、マッピング平面は、標的マッピング平面と非標的マッピング平面とを含み、サンプリング値は、第１のサンプル値と第２のサンプリング値とを含む。
【０１８３】
例１８は、例１〜例１７の１つまたは複数の方法を含み、ここで、マッピング位置は、球面における線の交差点であり、線は、サンプリング点と球面パノラマ画像の中心点とを通る。
【０１８４】
例１９は、例１〜例３の１つまたは複数の方法を含み、ここで、量子化パラメータは、画像の量子化損失に比例する。
【０１８５】
例２０は、パノラマビデオ画像のマッピング方法を含み、マッピング方法は、キューブマップマッピング方法でマッピング平面に対応するサンプリング値を決定することと、対応するサンプリング値を用いて、球面パノラマ画像をマッピングしてマッピングされたパノラマビデオ画像を取得することと、マッピングされたパノラマビデオ画像を展開することとを含む。
【０１８６】
例２１は、例２０の１つまたは複数の方法を含み、ここで、マッピング平面は、標的マッピング平面と非標的マッピング平面とを含み、サンプリング値は、第１のサンプリング値と第２のサンプリング値とを含み、キューブマップマッピング方法でマッピング平面に対応するサンプリング値を決定することは、キューブマップマッピング方法のキューブから標的マッピング平面を選択することと、他のマッピング平面を非標的マッピング平面として決定することと、標的マッピング平面に対応する第１のサンプリング値と非標的マッピング平面に対応する第２のサンプリング値とを決定することとを含む。
【０１８７】
例２２は、例２０及び／または例２１の１つまたは複数の方法を含み、ここで、対応するサンプリング値を用いて球面パノラマ画像をマッピングすることは、第１のサンプリング値に基づいて、球面パノラマ画像を標的マッピング平面上にマッピングすることと、第２のサンプリング値に基づいて、球面パノラマ画像を非標的マッピング平面上にマッピングすることとを含み、ここで、第１のサンプリング値は、第２のサンプリング値の２倍である。
【０１８８】
例２３は、例２０及び／または例２２の１つまたは複数の方法を含み、ここで、対応するサンプリング値を用いて球面パノラマ画像をマッピングすることは、サンプリング値に基づいて、マッピング平面のサンプリング点のピクセル位置を決定することと、ピクセル位置に従って、球面パノラマ画像をマッピングすることと、球面パノラマ画像のマッピング位置のピクセル値を決定することとを含み、ここで、マッピング位置は、球面における線の交差点であり、線は、サンプリング点と球面パノラマ画像の中心点とを通る。
【０１８９】
例２４は、パノラマビデオ画像処理装置を含み、パノラマビデオ画像処理装置は、パノラマビデオ画像を取得するように、また、パノラマビデオ画像を主領域と少なくとも１つの補助領域とに区分するように構成された領域区分モジュールと、主領域に対応する主量子化パラメータと補助領域に対応する補助量子化パラメータとを決定するように構成された量子化パラメータ決定モジュールであって、主量子化パラメータは補助量子化パラメータより小さく、量子化パラメータは画質に反比例する、量子化パラメータ決定モジュールと、主量子化パラメータに従って主領域を符号化するように、補助量子化パラメータに従って補助領域を符号化するように、また、符号化されたパノラマビデオ画像を決定するように構成された符号化モジュールとを含む。
【０１９０】
例２５は、例２４の装置を含み、ここで、領域区分モジュールは、マッピング方法に従って視野角情報を決定するように、また、視野角情報を用いてパノラマビデオ画像を区分して、主領域と少なくとも１つの補助領域とを決定するように構成される。
【０１９１】
例２６は、例２４及び／または例２５の装置を含み、ここで、マッピング方法は、キューブマップマッピング方法、ピラミッドマッピング方法、または、球面投影方法のうちの少なくとも１つを含む。
【０１９２】
例２７は、例２４〜例２６の１つまたは複数の装置を含み、ここで、領域区分モジュールは、キューブマップマッピング方法によって取得したパノラマビデオ画像の視野角の標的経路として、対応する視線経路を選択するように、標的経路に対応する領域を主領域として設定するように、また、標的経路に対応する領域以外の領域を補助領域として設定するように構成される。
【０１９３】
例２８は、例２４〜例２７の１つまたは複数の装置を含み、ここで、領域区分モジュールは、ピラミッドマッピング方法によって取得したパノラマビデオ画像に関して、パノラマビデオ画像の主視野角領域と補助視野角領域とを決定するように、主視野角領域に基づいて主領域を決定するように、また、補助視野角領域を補助領域として設定するように構成される。
【０１９４】
例２９は、例２４〜例２８の１つまたは複数の装置を含み、ここで、領域区分モジュールは、視野角情報に基づいて、主視野角領域から主領域を決定するように、また、主視野角領域内の主領域以外の領域を補助領域として設定するように構成される。
【０１９５】
例３０は、例２４〜例２９の１つまたは複数の装置を含み、ここで、領域区分モジュールは、球面マッピングモデルを通して取得したパノラマビデオ画像の視野角領域を決定するように、また、パノラマビデオ画像の視野角領域を主領域として設定し、視野角領域以外の領域を補助領域として設定するように構成される。
【０１９６】
例３１は、例２４〜例３０の１つまたは複数の装置を含み、ここで、領域区分モジュールは、標的経路に対応する領域内のサブ領域を主領域に選択し、標的経路に対応する領域内の主領域以外のサブ領域を第１レベルの補助サブ領域に設定するように、また、標的経路以外の経路に対応する領域を第２レベルの補助サブ領域から第Ｎレベルの補助サブ領域に区分するように構成され、ここで、Ｎは２以上の整数である。
【０１９７】
例３２は、例２４〜例３１の１つまたは複数の装置を含み、ここで、領域区分モジュールは、補助視野角領域を第１レベルの補助サブ領域から第Ｎレベルの補助サブ領域に区分するように、または、主視野角領域内の主領域以外の領域を第１レベルの補助領域として設定し、パノラマビデオ画像からの補助視野角領域を第２レベルの補助領域から第Ｎレベルの補助領域に区分するように構成され、ここで、Ｎは２以上の整数である。
【０１９８】
例３３は、例２４〜例３２の１つまたは複数の装置を含み、ここで、領域区分モジュールは、視野角以外の領域をレベル１の補助サブ領域からレベルＮの補助サブ領域に区分するように構成され、ここで、Ｎは２以上の整数である。
【０１９９】
例３４は、例２４〜例２３の１つまたは複数の装置を含み、ここで、量子化パラメータ決定モジュールは、異なるレベルの補助サブ領域に対応する異なるレベルの補助量子化パラメータを個別に決定するように構成され、補助量子化パラメータは、補助サブ領域のレベルが上がると、増加する。
【０２００】
例３５は、例２４〜例３４の１つまたは複数の装置を含み、ここで、キューブマップマッピング方法は、適応解像度を用いたキューブマップマッピング方法を含み、装置は、適応解像度を用いたキューブマップマッピング方法に基づいて、球面パノラマ画像をマッピングするように構成されたマッピングモジュールをさらに含む。
【０２０１】
例３６は、例２４〜例３５の１つまたは複数の装置を含み、ここで、マッピングモジュールは、キューブマップマッピング方法のキューブの標的マッピング平面を選択し、キューブの他のマッピング平面を非標的マッピング平面として設定するように構成されたマッピング平面決定サブモジュールと、第１のサンプリング値に基づいて、球面パノラマ画像を標的マッピング平面上にマッピングし、第２のサンプリング値に基づいて、球面パノラマ画像を非標的マッピング平面上にマッピングするように構成されたマッピング処理サブモジュールであって、第１のサンプリング値は第２のサンプリング値の２倍である、マッピング処理サブモジュールと、マッピングされたパノラマビデオ画像を展開することとを含む。
【０２０２】
例３７は、例２４〜例３６の１つまたは複数の装置を含み、ここで、マッピング処理サブモジュールは、サンプリング値に基づいて、マッピング平面のサンプリング点のピクセル位置を決定するように、ピクセル位置に従って球面パノラマ画像をマッピングするように、また、球面パノラマ画像のマッピング位置のピクセル値を決定するように構成され、ここで、マッピング平面は、標的マッピング平面と非標的マッピング平面とを含み、サンプリング値は、第１のサンプル値と第２のサンプリング値とを含み、マッピング位置は、球面における線の交差点を含み、線は、サンプリング点と球面パノラマ画像の中心点とを通る。
【０２０３】
例３８は、例２４〜例３７の１つまたは複数の装置を含み、ここで、量子化パラメータは、画像の量子化損失に比例する。
【０２０４】
例３９は、パノラマビデオ画像マッピング装置を含み、パノラマビデオ画像マッピング装置は、キューブマップマッピング方法でマッピング平面に対応するサンプリング値を決定し、対応するサンプリング値を用いて球面パノラマ画像をマッピングして、マッピングされたパノラマビデオ画像を取得するように構成された画像マッピングモジュールと、マッピングされたパノラマビデオ画像を展開するように構成された画像展開モジュールとを含む。
【０２０５】
例４０は、例３９の装置を含み、ここで、マッピング平面は、標的マッピング平面と非標的マッピング平面とを含み、サンプリング値は、第１のサンプリング値と第２のサンプリング値とを含み、画像マッピングモジュールは、キューブマップマッピング方法のキューブから標的マッピング平面を選択するように、他のマッピング平面を非標的マッピング平面として決定するように、また、標的マッピング平面に対応する第１のサンプリング値と、非標的マッピング平面に対応する第２のサンプリング値とを決定するように構成される。
【０２０６】
例４１は、例３９及び／または例４０の装置を含み、ここで、画像マッピングモジュールは、第１のサンプリング値に基づいて、球面パノラマ画像を標的マッピング平面上にマッピングするように、また、第２のサンプリング値に基づいて、球面パノラマ画像を非標的マッピング平面にマッピングするように構成され、ここで、第１のサンプリング値は、第２のサンプリング値の２倍である。
【０２０７】
例４２は、例３９〜例４１の装置を含み、ここで、画像マッピングモジュールは、サンプリング値に基づいて、マッピング平面のサンプリング点のピクセル位置を決定するように、ピクセル位置に従って、球面パノラマ画像をマッピングするように、また、球面パノラマ画像のマッピング位置のピクセル値を決定するように構成され、ここで、マッピング位置は、球面における線の交差点であり、線は、サンプリング点と球面パノラマ画像の中心点とを通る。
【０２０８】
例４３は、装置を含み、装置は、１つまたは複数のプロセッサと、命令を記憶する１つまたは複数の機械可読媒体とを含み、命令は、１つまたは複数のプロセッサによって実行されると、装置に例１〜例１９の１つまたは複数の方法を行わせる。
【０２０９】
例４４は、命令を記憶する１つまたは複数の機械可読媒体を含み、命令は、１つまたは複数のプロセッサによって実行されると、装置に、例１〜例１９の１つまたは複数の方法を行わせる。
【０２１０】
例４５は、装置を含み、装置は、１つまたは複数のプロセッサと、命令を記憶する１つまたは複数の機械可読媒体とを含み、命令は、１つまたは複数のプロセッサによって実行されると、装置に、例２０〜例２３の１つまたは複数の方法を行わせる。
【０２１１】
例４６は、命令を記憶する１つまたは複数の機械可読媒体を含み、命令は、１つまたは複数のプロセッサによって実行されると、装置に例２０〜例２３の１つまたは複数の方法を行わせる。
【０２１２】
一定の実施形態を説明と記載のために使用したが、実施態様の解決法の様々な代替形態及び／または同等の形態、または、実施形態に示し記載したのと同じ目的を達成するために取得された実施態様は全て、本開示の範囲内にある。本開示は、本明細書に記載の実施形態の全ての修正形態、適応形態、または、変形形態を含むことを意図している。従って、本明細書に記載の実施形態は、請求項とその同等物によってのみ制限を受けることは明らかである。
【図１】
2020509647.tif 000003
【図２】
2020509647.tif 000004
【図３】
2020509647.tif 000005
【図４】
2020509647.tif 000006
【図５Ａ】
2020509647.tif 000007
【図５Ｂ】
2020509647.tif 000008
【図５Ｃ】
2020509647.tif 000009
【図６Ａ】
2020509647.tif 000010
【図６Ｂ】
2020509647.tif 000011
【図６Ｃ】
2020509647.tif 000012
【図７】
2020509647.tif 000013
【図８】
2020509647.tif 000014
【図９】
2020509647.tif 000015
【図１０】
2020509647.tif 000016
【図１１】
2020509647.tif 000017
【図１２】
2020509647.tif 000018
【図１３】
2020509647.tif 000019
【国際調査報告】
2020509647.tif 000020