(57)【要約】処理デバイスが、１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットを受信する。処理デバイスは、１つ又は複数の彩度チャネルの解像度を低減して、１つ又は複数の低減された解像度の彩度チャネルを生成する。処理デバイスは、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルを第２の画像データセットに配置する。輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間座標は、第２の画像データセットの空間ロケーションにおいて重複していない。処理デバイスは、第２の画像データセットを下流のデバイスに送信する。【選択図】なし
2017520871.tif 000002
【特許請求の範囲】
【請求項１】
処理デバイスによって、１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットを受信することと、
前記処理デバイスによって、前記１つ又は複数の彩度チャネルの前記解像度を低減して、１つ又は複数の低減された解像度の彩度チャネルを生成することと、
前記処理デバイスによって、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルを第２の画像データセットに配置することであって、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの空間座標は、前記第２の画像データセットの空間ロケーションにおいて重複しないことと、
前記処理デバイスによって、前記第２の画像データセットを下流のデバイスに送信することと、
を含む、方法。
【請求項２】
前記第１の画像データセット及び前記第２の画像データセットは、複数のピクセルで構成され、該複数のピクセルの各ピクセルは、前記１つ又は複数の彩度チャネル及び前記輝度チャネルを有する、請求項１に記載の方法。
【請求項３】
前記１つ又は複数の彩度チャネルの前記解像度を低減することは、前記１つ又は複数の彩度チャネルを少なくとも１オクターブ間引くことを含む、請求項１に記載の方法。
【請求項４】
前記１つ又は複数の彩度チャネルを少なくとも１オクターブ間引くことは、前記１つ又は複数の彩度チャネルを２オクターブ以上間引くことを含む、請求項２に記載の方法。
【請求項５】
前記１つ又は複数の彩度チャネルの前記解像度を低減することは、ダウンサンプリング方法を用いて前記１つ又は複数の彩度チャネルを間引くことを含む、請求項１に記載の方法。
【請求項６】
ダウンサンプリング方法を用いて前記１つ又は複数の彩度チャネルを間引くことは、補間方法を用いた１オクターブダウンサンプリングステップの連続した適用によって前記１つ又は複数の彩度チャネルを間引くことを含む、請求項５に記載の方法。
【請求項７】
前記補間方法は、ランチョス補間、双３次補間、又は双１次補間のうちの少なくとも１つである、請求項６に記載の方法。
【請求項８】
ダウンサンプリング方法を用いて前記１つ又は複数の彩度チャネルを間引くことは、補間方法を用いた単一のステップで前記１つ又は複数の彩度チャネルを間引くことを含む、請求項５に記載の方法。
【請求項９】
前記補間方法は、ランチョス補間又は双３次補間のうちの少なくとも一方である、請求項８に記載の方法。
【請求項１０】
前記第１の画像データセットの前記１つ又は複数の彩度チャネルの前記解像度の前記低減の程度を含む情報を前記下流のデバイスに送信することを更に含む、請求項１に記載の方法。
【請求項１１】
前記第２の画像データセットの前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記配置を含む情報を前記下流のデバイスに送信することを更に含む、請求項１に記載の方法。
【請求項１２】
前記情報は、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間座標が重複しないことを示す表示を含む、請求項１１に記載の方法。
【請求項１３】
前記第２の画像データセットを下流のデバイスに送信することは、
前記第２の画像データセットをエンコーダーに送信することであって、該エンコーダーは、符号化方法を用いて前記第２の画像データセットを符号化するように動作可能であることと、
前記エンコーダーによって、前記符号化された第２の画像データセットを送信機に送信することと、
前記送信機によって、前記符号化された第２の画像データセットを前記下流のデバイスに送信することと、
を更に含む、請求項１に記載の方法。
【請求項１４】
１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットを受信する処理デバイスのメモリと、
前記処理デバイスの色チャネルプロセッサであって、該色チャネルプロセッサは、前記メモリに結合されて、前記メモリを用い、該色チャネルプロセッサは、
１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットを受信し、
前記１つ又は複数の彩度チャネルの前記解像度を低減して、１つ又は複数の低減された解像度の彩度チャネルを生成し、
前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルを第２の画像データセットに配置し、なお、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの空間座標は、前記第２の画像データセットの空間ロケーションにおいて重複せず、
前記第２の画像データセットを下流のデバイスに送信する、色チャネルプロセッサと、
を備える、システム。
【請求項１５】
前記１つ又は複数の彩度チャネルの前記解像度を低減することは、前記１つ又は複数の彩度チャネルを少なくとも１オクターブ間引くことを含む、請求項１４に記載のシステム。
【請求項１６】
前記色チャネルプロセッサは、前記第１の画像データセットの前記１つ又は複数の彩度チャネルの前記解像度の前記低減の程度を含む情報を更に送信する、請求項１４に記載のシステム。
【請求項１７】
前記色チャネルプロセッサは、前記第２の画像データセットの前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記配置を含む情報を更に送信する、請求項１４に記載のシステム。
【請求項１８】
前記情報は、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間座標が重複しないことを示す表示を含む、請求項１７に記載のシステム。
【請求項１９】
第１の処理デバイスによって、１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットを第２の処理デバイスから受信することであって、前記１つ又は複数の彩度チャネルは、前記輝度チャネルに対して解像度が低減されていることと、
前記第１の処理デバイスによって、前記１つ又は複数の彩度チャネルの前記解像度の前記低減の程度を含む第１の情報と、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間配置を含む第２の情報とを第２の処理デバイスから受信することと、
前記第１の処理デバイスによって、前記第２の情報を考慮して、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間配置を解除して、第２の画像データセットを生成することと、
前記第１の処理デバイスによって、前記第１の情報を考慮して、前記１つ又は複数の低減された解像度の彩度チャネルの前記解像度を復元して、前記分離された輝度チャネルの前記解像度と実質的に一致させ、第３の画像データセットを生成することと、
前記処理デバイスによって、前記第３の画像データセットを下流のデバイスに送信することと、
を含む、方法。
【請求項２０】
前記第１の画像データセット、前記第２の画像データセット、及び前記第３の画像データセットは、複数のピクセルで構成され、該複数のピクセルの各ピクセルは、前記１つ又は複数の彩度チャネル及び前記輝度チャネルを有する、請求項１９に記載の方法。
【請求項２１】
前記第１の情報は、前記１つ又は複数の低減された解像度の彩度チャネルが少なくとも１オクターブ間引きされていることを示す、請求項１９に記載の方法。
【請求項２２】
前記第１の情報は、前記１つ又は複数の低減された解像度の彩度チャネルが２オクターブ以上間引きされていることを示す、請求項２１に記載の方法。
【請求項２３】
前記第２の情報は、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間座標が重複しないことを示す表示を含む、請求項１９に記載の方法。
【請求項２４】
前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間配置を解除することは、前記第１の情報を考慮して、前記輝度チャネルを前記１つ又は複数の低減された解像度の彩度チャネルから分離することを含む、請求項１９に記載の方法。
【請求項２５】
前記１つ又は複数の低減された解像度の彩度チャネルの前記解像度を復元して、前記分離された輝度チャネルの前記解像度と実質的に一致させることは、前記分離後の間引きされた彩度チャネルのジョイントバイラテラルアップサンプリングを実行して、前記分離された輝度チャネルの前記解像度と一致させることを含む、請求項１９に記載の方法。
【請求項２６】
前記分離された輝度チャネルは、前記第１の情報及び前記第２の情報に従って前記統計的事前情報として用いられる、請求項２５に記載の方法。
【請求項２７】
前記ジョイントバイラテラルアップサンプリングは、前記分離後の間引きされた彩度チャネルのオクターブごとのマルチスケールジョイントバイラテラルアップサンプリングである、請求項２５に記載の方法。
【請求項２８】
前記色チャネルプロセッサによって、前記復元された１つ又は複数の彩度チャネルに対してヒストグラムストレッチ操作を実行することを更に含む、請求項１９に記載の方法。
【請求項２９】
復元することは、前記分離後の復元された１つ又は複数の彩度チャネルと前記輝度チャネルとを組み合わせて、前記第３の画像データセットを生成することを更に含む、請求項１９に記載の方法。
【請求項３０】
第１の処理デバイスのメモリであって、
１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットであって、該１つ又は複数の彩度チャネルは、該輝度チャネルに対して解像度が低減されている、第１の画像データセットと、
前記１つ又は複数の彩度チャネルの前記解像度の前記低減の程度を含む第１の情報と、
前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間配置を含む第２の情報と、
を第２の処理デバイスから受信する、第１の処理デバイスのメモリと、
前記第１の処理デバイスの色チャネルプロセッサであって、該色空間プロセッサは、前記メモリに結合されて、前記メモリを用い、該色チャネルプロセッサは、
前記第２の情報を考慮して、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間配置を解除して、第２の画像データセットを生成し、
前記第１の情報を考慮して、前記１つ又は複数の低減された解像度の彩度チャネルの前記解像度を復元して、前記分離された輝度チャネルの前記解像度と実質的に一致させ、第３の画像データセットを生成し、
前記第３の画像データセットを下流のデバイスに送信する、色チャネルプロセッサと、
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施の形態は、画像処理に関し、より詳細には、ビデオ又は画像内の間引きされた色チャネルの送信、受信、及び復元に関する。
【背景技術】
【０００２】
人間視覚系（Human Vision System、以下、「ＨＶＳ」）は、色領域よりも輝度領域（luminance domain）における方が空間的細部に対する感度が高いことが知られている。この効果の精密な測定によれば、標準的な日中の視認条件の下で、ＨＶＳは、明度の細部の空間的な鋭敏さが、色の細部の空間的な鋭敏さの約２．２倍あることが示されている。画像及びビデオの効率的な送信及び処理（ＪＰＥＧ（ＩＳＯ／ＩＥＣ１０９１８−１：１９９４参照）、並びにＭＰＥＧ及びそれから派生したもの（ＩＳＯ／ＩＥＣ１３８１８、ＩＳＯ／ＩＥＣ１４４９６、及びＩＳＯ／ＩＥＣ２３００８参照）等のほとんどのビデオ圧縮システムに見られるようなもの）は、明度（Ｙ、又は輝度）チャネルを色（ＣｂＣｒ、又は彩度）チャネルから分離し、次いで、彩度チャネル（chroma channel）の解像度を、符号化及び送信の前に間引きによって１オクターブ低減することによって、この効果を利用している。これは、一般に、４：２：０彩度サブサンプリングとして知られている。これらの間引きされた（decimated）彩度チャネルが存在することは、ビットストリームフラグによってエンコーダーからデコーダーにシグナリングされる。受信及び復号化したとき、ビットストリームフラグが存在することは、通例、双３次補間（bicubic interpolation）又は双１次補間（bilinear interpolation）等の単純なアップサンプリングプロセスによって彩度チャネルをアップスケーリングすることをデコーダーに示すものである。
【０００３】
２オクターブ以上の彩度チャネルの間引きは、送信する情報の量を大幅に削減することができるが、復号化されてアップスケーリングされた彩度チャネルは、小さな物体の色の飽和度の低減及びカラーブリード（color bleed：色滲み）、すなわち、小さな物体からの色が近傍の背景物体内に滲んでいるという知覚を含む様々なアーティファクトを示す。主としてこの理由によって、２オクターブ以上の彩度チャネルの間引きは、現在のどの画像圧縮及びどのビデオ圧縮の標準規格においてもサポートされていない。
【０００４】
画像誘導スケーリングのより進歩したアップスケーリング方法の使用においては、２オクターブ以上間引きされている間引き後の彩度チャネルの復元に適用することができる３Ｄ画像用の間引きされた深度マップの復元を可能にするジョイントバイラテラルサンプリングの形態でのKopf, Johannes他「Joint bilateral upsampling」（ACM Transactions on Graphics (TOG), Vol. 26, No. 3. ACM, 2007）に教示されたもの等、最近の幾つかの研究がある。この文献は、引用することによって本明細書の一部をなす。しかしながら、これらの方法を実施するには、画像及びビデオの符号化及び復号化の標準規格の密な結合、並びにこれらの標準規格に対する変更が必要となる。なぜならば、このビットストリームシンタックスは、２オクターブ以上間引きされたそのようなチャネルのシグナリングをサポートしていないからである。
【０００５】
加えて、彩度チャネルを単純に２オクターブ以上ダウンサンプリングし、これらの間引きされた彩度チャネルをフル解像度の輝度チャネル（luma channel）と混在させて渡すことは、ほとんどのビデオエンコーダーの動き推定を混乱させ、それによって、それらの効率を低減させる。なぜならば、ほとんどのビデオエンコーダーは、正確な動き推定を達成するために、輝度チャネル及び彩度チャネルの空間的な対応関係に依拠しているからである。さらに、画像エンコーダー（正：encoders）及びビデオエンコーダーの双方の低ビットレートで高量子化のシナリオでは、混在した彩度チャネルは、目に見えるインプリント（imprint：痕跡）を輝度チャネル上に残す場合があり、彩度チャネルのシャドウとして認識できるアーティファクトを輝度チャネル上にもたらす場合がある。
【発明の概要】
【０００６】
上記で説明した問題は、２オクターブ以上間引きされた彩度チャネルの送信、受信、並びに復元及びアップスケーリングを行うシステム及び方法を提供することによって解消され、技術的解決が当該技術分野において達成される。第１の処理デバイスの第１の色チャネルプロセッサが、入力画像又はビデオの彩度チャネルをサブサンプリングによって２オクターブ以上間引いて、間引きされた彩度チャネルを作成する。第１の色チャネルプロセッサは、フル解像度輝度チャネル及び間引きされた彩度チャネルを、それらが重複しないように新たな第２の画像又はビデオの異なる空間ロケーションに配置する。第１の色チャネルプロセッサは、これらの第２の画像又はビデオをエンコーダーに渡す。エンコーダーは、符号化された第２の画像又はビデオを送信機に渡し、送信機は、符号化された第２の画像又はビデオを第２の処理デバイスに送信する。第１の処理デバイスは、帯域内シグナリング方法又は帯域外シグナリング方法のうちの任意のものによって、間引きされた彩度チャネルが存在することを第２の処理デバイスにシグナリングする。第２の処理デバイスは、標準規格に基づくデコーダーを用いて、符号化された第２の画像を復号化し、復号化された第２の画像を作成する。第２の処理デバイスの第２の色チャネルプロセッサは、復号化された第２の画像の輝度及び彩度の非重複空間配置を別々のチャネルに分離する。第２の色チャネルプロセッサは、分離された輝度チャネルを統計的事前情報（statistical prior）として用いて、分離後の間引きされた彩度チャネルのジョイントバイラテラルアップサンプリングを実行し、分離された輝度チャネルの解像度と一致させる。ジョイントバイラテラルアップサンプリングは、オクターブごとのマルチスケールジョイントバイラテラルアップサンプリングを含むことができる。第２の処理デバイスは、復元された彩度チャネルに対してヒストグラムストレッチ操作を更に実行することができる。
【０００７】
上記で説明した問題は、画像データを符号化するシステム及び方法を提供することによって解消され、技術的解決が当該技術分野において達成される。第１の処理デバイスの色チャネルプロセッサは、１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットを受信する。色チャネルプロセッサは、１つ又は複数の彩度チャネルの解像度を低減して、１つ又は複数の低減された解像度の彩度チャネルを生成する。色チャネルプロセッサは、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルを第２の画像データセットに配置する。輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間座標は、第２の画像データセットの空間ロケーションにおいて重複していない。処理デバイスは、第２の画像データセットを下流のデバイスに送信する。
【０００８】
１つの例では、前記第１の画像データセット及び前記第２の画像データセットは、複数のピクセルで構成され、該複数のピクセルの各ピクセルは、前記１つ又は複数の彩度チャネル及び前記輝度チャネルを有することができる。
【０００９】
１つの例では、前記１つ又は複数の彩度チャネルの前記解像度を低減することは、前記１つ又は複数の彩度チャネルを少なくとも１オクターブ間引くことを含むことができる（正：may comprise）。１つの例では、前記１つ又は複数の彩度チャネルを少なくとも１オクターブ間引くことは、前記１つ又は複数の彩度チャネルを２オクターブ以上間引くことを含むことができる。
【００１０】
１つの例では、前記１つ又は複数の彩度チャネルの前記解像度を低減することは、ダウンサンプリング方法を用いて前記１つ又は複数の彩度チャネルを間引くことを含むことができる。ダウンサンプリング方法を用いて前記１つ又は複数の彩度チャネルを間引くことは、補間方法を用いた１オクターブダウンサンプリングステップの連続した適用によって前記１つ又は複数の彩度チャネルを間引くことを含むことができる。
【００１１】
１つの例では、処理デバイスは、前記第１の画像データセットの前記１つ又は複数の彩度チャネルの前記解像度の前記低減の程度を含む情報を前記下流のデバイスに送信することができる。１つの例では、処理デバイスは、前記第２の画像データセットの前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記配置を含む情報を前記下流のデバイスに送信することができる。前記情報は、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間座標が重複しないことを示す表示を含むことができる。
【００１２】
一例では、色チャネルプロセッサは、第２の画像データセットをエンコーダーに送信することができる。エンコーダーは、符号化方法を用いて、第２の画像データセットを符号化するように動作可能である。エンコーダーは、符号化された第２の画像データセットを送信機に送信することができる。送信機は、符号化された第２の画像データセットを下流のデバイスに送信することができる。
【００１３】
上記で説明した問題は、画像データを復号化するシステム及び方法を提供することによって解消され、技術的解決が当該技術分野において達成される。第１の処理デバイスは、１つ又は複数の彩度チャネル及び輝度チャネルを含む第１の画像データセットを第２の処理デバイスから受信する。１つ又は複数の彩度チャネルは、輝度チャネルに対して解像度が低減されている。第１の処理デバイスは、１つ又は複数の彩度チャネルの解像度の低減の程度を含む第１の情報と、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間配置を含む第２の情報とを第２の処理デバイスから更に受信する。第１の処理デバイスの色チャネルプロセッサは、第２の情報を考慮して、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間配置を解除して（reverses）、第２の画像データセットを生成する。色チャネルプロセッサは、第１の情報を考慮して、１つ又は複数の低減された解像度の彩度チャネルの解像度を復元して、分離された輝度チャネルの解像度と実質的に一致させ、第３の画像データセットを生成する。第１の処理デバイスは、第３の画像データセットを下流のデバイスに送信する。
【００１４】
１つの例では、前記第１の画像データセット、前記第２の画像データセット、及び前記第３の画像データセットは、複数のピクセルで構成され、該複数のピクセルの各ピクセルは、前記１つ又は複数の彩度チャネル及び前記輝度チャネルを有する。
【００１５】
１つの例では、前記第１の情報は、前記１つ又は複数の低減された解像度の彩度チャネルが少なくとも１オクターブ間引きされていることを示すことができる。１つの例では、前記第１の情報は、前記１つ又は複数の低減された解像度の彩度チャネルが２オクターブ以上間引きされていることを示すことができる。
【００１６】
１つの例では、前記第２の情報は、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間座標が重複しないことを示す表示を含むことができる。
【００１７】
１つの例では、前記輝度チャネル及び前記１つ又は複数の低減された解像度の彩度チャネルの前記空間配置を解除することは、前記第１の情報を考慮して、前記輝度チャネルを前記１つ又は複数の低減された解像度の彩度チャネルから分離することを含むことができる。
【００１８】
１つの例では、前記１つ又は複数の低減された解像度の彩度チャネルの前記解像度を復元して、前記分離された輝度チャネルの前記解像度と実質的に一致させることは、前記分離後の間引きされた彩度チャネルのジョイントバイラテラルアップサンプリングを実行して、前記分離された輝度チャネルの前記解像度と一致させることを含むことができる。
【００１９】
１つの例では、前記分離された輝度チャネルは、前記第１の情報及び前記第２の情報に従って前記統計的事前情報として用いることができる。
【００２０】
１つの例では、前記ジョイントバイラテラルアップサンプリングは、前記分離後の間引きされた彩度チャネルのオクターブごとのマルチスケールジョイントバイラテラルアップサンプリングとすることができる。
【００２１】
１つの例では、前記色チャネルプロセッサによって、前記復元された１つ又は複数の彩度チャネルに対してヒストグラムストレッチ操作を実行することができる。
【００２２】
１つの例では、前記解像度を復元することは、前記分離後の復元された１つ又は複数の彩度チャネルと前記輝度チャネルとを組み合わせて、前記第３の画像データセットを生成することを更に含むことができる。復元された第３の画像データセットは、ディスプレイ又は下流のデバイスに送信することができる。
【００２３】
本発明の実施形態は、同じ参照番号が類似の要素を指している添付の図面とともに検討される、以下に提示される例の詳細な説明から、より容易に理解することができる。
【図面の簡単な説明】
【００２４】
【図１】本開示の例が動作することができる一例示のコンピューティングシステムを示すブロック図である。
【図２】図１の符号化コンピューティングシステムと関連付けられた符号化方法の一例を示す流れ図である。
【図３】本開示の例が動作することができる復号化コンピューティングシステムの一例を示すブロック図である。
【図４】図３の符号化コンピューティングシステムと関連付けられた符号化方法の一例を示す流れ図である。
【図５】図１のコンピューティングシステム及び図３のコンピューティングシステムが連携して動作する一例示の実施態様のブロック図である。
【図６】同じ空間的範囲に混在したフル解像度輝度チャネル及び２オクターブ間引きされた彩度チャネルの配置を示す図である（従来技術）。
【図７】輝度チャネルを２オクターブ以上間引きされた彩度チャネルと混在させることによって導入されたシャドウアーティファクトを示す図である（従来技術）。
【図８】輝度チャネルと２オクターブ以上サブサンプリングされた彩度チャネルとの開示された空間配置を示す図である。
【図９】利用可能なフレーム範囲のより効率的な使用を可能にする、輝度チャネルと２オクターブ以上サブサンプリングされた彩度チャネルとの開示された空間配置を示す図である。
【図１０】明度及び色の双方のＨＶＳの空間解像度の感度を示す図である。
【図１１】オリジナルのフル解像度Ｃｂチャネルを示す図である。
【図１２】２オクターブ以上間引きされた彩度チャネルとともに用いられるときの従来技術の彩度アップスケーリングプロセスによって導入されたＣｂチャネル内のカラーブリードを示す図である（従来技術）。
【図１３】本開示の例によるＣｂチャネルの復元を示す図である。
【図１４】本明細書において論述された方法論のうちの任意の１つ又は複数をマシンに実行させる一組の命令を実行することができるコンピューターシステムの例示の形態のマシンの図的表現を示す図である。
【発明を実施するための形態】
【００２５】
添付の図面は本発明の概念を例示することを目的としており、縮尺どおりでない場合があることは理解されたい。
【００２６】
本開示の実施形態は、彩度チャネルの間引き、２オクターブ以上間引きされた彩度チャネルの送信、受信、並びに復元及びアップスケーリングを行うシステム及び方法を提供する。
【００２７】
１つの例では、第１の色チャネルプロセッサが、入力画像又はビデオの彩度チャネルをサブサンプリングによって２オクターブ以上間引いて、間引きされた彩度チャネルを作成する。第１の色チャネルプロセッサは、フル解像度輝度チャネル及び間引きされた彩度チャネルを、フル解像度輝度チャネル及び間引きされた彩度チャネルが重複しないように新たな第２の画像又はビデオの異なる空間ロケーションに配置する。第１の色チャネルプロセッサは、これらの第２の画像又はビデオをエンコーダーに渡す。エンコーダーは、符号化された第２の画像又はビデオを送信機に渡し、送信機は、符号化された第２の画像又はビデオを（例えば、ネットワークを介して）デコーダー等の下流のデバイスに送信する。色チャネルプロセッサは、帯域内シグナリング方法又は帯域外シグナリング方法のうちの任意のものによって、間引きされた彩度チャネルの存在を示す第１の情報をデコーダーにシグナリングするとともに、フル解像度輝度チャネル及び間引きされた彩度チャネルの非重複空間配置の配置を示す第２の情報をシグナリングする。
【００２８】
別の例では、デコーダーは、符号化された第２の画像又はビデオを、デコーダーを用いて読み出し又は復号化して、復号化された第２の画像を作成する。第２の色チャネルプロセッサは、上記第１の情報及び第２の情報を受信して用い、復号化された第２の画像の輝度及び彩度の非重複空間配置を別々のチャネルに分離する。第２の色チャネルプロセッサは、分離された輝度チャネルを統計的事前情報として用いて、分離後の間引きされた彩度チャネルのジョイントバイラテラルアップサンプリングを実行し、分離された輝度チャネルの解像度と一致させる。
【００２９】
一例では、ジョイントバイラテラルアップサンプリングは、オクターブごとのマルチスケールジョイントバイラテラルアップサンプリングを含むことができる。
【００３０】
一例では、第２の色チャネルプロセッサは、復元された彩度チャネルに対してヒストグラムストレッチ操作を更に実行することができる。
【００３１】
本開示の実施形態は、可視アーティファクトを導入することなく、画像及びビデオの送信帯域幅の削減を可能にする。本開示の実施形態は、画像又はビデオのエンコーダー、デコーダー、又はその標準規格に対する変更を必要としない。エンコーダーのプレフィルタリング及びデコーダーのポストフィルタリングをシグナリングして、本開示の例示のシステムの存在及び構成をシグナリングする方法が説明される。
【００３２】
以下の説明では、多数の詳細が述べられる。しかしながら、本開示はこれらの具体的な詳細がなくても実施することができることが当業者には明らかであろう。幾つかの場合には、よく知られた構造及びデバイスは、本開示の例を分かりにくくしないように、詳細に示されず、ブロック図の形態で示される。
【００３３】
図１は、本開示の例が動作することができる画像及びビデオの彩度チャネルを、２オクターブ以上間引く一例示の符号化コンピューティングシステム１００のブロック図である。コンピューティングシステム１００は、ビデオカメラ若しくはオンライン記憶デバイス又は伝送媒体等の１つ又は複数の画像データソース１０５から画像データを受信することができる。コンピューティングシステム１００は、デジタルビデオ又は画像取り込みシステム１１０及びコンピューティングプラットフォーム１１５も備えることができる。デジタルビデオ又は画像取り込みシステム１１０は、画像データを処理することができる。一例では、画像データは、１つ又は複数の静止画像、デジタルビデオのストリーム、又はコンピューティングプラットフォーム１１５によって処理することができる形態に変換されたデジタルビデオにアナログビデオを変換したものを１つ又は複数の画像データソース１０５として含むことができる。コンピューティングプラットフォーム１１５は、ホストシステム１２０を備えることができる。このホストシステムは、例えば、１つ又は複数の中央処理ユニット１３０ａ〜１３０ｎ等の処理デバイス１２５を備えることができる。処理デバイス１２５は、ホストメモリ１３５に結合することができる。ホストメモリ１３５は、１つ又は複数のデータソース１０５から受信された画像データを画像データバッファー１５０に記憶することができる。
【００３４】
処理デバイスは、グラフィックス処理ユニット１４０（ＧＰＵ）を更に実装することができる。ＧＰＵのほかに他のコプロセッサアーキテクチャを利用することができることが当業者によって理解されるであろう。これらの他のコプロセッサアーキテクチャは、ＤＳＰ、ＦＰＧＡ、若しくはＡＳＩＣ、又は処理デバイス１２５自体の付属した固定機能特徴部等であるが、これらに限定されるものではない。ＧＰＵ１４０は、中央処理ユニット１３０ａ〜１３０ｎと同じ物理チップ又は論理デバイス上に配置することができることが当業者によって更に理解されるであろう。これは、移動電話及びタブレットに見出すことができるように、加速処理ユニット（「ＡＰＵ」）としても知られている。別々のＧＰＵ機能及びＣＰＵ機能は、ＧＰＵが物理的な拡張カードであるコンピューターサーバーシステム、並びにパーソナルコンピューターシステム及びラップトップにおいて見出すことができる。ＧＰＵ１４０は、ＧＰＵメモリ１３７を備えることができる。ホストメモリ１３５及びＧＰＵメモリ１３７は、ＡＰＵ等の同じ物理チップ（複数の場合もある）又は論理デバイス上に配置することもできることが当業者によって理解されるであろう。
【００３５】
処理デバイス１２５は、データソース１０５からの画像データを受信するとともに画像データバッファー１５０を受信する色チャネルプロセッサ１４５を実装するように構成することができる。画像データバッファー１５０は、画像バッファー１５５としてＧＰＵメモリ１３７に転送することができる。１つの例では、処理デバイス１２５は、色チャネルプロセッサ１４５をＧＰＵ１４０の構成要素として実装することができる。一例では、色チャネルプロセッサ１４５は、画像バッファー１５５の彩度チャネルを間引くとともに画像バッファー１５５の間引きされた彩度チャネル及び輝度チャネルを空間的に再配置して、変換された画像データを生成するように構成することができる。
【００３６】
１つの例では、変換された画像データは、ディスプレイ１７０上に表示することができる。別の例では、色チャネルプロセッサ１４５は、変換された画像データをエンコーダー１８０に送信することができる。１つの例では、エンコーダー１８０は、当該技術分野において知られている符号化方法を用いて、変換された画像データを符号化することができる。エンコーダー１８０は、符号化されたデータを送信機１８５に伝達することができ、送信機１８５は、この符号化されたデータを１つ又は複数の下流のデバイス１９０に直接又はネットワーク１９５を通じて送信する。１つの例では、エンコーダー１８０又は送信機１８５の一方又は双方は、処理デバイス１２５又はコンピューティングプラットフォーム１１５の外部とすることができる。別の例では、エンコーダー１８０又は送信機１８５の一方又は双方は、処理デバイス１２５又はコンピューティングプラットフォーム１１５と統合することができる。
【００３７】
図２は、画像データ（例えば、デジタル静止画像又はデジタルビデオ）の彩度チャネルの１オクターブ又は複数オクターブの間引きの符号化方法の一例を示す流れ図である。方法２００は、図１のコンピューターシステム１００によって実行することができ、ハードウェア（例えば、回路部、専用ロジック、プログラマブルロジック、マイクロコード等）、ソフトウェア（例えば、処理デバイス上で実行される命令）、又はそれらの組み合わせを含むことができる。１つの例では、方法２００は、主として、図１のコンピューティングシステム１００の色チャネルプロセッサ１４５によって実行することができる。
【００３８】
図２に示すように、コンピューティングシステム１００が画像データを符号化することを可能にするために、ブロック２１０において、色チャネルプロセッサ１４５は、画像バッファー１５５から第１の画像データセットを受信することができる。画像バッファー１５５内のこの第１の画像データセットの１つ又は複数のピクセルは、複数のピクセルを含むことができ、各ピクセルは、輝度チャネル及び１つ又は複数の色チャネルを含む。ブロック２２０において、色チャネルプロセッサ１４５は、画像バッファー１５５内の画像データの１つ又は複数の色チャネルの解像度を低減することができる。一例では、色チャネルプロセッサ１４５は、少なくとも１オクターブ（例えば、１オクターブ又は複数オクターブ）の間引きによって、画像バッファー１５５内の画像データの１つ又は複数の色チャネルの解像度を低減することができる。別の例では、色チャネルプロセッサ１４５は、２オクターブ以上の間引きによって、画像バッファー１５５内の画像データの１つ又は複数の色チャネルの解像度を低減することができる。
【００３９】
一例では、色チャネルプロセッサ１４５は、ダウンサンプリング方法を用いて１つ又は複数の彩度チャネルを間引くことによって、１つ又は複数の彩度チャネルの解像度を低減することができる。一例では、このダウンサンプリング方法は、ランチョス（Lanczos）補間、双３次補間、又は双１次補間等の補間方法を用いた１オクターブダウンサンプリングステップの連続した適用を含むことができる。別の例では、色チャネルプロセッサ１４５は、ランチョス補間又は双３次補間等の補間方法を用いた単一のステップで間引きを実行することができる。
【００４０】
ブロック２３０において、色チャネルプロセッサ１４５は、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間座標が第２の画像データセットの空間ロケーションにおいて重複しないように、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルを、画像バッファー１５５において第２の画像データセットに配置することができる。画像バッファー１５５内の第２の画像データセットの１つ又は複数のピクセルは、複数のピクセルを含むことができ、これらの複数のピクセルの各ピクセルは、１つ又は複数の彩度チャネル及び輝度チャネルを有する。
【００４１】
ラッパー（wrapper）は、本明細書において用いられるとき、ビデオファイルフォーマットのＳＭＰＴＥ定義の意味で用いられる用語を指すことができ、「エッセンス（essence）」は、コーデックペイロード及びその内容を表し、「ラッパー」は、エッセンスのファイルフォーマット若しくは送信フォーマット又は他のペイロードパッケージングを表す。当業者によって理解されるように、ラッパーは、ＪＦＩＦ等の単一の画像のファイルフォーマットも指すことができる。ＪＦＩＦは、ＪＰＥＧ画像がファイルにカプセル化される標準的な方法を表す。
【００４２】
ブロック２４０において、色チャネルプロセッサ１４５は、画像バッファー１５５内の第２の画像データセットをエンコーダー１８０（又はラッパー）に送信することができる。ブロック２５０において、エンコーダー１８０は、画像バッファー１５５内の第２の画像データセットを符号化することができる。ブロック２６０において、エンコーダー１８０は、符号化された第２の画像データセットを送信機１８５に送信することができる。ブロック２７０において、送信機１８５は、符号化された第２の画像データセット（例えば、画像バッファー１５５内の非重複画像データ）を、ディスプレイ１７０又は１つ若しくは複数の下流のデバイス１９０のうちの１つ又は複数に送信することができる。１つの例では、送信機１８５は、画像バッファー１５５を１つ又は複数の下流のデバイス１９０（例えば、第２の処理デバイス（例えば、エンコーダー１８０、マルチプレクサー、ラッパー、又はディスプレイ１７０））にネットワーク１９５を通じて送信することができる。
【００４３】
一例では、色チャネルプロセッサ１４５は、一組の構成フラグを下流のデバイス１９０に更に送信することができる。一例では、構成フラグは、第１の画像データセットの１つ又は複数の彩度チャネルの解像度の低減の程度を伝達することができる。第１の画像データセットの１つ又は複数の彩度チャネルの解像度の低減の程度は、色チャネルプロセッサ１４５による画像バッファー１５５内の第１の画像データセットの（例えば、１オクターブ又は複数オクターブの）間引きの程度を含むことができる。
【００４４】
一例では、構成フラグは、色チャネルプロセッサ１４５によって用いられる画像バッファー１５５内の第２の画像データセットの輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間配置を含む情報を更に伝達することができる。この情報は、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間座標が重複しないことを示す表示（例えば、輝度チャネル及び彩度チャネルが重複しないような、間引きされた画像データの輝度チャネル及び彩度チャネルの特定の再配置を含む情報）を含むことができる。
【００４５】
図３は、１オクターブ又は複数オクターブ間引きされている符号化された画像データ（例えば、デジタル静止画像又はデジタルビデオ）の彩度チャネルを受信、復元、及びアップスケーリングする、本開示の例が動作することができる一例示の復号化コンピューティングシステム３００のブロック図である。一例では、コンピューティングシステム３００は、１つ又は複数のデータソース３０５から符号化された画像データを受信するように構成することができる。１つ又は複数のデータソース３０５は、図１の符号化コンピューティングシステム１００とすることができる。コンピューティングシステム３００は、コンピューティングプラットフォーム３１５も備えることができる。コンピューティングプラットフォーム３１５は、ホストシステム３２０を備えることができ、このホストシステム３２０は、例えば、１つ又は複数の中央処理ユニット３３０ａ〜３３０ｎ等の処理デバイス３２５を備えることができる。処理デバイス３２５は、ホストメモリ３３５に結合されている。ホストメモリ３３５は、１つ又は複数のデータソース３０５から受信された、符号化された画像データ（例えば、デジタル画像データ又はデジタルビデオデータ）を画像データバッファー３５０に記憶することができる。この符号化された画像データは、受信機３６０が受信することができ、デコーダー３６５が復号化することができ、画像データバッファー３５０に渡すことができる。受信機３６０は、この符号化された画像データを、１つ又は複数のデータソース３０５から直接又はネットワーク３１０を介して受信することができる。１つの例では、受信機３６０又はデコーダー３６５の一方又は双方は、処理デバイス３２５又はコンピューティングプラットフォーム３１５の外部とすることができる。別の例では、受信機３６０又はデコーダー３６５の一方又は双方は、処理デバイス３２５又はコンピューティングプラットフォーム３１５と統合することができる。
【００４６】
処理デバイス３２５は、グラフィックス処理ユニット３４０（ＧＰＵ）を更に実装することができる。ＧＰＵのほかに他のコプロセッサアーキテクチャを利用することができることが当業者によって理解されるであろう。これらの他のコプロセッサアーキテクチャは、ＤＳＰ、ＦＰＧＡ、若しくはＡＳＩＣ、又は処理デバイス３２５自体の付属した固定機能特徴部等であるが、これらに限定されるものではない。ＧＰＵ３４０は、中央処理ユニット３３０ａ〜３３０ｎと同じ物理チップ又は論理デバイス上に配置することができることが当業者によって更に理解されるであろう。これは、移動電話及びタブレットに見出すことができるように、「ＡＰＵ」としても知られている。別々のＧＰＵ機能及びＣＰＵ機能は、ＧＰＵが物理的な拡張カードであるコンピューターサーバーシステム、並びにパーソナルコンピューターシステム及びラップトップにおいて見出すことができる。ＧＰＵ３４０は、ＧＰＵメモリ３３７を備えることができる。ホストメモリ３３５及びＧＰＵメモリ３３７は、ＡＰＵ等の同じ物理チップ（複数の場合もある）又は論理デバイス上に配置することもできることが当業者によって理解されるであろう。復号化処理デバイス３２５を符号化処理デバイス１２５と図１のコンピューティングシステム１００内に部分的又は全面的に統合して、符号化機能及び復号化機能の双方を提供することができることが当業者によって更に理解されるであろう。
【００４７】
処理デバイス３２５は、符号化された画像データ及び一組の構成フラグ（例えば、図１の符号化システム１００において用いられる構成フラグ）をデータソース３０５から受信機３６０を通じて受信するように構成することができる。処理デバイス３２５は、この一組の構成フラグをデコーダー３６５に転送し、受信された符号化画像データに基づいて画像データバッファー３５０を作成し、画像データバッファー３５０及び一組の構成フラグを復号化するように構成することができる。デコーダー３６５は、画像データバッファー３５０及び一組の構成フラグをＧＰＵメモリ３３７に画像データバッファー３５５として転送するように構成することができる。
【００４８】
処理デバイス３２５は、画像データバッファー３５５及び一組の構成フラグをデコーダー、デマルチプレクサー、又はアンラッパー（unwrapper）から受信する色チャネルプロセッサ３４５を実装するように構成することができる。１つの例では、処理デバイス３２５は、色チャネルプロセッサ３４５をＧＰＵ３４０の構成要素として実装することができる。
【００４９】
色チャネルプロセッサ３４５は、一組の構成フラグに従って、復号化された第２の画像の輝度及び彩度の非重複空間配置を別々のチャネルに分離することによって、空間配置（例えば、図１の符号化システム１００において用いられる空間配置）を解除するように構成することができる。色チャネルプロセッサ３４５は、一組の構成フラグに従って、分離された輝度チャネルを統計的事前情報として用いて、分離後の間引きされた彩度チャネルのジョイントバイラテラルアップサンプリングを実行し、分離された輝度チャネルの解像度と一致させるように構成することができる。一例では、色チャネルプロセッサ３４５は、分離後の間引きされた彩度チャネルのオクターブごとのマルチスケールジョイントバイラテラルアップサンプリングを実行して、分離された輝度チャネルの解像度と一致させるように構成することができる。一例では、色チャネルプロセッサ３４５は、復元された彩度チャネルに対してヒストグラムストレッチ操作を実行するように構成することができる。色プロセッサは、画像データバッファー３５５において、これらの分離されたチャネルを組み合わせて、ディスプレイ３７０上の表示出力又は１つ若しくは複数の下流のデバイス３７５（例えば、エンコーダー）への送信に適した復元された画像データにすることができる。
【００５０】
図４は、１オクターブ又は複数オクターブ間引きされた画像データ（例えば、デジタル静止画像又はデジタルビデオ）の彩度チャネルを受信、復元、及びアップスケーリングする復号化方法４００の一例を示す流れ図である。方法４００は、図３のコンピューターシステム３００によって実行することができ、ハードウェア（例えば、回路部、専用ロジック、プログラマブルロジック、マイクロコード等）、ソフトウェア（例えば、処理デバイス上で実行される命令）、又はそれらの組み合わせを含むことができる。１つの例では、方法３００は、主として、図３のコンピューティングシステム３００の色チャネルプロセッサ３４５によって実行することができる。
【００５１】
図４に示すように、コンピューティングシステム３００が画像データを復号化することを可能にするために、ブロック４１０において、受信機３６０は、符号化された画像データ及び一組の構成フラグをデータソース３０５から画像データバッファー３５０内に受信する。この符号化された画像データは、１つ又は複数の彩度チャネル及び輝度チャネルを含むことができ、この１つ又は複数の彩度チャネルは、輝度チャネルに対して解像度が低減されている。画像データバッファー３５０内の符号化された画像データは、複数のピクセルを含むことができ、各ピクセルは、輝度チャネル及び１つ又は複数の色チャネルを含む。
【００５２】
一例では、構成フラグは、１つ又は複数の彩度チャネルの解像度の低減の程度を含む第１の情報と、輝度チャネル及び１つ又は複数の低減された解像度の彩度チャネルの空間配置を含む第２の情報とを伝達することができる。一例では、この第１の情報は、１つ又は複数の低減された解像度の彩度チャネルが少なくとも１オクターブ間引きされていることを示すことができる。一例では、第１の情報は、１つ又は複数の低減された解像度の彩度チャネルが２オクターブ以上間引きされていることを示すことができる。一例では、第２の情報は、データソース３０５から受信された画像の空間配置（例えば、輝度チャネル及び彩度チャネルが重複しないような、間引きされた画像データの輝度チャネル及び彩度チャネルの再配置）を伝達することができる。
【００５３】
ブロック４２０において、デコーダー３６５は、画像データ及び一組の構成フラグを復号化し、復号化された画像データを処理デバイス３２５の画像データバッファー３５０に配置する。ブロック４３０において、処理デバイス３２５は、復号化された画像データバッファー３５０及び一組の構成フラグをＧＰＵメモリ３３７のＧＰＵ画像データバッファー３５５に転送する。ブロック４４０において、色チャネルプロセッサ３４５は、画像データバッファー３５５及び一組の構成フラグをＧＰＵメモリ３３７から受信する。画像データバッファー３５５内の復号化された画像データは、複数のピクセルを含むことができ、各ピクセルは、輝度チャネル及び１つ又は複数の色チャネルを含む。
【００５４】
ブロック４５０において、色チャネルプロセッサ３４５は、第２の情報を考慮して、画像データバッファー３５５内の画像データの複数のピクセルの輝度チャネル及び１つ又は複数の色チャネルの空間配置（例えば、図１の符号化システム１００において用いられる空間配置）を解除して、第２の画像データセットを生成する。一例では、色チャネルプロセッサ３４５は、一組の構成フラグを考慮して、復号化された画像データの輝度及び彩度の非重複空間配置を別々の輝度チャネル及び１つ又は複数の彩度チャネルに分離することによって、輝度チャネル及び１つ又は複数の色チャネルの空間配置を解除することができる。
【００５５】
ブロック４６０において、色チャネルプロセッサ３４５は、第１の情報を考慮して、１つ又は複数の低減された解像度の彩度チャネルの解像度を復元して、分離された輝度チャネルの解像度と実質的に一致させ、第３の画像データセットを画像データバッファー３５５内に生成する。一例では、色チャネルプロセッサ３４５は、一組の構成フラグに従って、画像データバッファー３５５の分離された輝度チャネルを統計的事前情報として用いて、画像データバッファー３５５内の画像データの１つ又は複数の色チャネルのオクターブごとのマルチスケールジョイントバイラテラルアップサンプリングを実行し、画像データバッファー３５５内の画像データの分離された輝度チャネルの解像度と一致させることができる。
【００５６】
一例では、１つ又は複数の低減された解像度の彩度チャネルの解像度を復元して、分離された輝度の解像度と実質的に一致させることは、色チャネルプロセッサ３４５が、分離後の復元された１つ又は複数の彩度チャネルと輝度チャネルとを組み合わせて第３の画像データセットを画像データバッファー３５５内に生成することを更に含むことができる。画像データバッファー３５５内の第３の画像データは、複数のピクセルを含むことができ、各ピクセルは、輝度チャネル及び１つ又は複数の色チャネルを含む。
【００５７】
ブロック４７０において、色チャネルプロセッサ３４５は、画像データバッファー内の画像データの復元された１つ又は複数の彩度チャネルに対して、ディスプレイ３７０上の表示出力又は１つ若しくは複数の下流のデバイス３７５（例えば、ネットワーク３１０を通じたエンコーダー）への送信にこの時点で適したヒストグラムストレッチ操作を実行することができる。
【００５８】
ブロック４８０において、色空間プロセッサ３４５は、復元された画像データをディスプレイ３７０又は下流のデバイス３７５に送信することができる。
【００５９】
１つの例では、一組の構成フラグは、データソース３０５（例えば、図１のコンピューティングシステム１００）から画像データとともに帯域内又は帯域外で画像データバッファー３５０内に受信することができる。
【００６０】
図５は、連携して動作する図１のコンピューティングシステム１００及び図３のコンピューティングシステム３００の一例示の実施態様５００のブロック図である。図１のコンピューティングシステム１００及び図３のコンピューティングシステム３００のこの一例示の実施態様５００は、ハードウェア（例えば、回路部、専用ロジック、プログラマブルロジック、マイクロコード等）、ソフトウェア（例えば、処理デバイス上で実行される命令）、又はそれらの組み合わせによる実施態様を含む。
【００６１】
図５に示すように、オリジナルのデジタル画像又はデジタルビデオ５０５は、第１の色チャネル間引きプロセス５１０に入力することができる。一例では、輝度チャネルは間引きされておらず、色チャネルのみが間引きされている。一例では、デジタル画像又はデジタルビデオ５０５は、ＹＣｂＣｒカラーフォーマットとすることができ、ＣｂＣｒチャネルのみが間引きされている。適用された間引きの程度は、一組の構成フラグの最初の部分を形成する。
【００６２】
間引きプロセス５１０は、輝度チャネル及び間引きされた彩度チャネルを空間配置プロセス５２０に出力する。
【００６３】
図６は、同じ空間的範囲に混在したフル解像度輝度チャネル及び２オクターブ間引きされた彩度チャネルの配置６００を示している。エンコーダーが、彩度チャネルの１オクターブの間引きしかサポートしていないとき、２オクターブ以上間引きされた彩度チャネルを送信する唯一の方法は、それらの彩度チャネルを、１オクターブ間引きされた彩度チャネルのより小さな部分として埋め込むことである。図６は、フレーム範囲の左上の８分の１に埋め込まれている間引きされたＣｂＣｒ彩度チャネルを示している。
【００６４】
図７は、図５のブロック５２０に示すような空間配置プロセスが実行されず、図６の配置が用いられている場合にもたらされる場合がある、復号化及び復元後のブリーディング（bleeding：滲み）アーティファクト及びシャドウアーティファクトを示している。全範囲の画像の円錐は、円で囲まれたエリア内に、より小さなシャドウ複製を有することに留意されたい。これは、混在した彩度チャネルが、解像度において輝度チャネルと一致していないことの帰結である。加えて、この配置によって、ほとんどの現代のエンコーダーはペナルティを受ける。なぜならば、これらのエンコーダーの予想は、動き推定がデータの３つの全てのチャネルを用いてブロック照合を実行することができるように、彩度及び輝度が解像度において一致している（又は、少なくとも彩度が、１オクターブ間引きされているとしてシグナリングされている）ということであるからである。そのような対応関係が欠如している結果、エンコーダーは、更に多くの動きベクトル誤差を生成し、さらに、これによって、より多くのエラー残差データを符号化する必要が増加する。
【００６５】
図８は、図５の空間配置プロセス５２０の結果の１つの例８００の図である。この例では、空間配置プロセス５２０は、彩度チャネルを左上の画像座標８０５（例えば、彩度象限８０５）に配置し、輝度チャネルを、彩度の縦の解像度の範囲だけ下方にシフトして（例えば、輝度象限８１０に）配置する。この配置によって、解像度が一致していない輝度チャネル及び彩度チャネルがブリーディングアーティファクト又はシャドウアーティファクトを被ることが防止される。図８の配置は、輝度データを彩度象限８０５に含み、彩度データを輝度象限８１０に含むことに留意すべきである。彩度象限８０５の場合、符号なしの輝度チャネルピクセル値を、０ではなく中央又は中域（８ビットの色深度の場合、１２７等）に設定することが必要である。そうしない場合、エンコーダーは、彩度象限８０５を例外的に暗い色を含むものと解釈するので、積極的な量子化を用いて彩度象限８０５にペナルティを科す。輝度象限８１０の場合、符号付きの彩度チャネルピクセル値を０にすることを確保することが重要である。このように、輝度象限８１０は、グレイスケールデータを含むものとエンコーダーによって解釈される。図８の配置の利点は、この配置が、符号化プロセス及び復号化プロセスを存在し続けるブランクエリアにマクロブロック色値を設定することによって、構成フラグの帯域内シグナリングを可能にするということである。多くのそのような配置が可能であることが当業者によって理解されるであろう。
【００６６】
図９は、利用可能なフレームエリアのより効率的な使用を可能にする空間配置９００の別の例を示している。起こり得るアーティファクトに適合するとともにこれを防止する唯一の要件は、輝度チャネル及び彩度チャネルの空間的範囲が重複しないことを確保することである。図９は、輝度データを彩度象限９０５、９１０に含み、彩度データを輝度象限９１５に含む。彩度象限９０５、９１０の場合、符号なしの輝度チャネルピクセル値を、０ではなく中央又は中域（８ビットの色深度の場合、１２７等）に設定することが必要である。そうしない場合、エンコーダーは、彩度象限９０５、９１０を例外的に暗い色を含むものと解釈するので、積極的な量子化を用いて彩度象限９０５、９１０にペナルティを科す。輝度象限９１５の場合、符号付きの彩度チャネルピクセル値を０にすることを確保することが重要である。このように、輝度象限９１５は、グレイスケールデータを含むものとエンコーダーによって解釈される。
【００６７】
空間配置プロセス５２０は、画像データ又はビデオデータをエンコーダー５２５に出力し、一組の構成フラグをエンコーダー５２５に伝達するか、又は送信機／マクサー／ライター５３０に直接伝達する。多くの場合、ファイルフォーマットカプセル化プロセス又はストリーム多重化プロセスは、エンコーダー５２５と同じ場所に配置することができることが当業者によって理解されるであろう。加えて、一組の構成フラグは、下流の受信機／デマクサー／リーダープロセス５４０に通信されるように、エンコーダー５２５又は送信機／マクサー／ライター５３０に伝達することができ、また、エンコーダー５２５、デコーダー５４５、送信機／マクサー／ライター５３０、又は受信機／デマクサー／リーダー５４０のプロセスのカスタム実施を必要としないようにそのように行う。当該技術分野においてよく知られているように、ファイルフォーマット及びストリームフォーマットは、これを行う様々な方法を提供する。
【００６８】
一例では、ＪＰＥＧファイル交換フォーマット（以下、ＪＦＩＦ）を用いて、ＪＰＥＧ圧縮画像をカプセル化することができ、ＪＦＩＦは、よく知られたメタデータ拡張子を、ＥＸＩＦ、ＩＣＣプロファイル、及びピクチャー情報（Picture Info）を含む多くのフォーマットにおいて指定する。これらのいずれも、一組の構成フラグを伝達するのに用いることができる。
【００６９】
一例では、Ｈ２６４符号化ビットストリームは、一組の構成フラグを埋め込むことができるオプションの補足強化情報（ＳＥＩ）ヘッダーを含めることをサポートしている。これらの方法は、エンコーダー（又はデコーダー）プロセス５２５、５４５への変更を必要とせず、単に、これらの値をエンコーダー５２５又は送信機／マクサー／ライター５３０のいずれかに出力し、付随してこれらの値を下流のデコーダー５４５又は受信機／デマクサー／リーダー５４０に照会する能力を必要とする。
【００７０】
一組の構成フラグを伝達する他の方法は、コーダーフォーマットにもコーデックォーマットにも全く結び付けられず、トランスポートストリーム自体に結び付けられる。例では、これらは、ＭＰＥＧトランスポートストリームのＥＳ記述子を含む。このＥＳ記述子は、本明細書において説明する目的に用いることができ、ＲＴＰ拡張ヘッダーを介して用いることもできる。
【００７１】
一組の構成フラグの多くの伝達方法が可能であるが、これらの伝達方法の望ましい特性は、エンコーダーの実施とデコーダーの実施との独立性と、エンコーダー、デコーダー、送信機、受信機、マクサー、デマクサー、リーダー、及びライターの外部のプロセスによるＡＰＩ又は他の方法を介した、伝達された一組の構成フラグへのアクセスとを含むことができることが当業者によって理解されるであろう。これは、一組の構成フラグの値に対する特定のエンコーダー及びデコーダーの標準化等の完全に帯域外の伝達、又はＭＰＥＧ−ＤＡＳＨ若しくはＨＬＳのストリームのマニフェストファイル、若しくは非限定的な例として別々のファイル若しくはプロトコル等の他のチャネル及びコンテキストによるこれらの値の通信も含むこともできる。
【００７２】
圧縮された画像データ又はビデオデータ自体とともに、一組の構成フラグを、オプションとして、上流の送信機／マクサー／ライター５３０から送信チャネル５３５又は記憶媒体を介して下流の受信機／デマクサー／リーダー５４０に送信又は通信することができる。下流の受信機／デマクサー／リーダー５４０は、この画像データ又はビデオデータのカプセル化を解除して、デコーダー５４５に適した形態にし、そのデータを空間分離プロセス５５０に出力する。
【００７３】
空間分離プロセス５５０は、空間配置プロセス５２０の逆を行い、データを色復元プロセス５６０に出力する。
【００７４】
彩度チャネルを間引き、その後、復元することの利点は、符号化するデータ、送信するデータ、及び復号化するデータの大幅な削減である。明度に対するＨＶＳ解像度の感度は、色の感度の２倍を上回っているので、よく知られた共通の標準的な送受信方法は、色チャネルを１オクターブ間引くＹＣｂＣＲ４：２：０サブサンプリングである。これは、明度及び色の空間解像度に対するＨＶＳの異なる感度を一致させる。
【００７５】
図１０は、明度及び色の双方についてのＨＶＳの空間解像度の感度を示している。色チャネルを１オクターブ間引くこと（又は垂直解像度及び水平解像度を２分の１だけ低減すること）は、通常の視認状態におけるＨＶＳの感度を無事に一致させる。
【００７６】
しかしながら、双三次又はランチョス（正：Lanczos）等の線形サンプラーによるアップサンプリングよりも高度な復元プロセスなしで２オクターブ以上間引くことによって、好ましくないアーティファクト及び画像品質劣化がもたらされる。
【００７７】
図１１は、オリジナルのフル解像度Ｃｂチャネルを示している。
【００７８】
図１２は、２オクターブ以上間引きされた彩度チャネルとともに用いられたときの従来技術の彩度アップスケーリングプロセスによって導入されたＣｂチャネル内のカラーブリードを示している。この図において明らかなブリードの全体的な影響の結果、円錐の赤色及び緑色が背景が背景内に滲むとともに、その逆も起こっている。
【００７９】
この問題に対する解決策は、ジョイントバイラテラルフィルタリング及びアップスケーリング、又はマルチスケールのオクターブごとのジョイントバイラテラルフィルタリング及びアップスケーリングのいずれかを用いることである。
【００８０】
図１３は、本開示の例による色チャネルの復元を示している。
【００８１】
本明細書において説明するマルチスケールジョイントバイラテラルフィルターは、よく知られたバイラテラルフィルター及びジョイントバイラテラルフィルターと幾つかの重要な点で異なっている。以下の式１及び２において定義されるような通常のバイラテラルフィルターは、解析中の画像内においてレンジを構成する空間距離及び領域を構成するラジオシティ距離によってフィルター重みを適応的に計算し、重み付けを駆動する。より詳細には、入力画像Ｚ、出力画像Ｚ’、及びサポートウィンドウΩについて、一般的なバイラテラルフィルターは、式１に以下のように定義される。
【数１】
2017520871.tif 000003
ここで、ｇは、ガウス空間重み付け関数であり、ｒは、ラジオシティ重み付け関数である。ラジオシティの一般的な値は、構成するピクセルサンプルの輝度又は強度を含む。システム入力は、通常、式２及び３のようなｇ関数及びｒ関数を修飾する定数係数σｇ及びσｒによって供給される。
【数２】
2017520871.tif 000004
【００８２】
ラジオシティ領域のラジオシティ関数ｒは、上記式３によって定義される。式２は、関数ｇにおける空間重みを定義する。
【００８３】
比較すると、ジョイントバイラテラルフィルターは、ラジオシティ（又は輝度）のみを用いてフィルターの重み付けを誘導するのではなく、第２の領域の重み付けによって誘導されながら、第１の画像領域に対してフィルタリングを実行する。本開示において意図した意味でのジョイントバイラテラルフィルタリングの場合、ラジオシティ重み付けは、式４及び５並びに以下のその付随した説明によって定義することができる。
【００８４】
係数σｇ及び係数σｒの値が小さいほど、それぞれ空間重み付け及びラジオシティ重み付けの局所性及び類似性の寄与が増加する。ラジオシティ関数ｒの指数関数の分母におけるＬ１距離尺度は、輝度又は強度しかエッジ及び境界局所性を十分に区別するのに十分でない画像に適切である。一例では、第１の領域は、フィルタリングされると、併せてＣｂチャネル及びＣｒチャネル、又は同様の色チャネルとなる。
【００８５】
一例では、第２の画像ラジオシティ領域が、輝度チャネルの第２の入力によって、式４の関数ｄとして提供される。
【数３】
2017520871.tif 000005
ここで、この新たな第２の領域ラジオシティ関数ｄは、式５によって定義される。
【数４】
2017520871.tif 000006
この関数ｄは、輝度の差の尺度なる。形式的には、輝度が、彩度チャネルよりも高い異なる解像度でサンプリングされるとき、これは、フィルタリングプロセスではなく、ジョイントバイラテラルアップサンプリングプロセスとしてより適切に知られている。アップサンプリングされた新たな解像度でのジョイントバイラテラルアップサンプリングプロセスの後続の反復は、フィルタリングとみなされる。このフィルターの適用の全体的効果は、第２の領域が第１の領域のフィルタリングを誘導することである。この第２の領域は「統計的事前情報」として知られている。
【００８６】
本開示におけるジョイントバイラテラルフィルタリングのマルチスケールの変形形態は、ＣｂＣｒチャネル又は色チャネルの最終解像度に達するまで、次に高い解像度への第１のジョイントバイラテラルアップサンプリング、後続の第２のバイラテラルアップサンプリングが続くジョイントバイラテラルフィルタリングの後続の反復、及びフィルタリングの形式で、一時に１オクターブ若しくは複数オクターブを操作するか、又は部分的なオクターブも操作する。この配置の効果は、計算複雑度の莫大な低減であり、マルチスケール手法を用いると、５×５等のサンプリングプロセスの適度のサポート領域を用いて、良好な結果を達成することができる一方、モノリシックな非マルチスケール手法は、許容できる結果に収束するのに、はるかに大きなサポート領域及びフィルタリングプロセスの潜在的に更に多くの反復を必要とする。
【００８７】
色復元プロセス５６０は、再構成されたデジタル画像又はデジタルビデオ５７５の復元された彩度チャネルをオプションのヒストグラムプロセス５７０に出力する。明るい色のロゴ等の画像の非常に飽和した部分の場合、色復元プロセス５６０は、オリジナルの入力画像に存在するオリジナルの高い彩度値及びエネルギーを復元するのに十分でない場合がある。そのような状況では、ヒストグラムストレッチ機能を用いることができる。ヒストグラムストレッチ機能は、米国特許第８，７０４，８４２号に開示されているような技法を用いることもできるし、同時係属中の米国特許出願第１４／０３２，６４０号に教示されているように知覚色に基づく受信システムの第１の受信値及び第２の受信値を操作することもでき、それによって、ヒストグラム計算の必要性が回避される。これらの米国特許及び米国特許出願の開示は、その全内容が引用することによって本明細書の一部をなす。
【００８８】
本開示の例の事前符号化プロセスは、同時代の大量に市場に出回っている商用のコンピューターハードウェア上で、４Ｋビデオ用のリアルタイムよりも大きな解像度のビデオにおいて３０ｆｐｓで動作するのに十分効率的であるとともに、リアルタイム及び準リアルタイムでの様々な解像度の複数の画像及びビデオにおいて動作するのに十分効率的である。本開示の実施形態の事後復号化プロセスは、フィーチャーフォン、スマートフォン、タブレット、ラップトップ、ＰＣ、セットトップボックス、及びテレビ等の、ＧＰＵ、ＣＰＵ、又はＡＰＵを有する任意のエンドユーザーデバイス上においてビデオ及び画像の単一のインスタンス用のフルＨＤ解像度で動作するのに十分効率的である。
【００８９】
本開示の例によるこのエンコーダーに近似したもの（encoder proximity）及びデコーダーに近似したもの（decoder proximity）の双方における効率のこの組み合わせによって、新たな応用が開ける。これらの応用は、過度のビデオ配信に対するリアルタイムの改善された知覚品質及び／又は改善されたビデオコーダーの効率、移動デバイスからのビデオ及び画像データのアップロード及びダウンロードの双方を行ったときの公衆無線アクセスネットワークの輻輳の費用効果の高いリアルタイムの低減、リアルタイム通過帯域テレビ配信容量の増加、衛星トランスポンダー容量の増加、コンテンツ管理システム及びネットワークＤＶＲアーキテクチャの記憶コストの削減、並びに分配ネットワークコアにおける画像及びビデオの高スループット処置等を含むが、これらに限定されるものではない。
【００９０】
図１４は、本明細書において論述した方法論のうちの任意の１つ又は複数をマシンに実行させる一組の命令を実行することができるコンピューターシステム１４００の例示の形態のマシンの図的表現を示している。幾つかの例では、このマシンは、ＬＡＮ、イントラネット、エクストラネット、又はインターネット内の他のマシンに接続（例えば、ネットワーク接続）することができる。このマシンは、クライアントサーバーネットワーク環境ではサーバーマシンの資格で動作することができる。このマシンは、パーソナルコンピューター（ＰＣ）、セットトップボックス（ＳＴＢ）、サーバー、ネットワークルーター、ネットワークスイッチ、若しくはネットワークブリッジ、又はそのマシンによって行われる動作を指定する一組の命令（逐次又は別の方法）を実行することが可能な任意のマシンとすることができる。さらに、単一のマシンしか図示されていないが、「マシン」という用語は、本明細書において論述した方法論のうちの任意の１つ又は複数を実行する一組（又は複数組）の命令を個々に又は共同で実行するマシンの任意の集合体も含むものと解釈されるものとする。
【００９１】
この一例示のコンピューターシステム１４００は、処理デバイス（プロセッサ）１４０２、メインメモリ１４０４（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）等のダイナミックランダムアクセスメモリ（ＤＲＡＭ））、スタティックメモリ１４０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ））、及びデータ記憶デバイス１４１６を備える。これらは、バス１４０８を介して互いに通信する。
【００９２】
プロセッサ１４０２は、マイクロプロセッサ、中央処理ユニット等の１つ又は複数の汎用処理デバイスを表している。より詳細には、プロセッサ１４０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実装するプロセッサ若しくは命令セットの組み合わせを実装するプロセッサとすることができる。プロセッサ１４０２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ等の１つ又は複数の専用処理デバイスとすることもできる。図１及び図３にそれぞれ示す色チャネルプロセッサ１４５及び３４５は、本明細書において論述した動作及びステップを実行するように構成されたプロセッサ１４０２によって実行することができる。
【００９３】
コンピューターシステム１４００は、ネットワークインターフェースデバイス１４２２を更に備えることができる。コンピューターシステム１４００は、ビデオディスプレイユニット１４１０（例えば、液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ））、英数字入力デバイス１４１２（例えば、キーボード）、カーソル制御デバイス１４１４（例えば、マウス）、及び信号発生デバイス１４２０（例えば、スピーカー）も備えることができる。
【００９４】
ドライブユニット１４１６は、本明細書において説明した方法論又は機能のうちの任意の１つ又は複数を具現化する一組又は複数組の命令（例えば、色空間プロセッサ１４５、３４５の命令）が記憶されているコンピューター可読媒体１４２４を備えることができる。色空間プロセッサ１４５、３４５の命令は、コンピューターシステム１４００によるこれらの命令の実行中は、メインメモリ１４０４及び／又はプロセッサ１４０２内にも完全に又は少なくとも部分的に存在することができ、メインメモリ１４０４及びプロセッサ１４０２もコンピューター可読媒体を構成する。色チャネルプロセッサ１４５、３４５の命令は、ネットワークインターフェースデバイス１４２２を介してネットワーク上で更に送信又は受信することができる。
【００９５】
コンピューター可読記憶媒体１４２４は、一例では、単一の媒体であるとして示されているが、「コンピューター可読記憶媒体」という用語は、一組又は複数組の命令を記憶する単一の非一時的媒体又は複数の非一時的媒体（例えば、集中型若しくは分散型のデータベース、及び／又は関連付けられたキャッシュ及びサーバー）を含むものと解釈されるべきである。「コンピューター可読記憶媒体」という用語は、マシンによって実行される一組の命令を記憶、符号化、又は担持することが可能であるとともに、本開示の方法論のうちの任意の１つ又は複数をマシンに実行させる任意の媒体も含むものと解釈されるものとする。「コンピューター可読記憶媒体」という用語は、したがって、固体メモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないものと解釈されるものとする。
【００９６】
上記説明では、多数の詳細が述べられている。しかしながら、この開示の利益を有する当業者には、これらの特定の詳細がなくても、この開示の例を実施することができることは明らかである。幾つかの場合には、よく知られた構造及びデバイスは、説明を分かりにくくしないように、詳細には示されず、ブロック図の形態で示されている。
【００９７】
詳細な説明の幾つかの部分は、コンピューターメモリ内のデータビットに対する操作のアルゴリズム及びシンボル表現の点から提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術における当業者が、自身の作業を他の当業者に最も効果的に伝達するのに用いる手段である。アルゴリズムは、本明細書において及び一般的には、所望の結果をもたらす自己矛盾のないステップのシーケンスであると考えられる。これらのステップは、物理量の物理的な操作を必要とするものである。必ずしもそうとは限らないが通常、これらの量は、記憶、転送、組み合わせ、比較、及びそれ以外の操作が可能な電気信号又は磁気信号の形態を取る。主として共通使用の理由から、これらの信号を、ビット、値、要素、シンボル、文字、項、数等と呼ぶことが時に便利であることが分かっている。
【００９８】
しかしながら、これらの用語及び類似の用語の全ては、適切な物理量と関連付けられるべきであり、これらの量に適用された便利なラベルにすぎないことに留意すべきである。特に別段の指定がない限り、上記論述から明らかであるように、この説明全体を通じて、「受信する」、「書き込む」、「維持する」等の用語を利用している論述は、コンピューターシステムのレジスター及びメモリ内の物理（例えば、電子）量として表されたデータを、新たな座標系に対して操作して、そのコンピューターシステムのメモリ若しくはレジスター、又は他のそのような情報記憶デバイス、伝送デバイス、若しくはディスプレイデバイス内の物理量として同様に表される他のデータに変換するコンピューターシステム又は同様の電子コンピューティングデバイスの動作及びプロセスを指すことが理解される。
【００９９】
本開示の例は、本明細書における動作を実行する装置にも関係している。この装置は、必要とされる目的用に特別に構築することもできるし、コンピューターに記憶されたコンピュータープログラムによって選択的にアクティブ化又は再構成される汎用コンピューターを含むこともできる。２オクターブ以上間引きされた彩度チャネルの送信、受信、並びに復元及びアップスケーリングを行う、本明細書において開示したようなシステム及び方法は、知覚品質、及び／又は既存の画像及びビデオの圧縮若しくは伝送のシステム及び方法の伝送効率若しくは記憶効率を改善し、数例に過ぎないが、過度のビデオ配信のリアルタイムの効率、移動デバイスからのビデオ及び画像データのアップロード及びダウンロードの双方を行ったときの公衆無線アクセスネットワーク輻輳の費用効果の高いリアルタイムの低減、リアルタイム通過帯域テレビ配信容量の増加、衛星トランスポンダー容量の増加、コンテンツ管理システム及びネットワークＤＶＲアーキテクチャの記憶コストの削減、並びに分配ネットワークコアにおける画像及びビデオの高スループット処置等の多くの分野における問題を解決する。
【０１００】
そのようなコンピュータープログラムは、コンピューター可読記憶媒体に記憶することができる。このコンピューター可読記憶媒体は、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード若しくは光カード、又は電子命令を記憶するのに適した任意のタイプの媒体等であるが、これらに限定されるものではない。
【０１０１】
本明細書において提示したアルゴリズム及び表示は、本質的には、どの特定のコンピューターにも他の装置にも関係付けられていない。様々な汎用システムを、本明細書における教示によるプログラムとともに用いることもできるし、必要とされる方法ステップを実行するより特殊化された装置を構築することが便利であると分かる場合もある。様々なこれらのシステムの例示の構造は、本明細書における説明から見えてくる。加えて、本開示は、どの特定のプログラミング言語に関しても説明されていない。様々なプログラミング言語を、本明細書において説明した開示の教示内容を実施するのに用いることができることが理解されるであろう。
【０１０２】
上記説明は、限定ではなく例示であるように意図されていることが理解されるべきである。上記説明を読んで理解すると、他の多くの例が当業者には明らかであろう。したがって、本開示の範囲は、添付の特許請求の範囲が権利を有する均等なものの全範囲とともに、そのような特許請求の範囲に関して決定されるべきである。
【図１】
2017520871.tif 000007
【図２】
2017520871.tif 000008
【図３】
2017520871.tif 000009
【図４】
2017520871.tif 000010
【図５】
2017520871.tif 000011
【図６】
2017520871.tif 000012
【図７】
2017520871.tif 000013
【図８】
2017520871.tif 000014
【図９】
2017520871.tif 000015
【図１０】
2017520871.tif 000016
【図１１】
2017520871.tif 000017
【図１２】
2017520871.tif 000018
【図１３】
2017520871.tif 000019
【図１４】
2017520871.tif 000020
【国際調査報告】
2017520871.tif 000021