(57)【要約】  一方法は、低ダイナミック・レンジの第１の中間パッチを形成すること（Ｓ７１５）と、高ダイナミック・レンジの第２の中間パッチを形成すること（Ｓ７２５）と、変換領域において変換関数をベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成すること（Ｓ７３５）と、このパッチからブロックを抽出することによって拡張レイヤの現在ブロックの予測を求めること（Ｓ７４０）と、拡張レイヤの現在ブロックと拡張レイヤの現在ブロックの予測との残余誤差を符号化することと、を含んでいる。【選択図】  図７
2018524916.tif 000002
【特許請求の範囲】
【請求項１】
ベースレイヤの同一位置配置ブロックの近傍画素と、ベースレイヤの符号化モードを用いてベースレイヤの同一位置配置ブロックの近傍画素から予測された第１の予測ブロックと、を有する低ダイナミック・レンジの第１の中間パッチを形成すること（Ｓ７１５）と、
拡張レイヤの現在ブロックの近傍画素と、前記符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から予測された第２の予測ブロックと、を有する高ダイナミック・レンジの第２の中間パッチを形成すること（Ｓ７２５）と、
変換領域において変換関数を前記ベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによって、パッチを形成すること（Ｓ７３５）であって、前記変換関数は、変換領域において前記第１の中間パッチを前記第２の中間パッチに変換するように求められている（Ｓ７３０）、該形成することと、
前記パッチからブロックを抽出することによって前記拡張レイヤの前記現在ブロックの予測を求めること（Ｓ７４０）であって、前記パッチにおける前記抽出されたブロックは、前記第２の中間パッチにおける前記拡張レイヤの前記現在ブロックと同じ位置に配置されている、該予測を求めることと、
前記拡張レイヤの前記現在ブロックと前記拡張レイヤの前記現在ブロックの前記予測との残余誤差を符号化することと、
を含む方法。
【請求項２】
前記ベースレイヤは、低ダイナミック・レンジ・ビデオに割り当てられたトーン・マッピング・オペレータによってトーン・マッピングされる、請求項１に記載の方法。
【請求項３】
前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードが前記拡張レイヤの前記現在ブロックについて利用可能である場合に、前記第１の符号化モードが前記符号化モードの代わりに用いられる、請求項１に記載の方法。
【請求項４】
前記符号化モードは、前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードが前記拡張レイヤの前記現在ブロックについて利用可能ではない場合に、可能な符号化モードの中から最も適切な符号化モードを選択することによって得られる、請求項１に記載の方法。
【請求項５】
前記最も適切な符号化モードの選択が、前記拡張レイヤの前記可能な符号化モードの各々について、前記ベースレイヤの前記同一位置配置ブロックと前記ベースレイヤの前記同一位置配置ブロックの仮想予測との差分を最小にする符号化モードを選択することによって行われる、請求項４に記載の方法。
【請求項６】
前記拡張レイヤの前記現在ブロックのサイズが前記ベースレイヤのアップサンプリング済み同一位置配置ブロックのサイズと同じである場合に、前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードが前記符号化モードの代わりに用いられる、請求項１に記載の方法。
【請求項７】
前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードは、前記ベースレイヤ及び前記拡張レイヤにおける再構成誤差と、前記ベースレイヤ及び前記拡張レイヤの符号化コストとの観点における妥協を考慮に入れることによって選択される、請求項１に記載の方法。
【請求項８】
ベースレイヤの符号化モードを用いて前記ベースレイヤの同一位置配置ブロックの近傍画素から第１の予測ブロックを予測し、前記ベースレイヤの前記同一位置配置ブロックの前記近傍画素と前記第１の予測ブロックとを有する低ダイナミック・レンジの第１の中間パッチを形成するように構成された第１の中間パッチ作成処理部（４２８）と、
前記符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から第２の予測ブロックを予測し、前記拡張レイヤの前記現在ブロックの前記近傍画素と前記第２の予測ブロックとを有する高ダイナミック・レンジの第２の中間パッチを形成するように構成された第２の中間パッチ作成処理部（４１２）と、
変換領域において前記第１の中間パッチを前記第２の中間パッチに変換する変換関数を求め、変換領域において前記変換関数を前記ベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成し、該パッチからブロックを抽出することによって前記拡張レイヤの前記現在ブロックの予測を求める処理部（４１１）であって、前記抽出されたブロックが、前記パッチにおいて、前記第２の中間パッチにおける前記拡張レイヤの前記現在ブロックと同じ位置に配置されている、該処理部（４１１）と、
前記拡張レイヤの前記現在ブロックと前記拡張レイヤの前記現在ブロックの前記予測との残余誤差を符号化する符号器（４０４）と、
を備えた装置（４００）。
【請求項９】
前記ベースレイヤは、低ダイナミック・レンジ・ビデオに割り当てられたトーン・マッピング・オペレータによってトーン・マップされる、請求項８に記載の装置。
【請求項１０】
前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードが前記拡張レイヤの前記現在ブロックについて利用可能である場合に、前記第１の符号化モードが前記符号化モードとして用いられる、請求項８に記載の装置（４００）。
【請求項１１】
前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードが前記拡張レイヤの前記現在ブロックについて利用可能ではない場合に、可能な符号化モードのうちで最も適切な符号化モードが選択される、請求項８に記載の装置（５００）。
【請求項１２】
前記最も適切な符号化モードは、前記拡張レイヤの前記可能な符号化モードの各々について、前記ベースレイヤの前記同一位置配置ブロックと前記ベースレイヤの前記同一位置配置ブロックの仮想予測との差分を最小にする符号化モードを選択することによって選択される、請求項１１に記載の装置（５００）。
【請求項１３】
前記拡張レイヤの前記現在ブロックのサイズが前記ベースレイヤのアップサンプリング済み同一位置配置ブロックのサイズと同じである場合に、前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードが前記符号化モードの代わりに用いられる、請求項８に記載の装置（４００）。
【請求項１４】
前記ベースレイヤの前記同一位置配置ブロックの第１の符号化モードが、前記ベースレイヤと前記拡張レイヤとにおける再構成誤差と、前記ベースレイヤと前記拡張レイヤとの符号化コストとの観点における妥協を考慮に入れることによって選択される、請求項８に記載の装置（６００）。
【請求項１５】
残余予測誤差を復号することと、
ベースレイヤの同一位置配置ブロックの近傍画素と、ベースレイヤの符号化モードを用いてベースレイヤの同一位置配置ブロックの近傍画素から予測された第１の予測ブロックと、を有する低ダイナミック・レンジの第１の中間パッチを形成すること（Ｓ７１５）と、
拡張レイヤの現在ブロックの近傍画素と、前記符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から予測された第２の予測ブロックと、を有する高ダイナミック・レンジの第２の中間パッチを形成すること（Ｓ７２５）と、
変換領域において変換関数を前記ベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成すること（Ｓ７３５）であって、前記変換関数は、変換領域において前記第１の中間パッチを前記第２の中間パッチに変換する、該形成することと、
前記パッチからブロックを抽出することによって前記拡張レイヤの前記現在ブロックの予測を求めること（Ｓ７４０）であって、前記パッチにおける前記抽出されたブロックが、前記第２の中間パッチにおける前記拡張レイヤの前記現在ブロックと同じ位置に配置されている、該予測を求めることと、
前記予測誤差を前記拡張レイヤの前記現在ブロックの前記予測に加算することによって、前記拡張レイヤのブロックを再構成することと、
を含む方法。
【請求項１６】
残余予測誤差を復号する復号器（４５１）と、
ベースレイヤの同一位置配置ブロックの近傍画素と、ベースレイヤの符号化モードを用いてベースレイヤの同一位置配置ブロックの近傍画素から予測された第１の予測ブロックと、を有する低ダイナミック・レンジの第１の中間パッチを形成するように構成された第１の中間パッチ作成処理部（４７５）と、
拡張レイヤの現在ブロックの近傍画素と、前記符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から予測された第２の予測ブロックと、を有する高ダイナミック・レンジの第２の中間パッチを形成するように構成された第２の中間パッチ作成処理部（４５５）と、
変換領域において変換関数を前記ベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成する処理部（４５７）であって、前記変換関数は、変換領域において前記第１の中間パッチを前記第２の中間パッチに変換し、かつ、前記パッチからブロックを抽出することによって前記拡張レイヤの前記現在ブロックの予測を求めるためのものであり、前記パッチに存在している前記抽出されたブロックは、前記第２の中間パッチにおける前記拡張レイヤの前記現在ブロックと同じ位置に配置されている、前記処理部と、
前記拡張レイヤのブロックを再構成するために前記予測誤差を前記拡張レイヤの前記現在ブロックの前記予測に加算する処理部（４５３）と、
を備えた装置（４５０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、拡張レイヤ（enhancement  layer：エンハンスメント・レイヤ）の現在ブロック（current  block：カレント・ブロック）の予測を求める方法と装置に関する。
【背景技術】
【０００２】
画像処理の分野において、トーン・マッピング・オペレータ（Tone  Mapping  Operator）（以下、「ＴＭＯ」と呼称することがある）が知られている。自然環境における実際のオブジェクトを撮像する際、実際のオブジェクトのダイナミック・レンジは、例えば、カメラのような撮像装置が撮像できる、或いは、表示装置が表示できるダイナミック・レンジよりも遥かに高い。このような表示装置上で実際のオブジェクトを自然に表示するために、ＴＭＯを用いて、良好な可視状態を維持しながら、高ダイナミック・レンジ（High  Dynamic  Range）（以下、「ＨＤＲ」と呼称することがある）の画像を低ダイナミック・レンジ（Low  Dynamic  Range）（以下、「ＬＤＲ」と呼称することがある）の画像に変換する。
【０００３】
一般的に、ＴＭＯは、ＬＤＲの画像を得るために、ＨＤＲの信号に直接適用されて、この画像は従来のＬＤＲの表示装置上で表示できる。ＴＭＯは、多種多様なものが存在して、それらの多くが非線形オペレータである。
【０００４】
ＬＤＲ／ＨＤＲビデオ圧縮に関連する技術に関して、汎用のＴＭＯ／ｉＴＭＯ（逆トーン・マッピング・オペレーション（inverse  Tone  Mapping  Operation））を使用することが、２０１０年のＩＳＣＡＳにおけるＺ.  Ｍａｉ氏、Ｈ.  Ｍａｎｓｏｕｒ氏、Ｒ.  Ｍａｎｔｉｕｋ氏、Ｐ.  Ｎａｓｉｏｐｏｕｌｏｓ氏、Ｒ.  Ｗａｒｄ氏及びＷ.  Ｈｅｉｄｒｉｃｈ氏の「On-the-fly  tone  mapping  for  backward-compatible  high  dynamic  range  image/video  compression（バックワード・コンパチブルな高ダイナミック・レンジ画像／ビデオ圧縮用オンザフライ・トーン・マッピング）」において説明されているように、１つの可能性として提案されている。
【０００５】
この論文において、浮動小数点データの分布が、全体的な量子化誤差の最小化について、検討されている。そのアルゴリズムが、次のステップによって説明されている（ここで用いられる変数は、図１に例示されている）。
【０００６】
ステップ１：  輝度値の対数が算出される。従って、輝度Ｌの各々の画素について、下記のステップは、値ｌ＝ｌｏｇ１０（Ｌ)に基づいている。（ｌは、まだ浮動小数点形式である。）
【０００７】
ステップ２：  ｌ値のヒストグラムが、δ＝０,１に固定されたビン・サイズを取ることによって、算出される。例えば、画像シーケンスにおける全ての画素を用いてヒストグラムを作ることができる。従って、各々のビンｋ（ｋ＝１，・・・，Ｎ)について、１つの画素がこのビンに属する確率ｐｋが分かる。値ｌｋ＝δ.ｋが、ビンに割り当てられる。
【０００８】
ステップ３：  各々のビンｋについて、傾きの値が、次式（１）によって表されるモデルから算出される。
【数１】
2018524916.tif 000003
ここで、ｖｍａｘは、考えられる整数表現の最大値（データがｎビットの整数に量子化される場合、ｖｍａｘ＝２ｎ−１）である。
【０００９】
反転等式（inversion equation）（ステップ５における逆トーン・マッピング）においてゼロでの除算のリスクを回避するために、ｓｋ＝０の場合、ｓｋは、その代わりにゼロでない最小値εに設定できる。
【００１０】
ステップ４：  Ｎ個の傾きの値が分かれば、汎用トーン・マッピング曲線を定義できる。［１，Ｎ］における各々のｋについて、ｌｋ＜ｌ≦ｌｋ＋１を満たす浮動小数点数ｌは、次式（２）によって定義される整数値ｖにマップされる。
【数２】
2018524916.tif 000004
ここで、値ｖｋは、ｖｋ＋１＝δ.ｓｋ＋ｖｋ（及びｖ１＝０）によって、値ｓｋから定義される。
【００１１】
次に、値ｖを丸めて、間隔［０、２ｎ−１］における整数を得る。
【００１２】
ステップ５：  逆トーン・マッピングを行うためには、パラメータｓｋ（ｋ＝１，・・・，Ｎ)を復号器に送信する必要がある。トーン・マップされた画像における値ｖの所与の画素について、先ず、ｖｋ≦ｖ＜ｖｋ+１を満たす値ｋを見つける必要がある。
【００１３】
そして、逆方程式（inverse equation）は、次式（３）として表現される。
【数３】
2018524916.tif 000005
ここで、復号された画素値は、
2018524916.tif 000006
にされる。
【００１４】
更に、逆トーン・マッピング（ｉＴＭＯ）を適用するために、復号器は、図１における曲線を知る必要がある。
【００１５】
ここでの「復号される、復号済み」という用語は、ビデオ符号器／復号器の「復号される、復号済み」という用語とは異なる逆量子化処理に対応している。
【００１６】
もう１つの可能性は、ローカル・トーン・マッピング・オペレータ（local  tone  mapping  operator）を用いることであり、これは、Ｍ.Ｇｒｕｎｄｌａｎｄ氏その他の２００６年２月３日発行のＭａｃｈｉｎｅ  Ｇｒａｐｈｉｓ  ＆  ｖｉｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌの第１５巻における「非線形マルチレゾルーション・ブレンディング（Nonlinear  multiresolution  blending）」と、Ｚｈｅ  Ｗｅｎｄｙ  Ｗａｎｇ氏、Ｊｉｅｆｕ  Ｚｈａｉ氏、Ｔａｏ  Ｚｈａｎｇ氏、Ｌｌａｃｈ，Ｊｏａｎ氏の２０１０年のＩＣＡＳＳＰにおける「高ダイナミック・レンジのビデオについてのインタラクティブ・トーン・マッピング（Interactive  tone  mapping  for  High  Dynamic  Range  video）」と、において開示されている。例えば、Ｐｅｔｅｒ  Ｊ.  Ｂｕｒｔ氏、Ｅｄｗａｒｄ  Ｈ.  Ａｄｅｌｓｏｎ氏の１９８３年４月のＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ,  ｖｏｌ.  ＣＯＭ-３ｌ，Ｎｏ.４における「小型画像コードとしてのラプラシアン・ピラミッド（The  Laplacian  Pyramid  as  a  compact  image  code）」と、Ｂｕｒｔ  Ｐ.Ｊ氏のＳｐｒｉｎｇｅｒ-Ｖｅｒｌａｇ，６-３５における「効率的な演算、マルチレゾルーション画像処理、及び、分析用の構造としてのピラミッド（The  Pyramid  as  Structure  for  Efficient  Computation,  Multiresolution  Image  Processing  and  Analysis）」と、Ｚｈａｉ  ｊｉｅｄｕ氏、Ｊｏａｎ  Ｌｌａｃｈ氏のＷＯ２０１１／００２５０５Ａ１における「ゾーンベースのトーン・マッピング（Zone-based  tone  mapping）」と、における開示に基づいてＴＭＯラプラシアン・ピラミッドを用いてもよい。ＴＭＯの有効性の本質は、ＨＤＲ画像から相異なる中間ＬＤＲ画像が抽出されて、それらの中間ＬＤＲ画像が相異なる露光に対応していることにある。従って、過度に露光されたＬＤＲ画像は、暗い領域において精細な細部を含んでいる一方で、（オリジナルのＨＤＲ画像の）明るい領域は飽和している。これとは対照的に、過少に露光されたＬＤＲ画像は、明るい領域において精細な細部を含んでいる一方で、暗い領域は削除されている。
【００１７】
その後、各々のＬＤＲ画像は、ｎレベルのラプラシアン・ピラミッド（laplacian  pyramid）に分解されて、最高レベルが最低解像度に割り当てられ、その他のレベルが（勾配の）相異なるスペクトル・バンドを提供する。従って、この段階で、各々のＬＤＲ画像は、ラプラシアン・ピラミッドに対応しており、更に、各々のＬＤＲ画像は、丸め計算間違い（rounding  miscalculation）のない限り、逆分解（inverse  decomposition）あるいは「折り畳み（collapse）」によって、そのラプラシアン・ピラミッドから再形成できることが分かる。
【００１８】
最終的に、１組の中間ＬＤＲ画像の相異なるピラミッド・レベルが融合されてトーン・マッピングが実施され、結果として得られたブレンドされたピラミッドが折り畳まれて最終的なＬＤＲ画像が得られる。
【００１９】
実際、相異なるスペクトル・バンド（即ち、ピラミッド・レベル）の勾配の融合は、非線形処理である。この種のアルゴリズムの利点は、トーン・マッピングの効率の良い結果に在るが、場合によっては光輪アーティファクトのような多数の周知の描画障害が生じることがある。上述の参考文献は、この技術について更に詳しく記載している。
【００２０】
実際、このトーン・マッピングは非線形であるので、ＳＮＲ（Signal-to-Noise  Ratio）スケーラビリティ、即ち、空間ビデオ・スケーラビリティに関して、ＨＤＲレイヤの現在ブロックについて、受容できる予測を行うために、ＬＤＲの逆トーン・マッピングを実施することは難しい。
【００２１】
更に、ＷＯ２０１０／０１８１３７には、参照画像の参照ブロックを修正する方法と、参照ブロックを利用して画像のブロックを符号化又は復号する方法と、そのための装置と、修正された参照ブロックを利用して符号化されたブロックを搬送する記憶媒体又は信号と、が開示されている。この従来技術においては、変換関数を近傍の平均値から推定し、この関数を用いてインタ画像予測を補正している。しかしながら、ＷＯ２０１０／０１８１３７において、この手法は、現在ブロックの第１次近似値（first  approximation）と同一位置配置ブロック（collocated  block：コロケーテッド・ブロック）とを得るために、平均値に限定されていた。
【発明の概要】
【００２２】
本開示の一態様によれば、ベースレイヤの同一位置配置ブロックの近傍画素と、ベースレイヤの符号化モードを用いてベースレイヤの同一位置配置ブロックの近傍画素から予測された第１の予測ブロックと、を有する低ダイナミック・レンジの第１の中間パッチを形成することと、拡張レイヤの現在ブロックの近傍画素と、符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から予測された第２の予測ブロックと、を有する高ダイナミック・レンジの第２の中間パッチを形成することと、変換領域において第１の中間パッチを第２の中間パッチに変換する変換関数を求め、変換領域において変換関数をベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成することと、このパッチからブロックを抽出することによって拡張レイヤの現在ブロックの予測を求めることであって、このパッチにおける抽出されたブロックが、第２の中間パッチにおける拡張レイヤの現在ブロックと同じ位置に配置されている、上記予測を求めることと、拡張レイヤの現在ブロックと拡張レイヤの現在ブロックの予測との残余誤差を符号化することと、を含む方法が提供される。
【００２３】
本開示の一態様によれば、ベースレイヤの符号化モードを用いてベースレイヤの同一位置配置ブロックの近傍画素から第１の予測ブロックを予測し、ベースレイヤの同一位置配置ブロックの近傍画素と第１の予測ブロックとを有する低ダイナミック・レンジの第１の中間パッチを形成するように構成された第１の中間パッチ作成処理部と、符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から第２の予測ブロックを予測し、拡張レイヤの現在ブロックの近傍画素と第２の予測ブロックとを有する高ダイナミック・レンジの第２の中間パッチを形成するように構成された第２の中間パッチ作成処理部と、変換領域において第１の中間パッチを第２の中間パッチに変換する変換関数を求め、変換領域において変換関数をベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成し、このパッチからブロックを抽出することによって拡張レイヤの現在ブロックの予測を求める処理部であって、抽出されたブロックが、このパッチにおいて、第２の中間パッチにおける拡張レイヤの現在ブロックと同じ位置に配置されている、上記処理部と、拡張レイヤの現在ブロックと拡張レイヤの現在ブロックの予測との残余誤差を符号化する符号器と、を備えた装置が提供される。
【００２４】
本開示の別の態様によれば、残余予測誤差を復号することと、ベースレイヤの同一位置配置ブロックの近傍画素と、ベースレイヤの符号化モードを用いてベースレイヤの同一位置配置ブロックの近傍画素から予測された第１の予測ブロックと、を有する低ダイナミック・レンジの第１の中間パッチを形成することと、拡張レイヤの現在ブロックの近傍画素と、符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から予測された第２の予測ブロックと、を有する高ダイナミック・レンジの第２の中間パッチを形成することと、変換領域において変換関数をベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成することであって、変換関数が、変換領域において第１の中間パッチを第２の中間パッチに変換する、上記形成することと、このパッチからブロックを抽出することによって拡張レイヤの現在ブロックの予測を求めることであって、このパッチにおける抽出されたブロックが第２の中間パッチにおける拡張レイヤの現在ブロックと同じ位置に配置されている、上記予測を求めることと、予測誤差を拡張レイヤの現在ブロックの予測に加算することによって、拡張レイヤのブロックを再構成することと、を含む方法が提供される。
【００２５】
本開示の更に別の態様によれば、残余予測誤差を復号する復号器と、ベースレイヤの同一位置配置ブロックの近傍画素と、ベースレイヤの符号化モードを用いてベースレイヤの同一位置配置ブロックの近傍画素から予測された第１の予測ブロックと、を有する低ダイナミック・レンジの第１の中間パッチを形成するように構成された第１の中間パッチ作成処理部と、拡張レイヤの現在ブロックの近傍画素と、符号化モードを用いて拡張レイヤの現在ブロックの近傍画素から予測された第２の予測ブロックと、を有する高ダイナミック・レンジの第２の中間パッチを形成するように構成された第２の中間パッチ作成処理部と、変換領域において変換関数をベースレイヤの変換済み初期パッチに適用し、次に、画素領域に戻すために、その結果得られたパッチに逆変換を適用することによってパッチを形成する処理部であって、変換関数は、変換領域において第１の中間パッチを第２の中間パッチに変換し、このパッチからブロックを抽出することによって拡張レイヤの現在ブロックの予測を求めるためのものであり、抽出されたブロックが、このパッチにおいて、第２の中間パッチにおける拡張レイヤの現在ブロックと同じ位置に配置されている、上記処理部と、拡張レイヤのブロックを再構成するために予測誤差を拡張レイヤの現在ブロックの予測に加算する処理部と、を備えた装置が提供される。
【００２６】
本開示のその他の目的、特徴及び利点は、以下の詳細な説明を添付図面と共に読むことにより、更に明らかになるであろう。
【図面の簡単な説明】
【００２７】
【図１】浮動小数点値ｌ＝ｌｏｇ１０（Ｌ）のヒストグラムと、これに関連付けられた、傾きｓｋに基づくトーン・マッピング曲線とを示す図である。
【図２】再構成済みベースレイヤの画像と、符号化されるべき拡張レイヤの現在ブロックの画像とを示す図である。
【図３】Ｈ.２６４規格において規定されたイントラ４×４予測の例を例示する図である。
【図４Ａ】第１の実施態様の拡張レイヤの現在ブロックの予測を求める装置を例示するブロック図であり、図４Ａは符号器側であり、図４Ｂは復号器側である。
【図４Ｂ】第１の実施態様の拡張レイヤの現在ブロックの予測を求める装置を例示するブロック図であり、図４Ａは符号器側であり、図４Ｂは復号器側である。
【図５Ａ】本開示の第２の実施態様の拡張レイヤの現在ブロックの予測を求める装置の構成を例示するブロック図であり、図５Ａは符号器側であり、図５Ｂは復号器側である。
【図５Ｂ】本開示の第２の実施態様の拡張レイヤの現在ブロックの予測を求める装置の構成を例示するブロック図であり、図５Ａは符号器側であり、図５Ｂは復号器側である。
【図６】本開示の第４の実施態様の拡張レイヤの現在ブロックの予測を求める装置の構成を例示するブロック図である。
【図７】本開示の一実施態様による拡張レイヤの現在ブロックの予測を求める代表的な方法を例示する流れ図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本開示の実施形態を説明する。
【００２９】
本開示の実施形態の目的は、明らかにベースレイヤ（base  layer）の信号がまだ利用可能である場合に、逆トーン・マッピング・オペレーション（inverse  Tone  Mapping  Operation）（以下、「ｉＴＭＯ」と呼称することがある）と、汎用的又は局所的（非線形）に使用される先行するＴＭＯとの処理を改善することである。
【００３０】
この思想は、例えば、ＨＤＲ  ＳＮＲスケーラブル・ビデオ符号化に関し、所与のＴＭＯを用いた第１のトーン・マップ済みベースレイヤlbがＬＤＲビデオ符号化に割り当てられ、第２の拡張レイヤleがＨＤＲビデオ符号化に割り当てられる。この場合（ＳＮＲスケーラビリティ）において、拡張レイヤの（符号化されるべき）現在ブロックbeについて、ベースレイヤから抽出される予測のブロックbb（同一位置配置ブロック（collocated  block））を見つけるべきであり、このブロックは逆トーン・マッピングによって処理する必要がある。
【００３１】
ブロックbbの逆トーン・マッピングを実施するために、（（bbの相同の）仮想ブロック
2018524916.tif 000007
とその近傍とから成る）パッチ
2018524916.tif 000008
の画素を（（beの相同の）仮想ブロック
2018524916.tif 000009
とその近傍とから成る）現在パッチ（current patch:カレント・パッチ）
2018524916.tif 000010
に変換できる変換関数Ｔbeを推定すべきである。
【００３２】
Ｔbeが求められると、この変換関数Ｔbeが（ブロックbbとその近傍とから成る）パッチpbに適用でき、パッチ
2018524916.tif 000011
が得られ、最終的に、最後のステップの本質は、パッチ
2018524916.tif 000012
内における現在ブロックと同じ位置に配置されている（collocated：コロケートされている）ブロック
2018524916.tif 000013
の抽出にある。ここで、ブロック
2018524916.tif 000014
は、ブロックbeの予測に相当する。
【００３３】
ここで注意すべき点は、変換関数Ｔbeの推定の前に、ベースレイヤの同一位置配置ブロックbbの符号化モード、即ち、予測モードをベースレイヤに基づいて（lbの）再構成済み画像によって（拡張レイヤの符号化器の）１組の利用可能な符号化モードの中から取り出す必要があることである。
【００３４】
また、上述の全体の処理ステップが、符号化器側と同様に復号器側でも実施されることに注意することも重要である。
【００３５】
本開示の実施形態において提案される手法を例示するために、ＳＮＲスケーラビリティに基づく例を以下に説明する。この場合（ＳＮＲスケーラビリティ）において、拡張レイヤの（符号化対象の）現在ブロックbeについて、ベースレイヤから抽出される予測のブロックbb（同一位置配置ブロック）を見つけるべきであり、この予測のブロックは逆トーン・マッピングによって処理する必要がある。
【００３６】
図２Ａ及び図２Ｂは、再構成済みベースレイヤの画像と、符号化されるべき現在ブロックの画像とを個別に例示している。
【００３７】
図２Ｂに例示された、拡張レイヤleの現画像に関連する表記法は、次の通りである。
・拡張レイヤの予測すべき現在ブロック（未知）は、
2018524916.tif 000015
である。
・現在ブロックの既知の再構成済み（即ち、復号済み）近傍（即ち、テンプレート）は、
2018524916.tif 000016
である。
・現在パッチは、
【数４】
2018524916.tif 000017
である。
・指標ｋとｕは、それぞれ、「既知（known）」と「未知（unknown）」を示している。
【００３８】
図２Ａに例示された、ベースレイヤlbの画像に関連する符号は、次の通りである。
・（拡張レイヤの予測すべき現在ブロックと実質的に同じ位置に配置されている（collocated：コロケートされている））ベースレイヤの同一位置配置ブロック（既知）は、
2018524916.tif 000018
である。
・現在ブロックの既知の再構成済み（即ち、復号済み）近傍（即ち、テンプレート）は、
2018524916.tif 000019
である。
・（Ｘと同じ位置に配置されている（collocated：コロケートされている））同一位置配置パッチ（collocated  patch）は、
【数５】
2018524916.tif 000020
である。
【００３９】
本目的は、現在ブロック
2018524916.tif 000021
についての予測のブロックをブロック
2018524916.tif 000022
から求めることである。実際、変換関数はパッチＹとパッチＸとの間で推定され、この変換関数は一種の逆トーン・マッピングに相当する。
【００４０】
明らかなことであるが、ビデオ圧縮という環境では、ブロック
2018524916.tif 000023
は入手できないが（復号器が同じ処理を実施することに注意されたい）、現在ブロック
2018524916.tif 000024
の第１次近似値（更に正確には、予測）を提供できる利用可能な予測モードは多数ある。ここでは、現在ブロック
2018524916.tif 000025
の第１次近似値と現在ブロックの近傍
2018524916.tif 000026
が、パッチＸの中間パッチＸ’を構成する。
【００４１】
その後、ブロック
2018524916.tif 000027
の第１次近似値を用いて変換関数Ｔrf(lb→le)を見つけて、この変換関数によって、Ｘの中間パッチをＹの中間パッチ（それぞれ、Ｘ’及びＹ’と記す）に変換することができ、そして、この変換関数が、最終的に初期のパッチＹに適用されることによって、最終的な予測のブロックが提供できる。
【００４２】
［第１の実施形態］
図３Ａ〜図３Ｊ及び図４を参照して、拡張レイヤの現在ブロックの予測を求める方法と装置の第１の実施形態を説明する。
【００４３】
更に具体的には、本開示の第１の実施形態は、ＳＮＲスケーラビリティ、即ち、ＬＤＲベースレイヤとＨＤＲ拡張レイヤとの間の同一空間解像度に関する。また、第１の実施形態において、現在ブロック
2018524916.tif 000028
の同一位置配置ブロック
2018524916.tif 000029
は、拡張レイヤの符号化器のイントラ符号化モード、例えば、ＭＰＥＧ-４ＡＶＣ／Ｈ.２６４において定義されており、文献ＩＳＯ／ＩＥＣ１４４９６-１０に記載されているＨ.２６４規格のイントラ・モードの１つで符号化されている。
【００４４】
ブロック
2018524916.tif 000030
の指標ｍの符号化モードと
2018524916.tif 000031
の近傍画素とを用いて、予測のブロック
2018524916.tif 000032
を再構成できる。
【００４５】
図３Ａ〜図３Ｊは、Ｈ.２６４規格において規定されたイントラ４×４予測を例示する図である。図３Ａ〜図３Ｊに例示されているように、Ｈ.２６４規格では、Ｎ個（ここで、Ｈ２６４の場合、Ｎ＝９）の相異なるイントラ・モード予測が提案されている。
【００４６】
Ｈ.２６４において、イントラ４×４予測とイントラ８×８予測は、近傍の再構成済み画素に基づいて符号化されるべき現在ブロックの画素の空間推定に相当する。Ｈ.２６４規格は、画素予測を精巧に行うために、相異なる方向の予測モードを規定している。９個のイントラ予測モードが、マクロブロック（ＭＢ）の４×４ブロック・サイズと８×８ブロック・サイズについて、定義されている。図３に示されているように、これらのモードのうちの８個のものは、予測すべき現在ブロックを囲む（左の列からと最上ラインからの）画素の１Ｄ方向外挿（1D  directional  extrapolation）で構成されている。イントラ予測モード２（ＤＣモード）は、予測されたブロックの画素を、利用可能な周囲の画素の平均として、定義している。
【００４７】
イントラ４×４の例において、予測は、図３Ａから３Ｊに例示されているように構成されている。
【００４８】
例えば、図３Ｃに例示されているように、モード１（水平方向）において、画素ｅ、ｆ、ｇ及びｈは、（左の列の）再構成済み画素Ｊを用いて予測される。
【００４９】
更に、図３Ｇに例示されているように、モード５において、第１の例として、「ａ」は、（Ｑ＋Ａ＋１）／２によって予測される。同様に、第２の例として、「ｇ」と「ｐ」は、（Ａ＋２Ｂ＋Ｃ＋２）／４によって予測される。
【００５０】
ここで、前述の課題に戻ると、予測のブロック
2018524916.tif 000033
を提供する、ベースレイヤで用いられたものと同じｍの指標の予測モードと、現在近傍（currentneighbor）
2018524916.tif 000034
と、を利用する目的で、現在ブロック
2018524916.tif 000035
の予測を構成することが望ましい。
【００５１】
ここでは、２つの中間パッチＸ’とＹ’が、次式（６）と（７）のように構成できる。
現中間パッチＸ’：
【数６】
2018524916.tif 000036
ベースレイヤの中間パッチＹ’：
【数７】
2018524916.tif 000037
【００５２】
所望の変換関数Ｔrfは、変換領域（Transform  Domain：ＴＦ）においてＹ’とＸ’の間で算出され、変換は、アダマール（Hadamard）、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）、離散サイン変換（Discrete  Sine  Transform：ＤＳＴ）、或いは、フーリエ変換（Fourier  transform）などであってもよい。次式（８）と（９）が得られる。
【数８】
2018524916.tif 000038
【数９】
2018524916.tif 000039
【００５３】
式ＴＦ（Ｙ′）は、パッチＹ’の２Ｄ変換「ＴＦ」（例えば、ＤＣＴ）に相当する。
【００５４】
次のステップは、ＴY′をＴX′に変換できる変換関数Ｔrfを算出することであり、このステップにおいて、次式（１０）と（１１）が、各々の１対の係数に適用される。
If
(abs(ＴX′(u,v))  >  th  and  abs(ＴY′(u,v)  >  th))
then
Ｔrf(u,v)  =  ＴX′(u,v)/ＴY′(u,v)                        （１０）
else
Ｔrf(u,v)  =  0                                          （１１）
end  if
【００５５】
ここで、uとvは、ＴX′、ＴY′及びＴrfの係数の転送変換座標であり、thは、所与の値の閾値であり、これによって、Ｔrf変換関数における特異点が回避される。例えば、thは、Ｈ.２６４又はＨＥＶＣ規格の圧縮の環境では、１とすることができる。ＨＥＶＣ（High  Efficiency  Video  Coding（高効率ビデオ符号化））は、Ｂ.  Ｂｒｏｓｓ氏、Ｗ.Ｊ.  Ｈａｎ氏、Ｇ.Ｊ.  Ｓｕｌｌｉｖａｎ氏、Ｊ.Ｒ.  Ｏｈｍ氏、及び、Ｔ.  Ｗｉｅｇａｎｄ氏の文献であるＪＣＴＶＣ-Ｋ１００３の「High  Efficiency  Video  Coding  (HEVC)  text  specification  draft  9（高効率ビデオ符号化（ＨＥＶＣ）テキスト仕様原案９）」、２０１２年１０月に記載されている。
【００５６】
関数Ｔrfがベースレイヤの初期パッチＹの変換（ＴＦ）に適用され、逆変換（ＴＦ-1）後にパッチＹ”が得られる。パッチＹ”は、式（１２）から（１４）によって示されているように、テンプレート
2018524916.tif 000040
とブロック
2018524916.tif 000041
とから構成されている。
【数１０】
2018524916.tif 000042
【数１１】
2018524916.tif 000043
【数１２】
2018524916.tif 000044
【００５７】
式ＴＦ(Ｙ).Ｔrfは、ベースレイヤの初期パッチＹの変換パッチＴＹの成分に対する変換関数Ｔrfの適用に相当し、この適用は、式（１５）によって示されているように（座標ｕとｖの）各々の変換成分について行われる。
【数１３】
2018524916.tif 000045
【００５８】
最終的に、現在ブロック
2018524916.tif 000046
の予測の本質は、パッチＹ”からのブロック
2018524916.tif 000047
の抽出にあり、表記のｍは、予測のブロックがベースレイヤのｍのイントラ・モード指標を用いて形成されることを示している。
【００５９】
図４Ａ及び図４Ｂは、第１の実施形態の拡張レイヤの現在ブロックの予測を求める装置を例示するブロック図である。ここに説明されたイントラＳＮＲスケーラビリティの原理は、図４Ａと４Ｂにも例示されている。
【００６０】
図４Ａと４Ｂを参照して、ローカル（局所的）インタレイヤＬＤＲ  ＨＤＲ予測を説明する。
【００６１】
説明を明確化するために、特に、復号器を明確化するために、ＳＮＲスケーラブル・ビデオ符号化（Scalable  Video  Coding：ＳＶＣ）方式を、
（１）先ず、ベースレイヤについて、
（２）次に、拡張レイヤについて、
説明する。
【００６２】
図４Ａに示された符号化器（即ち、符号器）側と図４Ｂに示された復号器側において、本提案はインタレイヤ（ｂｌ→ｅｌ）予測に焦点を当てていることを理解されたい。
【００６３】
符号器側及び復号器側では、イントラ・モード（ｍ）を用いたイントラ画像予測モードのみを説明するが、その理由は、我々の（本発明の）インタレイヤ予測モードがイントラ・モード（ｍ）を用いるからである。従って、（所与のＲＤＯ（Rate  Distortion  Optimization（レート歪み最適化））規準を用いる）予測処理部（prediction  unit）の機能の本質が、
（１）ベースレイヤ・レベルでのイントラ画像予測及びインタ画像予測と、
（２）拡張レイヤ・レベルでのイントラ画像予測、インタ画像予測及びインタレイヤ予測（我々の（本発明の）新規な予測モード）と
から最良の予測モードを求めることにあることが良く分かる。
【００６４】
指標の意味
ｋ：  既知（known）
ｕ：  未知（unknown）
Ｂ：  ブロック（block）
Ｔ：  ブロックの近傍（通常、ビデオ圧縮の分野において「テンプレート（Template）」と呼ばれる）
Ｐｒｅｄ：  予測（prediction）
ｍ：  Ｎ個の利用可能なモードの中からの１つのイントラ符号化モードの指標
Ｙ、Ｘ、Ｙ’、Ｘ’及びＹ”は、図２Ａと２Ｂに示されているようなブロックとテンプレートとから構成されるパッチである。
図４Ａにおける符号器側（処理部４００）：
【００６５】
オリジナルのブロック４０１ｂｅがＴＭＯ４０６によってトーン・マップされ、これによってオリジナルのトーン・マップ済みブロックｂｂｃが得られる。
【００６６】
ベースレイヤ（base  layer）（ｂｌ）
以下、符号化すべきオリジナルのベースレイヤ・ブロックｂｂｃについて検討する。
a）動き推定器（動き推定処理部）４２９は、オリジナルのブロックｂｂｃと参照フレーム・バッファ４２６に記憶された（前の復号済み）画像とを用いて、所与の動きベクトル（時間予測の一定量）を有する最良のインタ画像予測ブロックを見つけ、時間予測（Ｔｅｍｐ  Ｐｒｅｄ  Ｐｒｅｄ）処理部４３０が時間予測ブロックを出力する。空間予測（Ｓｐ  Ｐｒｅｄ）処理部４２８が、（Ｈ２６４の場合における図３に例示された）利用可能なイントラ予測モードと近傍の再構成済み（即ち、復号済み）画素とから、イントラ予測ブロックを出力する。
ｂ）モード決定処理（処理部４２５）が（Ｎ個の利用可能イントラ・モードからｍの指標の）イントラ画像予測モードを選ぶと、残余誤差予測ｒｂが（結合器４２１によって）オリジナルのブロックｂｂｃと予測ブロック
2018524916.tif 000048
との差分について算出される。
ｃ）次に、残余誤差予測ｒｂは、ＴＱ処理部４２２によってｒｂｑに変換されて量子化され、最終的にエントロピ符号化処理部４２３によってエントロピ符号化されて、ベースレイヤのビットストリーム内に送られる。
ｄ）Ｔ-１  Ｑ-１処理部４２４によって逆変換されて逆量子化された予測誤差ブロックｒｂｄｑと予測ブロック
2018524916.tif 000049
とを（結合器４２７で）加算して、再構成済み（ベースレイヤ）ブロックを得ることによって、復号済みブロックが局所的に再形成される。
ｅ）再構成済み（即ち、復号済み）フレームが、（ｂｌ）参照フレーム・バッファ４２６に記憶される。
拡張レイヤ（enhancement  layer）（ｅｌ）
【００６７】
拡張レイヤの符号器の構造がベースレイヤの符号器に類似していること、例えば、符号化モード決定、時間予測及び参照フレーム・バッファに関して、処理部４０７、４０８、４０９及び４１３が、ベースレイヤの符号器のそれぞれの処理部４２５、４２６、４２９及び４３０と同じ機能を有していることが分かる。
【００６８】
次に、符号化すべきオリジナルの拡張レイヤ・ブロックｂeについて検討する。
ｆ）拡張レイヤのこのブロックについて、ベースレイヤの同一位置配置ブロックがイントラ画像モードで符号化される場合、この同一位置配置ブロックの（ｍの指標についての）イントラ・モード（図７に示された方法７００のＳ７０５）について検討する。
ｇ）ベースレイヤの（ｍの指標についての）このイントラ・モードを用いて、
○ｂｌ空間予測（Ｓｐ  Ｐｒｅｄ）処理部４２８によってベースレイヤ・レベルにおける予測のイントラ・ブロック
2018524916.tif 000050
を求め、即ち、再利用し（図７のＳ７１０）、
○次に、同一位置配置ブロック
2018524916.tif 000051
の近傍
2018524916.tif 000052
と予測のブロック
2018524916.tif 000053
とを有する第１の中間パッチＹ′、即ち、式（７）を求めて（図７のＳ７１５）、
ｈ）同様に、ベースレイヤの（ｍの指標についての）このイントラ・モードを用いて、
○（ｅｌ空間予測（Ｓｐ
Ｐｒｅｄ）処理部４１２で）拡張レイヤ・レベルにおける予測の中間イントラ・ブロック
2018524916.tif 000054
を求め（図７のＳ７２０）、
○次に、現在ブロック（ｂｅ）の近傍
2018524916.tif 000055
と予測の中間ブロック
2018524916.tif 000056
とを有する第２の中間パッチＸ′、即ち、式（６）を求め（図７のＳ７２５）、
ｉ）変換領域（例えば、ＤＣＴ）において、式（８）から（１１）を用いてパッチＹ′からパッチＸ′への変換関数Ｔrfを求める（図７のＳ７３０）。
ｊ）次に、同一位置配置ブロック
2018524916.tif 000057
とその近傍
2018524916.tif 000058
とから構成されたベースレイヤの初期（復号済み）パッチＹ、即ち、式（５）（図７におけるＳ７３５-Ｓ７４０）について検討する。
１．パッチＹに変換（例えば、ＤＣＴ）を適用する：ＴＦ（Ｙ）。
２．次に、変換領域において、ＴＹ”  ＝  ＴＦ（Ｙ）.ＴrfのようにＴｒｆの関数を適用する。
３．逆変換（例えば、ＤＣＴ-１）をＴＹ”について算出して、Ｙ”  ＝  ＴＦ−１（ＴＹ”）を求め、ここで、結果として得られるパッチは式（１２）として構成される。
４．最終的に、ブロック
2018524916.tif 000059
に相当する予測がパッチＹ”から抽出される。
【００６９】
ｆからｊまでの全てのステップが、図４Ａにおける「Ｐｒｅｄ  ｅｌ／ｂｌ（Ｔrf）」処理部４１１において実現される。
ｋ）拡張レイヤ・ブロックｂｅと、ステップｆからｊにおいて算出されたインタレイヤ予測
2018524916.tif 000060
との残余誤差ｒeが（結合器４０２によって）得られて、（Ｔ,Ｑ処理部４０３で）変換されて量子化されて、ｒｅｑが得られ、エントロピ符号化処理部４０４によってエントロピ符号化されて、拡張レイヤ・ビットストリーム内に送られる。
ｌ）最終的に、Ｔ-１  Ｑ-１処理部４０５によって逆変換されて逆量子化された予測誤差ブロックｒｅｄｑと予測
2018524916.tif 000061
とを（結合器４１０で）加算することによって、復号済みブロックが局所的に再形成されて、再構成済み（即ち、復号済み）画像が、（ｅｌ）参照フレーム・バッファ４０８に記憶される。
図４Ｂにおける復号器側（処理部４５０）：
【００７０】
ベースレイヤ（ｂｌ）
ａ）ｂｌビットストリームから、所与のブロックについて、エントロピ復号器（エントロピー復号化処理部）４７１が、量子化済み誤差予測ｒｂｑとｍの指標の関連付けられた符号化イントラ・モードとを復号する。
ｂ）残余誤差予測ｒｂｑが、Ｔ-１  Ｑ-１処理部４７２によって、ｒｂｄｑに逆量子化されて逆変換される。
ｃ）ｍのイントラ・モードにより、「空間予測（Ｓｐ  Ｐｒｅｄ）」処理部４７５と「予測」処理部４７４が、復号済み近傍画素を用いて、イントラ画像予測のブロック
2018524916.tif 000062
即ち、
2018524916.tif 000063
を出力する。
ｄ）復号されて逆量子化された予測誤差ブロックｒｂｄｑと予測ブロック
2018524916.tif 000064
（即ち、
2018524916.tif 000065
）とを（結合器４７３で）加算して、ベースレイヤの再構成済みブロックを得ることによって、復号済みブロックが局所的に再形成される。
ｅ）再構成済み（即ち、復号済み）フレームが、参照フレーム・バッファ４７６に記憶され、この復号済みフレームは、（動き補償処理部４７７を用いる）次の（ｂｌ）イントラ画像予測とインタ予測に使用される。
【００７１】
拡張レイヤ（ｅｌ）
ｆ）ｅｌビットストリームから、所与のブロックについて、エントロピ復号器４５１が、量子化済み誤差予測ｒｅｑを復号する。
ｇ）この残余誤差予測ｒｅｑが、Ｔ-１  Ｑ-１処理部４５２によって逆量子化されて逆変換され、ｒｅｄｑが出力される。
ｈ）復号すべきブロックの符号化モードが、我々の（本発明の）インタレイヤ・モードに相当する場合、ベースレイヤの同一位置配置ブロックの（ｍの指標についての）イントラ・モードについて検討する。
ｉ）ベースレイヤの（ｍの指標についての）このイントラ・モードで、
○（ｂｌ空間予測（Ｓｐ  Ｐｒｅｄ）処理部４７５で）ベースレイヤ・レベルにおける予測のイントラ・ブロック
2018524916.tif 000066
を求め、即ち、再利用し、
○同一位置配置ブロック
2018524916.tif 000067
の近傍
2018524916.tif 000068
と予測のブロック
2018524916.tif 000069
とを有する第１の中間パッチＹ′、即ち、式（７）を求める。
ｊ）同様に、ベースレイヤの（ｍの指標についての）このイントラ・モードで、
○ｅｌ空間予測（Ｓｐ
Ｐｒｅｄ）処理部４５５で拡張レイヤ・レベルにおける予測の中間イントラ・ブロック
2018524916.tif 000070
を求め、
○現在ブロック（ｂｅ）の近傍
2018524916.tif 000071
と予測の中間ブロック
2018524916.tif 000072
とを有する第２の中間パッチＸ′、即ち、式（６）を求める。
ｋ）変換領域（例えば、ＤＣＴ）において、式（８）から（１１）を用いてパッチＹ′からパッチＸ′への変換関数Ｔrfを求める。
ｌ）次に、同一位置配置ブロック
2018524916.tif 000073
とその近傍
2018524916.tif 000074
とから構成されたベースレイヤの初期（復号済み）パッチＹ、即ち、式（５）について検討する。
１．パッチＹに変換（例えば、ＤＣＴ）を適用する：ＴＦ（Ｙ）。
２．次に、Ｔrfの関数をＴＹ”  ＝  ＴＦ（Ｙ）.Ｔrfのように変換領域において適用する。
３．逆変換（例えば、ＤＣＴ-１）をＴＹ”について算出して、Ｙ”  ＝  ＴＦ−１（ＴＹ”）を求め、ここで、結果として得られるパッチは、次のように構成される。
【数１４】
2018524916.tif 000075
４．最終的に、ブロック
2018524916.tif 000076
に相当する予測がパッチＹ”から抽出される。
【００７２】
ｈからｌまでの全てのステップは「Ｐｒｅｄ  ｅｌ／ｂｌ（Ｔrf）」処理部４５７において実現されるが、これらのステップｈからｌは、当然、ｅｌ符号器が、ｅｌ符号器のモード決定４０７によって、このインタレイヤ予測モードを選んだ場合ではあるが、（第１の実施形態の）符号器のステップｆからｊと厳密に同じであることが分かる。
ｍ）復号されて逆量子化された予測誤差ブロックｒｅｄｑと（予測処理部４５４を介する）予測ブロック
2018524916.tif 000077
とを（結合器４５３で）加算して、再構成済み（ｅｌ）ブロックを得ることによって、ｅｌ復号済みブロックが形成される。
ｎ）再構成済み（即ち、復号済み）画像が、（ｅｌ）参照フレーム・バッファ４５６に記憶され、この復号済みフレームは、（動き補償処理部４５８を用いる）次の（ｅｌ）イントラ画像予測とインタ予測に使用される。
【００７３】
上述の如く、第１の実施形態の装置は、図４Ａと図４Ｂによって例示されたように構成でき、第１の実施形態の方法を実施できる。
【００７４】
ベースレイヤの同一位置配置ブロックの符号化モードを利用することによって、拡張レイヤの現在ブロックの予測を求める本方法と本装置によれば、拡張レイヤの現在ブロックの予測が容易に且つ正確に得られる。
【００７５】
［第２の実施形態］
第１の実施形態では、現在ブロックの第１次近似値と同一位置配置ブロックとを求める目的においてベースレイヤの予測のイントラ・モードを使用できるが、次のステップは、式（８）から（１４）までについての詳細なアルゴリズムに相当する。
【００７６】
以下、第２の実施形態において、ベースレイヤと拡張レイヤとを符号化するために用いられる符号化アルゴリズムが互いに異なり、従って、これらの予測のモードに互換性がないという更に複雑な状況について説明する。簡単な例は、ＪＰＥＧ２０００（例えば、これは、Ｔｈｅ  ＪＰＥＧ-２０００  Ｓｔｉｌｌ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｓｔａｎｄａｒｄ（ＪＰＥＧ-２０００静止画像圧縮規格）,  ＩＳＯ/ＩＥＣ  ＪＴＣ  Ｓｔａｎｄａｒｄ,  １/ＳＣ２９/ＷＧ１,  ２００５と、Ｊａｓｐｅｒ  Ｓｏｆｔｗａｒｅ  Ｒｅｆｅｒｅｎｃｅ  Ｍａｎｕａｌ  (Ｖｅｒｓｉｏｎ  １.９００.０),  ＩＳＯ/ＩＥＣ  ＪＴＣ,   Ｓｔａｎｄａｒｄ  １/ＳＣ２９/ＷＧ１,  ２００５とに記載されている)で符号化されるベースレイヤとＨ.２６４で符号化される拡張レイヤとに相当し得る。この状況では、第１の実施形態は適用できず、その理由は、ｍのイントラ・モードが（例えば、ＪＰＥＧ２０００の）ベースレイヤにおいて利用できないからである。
【００７７】
この問題を解決するために、（拡張レイヤの符号器で利用可能な）予測のモードの検査をベースレイヤの画素について行って、それらの復号済み画素が明らかに利用可能であることを調べて、最終的に、所与の規準に従って最良のイントラ・モードを選択する。
【００７８】
拡張レイヤとベースレイヤの現在パッチと同一位置配置パッチが、次式（１６）と（１７）によって示されている。
現在パッチは、
【数１５】
2018524916.tif 000078
であり、（Ｘと同じ位置に配置されている）同一位置配置パッチは、
【数１６】
2018524916.tif 000079
である。
【００７９】
（ｍの指標の）最良のイントラ・モードの選択は、ｎ個の可能なイントラ・モード（例えば、図３に示されたモードに相当するもの）の集合Ｓ＝｛ｍ０, …, ｍｎ-１｝の中から行われる。この目的のために、仮想予測誤差が、ｊの指標の所与のモードに従う（同一位置配置ブロック
2018524916.tif 000080
の）仮想予測
2018524916.tif 000081
を用いて算出され、次式（１８）によって示されているような
ブロック
2018524916.tif 000082
と仮想予測
2018524916.tif 000083
との間の仮想予測の誤差ＥＲｊとして、算出される。
【数１７】
2018524916.tif 000084
【００８０】
ここで、指標ｊのイントラ・モードに従って、ｐは予測すべきブロック
2018524916.tif 000085
内と仮想予測のブロック
2018524916.tif 000086
内の画素の座標に相当し、
2018524916.tif 000087
は
予測すべきブロック
2018524916.tif 000088
の画素値であり、
2018524916.tif 000089
は仮想予測のブロックの画素値である。
【００８１】
最良の仮想予測モードは、ｎ個の利用可能なイントラ予測モードの中から、次式（１９）の如く、仮想予測誤差の最小値によって得られる。
【数１８】
2018524916.tif 000090
【００８２】
ここで特筆すべき点として、式（１８）によって仮想予測誤差を算出することに使用される計量（metric）は、誤差平方和（sum  of  square  error：ＳＳＥ)には限定されず、その他の計量、即ち、差分絶対値和（sum  of  absolute  difference：ＳＡＤ）、アダマール変換差分絶対値和（sum  of  absolute  Hadamard  transform  difference：ＳＡＴＤ）も可能である。
【００８３】
同一位置配置ブロック
2018524916.tif 000091
に割り当てられる仮想予測
2018524916.tif 000092
が得られ、次に、拡張レイヤの現在ブロック
2018524916.tif 000093
に割り当てられる仮想予測
2018524916.tif 000094
を算出するために、同じモード（Ｊｍｏｄｅ）が使用される。
【００８４】
新規な中間パッチが、次式（２０）と（２１）の如く提供される。
現中間パッチＸ’：
【数１９】
2018524916.tif 000095
ベースレイヤの中間パッチＹ’：
【数２０】
2018524916.tif 000096
【００８５】
一旦、中間仮想予測ブロック
2018524916.tif 000097
と
2018524916.tif 000098
が得られると、変換関数Ｔrfを用いてベースレイヤから現在ブロックの（最終的な）予測を求める処理工程は、前述の式（８）と（９）によって与えられる処理と同様である。
【００８６】
変換関数Ｔrfを用いる際は、この関数をパッチＹに適用して、逆変換後に、パッチＹ”が得られ、これから所望の予測が、式（２２）によって示されるように抽出される。
【数２１】
2018524916.tif 000099
【００８７】
式（２２）において、現在ブロックの予測は、
2018524916.tif 000100
である。ここでの処理工程は、ここでの仮想モードＪｍｏｄｅについて、式（１３）、（１４）及び（１５）を用いることによる式（１２）について用いられる処理工程と同様である。
【００８８】
イントラＳＮＲスケーラビリティのここでの説明内容の原理が、図５Ａと５Ｂに例示されている。図５は、本開示の第２の実施形態についての拡張レイヤの現在ブロックの予測を求める装置の構成を例示するブロック図である。
図５Ａにおける符号器側（処理部５００）：
【００８９】
ブロックｂｅ５０１で構成されたオリジナルのＨＤＲ画像ｉｍｅｌが、ＴＭＯ５０６によってトーン・マップされて、オリジナルのトーン・マップ済み画像ｉｍｂｌが得られる。
ベースレイヤ（ｂｌ）
【００９０】
符号化すべきオリジナルのベースレイヤ画像ｉｍｂｌについて検討する。所与のビデオ符号器５３１を用いる場合、この画像は、この符号器５３１によって符号化され、ローカルのループ内の復号器５３２によって、局所的に復号される。局所的に復号された画像は、「再構成済み画像バッファ」５３３に記憶される。結果として得られた符号化済み画像は、ベースレイヤのビットストリーム内に送られる。
拡張レイヤ（ｅｌ）
【００９１】
次に、符号化すべきオリジナルの拡張レイヤ・ブロックｂｅについて検討する。
ａ）拡張レイヤの現在ブロックについて、（ｍの指標についての）拡張レイヤ符号器のイントラ・モードに利用可能な全てのイントラ符号化モードを検討する。
○（所与の規準（式（１９））と拡張レイヤ符号器の符号化モードとに従って）（ベースレイヤの）同一位置配置ブロックに割り当てられた（Ｊｍｏｄｅの指標についての）最良の予測モードをこの同一位置配置ブロックの近傍画素から（式（１９）、即ち、「Ｊｍｏｄｅ＝Ａｒｇｍｉｎｊ{ＥＲｊ}」処理部５４２によって）見出す。
ｂ）拡張レイヤの（Ｊｍｏｄｅの指標についての）このイントラ・モードを用いて：
○ベースレイヤ・レベルにおける予測のイントラ・ブロック
2018524916.tif 000101
を（ｂｌ空間予測（Ｓｐ  Ｐｒｅｄ）処理部５４１によって）求め、
○同一位置配置ブロック
2018524916.tif 000102
の近傍
2018524916.tif 000103
と予測のブロック
2018524916.tif 000104
とを有する第１の中間パッチＹ’、即ち、式（２１）を求める。
ｃ）同様に、ベースレイヤの（Ｊｍｏｄｅの指標についての）このイントラ・モードを用いて：
○拡張レイヤ・レベルにおける予測の中間イントラ・ブロック
2018524916.tif 000105
を（ｅｌ空間予測（Ｓｐ  Ｐｒｅｄ）処理部５１２によって）求め、
○現在ブロック（ｂｅ）の近傍
2018524916.tif 000106
と予測の中間ブロック
2018524916.tif 000107
とを有する第２の中間パッチＸ’、即ち、式（２０）を求める。
ｄ）変換領域（例えば、ＤＣＴ）において、式（８）から（１１）を用いてパッチＹ’からパッチＸ’への変換関数Ｔrfを求める。
ｅ）次に、同一位置配置ブロック
2018524916.tif 000108
とその近傍
2018524916.tif 000109
とから構成されたベースレイヤの初期（復号済み）パッチＹ、即ち、式（５）について検討する。
１．パッチＹに変換（例えば、ＤＣＴ）を適用する：ＴＦ（Ｙ）。
２．次に、Ｔrfの関数をＴＹ”  ＝  ＴＦ（Ｙ）.Ｔrfのように変換領域において適用する。
３．逆変換（例えば、ＤＣＴ-１）をＴＹ”について算出して、Ｙ”  ＝  ＴＦ−１（ＴＹ”）を求め、ここで、結果として得られるパッチは、式（２２）として構成される。
４．最終的に、ブロック
2018524916.tif 000110
に相当する予測がパッチＹ”から抽出される。
【００９２】
ｂからｅまでの全てのステップが、「Ｐｒｅｄ  ｅｌ/ｂｌ（Ｔrf）」処理部５１１において実現される。
ｆ）拡張レイヤ・ブロックｂｅと、ステップａからｅで算出されたインタレイヤ予測
2018524916.tif 000111
との（結合器５０２によって算出された）残余誤差ｒeが、Ｔ，Ｑ処理部５０３によってｒｅｑに変換されて量子化され、エントロピ符号器５０４によってエントロピ符号化されて、拡張レイヤのビットストリーム内に送られる。
ｇ）最終的に、Ｔ-１  Ｑ-１処理部５０５によって逆変換されて逆量子化された予測誤差ブロックｒｅｄｑと予測
2018524916.tif 000112
とを（結合器５１４で）加算することによって、復号済みブロックが局所的に再形成され、再構成済み（即ち、復号済み）画像が、（ｅｌ）参照フレーム・バッファ５０８に記憶される。
【００９３】
その他の処理部５０７と５０９とについての機能は、それぞれ、一般的な符号化モード決定とインタ画像予測についての動き推定とである。
図５Ｂにおける復号器側（処理部５５０）：
ベースレイヤ（ｂｌ）
【００９４】
ｂｌビットストリームからベースレイヤ・シーケンスが復号器５８４で復号される。再構成済み画像バッファ５８２が、インタレイヤ予測に使用される復号済みフレームを記憶する。
拡張レイヤ（ｅｌ）
【００９５】
ａ）エントロピ復号器５５１が、ｅｌビットストリームから所与のブロックについて量子化済み誤差予測ｒｅｑを復号する。
ｂ）この残余誤差予測ｒｅｑがＴ-１  Ｑ-１処理部５５２によって逆量子化されて逆変換されて、ｒｅｄｑが得られる。
ｃ）復号すべきブロックの符号化モードが、我々の（本発明の）インタレイヤ・モードに相当する場合、ベースレイヤの同一位置配置ブロックの（Ｊｍｏｄｅの指標についての）イントラ・モードが必要である。
○ＨＤＲレイヤの現在ブロックについて、（Ｊｍｏｄｅの指標についての）拡張レイヤ符号器のイントラ・モードに利用可能な全てのイントラ符号化モードを検討する。
○（所与の規準（式（１９））と拡張レイヤ符号器の符号化モードとに従って）（ベースレイヤの）同一位置配置ブロックに割り当てられた（Ｊｍｏｄｅの指標についての）最良の予測モードを、この同一位置配置ブロックの近傍画素から、（式（１９）と「Ｊｍｏｄｅ＝Ａｒｇｍｉｎｊ{ＥＲｊ}」処理部５８１によって）見出す。
ｄ）拡張レイヤの（Ｊｍｏｄｅの指標についての）このイントラ・モードを用いて：
○ベースレイヤ・レベルにおける予測のイントラ・ブロック
2018524916.tif 000113
をｂｌ空間予測（ｂｌ  Ｓｐ  Ｐｒｅｄ）処理部５８３によって求め、
○同一位置配置ブロック
2018524916.tif 000114
の近傍
2018524916.tif 000115
と予測のブロック
2018524916.tif 000116
とを有する第１の中間パッチＹ’、即ち、式（２１）を求める。
ｅ）同様に、ベースレイヤの（Ｊｍｏｄｅの指標についての）このイントラ・モードを用いて：
○拡張レイヤ・レベルにおける予測の中間イントラ・ブロック
2018524916.tif 000117
をｅｌ空間予測（Ｓｐ  Ｐｒｅｄ）処理部５５５によって求め、
○現在ブロック（ｂｅ）の近傍
2018524916.tif 000118
と予測の中間ブロック
2018524916.tif 000119
とを有する第２の中間パッチＸ’、即ち、式（２０）を求める。
ｆ）変換領域（例えば、ＤＣＴ）において、式（８）から（１１）を用いてパッチＹ’からパッチＸ’への変換関数Ｔrfを求める。
ｇ）次に、同一位置配置ブロック
2018524916.tif 000120
とその近傍
2018524916.tif 000121
とから構成されたベースレイヤの初期（復号済み）パッチＹ、即ち、式（５）について検討する。
１．パッチＹに変換（例えば、ＤＣＴ）を適用する：ＴＦ（Ｙ）。
２．次に、Ｔrfの関数をＴＹ”  ＝  ＴＦ（Ｙ）.Ｔrfのように変換領域において適用する。
３．逆変換（例えば、ＤＣＴ-１）をＴＹ”  について算出して、Ｙ”  ＝  ＴＦ−１（ＴＹ”）を求め、ここで、結果として得られるパッチは、式（２２）として構成される。
４．最終的に、ブロック
2018524916.tif 000122
に相当する予測がパッチＹ”から抽出される。
【００９６】
ｃからｇまでの全てのステップは「Ｐｒｅｄ  ｅｌ／ｂｌ（Ｔrf）」処理部５５７において実現されるが、ステップｄからｈは、当然、ｅｌ符号器が、ｅｌ符号器のモード決定（処理部５０７）によって、このインタレイヤ予測モードを選んだ場合ではあるが、（第２の実施形態の）符号器のステップｂからｅと厳密に同じであることが分かる。
ｈ）復号されて（処理部５５２によって）逆量子化された予測誤差ブロックｒｅｄｑと（予測処理部５５４と処理部５５７を介する）予測ブロック
2018524916.tif 000123
とを（結合器５５３で）加算して、再構成済み（ｅｌ）ブロックを得ることによって、ｅｌ復号済みブロックが形成される。
ｉ）再構成済み（即ち、復号済み）画像が、（ｅｌ）参照フレーム・バッファ５５６に記憶され、この復号済みフレームは、動き補償処理部５５８を用いる次の（ｅｌ）イントラ画像予測とインタ画像予測に使用される。
【００９７】
拡張レイヤの現在ブロックの予測を求める本方法と本装置によれば、ベースレイヤの符号化モードが拡張レイヤの符号化モードと異なる場合でも、適切なインタレイヤ符号化モードが選択されて、現在ブロックの予測が得られる。
【００９８】
［第３の実施形態］
以下、本開示の第３の実施形態についての、拡張レイヤの現在ブロックの予測を求める方法と装置を説明する。
【００９９】
空間スケーラビリティにおいて、ベースレイヤ（ｌｅ）と拡張レイヤ（ｌｂ）の空間解像度は互いに異なるが、ベースレイヤの予測のモードの可用性に関しては、相異なる可能性がある。
【０１００】
更に具体的には、第１の実施形態と同様に空間スケーラビリティが同一ビデオ符号化規格であるケースを以下に説明する。
【０１０１】
現在ブロック
2018524916.tif 000124
のサイズがベースレイヤのアップサンプリング済み同一位置配置ブロック
2018524916.tif 000125
と同じである場合、ベースレイヤの予測モードｍを利用でき、第１の実施形態において説明した処理をこのケースに適用できる。例えば（空間スケーラビリティＮ×Ｎ→２Ｎ×２Ｎの場合において）、所与の８×８現在ブロックは、ベースレイヤにおける４×４同一位置配置ブロックを有する。従って、イントラ・モードｍは、（ｌｂレイヤの）この４×４ブロックを符号化するために用いられたイントラ符号化モードに相当し、予測の８×８ブロック
2018524916.tif 000126
は、ベースレイヤのアップサンプリング済み予測であり得るか（４×４→８×８）、或いは、予測
2018524916.tif 000127
は、同じｍの符号化モードでベースレイヤのアップサンプリング済み画像について算出し得る。第１の実施形態の如く、ベースレイヤと拡張レイヤの中間予測ブロックが得られると、ベースレイヤと拡張レイヤの中間パッチが形成される。次に、これらの２つの中間パッチから、変換関数が、式８から１１によって推定される。最終的に、この変換関数が、ベースレイヤのアップサンプリング済み且つ変換済み（例えば、ＤＣＴ）パッチに適用されて、インタレイヤ予測が、第１の実施形態におけるように抽出される。
【０１０２】
対照的に、現在ブロック
2018524916.tif 000128
のサイズがベースレイヤのアップサンプリング済みブロック
2018524916.tif 000129
と異なる場合、符号化モードｍは、現実的には利用できない。このケースでは、第２の実施形態において説明した原理を使用できる。換言すれば、最良の符号化モードｍは、アップサンプリング済みベースレイヤにおいて推定する必要があり、（インタレイヤ予測に割り当てられる）残りの処理は、第２の実施形態と同じであり、推定された変換関数（Ｔrf）がアップサンプリング済み且つ変換済み（例えば、ＤＣＴ）ベースレイヤ・パッチに適用されることが分かる。
【０１０３】
［第４の実施形態］
以下、本開示の第４の実施形態についての、拡張レイヤの現在ブロックの予測を求める方法と装置を説明する。
【０１０４】
本開示の第４の実施形態は、ＬＤＲ／ＨＤＲのスケーラブル・ビデオ符号化に基づいて、ベースレイヤのブロックについての符号化モード選択アルゴリズムを提供し、これによって、選択済みモードを再度用いて、第１の実施形態において提供された技術で予測（ｌｂ→ｌｅ）を求める。ベースレイヤ・レベルにおける符号化モードの選択は、２つのレイヤ・レベルにおいて固有の歪を生じさせることがある。
【０１０５】
ここで、ＲＤＯ（Rate  Distortion  Optimization（レート歪み最適化））技術は、ＬＤＲ及びＨＤＲの歪みと、ＨＤＲの現在ブロック及びＬＤＲの同一位置配置ブロックの符号化コストとに取り組むことに貢献し、ＲＤＯの規準は、再構成誤差とベースレイヤ及び拡張レイヤの符号化コストとに関して最良の妥協（compromise）が得られる予測モードを提供する。この目的のために、２つのレイヤについての一般的なＲＤＯの基準は、次式（２３）と（２４）として提供される。
【数２２】
2018524916.tif 000130
【数２３】
2018524916.tif 000131
【０１０６】
これらの項の
2018524916.tif 000132
と
2018524916.tif 000133
は、それぞれ、ベースレイヤと拡張レイヤの予測の残余誤差のＤＣＴ係数の符号化コストから構成されており、復号器側において予測を再形成することを可能にするシンタックス要素（ブロック・サイズ、符号化モード、・・・）が、ブロック（
2018524916.tif 000134
と
2018524916.tif 000135
）のヘッダ内に含まれている。
【０１０７】
ベースレイヤの（オリジナルのブロックである）ブロック
2018524916.tif 000136
の例を検討すると、逆量子化と逆変換（例えば、ＤＣＴ-１）後の予測の残余誤差の量子化済み係数について、この残余誤差を予測に加算することによって、再構成済み（即ち、復号済み）ブロック
2018524916.tif 000137
が得られる。オリジナルのブロック
2018524916.tif 000138
と復号済みブロック
2018524916.tif 000139
とを用いて、このブロックに関連付けられたベースレイヤの歪みが、次式（２５）として提供される。
【数２４】
2018524916.tif 000140
【０１０８】
ＲＤＯ基準において、最良の妥協レート歪みを得るために、周知のパラメータ
2018524916.tif 000141
が用いられる。この例において、Ｎ個の可能なモードの中で最良のモードが、次式（２６）として提供される。
【数２５】
2018524916.tif 000142
【０１０９】
式（２３）と（２４）を、式（２７）と（２８）によって示されるような別の形に書き換えることができる。
【数２６】
2018524916.tif 000143
【数２７】
2018524916.tif 000144
【０１１０】
式（２７）と（２８）は、ベースレイヤと拡張レイヤとの間の汎用的な妥協を可能にする混合パラメータ（blending parameter）αを用いて、次式（２９）として組み合わせることができる。
【数２８】
2018524916.tif 000145
但し、０≦α≦１。
【０１１１】
（式（２９）に従う）最良のモードによってベースレイヤのモードが得られ、これによって、ベースレイヤのＮ個の符号化モードのうちの１つを介して、次式（３０）に示されるように、最小限の汎用的なコストCst’が得られる。
【数２９】
2018524916.tif 000146
【０１１２】
この式（３０）から、以下のことが分かる。
【０１１３】
α＝０の場合、この状況は、第１の実施形態において提案されたアルゴリズムに相当し、変換関数Ｔrfを介してインタレイヤ予測（ｂｌ→ｅｌ）を形成するためにベースレイヤの（指標ｍについての）符号化モードが使用でき、これによって、最終的に、インタレイヤ予測
2018524916.tif 000147
、但し、
2018524916.tif 000148
が得られる。
【０１１４】
一方、α＝１の場合、符号化モードの選択は、主に拡張レイヤに焦点を当てており、ベースレイヤが多数の視覚的アーティファクトを含んでいるリスクがある。
【０１１５】
α＝０.５の場合、２つのレイヤ相互間での妥協が必要である。このケースにおいて、ベースレイヤの符号化モードの選択が、実際、ベースレイヤ・レベルにおける影響のみならず拡張レイヤ・レベルにおける影響にも基づくこと、更に正確には、
・ベースレイヤの符号化モードの選択に従うベースレイヤに対する影響と、
・第１の実施形態において説明された処理工程全体による、即ち、前のベースレイヤの符号化モードに基づくインタレイヤ予測による拡張レイヤに対する影響と、
に基づくこと、に注意することが重要である。
【０１１６】
図６は、第４の実施形態についての拡張レイヤの現在ブロックの予測を求める装置を例示するブロック図を示している。
【０１１７】
図６を参照して、ローカル（局所的）インタレイヤ予測を説明する。この説明については、イントラ・モード（ｍ）を用いたイントラ画像予測モードのみを説明するが、その理由は、我々の（本発明の）インタレイヤ予測モードがイントラ・モード（ｍ）を用いるからである。
【０１１８】
尚、符号器側のみを説明するが、その理由は、第４の実施形態において、関連付けられた復号器は、第１の実施形態と同じであり、図４Ｂに例示された復号器に相当するからである。
図６における符号器側（処理部６００）：
【０１１９】
オリジナルのブロック６０１ｂｅが、ＴＭＯ６０６によってトーン・マップされて、オリジナルのトーン・マップ済みブロックｂｂｃが得られる。
【０１２０】
尚、第４の実施形態のインタレイヤ予測のこの特定のケースでは、（ベースレイヤと拡張レイヤの符号化モード決定処理部に相当する）処理部６２５と６０７は、使用されない。このケースでは、処理部６４２が、処理部６２５と６０７に取って代わり、実際、処理部６４２が、式３０によって最良のイントラ・モード
2018524916.tif 000149
を選択して、このモード
2018524916.tif 000150
を処理部６２５と６０７に送る。
処理部６４２におけるベースレイヤのイントラ符号化モード
2018524916.tif 000151
の選択
【０１２１】
次式（２９）としてのベースレイヤと拡張レイヤとの間の汎用的な妥協を可能にする所与の混合パラメータαについて、及び、（Ｈ２６４のケースにおける図３に例示された）Ｎ個の利用可能なイントラ予測モードのそれぞれについて、符号化モードに関する処理をＮ回繰り返す。
【０１２２】
ｍの指標のＮ個のイントラ・モードに関するループ｛
ａ）ベースレイヤの近傍の再構成済み（即ち、復号済み）画素と、空間予測と、イントラ符号化モードｍ（ｍは指標）とを用いて、（Ｓｐ  Ｐｒｅｄ）処理部６５８が、イントラベースレイヤ予測ブロックを出力する。
ｂ）拡張レイヤの近傍の再構成済み（即ち、復号済み）画素と、空間予測と、同じｍのイントラ符号化モードとを用いて、（Ｓｐ  Ｐｒｅｄ）処理部６１２が、中間イントラ拡張レイヤ予測ブロックを出力する。
○処理部６１１が、イントラベースレイヤ近傍とステップ(ａ)の予測のブロックとから構成されるベースレイヤのパッチを形成する。
○処理部６１１が、イントラ拡張レイヤ近傍とステップ(ｂ)の予測のブロックとから構成される拡張レイヤのパッチを形成する。
○変換領域（例えば、ＤＣＴ）において、式（８）から（１１）を用いてパッチＹ′からパッチＸ′への変換関数Ｔrfを（処理部６１１において）求める。
○引き続き処理部６１１において、
・同一位置配置ブロック
2018524916.tif 000152
とその近傍
2018524916.tif 000153
とから構成されたベースレイヤの初期（復号済み）パッチＹ、即ち、式（５）について検討する。
・パッチＹに変換（例えば、ＤＣＴ）を適用する、：ＴＦ（Ｙ）。
・変換領域においてＴＹ”  ＝  ＴＦ（Ｙ）.ＴrfのようにＴrfの関数を適用する。
・逆変換（例えば、ＤＣＴ-１）をＴＹ”について算出して、Ｙ”  ＝  ＴＦ−１（ＴＹ”）を求め、ここで、結果として得られるパッチは式（１２）として構成される。
・ブロック
2018524916.tif 000154
に相当する予測をパッチＹ”から抽出する。
ｃ）処理部６４２において、（式（２９）に従う）最良のモードが選択され、これによって、Ｎ個の符号化モードのうちの１つを介して、最小限の汎用的なコストCst′が得られる（式（３０））。
｝ｍの指標のＮ個のイントラ・モードに関するループ終了
【０１２３】
最終的に、最良のイントラ
2018524916.tif 000155
が、ベースレイヤの空間予測処理部６５８、決定処理部６０７、及び、拡張レイヤの処理部６１１に送られる。
【０１２４】
2018524916.tif 000156
が判明すると、即ち、ベースレイヤのイントラ・モードの指標
2018524916.tif 000157
であることが分かると、残りの処理工程は、第１の実施形態の符号器の説明内容と同様である。
ベースレイヤ（ｂｌ）
【０１２５】
符号化すべきオリジナルのベースレイヤ・ブロックｂｂｃについて検討する。
ｄ）オリジナルのブロックｂｂｃと参照フレーム・バッファ６２６に記憶された（前の復号済み）画像とを用いて、動き推定器（動き推定処理部）６２９が、所与の動きベクトル（時間予測の一定量）を有する最良のインタ画像予測ブロックを見つけて、時間予測（Ｔｅｍｐ  Ｐｒｅｄ  Ｐｒｅｄ）処理部６３０が、時間予測ブロックを出力する。
ｅ）モード決定処理（処理部６２５）が（
2018524916.tif 000158
の指標についての）イントラ画像予測モードを選択した場合、残余誤差予測ｒｂが、オリジナルのブロックｂｂｃと予測ブロック
2018524916.tif 000159
（
2018524916.tif 000160
）
との差分により（結合器６２１によって）算出される。
ｆ）次に、残余誤差予測ｒｂがＴＱ処理部６２２によって変換されて量子化されて、ｒｂｑが得られ、最終的に、エントロピ符号化処理部６２３によってエントロピ符号化されて、ベースレイヤのビットストリーム内に送られる。
ｇ）Ｔ-１ Ｑ-１処理部６２４によって逆変換されて逆量子化された予測誤差ブロックｒｂｄｑと予測ブロック
2018524916.tif 000161
とを（結合器６５７で）加算して、再構成済み（ベースレイヤ）ブロックを得ることによって、復号済みブロックが局所的に再形成される。
ｈ）再構成済み（即ち、復号済み）フレームが、（ｂｌ）参照フレーム・バッファ６２６に記憶される。
拡張レイヤ（ｅｌ）
【０１２６】
拡張レイヤの符号器の構造がベースレイヤの符号器に類似していること、例えば、符号化モード決定、時間予測及び参照フレーム・バッファに関して、処理部６０７、６０８、６０９及び６１３が、ベースレイヤの符号器のそれぞれの処理部６２５、６２６、６２９及び６３０と同じ機能を有していることが分かる。
【０１２７】
次に、符号化すべきオリジナルの拡張レイヤ・ブロックｂeについて検討する。
ｉ）拡張レイヤのこのブロックについて、ベースレイヤの同一位置配置ブロックがイントラ画像モードで符号化される場合、この同一位置配置ブロックの（ｍの指標についての、但し、
2018524916.tif 000162
の）イントラ・モードについて検討する。
ｊ）ベースレイヤの（ｍの指標についての）このイントラ・モードを用いて、
○ｂｌ空間予測（Ｓｐ  Ｐｒｅｄ）処理部６５８によってベースレイヤ・レベルにおける予測のイントラ・ブロック
2018524916.tif 000163
を求め、即ち、再利用し、
○次に、同一位置配置ブロック
2018524916.tif 000164
の近傍
2018524916.tif 000165
と予測のブロック
2018524916.tif 000166
とを有する第１の中間パッチＹ′、即ち、式（７）を求め、
ｋ）同様に、ベースレイヤの（ｍの指標についての）このイントラ・モードを用いて、
○（ｅｌ空間予測（Ｓｐ  Ｐｒｅｄ）処理部６１２によって）拡張レイヤ・レベルにおける予測の中間イントラ・ブロック
2018524916.tif 000167
を求め、
○次に、現在ブロック（ｂｅ）の近傍
2018524916.tif 000168
と予測の中間ブロック
2018524916.tif 000169
とを有する第２の中間パッチＸ′、即ち、式（６）を求め、
ｌ）変換領域（例えば、ＤＣＴ）において、式（８）から（１１）を用いてパッチＹ′からパッチＸ′への変換関数Ｔrfを求める。
ｍ）次に、同一位置配置ブロック
2018524916.tif 000170
とその近傍
2018524916.tif 000171
とから構成されたベースレイヤの初期（復号済み）パッチＹ、即ち、式（５）について検討する。
５．パッチＹに変換（例えば、ＤＣＴ）を適用する：ＴＦ（Ｙ）。
６．次に、変換領域においてＴＹ”  ＝  ＴＦ（Ｙ）.ＴrfのようにＴrfの関数を適用する。
７．逆変換（例えば、ＤＣＴ-１）をＴＹ”について算出して、Ｙ”  ＝  ＴＦ−１（ＴＹ”）を求め、ここで、結果として得られるパッチは式（１２）として構成される。
８．最終的に、ブロック
2018524916.tif 000172
に相当する予測がパッチＹ”から抽出される。
【０１２８】
ｊからｍまでの全てのステップが、「Ｐｒｅｄ  ｅｌ／ｂｌ（Ｔrf）」処理部６１１において実現される。
ｎ）拡張レイヤ・ブロックｂｅと、ステップｊからｍにおいて算出されたインタレイヤ予測
2018524916.tif 000173
との残余誤差ｒeが（結合器６０２によって）得られて、（ＴＱ処理部６０３で）変換されて量子化されて、ｒｅｑが得られ、エントロピ符号化処理部６０４によってエントロピ符号化されて、拡張レイヤのビットストリーム内に送られる。
ｏ）最終的に、Ｔ-１  Ｑ-１処理部６０５によって逆変換されて逆量子化された予測誤差ブロックｒｅｄｑと予測
2018524916.tif 000174
とを（結合器６１０で）加算することによって、復号済みブロックが局所的に再形成されて、再構成済み（即ち、復号済み）画像が、（ｅｌ）参照フレーム・バッファ６０８に記憶される。
【０１２９】
上述の如く、本開示の実施形態は、２つのレイヤについて同じ又は相異なる符号器を用いるＳＮＲ及び空間スケーラブルＬＤＲ／ＨＤＲビデオ符号化に関する。ＬＤＲビデオは、任意のトーン・マッピング・オペレータで、即ち、汎用的又は局所的な、線形又は非線形のもので、ＨＤＲビデオから実施できる。本実施形態のスケーラブルな（適応性のある）解決手段において、インタレイヤ予測は、追加の特定のメタデータなしで、その場その場で、実施される。
【０１３０】
本開示の実施形態は、符号器と復号器の両方に関する。復号処理に適用される本開示の実施形態は、おおまかに開示されており、その復号は、本開示の実施形態に従って見出すことができる。
【０１３１】
本開示の実施形態は、画像圧縮及びビデオ圧縮に適用できる。特に、本開示の実施形態は、ＬＤＲ／ＨＤＲビデオ・コンテンツの保存と配信とに割り当てられる新世代の符号器の発展の一部として、ＩＴＵ-Ｔ（電気通信標準化部門）又はＭＰＥＧ標準化グループ（MPEG  standardization  groups）に提案されるであろう。
【０１３２】
ここに列挙された全ての例と条件的な言葉は、読者が本発明者によって提供される本開示と概念とを理解することに役立ち、技術を推進させるという教育的な目的を意図しており、このように具体的に列挙された例と条件が限定事項ではないと解釈されるべきであり、また、本明細書におけるこのような例の編成は、本開示の優劣の提示とは関係ない。
【図１】
2018524916.tif 000175
【図２】
2018524916.tif 000176
【図３】
2018524916.tif 000177
【図４Ａ】
2018524916.tif 000178
【図４Ｂ】
2018524916.tif 000179
【図５Ａ】
2018524916.tif 000180
【図５Ｂ】
2018524916.tif 000181
【図６】
2018524916.tif 000182
【図７】
2018524916.tif 000183
【国際調査報告】
2018524916.tif 000184
2018524916.tif 000185
2018524916.tif 000186