(57)【特許請求の範囲】
【請求項１】
画像データを符号化するための装置であって、前記画像データが、複数の異なるサブバンド(101〜109)に分解され、各サブバンドが、複数の係数を含み、前記複数の異なるサブバンド(101〜109)のうちの第1のサブバンドが、係数の第1の組(1001)を含み、前記複数の異なるサブバンド(101〜109)のうちの第2のサブバンドが、係数の第2の組(1002)を含み、プリシンクト(300)が、前記複数の異なるサブバンド(101〜109)のうちの前記第1のサブバンドおよび前記第2のサブバンドからの係数の前記第1の組(1001)および前記第2の組(1002)を含み、前記プリシンクト(300)の係数の前記第1の組(1001)および前記第2の組(1002)が、前記画像データによって表される画像の空間領域に属し、前記装置が、
組の中の係数の各グループ(1011〜1014)に関して、最大符号化ラインインデックス(GCLI)を決定するためのプロセッサ(600)と、
第1の符号化モードによって前記プリシンクト(300)の係数の前記第1の組(1001)に関連する前記最大符号化ラインインデックスを符号化するため、および第2の符号化モードによって前記プリシンクト(300)の係数の前記第2の組(1002)に関連する前記最大符号化ラインインデックスを符号化するためのエンコーダ(660)であって、前記第2の符号化モードが、前記第1の符号化モードと異なる、エンコーダ(660)と、
符号化された最大符号化ラインインデックスに関するデータ(1103)および前記係数に関するデータを有する符号化された画像信号を出力するための出力インターフェース(680)と
を含み、
前記第1の符号化モードおよび前記第2の符号化モードが、垂直方向の予測符号化モード、水平方向の予測符号化モード、およびRAW符号化モードのうちの少なくとも2つを含む符号化モードの組から選択される、装置。
【請求項２】
前記第1の符号化モードおよび前記第2の符号化モードを決定するためのモード決定器(640)であって、係数の組が属する対応するサブバンド(802)に基づいて係数の前記組のための符号化モードを決定する(804)ように構成される、モード決定器(640)
をさらに含む、請求項1に記載の装置。
【請求項３】
前記第1の符号化モードおよび前記第2の符号化モードを決定するためのモード決定器(640)
をさらに含み、
前記モード決定器が、
前記第1の符号化モードを使用して前記プリシンクト(300)の前記第1の組のための第1の必要とされるデータバジェットを計算し(810)、
前記第2の符号化モードを使用して前記プリシンクト(300)の前記第1の組のための第2の必要とされるデータバジェットを計算し(812)、
前記第1の必要とされるデータバジェットおよび前記第2の必要とされるデータバジェットに基づいて前記第1の符号化モードおよび前記第2の符号化モードのうちの1つを選択する(814)
ように構成され、
前記出力インターフェース(680)が、前記第1の組のために選択された符号化モードの指示を前記符号化された画像信号に含める(816)ように構成される、請求項1に記載の装置。
【請求項４】
それぞれのグループに関する最大トリミングラインインデックス(GTLI)に従って前記グループ内の前記係数を量子化するための量子化器(624)
をさらに含み、
前記係数に関する前記データが、量子化された係数に関するデータを含み、
前記出力インターフェース(680)が、グループに関する前記最大トリミングラインインデックスに関するデータを前記符号化された画像信号に導入するように構成される、請求項1から3のいずれか一項に記載の装置。
【請求項５】
前記第1の符号化モードが、水平方向の予測モードであり、予測が、係数の2つの水平方向に隣接したグループの少なくとも2つの最大符号化ラインインデックスに関連するデータアイテムの間で実行され、
前記第2の符号化モードが、垂直方向の予測モードであり、予測が、係数の2つの垂直方向に隣接したグループの少なくとも2つの最大符号化ラインインデックスに関連するデータアイテムの間で実行され、
係数の前記水平方向に隣接したグループまたは係数の前記垂直方向に隣接したグループが、前記画像信号の対応する空間的位置に関連し、前記対応する空間的位置が、前記係数に関連付けられる、請求項1から4のいずれか一項に記載の装置。
【請求項６】
前記エンコーダ(660)が、係数の前記グループに関する前記最大符号化ラインインデックスおよび係数の前記グループに関連する最大トリミングラインインデックスを使用して最大符号化ラインインデックスに関連するデータアイテムを決定するように構成される、請求項4または5に記載の装置。
【請求項７】
最大トリミングラインインデックス(GTLI)が、係数のグループに関して決定され、係数の前記グループに関する量子化ステップを示し、
垂直方向の予測または水平方向の予測が、下の式、すなわち、
【数１】
0006828184.tif 000008
に基づき、式中、F1およびF2が、それぞれg>1個の係数からなる、2つの水平方向に隣接した係数グループであるかまたは2つの垂直方向に隣接した係数グループであり、F2が、現在符号化されるべき係数グループであり、現在符号化されるべき前記係数グループに関する前記最大符号化ラインインデックス(GCLI)が、δ値を送信することによって信号で伝えられ、max()が、最大決定関数を表す、請求項4から6のいずれか一項に記載の装置。
【請求項８】
最大トリミングラインインデックスが、係数のグループに関して決定され、係数の前記グループに関する量子化ステップを示し、前記第1の符号化モードおよび前記第2の符号化モードのうちの前記1つが、RAW符号化モードであり、グループの前記最大符号化ラインインデックスが、前記グループに関連する前記最大トリミングラインインデックスを使用して符号化される、請求項1から7のいずれか一項に記載の装置。
【請求項９】
最大トリミングラインインデックスが、係数のグループに関して決定され、係数の前記グループに関する量子化ステップを示し、サブバンドに関する単一の最大トリミングラインインデックスまたは前記プリシンクト(300)に関する単一の最大トリミングラインインデックスなど、前記プリシンクト(300)に関する前記最大トリミングラインインデックスが、前記最大符号化ラインインデックスよりも高い粒度で決定される、請求項1から8のいずれか一項に記載の装置。
【請求項１０】
前記複数の異なるサブバンドが、
x方向に前記画像を高域通過フィルタリングし、y方向に前記画像を低域通過フィルタリングすることによって取得されたデータを表すLH1サブバンド(103)と、
x方向に前記画像を低域通過フィルタリングし、y方向に前記画像を高域通過フィルタリングすることによって取得された画像データを含むHL1サブバンド(101)と
を含み、
前記HL1サブバンド(101)に関連する符号化モードが、前記水平方向の予測符号化モードであり、
前記LH1サブバンド(103)に関連する符号化モードが、前記垂直方向の予測符号化モードである、請求項1から9のいずれか一項に記載の装置。
【請求項１１】
前記複数の異なるサブバンドが、
x方向に前記画像を高域通過フィルタリングし、y方向に前記画像を高域通過フィルタリングすることによって取得された画像データを表すHH1サブバンド(102)
を含み、
前記HH1サブバンド(102)に関連する符号化モードが、前記垂直方向の予測符号化モードである、請求項1から10のいずれか一項に記載の装置。
【請求項１２】
前記複数の異なるサブバンドが、
x方向に高域通過フィルタを使用し、y方向に低域通過フィルタを使用してフィルタリングすることによって取得されたデータを含むLH2サブバンド(106)と、
x方向に低域通過フィルタを使用し、y方向に高域通過フィルタを使用してフィルタリングすることによって取得されたHL2サブバンド(104)と
を含み、
前記HL2サブバンド(104)に関連する符号化モードが、前記水平方向の予測符号化モードであり、
前記LH2サブバンド(106)に関連する符号化モードが、前記垂直方向の予測符号化モードである、請求項1から11のいずれか一項に記載の装置。
【請求項１３】
前記複数の異なるサブバンドが、
x方向に高域通過フィルタを使用し、y方向に高域通過フィルタを使用してフィルタリングすることによって取得されたデータを含むHH2サブバンド(105)
を含み、
前記HH2サブバンド(105)に関連する符号化モードが、前記垂直方向の予測符号化モードである、請求項1から12のいずれか一項に記載の装置。
【請求項１４】
前記複数の異なるサブバンドが、
x方向に高域通過フィルタを使用してフィルタリングすることによって取得されたH3サブバンド(107)と、
x方向に高域通過フィルタを使用することによって取得されたH4サブバンド(108)と、
x方向に低域通過フィルタを使用するL5サブバンド(109)と
を含み、
前記H3サブバンド(107)に関連するか、前記H4サブバンド(108)に関連するか、または前記L5サブバンド(109)に関連する符号化モードが、前記垂直方向の予測符号化モードである、請求項1から13のいずれか一項に記載の装置。
【請求項１５】
前記エンコーダが、各サブバンドに関して、
バジェット計算機構(410〜414)であって、前記サブバンドおよびそれぞれの可能な切り捨て点(GTLI)および各符号化モードに関して、前記プリシンクトの前記サブバンドのための必要とされるデータバジェットを計算するように構成される、バジェット計算機構(410〜414)と、
各サブバンドに関して、最も小さい結果として得られるデータバジェットを有する前記符号化モードを選択するため、または各サブバンドに関して、以前のデータに基づくヒューリスティックを使用して前記符号化モードを選択するための符号化モードセレクタ(421〜425)と、
利用可能なレート情報を組み合わせ、各サブバンドに関する切り捨て点を選択するためのレートコントローラ(430)と
を含み、
前記出力インターフェース(680)が、前記選択された切り捨て点を使用して前記係数に関する前記データを生成するように構成され、前記符号化された最大符号化ラインインデックスに関する前記データが、前記選択された切り捨て点および前記選択された符号化モードに関するデータを含む、請求項1から9のいずれか一項に記載の装置。
【請求項１６】
前記出力インターフェース(680)が、各サブバンドに関して前記選択された符号化モードを信号で伝えるためのシグナリング情報(1101、1102)を前記符号化された画像信号に含めるように構成される、請求項15に記載の装置。
【請求項１７】
前記エンコーダ(660)が、前記プリシンクト内のすべてのサブバンドの第1のサブグループ(HL1、HH1、LH1)のために前記バジェット計算機構および前記符号化モードセレクタを適用するように構成され、前記プリシンクトに関する前記第1のサブグループと異なる、前記プリシンクトの前記サブバンドの第2のサブグループ(HL2、HH2、LH2、H3、H4、L5)のための符号化モードが、予め決められる(L5、H4、H3、またはLH2、HH2、HL2)、請求項15または16に記載の装置。
【請求項１８】
前記エンコーダ(660)が、前記第1の符号化モードおよび/または前記第2の符号化モードにおいて、エントロピーコーダ(661)、またはコード表もしくは動的に生成されるコードブックもしくは1進コードを用いる可変長コードを使用する符号化を使用するように構成される、請求項1から17のいずれか一項に記載の装置。
【請求項１９】
さらなるプリシンクトの係数の2つの組が、前記画像のさらなる空間領域に属し、前記さらなる空間領域が、前記空間領域と異なり、
前記エンコーダ(620)が、前記第1の符号化モードによって前記さらなるプリシンクトの第1の組に関連する前記最大符号化ラインインデックスを符号化するように、および前記第2の符号化モードによって前記さらなるプリシンクトの第2の組に関連する前記最大符号化ラインインデックスを符号化するように構成され、前記第2の符号化モードが、前記第1の符号化モードと異なる、請求項1から18のいずれか一項に記載の装置。
【請求項２０】
前記モード決定器(640)が、
プリシンクトに関して、異なる切り捨て点および異なる符号化モードを使用して第1のサブバンドに関する係数の第1の組を符号化するための第1の複数のデータバジェット、ならびに異なる切り捨て点および異なる符号化モードを使用して第2のサブバンドに関する係数の第2の組のための第2の複数のデータバジェットを計算するためのサブバンドバジェット計算器(410〜414)と、
係数の各組のための選択された符号化モードを取得するために、係数の前記第1の組に関して、各切り捨て点に関する目標に合う前記第1の複数のデータバジェットに関するデータバジェットを有する第1の符号化モードを選択し、係数の前記第2の組に関して、各切り捨て点に関する目標に合う前記第2の複数のデータバジェットからのデータバジェットを有する第2の符号化モードを選択するための予測モードセレクタ(421〜425)と
を含む、請求項2から19のいずれか一項に記載の装置。
【請求項２１】
前記モード決定器(640)が、
各切り捨て点に関する組み合わされたバジェットを取得するために、各切り捨て点に関して、係数の前記第1の組のための前記選択された符号化モードに関連する係数の前記第1の組のための第1のデータバジェット、および係数の前記第2の組のための前記選択された符号化モードに関連する係数の前記第2の組のための第2のデータバジェットを組み合わせるためのバジェットコンバイナ(431)と、
バジェットの目標に合う組み合わされたバジェットに関連する切り捨て点を選択するための切り捨て点セレクタ(432)と
を含む、請求項20に記載の装置。
【請求項２２】
前記プリシンクト(300)または任意の追加的なプリシンクトが、係数の前記第1の組(1001)および係数の前記第2の組(1002)に加えて、係数の1つまたは複数の追加的な組を含み、
前記エンコーダ(660)が、前記第1の符号化モードによってもしくは前記第2の符号化モードによって、または前記第1の符号化モードおよび前記第2の符号化モードと異なる第3の符号化モードによって係数の前記1つまたは複数の追加的な組に関連する前記最大符号化ラインインデックスを符号化するように構成され、
前記出力インターフェース(680)が、係数の前記1つまたは複数の追加的な組に関連する前記符号化された最大符号化ラインインデックスに関するデータ(1103)、および係数の前記1つまたは複数の追加的な組に関するデータ、および係数の前記1つまたは複数の追加的な組のために前記選択された符号化モードの指示を有する前記符号化された画像信号を出力するように構成される、請求項1から21のいずれか一項に記載の装置。
【請求項２３】
符号化された最大符号化ラインインデックスに関するデータおよび係数に関するデータを含む符号化された画像信号を復号するための装置であって、
プリシンクト(300)内の異なるサブバンドに関する前記符号化された最大符号化ラインインデックスに関する前記データのための異なる復号モードを決定するための復号モード決定器(700)であって、前記係数に関する前記データが、複数の異なるサブバンド(101〜109)に分解される画像データを表し、各サブバンドが、複数の係数を含み、前記プリシンクト(300)が、異なるサブバンドからの係数の異なる組(1001、1002)を含み、前記プリシンクト(300)の係数の2つの組が、前記画像データによって表される画像の空間領域に属する、復号モード決定器(700)と、
前記復号モード決定器(700)によって決定されたように、前記異なる復号モードのうちの第1の復号モードを使用して前記プリシンクト(300)内の第1の組(1001)に関する前記符号化された最大符号化ラインインデックスに関する前記データを復号するため、および前記異なる復号モードのうちの第2の復号モードを使用して前記プリシンクト(300)内の第2の組(1002)に関する前記符号化された最大符号化ラインインデックスに関する前記データを復号するため、および復号された最大符号化ラインインデックスデータを使用して前記係数に関する前記データを復号するためのデコーダ(720)と
を含み、
前記異なる復号モードのうちの前記第1の復号モードおよび前記異なる復号モードのうちの前記第2の復号モードが、前記異なる復号モードのグループから選択され、前記グループが、垂直方向の逆予測復号モード、水平方向の逆予測復号モード、およびRAW復号モードのうちの少なくとも2つを含む、装置。
【請求項２４】
前記符号化された画像信号が、前記プリシンクト(300)の少なくとも2つの異なるサブバンドに関する復号モード情報(1101、1102)をシグナリング情報として含み、
前記復号モード決定器(700)が、前記符号化された画像信号から前記復号モード情報(1101、1102)を抽出することによって、および前記プリシンクト(300)に関する少なくとも2つの異なるサブバンドの各々に関する前記抽出された復号モード情報を解釈することによって前記復号モードを決定するように構成される、請求項23に記載の装置。
【請求項２５】
前記復号モード決定器(700)が、前記組の係数のグループが属するサブバンドに従って前記復号モードを選択することによって前記復号モードを決定する(1205)ように構成され、前記複数の異なるサブバンドの各々が、予め決められた復号モードに関連付けられており、前記プリシンクト(300)内で、2つの異なるサブバンドが、2つの異なる復号モードに関連付けられている、請求項23に記載の装置。
【請求項２６】
前記デコーダ(700)が、それぞれのグループに関する最大トリミングラインインデックス(GTLI)に従って各グループ内の前記係数を逆量子化する逆量子化器(724)をさらに含み、前記プリシンクト(300)に関する前記最大トリミングラインインデックスに関するデータが、前記符号化された画像信号に含まれる、請求項23から25のいずれか一項に記載の装置。
【請求項２７】
前記第1の復号モードが、水平方向の逆予測復号モードであり、逆予測が、送信されたデータアイテムおよび前に復号された最大符号化ラインインデックスを使用して実行され、前記データアイテムおよび前記前に復号された最大符号化ラインインデックスが、係数の2つの水平方向に隣接したグループに関連付けられ、
前記第2の復号モードが、垂直方向の逆予測復号モードであり、逆予測が、送信されたデータアイテムと前に復号された最大符号化ラインインデックスとの間で実行され、前記データアイテムおよび前記前に復号された最大符号化ラインインデックスが、係数の2つの垂直方向に隣接したグループに関連付けられる、請求項23から26のいずれか一項に記載の装置。
【請求項２８】
最大トリミングラインインデックスが、係数のグループに関して前記符号化された画像信号から抽出され、前記最大トリミングラインインデックスが、係数の前記グループに関する量子化ステップを示し、垂直方向の逆予測または水平方向の逆予測が、下の式、すなわち、
【数２】
0006828184.tif 000009
に基づいて実行され、式中、δが、送信されたデータアイテムであり、F1およびF2が、g>1個の係数からなる2つの垂直方向に隣接した係数グループであり、maxが、最大演算を表し、GCLI(F2)が、現在復号されるデータアイテムを表す、請求項23から27のいずれか一項に記載の装置。
【請求項２９】
最大トリミングラインインデックスが、前記符号化された画像信号に含まれ、サブバンドに関する単一の最大トリミングラインインデックスまたは前記プリシンクトに関する単一の最大トリミングラインインデックスなど、係数の前記グループに関する前記最大トリミングラインインデックスが、前記最大符号化ラインインデックスデータよりも高い粒度で与えられる、請求項23から28のいずれか一項に記載の装置。
【請求項３０】
前記複数の異なるサブバンドが、
x方向に前記画像を高域通過フィルタリングし、y方向に前記画像を低域通過フィルタリングすることによって取得されたデータを表すLH1サブバンド(103)と、
x方向に前記画像を低域通過フィルタリングし、y方向に前記画像を高域通過フィルタリングすることによって取得された画像データを含むHL1サブバンド(101)と
を含み、
前記HL1サブバンド(101)に関連する復号モードが、前記水平方向の逆予測復号モードであり、
前記LH1サブバンド(103)に関連する復号モードが、前記垂直方向の逆予測復号モードである、請求項23から29のいずれか一項に記載の装置。
【請求項３１】
前記複数の異なるサブバンドが、
x方向に前記画像を高域通過フィルタリングし、y方向に前記画像を高域通過フィルタリングすることによって取得された画像データを表すHH1サブバンド(102)
を含み、
前記HH1サブバンド(102)に関連する復号モードが、前記垂直方向の逆予測復号モードである、請求項23から29のいずれか一項に記載の装置。
【請求項３２】
前記複数の異なるサブバンドが、
x方向に高域通過フィルタを使用し、y方向に低域通過フィルタを使用してフィルタリングすることによって取得されたデータを含むLH2サブバンド(106)と、
x方向に低域通過フィルタを使用し、y方向に高域通過フィルタを使用してフィルタリングすることによって取得されたHL2サブバンド(104)と
を含み、
前記HL2サブバンド(104)に関連する復号モードが、前記水平方向の逆予測復号モードであり、
前記LH2サブバンド(106)に関連する復号モードが、前記垂直方向の逆予測復号モードである、請求項23から31のいずれか一項に記載の装置。
【請求項３３】
前記複数の異なるサブバンドが、
x方向に高域通過フィルタを使用し、y方向に高域通過フィルタを使用してフィルタリングすることによって取得されたデータを含むHH2サブバンド(105)
を含み、
前記HH2サブバンド(105)に関連する復号モードが、前記垂直方向の逆予測復号モードである、請求項23から32のいずれか一項に記載の装置。
【請求項３４】
前記複数の異なるサブバンドが、
x方向に高域通過フィルタを使用してフィルタリングすることによって取得されたH3サブバンド(107)と、
x方向に高域通過フィルタを使用することによって取得されたH4サブバンド(108)と、
x方向に低域通過フィルタを使用するL5サブバンド(109)と
を含み、
前記H3サブバンド(107)に関連するか、前記H4サブバンド(108)に関連するか、または前記L5サブバンド(109)に関連する復号モードが、前記垂直方向の逆予測復号モードである、請求項23から33のいずれか一項に記載の装置。
【請求項３５】
前記符号化された画像信号が、前記プリシンクト(300)に関するサブバンドのサブグループのみに関する前記シグナリング情報を含み、
前記復号モード決定器(700)が、前記シグナリング情報に基づいて第1のサブグループのサブバンドのための復号モードを決定し(1203)、前記復号するための装置において利用可能なサブバンドのための復号モードを使用して前記第1のサブグループ以外の前記プリシンクト(300)内のサブバンドのための復号モードを決定する(1205)ように構成される、請求項23から34のいずれか一項に記載の装置。
【請求項３６】
さらなるプリシンクトの係数の2つの組が、前記画像のさらなる空間領域に属し、前記さらなる空間領域が、前記空間領域と異なり、
前記デコーダ(720)が、前記復号モード決定器によって決定されたように、前記第1の復号モードを使用して前記さらなるプリシンクト内の前記第1の組に関する前記符号化された最大符号化ラインインデックスに関する前記データを復号するように、および第2の復号モードを使用して前記さらなるプリシンクト内の前記第2の組に関する前記符号化された最大符号化ラインインデックスに関する前記データを復号するように、ならびに復号された最大符号化ラインインデックスデータを使用して前記係数に関する前記データを復号するように構成される、請求項23から35のいずれか一項に記載の装置。
【請求項３７】
前記復号モード決定器(700)が、前記プリシンクト(300)または1つもしくは複数の追加的なプリシンクトの係数の前記第1の組および前記第2の組に加えて係数の1つまたは複数の追加的な組に関する前記符号化された最大符号化ラインインデックスに関する前記データのための1つまたは複数の復号モードを決定するように構成され、係数の前記1つまたは複数の追加的な組に関連する前記最大符号化ラインインデックスが、第1の符号化モードによってもしくは第2の符号化モードによって、または前記第1の符号化モードおよび前記第2の符号化モードと異なる第3の符号化モードによって符号化され、
前記デコーダ(720)が、前記1つまたは複数の復号モードを使用して、前記プリシンクト(300)内または前記1つまたは複数の追加的なプリシンクトに関する係数の前記1つまたは複数の追加的な組に関する前記符号化された最大符号化ラインインデックスに関する前記データを復号するように、および係数の前記1つまたは複数の追加的な組に関する復号された最大符号化ラインインデックスデータを使用して係数の前記1つまたは複数の追加的な組内の前記係数に関する前記データを復号するように構成される、請求項23から36のいずれか一項に記載の装置。
【請求項３８】
画像データを符号化するための方法であって、前記画像データが、複数の異なるサブバンド(101〜109)に分解され、各サブバンドが、複数の係数を含み、前記複数の異なるサブバンド(101〜109)のうちの第1のサブバンドが、係数の第1の組(1001)を含み、前記複数の異なるサブバンド(101〜109)のうちの第2のサブバンドが、係数の第2の組(1002)を含み、プリシンクト(300)が、前記複数の異なるサブバンド(101〜109)のうちの前記第1のサブバンドおよび前記第2のサブバンドからの係数の前記第1の組(1001)および前記第2の組(1002)を含み、前記プリシンクト(300)の係数の前記第1の組(1001)および前記第2の組(1002)が、前記画像データによって表される画像の空間領域に属し、前記方法が、
組の中の係数の各グループに関して、最大符号化ラインインデックス(GCLI)を決定するステップ(600)と、
第1の符号化モードによって前記プリシンクト(300)の係数の前記第1の組(1001)に関連する前記最大符号化ラインインデックスを符号化し(660)、第2の符号化モードによって前記プリシンクト(300)の係数の前記第2の組(1002)に関連する前記最大符号化ラインインデックスを符号化するステップ(660)であって、前記第2の符号化モードが、前記第1の符号化モードと異なる、ステップ(660)と、
符号化された最大符号化ラインインデックスに関するデータ(1103)および前記係数に関するデータを有する符号化された画像信号を出力する(680)かまたは記憶するステップと
を含み、
前記第1の符号化モードおよび前記第2の符号化モードが、垂直方向の予測符号化モード、水平方向の予測符号化モード、およびRAW符号化モードのうちの少なくとも2つを含む符号化モードの組から選択される、方法。
【請求項３９】
符号化された最大符号化ラインインデックスに関するデータおよび係数に関するデータを含む符号化された画像信号を復号するための方法であって、
プリシンクト(300)内の異なるサブバンドに関する前記符号化された最大符号化ラインインデックスに関する前記データのための異なる復号モードを決定するステップ(700)であって、前記係数に関する前記データが、複数の異なるサブバンド(101〜109)に分解される画像データを表し、各サブバンドが、複数の係数を含み、前記プリシンクト(300)が、異なるサブバンドからの係数の異なる組を含み、前記プリシンクト(300)の係数の2つの組が、前記画像データによって表される画像の空間領域に属する、ステップ(700)と、
前記異なる復号モードを決定する前記ステップ(700)によって決定されたように、前記異なる復号モードのうちの第1の復号モードを使用して前記プリシンクト(300)内の第1の組(1001)に関する前記符号化された最大符号化ラインインデックスに関する前記データを復号し、前記異なる復号モードのうちの第2の復号モードを使用して前記プリシンクト(300)内の第2の組(1002)に関する前記符号化された最大符号化ラインインデックスに関する前記データを復号し、復号された最大符号化ラインインデックスデータを使用して前記係数に関する前記データを復号するステップ(720)と
を含み、
前記異なる復号モードのうちの前記第1の復号モードおよび前記異なる復号モードのうちの前記第2の復号モードが、前記異なる復号モードのグループから選択され、前記グループが、垂直方向の逆予測復号モード、水平方向の逆予測復号モード、およびRAW復号モードのうちの少なくとも2つを含む、方法。
【請求項４０】
コンピュータまたはプロセッサ上で実行されるときに、前記コンピュータまたはプロセッサに請求項38または39に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化に関し、特に、最大共通ラインインデックス(GCLI: greatest common line index)エントロピー符号化に依拠する画像符号化に関する。
【背景技術】
【０００２】
1.1  画像の変換
画像および動画圧縮は、概して、エントロピー符号化を実行する前に変換を適用する。たとえば、非特許文献3は、ブロックに基づく予測を使用し、一方、特許文献1、2および非特許文献1、2は、ウェーブレット変換を推奨する。
【０００３】
そのようなウェーブレット変換が、図1に示される。そのウェーブレット変換は、画像をいくつかのサブバンドに分解する。図1に示されるように、水平方向の分解の数は、垂直方向の分解の数と異なる可能性がある。各分解ステップにおいて、前の分解の低域通過サブバンドが、さらに分解される。L5サブバンドは、画像のサブサンプリングされたバージョンを表し、一方、その他のサブバンドは、詳細情報を含む。
【０００４】
周波数変換の後、サブバンドの係数がエントロピー符号化される。言い換えると、A, B∈{L, H}、
【数１】
0006828184.tif 000002
であるものとして、サブバンドのg>1個の係数ABmが、係数グループにまとめられる。それから、残ビットプレーン(remaining bit-plane)の数が信号で伝えられ、その後にRAWデータビットが続く。符号化技術に関するさらなる詳細は、次の節で説明される。
【０００５】
図1は、画像の特定の例示的なウェーブレット変換を示す。この例においては、2回の垂直方向の分割および4回の水平方向の分解が想定される。
【０００６】
特に、第1のサブバンドは、垂直またはy方向の高域通過フィルタリングおよび水平またはx方向の低域通過フィルタリングの結果として得られるサブバンドHL1 101である。HH1として示されるサブバンド102は、垂直方向と水平方向との両方の高域通過フィルタリングアクションの結果として得られる。さらに、103に示されるサブバンドLH1は、画像の低域通過フィルタリングの結果として得られるサブバンドの垂直方向の低域通過フィルタリングおよび水平方向の高域通過フィルタリングの結果として得られる。さらに、HH2に示されるサブバンド105は、画像の低域通過フィルタリングの結果として得られるサブバンドの垂直方向の高域通過フィルタリングアクションおよび水平方向の高域通過フィルタリングアクションの結果として得られる。
【０００７】
さらに、HL2に示されるサブバンド104は、画像の低域通過フィルタリングの結果として得られるサブバンドの垂直方向の高域通過フィルタリングおよび水平方向の低域通過フィルタリングの結果として得られる。LH2に示されるサブバンド106は、画像の低域通過フィルタリングの結果として得られるサブバンドの垂直方向の低域通過フィルタリングおよび水平方向の高域通過フィルタリングの結果として得られる。同じように、サブバンド107は、水平方向と垂直方向との両方の2回の低域通過フィルタリングによって生成されるサブバンドの水平方向の高域通過フィルタリングの結果として得られ、H4に示されるサブバンド108は、垂直方向の2回の低域通過フィルタリングおよび水平方向の3回の低域通過フィルタリングによって生成されるサブバンドの垂直方向の高域通過フィルタリングの結果として得られ、サブバンド109は、近似された低域通過画像を示す。
【０００８】
図2aは、係数のグループが4つの値によって形成され、各値が8つのビットプレーンなどの特定の数のビットプレーンおよびs0、s1、s2、s3に示される符号ビットによって表されるGCLI符号化の原理を示す。当然ながら、2つだけ、または3つだけ、またはさらには5つ以上の係数を有するグループなどの係数の任意のその他のグループが、形成され得る。さらに、各色に関して、各サブバンド101から109内の各位置に関する単一の係数が存在する。したがって、3色表現が使用されるので、図1に示されたサブバンドの各々の中の各位置に関して3つの係数が存在する。
【０００９】
1.2  符号化の原理
図2aは、GCLI符号化の原理を示す。周波数変換の同じサブバンドに属する(2つ以上である)いくつかの係数が、グループへと組み合わされる。これらの係数は、符号-絶対値表現で表される。グループ内の最大の係数が、有効な(active)ビットプレーンの数を決定する。ビットプレーンは、そのビットプレーン自体または任意の前の-つまり、より上位の-ビットプレーンの少なくとも1つの係数ビットがゼロでない場合、有効と呼ばれる。有効なビットプレーンの数は、いわゆるGCLI値(最大符号化ラインインデックス(greatest coded line index))によって与えられる。GCLI値ゼロはいずれのビットプレーンも有効でないことを意味し、したがって、係数グループ全体がゼロである。
【００１０】
損失のある逆符号化に関しては、ビットプレーンの一部が、切り捨てられる可能性がある。これは、2のべき乗である因子による量子化に対応する。量子化は、いわゆるGTLI(最大トリミングラインインデックス(Greatest Trimmed Line Index))によって指定される。GTLIゼロは、量子化なしに対応する。量子化後に残っている有効なビットプレーンは、以降、残ビットプレーンと呼ばれる。さらに、GTLIは、以降、切り捨て点とも呼ばれる。
【００１１】
そして、これらの残ビットプレーンが、RAWビットとしてデコーダに送信される。正しい復号を可能にするために、デコーダは、係数のあらゆるグループに関して残/送信されたビットプレーンの数を知る必要がある。結果として、それらの数が、デコーダに信号で伝えられる必要もある。これは、前の係数グループの残ビットプレーンの数との差を表す可変長符号によってなされる。この前の係数グループは、原則的に、エンコーダが前に既に符号化した任意の係数グループであることが可能である。したがって、この前の係数グループは、たとえば、水平方向のまたは垂直方向の隣のグループであることが可能である。
【００１２】
下で説明される方法は、異なるビットストリームの部分の送信順が分からない。たとえば、最初に、すべてのサブバンドのGCLI係数をビットストリームに入れ、その後に、すべてのサブバンドのデータビットが続くことが可能である。代替的に、GCLIおよびデータビットは、インターリーブされる可能性がある。
【００１３】
1.3  係数の編成
図1に示された周波数変換の係数は、図3に示されるように、いわゆるプリシンクト(precinct)に編成される。プリシンクトは、入力画像の同じ空間領域に属する異なるサブバンドの係数をグループ化する。
【００１４】
図3の上の部分は、図1に示された個々のサブバンド101から109内の個々のプリシンクト1、2、…の分布を示す。概して、プリシンクトは、画像と同じ幅を有し、たとえば、3840列からなり、たとえば、2ラインの高さを有する空間領域を定義する。当然ながら、プリシンクトは、3、または4、またはさらにはより多くのラインの高さなどのラインのその他の高さ、およびより多くのまたはより少ない列を含むことも可能である。しかし、2で割り切れるラインの数が好ましい。
【００１５】
特に、プリシンクトは、301および302に示されるHH1の最初の2ラインおよび303、304に示されるLH1の最初の2ラインを有する。さらに、プリシンクトは、305および306に示されるHL1の最初の2ライン、ならびに309に示されるHL2の単一のライン、307に示されるHH2の単一のライン、308に示されるLH2の単一のライン、310に示されるH3の単一のライン、311に示されるH4の単一のライン、ならびに312に示されるL5の単一のラインを有する。ピクチャのために使用されるプリシンクトの最終的な数は、ピクチャのラインの数と、いくつのラインがプリシンクト内に含まれるかに依存する。
【００１６】
1.4  予測の方式
デコーダが信号を復元することを可能にするために、デコーダは、あらゆる係数グループに関するGCLI値を知る必要がある。異なる方法が、そのGCLI値を効率的に信号で伝えるために最新技術である特許文献2において利用可能である。
【００１７】
1.4.1  RAWモード
RAWモードにおいて、GCLI値は、いかなる予測もなしに、またはそのGCLI値をゼロから予測することによって送信される。したがって、F1が、次に符号化される係数グループであるものとする。そのとき、GCLI値は次の予測残差によって符号化され得る。
δ=max(GCLI(F1) - GTLI(F1), 0)
【００１８】
この値に関して、2つの異なる符号が使用され得る。第1の符号は、δ値を固定長の2進符号として送信することであり、一例が、下の表に示される。
【００１９】
【表１】
0006828184.tif 000003
【００２０】
第2の符号は、下の表に示され、非特許文献5に予測のないGCLI符号なし1進符号化(unary coding)としても説明される可変長符号なし1進符号(unary code)である。
【００２１】
【表２】
0006828184.tif 000004
【００２２】
代替的な実施形態においては、上の表において0を1によって置き換えることおよびその逆の置き換えをすることによって、代替的な符号が構築され得る。
【００２３】
1.4.2  水平方向の予測
F1およびF2が、g>1個の係数からなる2つの水平方向に隣接した係数グループであるものとする。F2が、現在符号化されるべき係数グループであるものとする。そのとき、GCLI(F2)は、
【数２】
0006828184.tif 000005
を送信することによってデコーダに信号で伝えられ得る。
【００２４】
デコーダは、
【数３】
0006828184.tif 000006
を計算することによってGCLI(F2)を復元する。
【００２５】
水平方向の予測においては、概して、GTLI(F1)=GTLI(F2)であることが妥当であり、概して、δが可変長符号として送信される。
本質的に、これは、
δ=max(GCLI(F2), GTLI(F2)) - max(GCLI(F1), GTLI(F2))
であることを意味する。
【００２６】
1.4.3  垂直方向の予測
F1およびF2が、g>1個の係数からなる2つの垂直方向に隣接した係数グループであるものとする。F2が、現在符号化されるべき係数グループであるものとする。
【００２７】
GCLI(F2)は、1.4.2節と同じ方法で符号化され得る。
【００２８】
代替的な実施形態においては、垂直方向の予測のために、次の予測の式が使用され得る。
δ=max(GCLI(F2), GTLI(F2)) - max(GCLI(F1), max(GTLI(F1), GTLI(F2)))
【００２９】
そのとき、デコーダは、
【数４】
0006828184.tif 000007
を計算することによってGCLI(F2)を復元する。
【００３０】
1.5  符号化モード
予測モードに加えて、異なる符号化モードが使用され得る。たとえば、非特許文献4は、ゼロGCLIをより効率的に圧縮するための方法を提案する。この目的で、8つのGCLIのあらゆるグループに関して、単一のビットフラグが、GCLIグループがゼロか否かを示す。ゼロGCLIグループは、さらに符号化されず、一方、非ゼロGCLIグループは、1.4.2節において説明されたように符号化される。
【００３１】
以下で、符号化モードは、簡単さのために、単純に追加的な予測モードと考えられる。
【００３２】
異なる符号化モードの計算のための例示的な式が、エンコーダ側に関する水平方向のまたは垂直方向の予測モードに関して図2bに示される。さらに、図2cは、デコーダ側で実行される水平方向の/垂直方向の予測モードに関する例示的な式を示し、図2dは、RAWモードの機能を示す。
【００３３】
最新技術である特許文献2において、使用すべき予測モードは、プリシンクトに基づいて選択される。言い換えると、プリシンクトのすべてのサブバンドのGCLI値が、同じ方式によって予測される。しかし、これは、コーデックの潜在能力のすべてを利用しない。
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】AMBROISE RENAUD ; BUYSSCHAERT CHARLES ; PELLEGRIN PASCAL ; ROUVROY GAEL, "Method and Device for Display Stream Compression", US9332258 BB
【特許文献２】AMBROISE RENAUD ; BUYSSCHAERT CHARLES ; PELLEGRIN PASCAL ; ROUVROY GAEL, "Method and Device for Display Stream Compression", EP2773122A1
【非特許文献】
【００３５】
【非特許文献１】Jean-Baptiste Lorent, "TICO Lightweight Codec Used in IP Networked or in SDI Infrastructure", SMPTE RDD 35:2016
【非特許文献２】Toshiaki Kojima, "LLVC - Low Latency Video Codec for Network Transfer", SMPTE RDD 34:2015
【非特許文献３】J. Kim and C. M. Kyung, "A Lossless Embedded Compression Using Significant Bit Truncation for HD Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, 2010
【非特許文献４】intoPIX, "intoPIX Codec Submission for JPEG-XS CfP", Design Description v0.1, 2016
【非特許文献５】intoPIX, "JPEG XS GCLI Bounded code proposal", wg1m76032, Oct 2017
【発明の概要】
【発明が解決しようとする課題】
【００３６】
画像処理のための改善された符号化または復号方式を提供することが目的である。
【課題を解決するための手段】
【００３７】
この目的は、請求項1の画像データを符号化するための装置、請求項24による符号化された画像信号を復号するための装置、請求項40の画像データを符号化するための方法、請求項41の符号化された画像信号を復号するための方法、請求項42の符号化された画像信号、または請求項43のコンピュータプログラムによって達成される。
【００３８】
本発明は、プリシンクト内の各サブバンドに関して、つまり、プリシンクト内のサブバンドからのそれぞれの複数の係数に関して、最大符号化ラインインデックス(GCLI)データを符号化するための特有の符号化モードを決定することによって、一方で符号化効率が、または他方で符号化品質が高められ得るという発見に基づく。
【００３９】
したがって、画像データが複数の異なるサブバンドに分解され、各サブバンドが複数の係数を含み、プリシンクトが異なるサブバンドからの係数の異なる組を含み、プリシンクトの係数の2つの組が画像データによって表される画像の特定の空間領域に属する、画像データを符号化するために概念が、係数の組内の係数の各グループに関する最大符号化ラインインデックスの決定に依拠し、さらに、第1の符号化モードによってプリシンクトの特定の組に関連する最大符号化ラインインデックスを符号化するため、および第2の符号化モードによって同じプリシンクトの第2の組に関連する最大符号化ラインインデックスを符号化するためのエンコーダであって、第2の符号化モードが、第1の符号化モードと異なる、エンコーダに依拠する。さらに、画像データを符号化するための装置の出力インターフェースは、個々のサブバンド/係数の組に関する符号化された最大符号化ラインインデックスに関するデータおよび加えて対応する係数に関するデータを有する符号化された画像信号を出力する。
【００４０】
デコーダ側で、本発明は、プリシンクト内の異なるサブバンドに関する符号化された最大符号化ラインインデックスに関するデータのために異なる復号モードを決定するための復号モード決定器が存在し、係数に関するデータが複数の異なるサブバンドに分解される画像データを表し、各サブバンドが複数の係数を含み、プリシンクトが異なるサブバンドからの係数の異なる組を含む機能に依拠する。特に、第1のプリシンクトの第1の組に関する符号化された最大符号化ラインインデックスに関するデータを復号するためのデコーダが、第1の復号モードを使用し、プリシンクトの第2の組に関する符号化された最大符号化ラインインデックスに関するデータを復号するために、第2の復号モードが、復号モード決定器によって決定されたように使用される。さらに、それから、係数に関するデータが、サブバンドまたは係数の組毎に異なる復号モードを使用することによって取得された復号された最大符号化ラインインデックスデータを使用して復号される。
【００４１】
個々の符号化または復号モードがプリシンクト内の係数の個々の組または個々のサブバンドのために可能にされるという事実のおかげで、最大符号化ラインインデックス(GCLI)値を符号化するためのビットの数が削減されるので、計算効率が高められる。これは、サブバンド内の相互に関連するまたは密接に関連するGCLI値がそれらのGCLI値をある種の予測のために有用にする高い潜在的可能性が存在するが、GCLI値がプリシンクト内でサブバンド毎に大きく変わり得るという事実による。
【００４２】
好ましい実施形態は、個々のサブバンドに基づく実際のモード決定に依拠する。したがって、一実施形態においては、特定の符号化モードが、実際のデータとは無関係に各サブバンドのために予め決められることが可能である。そのような手順は、符号化モードがエンコーダからデコーダに送信される必要がなく、エンコーダ側およびデコーダ側で予め決められ得るので極めて効率的である。
【００４３】
その他の実施形態は、画像データに基づく符号化モードの実際の決定に依拠する。特定の実施形態は、各サブバンドのための符号化モードを決定するために個々のサブバンドまたはプリシンクトのためのデータバジェット(data budget)の計算に依拠する。この手順は、特定の切り捨て点に対応するGTLIの手順(GTLI=最大トリミングレベルインデックス(greatest trimmed level index)または最大トリミングラインインデックス)に基づく量子化の決定に完全に組み込まれて使用され得る。しかし、GTLIの符号化は、いかなる切り捨ても実行されず、したがって、いかなるGTLI処理も必要ない損失のない符号化として使用されることも可能である。しかし、ビットレートを特定の目標ビットレートに適応させるため、または場合によっては一定のビットレートを得るために、GCLIの処理に加えてGLTIの処理を使用することが好ましい。
【００４４】
さらなる実施形態は、プリシンクト内の特定のサブバンドに関して、同じまたは異なる符号化モードが予め決められ、その他の、典型的には、高解像度情報を表すより低いサブバンドに関しては、符号化モードが必要とされるビットバジェット(bit budget)に基づいて計算され、つまり、実際の画像データに基づいて計算される混合の手順に依拠する。
【００４５】
さらなる実施形態は、グループ内の係数の数が3以上であり、好ましくは4に等しい、係数のグループに関する最大符号化ラインインデックスの決定に依拠する。さらに、決定された切り捨て点、つまり、GTLIの処理に基づく実際の損失のある符号化または量子化は、同じGTLIがプリシンクト全体に関して決定されるようにして実行される。しかし、その他の実施形態においては、同じGTLIが、個々のサブバンドに関して決定される。したがって、最大符号化ラインインデックスの決定に比べて、切り捨て点の決定のためにはより高い粒度(granularity)を使用することが好ましい。
【００４６】
さらなる実施形態においては、3つの異なる符号化モード、すなわち、水平方向の予測モード、垂直方向の予測モード、またはいかなる予測もしないRAWモードが、実行される。しかし、ランレングスモード、または水平または垂直方向でなく、ある種の斜め方向の予測モードなどのその他の符号化モードも、実行されることが可能であり、たとえば、予測が、垂直方向に互いに隣接する係数のGCLI値の間では実行されないが、予測が、水平方向に互いにシフトされる係数に関連するGCLIの間では実行される。したがって、異なる符号化モードが、必要に応じて決定されることが可能であり、したがって、5つ、6つ、またはさらにはそれよりも多い符号化モードであると決定されることが可能である。さらに、符号化モードは、必ずしもいつも水平方向のまたは垂直方向の予測モードを含む必要はなく、異なる符号化モードは、たとえば、RAWモードおよび傾斜モードまたは符号化モードの任意のその他の組合せからなることも可能である。
【００４７】
さらなる実施形態においては、エンコーダまたはデコーダ内でその他の手順が実行される。特に、画像データは、離散ウェーブレット変換の演算に導入される前に色変換にかけられることが可能である。代替的にまたは追加的に、符号-絶対値変換が、GCLIの抽出を実行する前に実行されることが可能である。
【００４８】
さらに、GCLIの予測の結果は、1進符号を使用することなどによってエントロピー符号化されることが可能であり、一方、たとえば、RAWデータは、そのまま、つまり、さらなる符号化なしにビットストリームに導入される。
【００４９】
さらに、係数データの切り捨てまたはGTLIトリミングの結果は、そのままデータストリームに導入され、つまり、データストリームにパッキングされることが可能であるが、代替的に、ハフマン符号化または算術符号化または任意のその他の種類のエントロピー符号化などのさらなる符号化演算が、さらに使用され得る。しかし、複雑さが理由で、GTLIに制御されたトリミングまたは切り捨て、つまり、GCLIに示されたビットプレーンとGTLIに示されたビットプレーンとの間の残りのビットへのトリミングまたは切り捨ての出力を符号化された画像信号に直接パッキングする、つまり、バイナリデータのビットストリームに直接パッキングすることが好ましい。
【００５０】
本発明の好ましい実施形態が、以降、同封された図面に関連して検討される。
【図面の簡単な説明】
【００５１】
【図１】例示的な2回の垂直方向の分解および5回の水平方向の分解を用いる画像のウェーブレット変換を示す図である。
【図２ａ】GCLI符号化の原理を示す図である。
【図２ｂ】エンコーダ側に関する水平方向のまたは垂直方向の予測のための予測規則を示す図である。
【図２ｃ】デコーダ側に関連する水平方向のまたは垂直方向の予測に関する「逆」予測のための予測規則を示す図である。
【図２ｄ】RAWモードを示す図である。
【図３】プリシンクトの編成を示す図である。
【図４】サブバンド毎のサブバンド適応予測方式(subband adaptive prediction scheme)のブロック図である。
【図５】削減されたエンコーダの複雑さのための固定の予測方式を示す図である。
【図６】実施形態の画像データを符号化するための装置のブロック図である。
【図７】実施形態の符号化された画像信号を復号するための装置を示す図である。
【図８ａ】サブバンドのための符号化モードを決定するためのモード決定器の実装を示す図である。
【図８ｂ】サブバンドのための符号化モードの計算のための符号化モード決定器のさらなる実装を示す図である。
【図８ｃ】符号化モード決定器のさらなる実施形態を示す図である。
【図８ｄ】RAWデータバッファと、たとえば、図8cのプロセスによって決定されるサブバンドに関する選択された切り捨て点とに基づく量子化のプロセスを示す図である。
【図９】GTLI値の決定および量子化のプロセスの協力を示す態様のさらなる実施形態を示す図である。
【図１０】第1のサブバンドに関する係数の第1の組、第2のサブバンドに関する係数の第2の組を有するプリシンクトおよび係数の個々のグループを示す図である。
【図１１】たとえば、図6の符号化のための装置によって出力される、またはたとえば、図7の復号のための装置に入力される符号化された画像信号を示す図である。
【図１２】図11の符号化された画像信号を復号するための装置に含まれるデコーダによって実行される手順を示す図である。
【図１３】さらなる実施形態のエンコーダのブロック図である。
【図１４】さらなる実施形態のデコーダのブロック図である。
【図１５】エンコーダの態様のさらなる実装を示す図である。
【図１６】エントロピーエンコーダとレート割り当てとの間の協力を示す概略図である。
【発明を実施するための形態】
【００５２】
図6は、画像データが複数の異なるサブバンドに分解され、各サブバンドが複数の係数を含む、画像データを符号化するための装置を示す。特に、プリシンクトが、異なるサブバンドからの係数の異なる組を含み、第1のプリシンクトの係数の2つの組が、画像データによって表される画像の第1の空間領域に属し、たとえば、第2のプリシンクトの係数の2つの組が、画像データによって表される画像の第2の空間領域に属し、第1の空間領域および第2の空間領域は、互いに異なり、好ましくは、第1の空間領域および第2の空間領域がいかなるサブバンドの位置も共有しないように互いに排他的でさえある。この文脈で、係数の空間領域は、変換係数のドメインで直接定義されるか、または変換係数をその中心のフィルタ係数に関連付けるときに画像ドメインのドメインで定義されるかのどちらかであることが可能である。
【００５３】
画像データを符号化するための装置は、係数の組内の係数の各グループに関して最大符号化ラインインデックス(GCLI)を決定するためのプロセッサ600を含む。さらに、装置は、第1の符号化モードにより第1のプリシンクトの第1の組に関連する最大符号化ラインインデックスを符号化するため、および第2の符号化モードにより第1のプリシンクトの第2の組に関連する最大符号化ラインインデックスを符号化するためのエンコーダ660を含み、第2の符号化モードは、場合によっては第1の符号化モードと異なる。さらに、装置は、符号化された最大符号化ラインインデックスに関するデータおよび係数値に関するデータを有する符号化された画像信号(out)を出力するための出力インターフェース680を含む。特に、係数は、図6にやはり示される画像データ/係数エンコーダ620を使用して符号化される。画像データ/係数エンコーダ620は、入力として、好ましくはプロセッサ600に入力されるのと同じ画像データを受け取る。加えて、ブロック620は、各グループに関するGCLIデータも受け取り、ブロック620は、さらに、出力インターフェース680によって出力データ信号に含められる係数に関するデータを出力する。使用されることが好ましい符号化モードは、垂直方向の予測モード、水平方向の予測モード、RAW符号化モード、またはゼロランレングスモード、または上述のように傾斜予測モード、または任意のその他の符号化もしくは処理モードである。
【００５４】
図7は、符号化された画像信号を復号するための対応する装置を示す。符号化された画像信号は、デコーダ720に入力される。さらに、復号するための装置は、プリシンクト内の異なるサブバンドに関する符号化された最大符号化ラインインデックスに関するデータのための異なる復号モードを決定するための復号モード決定器を含む。プリシンクトのサブバンド毎のこの復号モードは、接続730を介して復号モード決定器700からデコーダ720に転送される。実装に応じて、復号モード決定器700は、そのような復号モードの指示が符号化された画像信号に含まれるとき、復号モードを抽出するために符号化された画像信号によって供給される。しかし、サブバンド毎の復号モードが固定的であるまたは予め決められているその他の実施形態において、復号モード決定器は、サブバンド毎のこの予め決められた復号モードの割り当てを使用するだけであり、符号化された画像信号を必要としない。したがって、符号化された画像信号と復号モード決定器700との間の接続は、任意性を示すために破線として示される。結果として、ブロック700に通じる、「予め決められたサブバンド復号モードの割り当て」と付された矢印も、破線で示される。
【００５５】
図8aは、図6においてもGCLI符号化のためのエンコーダ660に接続されるものとして示された符号化モード決定器640の好ましい実装を示す。モード決定器640は、係数の組が属する対応するサブバンドに基づいて係数の組のための第1の符号化モードおよび第2の符号化モードを決定するように構成される。この手順が、図8aにおいてブロック802および804に示される。例示的なサブバンド毎の符号化モードの割り当てが、例示的な9つのサブバンド101、102、103、104、105、106、107、108、109の各々に関して図5に示される。特に、サブバンド101、104は、GCLIデータの符号化のために水平方向の予測モードに依拠し、その他のサブバンド102、103、105、106、107、108、109は、サブバンド毎の垂直方向の予測モードに依拠する。
【００５６】
代替的な実施形態において、モード決定器640によって実行されるサブバンドのための符号化モードの決定は、図8bに示されるように実行される。特に、モード決定器640は、第1のプリシンクト、および第1のプリシンクト内の係数の第1の組、ならびに第1の符号化モードのための第1のビットバジェットを計算すること(810)によって第1の符号化モードおよび第2の符号化モードを決定するように構成される。さらに、モード決定器640は、第1のプリシンクト、および係数の第1の組のための、ただし、今度は第2の符号化モードのための第2のビットバジェットを計算する(812)。ブロック810、812によって計算された第1のビットバジェットと第2のビットバジェットとの両方が、第1のプリシンクトの係数の第1の組のための符号化モードを選択する(814)ためにモード決定器640によって使用される。それから、図6の出力インターフェース680によって実行されるステップ816において、係数の第1の組のために選択された符号化モードの指示が、符号化された画像信号に含められる。これも、図6の破線660によって示される。3つ以上の符号化モードの場合、それに応じて、上述のステップが繰り返される。
【００５７】
図4は、サブバンド毎のサブバンド適応予測方式のブロック図のさらなる実装を示す。
【００５８】
図4は、対応するブロック図を示す。周波数変換400の出力は、バジェット計算ブロック410〜414に送信される前に任意で予め量子化される(402)。バジェット計算ブロック410〜414は、あらゆるサブバンドに関して、ならびにあらゆる可能なGTLI(切り捨て点)およびあらゆる関連する予測方法に関して、符号化するプリシンクトの所与のサブバンドのための必要とされるバジェットを計算する。
【００５９】
この情報によってサポートされるので、予測モードセレクタ421〜425は、あらゆるサブバンドおよびあらゆる可能な切り捨て点に関して、使用すべき最良の予測方法を選択する。概して、これは、GCLIを符号化するための最小の結果として得られるビットバジェットを有する予測方法を選択することによって行われる。代替的に、以前のデータに基づくヒューリスティック(heuristic)が、使用され得る。
【００６０】
それから、この情報は、レート制御430に転送され、レート制御430は、利用可能なレート情報を組み合わせ、あらゆるサブバンドの切り捨て点を選択する。そして、選択された切り捨て点に関して予測モードセレクタ421〜425によって決定された予測方法を使用して、符号化が実行される。
【００６１】
デコーダが画像を適切に復号することを可能にするために、対応するシグナリング情報(図1の660)が、ビットストリームに含められ、あらゆるサブバンドに関して選択された予測方式についてデコーダに知らせる。このシグナリング情報がプリシンクトのサブバンドの粒度でのみ必要とされ、このシグナリングのために少ない数のビットが必要とされるとすれば、符号化効率に対する影響は無視され得る。
【００６２】
図8cは、モード決定器640のさらなる実装を示す。モード決定器は、図4のブロック410から414に対応するサブバンドバジェット計算器と、図4のブロック421〜425に応答するための予測モードセレクタと、バジェットコンバイナ431と、切り捨て点セレクタ432とを含み、バジェットコンバイナ431と切り捨て点セレクタ432との両方は、一緒に、図4の430に示されたレート制御を形成する。
【００６３】
特に、サブバンドバジェット計算器410から414は、(1)あらゆるサブバンド、(2)あらゆる切り捨て点(GTLI)、および(3)あらゆるGCLI符号化モードに関して、ビットまたは概してデータバジェットを計算する。したがって、たとえば、2つのサブバンド、5つの異なる切り捨て点、および3つの異なるGCLI符号化モードが存在するとき、ブロック410〜414、すなわち、サブバンドバジェット計算器は、異なるデータバジェットを計算する(30)。これは、サブバンドID、GCLIの識別情報、および符号化モードの識別情報からなる、ブロック410〜414への入力によって示される。
【００６４】
サブバンドバジェット計算器の結果に基づいて、予測モードセレクタは、(1)あらゆるサブバンドに関して、および(2)あらゆる切り捨て点(GTLI)に関して、ならびに特に、今度は、選択されたGCLI符号化モードに関して、ビットまたは概してデータバジェットを生成する。選択されたGCLI符号化モードは、考慮される切り捨て点に依存する可能性があることに留意されたい。サブバンド毎および切り捨て点毎の選択されたGCLI符号化モードが、やはり図6に示される線660を介して予測モードセレクタによって出力される。したがって、上の例のためにサブバンドバジェット計算器によって生成された元の30個の値から、最良の予測モードを使用して、または概して、選択されたGCLI符号化モードを使用して取得される10個のビット/データバジェット値が現在のところ残っている。
【００６５】
ここで、これらの例示的な10個の値が、あらゆる切り捨て点に関して個々のサブバンド毎のバジェット値を組み合わせることによって、あらゆる切り捨て点に関してプリシンクトに関する完全なビット/データバジェットを計算するバジェットコンバイナ431によって受け取られる。したがって、この例に関して、バジェットコンバイナ431は、最終的に、5つの異なる可能な切り捨て点に関する5つの異なるバジェット値を出力する。そして、これらの5つの異なるバジェット値の中で、切り捨て点セレクタ432は、プリシンクトに関する許されるバジェットに合っているバジェット値に関連する切り捨て点を選択する。
次に、各サブバンドのために選択された切り捨て点が、利用可能なビットバジェットを超えることなく視覚的に重要なサブバンドに関する切り捨てを少なくすることによって改善される。
【００６６】
したがって、プリシンクトのあらゆるサブバンドに関する切り捨て点が、取得され、それらの切り捨て点は、図2aに例示的に示された各係数に関するビットプレーンデータを量子化するかまたは切り捨てるために図8dの量子化器624によって現在のところ使用され、このデータは、切り捨てられていないデータとしてRAWデータバッファに記憶される。ここで、各サブバンド/プリシンクトに関するおよび例示的に各色に関する選択された切り捨て点に基づいて、各色に関する切り捨てられたまたは量子化されたRAWデータまたはビットプレーンデータが、取得される。この状況に応じて、各色に関して個々に切り捨て点が計算されることが可能であり、またはすべての色に関して単一の切り捨て点が計算されることが可能であり、またはたとえば、プリシンクト内の常に2つのサブバンドを参照して、プリシンクトに関する2つの切り捨て点が計算されることさえ可能である。したがって、プリシンクトがたとえば10個のサブバンドを有するとき、そのようなプリシンクトに関して5つの異なる切り捨て点が存在する。
【００６７】
図9は、図8dに関連して示された機能のさらなる実装を示す。図8cにおいてブロック431および432によって示されたGTLI決定器が、係数のグループ毎のGTLI、または係数の組に関して(サブバンド毎)などの好ましくはより高い粒度によるGTLI、またはプリシンクト毎に単一のGTLIを生成する。そして、このデータに基づいて、係数は、量子化された係数を出力するために量子化器624によって量子化される。
【００６８】
図10は、2つのサブバンドのみからなるプリシンクトの例示的な実装を示し、第1のサブバンドの係数の第1の組が、1001に示され、第2のサブバンドの係数の第2の組が、1002に示され、係数の第1の組は、たとえば、グループ1011および1012を有し、係数の第2の組は、グループ1013および1014を有する。
【００６９】
好ましくは、1つのグループ内で4つの係数が使用され、4つの係数の各グループに関してGCLI値が計算され、係数の各組に関して、つまり、サブバンド全体に関してGTLIが計算されるか、または各プリシンクトに関して、つまり、両方の組1001および1002のすべての係数に関して単一のGTLI値が計算される。既に前に概説されたように、プリシンクトは、概して、第1のサブバンドの係数データ、第2のサブバンドの係数データ、…第nのサブバンドの係数データを含み、すべてのサブバンドは、画像の同じ空間領域に関連する。
【００７０】
図11は、符号化された画像信号の例示的な表現を示す。符号化された画像信号は、全体が「シグナリング情報」として示される第1のサブバンドおよび第2のサブバンドに関する復号モードの指示1101および1102を含む。さらに、図11に示される画像データは、1103に示される符号化された画像データおよび符号化されたGCLIデータを含む符号化されたデータを含む。さらに、符号化された画像信号は、図11において1104に示されるヘッダデータを含むヘッダを含む可能性がある。符号化された画像信号は図11においてシリアルストリームとして示されるが、符号化された画像データは、任意のデータフォーマットであることが可能である。
【００７１】
2.1  シグナリング方法
あらゆるサブバンドに関して使用された予測方法を信号で伝えるための多くの異なる可能性が、存在する。たとえば、帯域幅は実際の符号化されるGCLIの量と比較して通常無視され得るので、サブバンド毎に方法を信号で伝えるためにRAWビットが使用され得る。したがって、目標とされる圧縮比がより重要であるとき、およびシグナリングのバジェットがより重大になり始めるとき、可変ビットが使用され得る。
【００７２】
2.2  計算負荷の削減
一方では、前の節で提示された方法は、圧縮効率を改善する。他方では、前の節で提示された方法は、サブバンド毎の別々のレジスタがバジェット計算のために設けられる必要があるので、必要とされるハードウェアレジスタの記憶空間をわずかに増やす。すべてのサブバンドが同じ予測方法を使用しているならば、これらのレジスタは、場合によっては単一のレジスタへと組み合わされ得る。
【００７３】
この問題を補うために、上述の方法によってもたらされる符号化利得が概ね少ない数のサブバンドに由来することに留意することが重要である。言い換えると、図3に示されたプリシンクトのサブバンドのサブセットが重大な符号化効率を損なうことなく同じ予測方法を使用し、サブバンドの小さなサブセットのみがその他のサブバンドから独立して独自の予測方法を選択することができると、前もって判断することが可能である。
【００７４】
これらによって、提案される方法の高められた符号化効率を引き続き利用しながら、ハードウェアの負担の増加が抑えられ得る。同時に、デコーダにおいて正しい予測方法を選択するためのシグナリングのオーバーヘッドが、削減され得る。
【００７５】
3  削減されたエンコーダの複雑さのための固定の予測方式
1.4.2節において説明された方法は、プリシンクトのすべてのサブバンドが同じ予測方法を使用する必要はないという点で最新技術である特許文献2から外れた。画像の内容への予測方式の動的な適応を可能にすることによって、より高い符号化効率が実現され得る。
【００７６】
代替的に、プリシンクトのサブバンドの間で異なる予測方式を引き続き可能にしながら、予測方式が、あらゆるサブバンドに関して固定されることが可能である。これらによって、探索空間が削減され得る。
【００７７】
図5は、対応する例を示す。その例は、特定のサブバンドに属する係数が、常に、同じ予測方式によって予測されると想定する。異なるサブバンドに属する係数は、異なる予測方式を使用することができる。
【００７８】
そのような方法を使用することは、あらゆるサブバンドに関して、どの予測方法を使用すべきかが明らかであり、したがって、異なる予測方法に関するバジェットを計算し、それから最小のバジェットを有する予測方法を使用する必要がないので、エンコーダにおける探索空間が削減されるという利点をもたらす。
【００７９】
そのような方式を使用することは1.4.2節において説明された方法のまたは完全に適応的なもしくは部分的に適応的な符号化モードの選択の符号化性能をもたらさないが、そのような方式は、2つの予測方法に関するバジェットを計算する必要なしに、プリシンクトの粒度で水平方向の予測と垂直方向の予測の間の選択をする最新技術の方法に近付く。言い換えると、そのような方式は、削減された複雑さで同様の符号化効率を提供する。
【００８０】
図12は、図5の固定の予測方式または図4の完全に適応的な予測方式の中間にある手順を示す。図12の手順は、部分的に固定的であり、部分的に適応的である。この状況で、符号化された画像信号は、2つの最も低いサブバンド101および102に関してのみなど、サブバンドのサブグループに関するシグナリング情報のみを含み、その他のサブバンドのための復号モードは、予め決められた規則を使用して、つまり、たとえば、図5に示された割り当てに沿ってサブバンド103〜109に関して決定される。したがって、ブロック700に示された図7の復号モード決定器は、符号化された画像信号からサブグループに関するシグナリング情報を抽出し(1201)、それから、抽出された情報に基づいてプリシンクトのサブバンドのサブグループのための復号モードを決定する(1203)ように構成される。さらに、復号モード決定器700は、予め決められた規則を使用してブロック1201によって処理されたサブグループに含まれないその他のサブバンドのための復号モードを決定する(1205)ように構成される。したがって、ブロック1205の手順の後に、復号モード決定器は、すべてのサブバンド(プリシンクトに関する係数の組)のための復号モードを有する。
【００８１】
図12のこの「混合の」実装において、エンコーダの手順は、図8bおよび図8cに関連して示された動作がサブバンドのサブグループに関してのみ実行され、図8aに示された手順がその他のサブバンドに関して実行されるようなものである。したがって、エンコーダの複雑さが、完全に適応的な手順に対して削減されるが、それにもかかわらず、適応性が、少なくともいくつかのサブバンドに関して維持される。
【００８２】
図13は、特定のグローバルなブロックの図式化された協力によって画像データエンコーダの好ましい実装を示す。図14は、図13のエンコーダまたは別のエンコーダと協力することができるデコーダの対応する図を示す。
【００８３】
図13の色変換1300は、RGB色情報の相関を取り除く、損失のないおよび損失のある圧縮のために使用される可逆整数-整数変換である。順方向の可逆色変換RCTは、Y、U、Vデータまたは同様の色空間をもたらす。この変換の後、各色成分は、互いに独立して処理され得る。YCbCr画像データの場合、色変換1300は、色成分が既に相関を取り除かれているので回避される。
【００８４】
図14のブロック1430は、Y、U、Vデータを、出力信号として、たとえば、RGB色信号に戻すように計算するための逆方向の色変換を示す。
【００８５】
図13のブロック400は、離散ウェーブレット変換を示し、それに対応して、デコーダのブロック1420は、離散逆ウェーブレット変換を示す。離散ウェーブレット変換(DWT)は、信号の良好な相関の除去を保証する空間-周波数表現を提供する。概して、ウェーブレット変換の出力係数は、2つの相補的表現で符号化される。エントロピー符号化を目的として、これらの値は、符号および絶対値表現を実装するように変換される。これが、図13のブロック1310によって示され、対応する逆演算が、図14のブロック1410によって示される。正のデータは、それらのデータが両方の方法で同一に表現されるので修正される必要がない。負のサンプルは、「1」だけインクリメントされる前に反転されることになる。
【００８６】
ブロック600、660、661、430、431、432、624によって示された手順によって実行されるエントロピー符号化は、概して、ブロック固定長符号化(block fixed length coding)に基づき、ブロック固定長符号化に加えて、より高い符号化効率を保証するためのいくつか最適化が、もたらされている。好ましい実装は、ビットストリームをパッキングするまで出力ウェーブレットデータを手つかずのままにしておき、これは、たとえば、RAWデータバッファ622を示す図8dに関連して示される。インデックス(GCLI)のストリームのみが、処理リソースを必要とする。ウェーブレットのサブバンドの係数は、4つのサンプルのサブセットへとグループ化される。各サブセットは、ビットプレーン表現で見られる。各サブセットに関して、最大符号化ラインインデックス(GCLI)が見つけられる。GCLIは、図2aに示されるように、最も上位のヌルでないビットプレーンのインデックスである。サブセット内に少なくとも1つのヌルでないビットプレーンが存在する場合(0より大きいGCLI)、サブセットのヌルでないビットプレーンが、出力ストリームにそのままコピーされる。代替的に、それらのヌルでないビットプレーンは、出力ストリームにコピーされる前に、まず、量子化を改善するために処理されることが可能である。バッファは、出力ストリームをパッキングする前にすべてのRAWデータを記憶し、データのどの部分が出力ストリームのために適切であるかを判断するためにレート割り当てを考慮に入れる。GCLIインデックスは、RAWデータの上流でさらに圧縮され、パッキングされる。GCLIの2つのサブバンドのラインの間で、垂直方向の予測が実行される。結果は、GCLI値と、前に符号化されたラインの係数の同じサブセットのGCLI値との間の差である。
【００８７】
予測された予測値が、その後、図13においてエントロピーコーダブロック661の近くに示された1進符号化方法に従って符号化される。表は、GCLI符号化のための単純な符号付き1進可変長符号を示す。そのような1進符号は、場合によっては何らかのコンテキスト情報に応じて、特定の可変長符号を各シンボルに関連付ける。したがって、図13の1進符号は1つの可能な解決策を表すが、たとえば、0を1によって置き換えることおよびその逆の置き換えをすることによって、代替的な1進符号の方式も可能である。1つのそのような代替的な1進符号の方式が、非特許文献5に説明されており、代替的に、正のおよび負の予測残差を符号化する。GCLIは、水平方向にも予測される。そのとき、符号化されたシンボルは、GCLI値と、同じラインおよび同じウェーブレットのサブバンドに属する前に符号化されたGCLIの値との間の差である。
【００８８】
RAWモードに加えてまたはRAWモードの代わりに、その他の予測モードも可能である。データおよびGCLIの予測された値は、レート割り当てメカニズムによって切り捨てられる。係数のグループ化は、圧縮方式の効率とシステムの複雑さとの間のトレードオフをもたらす。各サブセット内の係数の数は、その数が高スループットのための圧縮効率とハードウェアの複雑さとの間の最良のトレードオフを提供するので、前に選択済みである。
【００８９】
それらが符号化されると、あらゆる符号化ユニットの出力が、一緒にパッキングされる。例示的な手順が、図15に示される。特に、図15は、GTLIバッファ1501、GCLIバッファ1502、水平方向の予測モード計算器1503、垂直方向の予測モード計算器1504、およびRAWモードプロセッサ1505を示す。さらに、図15は、たとえば、図13においてエントロピーコーダ661の近くに示された符号を実装する(1進)コーダを示し、図15は、符号化されたGCLIデータを生成するためのマルチプレクサ/データパッカ1506をさらに示す。特に、ブロック1503は、「現在の」GCLI値およびバッファ1502からの「過去の」GCLI値に基づいてΔ値を生成するために水平方向の予測モードを計算する。それに対応して、ブロック1504は、入力として受け取られた「現在の」GCLI値およびGCLIバッファ1502から受け取られた「過去の」GCLI値に基づいてΔ値をやはり計算する。用語「現在の」および「過去の」は、時間について言及しているのではなく、係数の特定のグループに関するサブバンド内の位置について言及している。そして、対応するΔ値が、(1進)符号化される。当然ながら、特定のサブバンドに関して、ブロック1503の結果か、またはブロック1504の結果か、またはブロック1505の結果かのいずれかが、符号化されたGCLIデータに入力される。GCLIに割り当てられるバジェットは、RAW符号化によって結びつけられ、つまり、好ましい実装においては、GCLI毎に最大で4ビットが存在することに留意されたい。さらに、1進符号によって生成されるデータはデコーダ側に連続したフローで到着しており、したがって、状態変数を予め計算することが可能である。したがって、これは、1進符号のストップビットのおかげでフィードバックループを抜け出すことを可能にする。
【００９０】
レート割り当ておよびGCLIパッキングプロセス中、ビットプレーンデータは、出力ストリームにパッキングされる前にバッファに記憶される。このバッファがコーデックシステムの大きなリソースのコストであるという事実のために、バッファをできるだけ小さく設計することが好ましく、最大でも10ラインだけ記憶する程度に小さいバッファで十分足りる可能性があることが、分かっている。
【００９１】
続いて、レート割り当てが、より詳細に検討される。特に、図16は、一方のエントロピーエンコーダと他方のレート割り当てとの間の協力を示し、レート割り当ては、データバジェットブロック1621、GCLIバジェットブロック1622、バジェット割り当てユニット1610、および図8cのブロック431、432に関連して上で検討されたレート割り当てコアを有する。さらに、図16は、図11のヘッダ1104に関連して既に検討されたように、パケタイザ680によって出力データストリームにやはりパケット化されるヘッダ1600の使用も示す。
【００９２】
レート割り当ては、プリシンクト単位で働く。プリシンクトは、同じ空間領域を形成する異なるサブバンドの周波数の中身をグループ化する。そのような空間領域は、たとえば、2ラインの高さを有し、画像の幅と同じ幅を有する。空間領域は、3つの構成要素に関して、低い垂直方向の周波数の5回の水平方向の分解の結果を含む6つのサブバンドと、高い垂直方向の周波数の1回の水平方向の分解の結果を含む2つのサブバンドとを含む。
【００９３】
レート割り当ては、残ビットプレーンがプリシンクトのビットプレーンのバジェットに収まり得るまで、決定されたサブバンドの最も下位のビットプレーンをトリミングすることによってプリシンクトデータを量子化する。このトリミング方針は、反復して適用され、各サブバンドのますます多くのビットプレーン徐々にトリミングする。トリミング方針の使用場面に基づいて、適切な「トリミング方針」を適用することができ、トリミング方針は、互いに対するサブバンドの重要性を決定する。レート割り当ては、より重要なサブバンドよりもより重要でないサブバンドにおいてより多くのビットプレーンをトリミングすることを選択する。レート割り当ては、定義された切り捨てシナリオに関するプリシンクトバジェット(precinct budget)を計算する。バジェットがプリシンクトバジェットに収まらない場合、レート割り当ては、すべてのサブバンドにおいてもう1つビットプレーンを削除する新しい切り捨てシナリオに関するバジェットを計算する。プリシンクトのサイズがプリシンクトバジェットに収まると、レート割り当ては、可能な改善を計算し、バジェットが再び超過されるまで、異なるサブバンドに異なる優先順位を関連付ける特定の優先規則によって定義された順序でサブバンド毎に1ビットプレーンを再び加える。これは、各サブバンドに関する最終的な切り捨てレベルをもたらす。
【００９４】
レート割り当ては、符号化されたプリシンクトのサイズがレートバジェットを超えないようにプリシンクトデータを量子化する。平均プリシンクトバジェットは、目標とされる符号ストリームサイズを画像のプリシンクトの数によって割った数に収まる。好ましくは、レート割り当て方針平均(rate allocation strategy average)は、画像に沿って切り捨てレベルを平滑化するための1対のプリシンクトに対するバジェットである。符号化されたプリシンクトは、3つの部分、すなわち、ヘッダ、符号化されたGCLI、およびRAWビットプレーンのデータを含む。ヘッダは、調整され得ない定義されたサイズを有する。レート割り当ては、量子化を増やすことによってRAWビットプレーンのデータ部分および符号化されたGCLI部分のサイズを小さくすることができる。RAWビットプレーンのバジェットは、RAWビットプレーンのデータを記憶するために利用可能なプリシンクトバジェットの一部である。最小符号ストリームサイズは、ヘッダおよび符号化されたGCLIのサイズ(0に等しいRAWビットプレーンのデータのサイズ)を生成することができる。
【００９５】
定義されたシナリオ改善ペア(scenario refinement pair)のためのRAWビットプレーンデータバジェットの計算は、小さな4ビットの数であるサンプルのGCLIを必要とする。さらに、4つのサンプルのグループに関して1つのGCLIを使用することは、バジェット計算のために処理すべき数の量を4分の1に削減する。プリシンクトの各グループのサイズが計算されると、総和が、特定の反復において合計のデータサイズを与える。GCLIデータバジェットに関しては、GCLIを記憶する複数の方法が存在し、レート割り当ては、概して、すべての方法に関してバジェットを計算し、最も適切な方法を選択する。データに関しては、符号化されたGCLIのバジェットが、たとえば、図15に示された(1進)コーダ661の出力に基づいて計算され得る。RAW GCLIの場合、バジェットは、最大で16データビットを有するとき、グループの数に4ビットを掛けたものである。プリシンクトのそれぞれの符号化されたGCLIのサイズが計算されると、総和が、特定の反復において合計のGCLIのサイズを与える。
【００９６】
図16のレート割り当てブロックは、GCLI(データ)値のストリームを入力として受け取り、ブロックは、パケタイザのためのGTLI情報を出力する。データバジェットブロック1621およびGCLIバジェットブロック1622は、(0から15までの)それぞれの可能なGTLIに関してデータ/GCLIを記憶するために必要とされるバジェットを計算する。好ましくは、図8dのGTLIトリマ624または量子化器624などの量子化器は、効率的な中心丸め(center-rounding)量子化を実行する。この目的で、特定の量子化ステップが計算され、次の変換が実行される。デコーダ側で、逆変換は、特定の逆変換の演算においてデータに対して量子化ステップを適用することからなる。しかし、効率的な中心丸め手順以外のその他の量子化器も、使用され得る。そして、レート割り当てブロックがプリシンクトの各サブバンドにおいてトリミングすべきビットプレーンの数を決定すると、RAWデータが、図8dのRAWデータバッファ622から読まれ、量子化され、出力ストリームにパッキングされる出力ストリームパケットに供給される。
【００９７】
デコーダ側で、GCLIデータは、データのアンパッキングの前に復号される。これは、ほとんど同じプロセスを逆に適用することを可能にする。
【００９８】
符号化のための装置に関連する添付の請求項は、適切な場合、復号のための装置にも当てはまることに留意されたい。
【００９９】
本発明がいくつかの実施形態を用いて説明されたが、本発明の範囲内に入る代替形態、変更形態、および均等物が存在する。本発明の方法および構成を実装する多くの代替的な方法が存在することにも、留意されたい。したがって、下の添付の請求項は、本発明の真の精神および範囲内にあるようなすべての代替形態、変更形態、および均等物を含むものと解釈されることが意図される。
【０１００】
いくつかの態様が装置の文脈で説明されたが、これらの態様が対応する方法の説明も示し、ブロックまたはデバイスが方法のステップまたは方法のステップの特徴に対応することは、明らかである。同じように、方法のステップの文脈で説明された態様は、対応する装置の対応するブロックもしくは物もしくは特徴の説明も示す。方法のステップの一部またはすべては、たとえば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって(またはそれを使用して)実行される可能性がある。一部の実施形態において、最も重要な方法のステップのある1つまたは複数は、そのような装置によって実行される可能性がある。
【０１０１】
本発明の符号化された画像信号は、デジタルストレージ媒体に記憶されることが可能であるか、またはワイヤレス送信媒体もしくはインターネットなどの有線送信媒体などの送信媒体上で送信されることが可能である。
【０１０２】
特定の実装の要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアに実装され得る。実装は、それぞれの方法が実行されるようにプログラミング可能なコンピュータシステムと協力する(または協力することができる)、電子的に読み取り可能な制御信号を記憶するデジタルストレージ媒体、たとえば、フロッピー(登録商標)ディスク、DVD、Blu-Ray(登録商標)、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して行われ得る。したがって、デジタルストレージ媒体は、コンピュータ可読である可能性がある。
【０１０３】
本発明による一部の実施形態は、本明細書において説明された方法のうちの1つが実行されるように、プログラミング可能なコンピュータシステムと協力することができる、電子的に読み取り可能な制御信号を有するデータ担体を含む。
【０１０４】
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装される可能性があり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの1つを実行するために働く。プログラムコードは、たとえば、機械可読担体上に記憶される可能性がある。
【０１０５】
その他の実施形態は、機械可読担体上に記憶される、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含む。
【０１０６】
言い換えると、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに本明細書において説明された方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１０７】
本発明の方法のさらなる実施形態は、したがって、記憶された、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含むデータ担体(またはデジタルストレージ媒体、もしくはコンピュータ可読媒体)である。データ担体、デジタルストレージ媒体、または記録された媒体は、概して有形であるおよび/または非一時的である。
【０１０８】
本発明の方法のさらなる実施形態は、したがって、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを介して転送されるように構成される可能性がある。
さらなる実施形態は、本明細書において説明された方法のうちの1つを実行するように構成されたまたは適合された処理手段、たとえば、コンピュータまたはプログラマブルロジックデバイスを含む。
【０１０９】
さらなる実施形態は、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをインストールされたコンピュータを含む。
【０１１０】
本発明によるさらなる実施形態は、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを受信機に(たとえば、電子的にまたは光学的に)転送するように構成された装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどである可能性がある。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを含む可能性がある。
【０１１１】
一部の実施形態においては、本明細書において説明された方法の機能の一部またはすべてを実行するために、プログラマブルロジックデバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用される可能性がある。一部の実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明された方法のうちの1つを実行するためにマイクロプロセッサと協力する可能性がある。概して、方法は、任意のハードウェア装置によって実行されることが好ましい。
【０１１２】
本明細書において説明された装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装される可能性がある。
【０１１３】
本明細書において説明された方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行される可能性がある。
【０１１４】
上述の実施形態は、本発明の原理を単に例示するに過ぎない。本明細書において説明された構成および詳細の修正および変更は当業者に明らかであろうことが、理解される。したがって、添付の特許請求項の範囲によってのみ限定がなされ、本明細書の実施形態の記載および説明によって提示された特定の詳細によって限定されないことが意図される。
【符号の説明】
【０１１５】
101，102，103，104，105，106，107，108，109  サブバンド
300  プリシンクト
301，302，303，304，305，306，307，308，309，310，311，312  ライン
400  周波数変換
402  事前量子化
410，411，412，413，414  バジェット計算ブロック、サブバンドバジェット計算器
421，422，423，424，425  予測モードセレクタ
430  レート制御
431  バジェットコンバイナ
432  切り捨て点セレクタ
600  プロセッサ
620  画像データ/係数エンコーダ
622  RAWデータバッファ
624  量子化器、GTLIトリマ
640  符号化モード決定器
660  エンコーダ
661  エントロピーコーダ
680  出力インターフェース、パケタイザ
690  サブバンド毎のGCLI符号化モード
700  復号モード決定器
720  デコーダ
721  GCLIバッファ
722  データバッファ
723  GCLIデコーダ
724  データデコーダ、逆量子化器
730  接続
1001  係数の第1の組
1002  係数の第2の組
1011，1012，1013，1014  グループ
1101  復号モードの指示
1102  復号モードの指示
1103  符号化されたデータ
1104  ヘッダ
1300  色変換
1310  符号-絶対値変換
1400  入力インターフェース
1410  逆符号-絶対値変換
1420  離散逆ウェーブレット変換
1430  逆色変換
1501  GTLIバッファ
1502  GCLIバッファ
1503  水平方向の予測モード計算器
1504  垂直方向の予測モード計算器
1505  RAWモードプロセッサ
1506  マルチプレクサ/データパッカ
1600  ヘッダ
1610  バジェット割り当てユニット
1621  データバジェットブロック
1622  GCLIバジェットブロック
1610  バジェット割り当てユニット
【図１】
0006828184.tif 000010
【図２ａ】
0006828184.tif 000011
【図２ｂ】
0006828184.tif 000012
【図２ｃ】
0006828184.tif 000013
【図２ｄ】
0006828184.tif 000014
【図３】
0006828184.tif 000015
【図４】
0006828184.tif 000016
【図５】
0006828184.tif 000017
【図６】
0006828184.tif 000018
【図７】
0006828184.tif 000019
【図８ａ】
0006828184.tif 000020
【図８ｂ】
0006828184.tif 000021
【図８ｃ】
0006828184.tif 000022
【図８ｄ】
0006828184.tif 000023
【図９】
0006828184.tif 000024
【図１０】
0006828184.tif 000025
【図１１】
0006828184.tif 000026
【図１２】
0006828184.tif 000027
【図１３】
0006828184.tif 000028
【図１４】
0006828184.tif 000029
【図１５】
0006828184.tif 000030
【図１６】
0006828184.tif 000031