(57)【要約】  本発明は、画素ブロックを符号化する方法であって、少なくとも現行ブロックの画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの画素毎に予測画素を求めるステップ（１０）と、予測画素により形成された予測ブロックを現行ブロックから抽出して残差ブロックを生成するステップ（１２）と、残差ブロックを符号化するステップ（１４）と、を含む方法に関する。本発明によれば、現行閾値が、現行ブロックの隣接再構成画素から求められる、あるいは、符号化される。
2013518456.tif 000002
【特許請求の範囲】
【請求項１】
現行ブロックと称される画素のブロックを空間予測によって符号化する方法であって、
少なくとも前記現行ブロックの画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの画素毎に予測画素を求めるステップ（１０）と、
予測画素により形成された予測ブロックを前記現行ブロックから抽出して残差ブロックを生成するステップ（１２）と、
前記残差ブロックを符号化するステップ（１４）と、を含み、
前記現行閾値が、前記現行ブロックの隣接再構成画素から求められる、あるいは、符号化されることを特徴とする、前記方法。
【請求項２】
前記現行ブロックの画素毎に予測画素を求めるステップは、複数の閾値のうちの各々の閾値を用いて繰り返され、前記方法は、前記現行ブロックと前記予測ブロックとの間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記現行閾値は予測閾値との差分だけ符号化され、前記予測閾値は前記現行ブロックの隣接再構成画素に依存している、請求項２に記載の方法。
【請求項４】
前記予測閾値は、前記現行ブロックの隣接ブロックにおいて使用される閾値の平均値に等しい、請求項３に記載の方法。
【請求項５】
前記予測閾値は、前記現行ブロックの隣接ブロックにおいて使用される閾値の中央値に等しい、請求項３に記載の方法。
【請求項６】
前記予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、予測閾値として選択するステップと、
によって求められる、請求項３に記載の方法。
【請求項７】
前記現行予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択するステップと、
によって求められる、請求項１に記載の方法。
【請求項８】
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する各予測画素との間で計算される前記予測誤差は、前記現行ブロックの前記隣接領域の前記再構成画素毎に、前記現行ブロックの境界に対する再構成画素の距離を考慮に入れる、請求項６又は請求項７に記載の方法。
【請求項９】
前記現行閾値が８×８のサイズの現行ブロックについて選択され、前記選択した現行閾値に１より絶対に小さい係数αを乗算することによって、前記現行ブロックの４×４のサイズの各ブロックの各々について現行閾値が計算される、請求項２から８のいずれか１項に記載の方法。
【請求項１０】
前記ウィンドウのサイズが、予測対象の画素の、前記現行ブロック内での位置に依存している、請求項１から５のいずれか１項に記載の方法。
【請求項１１】
画素からなる現行ブロックを空間予測によって復号する方法であって、
残差ブロックを復号するステップ（２０）と、
前記現行ブロックの少なくとも前記画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの画素毎に予測画素を求めるステップ（２２）と、
前記復号された残差ブロックと前記予測画素によって形成される前記予測ブロックとをマージすることによって、前記現行ブロックを再構成するステップ（２４）と、を含み、
前記現行閾値が前記現行ブロックの隣接再構成画素から求められることを特徴とする、前記方法。
【請求項１２】
前記現行予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択するステップと、
によって求められる、請求項１１に記載の方法。
【請求項１３】
閾値の差分を復号するステップと、
前記現行ブロックの隣接再構成画素から予測閾値を求めるステップと、
前記差分と前記予測閾値との和を計算するステップと、を更に含み、
前記和が前記現行閾値である、請求項１１に記載の方法。
【請求項１４】
前記予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域の再構成画素毎に予測画素を求めるステップと、
前記隣接領域の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、予測閾値として選択するステップと、
によって求められる、請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化の全般的な分野に関する。
【０００２】
更に具体的には、本発明は、画像のブロックを符号化する方法、及び、復号する方法に関する。
【背景技術】
【０００３】
画像を画素の複数のブロックに分割し、これらのブロックの各々を、空間予測（イントラ・モード）又は時間予測（インター・モード）によって符号化することで、画像シーケンスの画像を符号化することが当業者に知られている。現行ブロックの符号化は、現行ブロックの画素と予測ブロックの画素との間の差分を、例えばＤＣＴ（離散コサイン変換）によって、係数のブロックに変換することを一般に含む。この符号化は、係数を量子化し、量子化した係数をエントロピー符号化することを更に含む。
【０００４】
イントラ・モード、すなわち、前に符号化された空間的に隣接するブロックの画像データから現行ブロックを予測する空間予測によって現行ブロックを符号化することは、当業者に知られている。例えば、Ｈ．２６４ビデオ符号化規格においては、現行ブロックの上側に、あるいは、現行ブロックの左側に位置する画素から現行ブロックを予測することが知られている。更に具体的には、現行ブロックの画素は、望ましい予測方向（例えば水平方向、垂直方向等）で現行ブロックに隣接する画素の線形結合（ｌｉｎｅａｒ  ｃｏｍｂｉｎａｔｉｏｎ）によって予測される。予測画素、すなわち、現行ブロックに隣接する画素の線形結合から得られる予測画素が、予測ブロックを形成する。この予測方法は、予測対象の現行ブロックが輪郭を含む場合に、特に効率的である。実際、オブジェクトの境界がＨ．２６４規格で定められた予測方向の１つに対応しているならば、輪郭は、実際、予測対象の現行ブロックにおいて単一方向に拡がる。しかしながら、２次元の構造がある場合、この予測方法は、その効率性を失う。
【発明の概要】
【０００５】
本発明の目的は、従来技術の少なくとも１つの欠点を解消することである。この目的のため、本発明は、現行ブロックと称される画素ブロックを空間予測によって符号化する方法に関する。本発明による符号化方法は、
少なくとも現行ブロックの画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの画素毎に予測画素を求めるステップと、
予測画素により形成された予測ブロックを現行ブロックから抽出して残差ブロックを生成するステップと、
残差ブロックを符号化するステップと、
を含む。有利なことに、現行閾値は、現行ブロックの隣接再構成画素から求められる、あるいは、符号化される。現行閾値を、現行ブロックの隣接再構成画素から求め、あるいは、符号化する点において、符号化効率が向上する。
【０００６】
特定の実施態様によれば、現行ブロックの画素毎に予測画素を求めるステップは、複数の閾値のうちの各々の閾値を用いて繰り返される。この方法は、現行ブロックと予測ブロックとの間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、現行閾値として選択するステップを更に含む。
【０００７】
本発明の特定の態様によれば、現行閾値は予測閾値との差分だけ符号化され、予測閾値は現行ブロックの隣接再構成画素に依存している。
【０００８】
特定の特徴によれば、予測閾値は、現行ブロックの隣接ブロックにおいて使用される閾値の平均値に等しい。
【０００９】
第１の変形実施形態によれば、予測閾値は、現行ブロックの隣接ブロックにおいて使用される閾値の中央値に等しい。
【００１０】
第２の変形実施形態によれば、予測閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、予測閾値として選択するステップと、
によって求められる。
【００１１】
別の実施態様によれば、現行閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、現行閾値として選択するステップと、
によって求められる。
【００１２】
有利なことに、現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差は、現行ブロックの隣接領域の再構成画素毎に、現行ブロックの境界に対する再構成画素の距離を考慮に入れる。
【００１３】
本発明の別の態様によれば、現行閾値が８×８のサイズの現行ブロックについて選択され、この選択した現行閾値に１より絶対に小さい係数αを乗算することによって、現行ブロックの４×４のサイズの各ブロックの各々について現行閾値が計算される。
【００１４】
有利なことに、ウィンドウのサイズが、予測対象の画素の、現行ブロック内での位置に依存している。
【００１５】
また、本発明は、画素からなる現行ブロックを空間予測によって復号する方法であって、
残差ブロックを復号するステップと、
現行ブロックの少なくとも画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの画素毎に予測画素を求めるステップと、
復号された残差ブロックと予測画素によって形成される予測ブロックとをマージすることによって、現行ブロックを再構成するステップと、を含む方法に関する。
有利なことに、現行閾値は現行ブロックの隣接再構成画素から求められる。
【００１６】
特定の実施態様によれば、現行閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、現行閾値として選択するステップと、
によって求められる。
【００１７】
別の特定の実施態様によれば、本発明による復号方法は、
閾値の差分を復号するステップと、
現行ブロックの隣接再構成画素から予測閾値を求めるステップと、
差分と予測閾値との和を計算するステップと、
を更に含み、和が現行閾値である。
【００１８】
有利なことに、予測閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域の再構成画素毎に予測画素を求めるステップと、
隣接領域の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、予測閾値として選択するステップと、
によって求められる。
【図面の簡単な説明】
【００１９】
本発明は、以下の添付図面を参照しつつ、本発明を決して制限しない各実施例と有益な実施形態によって、より良く理解され、実証されるであろう。
【図１】本発明による符号化方法を示す図である。
【図２】予測対象のブロックと、このブロックの予測に使用されるウィンドウとを含む画像部分を示す図である。
【図３】本発明による符号化方法のステップの詳細を示す図である。
【図４】本発明による符号化方法のステップの詳細を示す図である。
【図５】予測対象のブロックと、このブロックの予測に使用される別の各ウィンドウとを含む画像部分を示す図である。
【図６】予測対象のブロックと、このブロックの予測に使用される別の各ウィンドウとを含む画像部分を示す図である。
【図７】予測対象のブロックと、このブロックに隣接する因果ゾーンＺｃと、この因果ゾーンの画素の予測に使用するウィンドウとを含む画像部分を示す図である。
【図８】本発明による復号方法を示す図である。
【図９】本発明による符号化装置を例示する図である。
【図１０】本発明による復号装置を示す図である。
【発明を実施するための形態】
【００２０】
画像は、各々が画像データの少なくとも１つの項目に関連付けられた画素（ｐｉｘｅｌｓ）または像点（ｉｍａｇｅ  ｐｏｉｎｔｓ）を含んでいる。画像データの項目は、例えば、ルミナンス・データの項目、あるいは、クロミナンス・データの項目である。
【００２１】
「残差」という用語は、他のデータの抽出の結果得られたデータを意味する。この抽出は、一般的には、ソース画素から予測画素を減算することである。しかしながら、この抽出は、より一般的なものであり、特に、重み付けされた減算を含む。
【００２２】
「再構成」という用語は、残差を予測データとマージした後に得られるデータ（例えば、画素、ブロック）を意味する。このマージは、一般的に、残差予測画素の合計である。しかしながら、このマージは、より一般的なものであり、特に、重み付けされた合計を含む。再構成ブロックは、再構成画素のブロックである。
【００２３】
画像復号に関して、「再構成」という用語と「復号」という用語とが、同義語として、非常によく使用される。従って、「再構成ブロック」は、「復号ブロック」という用語の意味でもある。
【００２４】
本発明は、現行ブロックと称される画素のブロックを空間予測によって符号化する方法に関する。これは、画像あるいは画像シーケンスの符号化に適用される。本発明に従う符号化方法は、２００６年３月発行のＩＥＥＥ会報第５巻第３版の５３９頁〜５７１頁の「画像処理」についてのＧｕｌｅｒｙｕｚ、Ｏ．Ｇ．氏の「Ｎｏｎｌｉｎｅａｒ  ａｐｐｒｏｘｉｍａｔｉｏｎ  ｂａｓｅｄ  ｉｍａｇｅ  ｒｅｃｏｖｅｒｙ  ｕｓｉｎｇ  ａｄａｐｔｉｖｅ  ｓｐａｒｓｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎｓ  ａｎｄ  ｉｔｅｒａｔｅｄ  ｄｅｎｏｉｓｉｎｇ（適応型分散再構成と反復ノイズ除去とによるノンリニア近似ベースの画像復元）」という表題の文献に記載された信号外挿方法に基づいている。元来、この外挿方法は、エラーをマスキングする目的で使用されていた。
【００２５】
図１を参照して、本発明による画像の現行ブロックを符号化する方法を説明する。
【００２６】
ステップ１０において、予測画素が、現行ブロックの各々の画素について求められる（決定される）。予測画素は、現行ブロックの予測ブロックを形成する。予測画素は、少なくとも予測対象の現行ブロックの画素をカバーしているウィンドウ上に適用された変換により得られる係数を、現行の閾値で閾値処理することによって得られる。このウィンドウは、変換のサポートに相当する。ここで使用される変換は、例えば、ＤＣＴである。しかしながら、本発明は、これに限定されない。離散フーリエ変換のような他の変換も適用できる。本発明によれば、現行閾値は、現行ブロックの隣接する再構成画素から求められ、あるいは、符号化される。現行ブロックの隣接する再構成画素から現行の閾値値を求め、あるいは、符号化する点において、符号化の効率が向上する。
【００２７】
ステップ１２において、予測画素から形成された予測ブロックが現行ブロックから抽出されて、残差ブロックが生成される。
【００２８】
ステップ１４において、残差ブロックがストリームＳに符号化される。例えば、残差ブロックは、例えばＤＣＴ又はウェーブレット変換によって量子化された係数ブロックに変換され、次いで、エントロピー符号化によって符号化される。別の実施形態によれば、残差ブロックは、ただ量子化だけされて、次いで、エントロピー符号化によって符号化される。
【００２９】
図２及び図３を参照して、予測画素を求めるステップ１０について更に詳しく説明する。図２において、予測画素
【数１】
2013518456.tif 000003
は、予測対象の現行ブロックＢの一番左上の画素に対応している。図２において、×印によって識別される画素は、既知の画素、即ち、再構成されたものである。画素
【数２】
2013518456.tif 000004
の予測は、この画素の環境（周囲の状況）を表す値をこの画素に与えるために行われる。ウィンドウＦは、その初期の位置Ｆ0,0において、少なくとも予測対象の画素
【数３】
2013518456.tif 000005
をカバーする。ステップ１０における変換が適用されるのは、このウィンドウ上である。
【００３０】
ステップ１００において、初期値が、画素
【数４】
2013518456.tif 000006
に割り当てられる。簡単な例として、隣接する画素から得られる平均値が、画素
【数５】
2013518456.tif 000007
に割り当てられる。この値は、
【数６】
2013518456.tif 000008
として表される。別の実施形態によれば、画素ａ、ｂ及びｃのメジアン（中央値）が、画素
【数７】
2013518456.tif 000009
に割り当てられる。更に別の実施形態によれば、ａ、ｂ及びｃのうちの１つの値が、画素
【数８】
2013518456.tif 000010
に割り当てられる。他の実施形態によれば、画素
【数９】
2013518456.tif 000011
の因果隣接領域内に位置する他の画素を考慮に入れて、画素
【数１０】
2013518456.tif 000012
の初期値を求める。現行画素の因果隣接領域は、現行画素の符号化（それぞれの復号）中に既に再構成されている現行画像の画素群を含む。
【００３１】
ステップ１１０において、変換がウィンドウＦの各画素に適用される。その結果、これらの画素は係数に変換される。
【００３２】
ステップ１２０において、係数は、変換された領域（ドメイン）で、閾値thoptにより閾値処理される。この閾値処理は、ノイズを除去して、有効な係数のみを保持する効果を有する。
【００３３】
ステップ１３０において、ステップ１２０で適用された変換の逆変換を適用して、画素領域（画素ドメイン）に戻し、これによって、
【数１１】
2013518456.tif 000013
として表される新たな予測画素値を復元する。ナル値の
【数１２】
2013518456.tif 000014
より大きいインデックスは、ウィンドウＦの初期位置に対する、行及び列におけるウィンドウＦのナル・オフセットに対応している。
【００３４】
図４及び図５を参照すると、図３を参照して説明したのと同じ方法がウィンドウＦのオフセットについて適用され、現行ブロックＢの他の画素についての予測画素が求められる。画素
【数１３】
2013518456.tif 000015
から画素
【数１４】
2013518456.tif 000016
が、反復的に予測される。画素
【数１５】
2013518456.tif 000017
の直ぐ右の現行ブロックの画素に対応する予測画素
【数１６】
2013518456.tif 000018
を求めるために、ウィンドウＦが、図３におけるウィンドウの位置Ｆ0,0に対して、右に１画素だけオフセットされる。図５において、ａ、ｂ及びｃは、それぞれ、予測対象の画素
【数１７】
2013518456.tif 000019
の左側、上側及び対角線上に位置する、画素
【数１８】
2013518456.tif 000020
の隣接再構成画素であり、ａは、この場合、更に具体的には、前に内挿された画素
【数１９】
2013518456.tif 000021
の値に等しい。
【００３５】
別の実施形態に従えば、位置Ｆ0,0に在るウィンドウＦが、右に２画素だけオフセットされ、即ち、位置Ｆ0,2に来る。この場合、２番目の反復（ｉｔｅｒａｔｉｏｎ）で、画素
【数２０】
2013518456.tif 000022
と画素
【数２１】
2013518456.tif 000023
とが予測される。更に一般的には、ウィンドウＦは、ｍ画素内ではｍ画素だけオフセットできる。予測があまり劣化しないように、ｍの値は小さいままであることが有利である。
【００３６】
ステップ１００において、隣接画素からの平均値が
【数２２】
2013518456.tif 000024
に割り当てられる。例えば、値
【数２３】
2013518456.tif 000025
が割り当てられる。この値は、
【数２４】
2013518456.tif 000026
として表される。画素
【数２５】
2013518456.tif 000027
に関してステップ１００について前述した実施形態も適用できる。
【００３７】
ステップ１１０において、変換が、ウィンドウＦ0,1の各画素に適用される。その結果、これらの画素は係数に変換される。
【００３８】
ステップ１２０において、係数は、変換された領域（ドメイン）で、閾値thoptにより閾値処理される。この閾値処理は、ノイズを除去して、有効な係数のみを保持する効果を有する。
【００３９】
ステップ１３０において、ステップ１１０で適用された変換の逆変換を適用して、画素領域（画素ドメイン）に戻し、これによって、
【数２６】
2013518456.tif 000028
として表される新たな予測画素値を復元する。
【数２７】
2013518456.tif 000029
より大きいインデックスは、行における０と列における１のウィンドウＦのオフセットに対応している。図５に示されているように、画素
【数２８】
2013518456.tif 000030
は、位置Ｆ0,1のウィンドウ内に含まれている。従って、予測画素
【数２９】
2013518456.tif 000031
の計算中に、新たな値が、画素
【数３０】
2013518456.tif 000032
についても計算される。実際、逆変換中に、値
【数３１】
2013518456.tif 000033
が画素
【数３２】
2013518456.tif 000034
に割り当てられる。この値
【数３３】
2013518456.tif 000035
は、ウィンドウＦがオフセットされていない（ウィンドウがＦ0,0に在る）時の先行する反復において計算された値
【数３４】
2013518456.tif 000036
と異なり得る。画素
【数３５】
2013518456.tif 000037
について計算されたこれらの２つの値、即ち、ウィンドウＦのナル・オフセットについて先行する反復において得られた値
【数３６】
2013518456.tif 000038
と、行における０と列における１のオフセットについて現行の反復で得られる値
【数３７】
2013518456.tif 000039
とを考慮に入れるために、新たな値が予測画素
【数３８】
2013518456.tif 000040
に割り当てられる。この新たな値は、
【数３９】
2013518456.tif 000041
として表され、例えば、２つの値
【数４０】
2013518456.tif 000042
と
【数４１】
2013518456.tif 000043
との平均値、即ち、
【数４２】
2013518456.tif 000044
に等しい。
【００４０】
本方法は、ブロックＢの全ての画素が予測されるまで繰り返される。この目的のため、ステップ１４０において、現行の画素が、予測対象のブロックの最後の画素であるか否かが確認される。最後の画素であるならば、予測ブロックの決定ステップは、終了する。そうでないならば、現行の行にまだ予測すべき画素がある場合はウィンドウＦを右に１列だけオフセットし、あるいは、ウィンドウＦを下の行にオフセットして、再度、その行の開始点に配置する。しかしながら、ウィンドウＦを、反復の都度、オフセットする仕方は、決まっていない。それは、予測対象のブロックから定まる走査順序によって決まる。これまでに参照した各図では、画素の走査は、左から右に画素毎に行い、そして、これを行毎に行っている。この走査は、唯一のものではなく、ジグザグ・タイプの走査も可能であり、また、その他のタイプ、例えば、１番目の列の１番目の行、その次に、２番目の列の２番目の行というような順の走査も可能である。
【００４１】
ステップ１００から１４０が、ウィンドウの新しい位置について再び適用される。予測対象の新たな画素ｐsk,slについて、値
【数４３】
2013518456.tif 000045
が求められる。先行する反復中に予測値が既に計算されているウィンドウＦに含まれる現行ブロックの画素についても、新たな予測値が計算される。これらの画素について、新たな予測値は、画素
【数４４】
2013518456.tif 000046
を参照して上述したように、以下のように求められる。
【数４５】
2013518456.tif 000047
ここで、
【数４６】
2013518456.tif 000048
は、ウィンドウＦの位置Fsk，slに対応する反復中に予測対象のブロックの行ｋと列ｌにおいて予測される画素であり、
ｓｋとｓｌは、それぞれ、ウィンドウＦの行と列とについてのオフセットであり、
【数４７】
2013518456.tif 000049
は、ウィンドウＦの位置Fsk，slに至るまでの連続したオフセットによって再帰的に予測される位置（ｋ，ｌ）における予測画素の値である。
【００４２】
別の実施形態によれば、重み付けされた和（合計）は、メジアン（中央値）関数
【数４８】
2013518456.tif 000050
あるいは、ヒストグラム・ピーク・タイプの関数によって置き換えられる。
【００４３】
第１の実施形態によれば、閾値thoptは、因果ゾーンＺｃ、即ち、現行ブロックＢの隣接領域における再構成画素を含むが、必ずしもこのブロックに隣接していないゾーンから求められる。図７を参照して、この実施形態を説明する。図７において、×印は、再構成画素を表している。背景がグレーである×印は、因果ゾーンＺｃに属する画素を表している。このゾーンＺｃは、予測対象の現行ブロックについての閾値を求めるために使用される。この目的のため、図４と図５とを参照して説明した方法を、このゾーンＺｃの画素に適用することによって、これらの画素の各々について予測画素を求め、そして、これを幾つかの閾値thiについて行う。従って、閾値thiの各々について、エネルギー・レベルをゾーンＺｃ上で計算する。簡単な例として、このエネルギーは、次の式に従って計算される。
【数４９】
2013518456.tif 000051
ここで、
ｐは、当該ブロックに含まれている画素の位置を表し、
Ｙは、予測対象の現行ブロック内の画素の画像データの項目（例えば、ルミナンス及び／又はクロミナンス）の値であり、
【数５０】
2013518456.tif 000052
は、閾値thiについて求められる予測値である。
閾値thzcが、最小の予測エネルギーＳＳＥｉを生成するゾーンとしてのゾーンＺｃについて求められる。
【００４４】
別の実施形態によれば、このエネルギーは次のように計算される。
【数５１】
2013518456.tif 000053
【００４５】
更に別の実施形態によれば、このエネルギーは次のように計算される。
【数５２】
2013518456.tif 000054
【００４６】
更に別の実施形態によれば、予測対象のブロックの境界に対するＺｃの各画素の距離に応じて相対化されるＺｃの各画素の予測誤差を可能にする重み付け関数が導入される。従って、この重み付け関数の各値は、例えば、予測対象のブロックの中心に対する各画素の距離に応じて変化して以下のようになる。
【数５３】
2013518456.tif 000055
ここで、
・ｃは、標準化係数であり、
【数５４】
2013518456.tif 000056
・ｉ及びｊは、重み付けウィンドウのフレーム内の各重み付け係数の座標に対応しており、予測対象のブロックの中心が、４×４と８×８の寸法のブロックについて、それぞれ、（５.５，５.５）と（１１.５，１１.５）に在り、
・原点（０，０）が、左上である。
予測対象の現行ブロックについての閾値thoptは、thzcに等しい。ゾーンＺｃは、特に、隣接画素の可用性（ａｖａｉｌａｂｉｌｉｔｙ）に従って、異なる形状を有することができる。同様に、ゾーンの厚さは、１画素を超えてもよい。
【００４７】
第２の実施形態によれば、図４及び図５を参照して説明した方法を、相異なる閾値thiを用いて繰り返し行い、予測ブロックと現行ブロックとの間で計算される予測誤差が最小となる閾値を求めることによって、現行ブロックについての閾値thoptが求められる。
従って、閾値thiの各々について、エネルギー・レベルが計算される。簡単な例として、このエネルギーは次の式に従って計算される。
【数５５】
2013518456.tif 000057
ここで、
ｐは、当該ブロックに含まれている画素の位置を表し、
Ｙは、予測対象の現行ブロック内の画素の画像データの項目（例えば、ルミナンス及び／又はクロミナンス）の値であり、
【数５６】
2013518456.tif 000058
は、閾値thiについて求められる予測値である。
閾値thoptは、最小の予測エネルギーＳＳＥｉを生成する閾値である。
【００４８】
別の実施形態によれば、このエネルギーは次のように計算される。
【数５７】
2013518456.tif 000059
【００４９】
更に別の実施形態によれば、このエネルギーは次のように計算される。
【数５８】
2013518456.tif 000060
【００５０】
この第２の実施形態によって求められた現行の閾値thoptの値は、ストリームＳに直接符号化されるか、あるいは、符号化コストを低減するために予測閾値thpredとの差分だけストリームＳに有利に符号化される。
【００５１】
例えば、予測閾値thpredは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値thoptの平均値に等しい。左側のブロック、上側のブロック、及び、左上のブロックが、考慮に入れられる。別の実施形態によれば、右上のブロックも考慮に入れられる。
【００５２】
更に別の実施形態によれば、予測閾値thpredは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値thoptのメジアン（中央値）に等しい。
【００５３】
また更に別の実施形態によれば、予測閾値thpredは、thzcに等しい。thoptが第１の実施形態によって求められる場合は、thopt＝thzcであり、この場合、当該閾値は、復号器側において、符号器側と同じやり方でＺｃの画素から決定され得るので、符号化されない。
【００５４】
特定の実施形態によれば、８×８のサイズの現行ブロックは、この８×８のブロックについて現行閾値を求め、ｔｈ８×８として表される現行閾値を用いて、図４及び図５を参照して説明した方法を適用することによって予測することができ、あるいは、この８×８のブロックを４つの４×４のブロックに分割し、それぞれｔｈ４×４として表される各ブロックについての同じ現行閾値を用いて、図４及び図５を参照して説明した方法を、各々の４×４のブロックに別々に適用することによって予測することができる。このｔｈ４×４は、次の等式に従って、ｔｈ８×８から推定される。
ｔｈ４×４＝α＊ｔｈ８×８  （ここで、αは絶対に１より小さい。）
【００５５】
本発明はまた、図８を参照して説明する復号方法にも関する。
【００５６】
ステップ２０において、残差ブロックが、現行ブロックについて復号される。例えば、ストリームＳの一部分が係数に復号される。係数は、逆量子化され、次いで、必要ならば、符号器側で使用した変換の逆変換によって変換される。このようにして、残差ブロックが得られる。
【００５７】
ステップ２２において、予測画素が、現行ブロックの各々の画素について求められる（決定される）。予測画素は、現行ブロックの予測ブロックを形成する。予測画素は、少なくとも予測対象の現行ブロックの画素をカバーしているウィンドウ上に適用された変換により得られる係数を、現行の閾値で閾値処理することによって得られる。ウィンドウは、変換のサポートに相当する。ここで使用される変換は、例えば、ＤＣＴである。しかしながら、本発明は、これに限定されない。離散フーリエ変換のような他の各変換も適用できる。
【００５８】
ステップ２４において、現行ブロックが、予測ブロックを復号済みの残差ブロックとマージすることによって、再構成される。
【００５９】
予測画素の決定ステップ２２は、符号化方法のステップ１０と同じである。しかしながら、復号器側では、閾値thoptは、それが符号器側で同じストリームＳに符号化された場合、そのストリームＳから復号されるか、あるいは、現行ブロックの隣接領域における再構成画素から直接求められる。
【００６０】
第１の実施例によれば、thoptは、ストリームから、直接復号されるか、あるいは、この値の差分を符号化している場合、復号値を予測値thpredに加算することによって復号される。例えば、この予測閾値thpredは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値thoptの平均値に等しい。例えば、左側のブロック、上側のブロック、及び、左上のブロックが、考慮に入れられる。別の実施形態によれば、右上のブロックも考慮に入れられる。
【００６１】
更に別の実施形態によれば、予測閾値thpredは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値thoptのメジアン（中央値）に等しい。
【００６２】
更に別の実施形態によれば、予測閾値thpredはthzcに等しく、ここでthzcは、図７を参照して符号器側について説明したように、求められる。
【００６３】
第２の実施形態によれば、閾値thoptは、図７を参照して符号器側について説明したのと同じやり方で、ゾーンＺｃ内の再構成画素から直接求められる。この場合、thoptは、thzcに等しい。
【００６４】
符号化方法及び復号方法に適用できる特定の実施形態によれば、ウィンドウＦのサイズは、図６に示されているように、予測対象の画素の、現行ブロック内での位置に依存する。この図では、位置Ｆ0,0に在るウィンドウは、位置Ｆn-1,m-1に在るウィンドウよりもサイズが小さい。これは、予測ブロックの適合度を向上させるという利点を有している。例えば、現行ブロックが４×４のサイズである場合、現行ブロックの上側と左側の各境界、即ち、１番目の行と１番目の列に位置する画素については、ウィンドウのサイズは４×４であり、現行ブロックのその他の画素については、ウィンドウのサイズは８×８である。使用される１つ又は複数のウィンドウの寸法は、２の累乗に限定されない。実際、本発明は、幾つかの２Ｎの倍数サンプルに適用される「ラピッド（高速）」変換として知られる変換の使用に限定されない。更に、使用される変換は、必ずしも、別個であるとは限らない。
【００６５】
本発明は、また、図９を参照して説明する符号化装置１２と、図１０を参照して説明する復号装置１３とに関する。図９及び図１０において、図示された各モジュールは、機能ユニットであり、物理的に識別可能なユニットに相当する場合もあれば、そうでない場合もある。例えば、これらのモジュール、あるいは、その一部は、単一のコンポーネントにグループ化することができ、あるいは、同一のソフトウェアの機能を構成することもできる。逆に、一部のモジュールは、別個の物理的実体で構成されていてもよい。
【００６６】
図９を参照すると、符号化装置１２は、１つ又は複数の画像を入力部にて受信する。符号化装置１２は、図１を参照して説明した本発明による符号化方法を実施できる。各々の画像は、画素ブロックに分割され、その画素の各々は画像データの少なくとも１つの項目に関連付けられている。符号化装置１２は、特に、空間予測で符号化を実施する。図９には、空間予測、即ち、イントラ符号化による符号化に関連する、符号化装置１２のモジュールのみが示されている。図示されていない、ビデオ符号器についての当業者に周知のその他のモジュールが、符号化の時間予測（例えば、動き推定、動き補償）を実施する。符号化装置１２は、特に、計算モジュール１２００を備えており、この計算モジュール１２００は、現行ブロックＢから予測ブロックＰｒを、例えば画素単位で減算することによって、残差ブロックＢｒｅｓを生成することで抽出できる。計算モジュール１２００は、本発明による符号化方法のステップ１２を実施できる。符号化装置１２は、更に、モジュール１２０２を備えており、このモジュール１２０２は、残差ブロックＢｒｅｓを変換し、次いで、量子化データに量子化する。この変換Ｔは、例えば、離散コサイン変換（即ち、ＤＣＴ）である。符号化装置１２は、更に、エントロピー符号化モジュール１２０４を備えており、このエントロピー符号化モジュール１２０４は、量子化データを符号化データのストリームＳに符号化できる。符号化装置１２は、更に、モジュール１２０２の逆の動作を行うモジュール１２０６を備えている。このモジュール１２０６は、逆量子化Ｑ−１を行い、次いで、逆変換Ｔ−１を行う。モジュール１２０６は、計算モジュール１２０８に接続されており、この計算モジュール１２０８は、例えば画素単位の加算によって、モジュール１２０６からのデータ・ブロックと予測ブロックＰｒとをマージして、再構成ブロックを生成し、この再構成ブロックはメモリ１２１０に記憶される。
【００６７】
予測モジュール１２１６が、予測ブロックＰｒを求める。この予測モジュール１２１６は、本発明による符号化方法のステップ１０を実施できる。この符号化方法のステップ１４は、モジュール１２０２及び１２０４において実施される。
【００６８】
図１０を参照すると、復号モジュール１３が、画像を表す符号化データのストリームＳを入力部にて受信する。ストリームＳは、例えば、符号化装置１２からチャネルを介して送信される。復号装置１３は、図８を参照して説明した本発明による復号方法を実施できる。復号装置１３は、復号データを生成できるエントロピー復号モジュール１３００を備えている。この復号データは、逆量子化とそれに続く逆変換とを実施できるモジュール１３０２に送信される。このモジュール１３０２は、ストリームＳを生成した符号化装置１２のモジュール１２０６と同じである。このモジュール１３０２は計算モジュール１３０４に接続されており、この計算モジュール１３０４は、例えば画素単位の加算によって、モジュール１３０２からのブロックと予測ブロックＰｒとをマージして、再構成現行ブロックＢｃを生成でき、この再構成現行ブロックＢｃはメモリ１３０６に記憶される。計算モジュール１３０４は、復号方法のステップ２４を実施できる。復号装置１３はまた、予測モジュール１３０８を備えている。この予測モジュール１３０８は、予測ブロックＰｒを求める。この予測モジュール１３０８は、本発明による復号方法のステップ２２を実施できる。復号方法のステップ２０は、モジュール１３００及び１３０２において実施される。
【００６９】
当然であるが、本発明は、上述の各実施例に限定されない。特に、当業者であれば、上述の各実施例を変形して組み合わせることによって、それらの種々の利点から恩恵を受けるであろう。本発明は、使用した変換タイプ（例えば、ＤＣＴ、ウェーブレット、離散フーリエ変換等）に限定されない。同じく、画素の走査順序は、様々であってよい（例えば、ラスタ走査、ジグザグ等）。更に、本発明は、エネルギー・レベルの計算方法（例えば、ＳＳＥ、ＳＡＤ、Ｍａｘ等）によって全く限定されない。
【００７０】
本発明は、一定の複数の画像あるいは画像シーケンスの符号化に適用される。
【図１】
2013518456.tif 000061
【図２】
2013518456.tif 000062
【図３】
2013518456.tif 000063
【図４】
2013518456.tif 000064
【図５】
2013518456.tif 000065
【図６】
2013518456.tif 000066
【図７】
2013518456.tif 000067
【図８】
2013518456.tif 000068
【図９】
2013518456.tif 000069
【図１０】
2013518456.tif 000070
【手続補正書】
【提出日】平成24年9月25日(2012.9.25)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ符号化器において、現行ブロックと称される画素のブロックを空間予測によって符号化する方法であって、
少なくとも前記現行ブロックの画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの画素毎に予測画素を求めるステップと、
予測画素により形成された予測ブロックを前記現行ブロックから抽出して残差ブロックを生成するステップと、
前記残差ブロックを符号化するステップと、を含み、
前記現行閾値が、前記現行ブロックの隣接再構成画素から求められる、あるいは、符号化されることを特徴とする、前記方法。
【請求項２】
前記現行ブロックの画素毎に予測画素を求めるステップは、複数の閾値のうちの各々の閾値を用いて繰り返され、前記方法は、前記現行ブロックと前記予測ブロックとの間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記現行閾値は予測閾値との差分だけ符号化され、前記予測閾値は前記現行ブロックの隣接再構成画素に依存している、請求項２に記載の方法。
【請求項４】
前記予測閾値は、前記現行ブロックの隣接ブロックにおいて使用される閾値の平均値に等しい、請求項３に記載の方法。
【請求項５】
前記予測閾値は、前記現行ブロックの隣接ブロックにおいて使用される閾値の中央値に等しい、請求項３に記載の方法。
【請求項６】
前記予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、予測閾値として選択するステップと、
によって求められる、請求項３に記載の方法。
【請求項７】
前記現行閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択するステップと、
によって求められる、請求項１に記載の方法。
【請求項８】
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する各予測画素との間で計算される前記予測誤差は、前記現行ブロックの前記隣接領域の前記再構成画素毎に、前記現行ブロックの境界に対する再構成画素の距離を考慮に入れる、請求項６又は請求項７に記載の方法。
【請求項９】
前記現行閾値が８×８のサイズの現行ブロックについて選択され、前記選択した現行閾値に１より絶対に小さい係数αを乗算することによって、前記現行ブロックの４×４のサイズの各ブロックの各々について現行閾値が計算される、請求項２から８のいずれか１項に記載の方法。
【請求項１０】
前記ウィンドウのサイズが、予測対象の画素の、前記現行ブロック内での位置に依存している、請求項１から５のいずれか１項に記載の方法。
【請求項１１】
ビデオ復号器において、画素からなる現行ブロックを空間予測によって復号する方法であって、
残差ブロックを復号するステップと、
前記現行ブロックの少なくとも前記画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの画素毎に予測画素を求めるステップと、
前記復号された残差ブロックと前記予測画素によって形成される前記予測ブロックとをマージすることによって、前記現行ブロックを再構成するステップと、を含み、
前記現行閾値が前記現行ブロックの隣接再構成画素から求められることを特徴とする、前記方法。
【請求項１２】
前記現行閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択するステップと、
によって求められる、請求項１１に記載の方法。
【請求項１３】
閾値の差分を復号するステップと、
前記現行ブロックの隣接再構成画素から予測閾値を求めるステップと、
前記差分と前記予測閾値との和を計算するステップと、を更に含み、
前記和が前記現行閾値である、請求項１１に記載の方法。
【請求項１４】
前記予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域の再構成画素毎に予測画素を求めるステップと、
前記隣接領域の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、予測閾値として選択するステップと、
によって求められる、請求項１３に記載の方法。
【請求項１５】
ビデオ符号化器において、現行ブロックと称される画素のブロックを空間予測によって符号化する装置であって、
少なくとも前記現行ブロックの画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの画素毎に予測画素を求める手段と、
予測画素により形成された予測ブロックを前記現行ブロックから抽出して残差ブロックを生成する手段と、
前記残差ブロックを符号化する手段と、を含み、
前記現行閾値が、前記現行ブロックの隣接再構成画素から求められる、あるいは、符号化されることを特徴とする、前記装置。
【請求項１６】
請求項１から１０のいずれか１項に記載の符号化方法の各ステップを実行するように構成されている、請求項１５に記載の装置。
【請求項１７】
ビデオ復号器において、画素からなる現行ブロックを空間予測によって復号する装置であって、
残差ブロックを復号する手段と、
前記現行ブロックの少なくとも前記画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの画素毎に予測画素を求める手段と、
前記復号された残差ブロックと前記予測画素によって形成される前記予測ブロックとをマージすることによって、前記現行ブロックを再構成する手段と、を含み、
前記現行閾値が前記現行ブロックの隣接再構成画素から求められることを特徴とする、前記装置。
【請求項１８】
請求項１１から１４のいずれか１項に記載の復号方法の各ステップを実行するように構成されている、請求項１７に記載の装置。
【国際調査報告】
2013518456.tif 000071
2013518456.tif 000072