(57)【要約】本発明は、ブロックに分けられた少なくとも１つの画像を表す符号化済みデータを含む信号を符号化する方法及びデバイス並びに復号する方法及びデバイスに関する。この信号は、訂正ブロックと呼ばれる１つのブロックを表す情報を含む。信号内の符号化対象画像の少なくとも１つの現在のブロックについて、現在のブロックの少なくとも第１ピクセルが、この第１ピクセルについて画像内の既に復元されたブロックの少なくとも１つのピクセルから得られた予測値（Ｅ２０）に基づいて符号化される。この予測は、上記訂正ブロックのピクセルの少なくとも１つの値を用いて訂正されたものである（Ｅ２１）。また、現在のブロックの少なくとも１つの現在のピクセルが、この現在のピクセルについて現在のブロック内の少なくとも１つの既に訂正されたピクセルから得られた予測値（Ｅ２０）に基づいて符号化される。この予測は、上記訂正ブロックのピクセルの少なくとも１つの値を用いて訂正されたものである（Ｅ２１）。これにより、現在のブロックの予測ブロックが提供される。この信号は、現在のブロック及び予測ブロックから計算される残差ブロックを表す少なくとも１つの情報Ｒｅｓｑｂをも含む。【選択図】図２
2020522180.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの画像を表す符号化済みデータストリームを復号する方法であって、前記画像は複数のブロックに分けられており、
現在のブロックと呼ばれる前記画像内の少なくとも１つのブロックにつき、
前記符号化済みデータストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも１つの情報と、残差ブロックとを復号するステップ（Ｅ５０）と、
復号された前記情報から前記訂正ブロックを求めるステップと、
前記現在のブロックを予測するための予測ブロックを求めるステップ（Ｅ５２）であって、
前記現在のブロック内の少なくとも１つの第１ピクセルにつき、
前記第１ピクセルの予測値を、前記画像において既に再構築されたブロック内の少なくとも１つのピクセルから得るステップ（Ｅ２０）と、
前記第１ピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも１つの値を加えることにより、前記第１ピクセルを訂正するステップ（Ｅ２１）と、
前記現在のブロック内の、前記第１ピクセルとは異なる少なくとも１つの現在のピクセルにつき、
前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも１つの既に訂正されたピクセルから得るステップ（Ｅ２０）と、
前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも１つの値を加えることにより、前記現在のピクセルを訂正するステップ（Ｅ２１）と
を含むステップ（Ｅ５２）と、
前記予測ブロックと復号された前記残差ブロックとから前記現在のブロックを再構築するステップ（Ｅ５３）と
を含む方法。
【請求項２】
少なくとも１つの画像を符号化済みデータストリームの形式に符号化する方法であって、前記画像は複数のブロックに分けられており、
現在のブロックと呼ばれる、符号化対象である前記画像内の少なくとも１つのブロックにつき、
前記現在のブロックを予測するための予測ブロックを求めるステップ（Ｅ１１１）であって、
前記現在のブロックの少なくとも１つの第１ピクセルにつき、
前記第１ピクセルの予測値を、前記画像内の既に再構築されたブロックの少なくとも１つのピクセルから得るステップ（Ｅ２０）と、
前記第１ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも１つの値を加えることにより、前記第１ピクセルを訂正するステップ（Ｅ２１）と、
前記現在のブロック内の、前記第１ピクセルとは異なる少なくとも１つの現在のピクセルにつき、
前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも１つの既に訂正されたピクセルから得るステップ（Ｅ２０）と、
前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも１つの値を加えることにより、前記現在のピクセルを訂正するステップ（Ｅ２１）と
を含むステップ（Ｅ１１１）と、
前記訂正ブロックを表す少なくとも１つの情報を前記データストリーム内に符号化するステップ（Ｅ１３）と、
前記現在のブロックと求められた前記予測ブロックとから残差ブロックを計算するステップと、
前記残差ブロックを前記データストリーム内に符号化するステップと
を含む方法。
【請求項３】
前記訂正ブロックは所定の残差データを含むものである、請求項１又は２に記載の方法。
【請求項４】
前記訂正ブロックは所定のデータブロックの集合に属し、
前記訂正ブロックを表す前記少なくとも１つの情報により、前記集合内の複数のブロックから前記訂正ブロックを特定することが可能である、
請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記現在のピクセルの予測値は、前記現在のピクセルの上に位置するピクセルと、前記現在のピクセルの左に位置するピクセルと、前記現在のピクセルの左上に位置するピクセルとに適用される局所的予測関数に応じて、前記現在のブロック内の少なくとも１つの既に訂正されたピクセルから得られるものである、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記局所的予測関数を表す情報は、前記符号化済みデータストリーム内に符号化されるか、又は、前記符号化済みデータストリームから復号されるものである、請求項５に記載の方法。
【請求項７】
前記符号化済みデータストリームは、前記現在のブロックにつき、
当該現在のブロックが、前記画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、
当該現在のブロックが、当該現在のブロック内の少なくとも１つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを示す情報を含む、請求項１〜６のいずれか１項に記載の方法。
【請求項８】
少なくとも１つの画像を表す符号化済みデータストリームを復号する復号デバイス（ＤＥＣ）であって、前記画像は複数のブロックに分けられており、
現在のブロックと呼ばれる前記画像内の少なくとも１つのブロックにつき、
前記符号化済みデータストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも１つの情報と、残差ブロックとを復号する復号モジュール（ＤＣ）と、
復号された前記情報から前記訂正ブロックを求める決定モジュール（ＤＥＴ）と、
前記現在のブロックを予測するための予測ブロックを求める予測モジュール（ＰＲＥＤ０）であって、
前記現在のブロック内の少なくとも１つの第１ピクセルにつき、
前記第１ピクセルの予測値を、前記画像内の既に再構築されたブロックの少なくとも１つのピクセルから得るステップと、
前記第１ピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも１つの値を加えることにより、前記第１ピクセルを訂正するステップと、
前記現在のブロック内の、前記第１ピクセルとは異なる少なくとも１つの現在のピクセルにつき、
前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも１つの既に訂正されたピクセルから得るステップと、
前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも１つの値を加えることにより、前記現在のピクセルを訂正するステップと
を行う予測モジュールと、
前記予測ブロックと復号された前記残差ブロックとに基づいて前記現在のブロックを再構築する再構築モジュール（ＲＥＣ）と
を備える復号デバイス。
【請求項９】
少なくとも１つの画像を符号化済みデータストリームの形式に符号化するデバイス（ＣＯＤ）であって、前記画像は複数のブロックに分けられており、
現在のブロックと呼ばれる、符号化対象である前記画像内の少なくとも１つのブロックにつき、
前記現在のブロックを予測するための予測ブロックを求める予測モジュール（ＰＲＥＤ）であって、
前記現在のブロック内の少なくとも１つの第１ピクセルにつき、
前記第１ピクセルの予測値を、前記画像内の既に再構築されたブロックの少なくとも１つのピクセルに基づいて得るステップと、
前記第１ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも１つの値を加えることにより、前記第１ピクセルを訂正するステップと、
前記現在のブロック内の少なくとも１つの現在のピクセルにつき、
前記現在のピクセルの予測値を、前記現在のブロック内の少なくとも１つの既に訂正されたピクセルから得るステップと、
前記現在のピクセルについて得られた予測値に、前記訂正ブロックのピクセルの少なくとも１つの値を加えることにより、前記現在のピクセルを訂正するステップと
を行う予測モジュールと、
前記訂正ブロックを表す少なくとも１つの情報と、前記現在のブロックと求められた前記予測ブロックとから計算される残差ブロックとを前記データストリーム内に符号化する符号化モジュール（ＣＤ）と
を備えるデバイス。
【請求項１０】
プロセッサによって実行されると、請求項１及び３〜７のいずれか１項に記載の復号する方法を実施する命令を有するコンピュータプログラム。
【請求項１１】
プロセッサによって実行されると、請求項２〜７のいずれか１項に記載の符号化する方法を実施する命令を有するコンピュータプログラム。
【請求項１２】
少なくとも１つの画像を表す符号化済みデータを含む信号であって、前記画像は複数のブロックに分けられており、
現在のブロックと呼ばれる前記画像内の少なくとも１つのブロックにつき、
訂正ブロックと呼ばれるブロックを表す少なくとも１つの情報（ｂ）であって、前記現在のブロック内の少なくとも１つの第１ピクセルが、前記訂正ブロックのピクセルの少なくとも１つの値と、前記画像内の既に再構築されたブロックの少なくとも１つのピクセルから前記第１ピクセルについて得られる予測値とから符号化されており、前記現在のブロック内の少なくとも１つの現在のピクセルが、前記訂正ブロックのピクセルの少なくとも１つの値と、前記現在のブロック内の少なくとも１つの既に訂正されたピクセルから前記現在のピクセルについて得られる予測値とから符号化されており、前記現在のブロックの予測ブロックが得られる、少なくとも１つの情報と、
前記現在のブロックと前記予測ブロックとから計算される残差ブロックを表す少なくとも１つの情報（Ｒｅｓｑｂ）と
を含む信号。
【請求項１３】
前記現在のブロックにつき、
当該現在のブロックが、前記画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、
当該現在のブロックが、当該現在のブロック内の少なくとも１つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのか
を示す情報（ＴＹ）を更に含む請求項１２に記載の信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、画像又は画像シーケンス、特にビデオストリームの符号化及び復号である。
【０００２】
より具体的には、本発明は画像のブロック単位表現を用いて、画像又は画像シーケンスを圧縮することに関する。
【０００３】
本発明は、現在又は将来の符号化器において（ＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＥＶＣ及び他の規格、並びにそれらの改訂版の下で）行われる画像又はビデオの符号化及びそれに対応する復号に特に適用することができる。
【背景技術】
【０００４】
デジタル画像及び画像シーケンスは、大量のメモリ空間を占有する。これにより、これらの画像を送信する際、その送信に用いられるネットワークにおける輻輳の問題を回避するために、これらの画像を圧縮することが必要となる。実際、ネットワーク上で利用できるビットレートは一般に限りがある。
【０００５】
既に数多くのビデオデータ圧縮技法が知られている。これらの技法には、ＨＥＶＣ圧縮規格（非特許文献１）が含まれる。この規格は、現在の画像のピクセルの、同じ画像に属する別のピクセルに応じた予測（イントラ予測）、又は先行する画像若しくは後続の画像に属する別のピクセルに応じた予測（インター予測）を行うことを提案するものである。
【０００６】
より具体的には、イントラ予測は、画像内の空間的冗長性を利用する。このために、画像はピクセルのブロックに分けられる。そして、ピクセルのブロックは、現在の画像においてそれまでに符号化又は復号されているブロックに対応する既に再構築された情報を用いて、画像内のブロックのスキャン順序に従い、予測される。
【０００７】
従来、現在のブロックの符号化は、予測ブロックと呼ばれる、現在のブロックの予測と、現在のブロックと予測ブロックとの差に対応する予測残差すなわち「残差ブロック」とを用いて行われる。得られた残差ブロックは、その後、例えば、ＤＣＴ（離散コサイン変換）タイプの変換により変換される。変換後の残差ブロックの係数は、その後、量子化され、エントロピー符号化によって符号化され、復号器に送信される。復号器は、この残差ブロックを予測ブロックに加えることによって現在の画像を再構築することができる。
【０００８】
復号は画像単位で行われ、各画像につきブロック単位で行われる。ブロックごとに、ストリームの対応する要素が読み出される。残差ブロックの係数の逆量子化及び逆変換が行われる。その後、ブロックの予測が計算されて予測ブロックが得られ、復号された残差ブロックに予測（すなわち、予測ブロック）を加えることにより、現在のブロックが再構築される。
【０００９】
従来、現在のブロックのイントラ予測は、画像においてそれまでに再構築されたブロック内の参照ピクセルを用いて行われる。そのような状況を図１に示す。同図において、現在のブロックＸのピクセル（Ｘ（ｉ，ｊ）ｉ＝０，１，２，３  ａｎｄ  ｊ＝０，１，２，３）の予測に用いられる参照ピクセルは、一般に、現在のブロックの真上のラインに位置するピクセル（Ｔ（−１，ｉ）ｉ＝−１，０，１，２，３によって示されるピクセル）と、現在のブロックの左側の列に位置するピクセル（Ｔ（ｉ，−１）ｉ＝−１，０，１，２，３によって示されるピクセル）とに対応する。
【００１０】
例えば、ＨＥＶＣ規格は、このような参照ピクセルを用いた３５個のイントラ予測モードを定めている。これらの予測モードにおいては、現在のブロックの予測ブロックの構築に際しこれらの参照ピクセルを用いる方法が異なっている。
【００１１】
このようなイントラ予測によれば、予測ブロックの第１行及び第１列に位置するピクセルは、参照ピクセルに直に隣接しているため、非常に良好に予測されることが分かる。実際、ピクセルが空間的に互いに接近しているほど、それらのピクセルが含む情報の相関の程度は大きくなる。
【００１２】
これに対し、予測ブロック内の右下に位置するピクセル、すなわち、参照ピクセルから離れたピクセル、例えば、図１に示すピクセルＸ（３，３）は、正確に予測されない。このようなピクセルは、その後、高エネルギーの予測残差をもたらすため、それらのピクセルを符号化するには、より高いビットレートが必要となる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Matthias Wien, “High Efficiency Video Coding, Coding Tools and Specification”, Signals and Communication Technology, 2015
【発明の概要】
【発明が解決しようとする課題】
【００１４】
したがって、画像データ又はビデオデータの圧縮を改善する、現在のブロックを予測するための予測ブロックを構築する新規な手法が求められる。
【課題を解決するための手段】
【００１５】
本発明は、従来技術を改良したものである。本発明は、複数のブロックに分けられた少なくとも１つの画像を表す符号化済みデータストリームを復号する方法に関する。復号する方法は、画像の少なくとも１つの現在のブロック（カレントブロック）につき、以下のステップ、すなわち、
−符号化済みデータストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも１つの情報と、残差ブロックとを復号するステップと、
−復号された情報から訂正ブロックを求めるステップと、
−現在のブロックから予測ブロックを求めるステップであって、
○現在のブロックの少なくとも１つの第１ピクセルについて、
・上記第１のピクセルの予測値を、画像内の既に再構築されたブロックの少なくとも１つのピクセルから得るステップと、
・第１ピクセルについて得られた予測値に、訂正ブロックのピクセルの少なくとも１つの値を加えることにより、上記第１のピクセルを訂正するステップと、
○現在のブロック内の、第１ピクセルとは異なる少なくとも１つの現在のピクセルについて、
・上記現在のピクセルの予測値を、現在のブロック内の少なくとも１つの既に訂正されたピクセルから得るステップと、
・現在のピクセルについて得られた予測値に、上記訂正ブロックのピクセルの少なくとも１つの値を加えることにより、上記現在のピクセルを訂正するステップと
を含む、予測ブロックを求めるステップと、
−予測ブロック及び復号された残差ブロックに基づいて上記現在のブロックを再構築するステップと
を含む。
【００１６】
これに関連して、本発明は、少なくとも１つの画像を符号化済みデータストリームの形式に符号化する方法であって、この画像は複数のブロックに分けられており、符号化する方法は、符号化対象である画像の少なくとも１つの現在のブロックについて、以下のステップ、すなわち、
−現在のブロックの予測ブロックを求めるステップであって、
○現在のブロックの少なくとも１つの第１ピクセルについて、
・上記第１ピクセルの予測値を、画像内の既に再構築されたブロックの少なくとも１つのピクセルに基づいて得るステップと、
・上記第１ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも１つの値を加えることにより、上記第１ピクセルを訂正するステップと、
○現在のブロック内の、第１ピクセルとは異なる少なくとも１つの現在のピクセルについて、
・上記現在のピクセルの予測値を、現在のブロック内の少なくとも１つの既に訂正されたピクセルから得るステップと、
・現在のピクセルについて得られた予測値に、上記訂正ブロックのピクセルの少なくとも１つの値を加えることによって、上記現在のピクセルを訂正するステップと
を含む、予測ブロックを求めるステップと、
−上記訂正ブロックを表す少なくとも１つの情報をデータストリーム内に符号化するステップと、
−上記現在のブロック及び上記求められた予測ブロックから残差ブロックを計算するステップと、
−上記残差ブロックをデータストリーム内に符号化するステップと
を含む方法に関する。
【００１７】
したがって、本発明によれば、現在のブロック内の現在のピクセルの予測が向上する。したがって、さらに言えば、既に訂正された現在のブロック内のピクセルによって現在のブロック内の現在のピクセルを予測することができる。したがって、特に、現在のブロックの参照ピクセル、すなわち、現在のブロックの真上に位置しているピクセル及び現在のブロックの左に位置しているピクセルに対応する参照ピクセルから空間的に離れた現在のピクセルについて、この現在のピクセルにより近い現在のブロック内のピクセルから当該現在のピクセルを予測することができる。ピクセルの予測が改善されるため、現在のブロックと予測ブロックとの予測残差は、より小さくなり、現在のブロックの符号化コストが低減される。
【００１８】
本発明によれば、現在のブロックの符号化残差が、データストリームにおいて送信され、予測ブロックに加算されて、現在のブロックが再構築され、したがって、圧縮性能が向上する。
【００１９】
本発明の別の特定の実施形態によれば、訂正ブロックは、所定の残差データを含む。
【００２０】
本発明の別の特定の実施形態によれば、訂正ブロックは、所定のデータブロックの集合に属し、この訂正ブロックを表す上記少なくとも１つの情報により、集合内のブロックからこの訂正ブロックを特定することが可能となる。本発明のこの特定の実施形態によれば、残差データブロックの辞書が符号化器及び復号器にとって利用可能である。符号化又は復号される現在のブロックについて、訂正ブロックは、この辞書のブロックから選択される。例えば、現在のブロックを符号化するために最良のビットレート／歪みのトレードオフを提供する辞書のブロックが、現在のブロックの訂正ブロックとして選択される。
【００２１】
本発明の別の特定の実施形態によれば、現在のピクセルの予測値は、現在のピクセルの上に位置しているピクセルと、現在のピクセルの左に位置しているピクセルと、現在のピクセルの左上に位置しているピクセルとに適用される局所的予測関数に応じて、現在のブロック内の少なくとも１つの既に訂正されたピクセルから得られる。本発明のこの特定の実施形態によれば、現在のピクセルは、このピクセルの基礎となる局所的な近傍から予測される。したがって、現在のピクセルと、この現在のピクセルを予測するために用いられる参照ピクセルとの相関は、従来のイントラ予測方法を用いたものよりも高い。
【００２２】
本発明の別の特定の実施形態によれば、局所的予測関数を表す情報が、符号化済みデータストリーム内に符号化されるか、又は、符号化済みデータストリームから復号される。この特定の実施形態によれば、現在のブロックのピクセルを予測するために、種々の局所的予測関数を用いることができる。したがって、現在のブロックのピクセルを予測する最も効率的な局所的予測関数を選択し、復号器に伝えることが可能である。
【００２３】
本発明の別の特定の実施形態によれば、符号化済みデータストリームは、現在のブロックについて、この現在のブロックが、画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、現在のブロックが、現在のブロック内の少なくとも１つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを示す情報を含む。この特定の実施形態によれば、データストリームは、現在のブロックが、例えば、既存の圧縮規格において知られているような方向イントラ予測モードに従って符号化されているのか、又は、上述した特定の実施形態のうちの任意の１つの新規のイントラ予測モードに従って符号化されているのかを示す情報を含む。したがって、画像内の各ブロックについて、ビットレート、歪みの観点で最良のイントラ予測モードを選ぶことができる。
【００２４】
本発明は、複数のブロックに分けられた少なくとも１つの画像を表す符号化済みデータを含む信号にも関する。そのような信号は、画像内の少なくとも１つの現在のブロックについて、訂正ブロックと呼ばれるブロックを表す少なくとも１つの情報であって、現在のブロック内の少なくとも１つの第１ピクセルが、訂正ブロックのピクセルの少なくとも１つの値と、画像内の既に再構築されたブロックの少なくとも１つのピクセルから上記第１ピクセルについて得られる予測値とから符号化され、現在のブロック内の少なくとも１つの現在のピクセルが、訂正ブロックのピクセルの少なくとも１つの値と、現在のブロック内の少なくとも１つの既に訂正されたピクセルから上記現在のピクセルについて得られる予測値とから符号化され、現在のブロックの予測ブロックが得られる、少なくとも１つの情報を含む。この信号は、現在のブロック及び予測ブロックから計算された残差ブロックを表す少なくとも１つの情報をも含む。
【００２５】
本発明の１つの特定の実施形態によれば、この信号は、現在のブロックについて、現在のブロックが、画像内の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、又は、現在のブロックが、現在のブロックの少なくとも１つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを示す情報を更に含む。
【００２６】
また、本発明は、本明細書において上記で規定された特定の実施形態のうちのいずれか１つによる、復号方法を実施するように構成される復号デバイスに関する。この復号デバイスは、当然、本発明による復号方法に関連する複数の特徴を含むことができる。したがって、この復号デバイスの特徴及び利点は、復号方法の特徴及び利点と同じであり、更に詳細には説明しない。
【００２７】
本発明の１つの特定の実施形態によれば、そのような復号デバイスは端末内に設けられる。
【００２８】
また、本発明は、本明細書において上記で規定された特定の実施形態のうちのいずれか１つによる、符号化方法を実施するように構成される符号化デバイスに関する。この符号化デバイスは、当然、本発明による符号化方法に関連する複数の特徴を含むことができる。したがって、この符号化デバイスの特徴及び利点は、符号化方法の特徴及び利点と同じであり、更に詳細には説明しない。
【００２９】
本発明の１つの特定の実施形態によれば、そのような符号化デバイスは端末又はサーバに設けられる。
【００３０】
本発明による、復号方法及び符号化方法はそれぞれ、特に、有線の形式、又はソフトウェアの形において様々な方法で実現することができる。
【００３１】
本発明の１つの特定の実施形態によれば、復号方法及び符号化方法はそれぞれ、コンピュータプログラムによって実現される。また、本発明はコンピュータプログラムにも関連し、このプログラムは、このプログラムがプロセッサによって実行されるときに、本明細書において上記で説明された特定の実施形態のうちのいずれか１つによる復号の方法及び符号化の方法を実施する命令を含む。そのようなプログラムは、プログラミング言語であればどのようなものでも用いることができる。そのプログラムは、通信ネットワークからダウンロードすることができ、及び／又はコンピュータ可読媒体又は担体上に記録することができる。
【００３２】
このプログラムは、プログラミング言語であればどのようなものでも用いることができ、ソースコードの形態とすることもできるし、オブジェクトコードの形態とすることもできるし、部分的にコンパイルされた形態又は他の望ましいあらゆる形態等のソースコードとオブジェクトコードとの間の中間のコードの形態とすることもできる。
【００３３】
本発明は、コンピュータによって読み出し可能であるとともに上述したようなプログラムの命令を含む情報担体又は媒体を提供することも目的とする。上述したこの情報担体は、プログラムを記憶することが可能なエンティティ又はデバイスであればどのようなものであってもよい。例えば、この担体又は媒体は、ＲＯＭ、例えばＣＤ  ＲＯＭ若しくはマイクロ電子回路ＲＯＭ、又は、更に磁気記録手段、例えばフロッピーディスク若しくはハードディスクドライブ等の記憶手段を含むことができる。さらに、情報媒体は、電気ケーブル若しくは光ケーブルを介して、無線によって、又は他の手段によって伝えることができる電気信号又は光信号等の伝達可能媒体に対応することができる。本発明によるプログラムは、特に、インターネットタイプのネットワークからダウンロードすることができる。
【００３４】
あるいは、記録媒体は、プログラムが組み込まれている集積回路とすることができ、この回路は、当該方法を実行すること又はこの実行において用いられることに適合したものである。
【００３５】
本発明の他の特徴及び利点は、例示的であって網羅的ではない簡単な例として与えられる幾つかの特定の実施形態の以下の説明と、添付図面とからより明らかになる。
【図面の簡単な説明】
【００３６】
【図１】現在のブロックのピクセルを予測する従来技術による参照ピクセルの位置を示す図である。
【図２】本発明の１つの特定の実施形態による予測ブロックを求める方法を示す図である。
【図３】本発明の１つの特定の実施形態による、現在のブロックのピクセルを予測するのに用いられる参照ピクセルの位置の例を示す図である。
【図４】本発明の１つの特定の実施形態による符号化方法のステップを示す図である。
【図５】本発明の１つの特定の実施形態による復号方法のステップを示す図である。
【図６】本発明の特定の実施形態のうちの任意の１つによる符号化方法を実施する符号化デバイスの簡略化した構造を示す図である。
【図７】本発明の特定の実施形態のうちの任意の１つによる復号方法を実施する復号デバイスの簡略化した構造を示す図である。
【図８Ａ】本発明の１つの特定の実施形態による、画像の少なくとも１つのブロックを表す符号化データを含む信号の一例を示す図である。
【図８Ｂ】本発明の別の実施形態による、画像の少なくとも１つのブロックを表す符号化データを含む信号の一例を示す図である。
【発明を実施するための形態】
【００３７】
［１．基本的原理］
本発明の基本的原理は、ブロックの予測にこれまで用いられている参照ピクセルから離れて位置している、画像における符号化対象ブロック内のピクセルの予測を改善することを目的としている。
【００３８】
この目的を達成するため、これらのピクセルの予測は、残差データブロックによって既に訂正された現在のブロック自体のピクセルを用いてなされる。この残差データブロックは、予測による従来の符号化方法で知られている符号化残差ブロックとは異なる。本発明によれば、訂正ブロックとも呼ばれる残差データブロックは、現在のブロックのピクセル値を訂正するために用いられる残差データを含む。これは、現在のブロック内の次のピクセルを予測するのに役立つ。実際、現在のブロックのピクセルは、現在のブロックの後続のピクセルを予測するのに役立つものであって、かつ、それ自体、画像内の現在のブロックの既に訂正されたピクセル及び／又は画像内の既に再構築されたブロックのピクセルによって予測されたものであるが、それらについての予測残差はまだ計算されておらず、あるいは、符号化ないし復号もされていない。本発明によれば、現在のブロック内のピクセルは、まだ再構築されていない、すなわち、符号化ないし復号された予測残差によってまだ再構築されていないものの、符号化器及び復号器が利用可能な訂正ブロックによって訂正された、同じく現在のブロックに属する他のピクセルによって予測される。
【００３９】
本明細書において、「ピクセル値」という用語は、ピクセルについて符号化される画像の成分の値を意味するものと理解される。例えば、符号化される画像が、２つのクロミナンス成分Ｕ及びＶを伴うルミナンス成分Ｙの形で表される場合、本予測方法は、各成分に適用することもできるし、それらの成分のうちの１つにのみ適用することもできる。本発明がＹＵＶ表現に限定されないことは明らかであり、画像の他の表現（ＲＧＢ、ＹＣｂＣｒ等）にも同様に適用することができる。
【００４０】
まず、本発明による現在のブロックの予測ブロックを求める実施態様を説明する。次に、本発明の１つの特定の実施形態による画像シーケンスの符号化方法及びデータストリームの復号方法、並びに、対応する符号化デバイス及び復号デバイスを説明する。これらの符号化及び復号では、画像の現在のブロックを予測する予測ブロックを上記のように求める。
【００４１】
［２．本発明の１つの特定の実施形態による現在のブロックを予測する予測ブロックの決定］
図２に、符号化対象画像の現在のブロックＸを予測するのに役立つ予測ブロックｂｐｒｅｄの決定を示す。
【００４２】
ステップＥ２０において、図３に太線で示す現在のブロックＸの各ピクセルＸｉにつき、ピクセルＸｉの予測値が求められる。これを行うために、局所的予測関数（あるいはローカル予測関数）Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）が用いられる。かかる関数Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）は、ピクセルＡｉ、Ｂｉ、Ｃｉの値からピクセルＸｉの予測値Ｐｉを計算する。本明細書において説明される本発明の特定の実施形態によれば、ピクセルＡｉ、Ｂｉ、Ｃｉは、それぞれピクセルＸｉの左に位置しているピクセル、ピクセルＸｉの上に位置しているピクセル、及びピクセルＸｉの左上に位置しているピクセルに対応する。
【００４３】
局所的予測関数Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）は、例えば、以下の形式を有する。
【数１】
2020522180.tif 000003
【００４４】
あるいは、他のタイプの局所的予測関数、例えば、Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）＝（Ａｉ＋Ｂｉ＋Ｃｉ）／３を用いることもできる。
【００４５】
局所的予測関数Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）は、符号化器及び復号器が知っている場合もあれば、符号化されたデータストリーム内の画像又は画像シーケンスの符号化されたデータにおいて送ることもできる。
【００４６】
現在のブロックＸにおけるピクセルＸｉの位置に応じて、局所的予測関数は、画像の既に再構築されたブロックに属し、及び／又は、現在のブロックＸに属するピクセルＡｉ、Ｂｉ、Ｃｉを用いる。
【００４７】
例えば、図３のピクセルＸ１の場合、予測値はピクセルＡ１、Ｂ１及びＣ１から求められる。すなわち、もっぱら、画像の既に再構築されたブロックに属する参照ピクセル、より具体的には、現在のブロックの上、左、及び左上に位置しているブロックに属する参照ピクセルによって求められる。
【００４８】
図３のピクセルＸ２の場合、予測値は、ピクセルＡ２、Ｂ２及びＣ２から求められる。すなわち、画像の既に再構築されたブロックに属する参照ピクセルと、現在のブロックに属するピクセルとによって求められる。
【００４９】
図３のピクセルＸ３の場合、予測値は、ピクセルＡ３、Ｂ３及びＣ３から求められる。すなわち、もっぱら、現在のブロックに属するピクセルによって求められる。
【００５０】
一般に、図１に関する表記を用いると、現在のブロックＸのピクセルＸ（ｌｉｎ，ｃｏｌ）について、予測値Ｇ（ｌｉｎ，ｃｏｌ）は、以下の式によって得られる。なお、ｌｉｎは、ブロックＸの左上隅を基準としたピクセルＸの行インデックスを表し、ｃｏｌは、ブロックＸの左上隅を基準としたピクセルＸの列インデックスを表す。
【数２】
2020522180.tif 000004
ただし、Ｔ（ｌｉｎ，ｃｏｌ）は、既に再構築されたブロックに属するピクセルであり、Ｈは局所的予測関数であり、Ｐｋ（ｘ，ｙ）は、現在のブロックＸに属するとともに以下で説明する訂正ブロックＶｋによって既に訂正されたピクセルＸ（ｘ，ｙ）の予測値である。
【００５１】
ステップＥ２０の結果、現在のピクセルＸ（ｌｉｎ，ｃｏｌ）の予測値Ｇ（ｌｉｎ，ｃｏｌ）が得られる。
【００５２】
ステップＥ２１において、予測値Ｇ（ｌｉｎ，ｃｏｌ）は、ピクセルＸ（ｌｉｎ，ｃｏｌ）の訂正ブロックＶｋの値によって訂正される。訂正ブロックＶｋは、例えば、ピクセル値が８ビットで表される場合、−２５５〜＋２５５の値を含む残差データブロックである。
【００５３】
本発明の１つの特定の実施形態によれば、訂正ブロックＶｋは、所定の残差データブロックの集合すなわち辞書｛Ｖｋ｝ｋ＝０．．．Ｎに属する。ただし、Ｎは当該集合のブロック数である。
【００５４】
一例として、かかる辞書は、残差の値の全ての可能な組み合わせの部分集合を含む。この部分集合は、例えば、一群の画像から学習によって選択され、及び／又は、符号化されたデータストリームとともに送られる。
【００５５】
例えば、この例では、画像のピクセルは、８ビットで符号化され、訂正ブロックの各ピクセルは、それ自体が８ビットで表される予測値を負又は正に訂正できることが考えられる。訂正ブロックのそのようなピクセルは、９ビットの動的範囲を有しなければならない。したがって、例えば、８×８ピクセルのサイズの訂正ブロックの場合、可能なブロックの数は２９×６４個である。その場合、残差の値の全ての可能な組み合わせの中から選ばれる訂正ブロックを特定するには、大量の情報を符号化することが必要となる。加えて、最良の訂正ブロックの検索は、非常に多くの計算コストを要する。
【００５６】
実際には、例えば、３２個〜５１２個の訂正ブロックを含む辞書サイズが、最適な圧縮、すなわち、削減された情報送信について高品質利得を得ることを可能にする。しかし、そのような訂正ブロックが、現在のブロックのピクセルの訂正を行うのに真に有用なブロックを表すものとなるように、辞書のブロックを適切に選ぶことが必要である。
【００５７】
ここに記載の例によれば、辞書｛Ｖｋ｝k＝０．．．Ｎは、全ての可能な訂正ブロックを含む、すなわち、可能な残差の値の全ての組み合わせを含む訂正ブロックの膨大な集合の中の訂正ブロックの部分集合として構築される。第１の変形形態によれば、この辞書｛Ｖｋ｝k＝０．．．Ｎを構築するために、Linde, Y.；Buzo, A.；Gray, R.著(1980)「An Algorithm for Vector Quantizer Design」IEEE Transactions on Communications. 28: 84. doi:10.1109/TCOM.1980.1094577に記載されているようなリンデ・ブゾー・グレイ（Linde-Buzo-Gray）アルゴリズム（すなわち、ＬＢＧアルゴリズム）を用いた従来の構築技法が用いられる。この技法は、訂正されるピクセルブロックを学習するシーケンスと、例えば、ランダムに選ばれた初期辞書とを用いる。この技法は、続いて、以下の２つのステップを反復する。
−  学習シーケンスの各ブロックについて、所定の基準、例えば、学習シーケンスの現在のブロックのピクセルの予測中に訂正ブロックを用いることによって生成される歪みの観点から、辞書の最良の訂正ブロックとされるものを求める第１のステップ。学習ブロックはクラスに分割され、各クラスは、辞書の訂正ブロックに関連した学習ブロックの集合である。
−  各クラスについて、このクラスの所定の基準を改善するような新たな訂正ブロックが求められる。このクラスに関連した辞書ブロックは、その後、この新たなブロックに置き換えられる。
【００５８】
当業者に知られている、量子化辞書を構築する他の方法が可能であり、例えば、Allen Gersho及びRobert M. Grayによって「Vector Quantization and Signal Compression」The Springer International Series in Engineering and Computer Science Series Volume 159 Springer USに記載の「ペアワイズ最近傍（Pairwise Nearest Neighbor）」手法等がある。
【００５９】
訂正ブロックＶｋは、現在のブロックのサイズと同一のサイズを有することが好ましい。
【００６０】
本発明の１つの特定の実施形態では、現在のブロックの全てのピクセルに同じ訂正ブロックが用いられる。
【００６１】
ステップＥ２１において、訂正ブロックＶｋ（ｌｉｎ，ｃｏｌ）の値が、ピクセルＸ（ｌｉｎ，ｃｏｌ）について得られた予測値Ｇ（ｌｉｎ，ｃｏｌ）に加算され、ピクセルＸ（ｌｉｎ，ｃｏｌ）の訂正された予測値Ｐｋ（ｌｉｎ，ｃｏｌ）が得られる。すなわち、Ｐｋ（ｌｉｎ，ｃｏｌ）＝Ｇ（ｌｉｎ，ｃｏｌ）＋Ｖｋ（ｌｉｎ，ｃｏｌ）である。
【００６２】
ステップＥ２２において、現在のブロックの全てのピクセルが予測されたか否かが確認される。当てはまる場合（図２の「Ｙ」）、各ピクセルＸ（ｌｉｎ，ｃｏｌ）について、訂正された予測値Ｐｋ（ｌｉｎ，ｃｏｌ）を含む訂正ブロックＶｋに関連した予測ブロックｂｐｒｅｄが、現在のブロックを符号化又は再構築するのに利用可能である。当てはまらない場合（図２の「Ｎ」）、処理は、現在のブロックの次のピクセルについてステップＥ２０及びＥ２１を繰り返すことによる次のピクセルの予測に進む。
【００６３】
［３．符号化方法］
図４に、本発明の１つの特定の実施形態による、符号化されたデータストリームＳＴＲの形で符号化されることになる画像シーケンスＩ１、Ｉ２、．．．、ＩＮｂを符号化する方法のステップを示す。この符号化方法は、例えば、図６に関して説明するような符号化デバイスによって実施される。
【００６４】
画像シーケンスＩ１，Ｉ２、．．．、ＩＮｂは、符号化方法の入力として提供される。ただし、Ｎｂは、符号化対象シーケンスの画像数である。この符号化方法は、入力として与えられた画像シーケンスを表す符号化データストリームＳＴＲを出力する。
【００６５】
既知の方法では、画像シーケンスＩ１、Ｉ２、．．．、ＩＮｂの符号化は、事前に設定され復号器に知られている符号化順序に従って画像ごとに行われる。例えば、画像は、時間順序Ｉ１、Ｉ２、．．．、ＩＮｂで符号化することもできれば、他の任意の順序、例えばＩ１、Ｉ３、Ｉ２、．．．、ＩＮｂに従って符号化することもできる。
【００６６】
ステップＥ０において、画像シーケンスＩ１、Ｉ２、．．．、ＩＮｂの符号化対象画像Ｉｊがブロック、例えば、３２×３２ピクセル若しくは６４×６４ピクセルのサイズ又はそれよりも大きなサイズのブロックに分けられる。そのようなブロックは、例えば、１６×１６、８×８、４×４、１６×８、８×１６等のサイズの正方形又は長方形のサブブロックに分けることができる。
【００６７】
ステップＥ０ではさらに、画像Ｉｊ（１≦ｊ≦Ｎｂ）の符号化対象のブロック又はサブブロックＸが、画像Ｉｊの所定のスキャン方向に従って選択される。
【００６８】
ここでは、ブロックＸは、イントラ符号化モードに従って符号化されるものと仮定する。ブロックＸは、利用可能なイントラ符号化モードの中で従来のイントラ符号化モードによって、例えば、G.-J. Sullivan、J.-R. Ohm、W.-J. Han、T. Wiegand著「Overview of the High Efficiency Video Coding (HEVC) Standard」IEEE Transactions on Circuits and Systems for Video Technology, December 2012に記載のＨＥＶＣ規格に定められたイントラ符号化モードに従って、又は、図２及び図３に関して上記で説明したような予測を用いたイントラ符号化によって符号化することができるものと仮定する。ここで説明する符号化方法は、もちろん、現在のブロックＸを符号化するのに利用可能な他のイントラ予測モードにも適用でき、もっぱらＨＥＶＣ規格に記載のイントラ符号化モードに限定されるわけではない。
【００６９】
ここで説明する特定の実施形態によれば、ブロックＸの最良のイントラ符号化モードは、各イントラ符号化モードに関連したビットレート、歪みコストによって選択される。
【００７０】
ステップＥ１０において、ブロックＸを符号化する最良の従来のイントラモードが決定される。従来のイントラ予測は、既に再構築されたピクセルＴ（ｌｉｎ，ｃｏｌ）によって、現在のブロックのピクセルＸ（ｌｉｎ，ｃｏｌ）の集合を予測することにある。ただし、ｌｉｎは、図１に示したように、ブロックＸの左上隅を基準としたピクセルの行の画像内のインデックスを表し、ｃｏｌは、ブロックＸの左上隅を基準としたピクセルの列の画像内のインデックスを表す。既に再構築されたピクセルＴ（ｌｉｎ，ｃｏｌ）は、関数集合｛Ｆｍ｝から選ばれた補間関数によって補間される。ここで、ｍの値は０〜Ｍ−１の範囲にあり、Ｍは各ピクセルＸ（ｌｉｎ，ｃｏｌ）のイントラモードの数である。予測される値Ｐ（ｌｉｎ，ｃｏｌ）は、Ｐ（ｌｉｎ，ｃｏｌ）＝Ｆｍ（Ｔ，ｌｉｎ，ｃｏｌ）によって与えられる。ｍはイントラ予測モードのインデックスである。
【００７１】
したがって、ＨＥＶＣ規格によれば、モードＭ＝１は、各予測されたピクセルＰ（ｌｉｎ，ｃｏｌ）に、既に再構築されたピクセルＴ（ｌｉｎ，ｃｏｌ）の平均値を割り当てることにある。ｍ＞１のインデックスを有するモードは、既に再構築されたピクセルＴ（ｌｉｎ，ｃｏｌ）からの３３個の異なる方向における方向補間である。
【００７２】
ステップＥ１０にて、従来のイントラ予測モードｍ（ｍ＝０〜Ｍ−１）の中で最良の可能な予測が決定される。
【００７３】
これを行うために、０〜Ｍ−１の範囲にある各予測モードｍについて、以下のサブステップが行われる。
−  サブステップＥ１０１にて、対応する予測関数を現在のブロックＸの各ピクセルに適用することにより、予測ブロックＰｍすなわちＰｍ（ｌｉｎ，ｃｏｌ）＝Ｆｍ（Ｔ，ｌｉｎ，ｃｏｌ）が構築される。
−  サブステップＥ１０２にて、現在のブロックＸの各ピクセルについて、モードｍの現在のブロックＸの予測残差Ｒｅｓｍが、Ｒｅｓｍ（ｌｉｎ，ｃｏｌ）＝Ｘ（ｌｉｎ，ｃｏｌ）−Ｐｍ（ｌｉｎ，ｃｏｌ）により計算される。
−  従来と同様、サブステップＥ１０３にて、予測残差が、例えば、ＤＣＴ変換によって変換され、量子化され、量子化された係数Ｒｅｓｑｍが得られ、イントラ予測モードｍに関連した符号化コストＲｍが、量子化された係数Ｒｅｓｑｍと、イントラ予測モードｍを伝送するコストとから推定される。
−  サブステップＥ１０４にて、予測残差Ｒｅｓｒｅｃｍが、量子化された係数Ｒｅｓｑｍの逆量子化及び逆変換により再構築される。
−  サブステップＥ１０５にて、現在のブロックＸｒｅｃｍが、Ｘｒｅｃｍ＝Ｒｅｓｒｅｃｍ＋Ｐｍにより再構築される。
−  サブステップＥ１０６にて、現在のブロックＸと、イントラ予測モードｍに関連した再構築された現在のブロックＸｒｅｃｍとの間の歪みＤｍが、Ｄｍ＝Ｄｉｓｔ（Ｘ，Ｘｒｅｃｍ）によって計算される。イントラ予測モードｍに関連したビットレート、歪みコストが、Ｊｍ＝Ｒｍ＋λ×Ｄｍによって計算される。ただし、Ｄｉｓｔは、誤差関数、例えば二次誤差関数を表す。
【００７４】
サブステップＥ１０７にて、０〜Ｍ−１の予測モードｍに関連した全てのビットレート、歪みコストＪｍの中で最小のビットレート／歪みコストＪｎを与える予測モジュールｎが、最良の従来のイントラ予測モードとして選択される。予測モードｎと、残差Ｒｅｓｑｎに関連した符号化された情報と、再構築された現在のブロックＸｒｅｃｍとは、その後の処理のために記憶される。
【００７５】
ステップＥ１１において、図２及び図３に関して説明したようなイントラ予測モードを符号化するコストが、最良の従来のイントラ予測モードとその後に比較するために求められる。より明瞭にするために、図２及び図３に関して説明したようなイントラ予測モードを、「訂正済み予測を用いるモード」と呼ぶ。
【００７６】
ステップＥ１１にて、訂正済み予測モードによるビットレート、歪みコストが最小の、現在のブロックＸの符号化を提供する訂正ブロックＶｂが求められる。これを行うために、ｋが０〜Ｎ−１の範囲を有する訂正ブロックの集合の各訂正ブロックＶｋについて、以下のサブステップが行われる。
−  サブステップＥ１１１にて、訂正ブロックＶｋに関連した予測ブロックＰｋが、図２に関して説明したステップ２０〜２２を実施することによって構築される。
−  サブステップＥ１１２にて、訂正ブロックＶｋの現在のブロックＸの予測残差Ｒｅｓｋが、現在のブロックＸの各ピクセルについて、Ｒｅｓｋ（ｌｉｎ，ｃｏｌ）＝Ｘ（ｌｉｎ，ｃｏｌ）−Ｐｋ（ｌｉｎ，ｃｏｌ）により計算される。
−  サブステップＥ１１３にて、予測残差が、例えばＤＣＴ変換によって変換され、量子化されて、量子化された係数Ｒｅｓｑｋが得られ、訂正ブロックＶｋに関連した符号化コストＲｋが、量子化された係数と、訂正ブロックＶｋを伝送するコストとから推定される。例えば、訂正ブロックＶｋは、訂正ブロックの集合中の訂正ブロックＶｋのインデックスを符号化することによって復号器に伝送される。
−  サブステップＥ１１４にて、予測残差Ｒｅｓｒｅｃｋが、量子化された係数Ｒｅｓｑｋの逆量子化及び逆変換により再構築される。
−  サブステップＥ１１５にて、現在のブロックＸｒｅｃが、Ｘｒｅｃｋ＝Ｒｅｓｒｅｃｋ＋Ｐｋにより再構築される。
−  サブステップＥ１１６にて、現在のブロックＸと、訂正ブロックＶｋに関連した再構築された現在のブロックＸｒｅｃｋとの間の歪みＤｋが、Ｄｋ＝Ｄｉｓｔ（Ｘ，Ｘｒｅｃｋ）により計算され、訂正ブロックＶｋに関連したビットレート、歪みコストが、Ｊｋ＝Ｒｋ＋λ×Ｄｋにより計算される。ただし、Ｄｉｓｔは、誤差関数、例えば二次誤差関数である。
【００７７】
サブステップＥ１１７にて、ｋが０〜Ｎ−１の範囲の値である訂正ブロックＶｋに関連した最小のビットレート、歪みコストＪｋを提供する訂正ブロックＶｂが、最良の訂正ブロックとして選択される。訂正ブロックＶｂのインデックス及び予測残差Ｒｅｓｂに関連した符号化された情報は、その後の処理のために記憶される。
【００７８】
ステップＥ１２にて、ステップＥ１０及びステップＥ１１においてそれぞれ得られた２つの予測モードのビットレート、歪みコストＪｎ及びＪｂが比較され、現在のブロックＸが、最小のビットレート、歪みコストを提供するイントラ予測モードに従って符号化される。
【００７９】
ステップＥ１２では、図８Ａ及び図８Ｂに示すように、イントラ予測モードのタイプを示す情報（ＴＹ）が、データストリームＳＴＲ内で符号化される。この情報は、現在のブロックＸが、従来のイントラ予測モード、すなわち、画像の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されるのか、あるいは、現在のブロックＸが、訂正済み予測を用いるモード、すなわち、現在のブロックＸの少なくとも１つの既に訂正されたピクセルを用いる予測モードに従って符号化されるのかを表す。
【００８０】
ステップＥ１２にて、現在のブロックＸを符号化する最良のイントラ予測モードが従来のイントラ予測モードｎであると判断された場合、ステップＥ１３において、予測モードｎが、符号化されたデータストリームＳＴＲ内に符号化され、この予測モードｎについて得られた量子化された係数Ｒｅｓｑｎが、エントロピー符号化モジュール、例えば、D. Marpe、H. Schwarz、T. Wiegand著「Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard」IEEE Transactions on Circuits and Systems for Video Technology  (Volume:13, Issue: 7 ), pages    620 - 636,   July 2003に記載のＣＡＢＡＣ符号化器によって、符号化されたデータストリームＳＴＲ内に符号化される。
【００８１】
ステップＥ１２にて、現在のブロックＸを符号化する最良のイントラ予測モードが、訂正ブロックＶｂを用いる、訂正済み予測を用いるモードであると判断された場合、ステップＥ１３では、訂正ブロックＶｂを表す情報、例えば、訂正ブロックの辞書における訂正ブロックＶｂのインデックス「ｂ」が、符号化されたデータストリームＳＴＲ内に符号化される。このインデックスは、例えば、固定長又は可変長を有する符号によって符号化される。次に、ステップＥ１１３にて訂正ブロックＶｂについて得られた量子化された係数Ｒｅｓｑｂが、エントロピー符号化モジュール、例えば、ＣＡＢＡＣ符号化器によって、符号化されたデータストリームＳＴＲ内に符号化される。訂正済み予測を用いるモードに従った現在のブロックＸの符号化から得られる信号の１つの例を図８Ａに示す。
【００８２】
本発明の１つの特定の実施形態によれば、図８Ｂに示すように、訂正済み予測を用いるモードで用いられる局所的予測関数Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）を表す情報が、符号化データストリームＳＴＲ内に符号化される。本発明のこの特定の実施形態によれば、そのような情報は、画像レベルにおいて符号化することができる。したがって、画像の全てのブロックが、訂正済み予測を用いるモードに従って符号化される場合、それらのブロックには、同じ局所的予測関数が用いられる。あるいは、そのような情報は、ブロックレベルにおいて符号化することもでき、したがって、局所的予測関数を各ブロックに合わせたものとすることができ、最良のビットレート、歪みコストを提供する局所的予測関数を選択することができる。
【００８３】
ステップＥ１４において、符号化対象画像Ｉｊの全てのブロックが符号化されていることを確認する。確認されなかった場合（Ｎ）、符号化方法は、符号化対象画像の所定のスキャンに従って次のブロックの選択に進むことにより、ステップＥ１０に戻る。
【００８４】
画像の全てのブロックが処理されると、ステップＥ１５において、画像の再構築されたブロックＸｒｅｃから画像Ｉｊｒｅｃが再構成され、画像のシーケンスの後続の画像の符号化時に参照として後に使用されることになる参照画像のリスト内に保存される。符号化方法は、その後、ステップＥ０に戻り、符号化順序に従って画像シーケンス内の後続の画像を処理する。
【００８５】
［４．復号方法］
図５に、本発明の１つの特定の実施形態による、復号対象画像Ｉ１、Ｉ２、．．．、ＩＮｂのシーケンスを表す符号化データストリームＳＴＲの復号方法のステップを示す。
【００８６】
例えば、データストリームＳＴＲは、図４を参照しながら述べた符号化方法により生成されている。データストリームＳＴＲは、図７を参照しながら説明する復号デバイスＤＥＣの入力として与えられる。
【００８７】
復号方法は、画像ごとにストリームの復号を行い、各画像は、ブロックごとに復号される。
【００８８】
再構築対象画像のブロックＸにつき、ステップＥ５０において、ブロックＸに対応するデータストリームＳＴＲのデータが、エントロピー復号モジュールによって復号されて、現在のブロックＸの符号化モードに関するシンタックス要素が提供され、また、現在のブロックＸの予測残差Ｒｅｓｑｂの係数が提供される。
【００８９】
本発明の１つの特定の実施形態によれば、復号されたシンタックス要素は、特に、現在のブロックＸが、従来のイントラ予測モード、すなわち、画像の既に再構築されたブロックに属するピクセルのみを用いる予測モードに従って符号化されているのか、あるいは、現在のブロックＸが、訂正済み予測モード、すなわち、現在のブロックＸの少なくとも１つの既に訂正されたピクセルを用いる予測モードに従って符号化されているのかを表す情報（ＴＹ）を含む。
【００９０】
ここで、現在のブロックＸは、訂正済み予測を用いるモードに従って符号化されているものとする。
【００９１】
ステップＥ５０にて復号されたシンタックス要素は、復号器ＤＥＣにおいて利用可能である訂正ブロックの辞書に属する訂正ブロックＶｂを表す情報「ｂ」も含む。
【００９２】
ステップＥ５０１において、復号された情報「ｂ」から訂正ブロックＶｂが決定される。訂正ブロックＶｂは、復号器ＤＥＣにおいて利用可能な辞書の訂正ブロックの中で特定される。例えば、そのような訂正ブロックは、復号器ＤＥＣのメモリに記憶されている。
【００９３】
ステップＥ５１では、ブロックＸの予測残差の係数が、逆量子化され、次に、逆変換されて、復号された予測残差Ｒｅｓｑｂｒｅｃが与えられる。
【００９４】
ステップＥ５２では、訂正ブロックＶｂに関連した予測ブロックＰｂが、図２に関して説明したステップ２０〜２２を実施することによって構築される。
【００９５】
本発明の１つの特定の実施形態によれば、ステップＥ５０にて復号された復号シンタックス要素は、訂正済み予測を用いるモードで用いられる局所的予測関数Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）を表す情報も含む。この情報は、画像シンタックス要素のレベルにおいて復号することもできるし、現在のブロックＸについて復号することもできる。局所的予測関数Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）を表すこの情報は、符号化器及び復号器に知られている予測関数のリストの中からの関数のインデックスとすることができる。本発明のこの特定の実施形態によれば、符号化データストリームＳＴＲの復号された局所的予測関数Ｈ（Ａｉ，Ｂｉ，Ｃｉ，）は、ステップＥ５２にて、図２に関して説明した予測ブロックを求める方法によって用いられる。
【００９６】
ステップＥ５３では、訂正ブロックＶｂに関連した予測ブロックＰｂに、符号化データストリームＳＴＲから復号された現在のブロックＸに関連した予測残差Ｒｅｓｑｂｒｅｃを加算することにより、現在のブロックＸｒｅｃが再構築される。
【００９７】
ステップＥ５４では、復号対象画像の全てのブロックが復号及び再構築されたことが確認される。確認されなかった場合（Ｎ）、復号方法は、ステップＥ５０から再開し、復号対象画像の所定のスキャンに従って次のブロックの選択を行う。
【００９８】
画像内の全てのブロックが処理されると（Ｙ）、ステップＥ５５では、画像Ｉｋｒｅｃが、再構築されたブロックＸｒｅｃから再構築され、画像シーケンスにおける後続の画像の復号時に参照としてその後に用いられる参照画像のリストに保存される。
【００９９】
上記で説明した符号化方法及び復号方法は、Ｈ．２６６規格、ＨＥＶＣ／Ｈ．２６５規格、ＡＶＣ／Ｈ．２６４規格を用いるデバイス等の標準的なビデオ符号化器・復号器に組み込むこともできるし、任意のタイプの独自開発のビデオ符号化器・復号器に組み込むこともできる。本発明による符号化方法及び復号方法は、ブロック単位の予測符号化を用いる全てのタイプの固定画像符号化器・復号器、及び、より一般的には信号符号化器・復号器にも適用される。
【０１００】
空間ブロック単位符号化（画像のイントラ符号化）の場合における符号化方法及び復号方法を上記において説明してきた。これらの方法は、他のタイプの符号化モード、例えば、幾つかのブロックのみを空間予測によって符号化することができるインター符号化モードに従って符号化される画像の場合に容易に適用される。
【０１０１】
［５．符号化デバイス］
図６に、本発明の特定の実施形態のうちのいずれか１つによる、符号化方法を実施する符号化デバイスＣＯＤの簡略化した構造を示す。
【０１０２】
本発明の１つの特定の実施形態によれば、符号化方法のステップは、コンピュータプログラム命令によって実施される。これを行うために、符号化デバイスＣＯＤは、コンピュータの従来のアーキテクチャを有し、特に、メモリＭＥＭと、例えば、プロセッサＰＲＯＣを備えており、メモリＭＥＭに記憶されるコンピュータプログラムＰＧによって管理される処理ユニットＵＴとを備える。コンピュータプログラムＰＧは、当該プログラムがプロセッサＰＲＯＣによって実行されると、本明細書において上記で説明されたような符号化方法のステップを実施する命令を含む。
【０１０３】
まず、コンピュータプログラムＰＧのコード命令が、例えば、メモリＲＡＭの中にロードされ、その後、プロセッサＰＲＯＣによって実行される。処理ユニットＵＴのプロセッサＰＲＯＣは特に、コンピュータプログラムＰＧの命令に従って本明細書において上記で説明された符号化方法のステップを実施する。
【０１０４】
本発明の別の特定の実施形態によれば、符号化方法は機能モジュールによって実施される。これを行うために、符号化デバイスＣＯＤは、
−  符号化対象画像の現在のブロックの予測ブロックを求める予測モジュールＰＲＥＤであって、
○現在のブロックの少なくとも１つの第１ピクセルにつき、
・画像の既に再構築されたブロックの少なくとも１つのピクセルから上記第１ピクセルの予測値を得ることと、
・上記第１ピクセルについて得られた予測値に、訂正ブロックと呼ばれるブロックのピクセルの少なくとも１つの値を加えることにより、第１ピクセルを訂正することと、
○現在のブロックの少なくとも１つのピクセルにつき、
・現在のブロックの少なくとも１つの既に訂正されたピクセルから上記現在のブロックの予測値を得ることと、
・現在のピクセルについて得られた予測値に、上記現在のブロックのピクセルの少なくとも１つの値を加えることにより、上記現在のピクセルを訂正することと
をも行う予測モジュールＰＲＥＤと、
−  上記訂正ブロックを表す少なくとも１つの情報と、上記現在のブロック及び上記求められた予測ブロックから計算された残差ブロックとを符号化データストリーム内に符号化する符号化モジュールＣＤと
を更に備える。
【０１０５】
処理ユニットＵＴは、現在のブロック及び求められた予測ブロックから残差ブロックを計算する。
【０１０６】
処理ユニットＵＴは、符号化方法のステップを実施するために、本明細書において上記で説明された複数の機能モジュール及びメモリＭＥＭと協働する。
【０１０７】
本明細書において上記で説明された複数の機能モジュールは、ハードウェアの形及び／又はソフトウェアの形をとることができる。ソフトウェアの形の場合、そのような機能モジュールは、プロセッサと、メモリと、コード命令がプロセッサによって実行されるときにモジュールに対応する機能を実施するプログラムコード命令とを含むことができる。ハードウェアの形の場合、そのような機能モジュールは、例えば、網羅的ではないが、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路及び論理ユニット配線等の任意のタイプの適合した符号化回路によって実現することができる。
【０１０８】
［６．復号デバイス］
図７に、本発明の特定の実施形態のうちのいずれか１つによる、復号方法を実施する復号デバイスＤＥＣの簡略化した構造を示す。
【０１０９】
本発明の１つの特定の実施形態によれば、復号デバイスＤＥＣは、コンピュータの従来のアーキテクチャを有し、特に、メモリＭＥＭ０と、例えば、プロセッサＰＲＯＣ０を備えており、メモリＭＥＭ０内に記憶されるコンピュータプログラムＰＧ０によって管理される処理ユニットＵＴ０とを備える。コンピュータプログラムＰＧ０は、当該プログラムがプロセッサＰＲＯＣ０によって実行されると、本明細書において上記で説明された復号方法のステップを実施する命令を含む。
【０１１０】
まず、コンピュータプログラムＰＧ０のコード命令は、例えば、メモリＲＡＭの中にロードされ、その後、プロセッサＰＲＯＣ０によって実行される。処理ユニットＵＴ０のプロセッサＰＲＯＣ０は特に、コンピュータプログラムＰＧ０の命令に従って、本明細書において上記で説明された復号方法のステップを実施する。
【０１１１】
本発明の別の特定の実施形態によれば、復号方法は機能モジュールによって実現される。これを行うために、復号デバイスＤＥＣは、
−  再構築される画像の少なくとも１つの現在のブロックにつき、符号化データストリームから、訂正ブロックと呼ばれるブロックを表す少なくとも１つの情報と、残差ブロックとを復号する復号モジュールＤＣと、
−  復号された情報から訂正ブロックを求める決定モジュールＤＥＴと、
−  現在のブロックの予測ブロックを求める予測モジュールＰＲＥＤ０であって、
○現在のブロックの少なくとも１つの第１ピクセルにつき、
・画像の既に再構築されたブロックの少なくとも１つのピクセルから上記第１ピクセルの予測値を得ることと、
・上記第１ピクセルについて得られた予測値に、訂正ブロックのピクセルの少なくとも１つの値を加えることにより、第１ピクセルを訂正することと、
○第１ピクセルとは異なる、現在のブロックの少なくとも１つの現在のピクセルにつき、
・現在のブロックの少なくとも１つの既に訂正されたピクセルから上記現在のピクセルの予測値を得ることと、
○現在のピクセルについて得られた予測値に、訂正ブロックのピクセルの少なくとも１つの値を加えることにより、上記現在のピクセルを訂正することと
を行う予測モジュールＰＲＥＤ０と、
−  予測ブロック及び残差ブロックから上記現在のブロックを再構築する再構築モジュールＲＥＣと
を更に備える。
【０１１２】
処理ユニットＵＴ０は、復号方法のステップを実施するために、本明細書において上記で説明された複数の機能モジュール及びメモリＭＥＭ０と協働する。
【０１１３】
本明細書において上記で説明された複数の機能モジュールは、ハードウェア及び／又はソフトウェアの形をとることができる。ソフトウェアの形の場合、そのような機能モジュールは、プロセッサと、メモリと、コード命令がプロセッサによって実行されるときにモジュールに対応する機能を実施するプログラムコード命令とを含むことができる。ハードウェアの形の場合、そのような機能モジュールは、例えば、網羅的ではないが、マイクロプロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び論理ユニット配線等の任意のタイプの適合した復号回路によって実現することができる。
【図１】
2020522180.tif 000005
【図２】
2020522180.tif 000006
【図３】
2020522180.tif 000007
【図４】
2020522180.tif 000008
【図５】
2020522180.tif 000009
【図６】
2020522180.tif 000010
【図７】
2020522180.tif 000011
【図８Ａ】
2020522180.tif 000012
【図８Ｂ】
2020522180.tif 000013
【国際調査報告】
2020522180.tif 000014
2020522180.tif 000015
2020522180.tif 000016
2020522180.tif 000017
2020522180.tif 000018
2020522180.tif 000019