(57)【要約】【課題】画像間予測方法およびデバイス並びに対応する符号化方法および装置を提供する。【解決手段】本発明は、候補パッチのセット（ＰＳ）からの辞書（Ｄｌ）のパッチに属するピクセルブロックの重み付き和を使用して、画像のピクセルブロックを予測する方法において、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成される、方法に関する。この方法は、候補パッチのサブセット（ＳＰＳ）が、候補パッチのセット（ＰＳ）から得られ、辞書（Ｄｌ）が、第１のパッチと呼ばれる、候補パッチのサブセット（ＳＰＳ）のパッチと、第２のパッチと呼ばれる、前記候補パッチのセット（ＰＳ）の少なくとも１つの他のパッチとで形成される。【選択図】図２
2014183595.tif 000002
【特許請求の範囲】
【請求項１】
候補パッチのセット（ＰＳ）からの辞書（Ｄｌ）のパッチに属するピクセルブロックの重み付き和を使用して、画像のピクセルブロックを予測する方法であって、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成される、方法において、
候補パッチのサブセット（ＳＰＳ）が、前記候補パッチのセット（ＰＳ）から得られ、前記辞書（Ｄｌ）が、第１のパッチと呼ばれる、前記候補パッチのサブセット（ＳＰＳ）に属するパッチと、第２のパッチと呼ばれる、前記候補パッチのセット（ＰＳ）に属する少なくとも１つの他のパッチとで形成される、前記方法。
【請求項２】
前記第１のパッチが、その近傍と、予想しようとするブロックを含むパッチの近傍との間で計算される距離を最小化するパッチである、請求項１に記載の方法。
【請求項３】
前記辞書のそれぞれの第２のパッチは、該辞書の、前記第２のパッチと前記第１のパッチとの間で計算される距離を最小化するパッチである、請求項１または２に記載の方法。
【請求項４】
前記サブセットのそれぞれの候補パッチは、その近傍と、予測しようとするブロックを含むパッチの近傍との間で計算される距離を最小化する、請求項１から３の一項に記載の方法。
【請求項５】
予測しようとするブロックの因果的近傍の予測が、前記辞書のパッチの近傍の重み付き線形結合を使用して求められ、前記予測を最適化する重み付けパラメータが選択され、
画像のピクセルブロックが、辞書のブロックのピクセルの重み付き線形結合を使用して予測され、前記線形結合の重み付けパラメータは、予測しようとするブロックの因果的近傍の予測中に選択されるものである、請求項１から４の一項に記載の方法。
【請求項６】
辞書の第１のパッチの画像における位置が、予測しようとするブロックとその因果性近傍とで形成されるパッチから定義される変位情報のアイテムによって与えられる、請求項１から５の一項に記載の方法。
【請求項７】
画像シーケンス中に予測ブロックが画像ピクセルブロックから計算される、画像シーケンスを符号化および／または復号する方法であって、
前記予測ブロックが、請求項１から６の一項に記載の方法によって計算される、前記方法。
【請求項８】
候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、前記ブロックを予測するように構成された画像のピクセルブロックを予測するデバイスであって、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成される、デバイスにおいて、さらに、
前記候補パッチのセットから候補パッチのサブセットを得る手段と、
前記候補パッチのサブセットのパッチと、前記候補パッチのセットの少なくとも１つの他のパッチとから、少なくとも１つの辞書を形成する手段と、
請求項１から６の一項に記載の方法を実現するように構成された手段と
を含む、前記デバイス。
【請求項９】
請求項８に記載のデバイスによって送信または受信されることを意図した信号のフレームであって、
予測しようとするピクセルブロックの予測がそこから始まる、前記辞書の第１のパッチの位置を識別する情報のアイテムを搬送する、前記フレーム。
【請求項１０】
信号を送信および／または受信する手段も備え、前記信号のフレームが請求項９のものと一致する、請求項８に記載のデバイス。
【請求項１１】
画像シーケンスを符号化および／または復号する装置であって、請求項８または１０に記載のデバイスと、請求項７に記載の方法を実現するように構成された手段とを備える、前記装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化の一般的分野に関し、より具体的には、画像間予測の一般的分野に関する。
【背景技術】
【０００２】
画像間予測は、ビデオの高い圧縮率を得るために、そのビデオの連続する画像間に存在する時間的冗長性を利用することにある。
【０００３】
画像間予測の原理は、現在画像を、ブロックまたはマクロブロックに分割することにある。次いで、符号器が、ビデオの別の（以前または将来の）画像内に類似のブロックを発見する。この別の画像は、通常、参照画像と呼ばれる。次いで、符号器は、予測しようとするブロックから、参照画像（複数を含む）において発見されたブロックの位置を定義する動きベクトルを符号化する。次いで、符号器は、これらの２つのブロック間の差を計算し、予測誤差を符号化する。次いで、この動きベクトルおよび予測誤差が復号器に伝送され、これによって復号器はブロックを再構築することができる。
【０００４】
この種の方法を使用する多数のビデオ符号化／復号方式が知られている。例えば、ＭＰＥＧ−２（例えば、非特許文献１参照），ＭＰＥＧ−４／ＡＶＣ（例えば、非特許文献２参照）またはＨＥＶＣ（例えば、非特許文献３参照）規格。
【０００５】
ブロックを予測することに対してブロック（または、より一般的にはゾーン）の定義は、符号化の有効さに対して決定的である。実際に、現在ブロックと予測ブロックとのコンテンツが非常に異なる場合には、予測誤差が大きくなり、このことは、この予測誤差を符号化するためにかなり多数のビットを要することになる。
【０００６】
したがって、予測しようとするブロックから、コンテンツの点において、遠く離れた予測ゾーンを選択するリスクを最小化することが必要である。
【０００７】
さらに、送信機と受信機との間の伝送のコンテキストでは、予測された画像を再構築するリモート復号器によって必要とされるシンタックス要素を符号化するコストは相対的に高い。例えば、ＭＰＥＧ−４／ＡＶＣ規格の場合に、参照画像は２つのリストにまとめてグループ化される。すなわち、予測しようとするブロックがそれに属する画像に対して時間的に前の（復号または再構築された）画像をまとめてグループ化するもの、および時間的に後の（復号または再構築された）画像をまとめてグループ化するものである。以下では、時間的に前、および／または後の画像が言及されるときには、これらの画像は復号、および再構築されていることを意味している。すなわち、参照画像のブロックを表わすために、画像の２つのリストのうちの一方を表わす情報のアイテム、このリストにおける（参照）画像のインデックスを示す情報のアイテム、および参照画像におけるブロックの座標を示す情報の最後のアイテムを、復号器に伝送する必要がある。
【０００８】
時間的予測を使用する符号化方法の場合に、復号器に伝送される情報を符号化するコストを最小化するために、本発明者らは、それぞれのパッチが画像のピクセルブロックとこのピクセルブロックの因果的近傍（ｃａｕｓａｌ  ｎｅｉｇｈｂｏｕｒｈｏｏｄ）とで形成されている、候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和（ｗｅｉｇｈｔｅｄ  ｓｕｍ）を使用して、画像のピクセルブロックを予測することを提案している（例えば、非特許文献４参照）。
【０００９】
より具体的には、この方法は、コンテンツの点において、予測しようとするピクセルブロックと、このブロックの因果的近傍とで形成されたパッチに近い、第１のパッチと呼ばれる、候補パッチと、コンテンツの点において、第１のパッチと近い、第２のパッチと呼ばれる、少なくとも１つの他のパッチとから辞書を定義することにある。次いで、予測しようとするピクセルブロックの因果的近傍の予測が、この辞書のパッチの近傍の重み付き線形結合（ｗｅｉｇｈｔｅｄ  ｌｉｎｅａｒ  ｃｏｍｂｉｎａｔｉｏｎ）を使用して求められ、次いで、この予測を最適化する重み付けパラメータが選択され、次いで、画像のピクセルブロックが、辞書のブロックのピクセルの重み付き線形結合を使用して予測され、前記線形結合の重み付けパラメータは、近傍予測の間に求められた最適なものである。
【００１０】
この方法は、重み付けパラメータが、このブロックに対する予測エラーに直接ではなく、予測しようとするブロックのまわりに位置するゾーン（近傍）に対する予測誤差を最小化し、したがって画像のコンテンツの連続性に有利となるように定義されているので、ブロックに対する予測誤差が低減されるので有利である。
【００１１】
さらに、復号器に伝送される情報は、復号器によって知られると、第１のパッチを一義的に定義する情報のアイテムに制限され、したがって、復号器は、この辞書（パッチ）はすべて、画像の再構築された部分に属するので、符号器のそれと同一の方法で、辞書を定義することができる。したがって、復号器は、符号器側でブロックの予測のために使用される重み付けパラメータを計算して、したがって符号器によって得られるのと類似の方法で、予測ブロックを得ることができる。
【００１２】
理解できるように、この方法は、ＭＰＥＧ−４／ＡＶＣなどの規格のものに対して、これらの規格では復号器に伝送する必要のあるシンタックス要素を伝送する必要がなくなるので、符号化のコストを減少させる。
【００１３】
予測しようとするピクセルブロックで形成されたパッチに対して、第１のパッチを一義的に定義する情報のアイテム、およびこのブロックの因果要因である近傍だけを、伝送しなくてはならない。この情報のアイテムは、通常、動きベクトルであり、この動きベクトルは、サーチウィンドウに属する候補パッチのすべてをまとめてグループ化するテーブルのインデックスによって表わされる。候補パッチのコンテンツの変化を最大化するためにサーチウィンドウのサイズは大きくなくてはならないので、このインデックスのダイナミックレンジは、候補パッチの数が大きいので、比較的大きな数の符号化ビットを必要とする。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  ＭＰＥＧ００／Ｏｃｔｏｂｅｒ  ２０００，Ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｕｄｉｏ
【非特許文献２】Ｔ．Ｗｉｅｇａｎｄ，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ，Ｇ．Ｂｊｏｎｔｅｇａａｒｄ，ａｎｄ  Ａ．Ｌｕｔｈｒａ，“Ｏｖｅｒｖｉｅｗ  ｏｆ  ｔｈｅ  Ｈ．２６４／ＡＶＣ”，Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，ｌＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ，Ｖｏ１３，７，５６０−５７６，Ｊｕｌｙ  ２００３
【非特許文献３】ＩＴＵ−Ｔ  Ｑ．６／ＳＧ  ａｎｄ  ＩＳＯ／ＩＥＣ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１）
【非特許文献４】Ｓ．Ｃｈｅｒｉｇｕｉ，Ｃ  Ｇｕｉｌｌｅｍｏｔ，Ｄ．Ｔｈｏｒｅａｕ，Ｐ．Ｇｕｉｌｌｏｔｅｌ，“Ｍａｐ−Ａｉｄｅｄ  Ｌｏｃａｌｌｙ  Ｌｉｎｅａｒ  Ｅｍｂｅｄｄｉｎｇ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｉｍａｇｅ  ｐｒｅｄｉｃｔｉｏｎ”  ｐｒｏｃｅｅｄｉｎｇ  ｐ２９０９−２０１２，ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），２０１２
【発明の概要】
【００１５】
本発明の目的は、従来技術の短所の少なくとも１つを克服するとともに、導入部に記述したような時間的予測方法において使用される辞書の第１のパッチを定義する情報を符号化するコストを顕著に最小化することである。
【００１６】
このため、本発明は、候補パッチのセットから、辞書のパッチに属するピクセルブロックの重み付き和を使用する、画像のピクセルブロックを予測する方法に関し、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とから形成される。この方法は、候補パッチのサブセットが、候補パッチのセットから得られ、辞書が、第１のパッチと呼ばれる、候補パッチのサブセットのパッチと、第２のパッチと呼ばれる、前記候補パッチのセットの少なくとも１つの他のパッチと形成されることを特徴とする。
【００１７】
この辞書の他のパッチを選択するのに使用される候補パッチのセットの数と比較して、低減された数の候補パッチの中から辞書の第１のパッチを選択することにより、この第１のパッチが候補パッチのセットの中から選択されるときの標準的な方法において得られる符号化コストと比較して、低減された符号化コストを得ることが可能になる。
【００１８】
本方法の変形形態によれば、第１のパッチは、その近傍が、コンテンツの点において、予測しようとするブロックを含むパッチの近傍に近いパッチであり、好ましくは先述のものと組み合わされる、別の変形形態によれば、辞書のそれぞれの第２のパッチは、コンテンツの点において、この辞書の第１のパッチに近い。
【００１９】
実施形態によれば、前記サブセットのそれぞれの候補パッチの近傍は、コンテンツの点において、予測しようとするブロックを含むパッチの近傍に近い。
【００２０】
実施形態によれば、１または複数の画像に対して定義されたサーチウィンドウに属するパッチだけが、候補パッチとして考慮される。
【００２１】
本発明の別の態様によれば、本発明は、予測ブロックがその間に画像ピクセルブロックから計算される、画像シーケンスを符号化および／または復号する方法に関する。この符号化および／または復号する方法は、予測ブロックが上記方法によって計算されることを特徴とする。
【００２２】
本発明の別の態様によれば、本発明は、候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、前記ブロックを予測するように構成された、画像のピクセルブロックを予測するデバイスに関する。それぞれのパッチは、画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成され、デバイスはまた、
−前記候補パッチのセットから候補パッチのサブセットを得る手段と、
−前記候補パッチのサブセットのパッチと、前記候補パッチのセットの少なくとも１つの他のパッチとから、少なくとも１つの辞書を形成する手段と、
−上記の方法のうちの１つを実現するように構成された手段と
を含むことを特徴とする。
【００２３】
本発明の別の態様によれば、本発明は、上記のデバイスによって伝送または受信されることを意図した信号のフレームに関する。このフレームは、それが、予測しようとするピクセルブロックの予測がそこから始まる、辞書の第１のパッチの位置を識別する、情報のアイテムを搬送することを特徴とする。
【００２４】
デバイスの実施形態によれば、本発明は、信号のフレームが上述のものである信号を送信および／または受信する手段も備えることを特徴とする、上記のデバイスに関する。
【００２５】
本発明の別の態様によれば、本発明は、上記のデバイスを備えることを特徴とする、画像シーケンスを符号化および／または復号する装置に関する。
【図面の簡単な説明】
【００２６】
本発明は、添付の図面を参照して、非限定の実施形態および有利な実現形態を用いることによって、より正確に理解され、かつ説明される。
【図１】図１は、因果的近傍を定義する例を示す図である。
【図２】本発明による、画像のピクセルブロックを予測する方法のステップを示す図である。
【図３】辞書のパッチが同じ画像に属する場合を示す図である。
【図４】辞書のパッチがすべて同じ画像に属するとは限らない場合を示す図である。
【図５】辞書が第１のパッチから定義される場合を示す図である。
【図６】辞書のパッチがすべて同じ画像に属するとは限らない場合を示す図である。
【図７】本発明を実現するデバイスのアーキテクチャの例を概略的に示す図である。
【発明を実施するための形態】
【００２７】
以下では、Ｘｋで示される、パッチという用語を用いて、ブロックＢｋのピクセルおよびこのブロックＢｋの近傍Ｖｋのピクセルのグループ化を表わす。近傍Ｖｋは、このブロックＢｋの因果要因であり、予測しようとするピクセルブロックＢの回りに位置する近傍Ｖのそれと同一の形態を有する。ピクセルブロックに対する近傍の因果性（ｃａｕｓａｌｉｔｙ）は、このブロックの予測の前に、ピクセル値が既知であることを示す。以下では、予測しようとするピクセルブロックＢのピクセルと、近傍Ｖのピクセルとのグループ化を表わすのに、パッチＸも使用される。
【００２８】
図１は、因果的近傍を定義する例を示す。この例によれば、例えば、予測しようとするピクセルブロックＢの左および上に位置する３つのブロックにより近傍Ｖが形成される。近傍は、Ｎ値のベクトルであり、各値は、この近傍に属するピクセルの値に対応する。本発明は、この近傍の定義に決して制限はされることはなく、そうではなく、因果的近傍の任意の定義、いわば、予測しようとする現在ブロックを復号する以前の復号器において入手可能な任意の近傍に拡張される。
【００２９】
図２は、画像シーケンスの画像のピクセルブロックを予測する方法のステップの図を示す。
【００３０】
この方法によれば、現在画像ＩＣのピクセルブロックＢは、候補パッチのセットＰＳから、辞書のパッチに属するピクセルブロックの重み付き和を用いて予測される。
【００３１】
この方法によれば、候補パッチのセットＰＳは、１または複数の画像にわたり定義されるサーチウィンドウＳＷに属する少なくとも１つの候補パッチＸｋで形成される（ステップ１）。このサーチウィンドウＳＷは、空間領域の形態における単一の画像上で定義することができるが、いわば、時間的に連続するか、またはそうではない画像シーケンスのいくつかの画像にわたって定義することができる時間的特性を有することもできる。
【００３２】
例えば、このサーチウィンドウＳＷは、図１において、一方では、（予想しようとするピクセルブロックがそれに属する）画像Ｉｃに対して時間的に前の画像Ｉｃ−１のゾーンにより、パッチＸ（その共通に配置されたパッチが、この画像において破線で示される）を中心とするゾーンによって、他方では、画像Ｉｃより時間的に後の、別の画像Ｉｃ＋１のゾーンによって、定義される。この例によって、サーチウィンドウＳＷは、１または複数のゾーンで構成することができ、各ゾーンを、このパッチＸの共通に配置されたパッチの周りで、場合によってはそれを中心として、定義することができること、およびこれらのゾーンは、予測しようとするブロックがそれに属する画像の前および／または後の、異なる画像内に位置することができることが理解できる。
【００３３】
この方法によれば、候補パッチのサブセットＳＰＳが、候補パッチのセットＰＳから取得される（ステップ２）。
【００３４】
実施形態によれば、候補パッチのサブセットＳＰＳのパッチＸｋは、候補パッチのセットＰＳの候補パッチの中から無作為に選択される。
【００３５】
別の実施形態によれば、候補パッチのサブセットＳＰＳの各パッチＸｋは、その近傍Ｖｋが、コンテンツの点において、パッチＸの近傍Ｖに近いように選択される。
【００３６】
数学用語では、候補パッチのサブセットＳＰＳのパッチＸｋは、式（１）：
【００３７】
【数１】
2014183595.tif 000003
【００３８】
を満たす。
【００３９】
すなわち、候補パッチのサブセットＳＰＳは、式（１）によって与えられるユークリッドノルム（Ｅｕｃｌｉｄｅａｎ  ｎｏｒｍ）を最小化する、Ｎ個の候補パッチをまとめてグループ化する。ユークリッドノルム以外の距離を、本発明の範囲から出ることなく、使用することができる。
【００４０】
数字Ｎは、サーチウィンドウＳＷの候補パッチの合計数よりもずっと小さい整数である。しかしながら、これらのＮ個のパッチの１つを参照するインデックスのダイナミックレンジが、過剰な符号化コストにつながるほど大きすぎないことを確実にしながら、良好な予測を得るために、候補パッチのコンテンツにおける十分な変化を有するのに十分に大きくなくてはならない、この数字Ｎを求めるために、妥協が行われる。
【００４１】
この方法によれば、少なくとも１つの辞書Ｄｌ（ｌ≧１）が、候補パッチのサブセットＳＰＳの、第１のパッチと呼ばれる、パッチＸ０、および候補パッチのセットＰＳの、第２のパッチと呼ばれる、少なくとも１つの他のパッチＸｋ（１≦ｋ＜Ｋ）から形成される。
【００４２】
一変形形態によれば、それぞれの辞書Ｄｌは、候補パッチのサブセットＳＰＳのものの中から無作為に選択されたパッチと、候補パッチのセットＰＳのものの中から無作為に選択された少なくとも１つのパッチとをまとめてグループ化する。
【００４３】
一変形形態によれば、辞書Ｄｌの、第１のパッチと呼ばれる、第１のパッチＸ０は、候補パッチのサブセットＳＰＳのものの中から選択され、つまり、この第１のパッチは、その近傍が、コンテンツの点において、近傍Ｖに近くなるように、選択される。
【００４４】
一変形形態によれば、好ましくは先行のものと組み合わされ、辞書Ｄｌのそれぞれの第２のパッチＸｋが、候補パッチのセットＰＳのものの中から選択され、それによって、それは、コンテンツの点において、この辞書Ｄｌの第１のパッチＸ０に近い。
【００４５】
近傍間またはパッチ間のコンテンツの近接度（ｐｒｏｘｉｍｉｔｙ）は、それが、予測しようとするブロックの予測から生じる残留誤差のブロックのダイナミックレンジを制限するので、符号化の点において有利である。このコンテンツの近接度は、これらの近傍またはこれらのパッチのピクセルの値の間で計算された距離によって定量化される。この距離は、例えば、これらの２つの近傍またはパッチのピクセル間の絶対距離の和である。しかしながら、本発明は、特定の距離の使用に制限されない。
【００４６】
辞書の数Ｌおよび辞書当たりのパッチの数は、アプリオリにわかっている値である。
【００４７】
一変形形態によれば、各辞書におけるパッチの数Ｋは、すべての辞書に対して共通である。
【００４８】
一変形形態によれば、数Ｋは、予測しようとするブロックに応じて可変である。
【００４９】
この場合に、この数Ｋは、それぞれの予測しようとするブロックに対して最適化することができる。したがって、送信機／受信機の間での伝送のコンテキストで、それぞれの予測しようとするブロックに対して、この数を受信機に伝送することが必要である。
【００５０】
この方法によれば、ブロックＢは、辞書Ｄｌのパッチに属するピクセルブロックの重み付き和を使用して、予測される（ステップ３）。
【００５１】
この目的では、それぞれの辞書Ｄｌに対して、予測しようとするブロックＢの因果的近傍Ｖの予測は、この辞書のパッチＸｋの近傍Ｖｋの重み付き線形結合を使用して求められ、予測を最適化する重み付けパラメータが選択される。
【００５２】
数学用語では、辞書ＤｌのパッチＸｋ（０≦ｋ＜Ｋ）の近傍Ｖｋの重み付き線形結合を使用する、予測しようとするブロックＢの因果的近傍Ｖの予測は、重み付けパラメータＷｍ、但しｍ∈｛０；Ｋ−１｝、を求めることにあり、このパラメータは、この辞書Ｄｌのパッチの近傍Ｖｋのピクセルの重み付き値と、近傍Ｖのピクセルの値の間の距離を最小化する。
【００５３】
実施形態によれば、この距離は、ユークリッド空間において最小化によって表わされ、最小二乗の意味で、拘束条件
【００５４】
【数２】
2014183595.tif 000004
【００５５】
の下で式（２）
【００５６】
【数３】
2014183595.tif 000005
【００５７】
で表わされ、ここでＡｌは、辞書ＤｌのパッチのＫ個の近傍Ｖｋのピクセルの値をまとめてグループ化する、次元ＭｘＫのマトリックスであり、各近傍のＭ個のピクセル値は、まとめてグループ化されて、このマトリックスの列を形成する。
【００５８】
Ｋ個の重み付けパラメータは、このように、実際には式（３）：
【００５９】
【数４】
2014183595.tif 000006
【００６０】
によって最適化され、ここでＣＯｌは、マトリックスＡｌのピクセルの値の（近傍Ｖを参照する）局所共分散マトリックスであり、Ｉは単位列ベクトルである。
【００６１】
したがって、Ｋ個の最適重み付けパラメータ
【００６２】
【数５】
2014183595.tif 000007
【００６３】
が、辞書ＤｌのＫ個の近傍Ｖｋの線形結合を使用して、近傍Ｖを予測するために、取得される。
【００６４】
実施形態によれば、Ｌ個の辞書Ｄｌ、但しｌ∈｛０；Ｌ−１｝、が考慮されて、重み付けパラメータ
【００６５】
【数６】
2014183595.tif 000008
【００６６】
がこれらの辞書のそれぞれに対して求められて、ブロックＢを予測するのに使用される重み付けパラメータＷは、基準に従って、予測しようとするピクセルブロックに、最も近い予測を提供するものである。
【００６７】
実施形態によれば、この基準は、（符号化および復号の後に）再構築された予測ブロックと、予測しようとするブロックの間の二乗誤差である。
【００６８】
数学用語では、したがって、最適重み付けパラメータＷは、式（４）：
【００６９】
【数７】
2014183595.tif 000009
【００７０】
によって、拘束条件
【００７１】
【数８】
2014183595.tif 000010
【００７２】
の下で、与えられるものである。
【００７３】
別の実施形態によれば、使用される基準は、特にビデオ圧縮のコンテキストに適する、レート歪基準（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ  ｃｒｉｔｅｒｉｏｎ）である。
【００７４】
数学用語では、最適重み付けパラメータＷは、式（５）：
【００７５】
【数９】
2014183595.tif 000011
【００７６】
によって与えられるものであり、ここでＳＳＥｌは、最小二乗の意味において、予測しようとするピクセルブロックと再構築された予測ブロック（復号ブロック）の間の再構築誤差の尺度であり、Ｒｌはブロック（予測誤差およびその他のシンタックス要素）を符号化するコストであり、λはラグランジアンである。
【００７７】
単一の辞書が使用される場合の方法によれば、ブロックＢは、辞書ＤｌのパッチＸｋのブロックＢｋのピクセルの重み付き線形結合を使用して予測され、重み付けパラメータ
【００７８】
【数１０】
2014183595.tif 000012
【００７９】
は、式（３）において先に求められたものである。
【００８０】
いくつかの辞書が使用される場合には、ブロックＢは、パッチＸｋのブロックＢｋのピクセルの重み付き線形結合を使用して予測される。予測しようとするブロックを予測するのに使用される重み付けパラメータは、式（４）によって与えられるパラメータＷであり、ブロックＢの予測をそこから開始する辞書は、したがって、使用されたこれらの重み付けパラメータに対応するものである。
【００８１】
数学用語では、ブロックＢの予測
【００８２】
【数１１】
2014183595.tif 000013
【００８３】
は、式（６）：
【００８４】
【数１２】
2014183595.tif 000014
【００８５】
によって与えられ、ここでＡは、Ｋ個のブロックＢｋのピクセルＰ個の値をまとめてグループ化する、次元Ｐ×Ｋのマトリックスであり、Ｗは選択された重み付けパラメータである。
【００８６】
送信機と受信機器の間の伝送のコンテキストにおいて、使用されるパラメータの数が復号器に先にわかっている場合には、および単一の辞書が、近傍に基づいてのみ構築されている場合には、ブロックＢを予測するために、受信機（復号器）に伝送される特定の情報はない。実際に、一方では、予測によって使用される近傍が因果要因であり、このことにより受信機がマトリックスＡを再構築するパッチのブロックを発見することが可能となるので、また他方で、近傍Ｖの予測を実現することによって、予測方法は、特定の情報なしに受信機によって実現することが可能であり、この場合に得られるＫ個の重み付けパラメータは、この場合には送信機（符号器）によって実現される近傍を予測するサブステップ中に得られるもの（Ｗ）と同一である。
【００８７】
このように、この予測方法を実現する符号化方法は、例えば、Ｈ．２６４／ＡＶＣに使用されるものなどの、画像間符号化の従来の技法と比較して、大幅な符号化ゲインをもたらすことを理解することができる。
【００８８】
いくつかの辞書が使用される場合には、符号器によって選択された辞書の第１のパッチを識別する情報の特定のアイテムは、予測しようとするブロックを再構築するために、復号器に対して既知でなければならない。このために、信号が伝送されて、予測しようとするピクセルブロックの予測をそこから開始する、辞書の第１のパッチの位置を識別する情報の特定のアイテムを搬送する。
【００８９】
実施形態によれば、辞書Ｄｌの第１のパッチＸ０の画像の位置は、パッチＸから定義される変位情報
【００９０】
【数１３】
2014183595.tif 000015
【００９１】
のアイテムによって与えられる。
【００９２】
変位情報
【００９３】
【数１４】
2014183595.tif 000016
【００９４】
のアイテムは、実施形態によれば、既知のブロックマッチング方法によって得ることができ、この方法は、このブロックマッチング方法において、パッチをブロックとして考慮することによって、パッチＸに対して第１のパッチの変位を求めることを可能にする。
【００９５】
変位情報のアイテムは、この復号器が、どれが使用された第１のパッチかを判定することができるように、復号器に伝送されなくてはならない。復号器は、上述したものに類似する動作を実現することによって、辞書のその他のパッチを判定することができるので、それらを判定するためにその他の情報を伝送する必要はない。
【００９６】
したがって、いくつかの辞書を使用して、この予測方法を実現する符号化方法はまた、例えばＨ．２６４／ＡＶＣにおいて使用されるもののような画像間符号化の従来の技法と比較して、大幅な符号化ゲインをもたらすことが理解できる。
【００９７】
図３で示される、実施形態によれば、ｋ∈｛０；Ｋ−１｝の場合に、辞書ＤｌのＫ個のパッチＸｋは、現在画像Ｉｃ以外の同一画像Ｉｆ内にすべて位置している。画像Ｉｆは、これらの２つの画像が同一画像シーケンスに属するときには、画像Ｉｃに対して時間的に前または後にすることができる。
【００９８】
図４で示される、実施形態によれば、ｋ∈｛０；Ｋ−１｝の場合に、辞書ＤｌのＫ個のパッチＸｋは、異なる画像内に位置する。図４の例によれば、辞書Ｄｌは、現在画像Ｉｃより時間的に前の画像Ｉｃ−１内に（Ｋ−１）個のパッチＸ１、．．．、ＸＫ−１、および現在画像Ｉｃの時間的に後の画像Ｉｃ＋１内にパッチＸ０を含む。
【００９９】
この実施形態は、したがって異なる画像に属することができる、同一辞書内にあるパッチの可能性を増大させることができるので、有利である。これによって、この方法は、同じビデオの画像間の時間的冗長性の恩恵を受けるので、予測しようとするブロックに対する予測誤差をさらに低減することが可能になる。
【０１００】
図３および４に示される、これら２つの実施形態は、辞書の定義を決して制限するものではない。それらは、予測しようとするブロックがそれに属するもの以外の、１または複数の画像に位置するパッチによって辞書を形成することができることを示すために与えられている。
【０１０１】
図５は、それぞれ第１のパッチから、Ｌ個の辞書が定義されている場合を示す。このように、Ｌ個の第１のパッチ
【０１０２】
【数１５】
2014183595.tif 000017
【０１０３】
但し、ｌ∈｛０；Ｌ−１｝、がパッチＸの変位から（またはより正確には、実質的に画像Ｉｆにおけるそれと同位置に配置されたパッチＸｌから）得られることがわかる。
【０１０４】
各変位は、ベクトル
【０１０５】
【数１６】
2014183595.tif 000018
【０１０６】
の形態で表わされる。
【０１０７】
図６は、辞書パッチのすべてが、同じ画像Ｉｆに属するとは限らない場合を示す。画像Ｉｃ＋１は、この現在画像の復号中に現在画像Ｉｃに時間的に先行しないことを注記することができる。この例によれば、辞書Ｄ０は、画像Ｉｃ＋１に属する第１のパッチ
【０１０８】
【数１７】
2014183595.tif 000019
【０１０９】
と画像Ｉｃ＋１にすべて属するとは限らないパッチとで形成される。例えば、パッチ
【０１１０】
【数１８】
2014183595.tif 000020
【０１１１】
は、画像Ｉｃー２に属する。同様に、辞書ＤＬ−１は、画像Ｉｃ−２に属する第１のパッチ
【０１１２】
【数１９】
2014183595.tif 000021
【０１１３】
および画像Ｉｃ−２にすべて属するとは限らないパッチとで形成される。例えば、パッチ
【０１１４】
【数２０】
2014183595.tif 000022
【０１１５】
は、画像Ｉｃ−１に属する。
【０１１６】
これらの例を介して、２つのパッチのコンテンツの近接度を定量化する距離は、必ずしも同じ画像に属するとは限らないパッチ間の類似性を定量化するように定義できるので、それは最も広い意味で理解すべきであることが理解できる。
【０１１７】
図７は、図１から６に関して記述された本発明を実現するように構成された手段を含む、デバイスのアーキテクチャの例を示す。
【０１１８】
デバイス７００は、ディジタルアドレスおよびデータバス７０１によって相互接続された、以下の要素を備える：
−計算ユニット７０３（中央処理ユニットとも呼ばれる）；
−メモリ７０５；
−デバイス７００と、接続７０２を介して接続されたその他のリモートデバイスとの相互接続のための、ネットワークインターフェイス７０４。
【０１１９】
計算ユニット７０３は、（場合によっては専用の）マイクロプロセッサ、（場合よってはやはり専用の）マイクロコントローラ、などによって実現することができる。メモリ７０５は、揮発性および／または不揮発性形態、例えばＲＡＭ（ランダムアクセスメモリ）、ハードディスク、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）、その他として実現することができる。
【０１２０】
手段７０３、７０５、および場合によっては７０４は、互いに協働して、それぞれのパッチが画像のピクセルブロックとこのピクセルブロックの因果的近傍とで形成されている、候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、ピクセルブロックを予測する。
【０１２１】
手段７０３、７０５および場合によっては７０４はまた、互いに協働して、候補パッチのセットから候補パッチのサブセットを取得し、候補パッチのサブセットのパッチ、および候補パッチのセットの少なくとも１つの他のパッチから、少なくとも１つの辞書を形成する。
【０１２２】
デバイスの手段は、図１から６に関係して記述した方法を実現するように構成されている。
【０１２３】
デバイス７００の実施形態によれば、手段７０４は信号を送信および／または受信し、その信号のフレームが、予測しようとするピクセルブロックの予測がそこから始まる、辞書の第１のパッチの位置を識別する、情報のアイテムを搬送するように構成されている。
【０１２４】
本発明はまた、予測ブロックが参照画像ブロックからその間に計算される、画像シーケンスを符号化および／または復号する方法にも関する。この方法は、予測ブロックが、図１から６に関して記述された方法に従って、計算されることを特徴としている。
【０１２５】
本発明はまた、画像シーケンスを符号化および／または復号する装置であって、図７に関して記述されたデバイスを含むことを特徴とする装置にも関する。
【０１２６】
図７において、示されているモジュールは、物理的に区別可能な単位に対応させることができるか、またはできない機能単位である。例えば、これらのモジュールまたはそれらの一部は、単一の構成要素または回路にまとめてグループ化するか、または同一ソフトウェアの機能を構成することができる。反対に、一部のモジュールは、別個の物理的エンティティで構成してもよい。本発明に適合する画像間予測デバイスは、純粋なハードウェア実施形態、例えば、専用構成要素（例えば、ＡＳＩＣ（特定用途集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＶＬＳＩ（超大規模集積回路））、またはデバイスに統合された、いくつかの電子構成要素の形態、またはハードウェア要素とソフトウェア要素の混合物の形態でも実現される。
【図１】
2014183595.tif 000023
【図２】
2014183595.tif 000024
【図３】
2014183595.tif 000025
【図４】
2014183595.tif 000026
【図５】
2014183595.tif 000027
【図６】
2014183595.tif 000028
【図７】
2014183595.tif 000029
【外国語明細書】
2014183595000001.pdf