(57)【特許請求の範囲】
【請求項１】
画像のピクセルブロックを予測する方法であって、
予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組を形成する候補パッチ検索ステップと、
ブロック予測ステップと
を有し、
前記ブロック予測ステップは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の第１のパッチと、前記第１のパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合では前記近傍予測サブステップの間に決定された前記重み付けパラメータが使用されるブロック予測サブステップと
を有する方法。
【請求項２】
前記候補パッチの組の中の各パッチは、その近傍が、前記予測されるブロックを含むパッチの近傍に対する距離が最小限であるものである、
請求項１に記載の方法。
【請求項３】
前記候補パッチ検索ステップの間、前記他の画像の夫々について、所定の数の候補パッチが考慮される、
請求項１又は２に記載の方法。
【請求項４】
１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
請求項４に記載の方法。
【請求項６】
画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報によって与えられる、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、特定のインデックスが、前記予測が生成されるディクショナリを指定するよう設定される、
請求項１乃至６のうちいずれか一項に記載の方法。
【請求項８】
予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化する方法であって、
請求項１乃至７のうちいずれか一項に記載の方法に従って前記予測ブロックが計算される
ことを特徴する方法。
【請求項９】
予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組が形成されるよう候補パッチを検索し、
ブロックを予測する
よう構成されるプロセッサを有し、
前記プロセッサは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の第１のパッチと、前記第１のパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合では前記近傍予測サブステップの間に決定された前記重み付けパラメータが使用されるブロック予測サブステップと
によって、ブロックを予測するよう構成される
ことを特徴とする、画像のピクセルブロックを予測するデバイス。
【請求項１０】
前記プロセッサは更に、前記候補パッチの組の中の各パッチが、その近傍が、前記予測されるブロックを含むパッチの近傍に対する距離が最小限であるものであるように構成される、
請求項９に記載のデバイス。
【請求項１１】
前記プロセッサは更に、前記候補パッチを検索する間、前記他の画像の夫々について、所定の数の候補パッチが考慮されるように構成される、
請求項９又は１０に記載のデバイス。
【請求項１２】
１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
請求項９乃至１１のうちいずれか一項に記載のデバイス。
【請求項１３】
前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
請求項１２に記載のデバイス。
【請求項１４】
画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報によって与えられる、
請求項９乃至１３のうちいずれか一項に記載のデバイス。
【請求項１５】
前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、特定のインデックスが、前記予測が生成されるディクショナリを指定するよう設定される、
請求項９乃至１４のうちいずれか一項に記載のデバイス。
【請求項１６】
予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化するデバイスであって、
請求項１乃至７のうちいずれか一項に記載の方法に従って前記予測ブロックが計算される
ことを特徴するデバイス。
【請求項１７】
請求項９又は１６に記載されるデバイスを有する
ことを特徴する、画像シーケンスを符号化及び／又は復号化する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化の全般的な分野に係り、より具体的には、画像間予測の分野に係る。
【背景技術】
【０００２】
画像間予測は、映像の高い圧縮率を得るために、映像の中の連続した画像の間に存在する時間的な冗長性を利用することにある。
【０００３】
画像間予測の原理は、現在の画像をブロック又はマクロブロックに分割することにある。次いで、コーダ（符号器）は、映像の中の他の（前の又は将来の）画像において類似したブロックを見つける。この、他の画像は、通常、リファレンス画像と呼ばれる。次いで、コーダは、予測されるブロックから上記のリファレンス画像において見つけられたブロックの位置を定義する動きベクトルを符号化する。次いで、コーダは、それら２つのブロックの間の差を求め、予測誤差を符号化する。動きベクトル及び予測誤差は、次いで、デコーダ（復号器）へ送られる。デコーダは、このようにして、ブロックを再構成することができる。
【０００４】
このような方法を用いる非常に多くの映像符号化／復号化スキームが知られている。次のもの、すなわち、標準ＭＰＥＧ−２（ISO/IEC  JTC1/SC29/WG11  MPEG00/  ２０００年１０月，Coding  of  moving  pictures  and  audio）、ＭＰＥＧ−４／ＡＶＣ（T.  Wiegand,  G.  J.  Sullivan,  G.  Bjontegaard,  and  A.  Luthra，”Overview  of  the  H.264/AVC”  Circuits  and  Systems  for  Video  Technology，IEEE  Transactions，Vol.13(7)，560-576，２００３年７月）、又はイベントＨＥＶＣ（ITU-T  Q.6/SG  and  ISO/IEC  Moving  Picture  Experts  Group（ISO/IEC  JTC1/SC29/WG11））がとりわけ引用され得る。
【０００５】
ブロックを予測するためのブロック（又はより一般的には区間）の定義は、符号化の有効性の決め手となる。実際に、現在のブロック及び予測ブロックのコンテンツが極めて異なる場合は、予測誤差は大きくなり、この予測誤差を符号化するビットの数は大きくなり得る。
【０００６】
従って、予測されるブロックからコンテンツに関して遠く離れた予測区間を選択する危険性を最小限とすることが必要である。
【０００７】
加えて、送信器と受信器との間の伝送に関連して、予測される画像を再構成するために遠隔のデコーダによって必要とされるシンタックス要素を符号化するための費用は、比較的高い。例えば、ＭＥＰＧ−４／ＡＶＣ標準の場合において、リファレンス画像は、２つのリストにおいてグループを作られる。すなわち、予測されるブロックが属する画像よりも時間的に先んじる（復号化又は再構成される）画像のグルーピング、及び時間的に後に起こる（復号化又は再構成される）画像のグルーピングである。以降、時間的に先行する及び／又は後に起こる画像が参照される場合に、それらの画像は符号化及び再構成されることが暗に示される。よって、リファレンス画像のブロックを指定するよう、画像の２つのリストのうちの一方を指定する情報の項目と、その指定されたリストにおける（リファレンス）画像のインデックスを示す情報の項目と、リファレンス画像におけるブロックの座標を示す情報の最後の項目とをデコーダへ送信することが必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、先行技術の欠点のうちの少なくとも１つを解消すること、とりわけ、画像符号化方法の効率を改善することである。
【課題を解決するための手段】
【０００９】
上記の目的のために、本発明は、画像のピクセルのブロックを予測する方法であって、
予測されるブロックの因果的近傍を定義するステップと、
前記予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組が形成される候補パッチ検索ステップと、
少なくとも、前記候補パッチの組の中の少なくとも１つのパッチのブロックから、ブロックが予測されるブロック予測ステップと
を有する方法に係る。
【００１０】
従って、当該方法は、例えば、標準ＭＥＰＧ−４／ＡＶＣに関するもののような、デコーダへ送信する必要があるシンタックスの要素を減らす。
【００１１】
実施形態に従って、前記ブロック予測ステップの間、ブロックは、前記予測されるブロックにコンテンツに関して近い、前記候補パッチの組の中のパッチのブロックから予測される。
【００１２】
他の実施形態に従って、前記ブロック予測ステップは、
少なくとも１つのディクショナリが前記候補パッチの組の中の少なくとも１つのパッチから形成されるディクショナリ定義サブステップと、
ディクショナリごとに、そのディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
ディクショナリのパッチのブロックのピクセルの加重線形結合によって前記画像のピクセルブロックが予測され、該加重線形結合の重み付けパラメータが前記近傍予測サブステップの間に決定された最適条件であるブロック予測サブステップと
を有する。
【００１３】
この実施形態に従って、ブロック予測は、ディクショナリに属するブロックの線形結合によって決定される。この線形結合の重み付けパラメータは、距離という意味で、予測されるブロックの因果的近傍の最良の予測を可能にするパラメータである。従って、ブロックの予測誤差は、重み付けパラメータが、直接に、予測されるブロックの予測誤差ではなく、この予測されるブロックの周囲に位置する区間（近傍）の予測誤差を最小限として、画像のコンテンツの連続性に有利に働くよう定義される場合に、低減される。
【００１４】
加えて、近傍が因果関係を示す場合に、デコーダは、コーダ側のブロックの予測のために使用された重み付けパラメータを計算することができる。これは、それらの重み付けパラメータの送信が起こらないようにし、よって、符号化効率を高める。
【００１５】
本発明はまた、上記の方法を実施する符号化／復号化方法と、そのようなプロセスを実施する手段を備えた画像シーケンス符号化／復号化装置とに係る。それはまた、上記のデバイス及び／又は符号化及び／又は復号化装置の動作に作用する情報の特定の項目を搬送するとして特別であるフレームを含む信号に係る。
【図面の簡単な説明】
【００１６】
【図１】本発明に従って、画像のピクセルブロックを予測する方法のステップの図を示す。
【図２】因果的近傍を定義する例を与える。
【図３】当該方法のブロック予測ステップの実施形態を示す。
【図４】当該方法のブロック予測ステップの他の実施形態を示す。
【図５】ディクショナリのパッチが同じ画像に属する場合を示す。
【図６】ディクショナリのパッチが全て同じ画像に属するとは限らない場合を示す。
【図７】ディクショナリが第１のパッチから定義される場合を示す。
【図８】ディクショナリのパッチが全て同じ画像に属するとは限らない場合を示す。
【図９】本発明を実施するデバイスのアーキテクチャの例を図式的に示す。
【発明を実施するための形態】
【００１７】
本発明は、添付の図面を参照して、制限されない実施形態及び有利な実施を用いて説明され、より良く理解されるであろう。
【００１８】
図１は、本発明に従って、画像のピクセルブロックを予測する方法のステップの図を示す。
【００１９】
方法は、現在の画像Ｉｃの中の予測されるブロックＢの因果的近傍Ｖを定義するステップ１を有する。
【００２０】
図２は、因果的近傍を定義する例を与える。この例に従って、近傍Ｖは、例えば、予測されるピクセルブロックＢの左及び上に位置する３つのブロックから、形成される。近傍は、Ｎ個の値から成るベクトルであり、夫々の値は、当該近傍に属するピクセルの値に対応する。本発明は、決してこのような近傍の定義に制限されず、代わりに、因果的近傍のあらゆる定義にまで、つまり、予測される現在のブロックを復号化する前にデコーダで利用可能なあらゆる近傍にまで及ぶ。
【００２１】
以降、Ｘｋによって表される、語パッチは、ブロックＢｋのピクセル及びこのブロックＢｋの近傍Ｖｋのピクセルのグルーピングを指定するために使用される。近傍Ｖｋは、このブロックＢｋと因果関係を示し、予測されるブロックＢの周囲に位置する近傍Ｖと同じ形状を有する。ピクセルブロックに対する近傍の因果関係は、ピクセル値がこのブロックの予測より前に知られていることを示す。パッチＸはまた、以降で、予測されるピクセルブロックＢのピクセル及び近傍Ｖのピクセルのグルーピングを指定するために使用される。
【００２２】
図１に戻ると、方法は、予測されるブロックが属する画像以外の他の画像に属する少なくとも１つのパッチＸｋによって候補パッチの組ＰＳが形成される候補パッチ検索ステップ２を更に有する。方法は、ブロックＢが、少なくとも、先に形成された候補パッチの組ＰＳの中の少なくとも１つのパッチのブロックから、予測されるブロック予測ステップ３を更に有する。
【００２３】
実施形態に従って、候補パッチのサブセットＳＰＳの中の各パッチＸｋは、その近傍Ｖｋが、コンテンツに関して、パッチＸの近傍Ｖに近いように、選択される。
【００２４】
数学的意味では、候補パッチの組の中のパッチＸｋは、式（１）を満足するようなものである：
【００２５】
【数１】
0006309010.tif 000002
従って、組ＰＳは、式（１）において与えられるユークリッドノルムを最小とするＮ個の候補パッチを含む。本発明の適用範囲から離れることなしに、ユークリッドノルム以外の他の距離が使用されてよい。
【００２６】
実施形態に従って、候補パッチ検索ステップの間、上記の他の画像の夫々について、所定数の候補パッチが考慮される。
【００２７】
この実施形態は、画像ごとの候補パッチの数及び画像の数を制限することによって、近傍（及びブロック）予測ステップの計算複雑性が、画像において又は連続した画像においてしばしば存在するコンテンツの一様性を保ちながら大いに低減される点で、有利である。
【００２８】
変形例に従って、単一の候補パッチがこのようにして画像ごとに選択される。
【００２９】
実施形態に従って、１又はそれ以上の画像にわたって定義される所定区間ＳＷに属するパッチのみが候補パッチと見なされる。
【００３０】
変形例に従って、所定区間（又はサブ区間と呼ばれるその一部分）は、パッチの周囲に定義される。
【００３１】
従って、所定区間ＳＷは、空間的な範囲の形で単一の画像にわたって定義され得るが、時間的な性質も有することができる。つまり、この所定区間ＳＷは、時間的に連続であってもなくてもよい画像シーケンスの中の複数の画像にわたって定義される。
【００３２】
例えば、ＳＷと表されるこの区間は、図２において、一方では、パッチＸ（その共在するパッチは点線により示される。）を中心とした、画像Ｉｃ（予測されるブロックが属する画像）よりも時間的に先んじる画像Ｉｃ−１のサブ区間によって、他方で、画像Ｉｃよりも時間的に後に起こる他の画像Ｉｃ＋１のサブ区間によって、定義される。この例によれば、所定区間ＳＷは、各サブ区間がこのパッチＸの同一場所にあるパッチの周囲に定義され、場合によりそれを中心とすることができる１又はそれ以上のサブ区間から構成され得、それらの区間は、予測されるブロックが属する画像より前及び／又は後の別の画像に位置することができることが理解され得る。
【００３３】
図３に示される実施形態に従って、ブロック予測ステップ３の間に、ブロックＢは、予測されるブロックにコンテンツに関して近い、候補パッチの組の中のパッチのブロックＢｏｐｔから予測される。
【００３４】
数学的意味では、予測されるブロックＢのこのような予測は、組ＰＳの中からパッチを決定することにあり、決定されるパッチは、このパッチのブロックＢｋのピクセルの値とブロックＢのピクセルの値との間の差を最小限とするものである（ブロックマッチング）。
【００３５】
この実施形態は、組ＰＳにおけるブロックＢｏｐｔ又はそれが属するパッチのインデックスの符号化の費用が、標準的な符号化及び／又は復号化システムのシンタックス要素の符号化費用に対して低減される点で、特に有利である。
【００３６】
実施形態に従って、この距離は、式（２）によって表される、最小二乗という意味での最小化によって、ユークリッド空間において表される：
【００３７】
【数２】
0006309010.tif 000003
この実施形態に従って、予測ブロックＢｏｐｔが属するパッチを指定する情報の項目（インデックス）は、遠隔のデコーダによって認知されなければならない。実際に、かかるデコーダは、候補パッチの組ＰＳを再構成することができ、この情報から、このブロックＢｏｐｔが属するこの組の中のパッチが何であるかを見つけることができる。この目的のために、このパッチのこの指定情報のキャリア信号は、この予測ブロックを使用することを目的としているデコーダへ送信される。
【００３８】
図４に示される実施形態に従って、ブロック予測ステップ３は、Ｌ個のディクショナリＤｌが形成されるディクショナリ定義サブステップ３１を有する（Ｌは１以上である。）。各ディクショナリは、候補パッチの組ＰＳの中の少なくとも１つのパッチから形成される。
【００３９】
ディクショナリの数Ｌ及びディクショナリごとのパッチの数は、推測的に知られる値である。
【００４０】
変形例に従って、夫々のディクショナリにおけるパッチの数Ｋは、全てのディクショナリに共通である。
【００４１】
変形例に従って、数Ｋは、予測されるブロックに応じて可変である。
【００４２】
この場合において、この数Ｋは、予測されるブロックごとに最適化され得る。次いで、送信器と受信器との間の伝送に関連して、予測されるブロックごとに受信器へこの数を送信する必要がある。
【００４３】
ディクショナリは、候補パッチの組ＰＳの中のパッチからランダムに選択されたパッチを含むことができる。
【００４４】
ブロック予測ステップ３は、近傍予測サブステップ３２を更に有する。このサブステップの間、夫々のディクショナリＤｌについて、このディクショナリの中のパッチＸｋの近傍Ｖｋの加重線形結合を用いて、予測されるブロックＢの因果的近傍Ｖの予測が決定される。予測を最適化する重み付けパラメータが選択される。
【００４５】
数学的意味では、ディクショナリＤｌの中のパッチＸｋの近傍Ｖｋの加重線形結合を用いた、予測されるブロックＢの因果的近傍Ｖの予測は、ｍ∈｛０；Ｋ−１｝として、このディクショナリＤｌの中のパッチの近傍Ｖｋのピクセルの加重値と、近傍Ｖのピクセルの値との間の距離を最小とする重み付けパラメータＷｍを決定することにある。
【００４６】
実施形態に従って、この距離は、式（３）によって表される、最小二乗という意味での最小化によって、ユークリッド空間において表される：
【００４７】
【数３】
0006309010.tif 000004
この式において、Ａｌは、ディクショナリＤｌの中のパッチのＫ個の近傍Ｖｋのピクセルの値をグループ化するＭ×Ｋ次元の行列であり、各近傍のＭ個のピクセル値が、この行列の列を形成するためにグループ化される。
【００４８】
Ｋ個の重み付けパラメータは、このようにして、実際には式（４）によって、最適化される：
【００４９】
【数４】
0006309010.tif 000005
この式において、ＣＯｌは、行列Ａｌのピクセルの値の（近傍Ｖを参照して）局所共分散行列であり、Ｉは、単位列ベクトルである。
【００５０】
Ｋ個の最適な重み付けパラメータＷｏｐｔｌは、従って、ディクショナリＤｌのＫ個の近傍Ｖｋの線形結合を用いて近傍Ｖを予測するために、求められる。
【００５１】
実施形態に従って、近傍予測ステップの間、ｌ∈｛０；Ｌ−１｝としてＬ個のディクショナリＤｌが考慮されて、重み付けパラメータＷｏｐｔｌがそれらのディクショナリの夫々について決定されており、ブロックＢを予測するのに使用される重み付けパラメータＷは、その予測されるブロックに対して、基準という意味において、最も近い予測を提供するものである。
【００５２】
実施形態に従って、この基準は、再構成された予測されるブロック（符号化及び復号化の後）と、予測されるブロックとの間の二乗誤差である。
【００５３】
数学的意味では、最適な重み付けパラメータＷは、その場合に、式（５）によって与えられるものである：
【００５４】
【数５】
0006309010.tif 000006
他の実施形態に従って、使用される基準は、映像圧縮に関して特定に適切であるレート歪み判定基準である。
【００５５】
数学的意味では、最適な重み付けパラメータＷは、その場合に、式（６）によって与えられるものである：
【００５６】
【数６】
0006309010.tif 000007
この式において、ＳＳＥｌは、予測されるブロックと再構成された予測されるブロック（復号化されたブロック）との間の再構成誤差の最小二乗という意味での指標であり、Ｒｌは、ブロックを符号化する費用であり（予測誤差及び他のシンタックス要素）、λは、ラグランジュである。
【００５７】
加えて、ブロック予測ステップは、ディクショナリＤｌの中のパッチＸｋのブロックＢｋのピクセルの加重線形結合によってブロックＢが予測されるブロック予測サブステップ３３を有する。なお、重み付けパラメータ（複数のディクショナリが形成される場合にＷ、又は単一のディクショナリの場合にＷｏｐｔｌ）は、予測されるブロックの因果的近傍の予測ステップの間に決定されたパラメータである。
【００５８】
数学的意味では、ブロックＢの予測
［外１］
0006309010.tif 000008
は、式（７）によって与えられる：
【００５９】
【数７】
0006309010.tif 000009
この式においてＡは、Ｋ個のブロックＢｋのピクセルのＰ個の値をグループ化するＰ×Ｋ次元の行列であり、Ｗは、重み付けパラメータである。
【００６０】
送信器と受信器との間の伝送に関連して、使用されるパラメータの数がデコーダによって予め知られている場合において、且つ、もっぱら近傍に基づき構成された単一のディクショナリの場合において、ブロックを予測するために、特定の情報が受信器（デコーダ）へ送信される必要はない。実際に、予測方法は、一方では、予測によって使用される近傍が因果関係を有し、それにより受信器が行列Ａを再構成するためにパッチのブロックを見つけることが可能となるとして、他方で、近傍Ｖの予測を実施することで、特定の情報なしで受信によって実施され得る。後者の場合に求められるＫ個の重み付けパラメータは、送信器（コーダ）によってこの場合に実施される近傍予測サブステップの間に求められるパラメータ（Ｗ）と同じである。
【００６１】
よって、この予測方法を実施する符号化方法は、例えばＨ．２６４／ＡＶＣで使用されるもののような、画像間符号化の従来の技術と比較して、有意な符号化利得を提供することが理解され得る。
【００６２】
複数のディクショナリの場合に対応するこの実施形態の変形例に従って、使用されるディクショナリを特定する情報の具体的な項目は、予測されるブロックを再構成するためにデコーダによって認知されなければならない。この目的のために、信号は、予測されるブロックの予測が起こるディクショナリを特定する情報の具体的な項目を搬送する。この信号は、このディクショナリを使用するよう構成されるデコーダによって受信されるよう設計される。
【００６３】
図５によって示される実施形態に従って、ｋ∈｛０；Ｋ−１｝としてディクショナリＤｌのＫ個のパッチＸｋは全て、現在の画像Ｉｃ以外の他の同じ画像Ｉｆに位置する。画像Ｉｆは、その画像Ｉｆ及び現在の画像Ｉｃが同じ画像シーケンスに属する場合に、画像Ｉｃよりも時間的に前又は後であることができる。
【００６４】
図６によって示される実施形態に従って、ｋ∈｛０；Ｋ−１｝としてディクショナリＤｌのＫ個のパッチＸｋは、異なる画像に位置する。図６の例に従って、ディクショナリＤｌは、現在の画像Ｉｃよりも時間的に先んじる画像Ｉｃ−１にある（Ｋ−１）個のパッチＸ１，・・・，ＸＫ−１と、現在の画像Ｉｃよりも時間的に後に起こる画像Ｉｃ＋１におけるパッチＸ０とを有する。
【００６５】
この実施形態は、同じディクショナリ内のパッチがこのようにして異なる画像に属することができる可能性を高めることを可能にする点で、有利である。これは、当該方法がその場合に同じ映像の画像間の時間的な冗長性から恩恵を受けるので、予測されるブロックの予測誤差を更に低減することを可能にする。
【００６６】
図５及び６によって示されるそれら２つの実施形態は、ディクショナリの定義を決して制限しない。それらは、ディクショナリが、予測されるブロックが属する画像以外の他の１又はそれ以上の画像に位置するパッチによって形成され得ることを示すために、与えられている。
【００６７】
実施形態に従って、ディクショナリ定義ステップの間、定義するディクショナリＤｌごとに、一方では、パッチＸにコンテンツに関して近い、組ＰＳのパッチの中の第１のパッチＸ０と、他方では、この第１のパッチＸ０にコンテンツに関して夫々近い、組ＰＳのパッチの中の（Ｋ−１）個のパッチＸｋとが、決定される。よって、ディクショナリＤｌは、第１のパッチＸ０及び（Ｋ−１）個のパッチＸｋを含む。
【００６８】
２つのパッチのコンテンツの近似は、それらのパッチのピクセルの値の間で計算される距離によって定量化される。この距離は、例えば、それら２つのパッチのピクセルの間の絶対距離の和である。
【００６９】
実施形態に従って、所定区間ＳＷは、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される。それは、例えば、この第１のパッチを中心として展開され得る。
【００７０】
この変形例は、それが画像においてしばしば存在するコンテンツの一様性を保ちながら近傍予測ステップの計算複雑性を低減する点で、有利である。
【００７１】
実施形態に従って、画像（予測されるブロックが属する画像以外）におけるディクショナリＤｌの第１のパッチＸ０の位置は、パッチＸから定義される変位情報
［外２］
0006309010.tif 000010
（以降、“ベクトルｄｌ”と称する）の項目によって与えられる。
【００７２】
変位情報ベクトルｄｌは、実施形態に従って、パッチＸに関して夫々の第１のパッチの変位を決定することができるブロックマッチング方法によって取得され得る。このブロックマッチング方法は、これがブロック予測ステップ３の実施形態において記載されるとして、ブロックが、もはやパッチの中のブロックのピクセルのみならず、それらのパッチの全ピクセルから形成されると考えることによって、図３に関して記載されたものと同様である。
【００７３】
送信器と受信器との間の伝送に関連して、変位情報の項目は、どの第１のパッチが使用されたかをデコーダが決定することができるように、デコーダへ送信されなければならない。ディクショナリの中の他の（Ｋ−１）個のパッチを決定するために他の情報を送信することは、デコーダが上述されたのと同様の動作を実施することでそれらを決定することができるので、不要である。
【００７４】
図７は、Ｌ個のディクショナリが夫々第１のパッチから定義された場合を示す。このように、ｌ∈｛０；Ｌ−１｝として、Ｌ個の第１のパッチＸ０ｌの夫々は、パッチＸの変位から（又はより正確には、画像Ｉｆにおけるその共在するパッチＸ′から）取得されることが分かる。
【００７５】
夫々の変位は、ベクトルｄｌの形で表される。
【００７６】
図８は、ディクショナリのパッチが全て同じ画像Ｉｆに属するとは限らない場合を示す。画像Ｉｃ＋１は、現在の画像Ｉｃの符号化の間、この現在の画像に時間的に先行しない。この例に従って、ディクショナリＤ０は、画像Ｉｃ＋１に属する第１のパッチＸ００と、全てが画像Ｉｃ＋１に属するとは限らないパッチとから形成される。例えば、パッチＸＫ−１０は画像Ｉｃ−２に属する。同様に、ディクショナリＤＬ−１は、画像Ｉｃ−２に属する第１のパッチＸ０Ｌ−１と、全てが画像Ｉｃ−２に属するとは限らないパッチとから形成される。例えば、パッチＸ２Ｌ−１は画像Ｉｃ−１に属する。
【００７７】
それらの例によれば、２つのパッチのコンテンツの近似を定量化する距離は、それが必ずしも同じ画像に属するわけではないパッチ間の類似性を定量するよう定義され得るという最も広い意味において理解されるべきあることが理解され得る。
【００７８】
図９は、図１乃至８に関して記載された本発明を実施するよう構成される手段を有するデバイスのアーキテクチャの例を示す。
【００７９】
デバイス９００は、デジタルアドレス及びデータバス９０１によって相互接続されている次の要素を有する：
−計算ユニット９０３（中央演算処理装置（ＣＰＵ）と呼ばれる。）、
−メモリ９０５、
−デバイス９００と、接続９０２を介して接続される他の遠隔のデバイスとの間の相互接続のためのネットワークインタフェース９０４。
【００８０】
計算ユニット９０３は、（場合により専用の）マイクロプロセッサ、（場合により専用の）マイクロコントローラ、等によって実施され得る。メモリ９０５は、例えばＲＡＭ（Random  Access  Memory）、ハードディスク、ＥＰＲＯＭ（Erasable  Programmable  ROM）、等の揮発性及び／又は不揮発性の形で実施され得る。
【００８１】
手段９０３、９０５、及び場合により９０４は、予測されるブロックの因果的近傍を定義し、予測されるブロックが属する画像以外の他の画像に属する少なくとも１つのパッチであって、ブロック及びこのブロックと因果関係を示す近傍によって夫々形成される前記少なくとも１つのパッチから形成される候補パッチの組を探すよう互いと協働する。
【００８２】
手段９０３、９０５、及び場合により９０４は、少なくとも、候補パッチの組の中の少なくとも１つのパッチのブロックから、ブロックを予測するよう互いと協働する。
【００８３】
デバイスの手段は、実施形態に従って、図１乃至８に関して記載された方法を実施するよう構成される。
【００８４】
デバイス９００の実施形態に従って、手段９０４は、特定のフレームを含む信号を送信及び／又は受信するよう構成される。実際に、デバイス９００の予測手段が、図３に関して記載された近傍予測ステップを実施するよう構成される場合において、この信号のフレームは、予測されるブロックの予測ブロックが属するパッチを指定する情報の項目を搬送し、そして、予測手段が図４に関して記載された近傍予測ステップを実施するよう構成される場合に対応する変形例に従って、この信号のフレームは、予測されるブロックの予測が起こるディクショナリを特定する情報の具体的な項目を搬送する。予測手段が、ディクショナリが、とりわけ第１のパッチから、形成されるディクショナリ定義サブステップを実施するよう構成される場合に対応する他の変形例に従って、この信号のフレームは、画像におけるこの第１のパッチの位置に関する、予測されるブロックから及びその近傍から形成されるパッチから定義される変位情報の項目を搬送する。
【００８５】
本発明はまた、予測ブロックがリファレンス画像の画像ブロックから計算される、画像シーケンスを符号化及び／又は復号化する方法に係る。当該方法は、予測ブロックが図１乃至８に関して記載された方法に従って計算されることを特徴とする。
【００８６】
本発明はまた、図９に関して記載されたデバイスを有することを特徴とする、画像シーケンス符号化及び／又は復号化する装置に係る。
【００８７】
図９において、図示されているモジュールは、物理的に区別可能なユニットに対応してもしなくてもよい機能ユニットである。例えば、それらのモジュール又はそれらのうちの一部は、単一のコンポーネント又は回路にまとめられるか、あるいは、同じソフトウェアの機能を構成することができる。一方、一部のモジュールは、別個の物理エンティティから構成されてよい。本発明に適応する画像間予測デバイスは、純粋にハードウェア実施形態に従って、例えば、専用のコンポーネントの形において（例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）又はＦＰＧＡ（Field-Programmable  Gate  Array）又はＶＬＳＩ（Very  Large  Scale  Integration）の形において）、又はデバイスに組み込まれた複数の電子部品の形で、あるいは、ハードウェア要素及びソフトウェア要素の混合の形において、実施される。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
画像のピクセルブロックを予測する方法であって、
予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組を形成する候補パッチ検索ステップと、
ブロック予測ステップと
を有し、
前記ブロック予測ステップは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチにコンテンツに関して近い、前記候補パッチの組の中の第１のパッチと、前記第１のパッチにコンテンツに関して夫々近い、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合の重み付けパラメータが前記近傍予測サブステップの間に決定された最適条件であるブロック予測サブステップと
を有する方法。
（付記２）
前記候補パッチの組の中の各パッチは、その近傍が、前記予測されるブロックを含むパッチの近傍にコンテンツに関して近いものである、
付記１に記載の方法。
（付記３）
前記候補パッチ検索ステップの間、前記他の画像の夫々について、所定の数の候補パッチが考慮される、
付記１又は２に記載の方法。
（付記４）
１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
付記１乃至３のうちいずれか一つに記載の方法。
（付記５）
前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
付記４に記載の方法。
（付記６）
画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報の項目によって与えられる、
付記１乃至５のうちいずれか一つに記載の方法。
（付記７）
前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、前記予測が生成されるディクショナリは情報の特定の項目によって特定される、
付記１乃至６のうちいずれか一つに記載の方法。
（付記８）
予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化する方法であって、
付記１乃至７のうちいずれか一つに記載の方法に従って前記予測ブロックが計算される
ことを特徴する方法。
（付記９）
予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組が形成されるよう候補パッチを検索し、
ブロックを予測する
よう構成されるプロセッサを有し、
前記プロセッサは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチにコンテンツに関して近い、前記候補パッチの組の中の第１のパッチと、前記第１のパッチにコンテンツに関して夫々近い、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合の重み付けパラメータが前記近傍予測サブステップの間に決定された最適条件であるブロック予測サブステップと
によって、ブロックを予測するよう構成される
ことを特徴とする、画像のピクセルブロックを予測するデバイス。
（付記１０）
前記プロセッサは更に、前記候補パッチの組の中の各パッチが、その近傍が、前記予測されるブロックを含むパッチの近傍にコンテンツに関して近いものであるように構成される、
付記９に記載のデバイス。
（付記１１）
前記プロセッサは更に、前記候補パッチを検索する間、前記他の画像の夫々について、所定の数の候補パッチが考慮されるように構成される、
付記９又は１０に記載のデバイス。
（付記１２）
１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
付記９乃至１１のうちいずれか一つに記載のデバイス。
（付記１３）
前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
付記１２に記載のデバイス。
（付記１４）
画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報の項目によって与えられる、
付記９乃至１３のうちいずれか一つに記載のデバイス。
（付記１５）
前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、前記予測が生成されるディクショナリは情報の特定の項目によって特定される、
付記９乃至１４のうちいずれか一つに記載のデバイス。
（付記１６）
予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化するデバイスであって、
付記１乃至７のうちいずれか一つに記載の方法に従って前記予測ブロックが計算される
ことを特徴するデバイス。
（付記１７）
付記９に記載されるデバイスによって送信又は受信される信号であって、
当該信号は、画像におけるディクショナリの第１のパッチの位置に対する変位情報の項目を搬送し、該変位情報は、予測されるブロックから及びその近傍から形成されるパッチから定義される
ことを特徴とする信号。
（付記１８）
付記９又は１６に記載されるデバイスを有する
ことを特徴する、画像シーケンスを符号化及び／又は復号化する装置。
【図１】
0006309010.tif 000011
【図２】
0006309010.tif 000012
【図３】
0006309010.tif 000013
【図４】
0006309010.tif 000014
【図５】
0006309010.tif 000015
【図６】
0006309010.tif 000016
【図７】
0006309010.tif 000017
【図８】
0006309010.tif 000018
【図９】
0006309010.tif 000019