"画像シーケンスを符号化する方法であって、現在の画像に対して、前記現在の画像のサマリーを作成するステップと、前記サマリーを符号化して第1のビットストリームにするステップと、前記サマリーから前記現在の画像と同じサイズの中間画像を再構築するステップと、前記現在の画像を、前記中間画像を参照画像として使用して符号化して第2のビットストリームにするステップと、を含む、前記方法。前記現在の画像の前記サマリーはテクスチャ縮図および割り当てマップを含む、請求項1に記載の方法。前記割り当てマップは固定長符号化を使用して符号化される、請求項2に記載の方法。前記割り当てマップは可変長符号化を使用して符号化される、請求項2に記載の方法。前記第2のビットストリームは、ITU-T勧告H.264/ISO/IEC14496-10AVCビデオ符号化規格と、ISO/IEC13818-2MPEG2とを含むビデオ符号化規格のセットに属するビデオ符号化規格に準拠する、請求項1~4のいずれか1項に記載の方法。画像シーケンスを再構築する方法であって、現在の画像に対して、前記現在の画像の画像サマリーを復号するステップと、前記画像サマリーから中間画像を再構築するステップと、前記現在の画像を、前記中間画像を参照画像として使用して再構築するステップであって、該中間画像が該現在の画像と同じサイズである、該ステップと、を含む、前記方法。本発明は、画像シーケンスの符号化方法に関する。この符号化方法を、シーケンスの現在の画像について説明する。本発明に従った符号化方法は、現在の画像を符号化するために、この現在の画像の画像サマリーを使用する。さらに、本発明は、この符号化方法に対応する再構築方法に関する。図1は、本発明に従った符号化方法を表す。ステップ20において、画像サマリーを現在の画像Icurrから作成する。特定の実施形態によれば、画像サマリーは、縮図epitomeである。しかしながら、本発明は、この種のサマリーに限定されるものではない。どのような種類のサマリー例えば、パッチ辞書でも、このサマリーから画像を再構築可能であれば、使用することができる。ステップ22において、画像サマリーを符号化して第1のストリームF1となる。例として、サマリーを、イントラのみの符号化モードを使用してH.264規格に準拠して符号化する。変形例によれば、画像サマリーを、文献JPEG2000パート、ISO/IECJTC1/SC29/WG1規格、2000年3月において規定されているJPEG規格に準拠して符号化する。ステップ24において、画像サマリーを復号して復号されたサマリーとなる。ステップ24は、ステップ22の逆処理である。ステップ26において、復号されたサマリーから中間画像を再構築する。ステップ28において、中間画像を参照画像として使用して現在の画像Icurrを符号化して第2のビットストリームF2となる。例として、現在の画像を、H.264に準拠して符号化する。変形例によれば、現在の画像を、MPEG2ISO-IEC13818ビデオ符号化規格に準拠して符号化する。一般的な符号化モードインター符号化モードおよびイントラ符号化モードを使用することができる。現在の画像のブロックをインター符号化モードに従って符号化すると、ブロックと、参照画像内、つまり、復号された縮図から再構築された中間画像内の対応するブロックとの間の差分が符号化される。この対応するブロックは、動きベクトルによって参照画像内で特定されるが、参照画像内で同じ位置に局在したcolocalizedブロックであってもよい。さらに、双方向予測は、参照画像の2つのブロックを用いて実施することができる。この差分は、残差としても知られ、実際には、ブロックと参照画像から得られたそのブロックの予測との間で計算される予測誤差である。通常は、まず、この残差が変換されてDCT係数などの係数のブロックとなる。次に、これらの係数を量子化して、量子化された係数のブロックとなる。最終的に、量子化された係数を、公知の算術符号化、CABACコンテクスト適応型バイナリ算術符号化を表す、CAVLCコンテクスト適応型可変長符号化を表すなどのエントロピー符号化を使用して符号化してビットストリームとなる。本発明は、残差を符号化するために使用される符号化のタイプに限定されるものではない。第2のビットストリームF2は、予測誤差の残差ビットストリームである。変形例によれば、第1のビットストリームおよび第2のビットストリームが多重化されて単一のビットストリームとなる。図2は、本発明の特定に実施形態に従った符号化方法を表しており、ここで、画像サマリーは、縮図である。画像の縮図は、画像のテクスチャおよび構造プロパティのエッセンスを含み、この画像を縮約して表現した図である。ステップ20において、現在の画像Icurrから縮図を作成する。従って、この特定の実施形態によれば、現在の画像Icurrが因子分解される、すなわち、現在の画像に対し、テクスチャ縮図Eおよび変換マップφが作成される。縮図の原理は、最初に、Hoppe氏らによってACMSIGGRAPH2008の会議録において公開された、画像内、さらに、画像のうちで繰り返されるコンテンツの因子分解FactoringRepeatedContentWithinandAmongImagesと題された文献ACMTransactiononGraphics、第27巻第3号第1~10頁、2008年において開示された。テクスチャ縮図Eは、現在の画像から取り出されたテクスチャの複数のピースたとえば、複数のチャートのセットから構築される。変換マップφは、現在の画像Icurrの各ブロックとテクスチャ縮図Eのパッチとの間の対応を記録した割り当てマップである。図3は、Hoppe氏の方法を例示している。画像Iから、テクスチャ縮図Eおよび変換マップφが作成され、それらによってマッチした縮図パッチから全ての画像ブロックが再構築できる。マッチしたパッチは、変換パッチとしても知られている。変換マップは、文献では、ベクトルマップまたは割り当てマップとしても知られている。テクスチャ縮図Eおよび変換マップφを用いて、現在の画像I’を再構築することができる。以下の説明において、縮図は、テクスチャ縮図Eおよび変換マップφの双方を指定する。図4は、縮図作成のための方法を例示している。しかしながら、本発明は、縮図作成のこの方法に限定されるものでは全くない。文献においては、縮図の他の形態が提案されている。2008年、コンピュータビジョンおよびパターン認識ComputerVisionandPatternRecognitionCVPRにおいて公表された双方向類似性を使用した視覚データの要約Summarizingvisualdatausingbidirectionalsimilarityと題された文献において、Simakov氏らは、双方向類似度からの画像サマリーの作成を開示している。Simakov氏らのアプローチは、2つの条件を満たすことを目的としている。これらの条件の一方は、入力データからの視覚情報をできる限り多く含むようにすることであり、他方は、入力データに存在していなかった新たな視覚アーティファクトの導入をできる限り少なくすることすなわち、視覚の一貫性visualcoherenceを維持することである。InternationalJournalofComputerVision、第76巻第2号2008年2月、に公表されたビデオ縮図VideoEpitomesと題された文献においては、Cheung氏らは、縮図を抽出するために、統計的な方法を開示している。このアプローチは、色情報および特定の空間パターンの双方を捉える確率的なモデルに基づく。ステップ210において、縮図構築方法は、現在の画像Icurr内で自己類似性を見つけることを含む。従って、現在の画像は、規則的な格子の複数のブロックに分割される。現在の画像Icurrにおける各ブロックに対して、同様のコンテンツを有する同じ画像における複数のパッチのセットをサーチする。すなわち、各ブロックBi∈ブロック格子に対してBiを所与の許容誤差εで近似する、マッチしたものまたは、マッチしたパッチのリストLmatchBi={Mi0、Mil,...}が決定される。本実施形態においては、平均ユークリッド距離を使用して、ブロックマッチングアルゴリズムでマッチング処理が行われる。従って、ステップ210において、ブロックBiまでの距離がε未満である現在の画像内のパッチMj,lがリストLmatchBiに追加される。この距離は、例えば、ブロックBiとパッチMj,lとの間の画素毎の差の絶対値をこのブロックBi内の画素の数で除した値に等しい。変形例によれば、距離は、誤差平方和SSESumofSquareErrorsと等しく、誤差は、ブロックBiとパッチMj,lとの間の画素毎の差である。画像全体内で、網羅的なサーチが行われる。画像ブロックのセットに対し、全てのマッチリストが作成されると、ステップ220において、マッチしたパッチMj,lによって表すことのできる複数の画像ブロックのセットを示す新しいリストL’matchMj,lが構築される。なお、完全なサーチステップの間に見つけられた全てのマッチしたブロックMj,lは、必ずしも、画像のブロック格子に一致したものではなく、従って、図5に示されているような画素格子に属する。ステップ240において、縮図チャートが構築される。この目的のため、縮図チャートを構築するためにテクスチャパッチを抽出し、より正確には、テクスチャパッチを選択する。全ての縮図チャートを結合させたものがテクスチャ縮図Eを構成する。各縮図チャートはテクスチャで画像の特定の領域を表す。ステップ240について、以下、詳細に説明する。ステップ2400において、インデックスnを0に設定する。nは整数である。ステップ2402において、第1の縮図チャートECnを初期化する。縮図チャートを初期化するために、幾つかの候補となるマッチしたパッチを使用することができる。各縮図チャートは、まだ再構築されていない残りのブロックを最良に表すマッチしたパッチによって初期化される。が入力画像を表すものとし、が候補となるマッチしたパッチおよび前に構築された縮図チャートによって再構築された画像を表すものとする。チャートを初期化するために、平均二乗誤差MSE基準の最小化に基づく以下の選択基準が使用される。選択された基準は、画像全体の予測誤差を考慮している。この基準は、最大の個数のブロックを再構築するとともに、再構築誤差を最小にできるようにするテクスチャパターンによって、縮図を拡張できるようにする。本実施形態においては、画像の再構築誤差を計算する際、零値が縮図パッチによってまだ予測されていない画像の画素に割り当てられる。図6は、最初の縮図パッチE0が選択されたときの再構築された画像ブロックを示している。ステップ2404において、縮図チャートECnは、次に、入力画像から領域ごとに次第に拡大し、縮図チャートが拡大する毎に、図7に描かれた画像内において予測可能な追加のブロックの個数を記録把握する。このステップは縮図チャート拡張としても知られている。初期縮図チャートECn0は、初期化ステップで保持されるテクスチャパッチに対応する。縮図拡大ステップは、まず、現在のチャートECnKと重なり、他の画像ブロックを表すマッチしたパッチMj,lのセットを判定することによって処理が進められる。従って、現在の縮図チャートの拡張として使用できる幾つかの候補となる領域ΔEが存在する。各チャート拡大候補ΔEに対し、複数の画素のセットΔEを含むマッチしたパッチMj,kのみに関連するリストL’matchMj,kから、再構築される可能性のある追加画像ブロックが特定される。次に、見つかった候補となるチャート拡大のセットのうちから、レート歪み基準に従って、最良にマッチするものに至る最適な候補ΔEoptが選択される。が入力画像を表すものとし、が現在の縮図Ecurrおよびチャート拡大候補ΔEによって再構築された画像を表すものとする。なお、現在の縮図Ecurrは、前に構築された縮図チャートおよび現在の縮図チャートECnkから構成される。この選択は、実際、ラグランジェ基準FCextの最小化に従って行われる。好ましい実施形態においては、λ値が1000に設定される。ラグランジェ基準の第1の項は、入力画像が現在の縮図によって含まれるテクスチャ情報および増分ΔEによって再構築される際の、画素単位の平均予測誤差を指す。初期化ステップにおける場合と同様に、画像の画素が、現在の縮図Ecurrによっても、増分によっても影響を受けない場合には、これらに零値が割り当てられる。FCextは、従って、再構築された画像ブロックに対してだけでなく、画像全体に対して計算される。ラグランジェ基準の第2の項は、縮図を構築する際の画素単位のレートに対応し、これは、画像内の画素の全体の数によって除した、現在の縮図内の画素の数およびその増分として概算される。局所的に最適な増分ΔEoptを選択した後、現在の縮図チャートは、ECnk1=ECnkΔEoptとなる。割り当てマップは、ECnk1によって新たに再構築されたブロックに対して更新される。次に、次の反復処理k1の間に、現在のチャートECnkと重なり、他のブロックを表すマッチしたパッチMj,lが無くなるまで、現在のチャートが拡張される。このような重なったパッチが存在する場合ステップ2404において本方法がECnk1で続けられる。現在のチャートをこれ以上拡張できなくなり、画像全体が現在の縮図によってまだ再構築されていない場合ステップ2406には、ステップ2408でインデックスnが1加算され、画像内の新たな位置で別の縮図チャートが作成される。本方法は、ステップ2402において、新たな縮図チャートで続けられる。すなわち、新たなチャートは、その拡張前にまず初期化される。処理は、画像全体が縮図によって再構築されると終了するステップ2406。テクスチャ縮図の例が図8bによって与えられているこの縮図は、9個の縮図チャートから構成される。図8aは、図8bの縮図が作成される画像Icurrを表している。テクスチャ縮図Eは、全ての縮図チャートECnを結合させたものからなる。割り当てマップは、現在の画像の各ブロックBiに対して、その再構築に使用されるパッチのテクスチャ縮図の位置を示す。画像に対して縮図が作成されると、この画像の近似値をテクスチャ縮図および変換マップから再構築することができる。しかしながら、許容誤差εのために、元の画像と再構築された画像との間に差分が残る。ビデオ符号化のアプリケーションでは、従って、これらの残った差分をさらに符号化することが必要である。再び図2を参照するに、ステップ22において、縮図E,φを符号化して第1のストリームF1とする。テクスチャ縮図Eをイントラのみの符号化器を用いて符号化する。例として、テクスチャ縮図Eを、イントラのみの符号化モードを使用してH.264規格に準拠して符号化する。変形例によれば、テクスチャ縮図を、JPEG規格に準拠して符号化する。別の変形例によれば、テクスチャ縮図を、参照画像として均一画像、例えば、画素の全てが128である画像を使用してインター符号化モードで符号化する。別の変形例によれば、テクスチャ縮図を、旧知の符号化器例えば、H.264、MPEG2などを使用し、イントラ予測モードおよびインター予測モードの双方を使用して符号化する。通常、これらの方法は、予測信号から残差信号を算出し、DCT、量子化およびエントロピー符号化するステップを含む。変換マップφを、固定長符号FLCまたは可変長符号VLCを用いて符号化する。しかしながら、他のものを使用することもできるCABACなど。変換マップは、ベクトルマップとも称するベクトルのマップである。ステップ24において、テクスチャ縮図Eを復号する。このステップは、エントロピー符号化は別として、テクスチャ縮図符号化ステップの逆処理である。例として、テクスチャ縮図符号化ステップが予測信号から残差信号を計算しDCTおよび量子化するステップを含む場合には、復号ステップ24は、逆量子化、逆DCTを行い、予測信号を残差信号に加えることによって再構築された信号を得るステップを含む。ステップ26において、復号されたテクスチャ縮図E、さらに、変換マップφから中間画像を再構築する。図8bの縮図から再構築された中間画像の例が図8cに示されている。画像ブロックをラスター走査で処理する。再構築は、変換マップによって識別されるパッチの単純なコピーとすることができる。サブペルsub-pel再構築が使用される場合には補間が行われる。ステップ28において、現在の画像を、参照画像として中間画像を使用して符号化する。例として、現在の画像を、H.264ビデオ符号化規格に準拠して符号化する。変形例によれば、現在の画像を、MPEG2ビデオ符号化規格に準拠して符号化する。通常の符号化モードインター符号化モードおよびイントラ符号化モードを使用することができる。現在の画像のブロックをインター符号化モードによって符号化する場合には、ブロックと、参照画像内、すなわち、復号された縮図から再構築された画像のうちの中間画像内の対応するブロックとの間の差分を符号化する。この対応するブロックは、動きベクトルによって参照画像内で識別される。この動きベクトルもまた符号化される。双方向予測もまた可能である。変形例によれば、動きベクトルは符号化されず、参照画像内で同じ位置に局在したブロックが使用される。この差分は、残差としても知られており、実際は、ブロックと参照画像から得られたその予測との間で算出された予測誤差である。通常、まず、残差を変換してDCT係数などの係数のブロックとなる。次に、その係数を量子化して量子化された係数のブロックとなる。最終的に、量子化された係数を、公知の算術符号化、CABACコンテクスト適応型バイナリ算術符号化を表す、CAVLCコンテクスト適応型可変長符号化を表すなどのエントロピー符号化を使用して符号化されてビットストリームとなる。本発明は、残差を符号化するために使用される符号化のタイプに限定されるものではない。ビットストリームF2は、予測誤差残差ビットストリームである。変形例によれば、第1のビットストリームおよび第2のビットストリームを多重化して単一のビットストリームとなる。図3の特定の実施形態に従った符号化方法は、自己類似性を記録する把握することを含み、現在の画像Icurr内で所与の許容誤差εに従ってテクスチャ縮図Eを、例えば単純なブロックマッチング技術に基づいて構築する。そこで、縮図を、入力画像Icurrから取り出されたテクスチャのピース、および割り当てマップと呼ばれるベクトルのマップから構築する。ここで、割り当てマップは、単純な変換パラメータを含み、入力画像の各ブロックと縮図のブロックとの間の対応を記録した把握できるようにしたものである。次に、中間画像を、テクスチャ縮図および割り当てマップから再構築する。最後に、現在の画像Icurrを、インター画像予測によって再構築された画像Irecを参照画像として使用して符号化する。特定の実施形態に従った符号化方法のステップは、以下のように要約することができる。1.現在の画像Icurrの縮図テクスチャ縮図と割り当てマップとからなるを構築し、より一般的には、現在の画像Icurrの画像サマリーを構築する。2.縮図テクスチャおよびマップを符号化して第1のビットストリームにする。3.復号されたテクスチャ縮図およびマップから画像を再構築する。4.SNRスケーラビリティによって予測として使用するために中間画像Irecを参照画像として使用して、現在の画像Icurrを符号化して第2のビットストリームにする。さらに、2つのビットストリームF1およびF2その一つはテクスチャ縮図および符号化された縮図の割り当てマップに関し、他の一つは現在の画像Icurrに関するは、最終的には、復号器に送信されるか、ハードディスクまたはDVDなどの記憶媒体に記憶される。図9は、本発明に従った再構築方法を表している。ステップ32において、画像サマリーを第1のビットストリームF1から復号する。このステップは、符号化方法のステップ22の逆の処理である。ステップ34において、この画像サマリーを、中間画像を再構築するために使用する。このステップは、符号化方法のステップ26と同一の処理である。ステップ36において、現在の画像を、中間画像を参照画像として使用して再構築する。現在の画像がインター符号化モードに従って符号化される場合には、ブロックと、参照画像内、すなわち、復号された縮図から再構築された中間画像内の対応するブロックとの間の差分を復号する。この対応するブロックは、動きベクトルによって、参照画像内で識別される。参照画像の2つのブロックを使用した双方向予測が可能である。変形例によれば、符号化された動きベクトルが存在せず、参照画像内で同じ位置に局在したブロックを使用する。この差分は、実際、ブロックと参照画像から得られたその予測との間の、符号化器側で計算された予測誤差である。通常、まず、量子化された係数を、公知の算術符号化、CABAC、CAVLCなどのエントロピー復号を使用して第2のビットストリームから復号する。次に、この量子化された係数を逆量子化してDCT係数などの逆量子化された係数のブロックとなる。最終的に、この逆量子化された係数を、例えば、逆DCTを使用して変換して残差のブロックとなる。次に、この残差のブロックを、参照画像内の対応するブロックに追加する。変形例によれば、再構築方法は、第1のビットストリームおよび第2のビットストリームが多重化されている場合にビットストリームを逆多重化して第1のビットストリームおよび第2のビットストリームにするステップ30をさらに含む。図10に描かれた特定の実施形態によれば、画像サマリーは縮図である。従って、ステップ32は、テクスチャ縮図およびベクトルの割り当てマップを復号することを含む。現在の画像を再構築する際にドリフトが発生することを回避するために、中間画像の画像再構築は、復号されたテクスチャ縮図および割り当てマップとから、符号化器側と対称的に、復号器側で実現される。図11は、本発明に従った符号化装置を表している。第1の入力部INにおいて、符号化装置ENCは、現在の画像Icurrを受信する。入力部INは、IFMにリンクされている。モジュールIFMは、符号化方法のステップ20に従って現在の画像Icurrのサマリーを作成するように構成されている。画像因子分解モジュールIFMは、第1の符号化モジュールENC1にリンクされている。第1の符号化モジュールENC1は、符号化方法のステップ22に従って、サマリーを符号化して第1のビットストリームにするように構成されている。符号化装置ENCは、さらに、第1の符号化モジュールENC1にリンクされた第2の符号化モジュールENC2を含む。第2の符号化モジュールENC2は、符号化方法のステップ24、26、および28に従って、現在の画像を符号化して第2のビットストリームにするように構成されている。特に、第2の符号化モジュールENC2は、第1の符号化モジュールENC1を用いて符号化された画像サマリーを復号して復号されたサマリーから中間画像を再構築し、中間画像を参照画像として使用して現在の画像Icurrを符号化するように構成されている。符号化装置ENCは、さらに、第1のビットストリームおよび第2のビットストリームを多重化して単一のビットストリームまたはトランスポートストリームにするように構成された多重化モジュールMUXをさらに含んでいてもよい。この場合、多重化モジュールは、単一の出力部OUTにリンクされている。変形例によれば、多重化モジュールは、符号化装置の外部に存在し、符号化装置は、2つの出力部を有する。一方の出力部は、第1のビットストリームのためのものであり、他方の出力部は、第2のビットストリームのためのものである。図12は、本発明に従った復号装置DECを表している。復号装置は、第1の入力部INでビットストリームを受信する。入力部は、逆多重化モジュールDEMUXにリンクされている。逆多重化モジュールDEMUXは、ビットストリームを逆多重化して画像サマリーを表す第1のビットストリーム、さらに、残差、より正確には、予測誤差残差を表す第2のビットストリームにするように構成されている。変形例によれば、逆多重化モジュールDEMUXは、復号装置の外部に存在し、復号装置は、2つの入力部を有する。一方の入力部は、第1のビットストリームのためのものであり、他方の入力部は、第2のビットストリームのためのものである。復号装置DECは、再構築方法のステップ32に従って、第1のビットストリームからの画像サマリーを復号するように構成された第1の復号モジュールDEC1をさらに含む。復号装置DECは、第1の復号モジュールDEC1にリンクされた第2の復号モジュールDEC2をさらに含む。第2の復号モジュールDEC2は、再構築方法のステップ34、36、および38に従って、第2のビットストリームから現在の画像を再構築するように構成されている。特に、第2の復号モジュールDEC2は、復号されたサマリーから中間画像を再構築し、中間画像を参照画像として使用して現在の画像Icurrを再構築するように構成されている。イントラ符号化に基づく既存の方法と比較して、本発明は、レート歪み性能を改善するという利点がある。本発明の主たる特徴は、画像サマリーを使用して符号化しようとする現在の画像を予測することにある。ここで、画像サマリー、例えば、縮図は、再構築された画像を与え、この再構築された画像通常のサイズ、すなわち、縮図が作成される元の画像のサイズと同じサイズは、ビデオ符号化器において、参照画像として使用される。有益には、再構築された画像は、符号化する画像と同じサイズを有する。従って、スキップモードとして知られるような効率的なモードを使用して現在の画像におけるブロックを符号化することにより、その符号化コストを減少させることができる。本発明の主な対象となるアプリケーションは、圧縮を含むビデオ配信およびビデオ圧縮に関連する表示技術のアプリケーションである。まず、本発明は、現在の画像に対して計算された残差すなわち、ブロックと参照画像内の対応するブロックとの間の差分を符号化するために使用される符号化方法によって限定されるものではない。さらに、この方法は、縮図、すなわち、テクスチャ縮図および割り当てマップを構築するために使用される方法に限定されるものでは全くない。実際、本発明に従った符号化方法は、符号化される画像に対して、画像サマリーを作成するためにどのような方法が使用されても、画像サマリーのみを必要とする。"