(57)【要約】【課題】  画像シーケンスを表す信号を復号化する効率的な方法を提供する。【解決手段】  本発明の画像シーケンスを表す信号を復号化する方法は、前記信号からモーションチューブを抽出するステップであって、各チューブは、少なくとも以下の情報キュー、すなわち、参照テクスチャ情報キューを含んだ参照画素ブロックと、チューブ開始時点およびチューブ終了時点と、遷移情報キューとにより定まるものである、抽出するステップと、遷移情報キューを処理するステップと、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合するステップとを含む。【選択図】図２
2010532612.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスを表す信号からモーションチューブを抽出するステップであって、あるチューブは、少なくとも一つの別のチューブとは独立して変化する画素ブロックを含むことができ、ある時点において、二つのチューブは一つの画像内の同一の画素へ別々の値を割り当てることができ、前記チューブのそれぞれは少なくとも以下の情報キュー、すなわち、
参照テクスチャ情報キューを含んだ参照画素のブロックと、
チューブの開始時点およびチューブの終了時点と、
前記画像シーケンス内の少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報キューと
により定まるものである、ステップと、
前記遷移情報キューを処理して、ある時点ｔにおけるカレントイメージ内の各チューブについてのカレントブロックを提供するステップと、
前記カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合して、該オーバーラップゾーンにおいて最適化された画素を再現するステップと
を含む、画像シーケンスを表す信号を復号化する方法。
【請求項２】
前記結合するステップは、前記オーバーラップゾーンの少なくとも一つの画素について、オーバーラップしている各チューブ内の当該画素へと割り当てられているテクスチャ値の平均を計算する演算を含むものである、請求項１に記載の方法。
【請求項３】
前記平均は、重み付けがなされた平均であって、
各チューブに関連付けられている深度情報キューと、
各チューブに関連付けられている優先度情報キューと、
各チューブの生成時点または継続時間の少なくともいずれか一方と、
各チューブにおいて対象となる画素についての位置情報キューと、
各チューブのチューブタイプに関連する情報キューと
からなる群から選ばれた少なくとも一つの条件の関数である、請求項２に記載の方法。
【請求項４】
あるチューブの開始時点における画素ブロック、すなわち開始ブロックが、当該チューブを定める参照画素のブロックに対応するか、あるいは該参照画素ブロックの修正により得られるものである、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記抽出するステップは、ベースチューブと、少なくとも一つのベースチューブの再現を改善するための修正チューブとを提供するものである、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記修正チューブは、加算チューブと記述チューブとを含むものであり、
加算チューブは、ベースチューブの情報キューへと加算される残差情報キューを含むものであり、
記述チューブは、ベースチューブの情報キューにより提供される第一の記述に対して補足的および／または冗長な第二の記述を提供する記述情報キューを含むものである、請求項５に記載の方法。
【請求項７】
前記遷移情報キューは、
前記カレントイメージ内のブロックの位置および／または変位の修正に関する情報キューと、
前記テクスチャの修正に関する情報キューと
を含むものである、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記遷移情報キューは、
ホモグラフィック変換と、
アフィン変換と、
回転と
からなる群から選ばれた少なくとも一つの演算を行うための、ブロックの変化に関する情報キューを含むものであり、
前記処理するステップは、前記変化に関する情報キューの関数として前記演算を行うものである、請求項７に記載の方法。
【請求項９】
前記抽出するステップは、ある時点ｔにおいて、前記各チューブに関し、以下の情報キュー、すなわち、
前記チューブを使用するか否かの情報と、
前記チューブについての予測を使用するか否かの情報と、
前記画像におけるチューブの位置に関する情報キューと、
チューブタイプに関する情報キューと、
テクスチャデータと
のうちの少なくとも一つを読み取るステップを含むものである、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
画像シーケンスを表す信号からモーションチューブを抽出する手段であって、あるチューブは、少なくとも一つの別のチューブとは独立して変化する画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像における同一の画素へ別々の値を割り当てることができ、前記各チューブは、少なくとも以下の情報キュー、すなわち、
参照テクスチャ情報キューを含んだ参照画素ブロックと、
チューブ開始時点およびチューブ終了時点と、
前記画像シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報キューと
により定まるものである、抽出する手段と、
前記遷移情報キューを処理して、ある時点ｔにおけるカレントイメージ内の前記チューブのそれぞれのカレントブロックを提供する手段と、
前記カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合して、該オーバーラップゾーンにおいて最適化された画素を再現する手段と、
を備えている、画像シーケンスを表す信号を復号化する装置。
【請求項１１】
ある通信ネットワークからダウンロード可能であり、および／または、コンピュータが読み取り可能な媒体に記録され、および／または、プロセッサが実行可能なコンピュータプログラム製品であって、請求項１から９のいずれか一項に記載の方法を実行するためのプログラムコード命令を有するコンピュータプログラム製品。
【請求項１２】
画像シーケンスを表す信号へモーションチューブを挿入するステップであって、あるチューブは、少なくとも一つの別のチューブとは独立して変化することが可能な画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像内の同一の画素へ別々の値を割り当てることができ、前記各チューブは、少なくとも以下の情報キュー、すなわち、
参照テクスチャ情報キューを含んだ参照画素ブロックと、
チューブ開始時点およびチューブ終了時点と、
前記画像シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報キューと
により定まるものである、挿入するステップと、
前記モーションチューブを定める遷移情報キューを生成するステップと
を含み、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューが結合されて、該オーバーラップゾーンにおいて最適化された画素が再現される、画像シーケンスを符号化する方法。
【請求項１３】
画像シーケンスを表す信号へモーションチューブを挿入する手段であって、あるチューブは、少なくとも一つの別のチューブとは独立に変化することが可能な画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像内の同一の画素へ別々の値を割り当てることができ、前記各チューブは、少なくとも以下の情報キュー、すなわち、
参照テクスチャ情報キューを含んだ参照画素ブロックと、
チューブ開始時点およびチューブ終了時点と、
前記シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報キューと
により定まるものである、挿入する手段と、
前記モーションチューブを定める遷移情報キューを生成する手段と
を備えており、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューが結合されて、該オーバーラップゾーンにおいて最適化された画素が再現される、画像シーケンスを符号化する装置。
【請求項１４】
通信ネットワークからダウンロード可能であり、および／または、コンピュータが読み取り可能な媒体に記録され、および／または、プロセッサが実行可能なコンピュータプログラム製品であって、請求項１２に記載の方法を実行するプログラムコード命令を有するコンピュータプログラム製品。
【請求項１５】
モーションチューブを含み、ここで、あるモーションチューブは、少なくとも一つの別のチューブとは独立して変化することが可能な画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像内の同一の画素へ別々の値を割り当てることができ、前記各チューブは、少なくとも以下の情報キュー、すなわち、
参照テクスチャ情報キューを含んだ参照画素ブロックと、
チューブ開始時点およびチューブ終了時点と、
画像シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報キューと
により定まるものであり、
前記各モーションチューブに関連付けられている遷移情報キューをさらに含み、
復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューが結合され、該オーバーラップゾーンにおいて最適化された画素が再現される、画像シーケンスを表す信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像シーケンスの符号化および復号化の分野に属する。
【０００２】
具体的には、本発明は、モーションチューブを用いて表現される、ビデオ画像のシーケンスあるいは二次元または三次元のシーン（あるいはさらに高次元のシーン）のシーケンスの処理に関する。
【背景技術】
【０００３】
従来のビデオ符号化装置、例えば、ＩＳＯ／ＩＥＣ  １４４９６−１０に示されている、ＩＴＵ（国際電気通信連合）のＡＶＣ  Ｈ．２６４／ＭＰＥＧ−４規格（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）で定められているビデオ符号化装置は、画像シーケンスを符号化して、符号化シーケンス、つまり元の画像シーケンスを圧縮した符号化シーケンスを提供する。
【０００４】
このような符号化装置は、ビデオシーケンスの不連続な表現を用いる。具体的には、シーケンスに含まれる画像は画素のブロックに切り分けられる。ここで、各画素ブロックは、隣接する画素のグループに相当する。これらの符号化装置は、それらのブロックに含まれている情報について、変換、量子化、エントロピー符号化といった処理を行う。したがって、各ブロックは、画像内または画像間の予測により符号化される。
【０００５】
このような従来技術の欠点は、各画像内のブロックが、そのシーケンスの別の画像のブロックと無関係に定義されることである。このことは、シーケンス内のモーションの表現を不連続なものとし、結果的に、リアルなモーションの表現が難しくなるとともに、圧縮ビットレートの観点でコスト増加の要因となる。
【０００６】
そこで、メッシュに基づく代替的な手法が提案されている。これにより、モーションの連続的な表現が得られる。
【０００７】
しかし、このようなメッシュに基づく手法の欠点は、リージョン間のモーションが制限されることである。結果として、画像シーケンス内の、モーションが異なる二つのリージョン間で（例えば、物体の出現または消滅により）発生する可能性のあるモーションフィールドの途切れ（break）を表現することができない。
【０００８】
さらに、これらの手法には、使用するメッシュが不規則であることから、時間の経過に対するメッシュセルの構造を送信しなければならないという、もう一つの弱点もある。実際、このような追加的な情報の送信は、圧縮の効果という観点では不利である。
【０００９】
したがって、これらの従来技術の欠点を多少なりとも解消する、画像の符号化、復号化の新たな手法が求められている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記従来技術の欠点を解消した新規な解決法を、画像シーケンスを表す信号を復号化する方法として提案する。
【課題を解決するための手段】
【００１１】
本発明の画像シーケンスを表す信号を復号化する方法は、画像シーケンスを表す信号からモーションチューブを抽出するステップであって、あるチューブは、少なくとも一つの別のチューブとは独立して変化する画素ブロックを含むことができ、ある時点において、二つのチューブは一つの画像内の同一の画素へ別々の値を割り当てることができ、前記チューブのそれぞれは少なくとも以下の情報キュー、すなわち、参照テクスチャ情報キューを含んだ参照画素のブロックと、チューブの開始時点およびチューブの終了時点と、前記画像シーケンス内の少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報キューとにより定まるものである、ステップと、前記遷移情報キューを処理して、ある時点ｔにおけるカレントイメージ（現在の画像）内の各チューブについてのカレントブロック（現在のブロック）を提供するステップと、前記カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合して、該オーバーラップゾーンにおいて最適化された画素を再現（reconstruct）するステップとを含む。
【００１２】
したがって、本発明は、モーションチューブの形式で表現される画像シーケンスの復号化に関する新規であって進歩性を有するアプローチに基づく。
【００１３】
具体的には、モーションチューブは、経時的に変化（evolve）する画素ブロックに相当する。この変化の過程において、チューブは、例えば、明確なモーション（動き）、あるいは、ブロック内に存在する画素の増減を考慮するために、変化しうる。さらに、このチューブは、修正（refine）が可能である。修正されたチューブとは、例えば、ブロックのサブピクセルレベルにわたる（pass to）チューブである。
【００１４】
したがって、各モーションチューブが、独立して変化しうる。つまり、画像シーケンスは、画像シーケンスのモーションの軌跡に従って時間とともに空間内を移動するモーションチューブの集合により表現される。このチューブの「時間的な継続性（temporal persistence）」により、ビデオシーケンスを連続的に表現することが可能となる。さらに、この表現は、シーケンス内のモーションの連続性および不連続性のゾーンを同時に効率的に表現することを可能にする。
【００１５】
これに対し、上述のように、従来技術のブロック予測符号化では、各画像内のブロックは、そのシーケンス内の他の画像のブロックとは無関係に定められる。したがって、これらの予測においては、追跡（tracking）は行われない。
【００１６】
本発明によれば、具体的には、復号化の際に、受信した信号からモーションチューブを抽出する。これは、これらのチューブについての遷移情報キューを処理し、各チューブについて、再現しようとする画像内の（変化している可能性がある）カレントブロックを再現するためである。
【００１７】
その後、オーバーラップしている各チューブに対応するカレントブロックへと関連付けられている情報キューは、オーバーラップゾーン内に位置する画素を再現するために結合される。オーバーラップゾーンという表現は、具体的には、各チューブに関連付けられているカレントブロックが共通の画素を有するゾーンを意味している。
【００１８】
具体的には、チューブの開始時点における画素ブロック、すなわち開始ブロックは、該チューブを定義する参照画素ブロックに直接的に対応したものとすることができ、あるいは、該参照画素ブロックの修正に基づいて得ることもできる。そのような修正は、例えば、幾何学的変換（ホモグラフィック変換、アフィン変換、回転など）を含む符号化に相当する。
【００１９】
本発明の一実施形態によれば、結合するステップは、オーバーラップゾーン内の少なくとも一つの画素について、オーバーラップしている各チューブの画素に割り当てられているテクスチャ値の平均を計算する処理を含む。
【００２０】
具体的には、この平均は、以下のものからなる群から選らばれた少なくとも一つの条件の関数である重み付けがなされた平均とすることができる。
・該各チューブに関連付けられている深度情報キュー
・該各チューブに関連付けられている優先度情報キュー
・該各チューブの生成時点および／または継続時間
・該各チューブにおける対象画素についての位置情報キュー
・該各チューブのチューブタイプに関連する情報キュー
【００２１】
言い換えると、オーバーラップゾーンにおいて最適化される画素は、オーバーラップしている各チューブの画素に割り当てられているテクスチャ値の結合（一次結合、幾何学的結合など）に基づいて決定される。
【００２２】
本発明の一態様によれば、抽出するステップにより、異なるタイプのチューブが提供される。これらのチューブには、具体的には、ベースチューブと、少なくとも一つのベースチューブの再現（restitution）を改善するための修正チューブ（refinement tube）とが含まれる。
【００２３】
修正チューブの変化は、ベースチューブの変化とは独立なものとしうる。
【００２４】
具体的には、修正チューブは、以下のものを含む。
・加算チューブ（additive tube）：加算チューブは、ベースチューブの情報キューに加算される残差情報キューを含む。
・記述チューブ（description tube）：記述チューブは、ベースチューブの情報キューにより提供される第一の記述に対して補足的かつ／または冗長な第二の記述を提供する記述情報キューを含む。例えば、第一の記述は、ブロック内の偶数画素（even pixel）の記述を可能とし、第二の記述は、奇数画素（odd pixel）の記述を可能とする。
【００２５】
したがって、本実施形態によれば、本発明は、品質が調整可能であって時空間解像度（spatio-temporal resolution）が可変である、データのスケーラブルな符号化および復号化に応用される。
【００２６】
ベースチューブと加算型の修正チューブとの間の相互関係を利用するスケーラブルな表現の実行を目的とする一態様によれば、加算型の修正チューブは、修正対象のベースチューブへと関連付けられる。したがって、加算型の修正チューブの時間的な変化は、ベースチューブの時間的な変化に依存する。
【００２７】
本発明の一実施例によれば、モーションチューブを定義する遷移情報キューは、以下のものを含む。
・該カレントイメージ内のブロックの位置および／または変位の修正に関する情報キュー
・該テクスチャの修正に関する情報キュー
【００２８】
これらの遷移情報キューは、具体的には、既に復号化された画像に対して行われた修正を考慮した、カレントイメージ内のカレントブロックの再現を可能にする。例えば、これらの修正は、画像ごとの更新、空間的変換および／または時間的変換による符号化などに相当する。
【００２９】
例えば、遷移情報キューは、以下のものからなる群から選ばれた少なくとも一つの演算を行うための、ブロックの変化に関する情報キューを含む。
・ホモグラフィック変換
・アフィン変換
・回転
この演算は、処理するステップにおいて、変化に関する情報キューを考慮して行われる。
【００３０】
本発明の一実施形態によれば、復号化方法は、参照チューブのリストを生成して更新するステップを含む。この、リストを生成するステップは、シーケンス内の第１番目の画像に対して実行できる。
【００３１】
本発明の一態様によれば、抽出するステップは、ある時点ｔにおいて、各チューブについて、以下の情報キューの少なくとも一つを読み取るステップを含む。
・該チューブを使用するか否かの情報
・該チューブについての予測を使用するか否かの情報
・画像内の該チューブの位置に関する情報キュー
・チューブタイプに関連する情報キュー
・テクスチャデータ
【００３２】
例えば、復号化方法は、以下のステップを含む。
【表１】
2010532612.tif 000003
【００３３】
別の実施形態では、本発明は、画像シーケンスを表す信号を復号化する装置を提供する。
【００３４】
本発明によれば、復号化装置は、以下のものを備えている。
・信号からモーションチューブを抽出する手段：  チューブは、少なくとも一つの別のチューブとは独立に変化しうる画素ブロックを含む。
・遷移情報キューを処理する手段：  ある時点ｔにおけるカレントイメージ内の各チューブのカレントブロックを提供する。
・オーバーラップゾーンにおいて最適化された画素を再現するために、該カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合する手段。
【００３５】
このような復号化装置は、特に、上述の復号化方法の実施に好適である。そのような復号化装置は、例えば、Ｈ．２６４型または修正Ｈ．２６４型のビデオ復号化装置を必要とする。
【００３６】
本発明の別の態様では、通信ネットワークからダウンロード可能であり、および／または、コンピュータが読み取り可能な媒体に記録され、および／または、プロセッサが実行可能なコンピュータプログラム製品であって、上述の復号化方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品が提供される。
【００３７】
本発明の別の実施形態は、画像シーケンスを符号化する方法に関する。
【００３８】
本発明によれば、符号化方法は、以下のステップを含む。
・シーケンスを表す信号にモーションチューブを挿入するステップ：  チューブは、少なくとも一つの別のチューブと独立に変化しうる画素ブロックを含んでいる。ある時点において、二つのチューブは、一つの画像の同一の画素へ別々の値を割り当てることが可能である。各チューブは、少なくとも以下の情報キュー、すなわち、参照テクスチャ情報キューを含む参照画素ブロックと、チューブ開始時点およびチューブ終了時点と、該シーケンスの少なくとも一つの時点ｔにおいて該参照ブロックを更新することを可能にする遷移情報キューとにより定められる。
・該モーションチューブを定義する該遷移情報キューを生成するステップ
・これにより、復号化の際に、カレントイメージ内のオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合して、オーバーラップゾーンにおいて最適化された画素を再現することができる。
【００３９】
そのような符号化方法は、特に、上述の復号化方法に従って復号化される画像シーケンスを符号化することに好適である。
【００４０】
具体的には、そのような符号化方法は、以下の二つの主なフェーズを含む。
・モーションチューブを確立するフェーズ：  情報キューに基づいてチューブを構成することを可能にする。
・モーションチューブを符号化するフェーズ
【００４１】
本発明の一実施形態以下の通りである。
【表２】
2010532612.tif 000004
【００４２】
別の実施形態では、画像シーケンスを符号化する装置が提供される。
【００４３】
本装置は、以下のものを備えている。
・シーケンスを表す信号にモーションチューブを挿入する手段：  チューブは、少なくとも一つの別のチューブと独立に変化しうる画素ブロックを含む。
・モーションチューブを定義する遷移情報キューを生成する手段：
これにより、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合して、オーバーラップゾーンにおいて最適化された画素が再現される。
【００４４】
そのような符号化装置は、特に、上述の符号化方法の実施に好適である。そのような復号化装置は、例えば、Ｈ．２６４型または修正Ｈ．２６４型のビデオ符号化装置を必要とする。
【００４５】
本発明の別の態様では、通信ネットワークからダウンロード可能であり、および／または、コンピュータによる読み取りが可能な媒体に記録され、および／または、プロセッサによる実行が可能なコンピュータプログラム製品であって、上述の符号化方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品が提供される。
【００４６】
本発明のさらに別の態様では、画像シーケンスを表す信号が提供される。
【００４７】
本信号は、モーションチューブを含む。チューブは、少なくとも一つの別のチューブとは独立に変化しうる画素ブロックを含む。ある時点において、二つのチューブが、一つの画像の同一の画素へ別々の値を割り当てることができる。
該各チューブは、少なくとも以下の情報キューで定義される。
・参照テクスチャ情報キューを含む参照画素ブロック
・チューブ開始時点およびチューブ終了時点
・該シーケンスの少なくとも一つの時点ｔにおいて該参照ブロックを更新することを可能にする遷移情報キュー
本信号は、各モーションチューブに関連付けられている遷移情報キューをさらに含む。
これにより、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報キューを結合して、オーバーラップゾーンにおいて最適化された画素が再現される。
【００４８】
本信号は、特に、上述の符号化方法に従って符号化されたデータストリームを表すことができる。もちろん、この信号は、本発明による符号化方法に関連する様々な特性を含むことができる。
【００４９】
単純で、例示的かつ非限定的な例として与えられる、以下の実施例の説明、ならびに以下に示す添付図面を参照することにより、本発明の特徴および利点を説明する。
【図面の簡単な説明】
【００５０】
【図１】モーションチューブを用いた画像シーケンスの一例を示す図である。
【図２】モーションチューブ内のブロックの経時的な変化を示す図である。
【図３】本発明の一実施形態による復号化方法の主なステップを示す図である。
【図４】オーバーラップを制御するメカニズムを示す図である。
【図５】本発明の一実施形態による符号化方法の主なステップを示す図である。
【図６Ａ】本発明の一実施形態による符号化装置の一例を示す図である。
【図６Ｂ】本発明の一実施形態による復号化装置の一例を示す図である。
【発明を実施するための形態】
【００５１】
５．１  一般原理
本発明の一般原理は、モーションチューブを用いて表現される２次元または３次元の画像シーケンスを符号化および復号化することに基づいている。
【００５２】
モーションチューブによるビデオシーケンスの表現の一例について、図１を参照しながら説明する。
【００５３】
本例では、時点ｔ０、ｔ１、ｔ２、ｔ３にそれぞれ対応するビデオシーケンスの画像Ｉ０、Ｉ１、Ｉ２、Ｉ３の間に、四つのモーションチューブＴｕ１、Ｔｕ２、Ｔｕ３、Ｔｕ４が存在している。
【００５４】
具体的には、あるモーションチューブは、画素の集合（正方形あるいは長方形のブロック、または３次元の立方体など）として定義されるものであり、その特性は以下のとおりである。
・生成時点（すなわちチューブ開始時点）
・消滅時点（すなわちチューブ終了時点）
・時点ｔに依存する位置（ｘｔ、ｙｔ）の集合または変位（ｄｘｔ、ｄｙｔ）の集合（ただし、ｔはチューブの生成時点と消滅時点との間にある）
・必要に応じて時間とともに変化するテクスチャ
【００５５】
例えば、チューブＴｕ１は、時点ｔ０で生成され、時点ｔ２で消滅する。このことは、時点ｔ０より前にはチューブＴｕ１は存在せず、時点ｔ２より後にはチューブＴｕ１はもはや存在しないことを意味する。同様に、チューブＴｕ２は、時点ｔ０で生成され、時点ｔ１で消滅する。チューブＴｕ３は、時点ｔ１で生成され、時点ｔ３で消滅する。チューブＴｕ４は、時点ｔ１で生成され、時点ｔ２で消滅する。さらに、各チューブは、テクスチャ値を有している。
【００５６】
言い換えると、例えば、画像Ｉ０の場合は、チューブＴｕ１が、画像Ｉ０の画素ブロック１に対応する。これに関して、「時間的な推移（temporal extension）」としてｔが適用される。ｔはｔ０からｔ２まで変化する。
【００５７】
このように、チューブは、各時点において再び初期化されることなく、画像を通じて「残存」する。特に、画像シーケンス内の連続しない複数の画像に対して、モーションチューブを定義することができる。例えば、時点ｔにおいてチューブが画像から「消滅」した場合には、このチューブはメモリ内に保存され、時点ｔ＋１において「再度出現」しうる。
【００５８】
これらのチューブは、復号化する際に、シーケンス内の画像を再現するために用いられる。例えば、チューブＴｕ１を用いて、画像Ｉ１およびＩ２を予測することができる。
【００５９】
各チューブに関連付けられている画素ブロックは、互いに独立して変化（evolve）しうることに留意されたい。したがって、例えば、図１の時点ｔ２におけるチューブＴｕ３とチューブＴｕ４のように、チューブどうしがオーバーラップすることがある。これは、メッシュに基づく手法では不可能である。
【００６０】
さらに、チューブの時間的な変化は、平行移動（translation）に限られないことに留意されたい。画素ブロックにおいては、最初の画像を含めて、画像ごとに幾何学的変換が行われる場合がある。このような変換としては、回転、アフィン変換、ホモグラフィック変換などがある。
【００６１】
図２は、チューブどうしのオーバーラップを具体的に示している。例えば、時刻ｔにおいて、画像Ｉｔ内でチューブＴｕｉ、Ｔｕｋが初期化されている。時刻ｔ＋１では、画像Ｉｔ＋１内でチューブＴｕｉとチューブＴｕｋが完全にオーバーラップしている。つまり、このときチューブＴｕｉおよびチューブＴｕｋは、同じ画素ブロックに対応している。これが起こるのは、例えば、ある物体について、チューブＴｕｉの画素ブロックに関連付けられている一部分が、ブロックＴｕｋに関連付けられている別の物体によって隠されている場合である。その後、各チューブが互いに独立して変化（evolve）することにより、チューブＴｕｉとチューブＴｕｋは、各チューブに関連付けられている物体の変位に応じて、別の方向に変化していく。
【００６２】
また、モーションチューブは、時間とともに変化（平行移動から回転運動、アフィン変形、ホモグラフィック変形などへ拡張）しうる。例えば図２では、チューブＴｕｌが時点ｔ＋１において画像Ｉｔ＋１内で初期化され、時点ｔ＋２において画像Ｉｔ＋２内で消滅している。チューブＴｕｌに対応した、画像Ｉｔ＋２内の画素ブロックは、同じチューブＴｕｌに対応した、画像Ｉｔ＋１内の画素ブロックとは異なることがある。例えば、チューブＴｕｌは、画像Ｉｔ＋１において８×８の画素ブロックに対応し、画像Ｉｔ＋２においては１２×８の画素ブロックに対応している。この場合、チューブを構成している画素の集合は、時間とともに変化している。画像Ｉｔ＋２内のチューブＴｕｌに対応した画素ブロックを表現するために、画像Ｉｔ＋１について当初定められた、修正された画素値を含んだブロックを変形することができる。このような変形としては、ホモグラフィック変換、アフィン変換、回転などがある。
【００６３】
つまり、あるビデオシーケンスは、そのビデオシーケンスのモーションの軌跡（trajectory）に従って時間とともに空間内を動くモーションチューブの集まりによって表現される。
【００６４】
５．２  復号化
本発明による復号化方法の主なステップを、図３を参照して具体的に説明する。
【００６５】
信号３０は、復号化部が受信した画像シーケンスである。
【００６６】
本復号化方法では、まず抽出ステップ３１において、画素ブロックに各々関連付けられているモーションチューブを信号３０から抽出する。本発明においては、各チューブは互いに独立して変化しうる。さらに、所与の時点において、二つのチューブが、ある画像の同一の画素へ別々のテクスチャ値を割り当てることができる。
【００６７】
各チューブは、少なくとも以下の情報キューによって定められる。
・参照テクスチャ情報キューを含んだ参照画素ブロック
・チューブ開始時点およびチューブ終了時点
・当該シーケンスの少なくとも一つの時点ｔにおいて当該参照ブロックを更新することを可能にする遷移情報キュー
【００６８】
チューブの開始時点における画素ブロック（開始ブロックと呼ぶ）は、当該チューブを定める参照画素ブロックに対応したものとすることができ、あるいは、当該参照画素ブロックの修正により得られるものとすることもできる。したがって、この開始ブロックは、必ずしも当該シーケンスの画像に属するものではなく、ストレージメモリ、データベースなどから作成されることがある。
【００６９】
また、参照画素ブロック（あるいは、チューブの開始時点における画素ブロック）は、モーションチューブごとに異なりうる。
【００７０】
例えば、図１の画像Ｉ１を参照すると、チューブＴｕ３の開始時点における画素ブロックは、ブロック３である。チューブＴｕ４の開始時点における画素ブロックは、ブロック４である。
【００７１】
また、チューブの開始時点は、モーションチューブごとに異なりうる。例えば、チューブＴｕ１の開始時点はｔ０であり、チューブＴｕ３の開始時点はｔ１である。
【００７２】
これらの遷移情報キューは、具体的には、カレントイメージにおけるブロックの位置の修正および／または変位の修正に関する情報キュー、ならびに、テクスチャの修正に関する情報キューを含んでいる。
【００７３】
本復号化方法は、遷移情報キューを処理するステップ３２において、時点ｔにおけるカレントイメージ内の各チューブのカレントブロックを提供する。例えば、画像Ｉ２（これをカレントイメージとする）の再現が必要な場合には、時点ｔ１における画像Ｉ１内のブロック３と、チューブＴｕ３に関連付けられている遷移情報キューとに基づいて、チューブＴｕ３の画像Ｉ２内のブロック３が時点ｔ２において更新される。言い換えると、開始ブロックは、遷移情報キューを考慮に入れながら、時間とともに変化しうる。そして、それをカレントブロックと呼ぶ。
【００７４】
その後、本復号化方法は、ステップ３３において、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックに関連付けられている情報キューを結合（combine）する。これにより、オーバーラップゾーンにおいて最適化された画素を再現する。
【００７５】
図１を再度参照すると、例えば、チューブＴｕ３とチューブＴｕ４とが、画像Ｉ２内でオーバーラップしていることに留意されたい。ここで、チューブＴｕ３およびチューブＴｕ４に関連付けられている情報キュー（具体的には、テクスチャ情報キュー）を結合することに基づいた、オーバーラップを制御するメカニズムを導入する。そして、このオーバーラップを制御するメカニズムにより、オーバーラップゾーン内に位置する画素について値を再現することが可能となる。
【００７６】
そして、本復号化方法により、再現された画像シーケンス３４が得られる。
【００７７】
ステップ３３は、各モーションチューブについての情報キューを結合するステップである。これについて、図４を参照して具体的に説明する。
【００７８】
所与の時点における画像を画像Ｉとする。画像Ｉは、それぞれが画素ブロックに関連付けられている三つのモーションチューブを含んでいる。簡単にするために、ブロックとこれに対応するチューブとを同じ文字で表す。図４では、三つのチューブ４１、４２、４３が、符号Ｈで示された、ハッチングされたオーバーラップゾーンにおいてオーバーラップしている。
【００７９】
このオーバーラップゾーンＨを制御するために、様々な手法を用いる。
【００８０】
例えば、結合ステップ３３では、オーバーラップゾーンの画素を再現するために、オーバーラップしているチューブのそれぞれにおける、オーバーラップゾーンＨの各画素に割り当てられたテクスチャ値の平均を計算する。ゾーンＨの画素Ｐが、ブロック４１において値２１０を有し、ブロック４２において値２３０を有し、ブロック４３において値２４０を有しているとすると、再現された画素は値２２６（＝（２１０＋２３０＋２４０）／３）を有することとなる。
【００８１】
各モーションチューブに重みを付けることにより、上述の平均に重みを付けることができる。例えば、各チューブに対して優先度情報キュー（priority information cue）を関連付けることができる。この優先度情報キューは、品質情報キューとすることができる。この場合は、最大の優先度情報キューを有するチューブに関連付けられているテクスチャ値のみを考慮する。
【００８２】
また、優先度情報キューは、深度情報キュー（depth information cue）とすることもできる。この場合は、最大の深度情報キューを有するチューブに関連付けられているテクスチャ値のみを考慮する。また、オーバーラップしているすべてのチューブに関連付けられているテクスチャ値を結合することもできる。この場合、それらの値について、各チューブに関連付けられている深度により重み付けを行う。
【００８３】
別の形態によれば、オーバーラップしている複数のチューブのうち、一つのチューブに関連付けられているテクスチャ値を考慮することもできる。例えば、（継続時間が）最も長いチューブ、すなわち、個数が最大の連続画像または不連続画像にわたって定義されているチューブのみを考慮したり、あるいは、直近のチューブ、すなわち、生成時点が時間的に最も近いチューブのみを考慮する。また、オーバーラップしているすべてのチューブに関連付けられているテクスチャ値を結合することもできる。この場合、それらの値について、各チューブの継続時間（終了時点と生成時点との差）、あるいは、各チューブの生成時点を起点とする時間的間隔の単調減少（または単調増加）関数（現在の時点と生成時点との差）により重み付けを行う。
【００８４】
さらに別の手法では、各チューブにおいて対象画素の位置を考慮する。例えば、オーバーラップゾーンＨ内の画素Ｐが、チューブ４１の中心から距離ｄ１の位置にあり、チューブ４２の中心から距離ｄ２の位置にあり、チューブ４３の中心から距離ｄ３の位置にあるとする。この場合、再現する画素に最も近いチューブ（例えば、ｄ２＜ｄ１かつｄ２＜ｄ３であるとすれば、チューブ４２）に関連付けられているテクスチャ値のみを考慮することができる。また、オーバーラップしているチューブの画素に対し、各チューブ内での位置に関して重み付けをすることもできる。
【００８５】
別の実施形態によれば、抽出ステップ３１は、別のチューブタイプ、すなわち、ベースチューブ（base tube）、あるいは修正チューブ（refinement tube）を提供することに留意されたい。このような修正チューブは、具体的には、ベースチューブの再現（restitution）を改善することができる。
【００８６】
したがって、本実施形態によれば、本発明は、品質が調整可能であって時空間的解像度が可変であるスケーラブルなデータの符号化および復号化に応用される。
【００８７】
本実施形態によれば、本発明はまた、データのロバストな符号化および復号化に応用される。
【００８８】
本実施形態では、オーバーラップゾーンＨを制御することにより、結合ステップ３３において、ベースチューブの情報キューへ修正チューブの情報キューを追加することができる。
【００８９】
具体的には、修正チューブには次の二つのタイプがある。
・加算チューブ
これは、ベースチューブの品質を改善するものであり、残差という値を持っている。この場合、ベースチューブの情報キューを結合すること、および修正チューブの再現情報キュー（restitution information cue）を結合することは、いずれも加算である。
・記述チューブ（descriptive tube）
参照チューブの情報キューにより提供される第一の記述に対して補足的および／または冗長な第二の記述を提供する記述情報キューを含む。例えば、第一の記述は、ブロック内の偶数画素の記述し、第二の記述は、奇数画素を記述する。この場合、ベースチューブの情報キューを結合すること、および修正チューブの情報キューを結合することは、ベースチューブの情報キューおよび修正チューブの情報キューの重み付けである。また、ベースチューブの情報キューのみ、あるいは修正チューブの情報キューのみを考慮することもできる。
【００９０】
この場合、ベースチューブと、ベースチューブを詳細に表現する一つまたは複数の修正チューブとは関連付けられ、それらの時間的な変化は依存関係にあると見なされる。
【００９１】
画像シーケンスを表す信号を復号化する復号化方法のアルゴリズムの一例について、以下に説明する。
【表３】
2010532612.tif 000005
【００９２】
つまり、カレントイメージの再現は、各モーションチューブから生まれる予測値を結合することによって行う。したがって、各チューブは、点（ｘ、ｙ）および時点ｔにおけるそのチューブのモーションの補正、ならびに必要に応じてテクスチャの内挿（interpolation）によって得られる予測値、すなわち、
【数１】
2010532612.tif 000006
を定める。
【００９３】
例えば、図４に関して説明したように、これらの予測値は、次のように結合される。
【数２】
2010532612.tif 000007
【００９４】
重みｗｉおよび重みｗｊは、複数の予測を行う際に適用する重み付けを考慮するためのものである。
【００９５】
したがって、第一の形態によれば、これらの重みは、次式によって定められる。
ｗ＝１／｛その点における予測値の数｝
【００９６】
第二の形態によれば、各チューブは、チューブに対する当該点の位置に関連付けられた重みｗｔ（例えば、そのチューブの中心からの距離に反比例する重み）を定める。ｗｉは、ｗｔを複数のｗｔの合計で割ったものとして定められる。
【００９７】
第三の形態によれば、重み付け以外の方法（例えば、多重記述符号化（multiple description coding）をもとにした手法）によって、各チューブの予測値を結合して最終的な予測値を得ることができる。
【００９８】
５．３  符号化
ここでは、本発明による符号化方法の主なステップを、図５を参照して説明する。
【００９９】
具体的には、画像シーケンス５１を符号化する。
【０１００】
第一の挿入ステップ５２において、上述のモーションチューブを、画像シーケンスを表す信号へ挿入する。
【０１０１】
具体的には、各モーションチューブは、少なくとも以下の情報キューによって定められる。
・参照テクスチャ情報キューを含んだ参照画素ブロック
・チューブ開始時点およびチューブ終了時点
・当該シーケンスの少なくとも一つの時点ｔにおいて当該参照ブロックを更新することを可能にする遷移情報キュー
【０１０２】
次の生成ステップ５３において、モーションチューブを定義する遷移情報キューを生成する。言い換えると、各モーションチューブについて、参照画素ブロックの時間的な変化を定義する。
【０１０３】
このようにして、画像シーケンス５１を表す信号５４を生成する。信号５４は、モーションチューブを含んでいる。信号５４は、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックに関連付けられている情報キューを結合することにより、オーバーラップゾーンにおいて最適化された画素を再現することを可能とする。
【０１０４】
画像ビデオシーケンスを符号化する符号化方法のアルゴリズムの一例を以下に説明する。このアルゴリズムには、チューブを確立するフェーズと、チューブを符号化するフェーズという二つの主なフェーズがある。
【０１０５】
Ａ）チューブを確立するフェーズ
最初に、ビデオシーケンスをモーションチューブの集合に分解する。
【０１０６】
シーケンスの第一番目の画像については、その第一番目の画像をカバーしている一組のブロックのそれぞれについて、モーションチューブを初期化する。この第一番目の画像をカバーしている一組のブロックは、互いに素なブロック（すなわち、互いに共通の画素を含まないブロック）のみを含んでいるか、あるいは、部分的に重なり合っているブロック（すなわち、互いに共通の画素を含む少なくとも二つのブロック）を含んでいる。このように冗長性を考慮しており、それによって、例えば、同一のコンテンツに対して多重記述（multiple description）を施したり、境界ゾーンにおける物体のモーションをより良く推定したりすることができる。
【０１０７】
このようなモーションチューブにより、参照チューブのリストを定義することができる。
【０１０８】
次に、符号化の対象となる画像の符号化について説明する。ここで、既知の（例えば、既に符号化あるいは復号化されてキャッシュメモリに記憶されている）画像または参照画素ブロックのリスト、ならびに参照チューブのリストが、あらかじめ与えられているものとする。
【０１０９】
本符号化方法におけるモーションチューブを確立するフェーズは、以下のステップを含んでいる。
【表４】
2010532612.tif 000008
【０１１０】
Ｂ）チューブを符号化するフェーズ
様々なチューブを符号化するために、符号化を実行する本アルゴリズムに従って、イントラ残差型（intra-residual type）のスキームを用いる。
【表５】
2010532612.tif 000009
【０１１１】
したがって、画像の符号化は、以下の手順により行われる。
【表６】
2010532612.tif 000010
【０１１２】
５．４  符号化装置および復号化装置の構造
最後に、上述したような符号化および復号化をそれぞれ実行する符号化装置および復号化装置の構造を、図６Ａおよび図６Ｂを参照しながら説明する。
【０１１３】
符号化装置の一例を図６Ａに示している。この符号化装置は、バッファメモリからなるメモリ６１と、処理ユニット６２とを備えている。処理ユニット６２は、マイクロプロセッサμＰを備えており、コンピュータプログラム６３を実行して、本発明による符号化方法を実行する。
【０１１４】
まず、コンピュータプログラム６３のコード命令が、例えば、ＲＡＭメモリにロードされ、その後、処理ユニット６２内のプロセッサによって実行される。処理ユニット６２は、符号化する画像シーケンス５１を入力として受け取る。処理ユニット６２のマイクロプロセッサは、モーションチューブにより表現された画像シーケンスを符号化するために、コンピュータプログラム６３の命令に従って、上述の符号化方法の手順を実行する。そのために、符号化装置は、バッファメモリ６１に加えて、モーションチューブを挿入する手段と、モーションチューブを定める遷移情報キューを生成する手段とを備えている。これらの手段は、処理ユニット６２内のマイクロプロセッサによって実現される。
【０１１５】
処理ユニット６２は、モーションチューブを含んだ、画像シーケンスを表す信号５４を出力する。
【０１１６】
復号化装置の一例を図６Ｂに示している。この復号化装置は、バッファメモリからなるメモリ６６と、処理ユニット６７とを備えている。処理ユニット６７は、マイクロプロセッサμＰを備えており、コンピュータプログラム６８を実行して、本発明による復号化方法を実行する。
【０１１７】
まず、コンピュータプログラム６８のコード命令が、例えば、ＲＡＭメモリにロードされ、その後、処理ユニット６７内のプロセッサによって実行される。処理ユニット６７は、モーションチューブを含んだ、画像シーケンスを表す信号３０を入力として受け取る。処理ユニット６７内のマイクロプロセッサは、シーケンスの画像を再現するために、コンピュータプログラム６８の命令に従って、上述の復号化方法の手順を実行する。そのため、復号化装置は、バッファメモリ６６に加えて、信号３０からモーションチューブを抽出する手段と、遷移情報キューを処理する手段と、オーバーラップしている少なくとも二つのチューブのカレントブロックに関連付けられている情報キューを結合する手段とを備えている。これらの手段は、処理ユニット６７内のマイクロプロセッサによって実現される。
【０１１８】
処理ユニット６７は、再現された画像シーケンス３４を出力する。
【図１】
2010532612.tif 000011
【図２】
2010532612.tif 000012
【図３】
2010532612.tif 000013
【図４】
2010532612.tif 000014
【図５】
2010532612.tif 000015
【図６Ａ】
2010532612.tif 000016
【図６Ｂ】
2010532612.tif 000017
【国際調査報告】
2010532612.tif 000018
2010532612.tif 000019
2010532612.tif 000020
2010532612.tif 000021
2010532612.tif 000022
2010532612.tif 000023