(57)【特許請求の範囲】
【請求項１】
符号化される対象の現時の画像セグメントと、予測された画像セグメントとの間の輝度差の符号化を実行してビデオ画像のシーケンスからディジタルデータを符号化して残差を生成する方法であって、
上記現時の画像セグメントと相関関係にある、基準画像における基準画像セグメントを判定する工程を備え、上記基準画像セグメントは、いわゆる動きパラメータによって定義され、
上記現時の画像セグメントの変換の変換係数を、上記変換された現時の画像セグメントと上記基準画像セグメントとの間の、セグメントの画素にわたる輝度差に関する和、又は上記現時の画像セグメントと、変換された基準画像セグメントとの間の、セグメントの画素にわたる輝度差に関する和を最小にすることによって判定する工程、及び
上記予測された画像セグメントを上記変換係数に応じて計算する工程も備える方法。
【請求項２】
上記基準画像が先行画像であり、上記予測された画像セグメントの計算が上記基準画像セグメントから行われる請求項１記載の方法。
【請求項３】
上記基準画像は、上記現時の画像をフィルタリングし、サブサンプリングすることによって得られる請求項１記載の方法。
【請求項４】
上記予測された画像セグメントの計算が、任意の画像の順次反復によって行われ、各反復は、フィルタリングと、サブサンプリングと、上記動きパラメータ並びに上記変換係数による動き及び輝度における補償とを含む請求項３記載の方法。
【請求項５】
上記変換が線形変換
【数１】
0004859265.tif 000010
であり、
【数２】
0004859265.tif 000011
は、上記変換された現時の画像セグメントの輝度であり、pは上記現時の画像セグメントの輝度であり、変換係数cs及びboは、
【数３】
0004859265.tif 000012
の値、及び上記基準画像セグメントの輝度であるqの値に関する差の合計を最小化することによって判定される請求項１記載の方法。
【請求項６】
上記画像セグメントは画像ブロックであり、
成分ｃs  及びｂo  を含む輝度ベクトルが画像ブロックのレベルで計算される請求項５記載の方法。
【請求項７】
上記変換係数の判定が最小二乗法に基づいて行われる請求項１記載の方法。
【請求項８】
ディジタルデータを復号化する方法であって、上記ディジタルデータは、現時の画像セグメントと、予測された画像セグメントとの間の輝度差である残差に関連した変換係数及び動きパラメータを含み、
上記残差、及び上記予測された画像セグメントからの再生画像の計算工程を備え、
上記予測された画像セグメントを計算するために、上記変換係数の関数として輝度値に数学的変換を施すことによる、基準画像からの輝度補償の工程を備える、ディジタルデータを復号化し、
上記変換係数は、変換された現時の画像セグメントと基準画像セグメントとの間の輝度差、又は現時の画像セグメントと、変換された基準画像セグメントとの間の輝度差を最小にすることによって得られる方法。
【請求項９】
上記基準画像が、先行して再生された画像である請求項８記載のディジタルデータを復号化する方法。
【請求項１０】
上記基準画像は任意の画像であり、上記任意の画像の順次反復を備え、反復は、上記予測された画像セグメントを計算するために、フィルタリングと、サブサンプリングと、上記変換係数並びに上記動きパラメータの関数としての輝度及び動きの補償とを備える請求項８記載のディジタルデータを復号化する方法。
【請求項１１】
現時の画像セグメントと、予測された画像セグメントとの間の輝度差である残差を生成するための減算器を備える、ビデオ画像のシーケンスからのデータを符号化する装置であって、
上記現時の画像セグメント、及び基準画像を受け取って、いわゆる動きパラメータによって定義される基準画像セグメントを計算する動き推定回路も備え、
上記基準画像セグメント及び上記現時の画像セグメントを受け取って、変換係数を、上記変換された現時の画像セグメントと上記基準画像セグメントとの間の、セグメントの画素にわたる輝度差に関する和、又は変換された基準画像セグメントと、上記現時の画像セグメントとの間の、セグメントの画素にわたる輝度差に関する和を最小にすることによって計算する輝度推定回路と、
上記予測された画像セグメントを計算するために上記変換係数を受け取る輝度補償回路とを備える装置。
【請求項１２】
上記基準画像が先行画像であり、上記輝度補償回路が上記基準画像セグメントを受け取る請求項１１記載のデータを符号化する装置。
【請求項１３】
請求項１１記載のデータを符号化する装置であって、上記基準画像を計算するために上記現時の画像を受け取るフィルタ及びサブサンプラ、並びに、
上記動きパラメータ及び上記変換係数に応じて任意の画像の順次反復によって、上記予測された画像セグメントを計算するために上記動きパラメータ及び上記変換係数を受け取る動き及び輝度の補償回路も備える、データを符号化する装置。
【請求項１４】
ディジタルデータを復号化する装置であって、上記データは、変換係数及び動きパラメータを含み、現時の画像セグメントと、予測された画像セグメントとの間の輝度差である残差を含み、
上記残差及び上記予測された画像セグメントから再生画像を計算するための加算器を備え、
上記予測された画像セグメントを計算するために基準画像を受け取って輝度を上記変換係数の関数として計算する輝度補償回路を備え、
上記変換係数は、変換された現時の画像セグメントと基準画像セグメントとの間の輝度差、又は現時の画像セグメントと、変換された基準画像セグメントとの間の輝度差を最小にすることによって得られる、ディジタルデータを復号化する装置。
【請求項１５】
上記基準画像が、先行する再生画像である、請求項１４記載のディジタルデータを復号化する装置。
【請求項１６】
請求項１４記載のディジタルデータを復号化する装置であって、上記基準画像が、任意の画像であり、
動き及び輝度の補償回路を備え、上記動き及び輝度の補償回路の出力を、フィルタ及びサブサンプラを介して上記動き及び輝度の補償回路の入力にフィードバックして、上記任意の画像の順次反復によって、上記予測された画像を計算し、上記反復は、フィルタリング、サブサンプリング、並びに、上記変換係数及び上記動きパラメータの関数としての補償を備える、ディジタルデータを復号化する装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はディジタルビデオ画像シーケンスの符号化に係る。
【０００２】
【従来の技術】
この分野における現在の問題は、圧縮のコスト及び品質を調整するパラメータの組を利用することにより視覚的情報を圧縮することである。これにより、意図されたアプリケーションに本質的に依存するある程度の数の拘束条件に適合させることが可能になる。品質規準は、最終的な再現性を損なうことなく圧縮されるべき情報に従う。これは、例えば、遠隔検出又は再生アプリケーション及び記録アプリケーションの場合に当てはまる。
【０００３】
一方、品質要求が、要求された最低限度を上回ればよいというあまり厳しい要求ではない場合には、所定の伝送チャネルの容量に従って情報を圧縮するという要求に取って代われれる。このような状況は、例えば、ＩＳＤＮ（統合化サービスディジタル網）若しくはＳＴＮ（交換式電話網）を経由するテレビ電話応用の場合、又は、戦場の通信応用の場合に生ずる。
【０００４】
最後に、最も一般的な場合には、品質の劣化と圧縮性能とのバランスが問題となる。この状況は、例えば、放送アプリケーション、又は、ビデオ配布アプリケーション（ディジタルビデオディスクのようなコンパクトディスク上のビデオ）の場合に生ずる。
これらの拘束条件の他に、実用的性質の制約条件がある。
【０００５】
主要な符号化方法は、幾つかの技術が特質に基づいて使用される技術の組合せであると考えられる。従って、主要な符号化方法は
（１）評価を与え、評価誤差を考慮して評価を修正することからなる予測による符号化と、
（２）表現空間の変更を通じて情報の相関を取り除くことによって、情報をより簡潔にすることができる変換による符号化と、
（３）情報を他の所定又は少なくとも簡略化された情報と置換する近似による符号化とに区別される。
【０００６】
この分野における最新の開発は、動きによる予測に基づいている。一方で、離散コサイン変換（ＤＣＴ）は、イントラモードで画像の冗長性を位置的に低下させることが可能である。これに対し、動き補償の目的は時間的冗長性を削減することである。動き情報は、いわゆる“参照”画像と、現時に調査されている画像との間の位置的な類似つなぎ線に対応し、基調となるシーンの実際の動きの概念を通して解釈される。かくして、画像のブロックへの分割を考える場合に、上記の各ブロックに対し、最も類似したブロックの探索が他の調査対象の画像内で行われる。動き（水平方向、垂直方向）は、最初の位置に対する（行方向、列方向の）ブロック間の位置の差であり、１ブロック毎に符号化される。この動き情報は、この予測からの残差（動き全体の予測の誤差の値）と関係したデータで補足される。この処理はイントラ画像のデータと同様に行われる。
【０００７】
画像シーケンスを符号化する最新のスキームは、予測を介した動きデータを利用する。ＭＰＥＧ２の方式は、このスキームの優れた一例である。
【０００８】
【発明が解決しようとする課題】
しかし、従来、データ圧縮で達成された改良は不適当であると考えられ、所定のビットレート又はより低いビットレート、即ち、低い符号化コストの場合に、所定の最終的な品質が求められる。
本発明は上記の欠点の解決を目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、符号化されるべき画像セグメントと、いわゆる基準画像から予測された対応した画像のセグメントとの間の輝度差の符号化を実行してビデオ画像のシーケンスからディジタルデータを符号化する処理において、予測が基準画像の輝度の値の輝度補償の関数として行われることを特徴とする。
【００１０】
また、本発明は、２枚の画像間の動きベクトルを計算する動き評価回路と、基準画像に基づいて予測画像を計算する動き補償回路と、符号化されるべき残差を計算するため予測画像を現時の画像から減算する減算器とにより構成され、上記方法を実施してビデオシーケンスからディジタルデータを符号化する装置であって、この装置は、２枚の同じ画像間で輝度を評価する回路と、上記輝度を評価する回路及び上記動き評価回路から情報を受け、上記予測画像を計算する輝度補償回路とを更に有することを特徴とする。
【００１１】
また、本発明は、上記方法に従って符号化されたディジタルデータを復号化し、残差及び予測画像から再生された画像を計算する装置であって、予測画像を計算するため輝度評価情報項目である輝度ベクトルの関数として輝度を補償する回路からなることを特徴とする装置。
本発明の方法は、動き補償を通じて所謂輝度補償を用いて予測を改良する。
【００１２】
また、動き、輝度及び不動データに基づくインタ補償と同一の機構を用いて所謂自動補償された画像によってイントラ画像を置換することが可能である。
提案された本発明によれば、輝度の評価の前に使用された動き解析の方法とは無関係に、残差に含まれる情報の量を減少させることが可能である。所謂輝度アプローチによる動きのモデルの改良は残差を著しく減少させ、この不動情報の削減は、対応した輝度情報の追加よりも多く、新規のインタ画像の符号化がより強力になる。
【００１３】
その上、本発明は、イントラ画像に対するアプローチと、インタ画像に対するアプローチとの間の差が小さい統一符号化スキームを提案する。これにより、本発明の実施は、簡単化され、ハードウェアの観点から複雑さの程度の低い方法を組み込むことにより、既存のスキームのエレメントとは異なるエレメントを利用することに起因して価格が低下する。
【００１４】
本発明は、情報項目の各タイプ（動き、輝度、不動）の具体的な符号化とは無関係である。使用された方法は、輝度に関するデータが標準的なデータの他に符号化されるとしてもＭＰＥＧ２符号化スキームに組み込むことができる。
輝度補償技術は、従来技術の場合に高価なイントラ符号化を一般的を行わしめたシーン照明の変化が生じたとき、必ず有効である。
【００１５】
本発明の他の特徴及び利点は、その例に限定されることなく、添付図面と共に与えられた以下の説明から明らかになる。
【００１６】
【発明の実施の形態】
以下、図１に示された符号化装置の概略図を参照して本発明による符号化方法を説明する。符号化装置は、第１の入力及び第２の入力を有する。ある画像が時点ｔで第１の入力に与えられ、時点ｔ＋１で第２の入力に与えられる。第１の入力は、フィルタリング回路１の入力と、２入力１出力のスイッチ２の第１の入力と、２入力１出力のスイッチ３の第１の入力と並列接続される。フィルタリング回路１の出力は、サブサンプリング回路４の入力に接続され、サブサンプリング回路４の出力はスイッチ２の第２の入力に接続される。
【００１７】
符号化装置の第２の入力はスイッチ３の第２の入力に接続される。
スイッチ２及びスイッチ３は、２段切換スイッチであり、図１に点線で示された第１ポジションは第１の入力に対応し、同図に実線で示された第２ポジションは第２の入力に対応する。従って、スイッチ２の第１ポジションはその第１の入力に対応し、スイッチ３の第１ポジションはスイッチ２の第２の入力に対応する。以下に説明する全てのスイッチは第１ポジション及び第２ポジションの２個のポジションを有し、これらのスイッチは同図に夫々点線又は実線で示されているように同時に同じ第１ポジション又は第２ポジションにある。
【００１８】
スイッチ２及び３の出力は、動き及び輝度評価回路５の２個の入力と、並びに、２入力１出力のスイッチ６の第１ポジションに対応した第１の入力と、加算回路７の第１の入力とに夫々接続される。動き及び輝度評価回路５の第１の出力は、動き符号化回路８の入力に接続され、第２の出力は輝度符号化回路９の入力に接続される。各符号化回路の夫々の出力Ｓ２及びＳ３は符号化装置の出力に対応する。
【００１９】
また、各符号化回路の夫々の出力は、動き復号化回路１０及び輝度復号化回路１１に接続され、動き復号化回路１０及び輝度復号化回路１１の各出力は動き及び輝度補償回路１２の第１の入力及び第２の入力に接続される。スイッチ６の出力は動き及び輝度補償回路１２の第３の入力に接続される。動き及び輝度補償回路１２の出力は、１入力２出力のスイッチ１３の入力に接続される。スイッチ１３の第２ポジションと対応した第１の入力は、反復計算回路１４の入力に接続され、反復計算回路１４の第１の出力は、２入力１出力のスイッチ１５の第２ポジションと対応した第１の入力に接続され、反復計算回路１４の第２１の出力は、フィルタ１６の入力に接続される。フィルタ１６の出力は、サブサンプリング回路１７を介してスイッチ６の第２の入力に接続される。スイッチ１３の第２の出力はスイッチ１５の第２の入力に接続される。スイッチ１５の出力は加算回路７の第２の入力に接続される。加算回路７の出力は残差符号化回路１８の入力に接続され、残差符号化回路１８の出力Ｓ１は符号化装置の第３の出力である。
【００２０】
時点ｔ及びｔ＋１に対応するディジタル画像Ｉ（ｔ）及びＩ（ｔ＋１）は符号化装置の入力に与えられる。例えば、画像のシーケンスには２枚の連続した画像が含まれる。
第１の符号化モードは、図１に点線で示される如くのスイッチの第１ポジションと対応したインタモードである。第１の符号化モードにおいて、画像Ｉ（ｔ）はスイッチ２を介して動き及び輝度評価器５の第１の入力に伝送され、画像Ｉ（ｔ＋１）はスイッチ３を介して動き及び輝度評価回路５の第２の入力に伝送される。動き及び輝度評価回路５は、画像Ｉ（ｔ）と画像Ｉ（ｔ＋１）との間の動きの評価を行い、例えば、ブロックマッチングのような従来の方法に従って動きベクトルを計算する。動き評価が画像ブロック１個について行われるこの方法は、例えば、最小二乗法を利用する。
【００２１】
輝度の評価値は後述する評価パラメータ（又は予測パラメータ）Ｃs  及びｂo  を用いて、この動き及び輝度評価回路５により計算された動き評価の関数として各画像ブロックに対し計算される、
所謂輝度補償は、動き補償の補足として現れる。輝度補償は、動き補償並びに動きの結果の性質とは無関係である。実際上、輝度補償は、統計学的に２個のブロック又は２個の隣接域の間で動きを通して検出されたつなぎ線を完全に利用する。実際には、この輝度補償方法は、ブロック又は隣接域のグレイレベルと、動き解析を通して先に関連付けられた他のブロック又は隣接域のグレイレベルとの間に在る線形関係を経験的に評価する。
【００２２】
以下、動き解析問題の定式化を説明する。点（ｘ，ｙ，ｚ）、隣接域、ブロック、領域等のような基準画像Ｉの要素を考える。調査された画像Ｉ’内の同種の他の要素であり、最小二乗法、勾配法のような公知の方法を用いて対応付け規準に適合し、かつ、動きの概念により解釈された点（ｘ’，ｙ’，ｚ’）、隣接域、ブロック、領域等を関連付ける必要がある。
【００２３】
表記ｚ及びｚ’は、画像Ｉ及びＩ’内の座標（ｘ，ｙ）及び（ｘ’，ｙ’）に夫々対応するグレイレベルの値を示す。動きと関連した変換が線形（線形２次元運動のモデリング）であるように選定されたとき、評価されるべきパラメータは以下の通り表わされる。
【００２４】
【数４】
0004859265.tif 000002
【００２５】
パラメータ（ａ，ｂ，ｃ，ｄ）は回転と関連し、パラメータ（ｔx  ，ｔy  ，０）は並進と関連する。この定式化において、回転は実際上無視することが可能であり、第１の動きモデルの表現に戻る。
輝度解析問題の定式化は以下の通りである。画像要素の対を定める２枚の画像の要素の間の対応付けに関するデータである先行データから始めて、動きの係数に相補的な係数を評価することが必要であり、この係数はグレイレベルと関連する。実際上、関連した要素のグレイレベルを予測するため、画像要素のグレイレベルを変換することが可能であり、従って輝度補償と称される。上記の値を評価する一つの方法は最小二乗法である。他の解法を用いてもよく、この例に限定する必要はない。輝度変換が線形であるように選定された場合、関連した係数はコントラストスケーリングｃs  及び輝度オフセットｂo  と称される。以下の例では、このような選定を考慮している。
【００２６】
かくして、値ａ，ｂ，ｃ，ｄは、ｔx  及びｔy  と同様に分かっている。
【００２７】
【数５】
0004859265.tif 000003
【００２８】
従って、ｅ，ｆ，ｇ，ｈ、並びに、ｃs  及びｂo  は未だ評価されていない。最初のｅ，ｆ，ｇ，ｈは、グレイレベルと空間位置との間の相関に対応する。これらは、一般的に非常に零に近く、
ｅ＝ｆ＝ｇ＝ｈ＝０．０
と置くことが可能である。従って、最終的に、実質的に輝度補償と対応しているｃs  及びｂo  を評価する必要がある。以上から、作業行列の等式は以下の通り表される。
【００２９】
【数６】
0004859265.tif 000004
【００３０】
ｃs  及びｂo  の値は、動き補償が画像ブロック、画素又は領域の中のいずれについて行われるかに依存して画像ブロック、画素又は領域と関係する。輝度補償は動き補償と同じ画像ゾーンに関して行われる。
動きが完全に評価され、照明の影響を無視できるという仮定（シーンの照明の変化が無いモデルのように従来の動き補償の利用において実際に行われた仮定）が成立する理想的な場合、或いは、輝度補償が無視される場合、ｃs  及びｂo  の値は、１．０及び０．０に一致する。実際上、動きが１ブロック毎に評価されるとき、動き、例えば、対象のエッジの動きがが完全に評価されていないか、又は、照明影響の仮定が完全には有効でないことが判明する。さらに、例えば、２個の巧く合わされた要素（ブロック等）の間に存在する統計学的な相関が簡単に確認される。その結果として、ｃs  及びｂo  を評価することにより輝度補償を得る有用性が明瞭に示される。
【００３１】
それにも係わらず、この点に関して定性的な説明を加える。ブラーリングの影響、即ち、輝度補償中のグレイレベルの平滑化は、特に急勾配のゾーンで、或いは、評価された動きが実際の動きに対し僅かな偏移を含む場合に観察される。この場合、輝度補償は、この偏移による誤差のためシーンの実際の動きに完全には対応しない画素に関して行われる。従って、残差誤差が輝度補償によって常により小さい状態を維持する場合でも、輝度補償の用途はアプリケーションによって制限される（例えば、評価された動きの中に偏移がかなり頻繁に観察されるが、非常に良好な画像の補間が得られる画像を減衰させる場合）。この場合、ブロック、所定の隣接域又は領域に対し輝度データを使用するか否かを判定する規準は、残差の定性的な面と関連付けられるべきである。勿論、残差のデータを伝送することにより、輝度補償を用いて予測画像へのブラーリングの影響を除去することが可能であるが、伝送されるべき情報量はこのブラーリングの影響に直接関係する。例えば、画像ブロック内のエネルギーの計算のような判定規準は、符号化のモードの中から最も適切な符号化のモードを判定することによりこの問題を解決することが可能である。
実現可能な一つの評価器は最小二乗評価器である。線形変換を仮定するため、この評価器は、巧く適合した対の中の各要素のグレイレベルから作成された値の二つの組の間で線形回帰を行う。（φu  ）が画像Ｉの要素Ｅ1  のグレイレベルの組であり、（ψu  ）が画像Ｉ’の要素Ｅ2  のグレイレベルの組であるとする。Ｅ1  及びＥ2  は、動き評価器により巧く適合されたことが分かる。次に、
【００３２】
【数７】
0004859265.tif 000005
【００３３】
が得られるようにｃs  及びｂo  の評価を決める必要がある。
統計学的に使用される用語Ｅは平均値に対応し、上式（４）はブロック全体に関する差の平方の平均値が最小化されることを意味する。
具体的に言うと、現時の画像の画像ブロックＥ１がｎ画素により構成され、第ｉ行第ｊ列の画素が輝度値ｐi,j  を有する場合を想定する。このブロックには、計算された動きベクトルに基づいて関係した予測ブロックＥ２が関連付けられる。この画像ブロックＥ２の第ｋ行第ｌ列の画素ｋ，ｌの実際の輝度値をｑk,l  で表わし、この画素が動き評価（ＭＰＥＧ２に準拠した回転及び並進又は並進のみ）によって画素ｉ，ｊと巧く適合され、
【００３４】
【外１】
0004859265.tif 000006
【００３５】
が予測値を表わす場合を想定する。このとき、
【００３６】
【数８】
0004859265.tif 000007
【００３７】
が得られる。
【００３８】
【数９】
0004859265.tif 000008
【００３９】
となるようなｃs  及びｂo  が求められる。
適合した要素Ｅ1  及びＥ2  に関して統計学的データを計算することによりｃs  及びｂo  が評価され得る。この場合、次の結果
【００４０】
【数１０】
0004859265.tif 000009
【００４１】
が得られる。
残差を計算するため利用された予測ブロックは、現時の画像の現時のブロックの輝度値と、動き及び輝度評価回路５によりこの現時のブロックに対し計算された値ｃs  及びｂo  との関数として計算される。
動き及び輝度評価回路５により計算された動きベクトル情報は、動きベクトル符号化回路８に伝送され、パラメータｃs  及びｂo  のような輝度情報は輝度符号化回路９に伝送される。
【００４２】
これらの情報は符号化され、符号化回路の出力Ｓ２及びＳ３を介して復号化回路に伝送され、或いは、例えば、ＭＰＥＧ２の枠組みの範囲内で単一のリンクだけが各復号化回路に関して求められる場合に、符号化されると共に不動データと多重化され、符号化回路の出力Ｓ１に与えられる。後者の場合に、図示されないマルチプレクサは、符号化回路の出力Ｓ１，Ｓ２，Ｓ３で利用可能な全ての情報を回復し、その情報を混合し、データストリーム又は“ビットストリーム”の通常の方法で対応した復号化回路の組に伝送する。
【００４３】
動き及び輝度補償回路１２は、予測画像を計算するため、動き復号化回路及び輝度復号化回路によって出力された復号化された情報ｃs  及びｂo  、並びに、復号化された動きベクトルを回復する。このようにして、動き及び輝度補償回路によって利用される動き及び輝度情報は符号化のため使用される量子化間隔を考慮し、画像復号化側で利用される補償回路により使用される動き及び輝度情報と同じであり、動き復号化回路及び輝度復号化回路は画像復号化側の動き復号化回路及び輝度復号化回路と同じになるように選定される。
【００４４】
動き及び輝度補償回路１２は、インタモードにおいて入力に画像Ｉ（ｔ）を受信する。予測画像はこの入力された画像と、動きベクトルと、パラメータｃs  及びｂo  とから計算され、動き及び輝度補償回路１２の出力から減算器７に伝送される。画像Ｉ（ｔ）は減算器７の第１の入力に受信され、動き及び輝度補償回路１２からの予測画像が減算され、減算器の出力に残差が得られる。この残差データは、例えば、離散コサイン変換を用いることにより通常の方法で符号化されて出力Ｓ１に伝送され、妥当であれば、上記の動き及び輝度情報を多重化される。
【００４５】
符号化のイントラモードは、画像Ｉが先行する画像とは独立に復号化される場合に対応する。この符号化の第２のモードは、図１に実線で示される如くのスイッチの第２ポジションに対応する。画像Ｉ（ｔ）は、このモードの場合、線形フィルタリングを行うフィルタ１に伝送され、例えば、２によるサブサンプリングを行うサブサンプリング回路４に伝送され、その結果として画像Ｉ’（ｔ）が得られる。サブサンプリングの程度は、先験的に巧く均等に固定されるか、又は、動作が行われる都度固定される。後者の場合、その値は復号化器に知らされる（記憶又は伝送される）必要がある。画像は、引き続く処理のため、画像Ｉと同じ寸法を有するべきであり、実質的には、サブサンプリング回路４を用いて、サンプリングされた画像に零値が空間的に追加され、これにより画像Ｉ’（ｔ）が生成される。得られた画像は、動き及び輝度評価回路５の入力に伝送される。動き及び輝度評価回路５は、第２の入力に画像Ｉ（ｔ）を受信し、画像Ｉと関連した画像Ｉ’との間で動きＭの評価を行い、より詳細に言うと、画像Ｉと画像Ｉ’との間で動きとして解釈された相関を行う。理想的にはズームモーションであるこの動き評価の後、輝度評価が２枚の画像に基づいて行われ、動きデータが得られる。
【００４６】
上記の如く、本発明の一面において、イントラ画像に関してインタ方式が利用される。このため、動きデータ、輝度データ及び不動データが使用される。事実上、この方式はバナッハの不動点定理によって動機付けされている。従って、例えば、M.  H.  Hayes  による技術論文“画像及びビデオ符号化用の反復関数システム(Iterated  Function  System  for  image  and  video  coding)  ”、通信学会誌、第XLV  巻、1994年5-6  月に記載されたフラクタル技術及びＩＦＳに類似している。
【００４７】
一例を挙げると、現時の画像は画像ブロックに分割され、サンプリングされ、フィルタリングされ、フィルタリングされた画像は現時の画像と同じサイズの画像ブロックに分割される。次に、現時の画像の現時のブロックと、フィルタリングされた画像の中の（例えば、探索ウィンドウに属する）全てのブロック又は現時のブロックの隣接域との間で相関がとられる。
【００４８】
イントラ画像の再生は、以下に説明するようにバナッハの理論を適用することにより積み重ねられた補償により得られる。
フラクタル理論によれば、再生は、理論的に無限回繰り返されるべき動き及び輝度補償として解釈されるに過ぎない。このため、ＩＦＳによる画像表現の結果が利用される。実際上、収束がかなり素早く達成され、反復回数はせいぜい３乃至１０回である。同一の恣意的又は経験的な選定は、符号化中に残差を判定し、画像再生中に一貫した結果を得るため、符号化器と復号化器の双方で固定される必要がある。
【００４９】
インタモードの場合と同様に、動き情報（動きベクトル）及び輝度情報（成分ｃs  とｂo  とを有する輝度ベクトル）は、符号化された不動データと多重化されるべく符号化され、動き及び輝度補償回路１２に伝送されるべく復号化される。イントラモードの場合、動き及び輝度補償回路１２は、第１回目の反復を除いて、画像Ｉ（ｔ）ではなく先行する反復の間に計算された画像を第３の入力に受ける。第１回目の画像は、動き及び輝度情報から計算され、出力として、反復回数を計算し、経路を決定する回路１４に伝送される。反復計算回路１４は、計算された画像を受け、受けた画像をフィルタ１６及びサブサンプリング回路１７を介して動き及び輝度補償回路１２の入力に再伝送する。所定の反復回数後、このように再生された画像は、反復計算回路１４を経由して減算器７に送信される予測画像であり、この予測画像は減算器７において画像Ｉ（ｔ）から減算される。
【００５０】
従って、動き及び輝度補償回路１２からの出力は、ループを介して入力に接続されているので、リーパスタイプの線形フィルタリングと、たとえば、２による空間分割であるサブサンプリングとを含む演算子ｆ（）と関連したｃ（）で示された数回の連続した補償が行える。補償ｃ（）は、動き補償と輝度補償に全く同じ程度に依存する。
【００５１】
「反復法」補償は、以下のアルゴリズムを実行する。但し、Ｉ0  は任意であり、反復回数は８に固定されている。
−初期化
Ｉ＝Ｉ0
−第ｉ回目の反復
（ｉ＜９）：Ｉi  ＝ｃ（ｆ（Ｉi-1  ））
−第８回目及び最後の反復
Ｉ8  ＝ｃ（ｆ（Ｉ7  ））
Ｉ8  は再生画像である。
【００５２】
その結果として、“通例的な”補償は、“反復法”補償の中で、特に、
−反復回数が１回に一致し、
−ｆ（）が単位元により置換され、
−Ｉ0  が基準画像Ｒである
補償であることが分かる。
【００５３】
従って、この反復法補償は、復号化された輝度及び動きの情報の関数としてＩの予測を計算することが可能である。これにより、イントラ画像はインタ画像と同様に処理され得る。イントラ画像の場合とインタ画像の場合とに対し同一の配置が使用される点でハードウェアの実現に関して重要な結果が得られる。符号化器レベルでの共通点は、
−動きの評価並びに関連した符号化
−動き評価の結果と関連した符号化とに従う輝度評価
−基準画像、又は、線形フィルタリング及びサブサンプリングから得られた画像に基づく動き及び輝度補償と、イントラモードの場合に、再生画像を計算するために繰り返し行われる動き及び輝度補償
−減算による残差の計算と関連した符号化
である。
【００５４】
図２は本発明による復号化装置又は復号化器を表わす図である。同図の復号化装置において、図１に示された符号化装置と共通した回路には同じ番号が付けられている。
図１に示された符号化装置の出力Ｓ２及びＳ３から伝送された動き及び輝度情報は、復号化装置の第１の入力Ｅ２及び第２の入力Ｅ３で受信される。これらの情報は、夫々、符号化装置に使用されたものと同じタイプの動き復号化回路１０及び輝度復号化回路１１に伝送される。これらの復号化回路の出力は、符号化装置に使用されたものと同じタイプの動き及び輝度補償回路１２の第１の入力及び第２の入力に伝送される。復号化装置の第３の入力Ｅ１は、残差復号化回路１９に伝送された不動データを受信し、残差復号化回路１９の出力は加算器２０の第１の入力に接続される。復号化装置からの出力Ｓであるこの加算器２０からの出力は、２段階のスイッチ６の第１ポジション、即ち、インタモードに対応した第１の入力に伝送される。スイッチ６の出力は動き及び輝度補償回路１２の第３の入力に接続される。インタモードに対応するこのスイッチ６の第１の出力は、２段階のスイッチ１５のインタモードに対応した第１の入力に接続される。３番目のスイッチ１５の出力は加算器２０の第２の入力に接続される。
【００５５】
イントラモードの場合に、２番目のスイッチ１３の入力は第２の出力に接続され、この第２の出力は反復計算及び経路決定回路１４の入力に接続される。反復計算及び経路決定回路１４の第１の出力はスイッチ１５の第２の入力に接続される。反復計算及び経路決定回路１４の第２の出力は、直列に配置されたフィルタ１６及びサブサンプリング回路１７を経由してスイッチ６の第２の入力に接続される。
【００５６】
復号化装置の処理動作は、符号化の場合の処理動作と非常に類似している。符号化装置によって伝送され、復号化装置の入力Ｅ２、Ｅ３及びＥ１で受信された動きデータ、輝度データ及び不動データは、夫々、復号化回路１０、１１及び１９によって復号化される。復号化回路１０、１１及び１９は、対応した符号化装置内の符号化回路８、９及び１８により行われる動作と逆の動作を行う。
【００５７】
インタモード復号化は基準画像Ｒを利用する。動き及び輝度補償回路１２は、予測画像を出力に生成するように、復号化された動き及び輝度情報に基づく動き及び輝度に関する補償を行うため使用されるべき記憶された基準画像Ｒを識別する（この基準画像は予め決められていてもよい）。残差復号化回路１９によって復号化された残差は加算器２０を用いて上記画像に付加され、加算器２０の出力に再生画像が得られる。この画像は、まさしく復号化装置の出力Ｓで利用可能な画像である。また、この画像は、動き及び輝度補償回路１２に入力として戻され、好ましくは次の画像のインタ復号化のための基準画像として選定される画像に他ならない。
【００５８】
イントラモード復号化は、基準画像として再生された画像を使用しない。イントラモード復号化は、動き及び輝度補償回路１２により生成され、若しくは、回路１２のメモリに常駐する任意の基準画像Ｉ0  から始める。勿論、この基準画像Ｉ0  は符号化装置によって使用される基準画像と異なる画像でも構わない。第１回目の反復は、新しい画像Ｉ1  を生成するため、この基準画像Ｉ0  を、フィルタ１６と、サンプリング回路１７と、符号化装置によって伝送されたデータの関数として動き及び輝度補償を行う動き及び輝度補償回路１２とに通すことにより行われ、以下同様である。符号化装置レベルの反復が７回に制限されているので、画像Ｉ7  は、反復計算及び経路決定回路１４を経由して加算器２０に伝達された再生画像である。
【００５９】
本実施例の復号化装置は３入力を有するが、輝度データ及び動きデータが符号化された不動データと多重化された場合には、図示されていない復号化装置の入力側のデマルチプレクサが復号化装置の対応した入力Ｅ２、Ｅ３及びＥ１に送信されるように上記の輝度データ、動きデータ及び不動データを分割する役目を果たす。
【００６０】
符号化装置と復号化装置とに共通する点は以下に列挙された、
−動きに関連した復号化
−輝度に関連した復号化
−（イントラを開始する場合にはブランク画像メモリでもよい）基準画像に基づく動き及び輝度補償であって、（イントラの場合に）線形フィルタリングとサブサンプリングとを伴って反復される動き及び輝度補償
−（イントラ／インタの）場合に依存した線形フィルタリング及びサブサンプリング
−残差に関連した復号化と、補償による再生への加算
である。
【００６１】
一般的に言うと、既存の動きフィールドに関して仮定が無い点に注意する必要がある。従って、動きフィールドは、最小二乗法又は勾配法によって獲得されたブロック様式、領域様式、濃度、正確さの程度でも構わない。
従って、本発明は、動き補償に基づいてディジタル画像シーケンスを符号化する既存のスキームを改良することが可能である。本発明は、既存の処理演算（評価、動き補償、表現データの符号化、残差の処理）を使用するが、これらの既存の処理演算とは独立に定義される。
【００６２】
本発明は、特に、不動データを使用しなくなり、予測データだけを使用する領域又はゾーンによる新規の符号化の方法によく適合する。ブロック又は所定の隣接域若しくは領域に対し輝度データを使用するか否かを判定する規準は、残差の定性的な面、即ち、考慮されているアプリケーションにおける残差の利用性の程度と関連付けることが可能であることに注意する必要がある。実際には、たとえば、領域又はゾーンによる新規の符号化の技術によれば、ｎ枚の画像当たりに一つの画像のサンプリングを行うことによりある種の画像に関する不動データだけを伝送すること、或いは、残差の情報を全く伝送することなく、復号化装置が予測情報だけを利用することが想到され得る。
【図面の簡単な説明】
【図１】  本発明による符号化回路の構成図である。
【図２】  本発明による復号化回路の構成図である。
【符号の説明】
１，１６    フィルタ
２，３，６，１５    ２入力１出力スイッチ
４，１７    サブサンプリング回路
５    動き及び輝度評価回路
７    減算器
８    動き符号化回路
９    輝度符号化回路
１０    動き復号化回路
１１    輝度復号化回路
１２    動き及び輝度補償回路
１３    １入力２出力スイッチ
１４    反復計算回路
１８    残差符号化回路
１９    不動部分復号化回路
２０    加算器
Ｓ１，Ｓ２，Ｓ３，Ｓ    出力
Ｅ１，Ｅ２，Ｅ３    入力
【図１】
0004859265.tif 000013
【図２】
0004859265.tif 000014