(57)【要約】  本発明は、画像シーケンス（ＩＳ）を圧縮するためのコーディング方法（１００，３００，５００）に関する。画像シーケンス（ＩＳ）の現在の画像領域（Ｉn）に関する密な動きベクトルフィールド（Ｖn）が、画像シーケンス（ＩＳ）の少なくとも一つの別の画像領域（Ｉn-1）と比較することによって求められる。動きベクトルフィールド（Ｖn）の各動きベクトルに関して少なくとも一つの信頼値を表す、現在の画像領域（Ｉn）に関する信頼ベクトルフィールド（Ｋn）が求められる。動きベクトルフィールド（Ｖn）及び信頼ベクトルフィールド（Ｋn）に基づき、現在の画像領域（Ｉn）に関する動きベクトルフィールド再構成パラメータ（ＦＰ，ｃ，Ｂ）が求められる。また本発明は、その種のコーディング方法（１００，３００，５００）を用いてコーディングされた画像シーケンス（ＩＳ）の画像データをデコーディングするためのデコーディング方法（２００，４００）に関する。更に本発明は、その種の方法を実施することができる、画像シーケンス（ＩＳ）を圧縮するための画像コーディング装置（１，１’）、画像デコーディング装置（２０，２０’）、並びに、その種の画像コーディング装置（１，１’）及びその種の画像デコーディング装置（２０，２０’）を含む、画像シーケンス（ＩＳ）を伝送及び／又は記憶するためのシステムに関する。
2014511054.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンス（ＩＳ）を圧縮するためのコーディング方法（１００，３００，５００）において、
前記画像シーケンス（ＩＳ）の現在の画像領域（Ｉn）に関する密な動きベクトルフィールド（Ｖn）を、前記画像シーケンス（ＩＳ）の少なくとも一つの別の画像領域（Ｉn-1）と比較することによって求めるステップと、
前記動きベクトルフィールド（Ｖn）の各動きベクトルに関して少なくとも一つの信頼値を表す、前記現在の画像領域（Ｉn）に関する信頼ベクトルフィールド（Ｋn）を求めるステップと、
前記動きベクトルフィールド（Ｖn）及び前記信頼ベクトルフィールド（Ｋn）に基づき、前記現在の画像領域（Ｉn）に関する動きベクトルフィールド再構成パラメータ（ＦＰ，ｃ，Ｂ）を求めるステップとを備えていることを特徴とする、方法。
【請求項２】
前記動きベクトルフィールド再構成パラメータ（ＦＰ，ｃ，Ｂ）を用いて、動きベクトルフィールド（Ｖ’n）を再構成し、
前記再構成された動きベクトルフィールド（Ｖ’n）の動きベクトルに基づき、前記現在の画像領域（Ｉn）に関する画像領域予測（Ｉ’n）を求め、
前記画像領域予測（Ｉ’n）の残差データ（ＲＤ）を前記現在の画像領域（Ｉn）に関して求め、
前記動きベクトルフィールド再構成パラメータ（ＦＰ，ｃ，Ｂ）を、前記現在の画像領域（Ｉn）の前記残差データ（ＲＤ）と結合させる、請求項１に記載の方法。
【請求項３】
前記動きベクトルフィールド（Ｖn）及び／又は前記信頼ベクトルフィールド（Ｋn）を成分毎にベクトル成分フィールド（Ｖx，Ｖy）の形で生成及び／又は処理する、請求項１又は２に記載の方法。
【請求項４】
動きベクトルフィールド再構成パラメータ（ＦＰ）を求めるために、前記動きベクトルフィールド（Ｖn）の関連する特徴点（ＦＰ）を求め、
前記動きベクトルフィールド再構成パラメータ（ＦＰ）はそれぞれ、関連する特徴点（ＦＰ）の位置情報（ＦＰＯ）と、該当する関連する特徴点における動きベクトルの少なくとも一つの動きベクトル成分（ＦＰＫ）とを含む、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記関連する特徴点（ＦＰ）を求めるために、先ず候補特徴点（ＫＦＰ）を前記候補ベクトルフィールド（Ｋn）に基づき求め、続いて、関連する特徴点（ＦＰ）を前記候補特徴点（ＫＦＰ）から選択する、請求項４に記載の方法。
【請求項６】
前記関連する特徴点（ＦＰ）を前記候補特徴点（ＫＦＰ）から選択するために、該候補特徴点（ＦＰ）に属する動きベクトル成分を使用しないで、個々の候補特徴点（ＫＦＰ）それぞれに対して、現在の画像領域（Ｉn）に関する動きベクトルフィールド（Ｖ’n）及び／又は画像領域予測（Ｉ’n）を形成し、前記再構成された動きベクトルフィールド（Ｖ’n）及び／又は画像領域予測（Ｉ’n）への影響を検査する、請求項５に記載の方法。
【請求項７】
動きベクトルフィールド再構成パラメータ（ｃ）として、前記動きベクトルフィールド及び前記信頼ベクトルフィールド（Ｖn）に基づき係数（ｃ）を求め、前記動きベクトルフィールド（Ｖ’n）を所定の台関数（Ｂ）を用いて再構成する、請求項１乃至３のいずれか一項に記載の方法。
【請求項８】
動きベクトルフィールド再構成パラメータ（Ｂ）として、前記動きベクトルフィールド（Ｖn）及び前記信頼ベクトルフィールド（Ｋn）に基づき、前記動きベクトルフィールド（Ｖ’n）を再構成するための、台関数係数（ｃ）に属する台関数（Ｂ）を求める、請求項７に記載の方法。
【請求項９】
前記信頼ベクトルフィールド（Ｋn）を求めるために、前記動きベクトルフィールド（Ｖn）の各位置に関して偏差領域を求め、
前記偏差領域は、所定の変動分だけ前記動きベクトルが変化した際の、前記現在の画像領域における該当する位置の画素からの、現在の位置における前記動きベクトルに基づく予測画素の偏差を含み、
信頼値として、その都度少なくとも一つの方向において前記偏差領域の曲率値を求める、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
請求項１乃至９のいずれか一項に記載のコーディング方法を用いてコーディングされた画像シーケンス（ＩＳ）をデコーディングするためのデコーディング方法（２００，４００）において、
現在の画像領域（Ｉn）に関して、前記動きベクトルフィールド再構成パラメータ（ＦＰ，ｃ，Ｂ）に基づき、動きベクトルフィールド（Ｖ’n）を再構成し、該再構成された動きベクトルフィールド（Ｖ’n）に基づき、画像領域予測（Ｉ’n）を求めることを特徴とする、デコーディング方法（２００，４００）。
【請求項１１】
前記動きベクトルフィールド（Ｖn）の関連する特徴点（ＦＰ）の前記動きベクトルフィールド再構成パラメータ（ＦＰ）はそれぞれ、位置情報（ＦＰＯ）と、該当する関連する特徴点（ＦＰ）における動きベクトルの少なくとも一つの動きベクトル成分（ＦＰＫ）とを含んでおり、
前記動きベクトルフィールド（Ｖ’n）の再構成のために、別の画素における動きベクトルを前記関連する特徴点（ＦＰ）における動きベクトルに基づき内挿又は外挿する、請求項１０に記載の方法。
【請求項１２】
画像シーケンス（ＩＳ）を伝送及び／又は記憶するための方法において、
前記画像シーケンス（ＩＳ）の画像領域（Ｉn）を、前記伝送及び／又は前記記憶の前に、請求項１乃至９のいずれか一項に記載の方法を用いてコーディングし、前記伝送の後及び／又はメモリ（Ｓ）からの取り出し後に、請求項１０又は１１に記載の方法を用いて再びデコーディングすることを特徴とする、画像シーケンス（ＩＳ）を伝送及び／又は記憶するための方法。
【請求項１３】
画像シーケンス（ＩＳ）を圧縮するための画像コーディング装置（１，１’）において、
前記画像シーケンス（ＩＳ）の現在の画像領域（Ｉn）に関する密な動きベクトルフィールド（Ｖn）を、前記画像シーケンス（ＩＳ）の少なくとも一つの別の画像領域（Ｉn-1）との比較によって求める動きベクトルフィールド算出ユニット（２）と、
前記動きベクトルフィールド（Ｖn）の各動きベクトルに関して少なくとも一つの信頼値を表す、前記現在の画像領域（Ｉn）に関する信頼ベクトルフィールド（Ｋn）を求めるための信頼ベクトルフィールド算出ユニット（３）と、
前記動きベクトルフィールド（Ｖn）及び前記信頼ベクトルフィールド（Ｋn）に基づき、前記現在の画像領域（Ｉn）に関する動きベクトルフィールド再構成パラメータ（ＦＰ，ｃ，Ｂ）を求めるための再構成パラメータ算出ユニット（４，４’）とを備えていることを特徴とする、画像コーディング装置（１，１’）。
【請求項１４】
請求項１３に記載の画像コーディング装置（１，１’）を用いてコーディングされた画像シーケンス（ＩＳ）の画像領域をデコーディングするための画像デコーディング装置（２０，２０’）において、
現在の画像領域（Ｉn）に関して、前記動きベクトルフィールド再構成パラメータ（ＦＰ，ｃ，Ｂ）に基づき、動きベクトルフィールド（Ｖ’n）を再構成するための動きベクトルフィールド再構成ユニット（２４，２４’）と、
前記再構成された動きベクトルフィールド（Ｖ’n）に基づき画像領域予測（Ｉ’n）を求めるための予測画像生成ユニット（２６）とを備えていることを特徴とする、画像デコーディング装置（２０，２０’）。
【請求項１５】
請求項１３に記載の画像コーディング装置（１，１’）と、請求項１４に記載の画像デコーディング装置（２０，２０’）とを備えていることを特徴とする、画像シーケンス（ＩＳ）を伝送及び／又は記憶するためのシステム。
【請求項１６】
画像処理計算機（１，１’，２０，２０’）のメモリに直接的にロード可能なコンピュータプログラムにおいて、
プログラムが前記画像処理計算機（１，１’，２０，２０’）において実行されるときに、請求項１乃至１２のいずれか一項に記載の方法の全てのステップを実行するためのプログラムコードセクションを備えていることを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像シーケンスを圧縮するために予測符号化を行なうコーディング方法、並びに、その種のコーディング方法によってコーディングされた画像シーケンスの画像領域をデコーディングするためのデコーディング方法に関する。更に本発明は、画像シーケンスを圧縮するための画像コーディング装置及び対応する画像デコーディング装置、並びに、その種の画像コーディング装置及び画像デコーディング装置から成るシステムに関する。
【０００２】
以下において画像シーケンスとは、任意の画像列、例えばフィルムにおける一連の動画、又は、例えば時間的及び／又は空間的に隣接する、対象の内側の一連の層であると解される。画像シーケンスは、例えばメディカルエンジニアリング機器を用いて検出できるようなものであり、その後は、それらのメディカルエンジニアリング機器によって、例えば観察のために仮想的にそれらの画像シーケンスを通り抜けるように移動することができる。更に、画像シーケンスは動的な画像データの時間的な相関、例えば、鼓動する心臓のような対象の時間に依存する３次元マッピング若しくは再構成（所謂３Ｄ＋ｔ再構成）も含む。画像領域とは、それらの画像シーケンスの一つ又は複数の完全な画像若しくは、単にその種の画像の一部と解される。画像には２次元画像も３次元画像も含まれると解される。つまり、個々の画素はピクセルであってもボクセルであっても良く、以下では分かり易くするために、画素に対してピクセルの概念を用いるが、別個に明示的に言及しない限りはそれにボクセルも含まれている。
【０００３】
現在の臨床環境では、医師の要求及び法律により定められた条件を満たすために、診断用医療画像が通常の場合、圧縮されずに記憶されているか、又は少なくとも損失の無い圧縮、即ち可逆の圧縮を用いて記憶されている。その種の医療画像データを記憶するための現在一般的な標準はＤＩＣＯＭ標準に規定されている。非圧縮のＲＡＷ画像の場合とは異なり、ＤＩＣＯＭデータセットでは画像を可逆に圧縮されたフォーマット、例えばＴＩＦＦ又はＪＰＥＧ２０００で記憶することができる。しかしながら、２次元画像に関するその種の圧縮方式は、例えばコンピュータトモグラフィ又は磁気共鳴トモグラフィのような画像形成装置を用いて記録された、例えば上述の３Ｄ＋ｔ再構成を圧縮するために開発されたものではない。従って従来では、その種のボリュームの複数の層は相互に独立した個別の画像として記憶されている。つまり、現在の画像形成装置の能力でもって高解像度の３Ｄ＋ｔデータセットを形成する場合、検査の度に大量の画像データが生じることになる。
【０００４】
従って、特にその種の分野においては、しかしながらまた大量の画像データが発生する他の類似の分野においても、画像データを高速且つ効率的に伝送及び記憶するために、画像データにおいて空間的、時間的且つ確率論的な冗長性を可能な限り良好に利用する圧縮アルゴリズムが必要となる。所望のエントロピ低減を達成するために、空間的に隣接するピクセル間に極僅かな輝度変化しか生じないというモデルベースの仮定を基礎とすることが多い。このために、既に読み出された既知のデータ、例えば画像シーケンスの先行の画像に基づいた「予測符号化」の枠内で、到来する画像データ又は現在の画像データを表すことが試みられる。続いて、現在の画像に関していわゆる「残差」、即ち画像の予測と実際の画像の差異並びに、その予測を再生するには十分な情報が記憶乃至伝送される。この利点は、予測が十分であれば実際の値との差異が非常に小さく、ほぼ０であることである。ここでの基本原理は、より頻繁に発生する値を非常に短い符号語を用いて記憶することができ、また稀にしか発生しない値は長い符号語を用いて記憶されることである。これによって、画像データに必要とされる記憶容量及び／又は伝送容量は総じてより少なくなる。
【０００５】
その種の予測符号化に関して、ビデオシーケンス又は３Ｄボリュームの種々の層における対象の動きを表すために動きベクトルを使用することができる。相応の多数の動きベクトルを用いることによって、確かに個々の「フレーム（ビデオシーケンス又は層の複数の画像）」間の正確な変化を良好に表すことができる。しかしながら他方では、動き情報をコーディングするためのオーバヘッド（即ち、動きベクトルに関して付加的に必要とされる情報）が圧縮の全体の効率を結局のところ無駄にする可能性がある。
【０００６】
従って、現行の一般的なビデオ圧縮アルゴリズムでは、空間的な変動をいわゆるブロックベースの変換予測を使用することによって低減し、時間的な順序で圧縮することが試みられている。その際に、輝度の差異平均を最小にして、先行の画像に相対的な現在の画像の所定のピクセルブロックの動きが決定される。それらの動き情報が予測として使用される場合には、この方式においてもオリジナル画像よりも遙かに少ない変動を含んでいる残差、即ち残存する差異だけを再び伝送又は記憶し、それにより伝送後又はメモリからの読み出し後にデコーダによる可逆再構成を達成する必要がある。
【０００７】
しかしながら、その種の静的な予測モデルが回転による動き、スケーリングによる動き又は変形並びに他の非並進的な画像の動きを補償できないことは問題である。その種の動きが発生する位置においては、既存の輝度変動を抑制することが不可能であるだけでなく、それどころかブロックの境界において付加的な変動が発生する可能性もある。従って、その種の単純なブロックベースの方法は、特に医療技術的な画像データにはあまり適していない。何故ならば、画像において純粋な並進的な動きは殆ど見込まれず、その代わりに、心臓の鼓動、呼吸等のような筋肉の収縮によって惹起される組織の変形をもたらす動きの方が見込まれるからである。
【０００８】
圧縮標準Ｈ．２６４／ＡＶＣ［"Advanced video coding for generic audiovisual Services," ITU-T Ree. H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), 2010］では、その種の問題を緩和するために、ブロックベースの方法の種々の改善策が記載されている。例えば、ブロックサイズを適応的に変更することによって改善が実現され、その際にブロックサイズは画一的に選択されるのではなく、残差に応じて変更される。別の方式では、予測と現在の画像との間のエラーが過度に大きい場合には、画像の本来の値を取るべきことが提案されている。更に別の方式では、複数の画像が重み付けされて組み合わされ、そのようにして得られた画像が参照画像として予測に使用される。更には、変化がより大きい画像を先ず平滑化し、続けて、平滑化された画像から動きベクトルを求め、それによってより良好な予測を行なうことが提案されている。また、ブロックパターンの代わりに三角格子網が使用され、三角形の各点に関して動きベクトルが記憶され、ベクトルが三角形に内装される、格子ベースの動き評価を実施することも提案されている。ブロックのアフィン変形に関する別の提案によれば、並進運動に付加的に、複数のブロックのアフィン変形を考慮することができる［Chung-lin Huang及びChao-yuen Hsu著"A new motion compensation method for image sequence coding using hierarchical grid interpolation" in IEEE Transactions on Circuits and Systems for Video Technology, Vol. 4, no. 1, pp. 42-52, Feb. 1994を参照されたい］。しかしながらそれらの方式は、複雑度が高く、また副次的な情報の利用が非常に多いことに基づいて、またその特別なデータフォームに対してしか適用できないことに基づいて従来では殆ど使用されていない。
【０００９】
基本的に、任意の動きをピクセルベースの動きベクトルフィールドを用いて良好に評価することができ、その動きベクトルフィールドにおいては各ピクセルに単一の動きベクトルが対応付けられている。しかしながら、そのために必要とされる個々の動きベクトルに関する副次的な情報は通常の場合、特に高品質の圧縮が所望される場合には、その種の方法を実施できない程多い。従って、その種の情報自体を、不可逆的な方法において低減しなければならない。S.C. Han及びC.I. Podilchuk著の刊行物「Video compression with dense motion fields", in IEEE Transactions on Image Processing, vol. 10, no. 11, pp. 1605-12, Jan. 2001」においては、その種の情報の低減は、階層的なクワッドツリーにおいて特徴的でない全ての動きベクトルが削除される選択アルゴリズムが使用されることによって達成されている。残ったベクトルは適応的な算術エントロピコーダにおいてコーディングされる。原則として、これは標準Ｈ．２６４／ＡＶＣに準拠する適応的なブロック方法に類似する方法であるが、しかしながらこの方法では、複数のブロックの動きベクトルのみが検査されるのではなく、個々のピクセルも全て検査される。従ってこの方法は比較的時間が掛かる。
【００１０】
本発明の課題は、特に複雑な動きを有する画像シーケンスにおいても効率的な圧縮、特に可逆性の圧縮も実現する、改善されたコーディング方法及び画像コーディング装置を提供することである。
【００１１】
この課題は、請求項１に記載されているコーディング方法並びに請求項１３に記載されている画像コーディング装置によって解決される。
【００１２】
本発明によるコーディング方法は以下の方法ステップを備えている：
先ず、画像シーケンスの現在の画像領域に関する密な動きベクトルフィールド（Dense Motion Vector Field）が、画像シーケンスの少なくとも一つの別の画像領域と比較することによって求められる。本発明において「密な動きベクトルフィールド」は、事前に複数のブロックが規定され、それらのブロックに対してのみ動きベクトルが決定されるブロックベースの動きベクトルフィールドとは異なり、考察する画像領域の個々のピクセル乃至ボクセル、有利にはピクセル乃至ボクセルに固有の動きベクトル又は少なくとも一つの動きベクトル成分が対応付けられている動きベクトルフィールドであると解される。以下において、「間引かれた密な」動きベクトルフィールドとは、本発明による圧縮の過程において既に間引かれた、即ち動きベクトルが既に選別された、ピクセルベース乃至ボクセルベースの動きベクトル又は動きベクトル成分を有する、密な動きベクトルフィールドであると解される。
【００１３】
上述したように、通常の場合、一つの画像領域は画像シーケンスの完全な画像である。しかしながら原理的には、画像領域がその種の画像の一部だけであっても良い。その場合、画像シーケンスにおいて比較に使用される別の画像領域は、別の画像、例えば先行の画像及び／又は後続の画像における対応する画像領域であり、そこでは、一つの別の画像が使用されるだけではなく、例えば重み付けされて組み合わされる複数の別の画像等も使用される。
【００１４】
一つの有利な方法においては、簡単な動き評価とは異なり、密な動きベクトルフィールドが、所謂オプティカルフロー法（「Optical Flow」）を用いて求められる。その種のオプティカルフロー法は当業者には周知であり、従ってここでは更に詳細には説明しない。
【００１５】
動きベクトルフィールドを求めるステップと同時に実施することができるか、又はその後に実施することができる更なるステップにおいては、本発明によれば、現在の画像に関する信頼ベクトルフィールドが求められる。この信頼ベクトルフィールドは、動きベクトルフィールドの各動きベクトルに関して少なくとも一つの信頼値を表す。信頼値は評価された動きベクトルが実際のところ、どの程度の確率で正しいのか、即ち、その評価がどの程度良く適したものであるのかを表す。ベクトル的に異なる信頼値を求めること、即ち信頼値自体がベクトル又はベクトル成分であることも可能であり、その場合、ベクトル成分はそれぞれ信頼値、即ち、画像の行方向又は列方向（以下ではｘ方向乃至ｙ方向と記す）における動きベクトルの精度を表す。この関係において、以下では、確かに本方法を分かりやすくするために２次元の画像に基づき説明するが、単純に第３のベクトル成分をｚ方向に付加することによって問題なく３次元の方法に拡張することができる。
【００１６】
最後に、動きベクトルフィールド及び信頼ベクトルフィールドに基づき、現在の画像に関する動きベクトルフィールド再構成パラメータが求められる。
【００１７】
続いて、それらの動きベクトルフィールド再構成パラメータを、例えばメモリに格納するか、又は伝送チャネルを介して伝送し、密な動きベクトルフィールドの再構成のために再び使用することができる。厳密な再構成方法は、どの種類の動きベクトルフィールド再構成パラメータが求められるかに依存する。これに関しては種々の可能性が存在し、それらは後に詳細に説明する。
【００１８】
動きベクトルフィールド再構成パラメータを求める際に、動きベクトルフィールドに付加的に信頼ベクトルフィールドも使用することによって、求められた動きベクトルフィールド再構成パラメータを用いて動きベクトルフィールドを非常に良好に再構成できることを簡単なやり方で保証することができる。動きベクトルフィールドを再構成するために必要とされるデータ量を大幅に低減することができるだけでなく、信頼値の使用によって、それどころか非常に信頼性の高い動きベクトルのみを使用することができ、それによって、データ量を著しく低減できる以外にも再構成の品質を向上させることもできる。
【００１９】
画像予測のために動きベクトルフィールドを再構成するための情報の他に、通常は残差データも記憶乃至伝送され、可逆性の画像を記憶又は伝送する範囲において本方法が使用される場合には、本方法により、従来のブロックベースの動き評価方法に比べて、比較的少ない副次的情報しか生じない。ブロック形成アーチファクト又は他の高速な変動が残差コーディングにおいて回避され、また残差に関する高い値が効果的に抑制される。更にこれによって、非常に効果的な圧縮方法が実現される。
【００２０】
本発明による画像コーディング装置は、上記の方法を用いて画像シーケンスを圧縮するために必要とされ、特に以下の構成要素を備えている：
−画像シーケンスの現在の画像領域に関する密な動きベクトルフィールドを、その画像シーケンスの少なくとも一つの別の画像領域との比較によって求める動きベクトルフィールド算出ユニット、
−動きベクトルフィールドの各ベクトルに関して少なくとも一つの信頼値を表す、現在の画像領域に関する信頼ベクトルフィールドを求めるための信頼ベクトルフィールド算出ユニット、
−動きベクトルフィールド及び信頼ベクトルフィールドに基づき、現在の画像領域に関する動きベクトルフィールド再構成パラメータを求めるための再構成パラメータ算出ユニット。
【００２１】
本発明による方法でもってコーディングされた画像シーケンスをデコーディングするために、動きベクトルフィールド再構成パラメータに基づき、現在の画像に関する動きベクトルフィールドが再構成され、その再構成された動きベクトルフィールドに基づき、また動きベクトルフィールドを求めるために使用された別の画像領域に基づき画像領域予測が求められる、デコーディング方法が必要とされる。
【００２２】
従って、このデコーディング方法を実施するための画像デコーディング装置は以下のユニットを必要とする：
−現在の画像領域に関して、動きベクトルフィールド再構成パラメータに基づき動きベクトルフィールドを再構成するための、動きベクトルフィールド再構成ユニット、及び、
−動きベクトルフィールドに基づき、また動きベクトルフィールドの生成に使用された別の画像領域に基づき画像領域予測を求めるための、予測画像生成ユニット。
【００２３】
本発明によるコーディング方法及びデコーディング方法を、画像シーケンスを伝送及び／又は記憶するための方法において使用することができ、画像シーケンスの画像領域は、伝送及び／又は記憶の前に本発明による方法でもってコーディングされ、伝送及び／又はメモリからの取り出しの後に対応するデコーディング方法でもって再びデコーディングされる。従って、画像シーケンスを伝送及び／又は記憶するための本発明によるシステムは、少なくとも一つの本発明による画像コーディング装置及び少なくとも一つの本発明による画像デコーディング装置を有している。
【００２４】
本発明によるコーディング装置並びに本発明による画像デコーディング装置を特にソフトウェアの形態で、相応のメモリ手段を備えている適切な画像処理計算ユニットにおいて実現することができる。このことは特に、ソフトウェアモジュールの形態で実現することができる、動きベクトルフィールド算出ユニット、信頼ベクトルフィールド算出ユニット、再構成パラメータ算出ユニット、動きベクトルフィールド再構成ユニット並びに予測画像生成ユニットに当てはまる。しかしながらそれらのユニットを、例えば適切に構成されたＡＳＩＣの形態のハードウェアコンポーネントとし、構成することも同様に可能である。広範にソフトウェアベースで実現されるということは、既に従来から使用されている画像コーディング装置及び画像デコーディング装置も、本発明に従い動作するために簡単なやり方でソフトウェアアップデートによってアップグレードさせることができるという利点を有している。従って本発明は、画像処理計算機のメモリに直接的にロードすることができ、また、プログラムが画像処理計算において実行される場合に、例えば画像コーディング装置を構成するための画像処理計算機において、又は、画像デコーディング装置を構成するための画像処理計算機において、本発明による方法の全てのステップを実施するためのプログラムコードセクションを備えている、コンピュータプログラム製品にも関する。
【００２５】
従属請求項並びに以下の説明には、本発明の特に有利な発展形態及び構成が記載されており、特に、或るカテゴリの請求項も他のカテゴリの従属請求項と同様に発展させることができる。同様に、複数の請求項の個々の特徴又は特徴群を組み合わせて新たな実施例とすることができる。
【００２６】
本発明によるコーディング方法において求められた動きベクトルフィールド再構成パラメータを原則として、画像シーケンスの簡単な可逆性の圧縮のために使用することができる。
【００２７】
有利には、コーディング方法の範囲において、動きベクトルフィールド再構成パラメータを用いて、先ず動きベクトルフィールドが改めて再構成される。続いて、再構成された動きベクトルフィールド（のみ）の動きベクトルに基づき、並びに、動きベクトルフィールドを最初に求める際に使用された別の画像領域に基づき、現在の画像領域に関する画像領域予測が求められる。更に残差データが例えば現在の画像領域と画像領域予測との差分形成によって求められ、最終的に、動きベクトルフィールド再構成画像パラメータが現在の画像領域の残差データと結合される。その後、データを記憶及び／又は伝送することができる。
【００２８】
動きベクトルフィールド再構成パラメータと残差データとの結合を直接的なデータ結合によって、例えば多重化方法又は類似する適切な方法の形で行なうことができる。しかしながら原理的には、記憶後又は伝送後にどの動きベクトルフィールド再構成パラメータがどの残差データに属するかを何らかのやり方で確認できれば十分である。デコーディングの際には、例えば多重解除方法の範囲において、残差データ及び動きベクトルフィールド再構成パラメータを伝送及び／又は記憶されたデータから抽出した後に、動きベクトルフィールド再構成パラメータから再び動きベクトルフィールドを再構成することができ、またその再構成された動きベクトルフィールドに基づき画像領域予測が求められる。続いて、残差データを用いて現在の画像領域を改めて正確に再構成することができる。
【００２９】
本発明による画像コーディング装置はこのために、例えば画像デコーディング装置の側においても設けられているような、相応の動きベクトルフィールド再構成ユニットと、残差データ、即ち画像領域予測からの現在の画像領域の偏差を求めるための比較器と、それらの残差データを適切にコーディングし、例えば適切な結合ユニット、例えばマルチプレクサを用いて動きベクトルフィールド再構成パラメータと結合させるための適切なコーディングユニットとを必要とする。
【００３０】
従ってその場合には、画像デコーディング装置の側において、先ずデータ分離ユニット、例えば動きベクトルフィールド再構成パラメータを残差データから分離させるためのデマルチプレクサと、残差データをデコーディングするためのユニットと、予測画像データ及びデコーディングされた残差データから再び、有利には可逆的に正確な現在の画像領域を求めるため組み合わせユニットとを必要とする。
【００３１】
本方法の特に有利なヴァリエーションにおいては、動きベクトルフィールド及び／又は信頼ベクトルフィールドが成分毎にベクトル成分フィールドの形で生成及び／又は処理される。即ち、例えば２次元画像では、動きベクトルフィールドのｘ成分及びｙ成分が別個に処理され、従って二つのベクトル成分フィールドが生成される。相応に、上述のように、別個の信頼ベクトル成分フィールドも生成され、それらの信頼ベクトル成分フィールドはそれぞれ二つの方向の一方におけるベクトル成分の品質を表す。ここでもまた、ｚ方向において３次元に拡張することも原理的には可能であることは明らかである。
【００３２】
ベクトル成分の異なる方向への別個の処理は、必要に応じて、所定の画素乃至ピクセルにおける一つのベクトルを一つの方向において、高い確率で非常に精確に決定することができるという利点を有しており、これに対し、他の方向においてはベクトルを不正確にしか決定することができない。これに関する例は、一つの対象のｘ方向に延びる縁部に位置する画素である。ｙ方向においては、縁部における跳躍的な変化によってコントラスト差が非常に大きいので、ｙ方向においては比較的高い精度で、連続する二つの画像間の画素のシフトを検出することができ、それにより動きベクトルをその方向において非常に正確に決定することができる。これに対して、縁部の長手方向における動きベクトル成分の決定は、変化が恐らく少ないこと、又は変化を全く検出することができないことに基づきむしろ少ない。
【００３３】
動きベクトルフィールド再構成パラメータを求めるために種々の可能性が存在する。
【００３４】
特に有利なヴァリエーションにおいては、本方法の範囲において、動きベクトルフィールドの関連する特徴点が求められ、その場合、動きベクトルフィールド再構成パラメータは、その都度の位置情報、例えば関連する特徴点を識別するための位置座標又はその他のデータ、及び、該当する関連する特徴点における動きベクトルの少なくとも一つの成分を含んでいる。即ち、各関連する特徴点について、ピクセルの位置並びに少なくとも一つの所属の動きベクトル成分が求められる。
【００３５】
関連する特徴点を求めるために、有利には先ず、それぞれがやはり関連するピクセルの位置情報と少なくとも一つの所属の動きベクトル成分とを含んでいる、複数の候補特徴点のグループが信頼ベクトルフィールドに基づき決定される。この決定を例えば、信頼ベクトルフィールドの局所的な最大値が決定されることによって行なうことができる。続いて、それらの候補特徴点から関連する特徴点を選択することができる。このために、適切なコーディング装置は例えば候補特徴点算出ユニット、例えば、それらの局所的な最大値に関する信頼ベクトルフィールドを探索する最大値検出装置と、特徴点選択ユニットとを必要とする。
【００３６】
本方法の特有利な発展形態においては、候補特徴点から関連する特徴点を選択するために、個々の候補特徴点に対して、有利には各候補特徴点に対して、その候補特徴点に属する動きベクトル成分を要することなく、それぞれ一つの密な動きベクトルフィールド及び／又は現在の画像領域に関する画像領域予測を生成することができる。続いて、動きベクトルフィールド及び／又は画像領域予測への影響を検査することができる。換言すれば、それらの候補特徴点が存在しているか否かという影響を求めることによって、複数の候補特徴点の中から関連する特徴点が求められる。
【００３７】
例えば、動きベクトルを用いる画像領域予測と動きベクトルを用いない画像領域予測との間の偏差が所定の閾値を下回るか否かを検査することができる。下回る場合には、候補特徴点は関連する特徴点ではない。別の択一形態では、該当する動きベクトルを用いる画像領域予測と該当する動きベクトルを用いない画像領域予測との間の偏差がその都度登録される。この検査は各候補特徴点に対して実施され、結果は例えばフィールド若しくはベクトルフィールドに格納される。偏差が最も小さいｎ個の特徴点は関連する特徴点である。ここでｎは事前に規定された個数である。この方法においてもやはり成分毎に別個の処理が行なわれる。
【００３８】
即ち、この第１の方法は、密な動きベクトルフィールドから信頼ベクトルフィールドの信頼値を用いて、間引かれた密なベクトルフィールドが生成されるという着想を基礎としている。間引かれた密なベクトルフィールドは、実際に関連する特徴点乃至ピクセルに関するベクトル乃至ベクトル成分のみを含んでいる。
【００３９】
密な動きベクトルフィールドを再構成するために、有利にはそれらの候補特徴点又はその動きベクトルフィールド成分が「ノード」として使用され、それにより例えば、非線形の方法においては密な動きベクトルフィールドの別の動きベクトルを内挿又は外挿することができる。つまり、適切な台関数に基づき、領域をそれらのノードに「フィットさせる」ことによって、密な動きベクトルフィールドが求められる。このために有利には、動きベクトルフィールド再構成ユニットが、候補特徴点の動きベクトル成分に基づき動きベクトルを非線形に内挿又は外挿するためのユニットを有している。
【００４０】
択一的な第２の方法においては、動きベクトルフィールドを所定の台関数を用いて再構成するために、動きベクトルフィールド再構成パラメータとして、動きベクトルフィールド及び信頼ベクトルフィールドに基づき係数が求められる。それらの係数を有利には線形回帰法において求めることができる。続いて、所定の台関数の線形の組み合わせによって、係数を用いて動きベクトルフィールドを容易に再構成することができる。
【００４１】
一つの有利なヴァリエーションにおいては、複数の台関数を設定することができる。このために、それらの台関数は画像コーディング装置にのみ既知であるのではなく、画像デコーディング装置にも事前に知らされていなければならない。しかしながら、その場合、簡単なやり方で係数を決定し、それらの係数のみを副次的な情報として、残差データに付加的に伝送すれば十分である。
【００４２】
この第２の方法の代替的なヴァリエーションにおいては、係数に属し、また動きベクトルフィールドを再構成するために使用される台関数が、動きベクトルフィールド及び信頼ベクトルフィールドに基づき求められる。それらの台関数を例えば、所定の複数の台関数から成るグループから選択することができる。従ってこの方法においては、画像デコーディング装置に対して台関数に関する情報を事前に通知する必要はない。その代わりに、求められた台関数又は台関数を識別するための情報を、係数と一緒に、また必要に応じて残差データと一緒に伝送乃至記憶する必要がある。
【００４３】
前述の全ての方法において、有利には、各位置に対して、即ち動きベクトルフィールドの各点乃至各ピクセルに対して偏差領域が求められることによって、信頼ベクトルフィールドを求めることができる。この偏差領域は、現在考察している画素の周囲、例えば３×３ピクセルの空間における所定の変動分だけ動きベクトルが変化した際の、現在の位置における動きベクトルに基づく予測画素の、現在の画像領域における該当する位置における画素からの起こり得る偏差を含んでいる。その場合、信頼値として少なくとも一つの方向においてその偏差領域の曲率をその都度求めることができる。即ち、各点に対して例えば成分毎に２次導関数が求められ、相応に信頼ベクトルフィールドが成分毎に形成される。
【００４４】
以下では、添付の図面を参照しながら、複数の実施例に基づき本発明を詳細に説明する。
【図面の簡単な説明】
【００４５】
【図１】動的心臓病学のコンピュータトモグラフィ画像データセットの層が連続的に記録された画像シーケンスを示す。
【図２】本発明によるコーディング方法の第１の実施例のフローチャートを示す。
【図３】再構成された動きベクトルフィールドのｘ成分を示す。
【図４】再構成された動きベクトルフィールドのｙ成分を示す。
【図５】本発明による画像コーディング装置の第１の実施例のブロック図を示す。
【図６】本発明によるデコーディング方法の第１の実施例のフローチャートを示す。
【図７】本発明による画像デコーディング装置の第１の実施例のブロック図を示す。
【図８】フレーム毎の平均残差データ量及び総情報量と動き情報量との関係を表すグラフを示す。
【図９】フレーム毎の平均二乗誤差（Mean Square Error = MSE）と動き情報量との関係を表すグラフを示す。
【図１０】密な動きベクトルフィールドが部分的に重畳されて示されている、図１の第３の画像を示す。
【図１１】図１０の画像のｘ方向における信頼値を示す。
【図１２】図１０の間引かれた動きベクトル成分フィールドを有する、図１の第３の画像を示す。
【図１３】図１２の動きベクトルに基づき再構成された、動きベクトルフィールドが重畳されている、図１の第３の画像を示す。
【図１４】本発明による第１のコーディング方法において４倍になった残差を示す。
【図１５】ブロックベースの予測コーディング方法において４倍になった残差を示す。
【図１６】本発明によるコーディング方法の第２の実施例のフローチャートを示す。
【図１７】本発明によるコーディング方法の第３の実施例（ここでは第２の実施例の一つのヴァリエーション）のフローチャートを示す。
【図１８】本発明による画像コーディング装置の第２の実施例のブロック図を示す。
【図１９】本発明によるデコーディング方法の第２の実施例のフローチャートを示す。
【図２０】本発明による画像デコーディング装置の第２の実施例のブロック図を示す。
【発明を実施するための形態】
【００４６】
図１には、動的心臓病学の画像データセットの範囲でコンピュータトモグラフィを用いて記録されたものである、連続的に４回撮影された同一の層の画像シーケンスの四つの画像が示されている。例えば通常のビデオ記録の場合とは異なり、それらの画像からは、種々の対象が先ず時間にわたり変形運動していることが見て取れる。以下では、本発明による方法がその種の医療技術的な画像データを圧縮するために使用されることに限定されていない場合であっても、先ず本発明による方法がその種の用途に使用されることを前提とする。更に、以下では分かり易くするために、一つの画像シーケンスの常に完全な画像がコーディング又はデコーディングされることも前提とするが、しかしながら上述のように、一つの画像の特定の画像領域のみをコーディング及びデコーディングすることも可能である。
【００４７】
図２に基づき、本発明による可逆コーディング方法１００の第１のヴァリエーションを説明する。ここでは、既に一つの先行の画像が記憶されている、画像シーケンスにおける一つの画像に関するコーディングの実行について説明する。従って、画像シーケンスの最初の画像に関しては予測画像若しくは動きベクトルフィールドを形成するための基礎となる比較画像が存在しないので、この方法は最初の画像に対しては適用されない。
【００４８】
画像をコーディングするための方法は（開始点としての）ステップ１０１において開始され、ステップ１０２においては先ずＲＡＷ画像Ｉnが読み出される。このＲＡＷ画像Ｉnは、一方ではステップ１０３において、後続の繰り返しのために、即ちＩn+1画像の処理のために記憶される。他方では、画像Ｉnはステップ１０４において、先行のコーディングの実行時にステップ１０３においてメモリに記憶された先行の画像Ｉn-1と一緒に密な動きベクトルフィールドＶnを求めるために使用される。
【００４９】
その種の密な動きベクトルフィールドＶnの使用は特に、任意の組織運動へのより良好な適合、従ってより良好な予測を実現するという利点を有している。更には、「円滑な」運動の仮定は、例えば、それを基礎とした方法がブロックベースの圧縮方法に制限されず、また残差データのコーディングに関して、空間的及び時間的な方向におけるＪＰＥＧ−ＬＳ又はウェーブレット圧縮方法のような空間的な予測方法と組み合わせることができるという別の利点も有している。
【００５０】
密な動きベクトルフィールドを推定又は取得するために、例えば、類似の形式で、P. Anandan著「A Computational Framework and an Algorithmen for the Measurement of Visual Motion」，Int. Journal of Computer Vision, 2(3)，283-310頁，1989年１月、に記載されているような、相関ベースのオプティカルフロー方式が使用される。そこで使用されているアルゴリズムでは、移動する画素の周りの隣接画素の二乗誤差和（Sum of Squared Intensity Differences = SSD）と、隣接する動きベクトルの差との重み付けされた線形組み合わせを最小にすることが意図されている。このために、現在の画像及び先行の画像は各次元（即ちｘ方向及びｙ方向）において係数２（従って全体としては係数４）ずつ何度もその画像の大きさがスケールダウンされ、このスケールダウンは最大でも１ピクセルの動きしか達成できない大きさに達するまで行なわれる。動きを推定した後は、続いてベクトルフィールドが解像度に関してもベクトル長に関しても、有利には双直線補間（bilinear interpolation）法を使用して、それぞれ係数２ずつ階層的にスケールアップされ、このスケールアップは最終的に、本来の画像の本来の画像の大きさに再び達するまで行なわれる。各段階において、推定は反復的アルゴリズムを用いて改善され、この反復的アルゴリズムでは現在の画像Ｉnにおける各位置ｘでの５×５のピクセル近傍が先行の画像Ｉn-1における新たな候補位置（候補動きベクトル）ｖと比較される。候補位置ｖは、先行のベクトル推定ｖn-1が示す位置の周囲の僅か１ピクセルの探索領域内、即ち８ピクセル近傍内にある。これを次式により表すことができる：
【数１】
2014511054.tif 000003
この式において、第１の和項は輝度差を最小にし、また、和変数１を有する第２項（和は点ｘ自体を除いたその点ｘを中心とした３×３の周囲において全て１を超える）は、各候補位置ｖと８個の隣接との間の差を最小にする。ｔは式（１）において反復インデクスである。式（１）においては、以下においても同様に、現在の画像における一つのピクセルに関して、先行の画像におけるどの位置からそのピクセルがシフトしたかを表す形式でシフトベクトル（即ち動きベクトル）ｖは記憶されることが前提とされる。
【００５１】
従って、式（１）におけるｒは、輝度値の比較に寄与する位置ｘを中心とした５×５のフィールドの位置であり、ｖは、全ての方向にピクセルシフトした場合の先行の画像における９個の探索位置の内の一つである。重み付けパラメータλは発見的に選択され、どの形式で輝度が記憶されるかに依存する。例えば、輝度が０と１の間で記憶される場合には、例えば１０-3の重み付けパラメータλが選定される。式（１）における第１項及び第２項が或る程度同じオーダにあることが重要である。
【００５２】
通常の場合、動きの非常に良好な近似を得るために、各段階において２回から１０回の反復が実施されれば十分である。本方法の既存のテスト実施例においては、毎段階１０回の反復でもって５１２×５１２のピクセル又はボクセルベクトルフィールドが既に従来の２．８ＧＨｚのＣＰＵにおいて２秒未満の時間で形成された。このために単純なＣプログラムが使用された。このために特別に設けられた回路、例えばＡＳＩＣが使用される場合には、更に顕著な速度を達成することができる。図１におけるシーケンスの第３の画像に関して、この方法を用いて算出された動きベクトルフィールドが図１０に示されている。しかしながら、図面をより見やすくするために、画像の形成のために、本来の密な動きベクトルフィールドのダウンサンプリングが行なわれた。
【００５３】
しかしながら、本発明の範囲において密な動きベクトルフィールドを求めるための上記において具体的に説明した方法の代わりに、他の適切な方法も使用できることを明示的に示唆しておく。比較的ノイズのある画像データにおいて本方法の更なる改善を達成するために、ピクセル毎の動き評価の際に場合によっては生じるピクセル間の高周波数の変動を、例えば小さいガウスカーネル又はエッジ保存方式を用いる付加的なインループノイズ低減フィルタ方法によって低減することができる。
【００５４】
続いて、図２のステップ１０５においては、動きベクトルフィールドＶn並びに現在の画像Ｉnに基づき、現在の画像Ｉnに関する信頼ベクトルフィールドＫnが求められる。この信頼ベクトルフィールドＫnは、密な動きベクトルフィールドＶnを基礎とした、個々のピクセルデータの時間的な動きの予測の信頼度を表す。
【００５５】
各動きベクトルフィールドの信頼値を決定するための一つの可能性を以下において説明するが、それはやはり一つの有利なヴァリエーションに過ぎず、信頼値を求めるための他の方法も可能である。
【００５６】
この方法は、上述のP. Anandanによる刊行物に開示されている方法を若干変更した一つのヴァリエーションを基礎としている。ここでは、上述の方法の範囲において、動きベクトルフィールドを求めるための動き評価を改善するために更なる反復を行なう場合と同様に、推定された最適なシフトベクトルの周りの３×３の探索周囲におけるＳＳＤ値が、その都度最高の解像レベルでもう一度求められる。即ち、各ベクトルに対して、固有の３×３ピクセルの大きさのＳＳＤ表面が求められる。このＳＳＤ表面の曲率に基づき、ｘ及びｙにおける二つの信頼値を算出することができる。このために、この表面関数の２次導関数を簡単に算出することができ、このことは例えばマトリクスの形で以下のように表すことができる：
【数２】
2014511054.tif 000004
ここでＳは３×３のＳＳＤマトリクスであり、ｋx，ｋyはｘ方向及びｙ方向における信頼値である。例えば、均一な画像領域における一つのピクセルが考察される場合、マトリクスＳにおける全ての項目は類似する。この場合、推定された二つのベクトル成分の信頼値ｋx，ｋyは僅かなものでしかない。垂直方向（ｙ方向に延びる）輝度境界にピクセルがある場合、探索位置がｘ方向に変化するとＳＳＤ値は上昇する。従って、マトリクスＳは左側の列及び右側の列において比較的高い値を有し、その結果、ｘ方向における信頼値ｋxは大きくなる。同様に、ピクセルが水平方向、即ちｘ方向に延びる輝度境界に位置する場合には、ｙ方向における高い信頼値ｋyが生じることになる。図１１には、図１０の動きベクトルのｘ方向における信頼値ｋxの例が示されている。明るい領域はここでは垂直方向のエッジであるので、その明るい領域は縁部動きベクトルの高い信頼度を示している。
【００５７】
多くの領域において、全ての動きベクトル又は動きベクトルの成分の内の少なくとも一つは信頼性が低いので、原則としてそれらのベクトルを良好な予測のために使用する必要はない。従って、信頼性の高い動きベクトル成分のみが更なる処理において、即ちデータの圧縮のために使用され、それらの信頼性の高い動きベクトルのみが伝送乃至記憶されれば十分である。別の動きベクトルを密な動きベクトルフィールドの再構成の範囲で再び外挿乃至内挿することができ、このことは特に医療技術的な画像では組織の関連性のある性質に基づき大きい残差が生じることなく可能である。
【００５８】
従って、第１の本発明による方法においては、ｘ方向及びｙ方向に関する信頼ベクトルフィールド乃至ベクトル成分フィールドに基づき、実際のところ動きに対して関係している特徴点がそれぞれ求められ、つまりそれらの特徴点においては動きベクトルを高い信頼性で求めることができている。いわば、間引かれた密な動きベクトルフィールドが形成され、それに基づき完全に密な動きベクトルフィールドを再構成することができる。このために、重要な位置における動きベクトル成分（いわゆる関連性のある特徴点）のみが記憶される。
【００５９】
前述のように、一つの動きベクトルの二つの成分に関する信頼値を完全に異ならせることができるので、特徴点を成分毎に、即ち各ベクトル成分に関して別個に求めることは有用である。従って、以下では特徴点ＦＰを３重ＦＰ＝（ｍ，ｎ，ｋ）とみなす。但し、（ｍ，ｎ）はその種の関連性のある動きベクトル、即ち特徴点ＦＰの位置を表し、ｋは動きベクトルの重要な成分の信頼値を表す。
【００６０】
関連性のある特徴点を発見するために、先ずステップ１０６において信頼ベクトルフィールドに基づき候補特徴点ＫＦＰが求められる（図２を再度参照されたい）。
【００６１】
このことは例えば、信頼ベクトルフィールド、又は有利には（例えば図１１におけるｘ成分に関するもののような）信頼ベクトル成分フィールドにおける局所的な最大値を求めることによって求めることができる。このために、任意の極大値探索法を使用することができる。
【００６２】
位置値が局所的な周辺内の最大信頼値を有している場合には、その位置値を局所的な最大値とみなすことができる。この周辺の大きさは、局所的な最大値相互間の最小距離を特定し、従って次に選択される候補特徴点の大凡の総数も設定する。従って、この大きさを選択する際には、必要に応じて後に行なわれる、候補特徴点からの関連する特徴の更なる選択の複雑さと、実際の重要なベクトル情報の起こり得る消失との間でバランスが取られなければならない。試験的な検査において、３×３ピクセルと５×５ピクセルとの間の隣接が良好に適していることが分かった。更には、ノイズの強い領域においては、好適でない最大値の検出を低減するために、所定の閾値を上回る大きさを有する最大値のみを候補特徴点として許容することができる。その種の閾値の正確な値は、実際に存在する画像ノイズの輝度範囲に依存する。通常の場合、最大候補値の５％から１０％の値により良好な結果がもたらされる。
【００６３】
付加的に、最大値の密度が高い、又は高い信頼性及び類似の動きベクトル情報を有する動きベクトルの密度が高い領域に関しても、動きベクトルの一つのグループに関して共通して表されるベクトルを取得することができる。このために、例えば、動きベクトルの個々の成分の平均が取られ、中心の位置に平均動きベクトルを仮定する。相応に、上述のように、ｘ方向及びｙ方向に関して別個のベクトル成分フィールドを有するように処理が行なわれる場合には、動きベクトル成分の隣接するグループのその種の平均を取ることも可能である。
【００６４】
更には、それらの候補特徴点ＫＦＰから関連する複数の特徴点ＦＰが選択される。この特徴点読み出しプロセスは図２に示した方法に従い、複数のステップ１０７，１０８，１０９，１１０，１１１にわたり反復的に実行される。そこでは、複数の候補特徴点ＫＦＰからの関連する特徴点ＦＰの読み出しが、それらの特徴点もしくはその動きベクトル成分によって生じる残差に基づき行なわれる。
【００６５】
このために、先ずステップ１０７においては、候補特徴点ＫＦＰに基づき、非線形の動きベクトルフィールド再構成が実施される。候補特徴点における動きベクトル成分がノードとして使用され、そのノードについて、残りの位置における動きベクトル成分を外挿乃至内挿するために用いられる面が適合される。
【００６６】
この間引かれた動きベクトルフィールドに基づき、本来の動きベクトルフィールドへの可能な限り良好な近似を得るために、有利には幾つかの付加的な前提が考慮されるべきである。その一つとして、関連する動きベクトル成分が関連する特徴点自体において正確に再現されるべきであるということが挙げられる。何故ならば、それらのベクトル成分に関しては確かに高い信頼度が存在するからである。更には、関連する特徴位置の近傍における動きベクトルは組織が相互に繋がっていることに基づき類似するベクトル成分を有しているべきであり、それに対して距離の離れた動き情報の影響はむしろ非常に小さくあるべきであることを考慮することが挙げられる。
【００６７】
関連する特徴点から非常に離れているベクトルは短くあるべきである。何故ならば、組織は局所的な動きを弱め、従って大域的な動きは通常存在しないからである。更に有利には、関連する特徴点における長い動きベクトルは、それよりも短いベクトルよりも広範な領域に影響を及ぼし、これはやはり、組織が相互に繋がっているということに起因する。
【００６８】
二つのベクトル成分が独立して処理される場合には、２Ｄガウス関数の重み付けされた非線形の重ね合わせによって、それら全ての判定基準を動きベクトル成分の外挿乃至内挿時に比較的良好に実現することができる。有利には、ガウスの釣鐘状の台関数（Gaussian bell-shaped base function）が各ノード（即ち関連する各ベクトル成分）にわたり位置決めされ、固有のノードにおいては最大の重みが存在し、且つ、離れたノードにおいては０のオーダの重みが存在するように重み付けされる。つまり、全てのノードにおいて本来の値は維持されたままであることを簡単に保証することができる。算術的に、ｘ成分に関するベクトルフィールドＶ＝（ｖx（ｍ，ｎ），ｖy（ｍ，ｎ））の再構成を次式によって表すことができる（ｙ成分についても、記載はしないが同様の式が存在する）。
【数３】
2014511054.tif 000005
ここで、ｄf2＝（ｍ−ｍf,x）2＋（ｎ−ｎf,x）2は各ノードの二乗距離であり、ｆ，ｃf,xはガウス関数の幅であり、ｖx（ｍ，ｎ）は位置（ｍ，ｎ）におけるｘ方向の動きベクトル成分である。その限りにおいてガウス関数はこのタスクに非常に良好に適している。何故ならば、それらのガウス関数はその最大値の近傍において高い値を想定するが、外側に向かって非常に急峻で円滑に降下するからである。即ち、Ｆxに関する各特徴点について、ガウス関数には各特徴位置（ｍf,x，ｎf,x）における最大値を加算することができ、その際、幅はベクトル成分ｃf,xに比例し、高さはベクトル成分ｃf,xに等しい。各ガウス関数の中心における正確な内挿の判定基準を維持し、また、複数の特徴点が相互に比較的近傍に位置する場合に距離の離れたベクトルの影響を低減するために、（上述の距離ｄを用いる）ｄ-4重み関数が各ガウス関数において更に使用される。最終的に、ベクトル成分はベクトル位置における全ての重み関数の和に正規化される。パラメータσを（無限大も含む）大きい範囲において選択できる場合であっても、再構成結果に大きい影響を及ぼすことなく、パラメータσを組織の安定性に応じて選択することができる。
【００６９】
ｘ成分に関する動きベクトル成分フィールドＶx及びｙ成分に関する動きベクトル成分フィールドＶyの例が図３及び図４に示されている。一つの画像に関してｘ方向及びｙ方向における５１２×５１２ピクセルを有する基本面にわたり、ｘ方向（図３）及びｙ方向（図４）における動きベクトルの長さＬ（ピクセル単位）がそれぞれ示されている。実際の動きに応じて、正の方向に延びるベクトル成分及び負の方向に延びるベクトル成分が存在している。
【００７０】
特に、基本的に変形が生じる医療用の画像データ又は他の画像データでない場合には、再構成のために他の台関数も選択することはできる。例えば、例えば背景の手前の前景を移動する対象の場合のように、カメラ記録の先行の画像における動きのセグメント化が可能である場合には、台関数が移動領域における特徴点ベクトル成分のみを外装できるように台関数を選択することができる。０とは異なる一定値を有する台関数が二乗領域内でのみ使用され、適切な動きベクトルフィールド評価が使用される場合には、その方式はブロックベースの補償モデルに類似するが、しかしながらブロック位置は最適化されている。
【００７１】
ステップ１０８においては、先行の画像Ｉn-1を基礎としてステップ１０７において再構成された密な動きベクトルフィールドに基づき、現在の画像に対する予測画像が形成され、現在の画像Ｉnから減算される。ステップ１０９においては、平均二乗誤差ＭＳＥが算出され、ステップ１１０においては、その平均二乗誤差ＭＳＥが最大許容誤差ＭＳＥMaxよりも大きいか否かが検査される。
【００７２】
大きくない場合（分岐「ｎ」）、ステップ１１１において候補特徴点が破棄される。どの候補特徴点が先ず破棄されるかの選択は、その候補特徴点の破棄がＭＳＥにどのような作用を及ぼすかに依存して行なわれる。即ち、このステップ１１１においては（図示していないループにおいては）、該当する候補特徴点を有していない各候補特徴点に対して、新たに、（ステップ１０７と同様に）非線形再構成法の範囲において密な動きベクトルフィールドが再構成され、続いて別の予測画像が形成され、現在の画像との差分が形成され、これに関して平均二乗誤差ＭＳＥが求められる。「最も重要でない」候補特徴点が破棄される。残存する候補特徴点を用いて、ステップ１０７においては密な動きベクトルフィールドが再構成され、ステップ１０８においては別の予測画像が形成され、またステップ１０９においては現在の画像との差分が形成され、これに関して平均二乗誤差ＭＳＥが求められる。最後にステップ１１０においては、平均二乗誤差ＭＳＥが依然として最大許容誤差ＭＳＥMaxを上回っていないか否かが検査され、上回っていない場合には更なるループが実行され、ステップ１１１において新たな「最も重要でない」候補特徴点が探索される。
【００７３】
これに対して、平均二乗誤差ＭＳＥが最大許容誤差ＭＳＥMaxを上回ると（ステップ１１０における分岐「ｙ」）、更に「破棄できる」候補特徴点はもはや存在しないので、選択が中断される。その場合、残存する候補特徴点は関連する特徴点ＦＰである。
【００７４】
この中断判定基準において実際には、最大許容誤差ＭＳＥMaxを僅かに上回っている、複数の関連する特徴点を用いて処理が行なわれることは明らかである。しかしながら自由に設定できる閾値が使用されるので、このことは閾値を決定する際に既に考慮することができる。
【００７５】
最適な読み出し時には、特徴点の所望の数ｎに関して特徴点の考えられるあらゆる組み合わせを検査する必要があることを顧慮しなければならない。即ち、その種の検査は、
【数４】
2014511054.tif 000006
個存在する。ここでＮは候補特徴点の個数である。しかしながら複雑性を低減するために、各特徴点に関して、その特徴点が除去されたときにＭＳＥはどのように変化するかが別個に検査される読み出し戦略を選択することができる。そのようにして、特徴点の数を次第に低減することができ、これは最終的に特徴点の数が所望の数に達するまで、又は最大ＭＳＥに達するまで反復される。この方式により、検査の回数を０．５・Ｎ・（ｎ＋１）回まで低減することができる。特徴点の選択後には各特徴位置に関して、上述のように、位置及びその位置における動きベクトルの関連する成分ｋx及びｋyが伝送乃至記憶され、それに対し、他のベクトル成分、また関連する特徴点のベクトル成分は、他のより信頼性の高い位置から推定することができる。図１２には、図１０に示した密な動きベクトルフィールドから求められた１１７０個の特徴点のセットの一例が示されている。
【００７６】
考えられる可逆の画像データ圧縮のために、再構成されたベクトルフィールドを使用し、それにより現在の画像の予測、つまり予測画像を求めることができる。各ピクセルは、動きベクトルを用いることにより、先行の画像の相応の輝度値から予測される。実際の画像データから予測画像を減算した後に更に残差データＲＤを伝送する必要がある。特に、動き補償の所望の精度でコントラストが強い領域において、予測の潜在的な問題、従って、高周波のノイズに起因する残差の潜在的な問題を低減するために、選択的に、係数２での動きベクトルフィールドの簡単なオーバサンプリングを実施することができる。図１３には、予測が相応に補償されている、再構成された動きベクトルフィールドが示されている。図１０と比較すると、この再構成された動きベクトルフィールドは、本来の実際の動きベクトルフィールドにほぼ対応していることが見て取れる。
【００７７】
伝送すべき残差データを求めるために、最後の実行時にもう一度、実際の関連のある特徴点を用いて現在の予測画像が生成され、現在の画像から減算される。その際に得られた残差データＲＤは続いて、イントラコーディング法１１２において（即ち他の画像に依存せずに）通常のやり方でコーディングされる。その際に、公知のあらゆる画像圧縮アルゴリズム乃至イントラ画像圧縮アルゴリズム、例えばウェーブレット圧縮方法（ＪＰＥＧ２０００）、又はコンテキスト適応型算術コーディング方法、例えばＪＰＥＧ−ＬＳ又はＨ．２６４／ＡＶＣを、各用途にとって何が有意義であるかに応じて、不可逆方式においても可逆方式においても使用することができる。それどころか、残差が所定の閾値を下回る領域においては、その残差の伝送又は記憶を完全に省略することができる。原則として、誤差の明示的な伝送がなくても、例えば動き補償時間フィルタリング法が使用される場合には、動き情報、即ち動きベクトルフィールド再構成パラメータを使用することができる。
【００７８】
データの可逆圧縮が所望される限り、有利には、動きベクトル情報及び残差情報の組み合わされた情報量が（所定の残差コーディング方法において）最小値に達するまで、関連する特徴位置の選択プロシージャも継続することができる。最適化のための別の可能性は、候補特徴点の最初の選択が完全には最適化されていない場合には、特徴位置に隣接する位置並びに類似のベクトル成分も（特徴点選択方法の場合と同様に）予測に対する作用に関して付加的に検査することである。そのようにして改善された予測を達成できる場合には、特徴点の位置又はベクトル成分を修正することができる。
【００７９】
関連する特徴点若しくはその特徴点に属する位置データ及びベクトル成分をエントロピコーディング方法においてコーディングし、多重化方法においてイントラコーディングされた残差データと組み合わせることができる。これはステップ１１４において行なわれる。その後、ステップ１１５においては、現在の画像に関するデータが送信され、ステップ１０１において画像シーケンスの新たなデータのコーディングが開始される。
【００８０】
オプションとして、関連する特徴点をステップ１１３において、エントロピコーディングの前に更に分類することができる。しかしながら原則的に、特徴点が伝送乃至記憶される順序は特に重要ではない。従って、簡単な「ランレベル（Runlevel）」コーディングから例えば「巡回セールスマン（Travelling-Salesman）」アルゴリズムを用いた最適なルートの計算までに及ぶ任意のアルゴリズムを使用することができる。その種の最適化された分類は、位置及び動きベクトル成分の微分エントロピコーディング方法を用いて、両者の空間的な相関を最小にすることができ、従って冗長性を更に低減することができるという利点を有している。
【００８１】
図５には、図２に基づき説明したような、コーディング方法を実施するためのコーディング装置１の考えられる構造が非常に概略的なブロック図で示されている。
【００８２】
ここで入力端Ｅにおいて画像データ、即ち、複数の画像Ｉ1，Ｉ2，．．．，Ｉn，．．．，ＩNを有する画像シーケンスＩＳが受信される。個々の画像は続いて、その都度の現在の画像が後続の画像の後のコーディングのために記憶されるバッファメモリ１６に伝送される。また個々の画像は動きベクトルフィールド算出ユニット２にも伝送され、この動きベクトルフィールド算出ユニット２においては例えば、上述のオプティカルフロー方式を用いて密な動きベクトルフィールドＶnが求められる。
【００８３】
それに並行して、信頼ベクトルフィールド算出ユニット３においては、動きベクトルフィールド算出ユニット２によって求められた密な動きベクトルフィールドＶnに基づき、並びに現在の画像Ｉn及びメモリ１６から取得される先行の画像Ｉn-1に基づき、一つの現在の信頼ベクトルフィールドＫn、若しくはｘ方向及びｙ方向に関する二つの信頼ベクトル成分フィールドが求められる。
【００８４】
それらのデータは再構成パラメータ算出ユニット４に転送される。ここでは、この再構成パラメータ算出ユニット４は最大値検出ユニット５及び特徴点選択ユニット６から構成されている。最大値検出ユニット５は先ず、上述のように候補特徴点ＫＦＰを求め、特徴点選択ユニット６は続いて候補特徴点ＫＦＰから実際の関連する特徴点ＦＰを求める。このために、特徴点選択ユニット６は動きベクトルフィールド再構成ユニット９と協働する。動きベクトルフィールド再構成ユニット９は現在の関連する特徴点に基づき、図２の方法のステップ１０７に応じて動きベクトルフィールドＶ’nを再構成し、その再構成された動きベクトルフィールドＶ’nを予測画像生成ユニット８に供給する。この予測画像生成ユニット８は方法のステップ１０８を実施し、現在の予測画像Ｉ’nを求める。付加的に、この予測画像生成ユニット８においては予測画像Ｉ’nのノイズを除去することもできる。
【００８５】
その予測画像Ｉ’nは続いて特徴点選択ユニット６に再度供給され、この特徴点選択ユニット６は平均二乗誤差ＭＳＥに依存して、更なる候補特徴点ＫＦＰが除去されるか否か、又は関連する全ての特徴点ＦＰが発見されたか否かを判定する。このことはここではスイッチ７によってシンボリックに表されている。適切な関連する特徴点ＦＰが発見されると、現在の予測画像が減算ユニット１７（例えば予測画像のための反転入力端を備えている加算器から構成されている）において現在の画像Ｉnから減算され、残りの残差乃至残差データＲＤが関連する特徴点ＦＰと共にコーディングユニット１０において結合及びコーディングされる。
【００８６】
このコーディングユニット１０は原則として任意の構造を有することができる。この実施例においては、コーディングユニット１０は、関連する特徴点ＦＰの動きベクトルデータ、即ち、その特徴点の位置及び関連するベクトル成分をコーディングすることができるエントロピコーディングユニット１３と、残差データＲＤをコーディングするイントラコーダ１１と、コーディングされた残差データＲＤ及び特徴点のコーディングされた動きベクトルデータを相互に結合し、結合されたデータを出力端Ａに出力する、イントラコーダ１１の後段に設けられているマルチプレクサユニット１４とから構成されている。この出力端Ａからデータは伝送チャネルＴを介して伝送されるか、又はメモリＳに記憶される。
【００８７】
上記において説明した構成では、関連する特徴点ＦＰはエントロピコーディングのために（図５においては接続線１５を介して）エントロピコーディングユニット１３に直接的に出力される。択一的に、位置決めユニット１２において中間ステップを実施することも可能であり、この位置決めユニット１２は関連する特徴点ＦＰを適切なやり方で分類し、それによって、それら適切に分類された特徴点ＦＰをエントロピコーディングユニット１３における後続のエントロピコーディング方法においてより好適にコーディングすることができる。
【００８８】
図６には、図２に従いコーディングされた画像データを再びデコーディングすることができる適切なデコーディング方法が示されている。この方法２００においても、画像シーケンスの最初の画像ではない、その画像シーケンスの内の一つの画像をデコーディングするための１回だけの実行について説明する。この実行はステップ２０１において開始され、先ずステップ２０２においてはコーディングされた画像データが受信されるか、又はメモリから読み出される。続くステップ２０３においては、分離、例えばイントラコーディングされた残差データ及び関連する特徴点の動きベクトルデータの多重解除並びに動きベクトルデータのデコーディングが行なわれる。
【００８９】
ステップ２０４においては、デコーディングされた動きベクトルデータに基づき、図２に示したコーディング方法１００のステップ１０７と全く同様にして、密な動きベクトルフィールドＶ’nが再構成される。並行して、ステップ２０５においては、残差データＲＤのイントラデコーディングが実施される。ステップ２０６においては、前回の実行時のステップ２０７において格納された先行の画像Ｉn-1並びにステップ２０４において生成された動きベクトルフィールドＶ’nに基づき予測画像Ｉ’nが生成され、この予測画像Ｉ’nは続くステップ２０８において、デコーディングされた残差データＲＤと組み合わされ、それにより現在の画像Ｉnが生じ、この現在の画像Ｉnは続くステップ２０９において更に使用される。最終的に、この方法はステップ２０１において、後続の画像Ｉn+1をデコーディングするために再び開始される。更に、生成された画像Ｉnはステップ２０７において後続の実行のために記憶される。
【００９０】
コーディング方法１００に応じて、図６によるデコーディング方法ではデコーディングも成分毎に別個に行なわれる。即ち、ｘ方向及びｙ方向に関して別個の動きベクトルフィールドＶ’n（又は動きベクトル成分フィールド）が再構成される。しかしながらこのことは、分かり易くするために図面には示していない。
【００９１】
図７には、適切なデコーディング装置２０が非常に概略的なブロック図で示されている。入力端Ｅにおいて伝送チャネルＴ又はメモリＳからコーディングされたデータを受信した後に、それらのデータは先ず分離ユニット２１例えばデマルチプレクサに供給される。コーディングされた残差データはイントラデコーダ２３に供給され、このイントラデコーダ２３は残差データＲＤをデコーディングする。関連する特徴点のコーディングされた動きベクトルデータはデコーディングユニット２２、例えばエントロピデコーダ、特に算術的なデコーダに供給され、このデコーダは動きベクトルデータをデコーディングし、位置、即ち関連する特徴点に関する位置情報ＦＰＯ並びに関連する特徴点ＦＰの動きベクトル成分ＦＰＫを動きベクトルフィールド再構成ユニット２４に供給する。この動きベクトルフィールド再構成ユニット２４は原則として、画像コーディング装置１の動きベクトルフィールド再構成ユニット９と同様に構成されている。再構成された密な動きベクトルフィールドＶ’nは続いて予測画像生成ユニット２６に供給され、この予測画像生成ユニット２６もやはり画像コーディング装置１の予測画像生成ユニット８と同様に構成されている。同様にノイズ除去を行なうこともできる。続いて、加算器２７において予測画像が残差データＲＤと結合され、出力端Ａにおいてデコーディングされた画像シーケンスＩＳを再び出力することができる。更に前もって、バッファメモリ２５において現在のデコーディングされた画像Ｉnが格納され、その画像を後続の実行時に予測画像生成ユニット２６において使用することができる。
【００９２】
ブロックベースの方法とは異なる本発明による方法の主たる利点は、動きベクトルフィールドが円滑であり、またそれに伴い、ブロックアーチファクトが回避されることである。これによって、空間的な冗長性の後続の使用はブロック内のピクセルに限定されず、より良好な残差コーディング方法を使用することができる。
【００９３】
図８には、時間的且つ空間的な予測に応じて、動き情報量ＢＩ（単位ビット／ピクセル）の増加と共に平均残差データ量（単位ビット／ピクセル）がどのように変化するかが示されている。ここで動き情報量ＢＩは、本方法において伝送すべき動き情報、即ち動きベクトル乃至動きベクトル成分及びその位置に関するデータ量である。この図８においては、ブロックベースのモデルに関する曲線（破線）並びに本発明による方法に関する曲線（一点鎖線）が示されている。実線で表されている曲線は補完的に、本発明による方法を用いる、動き情報量及び残差情報量から成る総情報量（単位ビット／ピクセル）を示し、ここでは残差コーディングのために比較的簡単な圧縮方法が使用された。比較のために、動き評価を行なわずに先行の画像が直接的に予測に使用された方法に関する総情報量（単位ビット／ピクセル、破線の曲線）が付加的に示されている。図示のように、ブロックベースのモデルはむしろ原則的には、予測が先行の画像を直接的に基礎とする方法よりも好適ではない。これとは異なり、本発明による方法を用いることにより、付加的な動きベクトル情報が付加される場合には残差情報量は減少する。本発明による方法における総情報の最大値は、約１〜２ｋＢの動き情報量毎画像において達成される。例えば、図１０及び図１１に示された画像においては、この最大値は１１７０個の動きベクトル成分でもって達成され、これは図１２に示されている。最大値の位置は実際の動きに依存する。ブロックベースの方法の結果が比較的良くないことの第１の原因はブロックアーチファクトである。動き情報量が非常に多い場合にのみ、即ちブロックサイズが小さい場合にのみ、ブロックベースの方法はより良く機能する。もっともその場合には、総情報量も本発明による方法における総情報量と比較して著しく多くなる。
【００９４】
図１４には、図１０から図１３に応じて本発明による方法を用いて生成された残差画像が示されている。比較のために、図１５にはブロックベースの方法を用いて生成された相応の残差画像が示されている。これらの画像の正確な比較により、本発明による方法においてはブロックアーチファクトが生じず、従って輝度変化が大きく、また動きが比較的滑らかな領域においては比較的少ない残差が生じることが分かった。
【００９５】
図９には、比較のために、ここでは平均二乗誤差ＭＳＥの形の残差量が、本発明による方法（実線）及びブロックベースの方法（破線）において、動き情報量ＢＩ（単位ビット／ピクセル）と共にどのように変化するかが再度示されている。残差エラーは平均動き情報量迄はほぼ等しく、また動きベクトル情報が多い場合にのみ、ブロックベースの方法によって比較的少ない残差が生じる。このことによって図８における実線の曲線の上昇を説明することができる。
【００９６】
即ち、所定の信頼度に依存する関連する特徴点の動きベクトル成分のみが伝送乃至記憶される、本発明による方法の上述のヴァリエーションは、他の方法と比較すると、副次的な情報が非常に少ないことが分かった。従って総じて、その種の方法でもって、可逆性の圧縮が行なわれる場合であってもデータ量を大幅に低減することができる。ブロックベースの方法とは異なり、不可逆性の方法におけるブロックアーチファクトは基本的には回避される。
【００９７】
以下では二つの別のコーディング方法３００，５００を説明する。本発明によるそれらの方法では、動きベクトルフィールド再構成パラメータを求めるために信頼ベクトルフィールドを使用することができる。いずれの方法も、動きベクトルフィールドを台関数の線形の重畳によって再構成するために、信頼ベクトルフィールドを用いてコーダ側において係数を求めることを基礎としている。
【００９８】
その種の方法３００の簡単なヴァリエーションのフローチャートが図１６に示されている。ここでもまた、既に先行の画像が格納されており、またその先行の画像を画像コーディングの範囲において使用することができることを前提として、画像シーケンスの一つの画像Ｉnの処理についてのみ説明する。
【００９９】
この方法はステップ３０１で開始され、ステップ３０２においては先ず、生データ画像Ｉnが読み出され、一方ではステップ３０３において後続の画像のコーディングのために格納され、他方ではステップ３０４において現在の画像Ｉnに関する密な動きベクトルフィールドＶnが生成される。続くステップ３０５においては、密な動きベクトルフィールドＶn及び現在の画像Ｉnに基づき、信頼ベクトルフィールドＫnが決定される。ステップ３０４及び３０５は図２に示した方法におけるステップ１０４及び１０５とは相異しないので、それらのステップ１０４及び１０５についての説明を参照されたい。
【０１００】
しかしながら、ステップ３０７においては、ステップ３０６においてメモリから読み出された複数の所定の台関数の線形組み合わせによって密な動きベクトルフィールドを表すために適切な係数が決定される。これはｃに応じたターゲット関数
【数５】
2014511054.tif 000007
の最小化によって行なわれる。ここで、ｖは一つの列に現在の密な動きベクトルフィールドＶnの全てのベクトル成分を含んでいるベクトルである。即ち、画像がｑ＝Ｍ・Ｎ個の個々のピクセルを含む場合に、ｖは長さｑを有しており、個々のベクトル要素は密な動きベクトルフィールドの連続的に表される成分に対応している。従って、５１２×５１２ピクセルを有する画像が処理される場合には、ベクトルｂは全部で５１２×５１２＝２６２，１４４個の要素を有している。ここでは先ず、ただ一つの成分、例えばｘ成分のみを考察する。何故ならば、本発明による方法のこの第２の実施の形態においても、考察は成分毎に行なわれるからである。即ち、係数はｘ成分及びｙ成分に対して別個に求められるので、それらの成分に対して別個に、最適化が式（４）に応じて実施される。択一的に、例えば２倍の数の成分を有している単一の総ベクトルｖも使用されるか、又は、例えば角度及びベクトル長に応じて分離が実施されること等が考えられる。ここでｃは所望の係数を有するベクトルである（従って、ｃは以下では単に総括的に係数の総称を表す）。従ってｐ個の台関数が使用される場合、ベクトルｃはｐ個の要素を有しているべきである。台関数の個数に関して考えられる例では、ｐ＝２５６、ｐ＝１０２４又はｐ＝１００００である。しかしながら他の任意の値を選択することもできる。
【０１０１】
Ｂはｑ×ｐ台関数マトリクスであり、この台関数マトリクスはその列に所定の台関数ｂ1，．．．，ｂpを含む。即ち、Ｂ＝（ｂ1，ｂ2，ｂ3，．．．）（従って、Ｂは以下では単に総括的に台関数の総称を表す）。現在の画像に関する信頼値乃至信頼ベクトルフィールドＫnは式（４）において簡単に一種の重み付け関数Ｋとして考慮され、対角線上に重み値を有し、マトリクスの残部においては０を有しているｑ×ｑマトリクスが使用される。
【０１０２】
式（４）による重み付けされた線形回帰では、高い信頼値を有する動きベクトルは、低い信頼値を有するベクトルよりも良好に近似される。これによって、密な動きベクトルフィールドを再構成するために、信頼値を考慮せずに行なわれる場合よりも遙かに有用な係数が自動的に求められる。
【０１０３】
係数ｃが決定されると、ステップ３０８においては、所定の台関数Ｂと、ステップ３０７において先行して決定された係数ｃとに基づき、線形のベクトルフィールド再構成が行なわれる。続くステップ３０９においては、そのようにして再構成された密な動きベクトルフィールド及び先行の画像を用いて予測画像が生成され、この予測画像が現在の画像から減算され、それにより残差データが求められる。ステップ３１０においては、それらの残差データがイントラコーディング方法によってコーディングされる。続くステップ３１１においては、係数ｃが動きベクトルフィールド再構成パラメータとしてエントロピコーディング部に供給され、イントラコーディングされた残差データＲＤと結合され、それにより続くステップ３１２においては、残差データＲＤと結合された係数ｃを送信又は記憶することができる。その後、ステップ３０１において画像シーケンスの次の画像のコーディングが開始される。
【０１０４】
図１６によるコーディング方法３００は、台関数ｂ1，ｂ2，ｂ3，．．．の理想的な可能な限り小さいセットが事前に選択され、そのセットがデコーダにも既知であることを前提とする。この代替案として、図１７には若干変更されたコーディング方法５００が示されている。
【０１０５】
ステップ５０１，５０２，５０３，５０４及び５０５は図１６に示した方法におけるステップ３０１から３０５に厳密に対応している。即ち、ＲＡＷ画像Ｉnが読み出され、後続の画像Ｉnのコーディングのために格納され、それと同時に、現在の画像Ｉnに基づき密な動きベクトルフィールドＶnが求められ、それに基づき信頼ベクトルフィールドＫnが求められる。
【０１０６】
しかしながら、図１６に示したコーディング方法３００とは異なり、図１７に示したコーディング方法５００では、密な動きベクトルフィールドＶn及び信頼ベクトルフィールドＫnに基づき、係数乃至係数ベクトルｃが決定されるだけでなく、最適な台関数ｂ1，．．．，ｂp乃至台関数マトリクスＢも決定される。
【０１０７】
このことは、ステップ５０６−５１７から成るループを複数回実行することによって行なわれる。ループを１回実行する度に「最善の」台関数及び所属の係数が求められる。各ループ実行時には、ステップ５０７−５１２から成る内側ループが何度も実行され、それにより「最善の」台関数（及び所属の係数）が考えられる所定の台関数の比較的大きいグループから選択される。
【０１０８】
このために、ステップ５０６において制御変数及び目標値が初期化される。例えば制御変数は０にセットされ、目標値は無限大にセットされる。内側ループのステップ５０７においては、ステップの実行の度に（例えば制御変数の値を１ずつ増加させることによって）制御変数の増分が行なわれる。ステップ５０８においては、制御変数の値を照会することによって、考えられる台関数の比較的大きいグループの全ての台関数が既に検査されたか否かが検査される。このために、制御変数が依然として、選択に使用される台関数の数を下回っているか否かを簡単に管理することができる。全ての台関数が既に検査されている場合（分岐「ｙ」）、ステップ５１０において式（４）に類似する最適化が実施される。しかしながらここでは、式
【数６】
2014511054.tif 000008
はｃに応じて最小化される。現在の画像に関する信頼値乃至信頼ベクトルフィールドＫnは式（５）においてもマトリクスＫによって考慮される。しかしながら式（４）とは異なり、ここではｂが単に、ループ５０７−５１２の実行時にその都度検査することができる、考えられる所定の台関数のグループの中からただ一つの台関数ｂを有するベクトルである。このために、ステップ５０９においては、台関数のその比較的大きいグループの中から一つの台関数が選択される。原則としてこれは任意の順序で実施することができ、ループ５０７−５１２が何度も実行される場合に、選択の対象となる複数の台関数はそれぞれ一度だけ検査されることのみが保証されていればよい。
【０１０９】
従って、ｃはここでは、式（４）とは異なり、所望の係数を有する係数ではなく、各台関数ｂに適した単一の係数、即ちスカラーである。
【０１１０】
外側ループ５０６−５１７の最初の実行時にのみ、式（５）におけるベクトルｖは現在の密な動きベクトルフィールドＶnを表す。この外側ループの更なる実行時には、ベクトルｖは単に「残存動きベクトルフィールド」を表し、この残存動きベクトルフィールドから、先行の実行時に既に求められた台関数及び係数を用いて再構成可能なベクトルフィールドが減算される。即ち、反復の度に外側ループにおいてベクトルｖが更新される：
【数７】
2014511054.tif 000009
【０１１１】
ステップ５１０においては、現在検査されている台関数ｂに関して最適な係数ｃを発見するために、関数が式（５）によれば係数ｃに応じて最小化される。ステップ５１１においては、その際に得られる関数値が、ステップ５０６において初期化された目標値と比較される。関数値が目標値を下回ると（分岐「ｙ」）、ステップ５１２においては、目標値が関数値に置換されることによって目標値が更新される。このことは、ステップ５０６における目標値の初期化に基づき、内側ループの最初の実行時には常に行なわれる。更にステップ５１２においては、現在検査されている台関数ｂ及び所属の最適化された係数ｃが一時的な最適値として記憶される。
【０１１２】
続くステップ５０７においては、制御変数が再び増分され、内側ループが再度実行され、その際、ステップ５０９においては台関数の中から別の台関数ｂが選択され、ステップ５１０においては新たな台関数ｂを用いた式（５）の最小化によって、その台関数ｃに関する最適な係数ｃが求められる。続くステップ５１１の判定において、現在の関数値が更新された目標値を下回っていること（分岐「ｙ」）、即ち、現在の台関数が先行の「最善の」台関数に比べて「より良い」ことが確認されると、ステップ５１２においては目標値の更新が再度行なわれ、現在検査された台関数ｂ及び所属の最適化された係数ｃが新たな一時的な最適値として記憶される。目標値を下回っていない場合には（分岐「ｎ」）、ステップ５０７に即座に戻り、制御変数が増分され、続いて新たな台関数が検査される。
【０１１３】
内側ループ５０７−５１２の複数回の実行の内の１回において、制御変数が選択される台関数の個数に達したこと、即ち、全ての台関数が検査されたことがステップ５０８で確認されると、内側ループは終了する（分岐「ｎ」）。
【０１１４】
続くステップ５１３においては、式（６）に基づき上記において説明したベクトルｖの更新が行なわれ、その更新時に、先行して内側ループにおいて発見された「最善の」台関数ｂ及び所属の「最善の」係数ｃが使用される。更にこのステップにおいては、発見された台関数ｂが台関数マトリクスＢに取り入れられ、また所属の係数ｃが係数ベクトルｃに取り入れられ、それにより最終的には、本方法の全体の結果として、図１６に示した方法の場合と同様に最適な台関数マトリクスＢ及び最適な係数ベクトルｃが存在する（もっとも図１６に示した方法では、係数ｃのみが探索され、台関数マトリクスＢは予め規定されている）。
【０１１５】
続くステップ５１４においては、図１６によるステップ３０８と同様に、既存の台関数及び係数に基づき、線形のベクトルフィールド再構成が実施される。続くステップ５１５においては、そのようにして再構成された密な動きベクトルフィールド及び先行の画像を用いて予測画像が再度生成され、この予測画像が現在の画像から減算され、それにより残差データが求められる。
【０１１６】
ステップ５１６においては、平均二乗誤差ＭＳＥが算出され、ステップ５１７においては、その平均二乗誤差ＭＳＥが最大許容誤差ＭＳＥMaxよりも大きいか否かが検査される。平均二乗誤差ＭＳＥが最大許容誤差ＭＳＥMaxよりも小さい場合には（分岐「ｎ」）、ステップ５０６に戻り、このステップ５０６においては、台関数Ｂの従来のセット、即ち台関数マトリクスＢを拡張乃至補完するために、別の最適な台関数を探索することができ、それにより、密な動きベクトルフィールドの再構成は更に改善される。続いて、先ず、制御変数及び目標値が再び初期化され、内側ループ５０７−５１２が選択される全ての台関数に対して再度実行される。
【０１１７】
ステップ５１７において、平均二乗誤差ＭＳＥが最大許容誤差ＭＳＥMaxよりも小さいことが確認されると（分岐「ｙ」）、全ての最適な台関数Ｂ及び所属の係数ｃが発見されているので（この方法においても、マトリクス乃至ベクトルとして表すことに依存せずに、符号Ｂでもって台関数を包括的に表し、また符号ｃでもって所属の係数を包括的に表す）、本方法は終了する。終了に関する択一的なヴァリエーションでは、台関数が所定数に達したときにも本方法はステップ５１７において終了する。
【０１１８】
ステップ５１８における残差データＲＤのイントラコーディング、ステップ５１９における例えば多重化方法の範囲での動きベクトルフィールド再構成パラメータとしての係数ｃ及び台関数Ｂのエントロピコーディング並びにコーディングされた残差データとの結合、及び、それに続くステップ５２０における伝送又は記憶はここでもまた、図１６におけるステップ３１０，３１１及び３１２における構成に対応している。記憶容量乃至伝送容量を節約するために、実際には、台関数Ｂをデコーダにおいて識別するには十分である程度の制限的な情報、例えばデコーダには既知である選択肢の多い台関数のインデクス番号等しか伝送されない。場合によっては、解析関数としての台関数（例えばｃｏｓ（１０・ｘ＋３・ｙ））のコーディングも可能である。従って以下では、台関数Ｂのコーディング乃至伝送及び／又は記憶は通常の場合、容量が低減された形態でのその種の情報伝送であると解される。
【０１１９】
完全を期すために、図１７によるコーディング方法５００においても、他の方法１００，３００と同様に、係数及び台関数は成分毎に別個にｘ方向及びｙ方向に関して求められることを述べておく。従ってこのことは、後に説明する、このコーディング方法のためのデコーディング方法に関しても該当する。
【０１２０】
図１８には、図１６及び図１７による方法を実施するために使用することができる画像コーディング装置１’の簡略化されたブロック回路図が示されている。実質的に、この画像コーディング装置１’は図５に示した画像コーディング装置１と非常に類似する構造を有している。ここでもまた、入力端Ｅにおいて画像シーケンスＩＳが受信され、現在の画像Ｉnが先ずバッファメモリ１６に格納される。更に、動きベクトルフィールド算出ユニット２において、現在の画像に関する密な動きベクトルフィールドＶnが生成され、信頼ベクトルフィールド算出ユニット３において、信頼ベクトルフィールドＫnが求められる。
【０１２１】
しかしながら、再構成パラメータ算出ユニット４’はここでは、図１６による方法３００において方法ステップ３０２を実施するか、又は、図１７による方法５００において方法ステップ５０７から５１７を開始乃至制御する、回帰変換ユニットから成る。
【０１２２】
図５による実施例と同様に、この装置も動きベクトルフィールド再構成ユニット９’を有しているが、しかしながらこの動きベクトルフィールド再構成ユニット９’はここでは、所定の台関数Ｂ又は同様に求められた台関数Ｂと求められた係数ｃとを線形に組み合わせることによってベクトルフィールドを再構成し、この再構成は図１６による方法３００におけるステップ３０８に基づき、又は図１７による方法５００におけるステップ５１４に基づき既に説明したように実施される。
【０１２３】
予測画像生成ユニット８は方法ステップ３０９又は５１５に応じて予測画像を生成するために使用される。この予測画像は減算素子１７において現在の画像から減算され、それにより残差データＲＤが取得される。
【０１２４】
現在の係数ｃ、また必要に応じて図１７による方法において求められた台関数Ｂは続いて、コーディング及び結合の完了したデータを出力端Ａにおいて伝送チャネルＴに伝送するか、又はメモリＳに記憶するために、残差データＲＤと同様にコーディングユニット１０’に供給される。ここではコーディングユニット１０’が、残差データＲＤをコーディングするためのイントラコーディングユニット１１と、係数ｃをコーディングし、また必要に応じて所属の台関数Ｂもコーディングするエントロピコーディングユニット１３’とから構成されている。ブロック１３’及びブロック１１からのコーディングされたデータは続いてマルチプレクサ１４’において相互に結合される。
【０１２５】
図１９には、デコーディングユニット側において、方法３００又は方法５００を用いてコーディングされた画像データをどのようにして再びデコーディングすることができるかが示されている。ここでもまた、既に先行の画像に関するデータが存在することを前提として、画像シーケンスの一つの画像のデコーディングについてのみ説明する。デコーディング方法４００はステップ４０１において開始され、先ずステップ４０２においては、コーディングされたデータが読み込まれる。続くステップ４０３においては、再びデータの多重解除が行なわれ、また動きベクトルフィールドの再構成に必要な係数ｃ、また必要に応じて台関数Ｂのエントロピコーディングが行なわれる。このステップにおいては、残差データが分離され、それらの残差データがステップ４０５においてイントラコーディング部に供給される。動きベクトルフィールドを再構成するための情報ｃ，Ｂは続くステップ４０４において、台関数Ｂと所定の係数ｃとの線形の組み合わせによって動きベクトルフィールドＶ’nを再構成するために使用される。続くステップ４０６においては、前回の実行時に記憶された画像Ｉn-1（ステップ４０７）に基づき予測画像を生成するために、動きベクトルフィールドＶ’nが使用される。続くステップ４０８においては、予測画像がデコーディングされた残差データＲＤと結合され、それにより、ステップ４０９においては完成した現在の生データ画像Ｉnを出力することができるか、又は更に使用することができる。
【０１２６】
図２０には、やはり図７に示したデコーディング装置２０と非常に類似する構造を有しているデコーディング装置２０’の簡略化されたブロック図が示されている。ここでもまた、伝送チャネルＴ又はメモリＳからのコーディングされたデータが入力端Ｅにおいて受信される。分離ユニット２１’、例えばデマルチプレクサにおいて、先ず、コーディングされた残差データ及びコーディングされた動きベクトルフィールド再構成パラメータ、ここでは係数ｃ、また必要に応じて台関数Ｂの分離が図１７の方法５００に応じて行なわれる。それらのコーディングされた動きベクトルフィールド再構成パラメータｃ，Ｂは続いて、デコーディングユニット２２’においてデコーディングされ、動きベクトルフィールド再構成ユニット２４’に伝送される。ここで、コーディングのために図１６によるコーディング方法３００が使用された場合には係数ｃのみを伝送すれば良く、動きベクトルフィールド再構成ユニット２４’は必要な所定の台関数Ｂをメモリ２８から取得する。図１７によるコーディング方法５００を用いてコーディングが行なわれる場合には、このメモリ２８には、例えばコーディングの際に選択可能な全ての台関数が格納される。伝送され、また相応にデコーディングユニット２２’から供給される、選択された台関数Ｂを識別するための情報は続いて、それらの台関数Ｂをメモリ２８において発見するために使用される。
【０１２７】
動きベクトルフィールド再構成ユニット２４’によって再構成された密な動きベクトルフィールドＶ’nは続いて予測画像生成ユニット２６に供給され、この予測画像生成ユニット２６は、再構成された動きベクトルフィールドと、バッファメモリ２５から取り出すことができる、事前に記憶された画像Ｉn-1とから予測画像Ｉ’nを生成する。それに並行して、コーディングされた残差データはイントラデコーダ２３によってデコーディングされ、残差データＲＤは続いて加算器２７において予測画像Ｉ’nと重畳され、それにより最終的に、画像シーケンスＩＳの完全なデコーディングされた画像Ｉnが生成される。このデコーディングされた画像Ｉ’nはやはり後続の画像のデコーディングのためにバッファメモリ２５に格納され、また出力端Ａにおいて更なる使用のために出力される。
【０１２８】
最後に、上記において詳細に説明した方法及び構造は実施例に過ぎず、本発明の範囲から逸脱することなく、特許請求の範囲に記載されている限りにおいて当業者は基本原理を広範に変更することも可能であることを再度言及しておく。本明細書では本発明を医療分野における画像に基づき説明したが、本発明は他の画像シーケンスをコーディングするためにも有効に使用することができ、特に、それらの画像シーケンスが比較的大きい変形運動を示す場合に使用することができる。また完全を期すために、「ある」といった不定冠詞の使用は、該当する特徴が複数存在する可能性があることを排除するものではないことを述べておく。同様に、「ユニット」という概念は、必要に応じて空間的に分散させることもできる複数のコンポーネントから構成されていることを排除するものではない。
【図１】
2014511054.tif 000010
【図２】
2014511054.tif 000011
【図３】
2014511054.tif 000012
【図４】
2014511054.tif 000013
【図５】
2014511054.tif 000014
【図６】
2014511054.tif 000015
【図７】
2014511054.tif 000016
【図８】
2014511054.tif 000017
【図９】
2014511054.tif 000018
【図１０】
2014511054.tif 000019
【図１１】
2014511054.tif 000020
【図１２】
2014511054.tif 000021
【図１３】
2014511054.tif 000022
【図１４】
2014511054.tif 000023
【図１５】
2014511054.tif 000024
【図１６】
2014511054.tif 000025
【図１７】
2014511054.tif 000026
【図１８】
2014511054.tif 000027
【図１９】
2014511054.tif 000028
【図２０】
2014511054.tif 000029
【国際調査報告】
2014511054.tif 000030
2014511054.tif 000031
2014511054.tif 000032
2014511054.tif 000033
2014511054.tif 000034
2014511054.tif 000035