(57)【特許請求の範囲】
【請求項１】
一連の画像における各画像を複数の解像水準に対し階層的分解を行うことにより前記一連の画像における動きを階層的に予測する方法において、
前記画像を分解して低周波画像、前記画像の水平方向における高周波画像および前記画像の垂直方向における高周波画像を与えるステップと、
前記低周波画像および前記高周波画像の多重解像度ピラミッドを構築するステップと、各ピラミッド独立に各解像度に対して動き予測を計算し、同一解像度における高周波ピラミッドにつき得られた動き予測を考慮して低周波ピラミッド用に計算された動き予測を豊富にするステップと
をそなえたことを特徴とする一連の画像における動きの階層的予測を行う方法。
【請求項２】
請求項１記載の方法において、
前記階層的分解は、前記画像を前記画像のサブバンドに階層的に分解して、前記階層的分解の各解像度水準で前記画像の前記垂直および前記水平の輪郭を表す前記サブバンドを保持する方法。
【請求項３】
請求項２記載の方法において、
現在の点近傍に中心を持つ点のＮ×Ｍブロックを、直前の画像における対応する点と相関させることにより現在の画像における複数の点の各々についての動作予測を行い、解像度の現在の水準における変位が解像度の先行する水準で計算された変位の近傍で調べられる方法。
【請求項４】
請求項３記載の方法において、
前記動作予測は、前記ピラミッドの各々における階層的方法により行われる方法。
【請求項５】
請求項３または４記載の方法において、
各予測に対しておよび所与の解像度水準において４つの予測ベクトルが用いられ、これらのベクトルは低位の解像度水準における点の各予測ベクトルを、考慮されている前記解像度水準における前記点を取り巻く16個の対応する点に割り当てることにより得られる方法。
【請求項６】
請求項５記載の方法において、
低位解像度水準の４つの予測ベクトルが用いられ、
最小相互変位画像差を提供する変位ベクトルが、解像度の所定水準における予測を始めるために、前記４つの予測ベクトルにおける各々の近傍で調べられる方法。
【請求項７】
請求項１記載の方法において、
前記動作予測は、対応する高周波画像の変化の関数として決定される閾値よりも大きい場合のみ、高周波数ピラミッド用に得られるものによって豊富化される方法。
【請求項８】
請求項１記載の方法において、
動作予測は、動作ベクトルの成分により決まり、オフセット誤差は各ピラミッド用に計算された成分の一つである動作ベクトルにしたがって低周波数画像上で計算されたものである方法。
【発明の詳細な説明】
本発明は、画像のスペクトルを複数のサブバンドに分解することに基づく、画像の階層的推定方法に関する。
画像に直接作用し、また相関技法または傾斜技法に基づく動き推定用の従来のアルゴリズムでは、画像の動き量が大きいか、あるいは画像領域が一定である場合には満足すべき結果は得られない。さらに、画像の微細な部分の動きは、一般に表示が非常に不良となる。
本発明の目的は、上記の欠点を改善することにある。
この目的についての本発明の対象は、解像度の水準に応じて画像の階層的分解を実行すること、解像度の最も粗い水準において全体的な動きを評価すること、および解像度の増加に伴って各水準における推定値を向上せしめること、を特徴とする画像の連続的動きを階層的に評価するための方法である。
本発明は、２つの連続する画像の間におけるベクトルの変位場の計算を行なうことができるという主な利点を有する。この変位場は、１画像よりも小さい変位精度で、画像の各画素について確定することができる。さらに、解像度の増加する高周波画像の２つのピラミッドを加えることによって、本発明は単一ピラミッドの低周波の簡単な推定値中に消失するような、画像の微細な動きを復元することができる。
本発明の方法はまた、実フィールドに近い動きフィールドを必要とする全ての画像処理装置、例えば高精細度テレビジョンに応用する場合において、50Hz/100Hz標準変換用、フレームのインタレース解除用、または50Hz/100Hz変換用の装置など、に使用することができる利点を有する。
その他の本発明の特徴と利点は、添付図面を参照して以下に述べる説明から明らかになるであろう。
図１は、多重解像度ピラミッドを示す図である。
図２は、画像をサブバンドに分解した状態を示す図である。
図３は、画像をサブバンドに分解するための基本モジュールの１実施態様を示す図である。
図４は、画像をそのサブバンドから再構成するための基本モジュールの１実施態様を示す図である。
図５は、３回の連続的な繰り返しに続く画像のスペクトル分割を示す図である。
図６は、３個の基本セルから得られた画像分解用のトリーを示す図である。
図７は、４段階の解像度用に得られた３つのピラミッド構造を示す図である。
図８は、連続する２つの画像間に表わされた動きベクトルを示す図である。
図９および図10は、解像度の粗い画像から解像度の細かい画像への変位ベクトルを投影した２つの実施例を示す図である。
図11は、提示された変化ベクトルの間の可能な選択の説明図である。
図12は、低周波ピラミッドについての推定値を計算するために、高周波ピラミッドについて得られた推定値の融合の実施例を示す図である。
図13は、本発明の方法によって使用される処理アルゴリズムの説明図である。
図14は、動きフィールドを１画素よりも小さい精度で推定することができる内挿曲線を示す図である。
本発明によれば、一連の画像における動きの解析は階層的な方法で行なわれる。これは、最初に画像の粗い解像度で全体的な動きを推定し、次いでこの推定値を、処理される画像の解像度が増加するにしたがって、精細化することにある。
図１において、解像度2-jの画像の集合で構成された多重解像度の画像ピラミッドについて説明する。ここで、ｊは間隔〔o,j〕に属し、完全解像度画像はｊ＝０に相当する。したがって、解像度2-jの水準において行なわれた推定は、さらに高水準の解像度2-(j-1)においてなされる推定の初期化に役立つ。本発明は、３種のかかる多重解像度ピラミッドを用いる。その一つは低周波画像のピラミッドであり、もう一つは高周波画像のピラミッドである。これらの３種のピラミッドは、もちろん画像のサブバンドに階層分解することによって得られる。
画像スペクトルの分割様式は、直交２次元の基準系中に存在する、４種の周波数帯域I1,I2,I3およびI4にしたがって、図２中に示されている。基準系は２つの軸ωｘおよびωｙを含んでおり、その上にそれぞれ画像の幅および画像の高さによって周期中で測定される空間周波数ωｘおよびωｙが載っている。
帯域I1は、低周波の領域に対応し、残りの３帯域I2,I3およびI4は高周波の領域に対応している。このような分割は、例えば、図３に示した方法で組織された分割モジュールによって得ることができる。このモジュールは、（11,12および13）の参照番号を付し、２つの回路（21,22および23）によりデシメータ（1/10除算器）に結合された一次元高域（H1）フィルタの第１のセット、および２つの回路（41,42および43）によってデシメータに結合された一次元低域（H0）フィルタ（31,32および33）の第２のセットを収容している。フィルタ11および32は、それぞれの入力に加えられる画像Ｉのコラムに沿って第１の濾波を実行する。
フィルタ12と31は、既に高域フィルタ11およびデシメータ21によって濾波および２だけデシメートされている、点上の画像の線に沿って濾波を実行する。フィルタ13および33は、既に低域フィルタ32およびデシメータ41によって濾波および２だけデシメートされている点上の画像の線に沿って濾波を実行する。フィルタ33,13,31および12の出力は、その順に、画像Ｉを図２の４つのサブバンドI1,I2,I3およびI4にオリジナル画像Ｉの分解をそれぞれ行なうために、２だけデシメートされる。
画像Ｉの部分画像I1,I2,I3およびI4からの再構成は、図４に示した方法で、下記の関係により複素変数の複素平面内に限定された伝達関数を持つ、（G1）フィルタ51ないし53および（G0）フィルタ54,55および57よって得ることができる。
G0（Ｚ）＝2H1（−Ｚ）/D（Ｚ）             （１）
G1（Ｚ）＝−2H0（−Ｚ）/D（Ｚ）           （２）
ここで、Ｄ（Ｚ）
＝H0（Ｚ）・H1（−Ｚ）−H0（−Ｚ）・H1（Ｚ）（３）
図４において、サブバンドI1,I2,I3およびI4内で得られる画像の要素は、それぞれ61,64で示した２倍オーバサンプラを通ってフィルタ56,52,54および51の出力にそれぞれ加えられる。
一方において、フィルタ51および54の出力が、また他方において、52および56の出力が、それぞれ加算回路71,72に結合される。この加算回路71および72の出力は、それぞれオーバサンプラ81,82を通って、フィルタ55,57にそれぞれ結合される。生成する画像は、フィルタ55,57の出力にそれぞれ結合された加算回路９の出力として得られる。
式（１）および式（２）で説明したG0フィルタとG1フィルタとによって、フィルタH0およびH1が何であっても、オリジナル画像を完全に再構成することができる。それにも拘らず、有限演算における数値上の安定性から、有限パルス応答FIRを有するフィルタの使用が好ましい。さらに、有限パルス応答FIR付きのフィルタは、特に中間の解像度に相当する濾波が重要である場合、画像処理によく適用されるリニア相で構成することができる。かかる状態において、再構成フィルタは、次式のように定められた転送機能を持たなければならない。
G0（Ｚ）＝2H1（−Ｚ）                     （４）
および
G1（Ｚ）＝−2H0（−Ｚ）                   （５）
上式（４）および（５）の関係は、帯域間の重なりを除去する利点がある。したがって、オリジナル画像を完全に構成するための状態は、Ｄ（Ｚ）＝ZLで表される。
１つの表示として、フィルタH0およびH1を作成するために、“QMF"もしくは“CQF"の略語で知られる、求積ミラーフィルタもしくは共役求積フィルタを使用することが可能であり、それらに関する説明は次の論文に記述されている。
○  M.J.D.Johnston“求積ミラーフィルタ使用のためのフィルタ群の設計",Proceeding ICAST,P291〜294（1980年発行）
○  M.K.J.SmithおよびTP Barnwell“トリー構造サブバンド・コーダ用の正確な再構成の技術",IEEE ASSP vol.34,No.3（1986年６月発行）
○  M.C.Galandの論文、“サブバンドにおける符号化−ワードシグナルのデジタル圧縮に関する理論と応用"Nice（1983年）
図３および図４に記載されている、これらの種類における基本の分解モジュール配列は、多様な形状に沿ってスペクトルの分割を可能にする利点がある。スペクトルの１階層的分割が動き推定子として使用される。
３分割のモジュールを用いる１つの例は、図５に表示されており、相当する分解トリーを図６に示す。
この分解により、解像度の増大する高周波画像の３つのピラミッドが直接、確立される。
図５において、画像の周波数の水平軸Ｘ方向に広がる高周波画像は、区画3.2〜2.2、さらに1.2によって形成される。周波数の垂直軸Ｙ方向に広がる高周波画像は、ブロック3.3〜2.3、さらに1.3によって形成される。また、Ｘ軸およびＹ軸に沿って続く高周波画像は、ブロック3.4〜2.4および1.4によって形成される。
特に、垂直輪郭を第１に、水平輪郭を第２に、それぞれ１つが画像の詳細についての所定の形式を強調する。
これら最初の２個のピラミッドのみが、動きの推定に有効に利用される。すなわち、第１のピラミッドは画像の垂直輪郭の水平動きをもたらす役目、第２のピラミッドは画像の水平輪郭の垂直動きに役立つ。第３のピラミッドは、構成する画像の性質が全般的に雑音に著しく影響されるために採用されない。
図５および図６の分解によって、各段階で図２の画像I1が採用された場合、ブロックI31,I21,I11およびＩから成る低周波画像のピラミッドの確立も可能となる。図２の画像I1は、各ライン、カラムおよび２回のサブサンプリングの低域濾波を行なうことによって生じたものである。
解像度の４段階に対応する３つのピラミッド構造を図７に示す。この構造は、常に、低周波画像、水平軸に沿った高周波画像および垂直軸に沿った高周波画像の３種の画像が解像度の各水準にあることを示している。
動きフィールドの決定は、３個のピラミッドに関する階層的推定計算によって行われる。これは、図８に示す如く、先行画像Ｉ（ｔ−１）における対応画素、Kp＝（ｉ′−ｊ′）を決定する現在の画像Ｉ（ｔ）の各画素Ｘ＝（i,j）についての課題である。動きベクトル
0003614425.tif 000002
は、次式によって決まり、
Ｄ＝（ｉ′−i,j′−ｊ）
また、次のように表わされる。
Ｉ（ｔ−1,Xp）＝Ｉ（t,X）
動き推定子の一般原理は、以下のように説明することができる。即ち３回の階層的推定が、３つのピラミッドについて平行して行なわれる。高周波ピラミッドについて得られた２個の推定値は、低周波ピラミッドについて得られた推定値（実際に有用な情報を構成する）を、解像度の各水準で、豊富にするためにのみ役立つ。これは、解像度の各水準で３個のピラミッドについて得られた情報を融合することによって行なわれ、その結果得られる推定値は低周波ピラミッドに起因している。
各階層推定は、下記の方法で行なわれる。
低水準の解像度における画像上の対応する点において計算される変位は、高水準の解像度での推定値の予測に役立つ。
0003614425.tif 000003
が解像度2-(j+1)の１個の画像について計算したベクトルを示し、また
0003614425.tif 000004
が現在の解像度2-jにおける画像について計算されるべきベクトルを示すとすれば、
0003614425.tif 000005
は次式で与えられる。
0003614425.tif 000006
これから、ベクトル
0003614425.tif 000007
が推定される。
0003614425.tif 000008
は、アンダ・サンプリング係数が与えられた直前の水準における推定ベクトルの２倍に等しい。
第１近似として、図９に示したように、低水準にある点の動きは、問題とする解像度水準の４点の動きについてのあり得る初期設定として使用することができる。
ただし、かかる手法は、問題とする水準の各点における動きの推定用の可能な初期設定（または予測）を１回だけ行なう。
低水準で得られる推定値を、その回りにある高水準の解像度の16点上に投影する方がより現実的である。図10に示すように、このとき推定値を改善することができる唯一の予測に代って、４種の予測がこの水準の各点で利用可能である。図10の点10に対しては、この予測子としての貢献は、最精細解像度の16点に及び、また精細水準の点11は、予測としてより粗な水準からの４点を使用する。各解像水準において、予測子の回りでの±１画素の修正が許される。
図11に示す如く、これは結局、ＸおよびＹ軸における±１画素に対するベクトル
0003614425.tif 000009
の偏位を制限することによって、４個の予測ベクトル
0003614425.tif 000010
の周囲の９個の可能なベクトルをテストすることになる。
±１画素に対するベクトル
0003614425.tif 000011
の偏位における、この制限により推定される動きの最大の振幅は固定される。当然、Ｎ水準の分解を考慮して、解像度Ｋの水準での１画素がオリジナル画像上の2k−１画素に相当する（すなわち、水準１）。最も粗いＫ水準での無価値となる推定子を選ぶことによって、ピラミッドのアウトプットにおける推定の最大動きは次のようになる。
0003614425.tif 000012
これは、５水準への分解のための最大振幅動きの例に対応する。
所定の解像度において、４個の可能な推定子が各点で利用でき、図11に示す如く、それらは各々９個の可能なベクトルを生成する。したがって、課題点における動きベクトルの選択は、36個のベクトルから行われなければならない。選ばれたベクトルは、課題点に集中している３×３画素の窓において、オフセット・エラーを最小にするベクトルである。
Itによって現在の画素を、It-1によって先行画像を、また
0003614425.tif 000013
によって、座標軸（i,j）の点Ｘによってテストされる変位ベクトルを表わすと、オフセット・エラーは、変位画像間の差、
0003614425.tif 000014
により次のようになる。
0003614425.tif 000015
選ばれた変位ベクトルは、変位画像間の最小差DFD（X,D）を与えるベクトルである。
しかし、推定が画像の一定の区域で行われ、また、たとえ提示されたベクトルであっても、変位画像間の差DFD（X,D）について０値を与える場合は、先行の判定基準はもはや適切でなく、アルゴリズムの発散の危険がある。
この問題は、変位画像間の差DFD（X,D）のセットの最小値と最大値との間に存在する差について、テストを行なうことで解消される。
この差が小さ過ぎる場合、選択は常に、４個の可能な推定子の中から同じ推定子を保持するために行われる。かかる先行推定は、既に記述した２個の高周波ピラミッドについてそれぞれ別個に行われる。
低周波ピラミッドに関する推定については、解像度の各水準において、推定される動きフィールドは、高周波に由来する詳細についてのデータを融合することによって、質的に向上される。
単一の対象物の輪郭を除いて、高周波画像が主として零にある時、これらの輪郭について推定される動きは、低周波ピラミッド上の推定動きを精細化するのに有用である。また、高周波画像のノイズによって影響される区域のデータは計算されない。このことは、対応する計算された動きを採用する前に、高周波画像についての適切なしきい値を固定することによって達成される。
このしきい値は、問題になっているサブバンドの分散Ｖの機能として固定される。高周波サブバンドからの一点は、かかる条件下で、輝度の絶対値がこの点におけるＫVより大きい場合に計算に入れられる。高周波サブバンドが零手段を持っていることに注意すべきである。融合の実例を図12に示す。同図において、低周波画像の各点XiがＸおよびＹ軸での高周波画像上の点XixおよびXjkに相当する。
しきい値が画像の４帯域の１つ、もしくはそれ以上に達することができるという事実から発生する、４つの事例の図が考えられる。
第１の場合において、しきい値がＸおよびＹ軸の何れにも到達しなければ、そのことは高周波についての情報が存在しないことを示し、また考慮中の動きが低周波について推定された動きであることを示す。
第２の場合は、しきい値がXxにおいて到達され、またXyにない場合であって、選択は２個の可能な変位ベクトルの間で行われる。ベクトルの１つは低周波で推定される
0003614425.tif 000016
であり、他の１つはそのＸ成分が高周波で推定される
0003614425.tif 000017
である。
第３の場合は、しきい値がXyにおいて到達され、Xxにおいてではない場合であって、選択は２個の変位ベクトルの間で実行される。ベクトルの１つは低周波で推定される
0003614425.tif 000018
であり、他の１つは、そのＹ成分が高周波で推定される
0003614425.tif 000019
である。
最後に、第４の場合によれば、しきい値はXxおよびXyにおいて到達される場合であって、選択は４個のベクトルの間で実行される。
第１のベクトルは低周波で推定される
0003614425.tif 000020
第２のベクトルはそのＸ成分が高周波で推定される
0003614425.tif 000021
であり、また第３のベクトルはそのＹ成分が高周波で推定される
0003614425.tif 000022
であり、また第４のベクトルはその成分がＸおよびＹにおいて高周波で推定されるDBF3＝（U(Xx),V(Xy)）である。
全ての場合に、選ばれるベクトルは低周波画像上のオフセット・エラーを最小にするベクトルである。
したがって、低周波ピラミッドについての推定は、各水準において、同一水準の詳細な画像についての推定値を考慮に入れている。この融合した場は、次に図13に示したように、次の水準における推定用の予測子として使用される。
したがって、図13に示した2,3,および４の各解像度水準において、各サブバンドでの推定は、予測値として同一のサブバンドまたは同一の先行水準の推定値を用いて実行され、低周波のサブバンド中に搬送された３種の推定値の融合をもたらす。
水準１での推定は、水準２における融合推定値の予測と共にオリジナル画像内で実行される。
動きフィールドの最後の解像水準から生じる１画素までの推定の精度は、例えば1/2,1/4など1/2k画素の推定精度を得るために、ＸおよびＹ軸に２または４などの、あるいはそれ以上の点で原始画像を内挿することによって、さらに改善することもできる。しかし、この解は、急速に非常に高価になることがあるので、２つの変数ＵおよびＶにおける１つの関数としての各変位画像間差の最小値DFDを求め、他が図14に示したように最小変位画像間差曲線をＶを一定値と共に描かれる方法、と両立する迅速内挿法を用いることが好ましい。
線は、Ｕの３種の値（Ｕ−1,UおよびＵ＋１）に対して引かれる。このようにして得られた抛物線は、対応する最小横座標ＤXを表わすが、これは変位のＸ成分である。同じ操作を画像のＹ方向について実行し、１画素未満の精度で変位ベクトルDreal＝（DX,DY）を得ることができる。
この方法は、基本的には、選択によって選ばれたベクトルの周囲にある９個のベクトルについて基準となる変位画像間の最小差（U,V）が計算されるので、非常に迅速な方法である。選ばれたベクトルの表現された画素における正方形の角部の１つにあるような最悪の場合には、抛物線により内挿するために計算すべきDFD（Ｄ）について２個の値のみがある。他方、そのベクトルが中心にあるときは、計算すべき値はなく、その他の点について計算すべき値は１つのみである。
【図１】
0003614425.tif 000023
【図２】
0003614425.tif 000024
【図３】
0003614425.tif 000025
【図４】
0003614425.tif 000026
【図５】
0003614425.tif 000027
【図６】
0003614425.tif 000028
【図８】
0003614425.tif 000029
【図９】
0003614425.tif 000030
【図１４】
0003614425.tif 000031
【図７】
0003614425.tif 000032
【図１１】
0003614425.tif 000033
【図１０】
0003614425.tif 000034
【図１２】
0003614425.tif 000035
【図１３】
0003614425.tif 000036