(57)【特許請求の範囲】
【請求項１】
奇数フィールド及び偶数フィールドを有する飛越し走査ビデオデータから動きベクトルを予測する方法であって、前記方法は、
第１のベクトル予測メモリ、及び、ブロックマッチングを使用し且つ前記第１の予測メモリから既に予測された第１の動きベクトルを受信する動き予測器によって、ある時点の第１の奇数フィールドと前記ある時点より前に入力された第１の偶数フィールドとの間の第１の動きベクトルを予測するステップと、
前記第１のベクトル予測メモリとは別個の第２のベクトル予測メモリ、及び、ブロックマッチングを使用し且つ前記第２の予測メモリから既に予測された第２の動きベクトルを受信する動き予測器によって、ある時点の第２の偶数フィールドと前記ある時点より前に入力された第１の奇数フィールドとの間の第２の動きベクトルを予測するステップと、
出力動きベクトルを発生するために、前記第１動きベクトルと前記第２動きベクトルを組み合わせるステップであって、
前記第１動きベクトル及び前記第２動きベクトルのそれぞれのｙ成分の値が出力ベクトルの偶数値から高々１ピクセル／フィールドだけ異なる場合、及び、前記偶数値に対して相互に異なる側にある場合には、出力動きベクトルのｙ成分は偶数値であり、
他の場合には、出力動きベクトルのｙ成分を、前記第１動きベクトル及び第２動きベクトルのそれぞれのｙ成分の平均とするステップと、
を有することを特徴とする、動きベクトルを予測する方法。
【請求項２】
前記組み合わせるステップが、前記第１動きベクトルのｙ成分の符号が前記第２動きベクトルのｙ成分の符号と異なる場合に、前記出力動きベクトルのｙ成分を零にすることを特徴とする請求項１に記載の方法。
【請求項３】
奇数フィールド及び偶数フィールドを有する飛越し走査ビデオデータから動きベクトルを予測するための装置であって、前記装置は、
第１のベクトル予測メモリ、及び、ブロックマッチングを使用し且つ前記第１の予測メモリから既に予測された第１の動きベクトルを受信する動き予測器によって、ある時点の第１の奇数フィールドと前記ある時点より前に入力された第１の偶数フィールドとの間の第１の動きベクトルを予測する手段と、
前記第１のベクトル予測メモリとは別個の第２のベクトル予測メモリ、及び、ブロックマッチングを使用し且つ前記第２の予測メモリから既に予測された第２の動きベクトルを受信する動き予測器によって、ある時点の第２の偶数フィールドと前記ある時点より前に入力された第１の奇数フィールドとの間の第２の動きベクトルを予測する手段と、
出力動きベクトルを発生するために、前記第１動きベクトルと前記第２動きベクトルを組み合わせる手段であって、
前記第１動きベクトル及び前記第２動きベクトルのそれぞれのｙ成分の値が出力ベクトルの偶数値から高々１ピクセル／フィールドだけ異なる場合、及び、前記偶数値に対して相互に異なる側にある場合には、出力動きベクトルのｙ成分は偶数値であり、
他の場合には、出力動きベクトルのｙ成分を、前記第１動きベクトル及び第２動きベクトルのそれぞれのｙ成分の平均とするように設計された手段と、
を有することを特徴とする、動きベクトルを予測する装置。
【請求項４】
請求項３に記載の、動きベクトルを出力するための動きベクトル予測装置と、
前記動きベクトル予測装置に結合され、前記飛越し走査ビデオデータ及び前記出力動きベクトルに基づいて出力画像信号を発生する動き補償補間器と、
前記動き補償補間器に結合され、前記出力画像信号を表示するディスプレイとを具えることを特徴とする画像信号表示装置。
【発明の詳細な説明】
発明の技術分野
本発明は例えば走査フォーマット変換用サブサンプル化（飛越し）ビデオデータの動き予測方法および装置に関するものである。
発明の背景
ビデオシーケンスの動きの解析は、先進の符号化、雑音低減および走査レート変換、例えば、デ-インターレーシングおよびフレームレート変換（FRC）のような多くの先進ビデオ処理技術において成されている。符号化の用途では、動き情報を用いて予測エラー、従って、ビットレートを最小にしている。時間的な雑音フィルターリングは極めて有効であるが、映像のオブジェクトが動いている場合には動き補償（MC）が必要となる。高品質動き予測（ME）および飛越しビデオの垂直スケーリングの前提条件であるデ-インターレーシングは複数のフィールドからの情報を必要とし、従って動き補償を必要とする。走査レート変換の場合には、動き補償は、動き描写および動きぼけのぎこちなさを除去する一時的補間に必要である。
他の用途では異なる型の動き予測が要求される。符号化の場合、動き予測は、映像部分間の差を最小にすること及び結果的に得られるエラーを符号化することに基づく。結果的に得られる動きベクトルは、必ずしもビデオシーケンス内で真の動きを反映していない。動き予測を最適化して最小のエラーを見出してもっとも効率のよい符号化を行うことができる。走査レート変換用途に対しては、動きの方向に時間的補間を行う。これがため、動きベクトルによってビデオシーケンス内の真の動きベクトルを記述するのが重要である。従って、動き予測の映像部分間に最小差を要求するだけでは不十分である。また、周囲の動き特性も重要なファクタとなる。
走査レート変換用に設計された動き予測は符号化の目的に用いることができるが、その逆は困難である。従って、本発明に述べる動き予測は走査レート変換に限定されるものではなく、真の動きベクトルを見出すようにも設計される。
多くのビデオデータは、いわゆる飛越しフォーマット、即ち、奇数フィールドの奇数走査ラインおよび偶数値フィールドの偶数ラインの双方が映像を記述するフレームを構成するが、奇数および偶数フィールドが同一の瞬時で映像を記述しないフォーマットで得ることができる。ビデオデータの動きは最短で得られる時間間隔、即ち、飛越しデータの場合のフィールド間隔で測定するのが好適である。しかし、（サブサンプル化フィールド-グリッドにエイリアスを生じる）画像の垂直ディテールのため、２つの連続フィールド間に垂直変位を正しく見出すのは不可能である。このエイリアスパターンおよび原ディテールは異なって動かすことができる。
飛越しビデオフォーマットで得られる２つの走査ライン幅の静止水平ホワイトラインを考慮するものとする。奇数および偶数フィールドは双方共単一ホワイトラインを示す。２つの順次のフィールドの情報を考慮する場合には、１サンプル／フィールド-周期の垂直速度で動く１走査ライン幅のホワイトラインを扱うか、または、２走査ライン幅の静止水平ホワイトラインを扱うか明らかでない。
かかる問題を扱う共通の手段は、まず、２つのフィールドの少なくとも１つを順次のフォーマットにアップ-コンバートし、２つのフレーム間またはフレームおよびフィールド〔2〕間の動き予測を行うことである。或は又、３つの順次のフィールド〔3〕から動き適用データを予測することにある。最終的に、映像の低周波数成分が優勢となることが期待でき、これらの周波数の位相を補正し、ほとんど問題の無い動き予測をすることが可能となる〔１〕。
フィールド〔2〕および〔3〕を分割する特性は、前の映像データ（前のフィールドから前のデ-インターレースされたフィールドまで、あるいは前のまたはその前のフィールド）へのアクセスを２回とすることである。また、フィールド〔3〕で提案された解決策では、２−フィールド−周期に亘る動きを一定と見なす必要がある点で、動き予測器に新たな制限を導入することである。問題〔1〕のオプションはメモリアクセス（および容量）を２回とせず、従って一定の動き制限を導入せず、臨界的な画像材料が示す所の不明瞭性を解決することはできない。
発明の概要
本発明の目的は動き予測の不明瞭性を簡単に低減せんとするものである。この目的のため、本発明の第１の特徴は請求項１または３に記載の方法および装置を提供することにある。本発明の第２の特徴は請求項４に記載の通りである。有利な例は従属請求項に規定された通りである。
本発明の主特徴によるサブサンプル化ビデオデータから動きベクトルを予測する方法では、第１サブサンプリング位相を有する映像と第２サブサンプリング位相でサブサンプル化された以前の映像との間で第１ベクトルを予測し、第２サブサンプリング位相を有する映像と第１サブサンプリング位相でサブサンプル化された以前の映像との間で第２ベクトルを予測し、前記第１および第２ベクトルを組合せて出力動きベクトルを得る。
発明を実施するための最良の形態
導入部に述べたように、２つの順次のフィールドは２画素の幅を有するラインに対する１サンプル／フィールドの静止および垂直速度間で識別することはできない。従って、２つの順次のフィールドは曖昧性の問題を解決するに充分な情報を含んではいない。
動き予測の可能な基礎としてのブロック整合を試みて順次のフィールドの２つの映像部分間の最適な相関を見いだすようにする。これがため、動き予測により上述した曖昧性の問題を１サンプル／フィールドの垂直速度を有するオブジェクトとして検出するのが極めて有望である。真の速度を１サンプル／フィールドとする場合には、正しい決定を連続して行うことができるが、ラインが静止している場合には、かかる決定は１サンプル／フィールドの正および負の速度間で切り替える。次の瞬時における動きの第１予測として前の結果を用いる動き予測はこの状況で収束処理を妨害する。
２つの個別の予測メモリを用いることによって新たな動き予測によりこの原理を活用する。現在のフィールドが偶数である場合には、“偶数”−予測メモリPM2を用い、現在のフィールドが奇数である場合には、“奇数”−予測メモリPM1を用いる。これがため、各予測メモリは時間周波数の半分で更新される。両予測メモリPM1,PM2は安定な状況に収束し、これは必ずしも真の動きを反映しない。しかし、両予測メモリに記憶された結果を組合せることによって真の動きに関する良好な手掛りを提供することができる。図１はツイン動き予測と称される新たなアルゴリズムを示す。
入力フィールドＩを、動き予測器MEの一方の入力端子に供給するとともに、動き予測器MEの他方の入力端子に遅延フィールドを発生するフィールドメモリFM1に供給する。動き予測器MEの出力をデマルチプレクサDEMUXに供給し、その出力端子を奇数予測メモリPM1および偶数予測メモリPM2の入力端予にそれぞれ接続する。予測メモリPM1,PM2の出力をマルチプレクサMUXに供給し、その出力を動き予測器MEに供給する。予測メモリPM1,PM2の出力も組合せ装置CDに供給し、これにより出力動きベクトルMVを発生する。入力フィールドが奇数フィールドか偶数フィールドかを示す信号FTをマルチプレクサMUXおよびデマルチプレクサDEMUXに供給する。
また、入力フィールドＩを、動き補償補間器MCIと、動き補償補間器MCIの他方の入力端子に遅延フィールドを発生する第２フィールドメモリFM2とにも供給する。組合せ装置CDからの出力動きベクトルMVを、動き補償補間器MCIにも供給し、その出力０を例えば２倍フィールド周波数を有する信号、またはディスプレイDに表示された飛越しのない信号とする。好適には、両フィールドメモリFM1,FM2として同一のフィールドメモリ装置を用いる。
奇数動きベクトル予測は次式によって規定し、
0004326028.tif 000002
ここにfeおよびfoは偶数および奇数入力フィールドをそれぞれ表わし、且つ、
偶数動きベクトルは次式により予測する。
0004326028.tif 000003
ここにME（f1,f2）は映像f1およびf2間の動き予測を示す。２つの予測メモリのため、ツイン動き予測は２つの候補組（CS0およびCSe）を用いる。従って、
0004326028.tif 000004
も次式によって規定する。
0004326028.tif 000005
ここに
0004326028.tif 000006
はフィールドｎに対する位置（x,y）における動きベクトル（ｄx、ｄy）fを示し、
0004326028.tif 000007
は動きベクトルのある組または候補組（CS）から選択された動きベクトル候補、ζ（）はエラー関数を示す。同様の表現を
0004326028.tif 000008
に対しても記載することができる。
図１に示す組合せ装置CDは次式に従って出力動きベクトル
0004326028.tif 000009
を発生する。
0004326028.tif 000010
以下のテキストでは、
0004326028.tif 000011
をそれぞれｄoおよびｄeとして省略する。
ｄoおよびｄeは平均化するのが妥当である。その理由は上述した問題が垂直動きベクトルに対する静止結果の場合であるからである。従って、ψ（）は次式によって規定される。
0004326028.tif 000012
しかし、各予測が異なるフィールド対から構成され、且つ映像が一般に雑音を含んでいるため、符号は異なるが、ベクトル成分の絶対量は等しくならない。従って、一般に単なる平均は曖昧性の問題を解決するには不充分である。良好な結果はψ（）に対し非直線性関数により期待できる。水平方向は曖昧性の問題から何ら煩わされず、従って、水平方向に対する平均化は妥当な解決である。以下のテキストでは、ψ（）は、注意しない限り、式（５）における規定に従う。
多くの非直線性関数を想定することができる。垂直動き成分の符号の切替が自然シーケンスで極めて現実的でないため、ψ（）に対する可能な非直線性関数は次式により規定される。
0004326028.tif 000013
曖昧性の問題は、零垂直動きと１画素／フィールドの動きとの間の識別だけでなく、ｍ∈Ｚにおける全ての偶数速度２ｍの場合にも存在する。
垂直でない動き成分に対する論拠も強く設定することができる。
曖昧性の問題が垂直方向にのみ発生する場合でも、水平成分は、垂直方向におけるアルゴリズムの固有の傾向によって生ずる不所望な状況に収束する。これがため、次式で表わされるように、上述したような制限を水平方向に拡張することもできる。
0004326028.tif 000014
この際、ψ（）は予測メモリの内容に影響を与えない。その理由は出力動きベクトル
0004326028.tif 000015
が記憶されないため、両予測メモリを個別に収束し得るからである。ツイン動き予測のあり得る欠点は１つの予測メモリアーキテクチュアと比較し、予測メモリの更新レートが低くなり、従って、収束が遅くなることである。他方、両予測メモリの曖昧性を除去することによって個別の予測メモリの収束が速くなる。
組合せ動きベクトルがデ-インターレースの目的に用いられる実験によって良好な品質の動きベクトルが得られることを実際に示す。次表には、コンフォーム〔1,2〕で提案された方法に対して提案された組合せ動きベクトルを用いる種々の映像シーケンスの30フィールドのシーケンスに亘って計算された平均MSE（平均二乗誤差）をリストアップする。この表から明らかなように、もっとも簡単な方法の値と比較し得る値（メモリ容量および帯域幅）において最良の方法の品質レベルに近い品質レベルを提供することができる。
0004326028.tif 000016
本発明の主特徴は次のように要約することができる。本発明の主特徴の目的はメモリへのアクセスおよびメモリの容量を増大することなく、および動き予測器に一定の制約を導入することなく、動き予測の曖昧性を低減せんとするものである。この目的のため、前の奇数フィールドおよび現在の偶数フィールド間の偶数ベクトルｙ成分を有する動きを予測する際、予測された動きベクトルは垂直方向（ｙ成分のエラー）において悪化するとともに前の偶数フィールドおよび現在の奇数フィールド間の偶数ベクトルのｙ成分を有する動きを予測する際（飛越しサンプリンググリッドに対し同一のオブジェクト位置に対する）エラーの方向は逆となることをまず最初に確認した。グリッド垂直速度に対しては、（飛越しサンプリンググリッドに対する）オブジェクト位置は全てのフィールドで同一となり、且つ、第１フィールド対から得られる第１予測および前の（次の）フィールド対から得られる第２予測の組合せは、オブジェクトの真の速度に関連する良好な手掛りを提供することができる。
これらの認識を考慮して、飛越しビデオデータから動きベクトルを予測する次の方法を述べる。本発明によって２つの連続フィールド対から動き予測を組み合わせることによりサブサンプリングによる予測動きベクトルの垂直成分の曖昧性を低減する。この解決策によって、文献から既知の変更例と比較して、予測器のメモリの帯域幅を２分の１に低減し、且つこの変更例の幾つかを実施する際に一定の動き制約を導入しないようにする。
本発明の次の顕著な特徴は注目すべきものである。サブサンプル化ビデオデータから動きベクトルを予測する方法およびこの方法を実施する装置は、第１サブサンプリング位相を有する映像と第２サブサンプリング位相でサブサンプル化された前の映像との間で予測された第１ベクトルと、第２サブサンプリング位相を有する映像と第１サブサンプリング位相でサブサンプル化された前の映像との間の第２ベクトルとを組合せる組合せ装置を具えるようにしたことを特徴とするものである。
好適には、サブサンプル化ビデオデータはいわゆる飛越しビデオデータとし、第１サブサンプリング位相を有する映像を奇数フィールドとし、第２サブサンプリング位相でサブサンプル化された映像を偶数フィールドとする。
好適には、組合せ装置の出力を予測器の出力ベクトルとして用いる。
この組合せは第１および第２ベクトルが相違する際に出力ベクトルのｙ成分を零に設定することにより行う。
前記組合せは前記第１および第２ベクトルの各ｙ−成分の値が偶数値に近く、偶数値の両側で互いに異なる場合に、出力ベクトルのｙ−成分を偶数値に設定することによって行う。
好適には、文献〔4〕の3D Recursive Search Block Matcherを用いるとともに第１ベクトルを第１予測メモリに書込み、第２ベクトルを第２予測メモリに書込み、これにより第１サブサンプリング位相は第１予測メモリのみを用い、第２サブサンプリング位相は第２予測メモリのみを用いる。
好適には、前のビデオデータで予測されたベクトルは低減された形状（サブサンプル化された予測メモリまたは他のデータ圧縮フォーマット）で記憶される。
文献
〔1〕  M.Burl and P.Layton“Video Image Processing”,International Application WO 93/05616.
〔2〕  F.M.Wang,D.Anastassiou,and A.N.Netravali,“Time-Recursive Deinterlacing for IDTV and Pyramid Coding”in Signal processing:Image Communications 2,Elsevier,1990,pp.365-374.
〔3〕  L.Vanderdorpe,L.Cuverlier,B.Maison,P.Quelez,and P.Delogne,“Motion-compensated conversion from interlaced to progressive formats”,in Signal Processing:Image Communication 6.1994,pp.193-211,Elsevier.
〔4〕  G.de Haan,P.W.A.C.Biezen,H.Huilgen and O.A.Ojo,“Yrue-Motion Estimation with 3-D Recursive Search Block Matching,”IEEE transactions on Circuits and Systems for Videotechnology,Vol.3,No.5,October 1993,pp.368-379.
〔5〕  J.L.Yen,“On Non uniform Sampling of Bandwidth Limited Signals,”IRE Tr.on Circuit Theory,Vol.CT-3,pp.251-257,December 1956.
〔6〕  E.B.Bellers and G.de Haan,“Advanced motion estimation and motion compensated de-interlacing,”Proc.of the Int.Workshop on HDTV’96,October 1996,los Angeles,USA.
〔7〕  E.B.Bellers and G.de Haan,“Advanced de-interlacing techniques,”Proc.of the ProRISC/IEEE Workshop on Circuits,Systems and Signal Processing,Mierlo,the Netherlands,November 27-28,1996,pp.7-17.
【図面の簡単な説明】
図は本発明の可能な実施例を示す。
0004326028.tif 000017