(57)【特許請求の範囲】
【請求項１】
特徴点ベース動き推定技法を用いて、映像信号で表現された、現フレームと復元基準フレーム及び元基準フレームを有する基準フレームとの間の動きベクトルの組を推定する動きベクトル推定方法であって、
前記復元基準フレーム内に含まれる画素から、複数の重複多角形を有する多角グリッドを形成する特徴点の組を選択する第ａ工程と、
前記特徴点の組の位置と同一の現フレーム上の位置に準特徴点の組を決定する第ｂ工程と、
前記準特徴点に対する、初期動きベクトルの全ての成分がゼロに設定される第ｃ工程と、
前記準特徴点の中から、隣接するＮ個の隣接準特徴点を有する主な準特徴点を選択するが、前記N個の隣接準特徴点を用いてN個の辺を有する主な現多角形を形成する第ｄ工程と、
一定領域内の画素各々に対する前記主な準特徴点の位置変位を表す複数の候補動きベクトルを発生する第ｅ工程と、
前記一定領域内の画素各々に対する前記複数の候補動きベクトル各々と、主な準特徴点の初期動きベクトルを用いて求めた複数の更新済みの初期動きベクトルと、前記N個の隣接する準特徴点の初期動きベクトルに基づいて、前記主な現多角形内に含まれる全ての画素に対して、前記複数の更新済みの初期動きベクトル各々に対応する前記元基準フレーム上の予測位置を決定する第ｆ工程と、
前記元基準フレーム上の予測位置に対応する画素値により前記主な現多角形内に含まれる各画素の予測値を求めて、前記複数の更新済みの初期動きベクトルと同一の数の予測される主な現多角形を形成する第ｇ工程と、
前記主な現多角形の画素値と前記予測される主な現多角形各々の画素値との間の差分を計算し、前記複数の更新済みの初期動きベクトルと同一の数のピーク信号対雑音比（ＰＳＮＲ）を発生する第ｈ工程と、
前記ＰＳＮＲのうち、最大のＰＳＮＲを有する予測された主な現多角形に対応する更新済みの初期動きベクトルで前記主な準特徴点の初期動きベクトルを更新する第ｉ工程と、
前記主な準特徴点に隣接する準特徴点を新しい主な準特徴点として選択して、第ｄ工程〜第ｉ工程を繰り返して全ての対象の準特徴点の初期動きベクトルを更新する第ｊ工程と、
前記繰返し工程が予め定められた回数だけ行われるまで、前記第ｊ工程を繰り返す第ｋ工程と
を含むことを特徴とする動きベクトル推定方法。
【請求項２】
前記第ａ工程が、
Ｐ（ｘ、ｙ）が前記基準フレームであり、
0004187264.tif 000009
が周知のソベル演算子からの出力であり、Ｔｅが予め定められた閾値である時、前記復元基準フレームにおけるエッジ映像ｅｇ（ｘ、ｙ）を次のように
0004187264.tif 000010
検出する第a1工程と、
エッジ映像上で、複数の重複多角形を形成するための多数のグリッド点を有する多角グリッドを決定する第a2工程と、
前記各グリッド点に対する非重複探索範囲を決定する第a3工程と、
前記探索範囲内に位置し、自身を取り囲む８個の画素の和値が最大となるエッジ点と重複する、非重複探索範囲に含まれたエッジ点のないグリッド点を有する前記特徴点の組を決定する第a4工程
とを有することを特徴とする請求項１に記載の動きベクトル推定方法。
【請求項３】
前記特徴点の組が、２個以上のエッジ点が前記探索範囲で同一の最大の和値を有する場合、前記多角グリッドに最も近接するエッジ点を有することを特徴とする請求項２に記載の動きベクトル推定方法。
【請求項４】
前記多角形が六角形であり、Ｎは６であることを特徴とする請求項３に記載の動きベクトル推定方法。
【請求項５】
前記主な現六角形が、前記主な準特徴点とそれに隣接する前記準特徴点とを結ぶ線分によって規定される六つの三角形を備えることを特徴とする請求項４に記載の動きベクトル推定方法。
【請求項６】
前記予め定められた反復回数が５回であり、前記予め定められた閾値が６であることを特徴とする請求項５に記載の動きベクトル推定方法。
【請求項７】
前記一定領域が、垂直及び水平方向に０〜±７の範囲を有することを特徴とする請求項６に記載の動きベクトル推定方法。
【請求項８】
ＥＧが前記探索範囲内のエッジ点の値であり、ｉが正の整数である時、前記特徴点Ｄｉが次のように
Di={(x,y)|Max Σ[k=-1、1]Σ[l=-1、1]EG(x+k、y+1)}
ここで、Σ[x=0、I]Σ[y=0、J]Z(x、y)
=Z(0,0)+Z(0,1)+…+Z(0,I)+Z(1,0)+…+Z(1,J)+…+Z(I,0)+Z(I,J)
定義されることを特徴とする請求項７に記載の動きベクトル推定方法。
【請求項９】
映像信号符号化システムに用いられ、特徴点ベース動き推定技法を用いて、映像信号で表現された、現フレームと復元基準フレーム及び元基準フレームを有する基準フレームとの間の動きベクトルの組を推定する動きベクトル推定装置であって、
前記復元基準フレーム内に含まれる画素から、複数の重複多角形を有する多角グリッドを形成する特徴点の組を選択する第１選択手段と、
前記特徴点の組の位置と同一の現フレーム上の位置に準特徴点の組を決定する準特徴点決定手段と、
前記準特徴点の組に対する、各成分がゼロに設定される初期動きベクトルの組を格納する格納手段と、
前記準特徴点の中から、隣接するＮ個の隣接準特徴点を有する主な準特徴点を選択するが、前記N個の隣接準特徴点を用いてN個の辺を有する主な現多角形を形成する前記第２選択手段と、
一定領域内の画素各々に対する前記主な準特徴点の位置変位を表す複数の候補動きベクトルを発生する加算手段と、
前記一定領域内の画素各々に対する前記複数の候補動きベクトル各々と、主な準特徴点の初期動きベクトルを用いて求めた複数の更新済みの初期動きベクトルと、前記N個の隣接する準特徴点の初期動きベクトルに基づいて、前記主な現多角形内に含まれる全ての画素に対して、前記複数の更新済みの初期動きベクトル各々に対応する前記元基準フレーム上の予測位置を決定する予測位置決定手段と、
前記元基準フレーム上の予測位置に対応する画素値により前記主な現多角形内に含まれる各画素の予測値を求めて、前記複数の更新済みの初期動きベクトルと同一の数の予測される主な現多角形を形成する予測画素発生手段と、
前記主な現多角形の画素値と前記予測される主な現多角形各々の画素値との間の差分を計算し、前記複数の更新済みの初期動きベクトルと同一の数のピーク信号対雑音比（ＰＳＮＲ）を発生する差分計算手段と、
前記PSNRのうち、最大のPSNRを有する予測された主な現多角形に対応する更新済みの初期動きベクトルで前記主な準特徴点の初期動きベクトルを更新する第３選択手段と、
前記初期動きベクトルの全体が予め定められた回数だけ更新された場合、前記格納手段からの前記初期動きベクトルの組を前記動きベクトルの組として取出す動きベクトル取出手段とを含むことを特徴とする動きベクトル推定装置。
【請求項１０】
前記第１選択手段が、
Ｐ（ｘ、ｙ）が前記基準フレームであり、
0004187264.tif 000011
が周知のソベル演算子からの出力であり、Ｔｅが予め定められた閾値である時、前記復元基準フレームにおけるエッジ映像ｅｇ（ｘ、ｙ）を次のように
0004187264.tif 000012
検出するエッジ映像検出手段と、
エッジ映像上で、複数の重複多角形を形成するための多数のグリッド点を有する多角グリッドを決定する多角グリッド決定手段と、
前記各グリッド点に対する非重複探索範囲を決定する非重複探索範囲決定手段と、
前記探索範囲内に位置し、自身を取り囲む８個の画素の和値が最大となるエッジ点と重複する、非重複探索範囲に含まれたエッジ点のないグリッド点を有する前記特徴点の組を決定する特徴点決定手段
とを含むことを特徴とする請求項９に記載の動きベクトル推定装置。
【請求項１１】
前記特徴点の組が、２個以上のエッジ点が前記探索範囲で同一の最大の和値を有する場合、前記多角グリッドに最も近接するエッジ点を有することを特徴とする請求項１０に記載の動きベクトル推定装置。
【請求項１２】
前記多角形が六角形であり、Ｎは６であることを特徴とする請求項１１に記載の動きベクトル推定装置。
【請求項１３】
前記主な現六角形が、前記主な準特徴点とそれに隣接する前記準特徴点とを結ぶ線分によって規定される六つの三角形を備えることを特徴とする請求項１２に記載の動きベクトル推定装置。
【請求項１４】
前記周辺画素点の数が８であり、前記予め定められた反復回数が５回であり、前記予め定められた閾値が６であることを特徴とする請求項１３に記載の動きベクトル推定装置。
【請求項１５】
前記一定領域が、垂直及び水平方向に０〜±７の範囲を有することを特徴とする請求項１４に記載の動きベクトル推定装置。
【請求項１６】
現フレーム及び基準フレームを有する複数のフレームを備えるディジタル映像信号を符号化して、該映像信号の伝送率を減らすディジタル映像信号符号化装置であって、
前記ディジタル映像信号の復元基準フレームを格納する第１格納手段と、
前記ディジタル映像信号の元基準フレームを格納する第２格納手段と、
ブロックベース動き推定を用いて、前記現フレームと前記復元基準フレームとの間の複数の動きベクトルを検出し、前記複数の動きベクトル及び前記復元基準フレームに基づいて、第１予測現フレームを発生する第１の動き補償手段と、
特徴点ベース動き推定を用いて、前記復元基準フレームから特徴点の組を選択し、前記現フレームと前記特徴点の組に対応する前記元基準フレームとの間に動きベクトルの組を検出し、前記動きベクトルの組及び前記復元基準フレームに基づいて、第２予測現フレームを発生する第２の動き補償手段と、
前記現フレームが予測フレームの場合には、前記第１動補償手段から検出した複数の動きベクトル及び第１予測現フレームを選択し、現フレームが両方向予測フレームまたは前方向予測フレームの場合には、前記第２動き補償手段から検出された動きベクトルの組及び第２予測現フレームを選択する選択手段と、
前記予測現フレームと前記現フレームとの間の変位を表すエラー信号を変換符号化し、変換符号化エラー信号を発生する変換符号化手段と、
前記変換符号化エラー信号及び前記選択された動きベクトルを統計的に符号化して、伝送されるべき符号化映像信号を発生する統計的符号化手段と
を含むことを特徴とするディジタル映像信号符号化装置において、
特徴点ベース動き推定技法を用いて、映像信号で表現された、現フレームと復元基準フレーム及び元基準フレームを有する基準フレームとの間の動きベクトルの組を推定する動きベクトル推定装置であって、
前記復元基準フレーム内に含まれる画素から、複数の重複多角形を有する多角グリッドを形成する特徴点の組を選択する第１選択手段と、
前記特徴点の組の位置と同一の現フレーム上の位置に準特徴点の組を決定する準特徴点決定手段と、
前記準特徴点の組に対する、各成分がゼロに設定される初期ベクトルの組を格納する格納手段と、
前記準特徴点の中から、隣接するＮ個の隣接準特徴点を有する主な準特徴点を選択するが、前記N個の隣接準特徴点を用いてN個の辺を有する主な現多角形を形成する前記第２選択手段と、
一定領域内の画素各々に対する前記主な準特徴点の位置変位を表す複数の候補動きベクトルを発生する加算手段と、
前記一定領域内の画素各々に対する前記複数の候補動きベクトル各々と、主な準特徴点の初期動きベクトルを用いて求めた複数の更新済みの初期動きベクトルと、前記N個の隣接する準特徴点の初期動きベクトルに基づいて、前記主な現多角形内に含まれる全ての画素に対して、前記複数の更新済みの初期動きベクトル各々に対応する前記元基準フレーム上の予測位置を決定する予測位置決定手段と、
前記元基準フレーム上の予測位置に対応する画素値により前記主な現多角形内に含まれる各画素の予測値を求めて、前記複数の更新済みの初期動きベクトルと同一の数の予測される主な現多角形を形成する予測画素発生手段と、
前記主な現多角形の画素値と前記予測される主な現多角形各々の画素値との間の差分を計算し、前記複数の更新済みの初期動きベクトルと同一の数のピーク信号対雑音比（ＰＳＮＲ）を発生する差分計算手段と、
前記PSNRのうち、最大のPSNRを有する予測された主な現多角形に対応する更新済みの初期動きベクトルで前記主な準特徴点の初期動きベクトルを更新する第３選択手段と、
前記初期動きベクトルの全体が予め定められた回数だけ更新された場合、前記格納手段からの前記初期動きベクトルの組を前記動きベクトルの組として取出す動きベクトル取出手段とを含む前記動きベクトル推定装置
を含むことを特徴とするディジタル映像信号符号化装置。
【請求項１７】
前記第１選択手段が、
Ｐ（ｘ、ｙ）が前記基準フレームであり、
0004187264.tif 000013
が周知のソベル演算子からの出力であり、Ｔｅが予め定められた閾値である時、前記復元基準フレームにおけるエッジ映像ｅｇ（ｘ、ｙ）を次のように
0004187264.tif 000014
検出するエッジ映像検出手段と、
エッジ映像上で、複数の重複多角形を形成するための多数のグリッド点を有する多角グリッドを決定する多角グリッド決定手段と、
前記各グリッド点に対する非重複探索範囲を決定する非重複探索範囲決定手段と、
前記探索範囲内に位置し、自身を取り囲む８個の画素の和値が最大となるエッジ点と重複する、非重複探索範囲に含まれたエッジ点のないグリッド点を有する前記特徴点の組を決定する特徴点決定手段
とを有することを特徴とする請求項１６に記載のディジタル映像信号符号化装置。
【請求項１８】
前記多角形が六角形であり、Ｎは６であり、前記主な現六角形が、前記主な準特徴点とそれに隣接する準特徴点とを結ぶ線分により規定される六つの三角形を有し、前記予測位置決定手段が公知のアフィン変換を用いることを特徴とする請求項１７に記載のディジタル映像信号符号化装置。
【請求項１９】
前記周辺画素点の数が８であり、前記予め定められた反復回数が５回であり、前記予め定められた閾値が６であることを特徴とする請求項１８に記載のディジタル映像信号符号化装置。
【請求項２０】
前記一定領域が、垂直及び水平に０〜±７の範囲を有することを特徴とする請求項１９に記載のディジタル映像信号符号化装置。
【発明の詳細な説明】
【０００１】
発明の技術分野
本発明は、映像信号符号化装置に関し、特に、改善された特徴点ベース動き推定技法を用いてディジタル映像信号を符号化して、高画質のディジタル映像信号の伝送レートを効果的に減らし得るディジタル映像信号符号化装置に関する。
【０００２】
背景技術
周知のように、ディジタル形態の映像信号の伝送は、アナログ信号の伝送より良好な画質を保持し得る。一連の映像「フレーム」から構成される映像信号をディジタル形態で表現する時、とりわけ、高精細度テレビ（ＨＤＴＶ）システムのデータ伝送には、大量のディジタルデータが必要である。しかし、通常の伝送チャネル上の利用可能な周波数帯域は制限されているため、その伝送チャネルを経て大量のディジタルデータを伝送するためには、伝送すべきデータを圧縮するか、または減らす必要がある。多様な映像圧縮技法のうち、統計的符号化技法と、時間的、空間的圧縮技法とを組み合わせた、いわゆるハイブリッド符号化技法が最も効率的なものとして知られている。
【０００３】
殆どのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可変長符号化）などを用いる。この動き補償ＤＰＣＭは、現フレームとその前フレームまたは後続フレーム（即ち、基準フレーム）との間の物体の動きを推定し、物体の動きに応じて現フレームを予測して、現フレームとその予測値との間の差を表す差分信号を発生するプロセスである。この技法は、例えば、Staffan Ericsson氏の論文の「Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding」，IEEE Transactions on Communications,COM-33，NO.12（1985年12月）と、Ninomiya及びOhtsuka氏の論文の「A Motion-Compensated InterframeCoding Scheme for Television Pictures」，IEEE Transactions on Communications,COM-30,NO.1（1982年１月）に開示されている。
【０００４】
映像データ間の空間的冗長性を除去するまたは、低減する２次元ＤＣＴは、ディジタル映像データのブロック（例えば、８ｘ８画素よりなるブロック）を変換係数のデータの組に変換する。この技法は、例えば、Chen及びPratt氏の論文「Scene Adaptive Coder」，IEEE Transactions on Communications,COM-32,NO.3（1984年３月）に開示されている。そのような変換係数のデータを量子化部、ジグザグ走査及びＶＬＣにて処理することによって、伝送すべきデータの量を効果的に圧縮することができる。
【０００５】
詳述すると、動き補償ＤＰＣＭでは、現フレームとその基準フレームとの間の動きの推定に基づいて、現フレームのデータを対応する基準フレームのデータから推定する。このようにして、推定された動きは、基準フレームと現フレームとの間の画素の変位を表す２次元の動きベクトルによって表現される。
【０００６】
物体の画素の変位を推定するのには基本的に２つの方法がある。そのうちの一つは、ブロックベース推定法であり、他の一つは画素ベース推定法である。
【０００７】
ブロックベース動き推定法においては、現フレームのブロックは基準フレームのブロックと最も良好な整合が得られるまで比較する。これにより、全ブロックに対するフレーム間変位ベクトル（これは、複数の画素よりなるブロックがフレーム間でどの位移動したかを示す）を伝送されるべき現フレームに対して推定し得る。
【０００８】
このようなブロック整合技法は、ITU Telecommunication Standardization Sector Study Group 15、Working Party 15/1 Experts Group on Very Low BitRate Visual Telephony、「Video Codec Test Model,TMN4 Rev1」、（1994年10月25日）に開示されているように、ビデオシーケンスに含まれたＰフレーム及びＢフレームを予測するのに用いられ得る。ここで、Ｐまたは予測フレームは（基準フレームとしての）前フレームから予測され、Ｂまたは両方向予測フレームは（基準フレームとしての）前フレーム及び後続フレームから予測される。詳述すると、いわゆるＢフレームの符号化においては、前後方変位ベクトルを求めるために両方向動き推定法を用いる。前方変位ベクトルは、Ｂフレームと（基準フレームとしての）前イントラ（Ｉ）または予測（Ｐ）フレームとの間の物体の動きを推定して求められ、後方変位ベクトルは、Ｂフレーム及び（基準フレームとしての）後続イントラ（Ｉ）または予測（Ｐ）フレームに基づいて求められる。
【０００９】
しかしながら、ブロックベース動き推定法においては、ブロックの境界で現れるブロッキング効果が動き補償プロセスの際に生じ得、また、ブロック内の全画素が一方に移動しない場合には、正確な動きを推定しにくくなることによって、全体的な画質が低下される。
【００１０】
一方、画素ベース動き推定法を用いると、全ての画素に対して変位が求められる。この方法によると、画素値をより正確に推定し得、スケール変更（例えば、映像平面に鉛直した動き、即ち、ズーミング）も簡単に扱うことができる。しかし、この画素ベース動き推定法においては、動きベクトルが全ての画素に対して求められるため、実際に全ての動きベクトルのデータを受信機へ伝送することは不可能である。
【００１１】
画素ベース動き推定法によって生じる過度な伝送データに関する問題を克服するための方法のうちの一つとして、特徴点ベース動き推定法がある。
【００１２】
この特徴点ベース動き推定法においては、選択された画素（即ち、特徴点）の組に対する動きベクトルが受信機へ伝送される。ここで、各特徴点は隣接画素を表し得る画素として規定されることによって、受信機においては、各特徴点に対する動きベクトルを用いて非特徴点に対する動きベクトルを復元するかまたは近似化することができる。本願発明と出願人を同じくする係属中の米国特許出願番号第08/367,520号明細書に、「Method and Apparatus for Encoding a Video Signal Using Pixel-by-Pixel Motion Estimation」との各称で開示されているように、特徴点ベース動き推定法を採用するエンコーダにおいては、最初、前フレームに含まれている全ての画素から複数の特徴点が選択される。しかる後、選択された特徴点に対する動きベクトルが求められる。各動きベクトルは、前フレームにおける一つの特徴点と現フレームにおける対応する整合点（即ち、最も類似な画素）との間の空間的変位を表す。詳述すると、各特徴点に対する整合点は、周知のブロック整合アルゴリズムを用いて現フレーム内の探索領域で求められる。ここで、特徴点ブロックは選択された特徴点を取り囲むブロックとして定義され、探索領域は対応する特徴点の位置を取り囲む所定のエリア内の領域として定義される。
【００１３】
この場合、選択された特徴点に対応する全探索領域を通じて整合特徴点のうち最も良好な一つのみを求めるのが最も好ましい。しかしながら、特徴点の整合の際に、複数の同一の最適整合特徴点ブロックが得られる場合も有る。従って、特徴点ブロック及び対応する探索領域との間でそのような相関性を有する特徴点に対する動きベクトルを、正確に検索するのは困難である。さらに、現フレームにおいて、探索領域が基準フレームにおける特徴点と現フレームにおける対応する整合点（即ち、最も類似な画素）との間の空間的変位によって決定されない場合は、正確な動きを推定しにくくなることによって、全体的な画質が低下されるという不都合がある。
【００１４】
発明の開示
従って、本発明の目的は、特徴点に対する動きベクトルを効果的に推定することによって、高画質のディジタル映像信号の伝送率を効率的に減らし得るディジタル映像信号符号化方法を提供することにある。
【００１５】
本発明の他の目的は、映像信号符号化システムに用いられ、特徴点ベース動き推定法を用いて動きベクトルを効果的に推定して、高画質のディジタル映像信号の伝送率を効率的に減らし得るディジタル映像信号符号化装置を提供することにある。
【００１６】
本発明のさらに他の目的は、特徴点ベース動き推定法及びブロックベース動き推定法を選択的に用いて、全体的な映像の画質を効果的に向上させ得る映像信号符号化システムを提供することにある。
【００１７】
上記の目的を達成するために、本発明の好適な一実施例によれば、特徴点ベース動き推定技法を用いて、映像信号で表現された、現フレームと復元基準フレーム及び元基準フレームを有する基準フレームとの間の動きベクトルの組を推定する動きベクトル推定方法であって、前記復元基準フレーム内に含まれる画素から、複数の重複多角形を有する多角グリッドを形成する特徴点の組を選択する第ａ工程と、前記特徴点の組の位置と同一の現フレーム上の位置に準特徴点の組を決定する第ｂ工程と、前記準特徴点に対する、初期動きベクトルの全ての成分がゼロに設定される第ｃ工程と、前記準特徴点の中から、隣接するＮ個の隣接準特徴点を有する主な準特徴点を選択するが、前記N個の隣接準特徴点を用いてN個の辺を有する主な現多角形を形成する第ｄ工程と、一定領域内の画素各々に対する前記主な準特徴点の位置変位を表す複数の候補動きベクトルを発生する第ｅ工程と、前記一定領域内の画素各々に対する前記複数の候補動きベクトル各々と、主な準特徴点の初期動きベクトルを用いて求めた複数の更新済みの初期動きベクトルと、前記N個の隣接する準特徴点の初期動きベクトルに基づいて、前記主な現多角形内に含まれる全ての画素に対して、前記複数の更新済みの初期動きベクトル各々に対応する前記元基準フレーム上の予測位置を決定する第ｆ工程と、前記元基準フレーム上の予測位置に対応する画素値により前記主な現多角形内に含まれる各画素の予測値を求めて、前記複数の更新済みの初期動きベクトルと同一の数の予測される主な現多角形を形成する第ｇ工程と、前記主な現多角形の画素値と前記予測される主な現多角形各々の画素値との間の差分を計算し、前記複数の更新済みの初期動きベクトルと同一の数のピーク信号対雑音比（ＰＳＮＲ）を発生する第ｈ工程と、前記ＰＳＮＲのうち、最大のＰＳＮＲを有する予測された主な現多角形に対応する更新済みの初期動きベクトルで前記主な準特徴点の初期動きベクトルを更新する第ｉ工程と、前記主な準特徴点に隣接する準特徴点を新しい主な準特徴点として選択して、第ｄ工程〜第ｉ工程を繰り返して全ての対象の準特徴点の初期動きベクトルを更新する第ｊ工程と、前記繰返し工程が予め定められた回数だけ行われるまで、前記第ｊ工程を繰り返す第ｋ工程とを含むことを特徴とする動きベクトル推定方法が提供される。
【００１８】
本発明の好適な他の実施例によれば、映像信号符号化システムに用いられ、特徴点ベース動き推定技法を用いて、映像信号で表現された、現フレームと復元基準フレーム及び元基準フレームを有する基準フレームとの間の動きベクトルの組を推定する動きベクトル推定装置であって、前記復元基準フレーム内に含まれる画素から、複数の重複多角形を有する多角グリッドを形成する特徴点の組を選択する第１選択手段と、前記特徴点の組の位置と同一の現フレーム上の位置に準特徴点の組を決定する準特徴点決定手段と、前記準特徴点の組に対する、各成分がゼロに設定される初期動きベクトルの組を格納する格納手段と、前記準特徴点の中から、隣接するＮ個の隣接準特徴点を有する主な準特徴点を選択するが、前記N個の隣接準特徴点を用いてN個の辺を有する主な現多角形を形成する前記第２選択手段と、一定領域内の画素各々に対する前記主な準特徴点の位置変位を表す複数の候補動きベクトルを発生する加算手段と、前記一定領域内の画素各々に対する前記複数の候補動きベクトル各々と、主な準特徴点の初期動きベクトルを用いて求めた複数の更新済みの初期動きベクトルと、前記N個の隣接する準特徴点の初期動きベクトルに基づいて、前記主な現多角形内に含まれる全ての画素に対して、前記複数の更新済みの初期動きベクトル各々に対応する前記元基準フレーム上の予測位置を決定する予測位置決定手段と、
前記元基準フレーム上の予測位置に対応する画素値により前記主な現多角形内に含まれる各画素の予測値を求めて、前記複数の更新済みの初期動きベクトルと同一の数の予測される主な現多角形を形成する予測画素発生手段と、前記主な現多角形の画素値と前記予測される主な現多角形各々の画素値との間の差分を計算し、前記複数の更新済みの初期動きベクトルと同一の数のピーク信号対雑音比（ＰＳＮＲ）を発生する差分計算手段と、前記PSNRのうち、最大のPSNRを有する予測された主な現多角形に対応する更新済みの初期動きベクトルで前記主な準特徴点の初期動きベクトルを更新する第３選択手段と、前記初期動きベクトルの全体が予め定められた回数だけ更新された場合、前記格納手段からの前記初期動きベクトルの組を前記動きベクトルの組として取出す動きベクトル取出手段とを含むことを特徴とする動きベクトル推定装置が提供される。
【００１９】
発明の実施の様態
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００２０】
図１には、本発明による映像信号符号化システムのブロック図が示されている。この符号化システムはフレーム再配列部101、減算部102、映像信号エンコーダ105、映像信号デコーダ113、加算部115、第１フレーム格納部120、第２フレーム格納部130、エントロピー符号化部107及び動き補償部150から構成されている。
【００２１】
入力ディジタル映像信号は、図２に示したように、二つのフレーム（または、ピクチャ）シーケンスを有し、第１フレームシーケンスは一つのイントラ（Ｉ）フレームI1と、三つの両方向予測フレームB1、B2、B3と、三つの予測フレームP1、P2、P3とを有し、第２フレームシーケンスは一つのイントラ（Ｉ）フレームI1と、三つの前方予測フレームF1、F2、F3と、三つの予測フレームP1、P2、P3とを有する。従って、映像信号符号化システムは二つのシーケンス符号化モード、即ち、第１シーケンス符号化モード及び第２シーケンス符号化モードを備える。
【００２２】
第１シーケンス符号化モードにおいて、ラインＬ17は第１スイッチ103によってラインＬ11に接続されて、I1、B1、P1、B2、P2、B3、P3からなる第１フレームシーケンスが第１スイッチ103を通じてフレーム再配列回路101に供給される。このフレーム再配列回路101は入力シーケンスを例えば、I1、P1、B1、P2、B2、P3、B3のディジタル映像信号に再配列することによって、Ｂフレームに対する両方向予測フレーム信号を求める。その後、再配列されたディジタル映像信号は、ラインＬ18を介して第２スイッチ104ａに、ラインL12を介して第１フレーム格納部120に、ラインL1を介して動き補償部１50に各々供給される。
【００２３】
第２シーケンス符号化モードにおいては、ラインＬ17は第１スイッチ103によりラインＬ11に接続されて、I1、F1、P1、F2、P2、F3、P3からなる第２フレームシーケンスが第１スイッチ103を通じて、ラインＬ12を介して第１フレーム格納部120に、ラインL1を介して動き補償部150に、ラインL18を介して第２スイッチ104aに各々供給される。第１スイッチ103は、従来のシステム制御部、例えば、マイクロプロセッサ（図示せず）からのシーケンスモード制御信号CS1により駆動される。上述したことから分かるように、第１シーケンス符号化モードで行われる場合、再配列による遅延があるため、テレビ電話及び電子会議等の適用分野においては第２シーケンス符号化モードが低遅延モードとして効率的に用いられ得る。
【００２４】
図１に示したように、映像信号符号化システムは、二つのフレーム符号化モード、即ち、フレーム間符号化モード及びフレーム内符号化モードを選択的に行うのに用いられる第２スイッチ104a及び第３スイッチ104bを備える。公知のように、第２スイッチ104a及び第３スイッチ104bは、システム制御部からのフレームモード制御信号CS2により同時に駆動される。
【００２５】
フレーム間符号化モードにおいて、インタフレームＩ1は、現フレーム信号としてラインＬ14を介して映像信号エンコーダ105に直接に供給される。この現フレーム信号は例えば、離散的コサイン変換（ＤＣＴ）及び周知の量子化技法の一つを用いて、量子化変換係数の組に符号化される。また、インタフレームＩ1は、第１フレーム格納部120のフレームメモリ121内の元基準フレームとして格納される。ここで、第１フレーム格納部120は、ラインＬ2、Ｌ3及びＬ4を介して動き補償部150に各々接続されている三つのフレームメモリ121、122及び123を備える。しかる後、量子化変換係数はエントロピー符号化部107及び映像信号デコーダ113に各々供給される。エントロピー符号化部107において、映像信号エンコーダ105からの量子化変換係数は、例えば、可変長符号化技法を用いて同時に符号化され、その伝送のための伝送器（図示せず）に伝送される。
【００２６】
一方、映像信号デコーダ113は、逆量子化及び逆離散的コサイン変換技法を用いて、映像信号エンコーダ105からの量子化変換係数を復元イントラフレーム（フレーム間）信号に再度変換する。その後、映像信号デコーダ113からの復元フレーム間信号は、第２フレーム格納部130のフレームメモリ131内の復元基準フレームとして格納される。ここで、第２フレーム格納部130は、ラインＬ′2、Ｌ′3、Ｌ′4を介して動き補償部150に各々接続されている三つのフレームメモリ131、131、133を備える。
【００２７】
インタ符号化モードにおいて、インタフレーム（例えば、予測フレームP1、両方向予測フレームまたは前方予測フレームF1）は、現フレーム信号として動き補償部150及び減算部102に各々供給され、第１フレーム格納部120のフレームメモリ131に格納される。ここで、いわゆるインタフレームは両方向予測フレームB1、B2、B3、予測フレームP1、P2、P3及び前方予測フレームF1、F2、F3を備える。しかる後、既にフレームメモリ121に格納されていた元基準フレームは、ラインＬ2を介して動き補償部150に供給され、フレームメモリ122にシフトされるかまたは格納される。この動き補償部150は、後述するように、ブロックベース動き補償チャネル及び特徴点ベース動き補償チャネルを有する。
【００２８】
現フレームが予測フレームP1である場合、ラインＬ1上の現フレーム信号及びラインL′1上の第２フレーム格納部130のフレームメモリ131からの復元基準フレーム信号は、ブロックベース動き補償チャネルを通じて処理され、ラインＬ30上に予測現フレーム信号を発生し、ラインＬ20上に動きベクトルの組を発生するために、現フレーム信号を予測する。現フレームが前方予測フレームF1（または、両方向予測フレームB1）である場合には、ラインＬ1上の現フレーム信号、ラインＬ2、Ｌ3、Ｌ4のうちの一つ上の第１フレーム格納部120からの元基準フレーム信号、及びラインＬ′2、Ｌ′3、Ｌ′4のうちの一つ上の第２フレーム格納部130からの復元基準フレーム信号は、特徴点ベース動き補償チャネルを通じて処理され、ラインＬ30上に現フレーム信号を発生し、ラインＬ20上に動きベクトルの組を各々発生するために、現フレーム信号を予測する。図３を参照して、動き補償部150を詳細に説明する。
【００２９】
減算部102においては、ラインＬ３０上の予測現フレーム信号とラインＬ15上の現フレーム信号との間の差が求められ、結果データ（即ち、差分画素値を表す誤差信号）は映像信号エンコーダ105に入力される。ここで、誤差信号は、例えば、ＤＣＴ及び周知の量子化法の一つを用いて、量子化変換係数の組に符号化される。即ち、現フレームと予測現フレームとの間の差によって求められた誤差がＤＣＴ符号化される。この場合、誤推定された動きベクトルにより発生された激しく劣化された領域のみを補償するため、量子化幅の大きさは大きい値に設定される。
【００３０】
続いて、量子化変換係数は、エントロピー符号化部107及び映像信号デコーダ113に各々供給される。エントロピー符号化部107において、映像信号エンコーダ105からの量子化変換係数及び動き補償部150からラインＬ20を介して伝送された動きベクトルは、例えば、可変長符号化技法を用いて同時に符号化され、その伝送のために伝送器（図示せず）に伝送される。
【００３１】
一方、映像信号デコーダ113は、逆量子化及び逆離散的コサイン変換を用いて、映像信号エンコーダ105からの量子化変換係数を復元誤差信号に再度変換する。
【００３２】
映像信号デコーダ113からの復元誤差信号及びラインL16を介して動き補償部150から入力された予測現フレーム信号は、第３スイッチ104ｂを介して加算部115にて組み合せられることによって、ラインＬ′1を介して、第２フレーム格納部130内に前フレームとして格納されるべき復元基準フレーム信号を供給する。
【００３３】
第２フレーム格納部130は、例えば、図１に示したように、直列に接続されている三つのフレームメモリ131、132及び133を備える。即ち、加算部115からの復元フレーム信号は、最初、例えば、フレームメモリ131に格納された後、ラインＬ2を介して動き補償部150に供給され、加算部115からの次の復元フレーム信号がフレームメモリ131に入力される場合、フレーム単位でフレームメモリ132にシフトされる。このプロセスは、映像符号化動作が行われる間、順に繰り返される。
【００３４】
図２を参照すると、上記した第１及び第２フレームシーケンスの例示図が示されている。図示したように、現フレームが予測フレームP1である場合、動きベクトルの組ＳＭＶ１は、復元インタフレームＩ1を用いて、第２フレーム格納部130から取出された基準フレームとしてブロック単位で求められる。同様に、現フレームP2及びP3に対する動きベクトルの各組ＳＭＶ２及びＳＭＶ３は、各々基準フレームP1及びP2を用いて求められる。
【００３５】
現フレームが両方向予測フレームB1である場合、前方向動きベクトルの組ＦＭＶ１は、第２フレーム格納部130から取出された復元基準フレームI1及び第１フレーム格納部120から取出された元基準フレームI1を用いて、特徴点から求められる。同様に、現フレームB1に対する後方向動きベクトルの組ＢＭＶ１は、元基準フレームP1及び復元基準フレームP1を用いて求められる。しかる後、映像信号符号化システムは、前方向動きベクトルの組ＦＭＶ１と後方向動きベクトルの組ＢＭＶ１との間で選択され、それに対応する動きベクトルを伝送する。
【００３６】
現フレームが前方予測フレームF1である場合、前方向動きベクトルの組ＦＭＶ２は、第１フレーム格納部120から取出された元基準フレームI1及び第２フレーム格納部130から取出された復元基準フレームF1を用いて、特徴点から求められる。
【００３７】
上述したように、動き推定及び補償のため、第１及び第２フレームシーケンスに含まれた各フレームは、第１及び第２フレーム格納部120、130内に下記の〔表I〕及び〔表II〕に示したように配列される。
【００３８】
【表１】
0004187264.tif 000002
【００３９】
【表２】
0004187264.tif 000003
【００４０】
ここで、Ｉ１：前方向動き推定に対して用いられるフレーム
Ｐ１、Ｐ２：後方向動き推定に対して用いられるフレーム
【００４１】
上記のように、予測フレームP1、P2、P3は、ブロックベース動き推定を用いたＤＣＴベース予測符号化（いわゆる、ＴＭＮ４）技法を通じて再構成され、介在フレーム（即ち、両方向予測フレームB1、B2、B3）または、前方予測フレームF1、F2、F3は、本発明による改善された特徴点ベース動き補償―離散的コサイン変換（ＭＣ−ＤＣＴ）技法を用いて再構成される。
【００４２】
図３には、図１に示した動き補償部150の詳細なブロック図が示されている。図３に示したように、動き補償部150は、三つの入力選択部154、155及び156、ブロックベース動き補償部151、第１特徴点ベース動き補償部152、第２特徴点ベース動き補償部153及び二つの出力選択部157、158を備える。
【００４３】
従来のブロック整合アルゴリズムを用いたブロックベース動き補償部151は、各予測フレームP1、P2、P3に対する動きベクトルの組を検出し、それに対応する予測フレームに対する予測現フレームを発生する。従って、〔表I〕及び〔表II〕に示したように、予測フレームＰ１が現フレームとしてブロックベース動き補償部151に供給される場合、入力選択部154は、ラインＬ′2上の復元インタフレームＩ1を基準フレームとして、ブロックベース動き補償部151に供給する。ブロックベース動き補償部151においては、動きベクトルの組が推定され、予測現フレーム信号がその推定を通じて構成される。その後、動きベクトルの組及び予測現フレーム信号は、ラインＬ20及びＬ30上の各出力選択部157、158を介して、エントロピー符号化部107及び減算部102に各々供給される。
【００４４】
アフィン変換を用いる第１特徴点ベース動き補償部152は、各両方向予測フレームB1、B2、B3または前方予測フレームF1、F2、F3に対する前方向推定の動きベクトルの組を検出し、それに対応する両方向または前方予測フレームに対する予測現フレームを発生する。従って、ラインＬ1上の両方向予測フレームB1が、現フレームとして第１特徴点ベース動き補償部152に供給される場合、入力選択部155は、〔表I〕に示したように、ラインＬ2上の元イントラフレームＩ1を元基準フレームとして第１特徴点ベース動き補償部152に供給する。入力選択部156は、ラインＬ′2上の復元イントラフレームＩ1を復元基準フレームとして第１特徴点ベース動き補償部152に供給して、予測フレームを発生する。第１特徴点ベース動き補償部152においては、前方向推定の動きベクトルの組が復元基準フレーム及び元基準フレームを用いて推定され、予測現フレーム信号が復元基準フレームを用いて構成される。続いて、前方向推定の動きベクトルの組及び予測現フレーム信号は、ラインＬ20、Ｌ30上の各出力選択部157、158を介して供給される。ここで、各出力選択部157及び158は、システム制御部（図示せず）からの制御信号CS5及びCS6によって制御される。
【００４５】
第２特徴点ベース動き補償部153は後述するアフィン変換を用いて、各両方向予測フレームB1、B2、B3に対する各後方向推定の動きベクトルの組を検出し、それに対応する両方向予測フレームに対する予測現フレームを発生する。従って、両方向予測フレームB1が、現フレームとして第２特徴点ベース動き補償部153に供給される場合、ラインＬ2上の元基準フレームP1は、元基準フレームとして第２特徴点ベース動き補償部153に供給され、ラインＬ′2上の復元予測フレームP1は、復元基準フレームとして第２特徴点ベース動き補償部153に供給される。第２特徴点ベース動き補償部153において、後方向推定の動きベクトルの組は復元基準フレーム及び元基準フレームを用いて求められ、予測現フレーム信号は復元基準フレームを用いることによって求められる。その後、後方向推定の動きベクトルの組及び予測現フレーム信号は、ラインＬ20、Ｌ30上の出力選択部157、158に各々供給される。
【００４６】
図４には、図３中の特徴点ベース動き補償部の詳細なブロック図が示されている。第２フレーム格納部130からのラインＬ′2上の復元基準フレームは、特徴点の組を発生する特徴点選択部210と動き補償部240とに各々入力される。
【００４７】
その後、特徴点の組は、動きベクトル探索部230及び動き補償部240に各々供給される。動きベクトル探索部230は、元基準フレーム及び現フレームを受取り、特徴点の組に対する動きベクトルの組を発生する。この動きベクトルの組は、動きベクトルの組及び特徴点の組に基づいて、予測現フレームを発生する動き補償部24に伝送される。
【００４８】
特徴点選択部21において、特徴点の組は復元基準フレーム内に含まれた複数の画素から選択される。ここで、各特徴点は一つの画素の位置によって規定される。図５（Ａ）及び（Ｂ）には、現フレーム及び復元基準フレームの例が示されている。
【００４９】
図６（Ａ）〜（Ｅ）は、本発明による特徴点選択プロセスを説明するための模式図である。図６（Ａ）に示したように、各エッジは、公知のソベル（Sobel）エッジ検出器（例えば、A.K.Jain氏の論文、「Fundamentals of Digital Image Processing」、1989年、Prentice-Hall International参照）を用いて、図５（Ｂ）に示した復元基準フレームＰ（ｘ、ｙ）で検出される。ソベル演算子からの出力
0004187264.tif 000004
は、予め定められた閾値Ｔｅと比較される。この予め定められた閾値Ｔｅは、本発明によって６として好適に選択される。ソベル演算子からの出力値
0004187264.tif 000005
が予め定められた閾値Ｔｅより小さい場合、出力値
0004187264.tif 000006
は０に設定される。そうでない場合には、その出力値が変換されない。従って、図６（Ａ）のエッジ映像信号ｅｇ（ｘ、ｙ）は、下記のように定義される。
0004187264.tif 000007
【００５０】
本発明の好適実施例において、特徴点は、図６（Ｂ）に示したように、複数の重複六角形を有する六角グリッドを用いたグリッド技法を用いて決定される。図６（Ｃ）に示したように、六角形610は、七つのグリッド点611〜617を結ぶ線分によって決定される。六角形610に含まれたグリッド点617は、正方形より隣接グリッド点611〜616をさらに取り囲むことによって、特徴点がより効果的に組合わせられるようにする。六角形610は六つの非重複三角形621〜626を有し、グリッド点611〜617は該三角形621〜626の頂点である。六角形610の解像度は、本発明によってラインＨＨ及びＨＶにより決定され、好ましくは、各々１３及び１０に設定される。
【００５１】
図６（Ｄ）を参照すると、各グリッド点（例えば、G1〜G4）に対して、非重複探索範囲（例えば、SR1〜SR4）が設定される。探索範囲ＳＲ１に位置したエッジ点（例えば、E7）は、エッジ点（例えば、E7）を取り囲む八つの画素の和値が最大となる場合、グリッド点（例えば、G1）に対する特徴点になる。従って、特徴点Diは次のように求められる。
Di={(x,y)|Max Σ[k=-1、1]Σ[l=-1、1]EG(x+k、y+1)}    式(2)
ここで、Σ[x=0、I]Σ[y=0、J]Z(x、y)
=Z(0,0)+Z(0,1)+…+Z(0,I)+Z(1,0)+…+Z(1,J)+…+Z(I,0)+Z(I,J)
ＥＧ：探索範囲内のエッジ点の値
ｉ：正の整数
【００５２】
特徴点の組は、式（２）を用いて決定される。ここで、特徴点の組は、エッジ点上に重複するグリッド点と、非重複探索範囲ＳＲｉ内に位置し、それを取り囲む画素点の最大和値を有するエッジ点と、非重複探索範囲内に含まれたエッジ点のない該当グリッド点とを備える。
【００５３】
その後、最大和値を有するエッジ点が一つ以上存在する場合には、グリッド点に最も近いエッジ点を特徴点として決定する。
【００５４】
特徴点の組が決定された場合、図６（Ｂ）に示した六角グリッドは、図６（Ｅ）に示す六角形の特徴点グリッドとして変形される。六角形の特徴点グリッドが決定された後、特徴点の組は動きベクトルの組を検出する、図４の動きベクトル探索部230に供給される。本発明によると、アフィン変換を用いる収束プロセスは、動きベクトルの組を探索するのに用いられる。
【００５５】
図７（Ａ）及び（Ｂ）には、本発明による動きベクトル探索の過程を説明するための模式図が示されている。準特徴点の組は、特徴点の組を用いて現フレームで決定される。ここで、各復元基準フレームの特徴点は、それに対応する現フレームの準特徴点にマッピングされる。各準特徴点（例えば、D1〜D30）に対する初期の動きベクトルは（０、０）に設定される。
【００５６】
しかる後、準特徴点（例えば、D7）がその動きベクトルの推定のため処理されるべき主な準特徴点として割当てられるか捨てられる際、主な現多角形700が収束の過程で用いられる。主な現多角形700は、主な準特徴点D7と、主な準特徴点D7を取り囲むそれに隣接する準特徴点（例えば、D1〜D6）とを接続する線分により決定される。主な現多角形700は、六つの非重複三角形701〜706を備える。ここで、主な準特徴点は三角形の共通頂点上に位置する。
【００５７】
その後、予め定められた候補動きベクトルの数が、順に準特徴点D7の初期動きベクトルに加算される。ここで、予め定められた候補動きベクトルの数は、水平及び垂直に０〜±７の範囲内で好適に選択され、候補動きベクトルD7Y1は、三角形701が逆になるので許されない。候補動きベクトルD7X1は、更新された初期動きベクトルD7D′7を発生するため、該六つの隣接する特徴点D1〜D6の初期動きベクトルを変更せず、主な準特徴点D7の初期ベクトルに加えられる。従って、更新された初期動きベクトルD7D′7は、主な準特徴点D7と候補準特徴点D′7との間の変位を表す。
【００５８】
主な現多角形700に含まれた各画素に対する予測位置は、更新された初期動きベクトル及び隣接する準特徴点の初期ベクトルを用いて、元基準フレーム上に決定される。
【００５９】
しかる後、主な現多角形700に含まれた各画素の位置は、予測位置に対応する元基準フレーム上の画素値によって補間され、予測された主な現多角形を形成する。本発明の好適実施例によると、このプロセスは、三つの特徴点（例えば、D1、D2、D7）を有する各三角形（例えば、701）にて周知のアフィン変換により行われる。アフィン変換は、下記のように定義される。
【数１】
0004187264.tif 000008
ここで、（ｘ、ｙ）：予測された主な現多角形内の画素のｘ及びｙ座標
（ｘ′、ｙ′）：元基準フレーム上の予測位置
ａ〜ｆ：アフィン変換係数
【００６０】
六つのマッピングパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆは、三つの準特徴点（例えば、D1、D2、D7）の動きベクトルを用いてユニークに決定される。一旦アフィン変換係数が決定されると、三角形701における各残余画素は、元基準フレームの位置上にマッピングされ得る。元基準フレームの予測位置（ｘ′、ｙ′）が多くの場合において整数の組でないため、予測位置（ｘ′、ｙ′）で補間されたグレイレベルは、公知の双線形補間技法（bilinear interpolation technique）を用いて求められる。アフィンマッピングプロセスが各三角形701〜706に別に適用される。その後、候補動きベクトルに対する予測された主な現多角形が求められる。
【００６１】
その後、予測された主な現六角形は現六角形700と比較され、予測された主な現六角形のピーク信号対雑音比（ＰＳＮＲ:peak signal to noise ratio）及び現六角形が増加するかがチェックされる。この場合、主な準特徴点D7の初期動きベクトル（０、０）は、更新済みの初期動きベクトルD7D′7に更新される。
【００６２】
このプロセスは、残余の候補動きベクトルに対して反復され、また、第１過程における上記現フレームに含まれた全ての準特徴点にも行われる。
【００６３】
図７（Ｂ）を参照すると、第１過程が完成されたとする場合、準特徴点D7は、主な準特徴点にセットされ、隣接する準特徴点D1〜D6に対する更新された初期動きベクトルは、D1D′2、D2D′2、D3D′3、D4D′4、D5D′5及びD6D′6である。同様にして、予め定められた候補動きベクトルは、主な準特徴点D7D′7の初期動きベクトルに順に加算される。例えば、候補動きベクトルD′7X2は、それに隣接する六つの特徴点D1D′1、D2D′2、D3D′3、D4D′4、D5D′5、D6D′6の動きベクトルを変更せず、初期動きベクトル主な準特徴点D7D′7の初期ベクトルに加算される。従って、更新された初期動きベクトルはD7X2になる。上述したように、予め定められた候補動きベクトルの数は、水平及び垂直に０〜±７の範囲内で好適に選択される。しかし、候補動きベクトルD7Y2は、三角形701が逆になるので許容されない。
【００６４】
主な現多角形700に含まれた各画素に対する予測位置は、更新された動きベクトルD7X2及び隣接する準特徴点D1D′1、D2D′2、D3D′3、D4D′4、D5D′5及びD6D′6の初期ベクトルを用いて、元基準フレーム上で決定される。しかる後、主な現多角形700に含まれた各画素の位置は、予測された主な現多角形700′（図７（Ｂ）の点線）からの予測位置に対応する元基準フレーム上の画素値によって補間される。
【００６５】
続いて、予測された主な現多角形700′は、現六角形と比較され、予測された主な現六角形のＰＳＮＲ及び現六角形が増加するかがチェックされる。この場合、主な準特徴点D7D′7の初期動きベクトルは、更新済みの初期動きベクトルD7X2に更新される。
【００６６】
このプロセスは、残余候補動きベクトルに対して反復され、また、第２過程における現フレームに含まれた全ての準特徴点にも行われる。
【００６７】
上記プロセスは、動きベクトルが収束されるまで全ての特徴点に行われるが、好ましくは、殆どの場合、動きベクトルが５番目の段階の前に収束されるため、第５段階に設定される。
【００６８】
上述したように、収束の過程において、各特徴点の変位は、動きベクトルとして表われ、各六角形の六つの三角形は、その頂点特徴点の変位を用いて独立的にアフィン変換される。変位がより良好なＰＳＮＲを供給する場合、主な準特徴点の動きベクトルは順に更新される。従って、収束の過程は、ズーミング、回転またはスケーリング物体を有する元映像により近くし得る予測映像を決定する整合プロセスにおいて非常に効果的である。
【００６９】
本発明の好適実施例によると、このプロセスは、ハードウェアの実行のため、三つの過程にて行われ得る。図７（Ａ）に示したように、主な非重複現多角形を形成する、D1、D3及びD5として表示された準特徴点は、最初、各六つの隣接する特徴点（D2、D7、D6、D10、D11、D17）、（D2、D4、D7、D12、D13、D19）、（D4、D6、D7、D8、D9、D15）を用いて同時に処理される。
【００７０】
図４を再び参照すると、その後、全ての準特徴点に対して求められた動きベクトルは、復元基準フレームを用いて予測現フレーム信号を発生する動き補償ブロック240に、全ての特徴点に対して動きベクトルとして供給される。即ち、予測現フレーム信号は、復元前フレーム及び求められた動きベクトルを用いるアフィン変換によって求められる。上述したように、このマッピングは、復号化システム（図示せず）が復元基準フレームのみ有するため、復元基準フレームが元基準フレームの代わりに用いられたことを除いては、動きベクトル検索プロセスに対して用いられたアフィン変換を用いて同一に行われる。
【００７１】
一方、符号化システムは、特徴点ベース動き補償を用いて、動きベクトルのみ有する非常に正確な映像を発生するので、現フレームと予測現フレームとの間の差分またはエラー信号は伝送されない。
【００７２】
上述したように、特徴点ベース動き補償を用いた本発明の符号化システムは、動き補償の組を正確に得ることによって、符号化効果をより向上させ得る。
【００７３】
特徴点ベース動き補償アルゴリズムは映像特徴点に基づき、アフィン変換は物体の回転及びズーミングを補償するのに用いられる。通常の場合、動き補償された映像は、高画質のより高いＰＳＮＲを有する。もし大量の動きにおける予測を失敗したとき、エラー映像は、大きい量子化幅を有するＤＣＴを用いて符号化され伝送され得る。詳述すると、２４k bpsにて本発明の符号化システムを用いてより正確な物体の画質を得ることができる。また、特徴点の位置はフレーム単位で変更するため、本発明の符号化システムは、基準フレームとして、符号化部及び復号化部ともに存在して特徴点の位置情報を伝送する必要がない復元現フレームを用いる。さらに、本発明の符号化システムに用いられた画素単位動き補償は、動きベクトルのみ有するアフィン変換を用いてズーミング、回転及び物体のスケーリングを補償し得るため、ブロックベース動き補償より高画質の物体を発生する。
【００７４】
上記において、本発明の特定な実施例について説明したが、本細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００７５】
【図面の簡単な説明】
【図１】図１は、本発明による特徴点ベース動き補償部が組み込まれた映像信号符号化装置のブロック図である。
【図２】図２は、（Ａ）及び（Ｂ）よりなり、各々フレームシーケンスを説明するための概略的な模式図ある。
【図３】図３は、図１中の動き補償部の詳細なブロック図である。
【図４】図４は、図３中の動きベクトル探索部の例示的なブロック図である。
【図５】図５は、（Ａ）及び（Ｂ）よりなり、各々現フレーム及び復元予測フレームの例示的な模式図であり、
【図６】図６は、（Ａ）〜（Ｅ）よりなり、各々本発明による特徴点選択過程を説明するための例示的な模式図である。
【図７】図７は、（Ａ）及び（Ｂ）よりなり、各々本発明による動きベクトル探索過程を説明するため模式図である。
【図１】
0004187264.tif 000015
【図２（Ａ）】
0004187264.tif 000016
【図２（Ｂ）】
0004187264.tif 000017
【図３】
0004187264.tif 000018
【図４】
0004187264.tif 000019
【図５（Ａ）】
0004187264.tif 000020
【図５（Ｂ）】
0004187264.tif 000021
【図６（Ａ）】
0004187264.tif 000022
【図６（Ｂ）】
0004187264.tif 000023
【図６（Ｃ）】
0004187264.tif 000024
【図６（Ｄ）】
0004187264.tif 000025
【図６（Ｅ）】
0004187264.tif 000026
【図７（Ａ）】
0004187264.tif 000027
【図７（Ｂ）】
0004187264.tif 000028