(57)【特許請求の範囲】
【請求項１】
特徴点に基づく動き推定法に基づいて、現フレームとその前フレームとを有する複数のフレームからなるディジタルビデオ信号を符号化するビデオ信号符号化装置に用いられ、前記現フレームとその前フレームとの間における物体の動きに従って適応的に特徴点を選択するビデオ信号符号化方法であって、
（ａ）画素単位で現フレームの画素値から前フレームの画素値を減算することによって、現フレームと前フレームとで同一の位置に存在する画素間の差分画素値を提供する過程と、
（ｂ）前記差分画素値と予め定められた第１閾値ＴＨ１とを画素単位で比較すると共に、前記第１閾値ＴＨ１より大きい差分画素値を有する画素からなる、１つまたはそれ以上の第１グリッド領域を取り囲む処理領域を選択する過程と、
（ｃ）前記前フレームにおける処理領域内に存在する各画素の動きベクトルを、前記現フレームと前記前フレームとの間で検知する過程と、
（ｄ）前記前フレームにおける処理領域内に存在する各画素の動きベクトルによって指し示される現フレームの画素値を提供する過程と、
（ｅ）前記前フレームにおける処理領域内に存在する各画素の動きベクトルによって指し示される現フレームの画素値から、前記前フレームにおける処理領域内に存在する各画素の画素値を画素単位で減算することによって、誤差画素値を提供する過程と、
（ｆ）前記誤差画素値と予め定められた又は適応的に特定された第２閾値ＴＨ２とを比較すると共に、前記第２閾値ＴＨ２より大きい誤差画素値を有する画素からなる、１つまたはそれ以上の第２グリッド領域を選択する過程と、
（ｇ）前記前フレームにおける各処理領域に相対的に低いグリッド点密度の繰り返されるパターンを有する第１グリッドを形成し、かつ前記各第２グリッド領域に相対的に高いグリッド点密度の繰り返されるパターンを有する第２グリッドを形成する過程であって、該第２グリッドは、前記第２グリッド領域の第１グリッドのグリッド点と、前記第２グリッド領域の第１グリッドのグリッド点のうち垂直及び水平方向に隣接する一対のグリッド点の間の中央に位置した、新たに追加されたグリッド点とによって形成される、該過程と、
（ｈ）前記前フレームからエッジ点を検知する過程と、
（ｉ）前記第１及び第２グリッドに基づいて探索領域を設定し、グリッド点及びエッジ点に基づいて、前記探索領域内で特徴点を特定することによって、前記前フレームにおける複数の画素を特徴点として選択する過程とを有し、
前記エッジ点検知過程（ｈ）が、前記前フレームにおける各画素に対するグラディエントの大きさを算出する過程を含み、
前記特徴点選択過程（ｉ）が、
（ｉ１）前記第１及び第２グリッドの各々のグリッド点に対して、互いに重複しない探索領域を設定する過程と、
（ｉ２）前記エッジ点を中心とした所定の数の画素よりなるブロック内に存在する画素のグラディエントの大きさを合計することによって得られた合計値を、各々のエッジ点に対するエッジ値として提供する過程と、
（ｉ３）前記探索領域内においてエッジ点が存在しない場合、前記探索領域のグリッド点を特徴点として特定し、前記探索領域内において１つまたはそれ以上のエッジ点が存在する場合、前記エッジ点のうち、より大きいエッジ値を有する前記エッジ点を特徴点として特定して、前記特徴点を提供する過程とを有することを特徴とするビデオ信号符号化方法。
【請求項２】
前記第１及び第２グリッドが、各々六角及び三角グリッドからなることを特徴とする請求項１に記載のビデオ信号符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ信号を符号化する方法に関し、とくに、物体の動きに従って適応的に特徴点を選択することによってビデオ信号を効果的に符号化し得る方法に関する。
【０００２】
【従来の技術】
周知のように、ディジタル化された映像信号の伝送は、アナログ信号の伝送より良好な画質を維持することができる。一連のイメージ“フレーム”からなるイメージ信号がディジタル形態で表現される時、とくに、高精細度テレビ（ＨＤＴＶ）の場合、大量のデータが伝送されなければならない。しかし、従来の伝送チャンネルの使用可能な周波数帯域は限定されているため、その大量のディジタルデータを伝送するためには、伝送すべきデータを圧縮するか、またはその量を減らす必要がある。多様な圧縮技法のうち、統計的符号化技法と時間的／空間的圧縮技法とを組み合わせた、いわゆるハイブリッド符号化（ｈｙｂｒｉｄ  ｃｏｄｉｎｇ）技法が最も効率的な圧縮技法として知られている。
【０００３】
殆どのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）法、２次元ＤＣＴ（離散的コサイン変換）法、ＤＣＴ係数の量子化法、及びＶＬＣ（可変長符号化）法を用いている。動き補償ＤＰＣＭ法は、現フレームとその前フレームとの間の物体の動きを推定し、推定された物体の動きから現フレームを予測すると共に、現フレームとその予測値との間の差を表す誤差信号を生成する方法である。この方法は、例えばＳｔａｆｆａｎ  Ｅｒｉｃｓｓｏｎによる、「Ｆｉｘｅｄ  ａｎｄ  Ａｄａｐｔｉｖｅ  Ｐｒｅｄｉｃｔｏｒｓ  ｆｏｒ  Ｈｙｂｒｉｄ  Ｐｒｅｄｉｃｔｉｖｅ／Ｔｒａｎｓｆｏｒｍ  Ｃｏｄｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３３，ＮＯ．１２，（１９８５年１２月）、またはＮｉｎｏｍｉｙａとＯｈｔｓｕｋａとによる「Ａ  Ｍｏｔｉｏｎ−  Ｃｏｍｐｅｎｓａｔｅｄ  Ｉｎｔｅｒｆｒａｍｅ  Ｃｏｄｉｎｇ  Ｓｃｈｅｍｅ  ｆｏｒ  ＴｅｌｅｖｉｓｉｏｎＰｉｃｔｕｒｅｓ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３０，ＮＯ．１，（１９８２年１月）に記載されている。
【０００４】
映像データ間の空間的冗長度を除去する２次元ＤＣＴ法においては、例えば、８×８画素のディジタル映像データのブロックを一組の変換係数のデータに変換する。この技法は、例えばＣｈｅｎ及びＰｒａｔｔの「Ｓｃｅｎｅ  Ａｄａｐｔｉｖｅ  Ｃｏｄｅｒ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３２，Ｎｏ．３（１９８４年３月）に開示されている。そのような変換係数のデータを量子化器、ジグザグスキャナ及びＶＬＣにて処理することによって、伝送されるべきデータの量を効果的に圧縮することができる。
【０００５】
詳述すると、動き補償ＤＰＣＭでは、現フレームと前フレームとの間で推定された物体の動きに基づいて、現フレームのデータを対応する前フレームのデータから予測する。このような推定された動きは、前フレームと現フレームとの間の画素の変位を表す２次元動きベクトルによって表される。
【０００６】
ある物体の画素の変位を推定する方法は、２つの基本的なタイプに分類される。一方はブロック単位の動き推定であり、他方は画素単位の動き推定である。
【０００７】
ブロック単位の推定においては、現フレームの各ブロックは、最も良好な一致が得られるまでその前ブロックにおけるブロックと比較される。かくして、現フレームの全ブロックに対する（ブロックがフレーム間でどの位移動したかを表す）フレーム間の変位ベクトルが推定される。
【０００８】
しかし、ブロック単位の動き推定に於いては、ブロック内における全ての画素が一方向へ移動しない場合には、不良な推定が行われ、その結果、全体的な画質が低下する。
【０００９】
一方、画素単位の動き推定を用いると、変位は全ての画素に対して求められる。この方法は画素値をより正確に推定することができると共に、スケール変更（例えば、ズーミングのような映像面に対しする垂直な動き）も容易に扱うことができる。しかし、画素単位の方法では、動きベクトルが全ての画素の各々に対して決定されるので、全ての動きベクトルデータを受信機に伝送することは実際には不可能である。
【００１０】
画素単位の動き推定の結果生じる伝送データ量が過剰となる問題を解決するために導入された技法の１つが、特徴点に基づく動き推定方法がある。
【００１１】
特徴点に基づく動き推定法においては、１組の選択された画素（即ち、特徴点）に対する動きベクトルが受信機へ伝送される。ここで、特徴点とは物体の動きを表し得る現フレームまたはその前フレームの画素として定義され、受信端では、特徴点の動きベクトルから現フレームにおける画素に対する全体の動きベクトルを復元または推定できる。特徴点に基づく動き推定法を用いた符号化器においては、本特許出願と出願人を同じくする係属中の米国特許出願第０８／３６７，５２０号「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｅｎｃｏｄｉｎｇ  ａ  Ｖｉｄｅｏ  Ｓｉｇｎａｌ  Ｕｓｉｎｇ  Ｐｉｘｅｌ−ｂｙ−Ｐｉｘｅｌ  Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ」明細書に開示されており、複数の特徴点が現フレームに含まれる全ての画素から最初選択される。その後、その選択された特徴点に対する動きベクトルを通常のブロック整合法を用いて特定するが、ここで各々の動きベクトルは、前フレームにおける１つの特徴点と現フレームにおける対応する整合点（即ち、最も準な画素）との間の空間的変位を表す。より詳しくは、特徴点の各々に対する整合点は、現フレーム内の探索領域内で検知されるが、ここで探索領域は対応する特徴点の位置を取り囲む予め定められた領域として定義される。しかる後、現フレームにおける全画素に対する全体の動きベクトルが、特徴点の動きベクトルに基づいて特定される。
【００１２】
しかしながら、上述した特徴点に基づく動き推定法においては、特徴点が物体間の多様な動きを考えずに特定されるため、適正な動き推定または正確な映像の復元が必ずしも可能ではないという欠点があった。
【００１３】
【発明が解決しようとする課題】
従って、本発明の主な目的は、物体の動きによって適応的に特徴点を選択することによって、ビデオ信号を効率的に符号化できる改善されたビデオ信号符号化方法を提供することである。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、特徴点に基づく動き推定法に基づいて、現フレームとその前フレームとを有する複数のフレームからなるディジタルビデオ信号を符号化するビデオ信号符号化装置に用いられ、前記現フレームとその前フレームとの間における物体の動きに従って適応的に特徴点を選択するビデオ信号符号化方法であって、（ａ）画素単位で現フレームの画素値から前フレームの画素値を減算することによって、現フレームと前フレームとで同一の位置に存在する画素間の差分画素値を提供する過程と、（ｂ）前記差分画素値と第１閾値ＴＨ１とを画素単位で比較すると共に、前記第１閾値ＴＨ１より大きい差分画素値を有する画素からなる、１つまたはそれ以上の処理領域を選択する過程と、（ｃ）前記前フレームにおける処理領域内に存在する各画素の動きベクトルを、前記現フレームと前記前フレームとの間で検知する過程と、（ｄ）前記前フレームにおける処理領域内に存在する各画素の動きベクトルに基づいて、前記現フレームの画素値を提供する過程と、（ｅ）前記現フレームの画素値から、前記前フレームにおける処理領域内に存在する各画素の画素値を画素単位で減算することによって、誤差画素値を提供する過程と、（ｆ）前記誤差画素値と前記第２閾値ＴＨ２とを比較すると共に、前記第２閾値ＴＨ２より大きい誤差画素値を有する画素からなる、１つまたはそれ以上のグリッド領域を選択する過程と、（ｇ）前記前フレームにおける各処理領域に第１グリッドを形成し、かつ前記各グリッド領域に第２グリッドを形成する過程であって、該第２グリッドは第１グリッドのグリッド点の一部と、前記第１グリッドにおいて垂直及び水平方向に隣接する一対のグリッド点の間の中央に位置した、新たに追加されたグリッド点とによって形成される、該過程と、（ｈ）前記前フレームからエッジ点を検知する過程と、（ｉ）前記第１及び第２グリッド、及びエッジ点に基づいて、前記前フレームにおける複数の画素を特徴点として選択する過程とを有することを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の好適な実施例について図面を参照しながらより詳しく説明する。
【００１６】
図１を参照すると、本発明によるビデオ信号符号化装置１０のブロック図が示されている。入力ディジタルビデオ信号は、ラインＬ１１及びＬ１０を介して減算器１０２及び現フレーム予測ブロック１５０に接続されている第１フレームメモリ１００内に、現フレーム信号として格納されている。
【００１７】
この第１フレーム予測ブロック１５０においては、第１フレームメモリ１００から取り出されたラインＬ１０上の現フレーム信号と、第２フレームメモリ１２４からのラインＬ１２上の再構成された前フレーム信号または参照フレーム信号とを処理して、画素単位で現フレームを予測する。その後、予測された現フレーム信号をラインＬ１６上に、物体の動きを有する領域の位置を表す処理領域情報をラインＬ１７上に、物体の散発的かつ局所的な動きが現れる領域において、詳細な動き補償を要する、領域の位置を表すグリッド情報をラインＬ１８上に、そして特徴点に対する一セットの動きベクトルをラインＬ１９上に、各々発生する。現フレーム予測ブロック１５０の詳細については、以下で図２及び図９を参照して説明する。
【００１８】
減算器１０２においては、ラインＬ１６上の予測された現フレーム信号がラインＬ１１上の現フレーム信号から減算されて、その結果として得られたデータ、即ち、現フレームと予測された現フレームとの間の差分画素値を表す誤差信号が映像信号符号化器１０５へ入力される。ここで、誤差信号は例えば、ＤＣＴ法及び公知の量子化法のうちの何れかを用いて複数の量子化された変換係数に符号化される。
【００１９】
続いて、その量子化された変換係数は、エントロピー符号化器１０７及び映像信号復号化器１１３へ伝送される。エントロピー符号化器１０７において、映像信号符号化器１０５からの量子化された変換係数、ラインＬ１７を介して送られた処理領域情報ライン、Ｌ１８を介して送られたグリッド情報及びラインＬ１９を介して送られた動きベクトルは、例えば可変長さ符号化法を用いて共に符号化されると共に、バッファ１０９を通じて一定の伝送率で伝送機（図示せず）へ送られて伝送される。
【００２０】
一方、映像信号復号化器１１３は、映像信号符号化器１０５からの量子化された変換係数を、逆量子化及び逆離散的コサイン変換技法を用いて再構成された誤差信号に再度変換する。
【００２１】
映像信号復号化器１１３からの再構成された誤差信号、及び現フレーム予測ブロック１５０からのラインＬ１６上の予測された現フレーム信号が、加算器１１５にて加算されることによって、第２フレームメモリ１２４に書き込まれるべき再構成された現フレーム信号が、次のフレームに対する前フレームとして供給される。ビデオ信号符号化装置において、受信器におけるビデオ信号復号化装置の動作をモニターして、ビデオ信号復号化装置における再構成された現フレーム信号と、ビデオ信号符号化装置における現フレーム信号との間のずれを防止するために、誤差信号の再構成が必要である。
【００２２】
図２を参照すると、図１に示した現フレーム予測ブロック１５０の動作が詳細に記述されている。図示したように、第２フレームメモリ１２４からのラインＬ１２上の前フレーム信号は処理領域選択ブロック２１０、特徴点選択ブロック２１１、特徴点動きベクトル検知ブロック２１２及び動き補償ブロック２１６へ入力される。
【００２３】
処理領域選択ブロック２１０においては、物体の動きが存在する複数の領域が処理領域として選択される。
【００２４】
図３を参照すると、図２に示されている処理領域選択ブロック２１０の詳細なブロック図が示されている。減算器３１０にて、図１に示した第１フレームメモリ１００からのラインＬ１０上の現フレーム信号から、第２フレームメモリ１２４からのラインＬ１２上の前フレーム信号が減算される。その結果として得られるデータ、即ち、現フレームと前フレームとの間で同一の位置に存在する画素間の差分画素値を表すフレーム差分データは、第１比較ブロック３１２へ供給される。この第１比較ブロック３１２は、フレーム差分データに含まれた各々の差分画素値を予め定められた第１閾値ＴＨ１と画素単位で比較する。もし、差分画素値が第１閾値ＴＨ１より小さい場合は、転換値０にセットされる。そうでない場合は、転換値１にセットされる。これらの転換値は、第３フレームメモリ３１４へ供給され格納される。
【００２５】
第１領域選択ブロック３１６は、第３フレームメモリ３１４から各画素の転換値を取出し、転換値１を有する領域を第１領域として選択すると共に、各々の第１領域に対する処理領域を特定するが、ここで処理領域とは各第１領域を適正にカバーし得る最小の四角形領域を言い、その寸法は図５に示したブロックに基づく動き推定ブロック５１０における動き推定過程が、例えばマクロブロック（即ち、１６×１６画素）単位で扱われば、（１６×Ｍ）×（１６×Ｎ）画素であり、ここでＭ及びＮは正の整数である。図４を参照すると、転換値１の第１領域Ａ及びＢを取り囲む処理領域５１及び５３が、図示されている。
【００２６】
各々の処理領域に対する位置データ、例えば各四角形領域の左上の画素位置及び寸法を表す処理領域情報は、エントロピー符号化器１０７及び特徴点選択ブロック２１１へ提供される。特徴点選択ブロック２１１においては、複数の特徴点が前フレームに含まれた画素から選択される。ここで、特徴点とはフレームにおいて物体の動きを代表し得る画素を意味する。
【００２７】
図５を参照すると、図２に示した特徴点選択ブロック２１１の詳細なブロック図が示されている。図１に示した第１フレームメモリ１００からのラインＬ１０上の現フレーム信号は、ブロックに基づく動き推定ブロック５１０及びブロックに基づく動き補償ブロック５１１へ入力される。一方、図１に示した第２フレームメモリ１２４からのラインＬ１２上の前フレーム信号は、ブロックに基づく動きベクトル推定ブロック５１０、減算器５１２及びエッジ検知ブロック５１７へ入力される。
【００２８】
処理領域情報に応答して、ブロックに基づく動きベクトル推定ブロック５１０は公知のブロック整合法を用いて、前フレームにおける処理領域の各探索ブロックと各探索ブロックと最も類似な現フレームにおけるブロックとの間の空間的変位を表す動きベクトルを検知する。前フレームにおける処理領域の各探索ブロックに対する動きベクトルは、その探索ブロック内に存在する各々の画素に対する動きベクトルと定められ、そしていかなる処理領域にも属しない画素に対する動きベクトルはゼロと定められる。その後、ブロックに基づく動き推定ブロック５１０は、この動きベクトルをブロックに基づく動き補償ブロック５１１へ提供する。このブロックに基づく動き補償ブロック５１１は、前フレームにおける全ての画素に対する動きベクトルを用いて、図１に示した第１フレームメモリ１００から画素値を取出することによって、予測信号を減算器５１２へ供給する。
【００２９】
減算器５１２にて、前フレーム信号は予測信号から減算され、その結果として得られたデータ、即ち、前フレーム信号と予測信号との間の誤差画素値を表す誤差信号が第２比較ブロック５１３へ供給される。第２比較ブロック５１３は、誤差信号内の各誤差画素値と第２閾値ＴＨ２とを画素単位で比較する。この第２閾値ＴＨ２は予め定められるか、または図１に示したバッファ１０９に格納されたデータの量（即ち、バッファの占有度）によって適応的に特定される。誤差画素値が第２閾値ＴＨ２より小さい場合は、転換値は０にセットされる。そうでない場合は、転換値は１にセットされる。これらの転換値は、第４フレームメモリ５１４へ供給され格納される。
【００３０】
第２領域選択ブロック５１５は、第４フレームメモリ５１４から転換値を取出すと共に、転換値１が存在する領域を物体の散発的かつ局所的な動きが存在する第２領域として選択する。そして、第２領域の画素位置を表す第２領域情報は、グリッド形成ブロック５１６へ送られる。
【００３１】
第１領域選択ブロック３１６からのラインＬ１７上の処理領域情報に応答して、グリッド形成ブロック５１６は、前フレームの処理領域上に第１グリッドを、また第２領域上に第２グリッドを各々形成するが、ここで、第２グリッドにおけるグリッド点の密度は第１グリッドの密度より高い。本発明の好ましい実施例によると、最初、図６中の符号Ｈにて示される６個のグリッド点よりなる基本グリッド構成が上下左右に連続してなる六角グリッドが前フレームにおける全処理領域上に形成され、各々の第２領域に対して三角グリッドが形成されるが、ここで、三角グリッドは第２領域を適正にカバーする最小の寸法を有し、前記の基本グリッド構成のグリッド点を参照して説明するに、六角グリッドのグリッド点Ｈと、六角グリッドにおいて垂直及び水平方向へ隣接する一対のグリッド点Ｈ，Ｈの間の中央に新たに追加された付加グリッド点Ｉとにより形成される。例えば、図６に示したように、細かいグリッド（即ち、三角グリッド６１）が第２領域Ａ‘上に形成される。その後、各々の三角グリッドに対する位置データ、例えば、各三角グリッドの左上の画素位置及び大きさを表すグリッド情報は、ラインＬ１８を通じてエントロピー符号化器１０７及び特徴点定義ブロック５１８へ供給される。
【００３２】
一方、公知のように、エッジ検知ブロック５１７は通常のグラディエントオペレータ（例えば、ソベルオペレータ）を用いて、前フレームにおけるエッジ点を検知する。例えば、方向性グラディエント（例えば、水平及び垂直グラディエントＧｘ（ｘ，ｙ）及びＧｙ（ｘ，ｙ）を水平及び垂直ソベルオペレータを用いて計算し、画素位置（ｘ，ｙ）におけるグラディエントの大きさｇ（ｘ，ｙ）が下記のように得られる。
【００３３】
ｇ（ｘ，ｙ）＝｜Ｇｘ（ｘ，ｙ）｜  ＋  ｜Ｇｙ（ｘ，ｙ）｜
【００３４】
しかる後、前フレームの各画素に対するグラディエントの大きさｇ（ｘ，ｙ）と予め定められた閾値Ｔｅとを比較することによって、前フレームにおけるエッジ点が検知される。即ち、ｇ（ｘ，ｙ）がＴｅより大きければ、画素位置（ｘ，ｙ）はエッジ点となる。
【００３５】
続いて、エッジ点の位置を表すエッジ信号ｅｇ（ｘ，ｙ）と共に、エッジ点に対するグラディエントの大きさｇ（ｘ，ｙ）が特徴点定義ブロック５１８へ供給される。特徴点定義ブロック５１８において、複数の特徴点が前フレームに含まれた画素から選択される。
【００３６】
図７を参照すると、本発明による特徴点定義ブロック５１８にて行われる、特徴点選択過程の説明図が示されている。第１領域選択ブロック３１６からの処理領域情報、及びグリッド形成ブロック５１６からのグリッド情報に応答して、各々のグリッド点（例えば、Ｇ１〜Ｇ４）に対して最大面積を有し、かつ互い重複しない円形探索領域（例えば、ＳＲ１〜ＳＲ４）を設定する。その後、エッジ検知ブロック５１７からのエッジ点に対するグラディエント大きさとエッジ点の位置を表すエッジ信号とに基づいて、探索領域と重なり合う各エッジ点（例えば、Ｅ１〜Ｅ９）をその中心とする５×５画素のブロックを設定する。その後、各ブロック内に含まれる画素のグラディエントの大きさを合計して、得られた合計値を各ブロックの中心に位置するエッジ点に対するエッジ値として定め、探索領域内において最大エッジ値を有するエッジ点をその探索領域の特徴点として選択する。もし、最大エッジ値を有するエッジ点が２個以上存在する場合、グリッド点に最も近位のエッジ点を特徴点として選択する。また、探索領域内において、エッジ点が存在しない場合（例えば、ＳＲ１またはＳＲ３）には、グリッド点（例えば、Ｇ１またはＧ３）自体が特徴点として選択される。
【００３７】
図２及び図３を再度参照すると、特徴点定義ブロック５１８からの選択された特徴点の位置を表す特徴点の情報が、ラインＬ２０を介して特徴点動きベクトル検知ブロック２１２及び現フレーム動きベクトル検知ブロック２１４へ入力される。ラインＬ１０上の現フレーム信号及びラインＬ１２上の前フレーム信号は、共に特徴点動きベクトル検知ブロック２１２へ提供される。
【００３８】
特徴点動きベクトル検知ブロック２１２においては、選択された各々の特徴点に対する第１セットの動きベクトルが検知される。第１セットの動きベクトルの各々は、前フレームにおける特徴点と、特徴点と最も類似な現フレームにおける画素との間の空間的変位を表す。全ての特徴点に対する動きベクトルを検知した後、第１セットの動きベクトルは、ラインＬ１９を通じて現フレーム動きベクトル検知ブロック２１４及びエントロピー符号化器１０７（図１参照）へ提供される。
【００３９】
現フレーム動きベクトル検知ブロック２１４においては、ラインＬ１９上の第１セットの動きベクトル及び特徴点検知ブロック２１１からの特徴点情報を用いて、現フレームにおける全ての画素に対する第２セットの動きベクトルが特定される。この第２セットの動きベクトルを特定するために、まず前フレームの特徴点から第１セットの動きベクトルだけシフトされた、現フレームの画素点を表す準特徴点に対する一セットの動きベクトルが特定される。準特徴点に対する動きベクトルの大きさは、それに対応する特徴点の動きベクトルの大きさと同じであるが、これらの２つのベクトルの方向は互いに反対である。全ての準特徴点に対する動きベクトルを決定した後、現フレーム上に残っている非準特徴点に対する動きベクトルは、下記のように特定される。
【００４０】
最初に、各処理領域において、準特徴点を互いに連結するラインセグメントによって、互いに重複しない多角形、例えば、複数の三角形が画定される。しかる後、各々の多角形を形成する準特徴点とそれらに対応する特徴点との間の位置関係に基づいて、現フレーム上の各々の多角形に含まれる各画素に対する前フレーム上の予測位置が決定される。その後、現フレームの各多角形内に含まれる各画素に対する動きベクトルが、各画素の位置とその予測との間の変位から決定される。この際、いかなる多角形にも含まれない画素に対する動きベクトルはゼロと定める。このような手法は、本特許出願と出願人を同じくする係属中の米国特許出願第０８／４３４，８０８号「ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＥＮＣＯＤＩＮＧ／ＤＥＣＯＩＮＧ  Ａ  ＶＩＤＥＯ  ＳＩＧＮＡＬ」明細書に記載されており、この明細書は本出願に引用例として加えられる。
【００４１】
動き補償ブロック２１６は、第２セットに含まれた各々の動きベクトルを用いて、第２フレームメモリ１２４からの予測された現フレームにおける各画素値を取出すことによって、予測された現フレーム信号をラインＬ１６を介して減算器１０２及び加算器１１５（図１）へ供給する。
【００４２】
図８を参照すると、図１に示した本発明によるビデオ信号符号化装置１０に対応するビデオ信号復号化装置８００が示されている。ビデオ信号符号化装置１０から伝送された符号化されたビデオ信号は、バッファ８１０を通じてエントロピー復号化器８２０へ供給される。次いで、エントロピー復号化器８２０はその符号化されたビデオ信号を復号化して、特徴点の動きベクトル、処理領域情報及びグリッド情報を現フレーム予測ブロック８５０へ、そして量子化された変換係数を映像信号復号化器８３０へ提供する。この映像信号復号化器８３０は、ビデオ信号符号化装置１０における映像信号復号化器１１３と同一の機能を行うことによって、再構成された誤差信号を加算器８４０へ提供する。現フレーム予測ブロック８５０は、ビデオ信号符号化装置１０からの処理領域情報、グリッド情報及び特徴点動きベクトルがエントロピー復号化器８２０から現フレーム予測ブロック８５０に提供されているので、図２に示された処理領域選択ブロック２１０のような領域選択器及び特徴点動きベクトル検知ブロック２１２のような動き推定器を含んでいないという点を除いては、図２に示された現フレーム予測ブロック１５０と同一の構成を有する。現フレーム予測ブロック８５０は、現フレーム予測ブロック１５０に関して説明された機能と同一の機能を行う特徴点選択ブロック、現フレーム動きベクトル検知ブロック及び動き補償ブロックを含む。
【００４３】
図９を参照すると、現フレーム予測ブロック８５０が示されている。エントロピー復号化器８２０からの処理領域情報及びグリッド情報、及びフレームメモリ８６０からの前フレーム信号は、特徴点選択ブロック９５２へ入力され複数の特徴点が選択される。ここで、特徴点選択ブロック９５２は、ビデオ信号符号化装置１０の特徴点選択ブロック２１１を構成するエッジ検知ブロック及び特徴点定義ブロックと等しいエッジ検知ブロック及び特徴点定義ブロックを含み、図２に示された特徴点選択ブロック２１０で選択された複数の特徴点と同一の複数の特徴点を選択する。特徴点選択ブロック９５２からの選択された特徴点及びエントロピー復号化器８２０からの特徴点動きベクトルに応答して、現フレーム動きベクトル検知ブロック９５４は、図２に示された現フレーム動きベクトル検知ブロック２１４と同様の方法で、現フレームにおける全ての画素に対する動きベクトルを特定する。動き補償ブロック９５６は、図２に示された動き補償ブロック２１６と同様の方法で予測された現フレーム信号を提供する。
【００４４】
図８を更に参照すると、現フレーム予測ブロック８５０からの予測された現フレーム信号と、映像信号復号化器８３０からの再構成された誤差信号とが加算器８４０で加算されて、再構成された現フレーム信号が表示装置（図示せず）及びフレームメモリ８６０へ供給される。再構成された現フレーム信号は、復号化されるべき次フレームに対する前フレームとして、フレームメモリ８６０に格納される。
【００４５】
【発明の効果】
従って、本発明によれば、物体の動きによって適応的に特徴点を選択することによって、より効果的にビデオ信号を符号化し得るのみならず、より正確にビデオ信号を復元することができる。
【図面の簡単な説明】
【図１】本発明によるビデオ信号符号化装置を示したブロック図である。
【図２】図１の現フレーム予測ブロックの詳細なブロック図である。
【図３】図２の処理領域選択ブロックの詳細なブロック図である。
【図４】前フレームにおいてより大きい差分画素値を有する各領域を取り囲む処理領域を示した図である。
【図５】図２の特徴点選択ブロックの詳細なブロック図である。
【図６】処理領域において適応的なグリッド形成過程を示した図である。
【図７】本発明による特徴点選択過程を示した図である。
【図８】本発明によるビデオ信号復号化装置のブロック図である。
【図９】図８に示した現フレーム予測ブロックの詳細なブロック図である。
【符号の説明】
１００  第１フレームメモリ
１０２  減算器
１０５  映像信号符号化器
１０７  エントロピー符号化器
１０９  バッファ
１１３  映像信号復号化器
１１５  加算器
１２４  第２フレームメモリ
１５０  現フレーム予測ブロック
２１０  処理領域選択ブロック
２１１  特徴点選択ブロック
２１２  特徴点動きベクトル検知ブロック
２１４  現フレーム動きベクトル検知ブロック
２１６  動き補償ブロック
３１０  減算器
３１２  第１比較ブロック
３１４  第３フレームメモリ
３１６  第１領域選択ブロック
５１０  ブロックに基づく動き推定ブロック
５１１  ブロックに基づく動き補償ブロック
５１２  減算器
５１３  第２比較プロック
５１４  第４フレームメモリ
５１５  第２領域選択ブロック
５１６  グリッド形成ブロック
５１７  エッジ検知ブロック
５１８  特徴点定義ブロック
８１０  バッファ
８２０  エントロピー復号化器
８３０  映像信号復号化器
８５０  現フレーム予測ブロック
８６０  フレームメモリ
９５２  特徴点選択ブロック
９５４  現フレーム動きベクトル検知ブロック
９５６  動き補償ブロック
【図１】
0004180666.tif 000002
【図２】
0004180666.tif 000003
【図３】
0004180666.tif 000004
【図４】
0004180666.tif 000005
【図５】
0004180666.tif 000006
【図６】
0004180666.tif 000007
【図７】
0004180666.tif 000008
【図８】
0004180666.tif 000009
【図９】
0004180666.tif 000010