(57)【特許請求の範囲】
【請求項１】
処理隣接ブロックの動きベクトルを用いて、映像信号の探索フレームに含まれた探索ブロックの動きベクトルを決定する動きベクトル検出方法であって、前記探索フレームは、複数のブロックに分離され、上記複数のブロックは各々動きベクトルが決定された処理ブロックの組を有し、前記処理ブロックの組は前記探索ブロックに隣接する前記処理隣接ブロックを含み、
前記処理隣接ブロックの動きベクトルのうちで、Ｘ成分のゼロである水平ベクトルに最も類似なＸ−ベクトルとＹ成分のゼロである垂直ベクトルに最も類似なＹ−ベクトルとを選択し、前記Ｘ−ベクトル、前記Ｙ−ベクトルに、ゼロベクトルを更に含んで候補ベクトルとして供給する第１過程と、
前記探索ブロックと各々の前記候補ベクトルに対応する予測ブロック各々との間の歪曲を計算し、最小の歪曲をもたらす候補ベクトルを候補動きベクトルとして決定する第２過程と、
前記探索ブロックと前記決定された候補動きベクトルに対応する予測ブロックとの間の歪曲が予め定められた閾値より小さい場合、前記決定された候補動きベクトルを前記探索ブロックの動きベクトルとして供給し、前記歪曲が前記予め定められた閾値より大きい場合にはフル探索ブロック整合方法を用いて前記探索ブロックの動きベクトルを決定する第３過程とを含み、前記候補動きベクトルに対応する予測ブロックが前記探索ブロックから前記候補動きベクトルだけ離れている参照フレームのブロックを示すことを特徴とする動きベクトル検出方法。
【請求項２】
前記探索ブロックの前記処理隣接ブロックが、前記探索ブロックを取り囲む左上側、上側中央、右上側及び中央左側ブロックを有することを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項３】
処理隣接ブロックの動きベクトルを用いて、映像信号の探索フレームに含まれた探索ブロックの動きベクトルを決定する動きベクトル検出装置であって、前記探索フレームは、複数のブロックに分離され、上記複数のブロックは各々動きベクトルが決定された処理ブロックの組を有し、前記処理ブロックの組は前記探索ブロックに隣接する前記処理隣接ブロックを含み、
前記処理隣接ブロックの動きベクトルとゼロベクトルとを各々候補動きベクトルとして選択し、前記探索ブロックと各々の前記候補ベクトルに対応する予測ブロック各々との間の歪曲を計算し、最小の歪曲をもたらす候補ベクトルを候補動きベクトルとして指定する第１動きベクトル選択手段と、
前記探索ブロックと前記指定された候補動きベクトルに対応する予測ブロックとの間の歪曲が予め定められた閾値より小さい場合は、前記指定された候補動きベクトルを前記探索ブロックの動きベクトルとして供給し、前記歪曲が前記予め定められた閾値より大きい場合には、フル探索トリガ信号を供給する動きベクトル発生手段とを含み、前記候補動きベクトルに対応する前記予測ブロックは探索ブロックから前記候補動きベクトルだけ離れている参照フレームのブロックを示し、
前記フル探索トリガ信号に応じて、フル探索ブロック整合方法を用いて前記探索ブロックの動きベクトルを決定する動きベクトル決定手段とを含むことを特徴とする動きベクトル検出装置。
【請求項４】
前記第１動きベクトル選択手段が、
前記処理ブロックの動きベクトルを格納する格納手段と、
前記格納手段に格納された前記動きベクトルのうちで、前記処理隣接ブロックの動きベクトルを選択して、隣接ベクトルを提供する隣接ベクトル提供手段と、
前記処理隣接ブロックの動きベクトルのうちで、Ｘ成分のゼロである水平ベクトルに最も類似なＸ−ベクトルとＹ成分のゼロである垂直ベクトルに最も類似なＹ−ベクトルとを選択し、前記Ｘ−ベクトル、前記Ｙ−ベクトルに、ゼロベクトルを更に追加してなった候補ベクトルを供給する第２動きベクトル選択手段と、
前記候補ベクトルのうちで、前記歪曲を利用して前記候補動きベクトルを選択する第３動きベクトル選択手段とを含むことを特徴とする請求項３に記載の動きベクトル検出装置。
【請求項５】
前記探索フレームが各々Ｎ個の探索ブロックを有する複数のスライスに分けられ（Ｎは正の整数）、前記格納手段が処理ブロックの動きベクトルを各々格納し得る（Ｎ＋１）個の格納空間から構成されていることを特徴とする請求項４に記載の動きベクトル検出装置。
【請求項６】
前記探索ブロックの前記処理隣接ブロックが、前記探索ブロックを取り囲む左上側、上側中央、右上側及び中央左側ブロックを有することを特徴とする請求項３に記載の動きベクトル検出装置。
【請求項７】
前記第１動きベクトル選択手段が、
前記処理ブロックの動きベクトルのうちで、前記処理隣接ブロックの動きベクトルを選択して、隣接ベクトルを提供する隣接ベクトル提供手段と、
前記処理隣接ブロックの動きベクトルのうちで、Ｘ成分のゼロである水平ベクトルに最も類似なＸ−ベクトルとＹ成分のゼロである垂直ベクトルに最も類似なＹ−ベクトルとを選択し、前記Ｘ−ベクトル、前記Ｙ−ベクトルに、ゼロベクトルを更に追加してなった候補ベクトルを供給する第２動きベクトル選択手段と、
前記候補ベクトルのうちで、前記歪曲を利用して前記候補動きベクトルを選択する第３動きベクトル選択手段とを含むことを特徴とする請求項３に記載の動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動きベクトルを検出する動きベクトル検出方法及びその装置に関し、特に、探索ブロックの隣接ブロックの動きベクトルを用いることによって、探索ブロックの動きベクトルを決定する方法及び装置に関する。
【０００２】
【従来の技術】
通常、テレビ電話、電子会議及び高精細度テレビジョンシステムのようなディジタルビデオシステムにおいて、ビデオフレーム信号のビデオライン信号は画素値と呼ばれる一連のディジタルデータからなっているので、各ビデオフレーム信号を規定するのに大量のディジタルデータが必要である。
しかし、通常の伝送チャネル上の使用可能な周波数帯域幅は制限されているため、特に、テレビ電話のような低ビットレートのビデオ信号符号化／復号化システムにおいては、多様なデータ圧縮技法を用いて大量のデータを減らすか圧縮する必要がある。
【０００３】
このような多様な映像圧縮技法のうち、いわゆる、確率的符号化技法と時間的、空間的圧縮技法を組み合わせたハイブリッド符号化技法が最も効率的なものとして知られている。
大部分のハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化及びＶＬＣ（可変長符号化）などを用いる。動き補償ＤＰＣＭは現フレームとその前フレームとの間の物体の動きを決定すると共に、物体の動きに従って現フレームを予測することによって、現フレームと予測値と間の差を表す差分信号を発生する方法である。
【０００４】
動き補償ＤＰＣＭデータのような映像データ間の空間的冗長性を減らすか除去する２次元ＤＣＴは、ディジタル映像データからなるブロック、例えば、８×８画素のブロックを１組のＤＣＴ変換係数データに変換する。この技法は、Ｃｈｅｎ及びＰｒａｔｔによる論文「Ｓｃｅｎｅ  Ａｄａｐｔｉｖｅ  Ｃｏｄｅｒ」，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３２，ＮＯ．３，２２５〜２３２頁（１９８４年３月）に開示されている。このようなＤＣＴ変換係数データは、量子化器、ジグザグ走査及びＶＬＣを通じて処理されることによって、伝送すべきデータの量を効果的に減縮し得る。
【０００５】
詳述すれば、動き補償ＤＰＣＭにおいては、現フレームと前フレームとの間の物体の動き推定に基づいて、現フレームデータを前フレームデータから予測する。そのように推定された動きは前フレームと現フレームとの間の画素の変位を表す２次元動きベクトルで表される。
【０００６】
映像シーケンスにおいて物体の変位を推定するに主に用いられる方法のうちの１つがブロック整合アルゴリズムである。このブロック整合アルゴリズムによれば、現フレームは複数の探索ブロックに分けられる。探索ブロックの大きさは、典型的に８×８画素〜３２×３２画素の範囲を有する。現フレーム内の探索ブロックに対する動きベクトルを決定するために、現フレームの探索ブロックと前フレーム内のより大きい探索領域に含まれた同一の大きさの複数の候補ブロックとの間の類似性計算が行われる。現フレームの探索ブロックと探索領域内の各候補ブロックとの間の類似性測定のために、平均絶対エラーまたは平均二乗エラーのようなエラー関数が用いられる。また、動きベクトルは探索ブロックと候補ブロックとの間の最小エラー関数をもたらす変位を表す。探索ブロックは探索ブロックに対応する探索領域内の可能な全ての候補ブロックと比較されるため（即ち、フル探索ブロック整合）、計算が複雑することとなる。その結果、リアルタイム処理のために高速処理及び／または多数のプロセッサを有する複雑なハードウェアが必要になる。
【０００７】
前述されたフル探索フルブロック整合課題から生じる過渡な計算量を減らすために、３段階の探索過程と最小歪曲のためのサーチのような単純化されたアルゴリズムが提案されてきた（例えば、Ｊ．Ｒ．Ｊａｉｎらの論文「Ｄｉｓｐｌａｃｅｍｅｎｔ  Ｍｅａｓｕｒｅｍｅｎｔ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ  ｉｎ  Ｉｎｔｅｒｆｒａｍｅ  Ｉｍａｇｅ  Ｃｏｄｉｎｇ」，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ＣＯＭ−２９，Ｎｏ．１２，１７９９〜１８０８頁（１９８１年１２月）参照）。
【０００８】
この単純探索アルゴリズムを用いて複雑な計算量やハードウェアの負担を減らし得るとしても、依然と相当量の計算を必要とする。
映像シーケンスで物体を取り囲んだ背景は、大部分停止されており、動きが物体に主に集中されているか、カメラのパニングのように単純に並進運動する動きであり得る。この場合、一連の映像フレームで同一の値を有する複数の動きベクトルが得られることになる。特に、１つのブロックの動きベクトルは、隣接するブロックの動きベクトルと相関関係があり得る。従って、そのような関係を用いて動きベクトルを決定するに必要な計算量を減らすことができる。
【０００９】
【発明が解決しようとする課題】
従って、本発明の主な目的は、探索ブロックに隣接するブロックの動きベクトルを用いて、探索ブロックの動きベクトルを決定する動きベクトル検出装置及び方法を提供することである。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、処理隣接ブロックの動きベクトルを用いて、映像信号の探索フレームに含まれた探索ブロックの動きベクトルを決定する動きベクトル検出方法であって、前記探索フレームは、複数のブロックに分離され、上記複数のブロックは各々動きベクトルが決定された処理ブロックの組を有し、前記処理ブロックの組は前記探索ブロックに隣接する前記処理隣接ブロックを含み、前記処理隣接ブロックの動きベクトルのうちで、Ｘ成分のゼロである水平ベクトルに最も類似なＸ−ベクトルとＹ成分のゼロである垂直ベクトルに最も類似なＹ−ベクトルとを選択し、前記Ｘ−ベクトル、前記Ｙ−ベクトルに、ゼロベクトルを更に含んで候補ベクトルとして供給する第１過程と、前記探索ブロックと各々の前記候補ベクトルに対応する予測ブロック各々との間の歪曲を計算し、最小の歪曲をもたらす候補ベクトルを候補動きベクトルとして決定する第２過程と、前記探索ブロックと前記決定された候補動きベクトルに対応する予測ブロックとの間の歪曲が予め定められた閾値より小さい場合、前記決定された候補動きベクトルを前記探索ブロックの動きベクトルとして供給し、前記歪曲が前記予め定められた閾値より大きい場合にはフル探索ブロック整合方法を用いて前記探索ブロックの動きベクトルを決定する第３過程とを含み、前記候補動きベクトルに対応する予測ブロックが前記探索ブロックから前記候補動きベクトルだけ離れている参照フレームのブロックを示すことを特徴とする動きベクトル検出方法が提供される。
【００１１】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。図１を参照すれば、本発明の動きベクトル検出装置のブロック図が示されている。
映像信号における現フレーム及び前フレーム（即ち、探索フレームと参照フレーム）が動きベクトル検出ブロック１００とフル探索ブロック２００とに入力される。動きベクトル検出ブロック１００においては、探索ブロック、即ち、現在処理中のブロックの動きベクトルを探すために、ゼロベクトルと共に現探索ブロックの処理された隣接ブロックの動きベクトルが、候補動きベクトルを選択するに計算される。ここで、処理ブロックは動きベクトルが決定されたブロックを示し、処理隣接ブロックは探索ブロックに隣接する処理ブロックを示す。
【００１２】
探索ブロックＢ（ｉ、ｊ）の動きベクトルを検出するために、その動きベクトルが用いられる処理隣接ブロックが、図４に示されている。図４に示されたように、探索フレームは複数のスライスから構成されており、各スライスは多数のブロックを有し、各フレーム内のスライスの数と各スライス内のブロックの数は、各々Ｎ２とＮ１である。探索フレームは、左上側から右下り向けに処理される。よって、探索ブロックが処理される場合、探索ブロックＢ（ｉ、ｊ）を取り囲む９つの隣接ブロックのうち４つの隣接ブロック（即ち、左上側ブロックＢ（ｉ−１、ｊ−１）、上側中央ブロックＢ（ｉ、ｊ−１）、右上側ブロックＢ（ｉ＋１、ｊ＋１）及び中央左側ブロックＢ（ｉ−１、ｊ））の動きベクトルが、知られている。ここで、ｉ及びｊは各々Ｎ１及びＮ２と同じかそれより小さい正の整数であり、ｊはスライスの数を、ｉはスライス内におけるブロックの位置を各々表す。探索ブロックがフレームの境界に位置していない場合、処理隣接ブロックの数が４であることが容易に分かる。探索ブロックがＢ（１、１）、Ｂ（１、２）のように境界にあるならば、処理隣接ブロックの数は４未満になる。
【００１３】
候補動きベクトルが決定された後、探索ブロックと候補動きベクトルに対応する予測ブロックとの間の歪曲が、予め定められた閾値と比較される。ここで、ベクトルに対応する予測ブロックは、探索ブロックからベクトルだけの離れている参照フレームのブロックを示す。
【００１４】
探索ブロックと候補動きベクトルに対応する予測ブロックとの間の歪曲が閾値より小さい場合、候補動きベクトルは探索ブロックの動きベクトルとして決定され、フル探索ブロック２００を経てラインＬ３００へ供給される。そうでない場合には、フル探索トリガ信号がフル探索ブロック２００に供給される。このフル探索ブロック２００は、フル探索トリガ信号に応じて、フル探索ブロック整合方法を用いて、探索ブロックの動きベクトルを検出する。フル探索ブロック２００は、動きベクトル検出ブロック１００からの動きベクトルまたは自体決定した動きベクトルのうち１つを供給する。フル探索ブロック２００からの動きベクトルは、動きベクトル検出ブロック１００へ再度入力されて、現フレームの後続ブロック（例えば、Ｂ（ｉ＋１、ｊ））の動きベクトルを検出するに用いられる。
【００１５】
本発明において、探索ブロックの動きベクトルは処理隣接ブロックの動きベクトルのうちから選択されるかフル探索ブロック整合を用いて決定される。よって、フル探索ブロック整合のみを用いる動き推定器と比較した時、計算量が減少される。特に、動く物体が映像信号の小さい部分を占める映像信号においては、隣接ブロックが類似な動きベクトルをもたらす可能性が高いため、その減少量がもっと著しく表れる。
【００１６】
Ｂ（１、１）、Ｂ（１、２）、Ｂ（１、３）、Ｂ（２、１）、Ｂ（３、１）のように、探索ブロックの処理隣接ブロックが４つ未満である場合には、動きベクトル検出ブロック１００は動作せず、探索ブロックの動きベクトルはフル探索ブロック整合方法を用いて決定され得る。また、例えば、探索ブロックＢ（１、２）、Ｂ（１、３）、Ｂ（２、１）、Ｂ（３、１）の場合のように、処理隣接ブロックが少なくとも１つでもあるならば、動きベクトル検出ブロック１００は４つの処理隣接ブロックがある場合と類似な方式で動作し得る。
【００１７】
図２を参照すれば、図１に示された動きベクトル検出ブロック１００の詳細なブロック図が示されている。処理ブロックの動きベクトルは、動きベクトルメモリ１１０へ入力されて格納される。これらの動きベクトルのうち、処理隣接ブロックの動きベクトルを示す隣接ベクトルが選択されると共に、候補ベクトル決定ブロック１２０へ入力される。
【００１８】
図４を再度参照すれば、探索ブロックＢ（ｉ、ｊ）が処理される場合には、少なくとも、探索ブロックＢ（ｉ−１、ｊ−１）からＢ（Ｎ１、ｊ−１）まで、Ｂ（１、ｊ）からＢ（ｉ−１、ｊ）までの動きベクトルが動きベクトルメモリ１１０に格納されなければならない（ここで、ｊ番目のスライスに含まれた残りのブロック、即ち、Ｂ（ｉ＋１、ｊからＢ（Ｎ１、ｊ）までの動きベクトルを決定するために、Ｂ（ｉ、ｊ−１）からＢ（Ｎ１、ｊ−１）までのブロックが必要であり、（ｊ＋１）番目のスライスに含まれたブロックの動きベクトルを決定するに、Ｂ（１、ｊ）からＢ（ｉ−１、ｊ）までブロックが用いられるに注目されたい）。よって、動きベクトルメモリ１１０は、処理ブロックの動きベクトルを１つずつ格納するために少なくとも（Ｎ１＋１）個のメモリ空間を有しなければならない。
【００１９】
候補ベクトル決定ブロック１２０では、処理隣接ブロックの動きベクトルのうちで、Ｘ成分のゼロである水平ベクトルに最も類似なＸ−ベクトルとＹ成分のゼロである垂直ベクトルに最も類似なＹ−ベクトルとを選択し、前記Ｘ−ベクトル、前記Ｙ−ベクトルに、ゼロベクトルを更に追加してなった候補ベクトルを供給する。このため、ベクトルＶの方向性Ｄ（Ｖ）は次式のように定義される。
【数１】
Ｄ（ｖ）＝ａｂｓ［Ｖｙ］／ａｂｓ［Ｖｘ］
ここで、Ｖｘ及びＶｙは各々ｘ成分及びｙ成分を表す。
【００２０】
方向性が最小の動きベクトルは、水平ベクトルと最も類似であり、Ｘ−ベクトルにとして選択され、方向性が最大の動きベクトルは、垂直ベクトルと最も類似でありＹ−ベクトルに選択される。Ｘ成分及びＶｘが０である動きベクトルが存在する場合は、上記式は定義されない。従って、この場合には、動きベクトルは垂直ベクトルでＹ−ベクトルとして決まる。Ｘ成分及びＹ成分がゼロであるゼロベクトルと、候補ベクトル決定ブロック１２０から供給された、Ｘ成分のゼロである水平ベクトルに最も類似なＸ−ベクトルとＹ成分のゼロである垂直ベクトルに最も類似なＹ−ベクトルとからなった候補ベクトルが、エラー検出ブロック１３０に入力される。
【００２１】
図４を参照すれば、処理隣接ブロックの数が１である場合（例えば、探索ブロックＢ（２、１）、処理隣接ブロックＢ（（１、１））の動きベクトルは、Ｘ−ベクトル及びＹ−ベクトルとして決定され得る。
エラー検出ブロック１３０においては、探索ブロックと入力された３つの候補ベクトルに対応する３つの予測ブロックの各々との間の歪曲が決定され、歪曲は２つのブロック間の差を表す値で、例えば画素数の差を指す。３つの候補ベクトルのうち歪曲が最小のものが候補動きベクトルとして選択される。もし、候補動きベクトルの最小歪曲が閾値ＴＨより小さいならば、候補動きベクトルは探索ブロックの最終動きベクトルとして決定される。従って、探索ブロックの動きベクトルを検出する過程が終了され、動きベクトルはフル探索ブロック２００を経てＬ３００へ供給される。
【００２２】
最小歪曲が閾値ＴＨ１より大きいかまたは等しい場合、フル探索ブロック整合法を用いて、探索ブロックの動きベクトルを決定するフル探索ブロック２００へエラー検出ブロック１３０からフル探索トリガ信号が供給される。
図３を参照すれば、図２に示されたエラー検出ブロック１３０の詳細なブロック図が示されている。
前フレームはフレームメモリ１３２に入力される。フレームメモリ１３２は、候補ベクトル決定ブロック１２０からの３つの候補ベクトルに応じて、前フレームブロックのうち探索ブロックから各々Ｘ−ベクトル、Ｙ−ベクトル、ゼロベクトルだけ離れている３つの予測ブロックを供給する。この３つの予測ブロックは、探索ブロックと３つの予測ブロックの各々との歪曲を計算するエラー計算器（計算ブロック）１３４に入力される。最小値選択ブロック１３６においては、最小歪曲に対応する候補ベクトルが候補動きベクトルとして選択される。候補動きベクトルと最小歪曲は比較器１３８に入力される。
【００２３】
この比較器１３８においては、最小歪曲が予め定められた閾値ＴＨと比較される。もし、最小歪曲がＴＨより小さいならば、候補動きベクトルが探索ブロックの動きベクトルとして供給される。その他の場合には、フル探索トリガ信号がフル探索ブロック２００に入力される。
【００２４】
前述したように、動く物体が映像信号の小さい部分を占める場合、隣接ブロックの動きベクトルは互いに類似である可能性が高い。さらに、もし背景が停止されているか、背景が主に垂直または水平方向へ動く場合、動きベクトルは０ベクトル、水平ベクトルまたは垂直ベクトルに類似である可能性が高いので、候補動きベクトルが探索ブロックの動きベクトルとして決定されることによって従来の方法に比べて動きベクトルの決定の際にもたらす計算量の複雑さを減らすことができる。
上記において、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２５】
【発明の効果】
従って、本発明によれば、探索ブロックの隣接ブロックの動きベクトルを用いることによって、探索ブロックの動きベクトルを効果的に検出して計算量をより一層減らすことができる。
【図面の簡単な説明】
【図１】本発明による動きベクトル検出装置のブロック図である。
【図２】図１の動きベクトル検出ブロックの詳細なブロック図である。
【図３】図２に示されたエラー検出ブロックの詳細なブロック図である。
【図４】探索ブロックと隣接ブロックとを含む１つのフレームのブロック図である。
【符号の説明】
１００  動きベクトル検出ブロック
１１０  動きベクトルメモリ
１２０  候補ベクトルブロック
１３０  エラー探知ブロック
１３２  フレームメモリ
１３４  エラー計算ブロック
１３６  最少値計算ブロック
１３８  比較器
２００  フル探索ブロック
【図１】
0004001400.tif 000002
【図２】
0004001400.tif 000003
【図３】
0004001400.tif 000004
【図４】
0004001400.tif 000005