(57)【要約】      （修正有）【課題】データフォーマット変換に必要な時間を大幅に短縮する高速の動き推定装置及び動き推定方法の提供。【解決手段】デジタルビデオデータのフレームのフォーマット変換方法は、第１のフォーマットの第１のフレームの画素情報を表すデジタル係数情報を取得するステップと、第１のフォーマットの第１のフレームに対応する第２のフォーマットの第１のフレームと、第２のフォーマットの第２のフレームとの差分を表す動きベクトルを決定するステップとを有し、動きベクトルを決定するステップは、１次元逆離散コサイン変換を用いて、少なくとも１つの現ブロックの統合射影配列を算出するステップと第１の候補ブロックの組に基づいて、少なくとも１つの候補ブロックの統合射影配列を算出するステップと、現ブロックの統合射影配列及び候補ブロックの統合射影配列を用いて現ブロックと第１候補ブロックの組との差分を算出するステップとを有する。【選択図】  図１２
2007189683.tif 000002
【特許請求の範囲】
【請求項１】
デジタルビデオデータのフレームを第１のフォーマットから第２のフォーマットに変換するフォーマット変換方法において、
上記第１のフォーマットの第１のフレームの画素情報を表すデジタル係数情報を取得するステップと、
上記デジタル係数情報に基づいて、上記第１のフォーマットの第１のフレームに対応する第２のフォーマットの第１のフレームと、該第２のフォーマットの第２のフレームとの差分を表す動きベクトルを決定するステップとを有し、
上記動きベクトルを決定するステップは、
１次元逆離散コサイン変換を用いて、現ブロックに基づいて、少なくとも１つの現ブロックの統合射影配列を算出するステップと、
１次元逆離散コサイン変換を用いて、第１の候補ブロックの組に基づいて、少なくとも１つの候補ブロックの統合射影配列を算出するステップと、
上記現ブロックの統合射影配列及び上記候補ブロックの統合射影配列を用いて、上記現ブロックと上記第１候補ブロックの組との差分を算出するステップとを有することを特徴とするフォーマット変換方法。
【請求項２】
デジタルビデオデータのフレームを第１のフォーマットから第２のフォーマットに変換するフォーマット変換装置において、
上記第１のフォーマットの第１のフレームの画素情報を表すデジタル係数情報を取得する手段と、
上記デジタル係数情報に基づいて、上記第１のフォーマットの第１のフレームに対応する第２のフォーマットの第１のフレームと、該第２のフォーマットの第２のフレームとの差分を表す動きベクトルを決定する手段とを備え、
上記動きベクトルを決定する手段は、
１次元逆離散コサイン変換を用いて、現ブロックに基づいて、少なくとも１つの現ブロックの統合射影配列を算出する手段と、
１次元逆離散コサイン変換を用いて、第１の候補ブロックの組に基づいて、少なくとも１つの候補ブロックの統合射影配列を算出する手段と、
上記現ブロックの統合射影配列及び上記候補ブロックの統合射影配列を用いて、上記現ブロックと上記第１候補ブロックの組との差分を算出する手段とを備えることを特徴とするフォーマット変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像処理における動き推定を行う装置及び方法に関し、特に、粗探索ブロックマッチング動き推定法（sparse search block-matching motion estimation technique）及び統合射影データ（integral projection）を用いてビデオ画像のフレーム間の動きベクトルを決定する改善された装置及び方法に関する。
【背景技術】
【０００２】
デジタル技術の進歩により、多くのデジタルビデオアプリケーションが開発されている。デジタルビデオ技術は、現在、デジタル高精細度テレビジョン、テレビ会議、コンピュータによる画像処理、高画質ビデオテープレコーダ等に利用されている。圧縮されていないデジタルビデオ信号のデータ量は膨大であり、このようなデータの伝送及び記録のためには、広い帯域幅及び大きな記録容量が必要となる。そこで、多くのデジタルビデオ処理装置は、各アプリケーションに最適化されたデータ圧縮技術を採用しており、これによって、デジタルビデオデータのデータ量を削減している。デジタル圧縮装置は、一般的に「エンコーダ」と呼ばれ、伸長処理を行う装置は、「デコーダ」と呼ばれる。圧縮及び伸長の両方を行う装置は「コーデック」と呼ばれる。
【０００３】
動画像ビデオデータの圧縮法を標準化するために、ＭＰＥＧ（Motion Picture Experts Group）は、幾つかのデジタルビデオ処理規格を発行している。ＭＰＥＧ−１は、デジタルオーディオ及びデジタルビデオデータの符号化を行うものであり、中間のデータレートを必要とするビデオ装置に広く使用されている。ＭＰＥＧ−２は、例えば直接放送衛星システム（direct broadcast satellite system）等における、より高いデータレートを用いる装置に使用されている。
【０００４】
動画像のビデオシーケンスは、連続した複数の静止画像、すなわち「フレーム」から構成され、これらのフレームを連続的に表示することにより、連続的な動きが表現される。各フレームは、画像の要素、すなわち「画素」の２次元的な配列（array）として記述することができる。各画素は、画像における特定の点の輝度及び色差を記述する。画素情報は、デジタル形式で表現又は符号化することができ、デジタル的に伝送することもできる。
【０００５】
ビデオデータの一圧縮法として、ビデオシーケンスにおいて隣接フレーム間の冗長性を利用する手法がある。隣接フレームは類似した情報を含んでいる傾向があり、多くの場合、新たなフレームを記述するよりも、フレーム間の差分を記述する方がデータ量が少なくて済む。例えば、フレーム間に全く動きがない場合、フレーム全体を再度符号化するよりも、フレーム間の差分（ゼロ）を符号化する方がデータ量を少なくできる。
【０００６】
動き推定とは、隣接フレーム間の移動量を推定する処理である。移動量は、動きベクトルによって記述され、動きベクトルは、現フレーム内の特定の領域と、先行又は後続参照フレーム内の対応する移動した領域との間の最も一致した（best match）ものを表している。現フレーム内の特定の領域と、参照フレーム内の対応する移動した領域の差分は「予測誤差（residue）」と呼ばれる。
【０００７】
動きベクトルを検出するために用いられる動き推定には、大きく分けて、画素繰返しアルゴリズム（pixel-recursive algorithm）及びブロックマッチングアルゴリズム（block-matching algorithm）の２つの手法がある。画素繰返しアルゴリズムでは、隣接フレーム内の対応する画素からの各画素の移動量を繰り返して予測する。一方、ブロックマッチングアルゴリズムでは、フレーム間の移動量をブロック毎に推定し、差分を最小にするベクトルを選択する。
【０００８】
従来のブロックマッチング処理では、符号化する現画像を同じサイズの画素情報を有する複数のブロックに分割する。ＭＰＥＧビデオ圧縮規格では、画素はマクロブロックとしてグループ化される。マクロブロックは、輝度の１６×１６サンプルの配列と、２つの色差成分のそれぞれに対する８×８サンプルの配列とから構成される。さらに、輝度の１６×１６サンプルの配列は、通常、圧縮モデルの入力ブロックとして使用される４つの８×８ブロックから構成される。
【０００９】
図１は、従来のブロックマッチング処理における１回の繰返しを説明する図である。現フレーム１２０は、複数のブロックに分割されている。各ブロックは、如何なるサイズであってもよいが、例えばＭＰＥＧ装置においては、現フレーム１２０は、通常１６×１６サイズのマクロブロックに分割される。現フレーム１２０を符号化するために、現フレーム１２０内の各ブロックと、先行フレーム１１０又は後続フレーム１３０内のブロックとの差分を符号化する。各ブロックマッチング処理において、現ブロック１００は、先行フレーム１１０の探索領域１１５又は後続フレーム１３０の探索領域１３５内の同サイズの「候補」ブロック（"candidate" blocks）と比較される。先行又は後続フレーム内の候補ブロックのうち、現ブロック１００との差分が最も小さいブロックが、図１に示すように、参照ブロック１５０として選択される。そして、参照ブロック１５０と現ブロック１００間の動きベクトル及び予測誤差が算出されて、符号化される。現フレーム１２０は、伸長処理において、参照フレーム１１０の各ブロックの符号と、現フレーム１２０の各ブロックの動きベクトル及び予測誤差の符号とを用いて再生される。
【００１０】
ブロック間の差分は、既知の如何なる判定基準に基づいて算出してもよいが、多くの場合、誤差（error）を最小にする手法又は相関性を最大にする手法が用いられる。さらに、殆どの相関法は、計算量が多いため、誤差算出法がより一般的に用いられている。誤差算出法には、平均二乗誤差法（mean square error：以下、ＭＳＥという。）、平均絶対値誤差法（mean absolute distortion：以下、ＭＡＤという。）、差分絶対値和法（sum of absolute distortion：以下、ＳＡＤという。）等がある。これらの判定基準は、インターナショナルトムソン出版社（International Thomson Publishing）より１９９７年に発行された、ジョーン・エル・ミッチェル他（Joan L. Mitchell et al.）著、「ＭＰＥＧビデオ圧縮規格（MPEG Video Compression Standard）」の第２８４〜２８６頁に記載されている。マッチング判定基準としては、ＳＡＤが一般的に用いられている。
【００１１】
ＳＡＤは、以下のように定義される。
【００１２】
【数１】
2007189683.tif 000003
【００１３】
ここで、ブロックサイズはＭ×Ｎであり、ｒ（ｘ，ｙ）は現ブロックを表し、ｓ（ｘ＋ｉ，ｙ＋ｉ）は参照フレームの探索領域１１５内の候補ブロックを表す。動きベクトルは、ＳＡＤ（ｉ，ｊ）の値を最小にする（ｉ，ｊ）である。
【００１４】
現ブロックと探索領域内の全ての候補ブロックとを比較するブロックマッチングアルゴリズムは、「全探索（full search）」と呼ばれる。一般的に、探索範囲を広くすれば、より正確な動きベクトル（displacement vector）を生成することができるが、全探索の計算の複雑さは、探索範囲のサイズに比例して増加し、幾つかのアプリケーションでは処理時間が余りにも遅く、使用できない。例えば、全探索ブロックマッチングアルゴリズムを、１６×１６画素サイズのマクロブロックに対して１画素の精度で探索範囲を±Ｎとして適用した場合、ブロック比較が（２×Ｎ＋１）２回必要となる。Ｎを１６とした場合、１６×１６ブロックの比較が１０８９回必要となる。各ブロック比較は、１６×１６、すなわち２５６回の計算を必要とするため、この手法では、計算量が膨大となり、処理時間が遅くなる。また、この手法では、単に探索範囲を狭くすると、最適なマッチングブロックを見落としてしまう危険性が高くなってしまう。
【００１５】
このため、広い探索範囲でマッチングブロックを正しく検出するための高速なアルゴリズムの開発が進められてきた。このような手法の幾つかは、上述のジョーン・エル・ミッチェル他の著書の第３０１〜３１１頁に記載されている。最も高速な探索法は、探索領域全体に亘って粗サンプリング（sparse sampling）を行い、この粗サンプルのみに対して移動量を算出することにより処理速度を高めている。例えば、２次元対数探索（2-D logarithmic search）は、連続したブロックにおいてブロックを、誤差が最小となる方向に移動して、ＭＳＥを計算することにより、計算の回数を削減している。共役方向探索（conjugate direction search）では、アルゴリズムは、最小の誤差を検出するまで水平方向に探索を行う。そして、アルゴリズムは、最小の誤差を検出した点から、垂直方向に探索を開始し、最小の誤差を検出する。これらの２つの手法は、いずれも全探索に比べて高速であるが、高い頻度で、最適なマッチングブロックの検出に失敗することがある。
【００１６】
全探索の計算量を削減する他の手法としては、空間領域の画素情報を直接用いるのではなく、統合射影データ（integral projection data）を用いてブロック間の移動量を算出する手法がある。画素情報の統合射影とは、水平方向又は垂直方向に沿った画像の画素値の和の１次元配列である。ブロックマッチングアルゴリズムにおいて、画素情報の２次元配列を用いるのではなく、１次元水平射影配列と１次元垂直射影配列の２つの１次元射影配列を用いることにより、各ブロックマッチング処理における計算の回数を著しく削減することができる。この手法は、１９８７年に発表された、アイ・エイチ・リー（I.H.Lee）及びアール・エイチ・パーク（R.H.Park）による論文「統合射影を用いた高速ブロックマッチングアルゴリズム（"A Fast Block Matching Algorithm Using Integral Projections," Proc. Tencon '87 Conf）」の第５９０〜５９４頁に記載されている。
【００１７】
高速の動き推定法は、あるデジタルビデオフォーマットを他のデジタルビデオフォーマットに変換するときに、特に有用である。デジタルビデオデータは、符号化され、圧縮された形式で保存される。従来の装置を用いて、あるフォーマットを他のフォーマットに変換する場合、デジタルビデオデータは、まず、その元の画素形式に伸長及び復号され、その後、目的のフォーマットに符号化及び圧縮されて保存又は伝送される。このような、デジタルビデオデータを一旦完全に復号することを必要とする変換法は、非常に時間のかかるものである。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明の目的は、動きベクトルの精度を維持しながら、ブロック比較処理の回数を最小にする高速探索を実行することによって、改善された動き推定装置及び動き推定方法を提供することである。また、本発明の目的は、本発明に基づく高速探索及び更に計算の回数を最小にする統合射影を用いる動き推定装置及び動き推定方法を提供することである。さらに、本発明に目的は、画素データに完全に復号することなく、デジタルビデオデータをあるフォーマットから他のフォーマットに変換することを可能にする統合射影を用いて、データフォーマットの変換に必要とされる時間を大幅に短縮できる高速の動き推定装置及び動き推定方法を提供することである。
【課題を解決するための手段】
【００１９】
本発明の一形態であるフォーマット変換方法は、デジタルビデオデータのフレームを第１のフォーマットから第２のフォーマットに変換するフォーマット変換方法において、第１のフォーマットの第１のフレームの画素情報を表すデジタル係数情報を取得するステップと、デジタル係数情報に基づいて、第１のフォーマットの第１のフレームに対応する第２のフォーマットの第１のフレームと、第２のフォーマットの第２のフレームとの差分を表す動きベクトルを決定するステップとを有し、動きベクトルを決定するステップは、１次元逆離散コサイン変換を用いて、現ブロックに基づいて、少なくとも１つの現ブロックの統合射影配列を算出するステップと、１次元逆離散コサイン変換を用いて、第１の候補ブロックの組に基づいて、少なくとも１つの候補ブロックの統合射影配列を算出するステップと、現ブロックの統合射影配列及び候補ブロックの統合射影配列を用いて、現ブロックと第１候補ブロックの組との差分を算出するステップとを有する。
【００２０】
さらに、本発明に係る変換装置は、デジタルビデオデータのフレームを第１のフォーマットから第２のフォーマットに変換するフォーマット変換装置において、第１のフォーマットの第１のフレームの画素情報を表すデジタル係数情報を取得する手段と、デジタル係数情報に基づいて、第１のフォーマットの第１のフレームに対応する第２のフォーマットの第１のフレームと、第２のフォーマットの第２のフレームとの差分を表す動きベクトルを決定する手段とを備え、動きベクトルを決定する手段は、１次元逆離散コサイン変換を用いて、現ブロックに基づいて、少なくとも１つの現ブロックの統合射影配列を算出する手段と、１次元逆離散コサイン変換を用いて、第１の候補ブロックの組に基づいて、少なくとも１つの候補ブロックの統合射影配列を算出する手段と、現ブロックの統合射影配列及び候補ブロックの統合射影配列を用いて、現ブロックと第１候補ブロックの組との差分を算出する手段とを備える。
【発明を実施するための最良の形態】
【００２１】
以下、図面に示す具体例を参照して、本発明の好ましい実施の形態について詳細に説明する。
【００２２】
Ａ．粗探索処理（Sparse Search Process）
動き推定法は、通常、ビデオシーケンスにおける連続したフレーム間の冗長性を利用する。隣接フレームは、多くの場合、わずかに位置がずれていても、非常に類似した情報を含んでいる。動き推定法は、各フレームを全体として符号化するのではなく、１つのフレームを、隣接フレームからの差分について符号化することにより、デジタルビデオシーケンスを表すのに必要なデータ量を圧縮する技術である。ビデオシーケンスを再生する際には、デコーダは、参照フレームとともに、動きベクトル及び予測誤差を用いて現フレームを再構築する。
【００２３】
本発明に基づく動き推定方法では、現フレームの各ブロックの動きベクトルは、参照フレームに対して推定される。図２は、現フレーム２２０と参照フレーム２１０を示す図である。現フレーム２２０は、それぞれＭ×Ｎ画素から構成される複数のブロック２２５に分割されている。Ｍ及びＮは、２以上の如何なる整数であってもよいが、この実施の形態においては、Ｍ＝Ｎ＝８とする。現フレーム２２０を表すために、現フレーム２２０内の各ブロック２２５は、参照フレーム２１０内の同サイズのブロックからの移動量を表す動きベクトルと、現フレーム２２０内のそのブロックと参照フレーム２１０内のそのブロック間の予測誤差とによって表される。
【００２４】
図３及び図４は、本発明に基づいて、現フレームにおける１つのブロックの動きベクトルを導き出す手順を示すフローチャートである。すなわち、図３及び図４は、１ブロック分の動きベクトルを推定する手順を示すものである。まず、ステップ３０２において、図２に示す現フレーム２２０における現ブロック２４０が選択される。ブロックマッチングアルゴリズムを用いて動きベクトルを決定するために、現ブロック２４０は、参照フレーム２１０の対応する探索領域内の候補ブロックの全て又は幾つかと比較される。
【００２５】
そして、図３に示すステップ３０４において、参照フレーム２１０の探索領域２１５が選択される。図２に示す探索領域２１５は、探索範囲±Ｓによって定義され、現フレーム２２０における現ブロック２４０の位置に基づいて決定される。探索範囲Ｓは、所定の値であってもよく、動的に決定されるものであってもよい。また、探索範囲Ｓは、全てのフレームに対して同じであってもよく、現フレームと参照フレームとの間の時間差に応じて決定してもよい。探索範囲Ｓは、１以上の正の整数でフレームサイズよりの小さい如何なる値であってもよい。通常、探索範囲Ｓが広い程、より正確な動きベクトルを生成することができるが、探索範囲Ｓの広さに比例して探索処理の複雑さが増すため、全フレームサイズより狭い探索範囲Ｓを指定することが望ましい。以下の実施の形態では、探索範囲Ｓを８画素、すなわちＳ＝８とする。図２には、Ｓ＝８によって定義される探索領域２１５が示されている。（ｘ，ｙ）として示される点は、現ブロック２４０の左上角の画素に対応する点である。探索範囲Ｓを±８とした場合、点（ｘ，ｙ）の探索領域は、参照フレーム２１０における開始点（ｘ，ｙ）から８個の画素に基づいて決定される点（ｘ−８，ｙ−８）、（ｘ＋８，ｙ−８）、（ｘ＋８，ｙ＋８）、（ｘ−８，ｙ＋８）によって囲まれた領域である。探索範囲Ｓは、ｘ軸方向とｙ軸方向とで異なる場合もあるが、説明を簡潔にするために、この実施の形態では、ｘ軸方向とｙ軸方向における探索範囲は等しいものとする。
【００２６】
従来の１画素ステップの全探索法（one-pixel-step full search）では、現ブロック２４０は、探索領域内の可能な８×８候補ブロックのそれぞれと比較される。例えば、現ブロック２４０は、最初に、探索領域２１５内の左上隅の８×８ブロックと比較され、差分が算出される。この第１の比較における計算処理が終了すると、現ブロック２４０は、前のブロックから１画素分ずつ右にずれた８×８ブロックと順次比較され、差分が算出される。現ブロック２４０と（ｘ＋８，ｙ−８）から始まる候補ブロックとが比較された後は、この比較処理は、次の「行（row）」に移行し、現ブロック２４０と左上の角が（ｘ−８，ｙ−７）から始まる候補ブロックとが比較される。例えば、差分絶対値和（ＳＡＤ）をマッチング判定基準（matching criteria）として用いると、探索処理全体を以下のように表すことができる。
【００２７】
【数２】
2007189683.tif 000004
【００２８】
ここで、−８≦ｉ≦８、−８≦ｊ≦８、ｒは現ブロックを表し、ｓは候補ブロックを表す。ＳＡＤ（ｉ，ｊ）の値を最小にする（ｉ，ｊ）の対により現ブロック２４０の動きベクトルが定義される。例えば、動きベクトル（１，１）は、現ブロック２４０の位置に対応する参照フレーム２１０内の位置から１画素分水平方向に右に移動し、１画素分垂直方向に下に移動したブロックが現ブロック２４０に類似していることを示す。また、ｘ＝０，１，・・・，７とし、ｙ＝０，１，・・・，７として、値の配列ｒ（ｘ，ｙ）−ｓ（ｘ＋ｉ，ｙ＋ｊ）が現ブロックと候補ブロックとの間の予測誤差として記録される。
【００２９】
本発明は、全探索において実行される全ての比較演算のうちの部分集合（subset）のみを選択的に実行することにより、ブロック比較の回数を削減する。すなわち、本発明では、まず、探索処理を水平方向か垂直方向の何れか一方のみについて行う。そして、この第１の探索の結果に基づいて他方の方向に対する限定的な探索を行う。この２つの探索をどの順序で行うかは重要ではなく、すなわち、探索は、先に垂直方向について行い、次に水平方向について行ってもよく、この逆の順序で行ってもよい。以下の実施の形態では、探索処理を水平方向、すなわちｘ軸方向から開始するものとする。
【００３０】
図３のステップ３０６において、探索領域２１５は、本発明に基づき、図５に示すように、複数の行の部分集合に分割される。各部分集合は、ストリップ（strip）と呼ばれ、Ｚ個の画素幅を有する複数の行から構成される。Ｚは、１より大きく、探索範囲Ｓ以下の如何なる整数であってもよい。好ましくは、ＺをＳの因数とするとよい。図５に示す具体例では、Ｚ＝８としている。したがって、探索領域２１５は、（Ｓ／Ｚ）×２＋１＝（８／８）×２＋１、すなわち３つのストリップに分割される。
【００３１】
この処理では、現ブロック２４０と各ストリップ内の候補ブロックの部分集合とを比較することによって、ｘ軸方向の探索を行う。各比較処理において、候補ブロックのｙ座標は、Ｚの倍数、この実施の形態では８である。ステップ３０８において、適切な誤差算出法又は相関法を用いて、現ブロック２４０と各候補ブロック間の差分を算出する。
【００３２】
ステップ３１２において、現在の候補ブロックの差分がこのストリップ内の以前の候補ブロックの差分のいずれよりも小さい場合、あるいは現在の候補ブロックがこのストリップにおける最初の候補ブロックである場合、この現在の候補ブロックを最良候補ブロック（"best" candidate block）と判定する。この最良候補ブロックの座標及び差分は、ステップ３１０において、以後の比較処理のために保存される。一方、現在の候補ブロックの差分が以前の候補ブロックの差分より大きい場合、現在の候補ブロックの座標は削除される。
【００３３】
ステップ３１６において、現在の候補ブロックが現在のストリップにおける最後の候補ブロックではないと判定された場合、ステップ３１４において、現在の候補ブロックの位置をＸ軸方向にＤ画素分シフトさせて、同様の処理が繰り返される。すなわち、ステップ３０８において、現ブロック２４０は、この新たな位置の候補ブロックと比較され、このステップ３０８以降の上述した処理が行われる。ここで、Ｄは、１以上Ｓ以下の如何なる整数であってもよい。例えばＤを１とした場合、現ブロック２４０は、ストリップにおける全ての候補ブロックと比較されることとなる。
【００３４】
ステップ３１６において、１つのストリップに対する処理が終了すると、ステップ３１８において、上述の処理により現ブロック２４０からの差分が最も少ないと判定された候補ブロックの例えば左上角に対応するｘ座標及びｙ座標を記録することにより、このストリップにおける候補ブロックが保存される。以上の処理は、探索領域２１５の各ストリップに対して繰り返される。ステップ３２０では、ｘ軸方向の探索結果として、各ストリップに対する１つの最良候補ブロックが記録されていることとなる。ここでいう「最良」候補ブロックとは、現ブロック２４０に対する差分が最も少ない候補ブロックを意味する。
【００３５】
次に、処理は、他方の座標軸方向、この実施の形態においては、ｙ軸方向の探索に移行する。図４に示すステップ３３２において、各ストリップの最良候補ブロックについて、限定的な探索領域が定義される。図６は、探索領域２１５及び最良候補ブロック５６１、５６２、５６３を示す図である。各限定された探索領域は、最良候補ブロックと、最良候補ブロックから上下両方向への幾つかの追加的な行により形成された部分的な列（column）とから構成される。換言すれば、第２の処理における限定された各探索領域は、第１の処理により得られた最良候補ブロックを上下両方向に複数行分スライドさせて形成される領域である。両方向へスライドさせる行数は異なるものであってもよいが、説明のために、各限定された探索領域は、両方向にＹ行ずつ拡張されているものとする。Ｙは、１より大きい如何なる整数であってもよいが、Ｙ≧Ｚとすると、ｘ軸方向において、不必要な差分計算を重複して実行することになる。そこで、この実施の形態ではＹ＝Ｚ／２、すなわちＹ＝４とする。
【００３６】
図４に示すステップ３３０において、現ブロック２４０は、第１の候補ブロックと比較される。この比較処理のために、現ブロック２４０の左端と、候補ブロックの左端が合わせられる。この処理においては、適切な誤差算出法又は相関法を用いて、現ブロック２４０と候補ブロックとの差分を算出する。
【００３７】
ステップ３３４において、この比較が最初の比較である場合、又は比較により得られた差分が以前の候補ブロックに対して得られた差分より小さい場合、以後の比較処理のために、ここで比較された候補ブロックの座標及び差分を保存する。一方、この候補ブロックに関する差分が以前の候補ブロックに対して算出された差分より大きい場合、この候補ブロックの座標は削除され、処理はステップ３３６に移行する。
【００３８】
ステップ３３６において、現在の候補ブロックが限定された探索領域における最後の候補ブロックではない場合、処理はステップ３３５に移行し、現在の候補ブロックをｙ軸方向にＤ２画素分シフトさせて、上述の処理が繰り返される。すなわち、ステップ３３０において、現ブロック２４０は、この新たな位置にシフトされた候補ブロックと比較され、このステップ３３０以降の上述した処理が繰り返される。ここで、Ｄ２は１〜Ｙの範囲の如何なる整数であってもよい。
【００３９】
図４に示すステップ３３８において、処理が限定された探索範囲の端に到達した場合、ステップ３３０から次の限定された探索範囲に対する処理が開始される。これらの限定された探索範囲に対する探索処理が全て終了すると、ステップ３５０において、最良候補ブロックの座標を用いて、動きベクトルが決定される。また、現ブロック２４０と最良候補ブロックとの間の予測誤差として、画素の差分の配列が記録される。
【００４０】
Ｂ．統合射影データを用いた粗探索処理
例えばブロックマッチングアルゴリズム等の従来の動き推定法は、動きベクトルを検出するために、空間領域の画素情報を用いている。画素情報を用いて、Ｎ×Ｎ画素からなる現ブロックをＮ×Ｎ画素からなる候補ブロックと比較する場合、Ｎ×Ｎ回の計算が必要である。ここで、統合射影情報等、画素情報以外の情報を用いて２つのブロックを比較することもできる。画素情報の統合射影情報とは、画像の水平方向又は垂直方向に沿った複数の画素値の総和を表す情報である。図７は、垂直方向の統合射影を説明する図であり、図８は、水平方向の統合射影を説明する図である。
【００４１】
本発明の他の実施の形態では、上述した粗探索処理とともに、統合射影情報を用いることにより、動きベクトルを決定するために実行する計算の回数を更に削減する。この統合射影情報は、画素情報から１次元の統合射影配列を算出することにより、あるいは、例えばデジタルビデオデコーダからの離散コサイン変換（discrete cosine transform：以下、ＤＣＴという。）係数データから統合射影情報を算出することにより得られる。特に、本発明は、必要な計算処理を削減し、したがって、１つのデジタルビデオフォーマットから他のデジタルフォーマットへの変換、例えばデジタルビデオ（digital video：ＤＶ）フォーマットからＭＰＥＧフォーマットへの変換に要する計算処理時間を短縮する点で有効である。
【００４２】
ＤＣＴは、数学的には以下のように表される。
【００４３】
【数３】
2007189683.tif 000005
【００４４】
ここで、ｈ＝０，１，・・・，７、ｖ＝０，１，・・・，７であり、ｃ（ｈ）及びｃ（ｖ）は以下の値をとる。
【００４５】
【数４】
2007189683.tif 000006
【００４６】
Ｐ（ｘ，ｙ）は、８×８ブロックの画素データであり、Ｑ（ｈ，ｖ）は、８×８ブロックのＤＣＴ係数である。数学的には、８×８ブロックのＤＣＴ係数を１次元の水平逆ＤＣＴへ入力した場合、演算結果は８×８配列となり、この配列の第１行は、定数が乗算された各列の画素情報の総和を含む。したがって、この第１行は、８×８ブロックの画素情報の１次元垂直射影情報に等しい。同様に、同じ８×８ブロックのＤＣＴ係数を１次元の垂直逆ＤＣＴへ入力した場合、演算結果の第１列は、元となる８×８ブロックの画素情報の１次元水平射影情報に等しくなる。垂直及び水平統合射影は、動きベクトルの推定に使用することができる。
【００４７】
統合射影情報を用いた本発明に基づく動きベクトル決定方法では、上述した実施の形態と類似した処理を行う。すなわち、図３に示すステップ３０２において、図２に示す現フレーム２２０における現ブロック２４０が選択される。現フレーム２２０は、それぞれＮ×Ｍ画素からなる同じサイズの複数のブロックに分割される。Ｎ及びＭは、２以上の如何なる整数値であってもよいが、ＤＣＴ係数配列に対する１次元逆ＤＣＴを実行して統合射影データを得る場合には、Ｎ及びＭとしては、符号化処理のＤＣＴ段階で用いられていたブロックサイズの倍数を選択することが望ましい。例えば、８×８ブロックの画素情報に対するＤＣＴ圧縮を行うビデオエンコーダにおいては、Ｎ＝Ｍ＝８とするとよい。
【００４８】
そして、図３に示すステップ３０４において、参照フレーム２１０の探索領域２１５が選択される。探索範囲Ｓは、如何なる整数値であってもよいが、統合射影情報をビデオ復号処理における８点のＤＣＴ係数から求める場合、探索範囲Ｓは８の倍数から選択することが望ましい。以下の実施の形態では、探索範囲Ｓを８画素、すなわちＳ＝８とする。探索範囲Ｓを±８とした場合、点（ｘ，ｙ）の探索領域は、点（ｘ−８，ｙ−８）（ｘ＋８，ｙ−８）（ｘ＋８，ｙ＋８）（ｘ−８，ｙ＋８）によって囲まれた領域である。そして、探索範囲２１５は、図５に示すように、複数のストリップに分割される。各ストリップは、Ｚ画素分の行からなる。この実施の形態では、ＤＣＴ係数から得られる統合射影データ情報を利用するために、各ストリップの幅を８行分とする。したがって、探索領域２１５は、（Ｓ／Ｚ）×２＋１＝（８／８）×２＋１、すなわち３つのストリップに分割される。
【００４９】
この処理では、図５に示すように、現ブロック２４０と各ストリップ内の候補ブロックの部分集合とを比較することによって、ｘ軸方向の探索を行う。各比較処理において、候補ブロックのｙ座標は、Ｚの倍数、この実施の形態では８である。ステップ３０８においては、適切な誤差算出法又は相関法を用いて、現ブロック２４０と各候補ブロック間の差分を算出する。
【００５０】
ステップ３１２において、現在の候補ブロックの差分がこのストリップ内の以前の候補ブロックの差分のいずれよりも小さい場合、あるいは現在の候補ブロックがこのストリップにおける最初の候補ブロックである場合、この現在の候補ブロックを最良候補ブロックと判定する。この最良候補ブロックの座標及び差分は、ステップ３１０において、以後の比較処理のために保存される。ステップ３０８において、適切な誤差算出法又は相関法を用いて、現ブロック２４０と各候補ブロック間の差分を算出する。第１の実施の形態においては、この計算は画素データに対して実行している。一方、統合射影情報を用いたこの実施の形態では、画素データの代わりに、１次元統合射影配列を用いている。垂直射影情報を用いてｘ軸方向の探索を行う場合、候補ブロックをストリップ内で左から右に移動させるにつれて、各候補ブロック用の垂直射影情報の多くは、再計算を行うことなく、左側のブロックから得ることができる。
【００５１】
統合射影情報を画素データから算出する場合は、Ｎ×Ｎの候補ブロックにおけるＮ個の垂直射影情報及びＮ×Ｎの現ブロック２４０におけるＮ個の垂直射影情報を算出する。得られる総和は、差分の算出の際に使用される。例えば、マッチング判定基準として差分絶対値和（ＳＡＤ）を用いる場合、垂直射影情報の差分は、以下のように算出される。
【００５２】
【数５】
2007189683.tif 000007
【００５３】
ここで、−Ｓ≦ｉ≦Ｓ、−Ｓ≦ｊ≦Ｓ、ｊはＺの倍数である。さらに、ｒ（ｘ）は現ブロック２４０のｘ番目の列の垂直射影情報であり、ｓ（ｘ＋ｉ，ｊ）は行ｊから始まる候補ブロックの（ｘ＋ｊ）番目の列の垂直射影情報又は総和である。
【００５４】
候補ブロックの垂直射影情報をＤＣＴ係数から求める場合、垂直射影情報ｓ（ｘ＋ｉ，ｊ）は２つのブロックから算出される。ＤＣＴ係数配列は、例えば図９に示すブロック＃１及びブロック＃２等の８×８ブロックに対して算出される。候補ブロックの座標が８×８ＤＣＴ係数配列と正確に一致する場合、垂直射影配列は、８×８ＤＣＴ係数配列の第０行に対する１次元逆ＤＣＴを実行することにより容易に得ることができる。また、候補ブロックが図９に示すように、２つの８×８ＤＣＴ係数配列に水平方向にまたがっている場合、垂直射影情報は、ＤＣＴ係数が存在する隣接した２つの８×８ＤＣＴ係数配列の第０行に対する１次元逆ＤＣＴを実行することにより得られる。
【００５５】
また、図１０に示すように、候補ブロックが２つの８×８ＤＣＴ係数配列に垂直方向にまたがっている場合、垂直方向の全差分は、ＤＣＴ係数が存在する隣接した２つの８×８ＤＣＴ係数配列の差分値を重み付け加算して算出することができる。例えば、図１０に示す、左上角の座標を（０，５）とする候補ブロック８２０の差分値は、ブロック＃１と現ブロック２４０間の差分値と、ブロック＃２と現ブロック２４０間の差分値との重み付け加算値に等しい。候補ブロック８２０の３／８は、ブロック＃１に重なり、候補ブロック８２０の５／８は、ブロック＃２に重なっている。したがって、候補ブロック８２０のＳＡＤは、以下の式により求められる。
【００５６】
【数６】
2007189683.tif 000008
【００５７】
ここで、ｒ（ｘ）は現ブロック２４０のｘ番目の列の垂直射影情報を表し、ｓ（ｘ，０）はブロック＃１のｘ番目の列の垂直射影情報又は総和を表し、ｓ（ｘ，８）はブロック＃２のｘ番目の列の垂直射影情報又は総和を表す。
【００５８】
図３に示すステップ３１２において、現在の候補ブロックの差分がこのストリップ内の以前の候補ブロックの差分のいずれよりも小さい場合、あるいは現在の候補ブロックがこのストリップにおける最初の候補ブロックである場合、この現在の候補ブロックの座標及び差分は、ステップ３１０において、以後の比較処理のために保存される。一方、現在の候補ブロックの差分が以前の候補ブロックの差分より大きい場合、現在の候補ブロックの座標は削除される。
【００５９】
ステップ３１６において、現在の候補ブロックが現在のストリップにおける最後の候補ブロックではないと判定された場合、ステップ３１４において、現在の候補ブロックの位置をＸ軸方向にＤ画素分シフトさせて、同様の処理が繰り返される。すなわち、ステップ３０８において、現ブロック２４０は、この新たな位置の候補ブロックと比較され、このステップ以降の上述した処理が行われる。ここで、Ｄは、１以上Ｓ以下の如何なる整数であってもよい。例えばＤを１とした場合、現ブロック２４０は、ストリップにおける全ての候補ブロックと比較されることとなる。
【００６０】
１つのストリップに対する処理が終了すると、ステップ３１８において、上述の処理により現ブロック２４０からの差分が最も少ないと判定された候補ブロックの例えば左上角に対応するｘ座標及びｙ座標を記録する。以上の処理は、探索領域２１５の各ストリップに対して繰り返される。ステップ３２０では、ｘ軸方向の探索結果として、各ストリップに対する１つの最良候補ブロックが記録されていることとなる。ここでいう「最良」候補ブロックとは、現ブロック２４０に対する差分が最も少ない候補ブロックを意味する。
【００６１】
次に、処理は、ｙ軸方向の探索に移行する。図６は、参照フレーム２１０内の探索領域２１５及びｘ軸方向の探索から得られた最良候補ブロック５６１、５６２、５６３を示す図である。各ストリップの最良候補ブロックに対する各限定された探索領域は、最良候補ブロックと、最良候補ブロックから上下両方向へＹ行分拡張された部分的な行とから構成される。Ｙは、１より大きい如何なる整数であってもよいが、Ｙ≧Ｓとすると、ｘ軸方向において、不必要な差分計算を重複して実行することになる。そこで、この実施の形態ではＹ＝Ｓ／２、すなわちＹ＝４とする。
【００６２】
この処理において、ｙ軸方向へのシフトは１画素からｙ画素の範囲内であれば、何画素ずつ行ってもよい。ここでは、説明の便宜上、ｙ軸方向には、毎回１画素ずつシフトして処理を行うものとする。最良候補ブロック５６１の左上角の座標が（ｍ，ｎ）である場合、ステップ３３０における比較処理は、現ブロック２４０と、左上角の座標が（ｍ，ｎ−Ｙ）の候補ブロックとの比較から開始される。
【００６３】
ステップ３３０において、適切な誤差算出法又は相関法を用いて、現ブロック２４０と候補ブロックとの間の差分が算出される。第１の実施の形態においては、この演算は画素データに対して行っている。一方、統合射影データを用いる実施の形態では、画素データに代えて、１次元統合射影配列を用いる。水平射影情報及び垂直射影情報の両方を用いたこの実施の形態における第２の探索処理、すなわちｙ軸方向への探索処理により、より正確な動き推定を行うことができる。また、水平射影情報のみを使用する方法は、必要な計算の回数を削減できるため、幾つかのアプリケーションでは好ましい場合もある。
【００６４】
統合射影情報を画素データから算出する場合、Ｎ×Ｎの候補ブロックに対するＮ個の水平射影データと、Ｎ×Ｎの現ブロック２４０に対するＮ個の水平統合データとが算出される。そして、得られる総和は、差分の算出に用いることができる。例えば、マッチング判定基準としてＳＡＤを使用する場合、水平射影情報の差分は、以下のように算出される。
【００６５】
【数７】
2007189683.tif 000009
【００６６】
ここで、ｎ−Ｙ≦ｊ≦ｎ＋Ｙ、ｔ（ｙ）は現ブロック２４０のｙ番目の行の水平射影情報を表し、ｕ（ｍ，ｊ＋ｙ）は候補ブロックのｙ番目の行の水平射影情報又は総和を表す。
【００６７】
垂直射影情報の差分は以下の式を用いて算出できる。
【００６８】
【数８】
2007189683.tif 000010
【００６９】
ここで、−Ｓ≦ｊ≦＋Ｓ、ｒ（ｘ）は現ブロック２４０のｘ番目の列の垂直射影情報を表し、ｓ（ｘ＋ｍ，ｊ）は候補ブロックのｘ番目の列の垂直射影情報を表す。全差分は、水平射影情報の差分と垂直射影情報の差分の和として求められる。
【００７０】
候補ブロックの射影データをＤＣＴ係数から求める場合、全差分算出はさらに複雑になる。ｘ軸方向の探索において、現ブロック２４０の上端の行が候補ブロックの上端の行と一致する場合、ｙ座標はＺの倍数、この実施の形態においては８となり、ＤＣＴ係数からの統合射影情報の算出は容易になる。探索処理の第２段階において、水平方向又は垂直方向のいずれにおいても、候補ブロックがＤＣＴ係数の８×８配列に一致しないことがある。例えば、図１１に示すように、左上角の座標が（５，２）の候補ブロック９１０の全差分は、ブロック＃１，＃２，＃３，＃４と現ブロック２４０との差分を重み付け加算することにより求められる。これら４つの隣接したブロックの差分の重み付け加算値は、（（８−２）／８）＊（（５，０）における垂直射影情報を用いた探索に基づく差分）＋（２／８）＊（（５，８）における垂直射影情報を用いた探索に基づく差分）＋（（８−５）／８）＊（（０，２）における水平射影情報を用いた探索に基づく差分）＋（５／８）＊（（８，２）における水平射影情報を用いた探索に基づく差分）として求められる。
【００７１】
数学的には、候補ブロック９１０のＳＡＤは、以下のように求められる。
【００７２】
【数９】
2007189683.tif 000011
【００７３】
ここで、ｒ（ｘ）は現ブロック２４０のｘ番目の列の垂直射影情報を表し、ｔ（ｙ）は現ブロック２４０のｙ番目の行の水平射影情報を表し、ｓ（ｘ＋５，０）及びｓ（ｘ＋５，８）は、０≦ｘ≦２における、ブロック＃１及び＃３の（ｘ＋５）番目の列の垂直射影情報又は総和を表し、また、ｓ（ｘ＋５，０）及びｓ（ｘ＋５，８）は、３≦ｘ≦７における、ブロック＃２及び＃４の（ｘ＋５−８）番目の列の垂直射影情報又は総和を表し、ｕ（０，ｙ＋２）及びｕ（８，ｙ＋２）は、０≦ｙ≦５における、ブロック＃１及び＃２の（ｙ＋２）番目の行の水平射影情報又は総和を表し、また、ｕ（０，ｙ＋２）及びｕ（８，ｙ＋２）は、６≦ｙ≦７における、ブロック＃３及び＃４の（ｙ＋２−８）番目の行の水平射影情報又は総和を表す。
【００７４】
この処理では、各比較処理毎に垂直方向のインデックスｊを増加させながら、候補ブロックと現ブロック２４０との差分を最小にするｊを検出するまで処理を継続する。この処理は、最良候補ブロック５６１，５６２，５６３によって定義される限定された探索領域（mini search block）毎に繰り返され、最良候補ブロックが記録される。各比較処理において、候補ブロックの現ブロック２４０に対する全差分が最小であると判定された場合、その候補ブロックの座標及びその候補ブロックにおける全差分が記録される。全ての限定された探索領域の探索が終了したときに、記録されている候補ブロックが現ブロック２４０に最も類似した参照ブロックとされる。最後に、最良候補ブロック（ｍ，ｌ）の現ブロック２４０に対する動きベクトル及び予測誤差が算出される。
【００７５】
周波数領域情報の１次元逆ＤＣＴを用いた統合射影情報の算出では、各８回の射影の組に対して、約１１回の乗算及び２９回の加算が必要である。射影情報を純粋に空間領域において求める場合、各８回の射影に対して、約５６回の演算が必要である。下位４個の周波数係数に対する４点の逆ＤＣＴを用いた場合に限り、周波数領域による方法の性能の向上が高くなる。この処理は、８個の射影情報に対する更なるフィルタリング及び間引き処理を行う処理に等しい。この場合、各８×８ブロックに対し、用いられる統合射影情報は４個のみとなる。４点の逆ＤＣＴにより得られる４つの統合射影情報は、図１２に示すように、２つの隣接した統合射影情報毎の加算値に等しい。さらに、下位２個の周波数係数に対する２点の逆ＤＣＴを行うことにより、又は図１３に示すような他の加算処理を行うことにより、８×８ブロック毎に使用する統合射影情報を２個とすることもできる。用いる統合射影情報の数を少なくする程、動き探索における演算の回数を削減することができる。
【００７６】
Ｃ．システム
図１４は、本発明に基づくシステム１１０５の構成を示す図である。図１４に示すように、プロセッサ１１１０は、任意の適切なデータ接続線を介して、少なくとも１つの入出力装置１１２０に接続されている。入出力装置１１２０は、プロセッサ１１１０にデータを供給し、また、プロセッサ１１１０からデータを受信する能力を有する如何なる装置であってもよい。入出力装置１１２０は、例えばＩＥＥＥ１３９４インタフェースを介して接続されたデジタルカムコーダであってもよい。プロセッサ１１１０は、例えばペンティアムプロセッサ（Pentium processor：商標）等の市販されている如何なるデジタルプロセッサであってもよい。また、プロセッサ１１１０は、シングルプロセッサであってもマルチ複数のプロセッサであってもよい。なお、プロセッサ１１１０の処理速度が速い程、本発明における処理時間が短くなる。
【００７７】
さらに、本発明に基づくシステム１１０５は、プロセッサ１１１０により処理され、及び入出力装置１１２０に供給され又は入出力装置１１２０から供給されるデータを記憶するメモリ１１３０を備える。さらに、システム１１０５は、例えば陰極線管等、情報を表示するための表示装置１１４０を備えていてもよい。プロセッサ１１１０、入出力装置１１２０、メモリ１１３０、表示装置１１４０は、標準システムバス１１６０を介して相互に接続されている。図１４は、各ハードウェアコンポーネントが従来の市販されているコンピュータシステムにおけるコンポーネントによって実現された例示的なネットワークを示している。
【００７８】
図１５は、本発明に基づくプロセッサ１１１０の内部構成を示す図である。プロセッサ１１１０は、例えば１つ以上のメモリ管理ユニット（memory management unit：以下、ＭＭＵという。）１２１０と、１つ以上のプロセッサコアアレー（processor element arrays）１２２０と、１つ以上のアキュムレータ（accumulator unit）１２３０とを備える。プロセッサコアアレー１２２０は、プロセッサコアのアレーからなる。プロセッサコアは、例えばブロック間のＳＡＤを算出するための減算及び加算器等から構成される。ＭＭＵ１２１０は、プロセッサコアアレー１２２０に対するデータバッファとして使用される。アキュムレータ１２３０は、例えば、プロセッサコアアレー１２２０から出力されるデータを加算する加算器であってもよい。
【００７９】
本発明の一実施の形態において、プロセッサ１１１０は、メモリ１１３０に格納されている１つ以上の命令シーケンスを実行する。このような命令は、例えばコンピュータにより読取可能な媒体から入出力装置１１２０を介してメモリ１１３０に読み込まれたものである。メモリ１１３０に格納されている命令シーケンスを実行することにより、プロセッサ１１１０は、上述した処理を実行する。他の実施の形態においては、ソフトウェアプログラムにより実現された命令に代えて、あるいはソフトウェアプログラムにより実現された命令に加えて、ハードウェアにより構成された回路を用いて本発明を実現することもできる。すなわち、本発明の実施の形態は、ハードウェア回路及びソフトウェアの特定の組合せに限定されるものではない。
【００８０】
ここで、「コンピュータにより読取可能な媒体」とは、プロセッサ１１１０に実行可能な命令を供給するためのあらゆる媒体を意味するものとする。このような媒体は、如何なる形態のものであってもよく、例えば不揮発性媒体、揮発性媒体、伝送媒体等が含まれるが、これらに限定されるものではない。不揮発性媒体には、例えば光ディスク又は磁気ディスク等が含まれる。揮発性媒体には、例えばメモリ１１３０のようなダイナミックメモリが含まれる。伝送媒体には、システムバス１１６０を構成するデータ線を含む、同軸ケーブル、銅線、光ファイバケーブル等が含まれる。さらに、伝送媒体は、例えば電波及び赤外線データ通信により生成される音波及び光波であってもよい。
【００８１】
さらに、通常使用されるコンピュータにより読取可能な媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ又は他のあらゆる磁気記録媒体、ＣＤ−ＲＯＭ又は他のあらゆる光記録媒体、パンチカード、紙テープ、所定パターンの穿孔が設けられたあらゆる物理的記録媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他のあらゆるメモリチップ又はカートリッジ、後述する搬送波、及びコンピュータがそこから読み出すことができる他のあらゆる媒体を含む。情報を伝送するための搬送波の例としては、システムバス１１６０を介してシステム１１０５への、及びシステム１１０５からのデジタルデータ及び可能であればプログラムコードを搬送するネットワーク信号が含まれる。本発明に基づき、システム１１０５に供給されたプログラムは、供給されると同時にプロセッサ１１１０により実行してもよく、及び／又はメモリ１１３０に記憶してもよく、又は後に実行するために不揮発性記録媒体に記録してもよい。
【００８２】
本発明の思想及び範囲から逸脱することなく、本発明に基づく上述の方法及びシステムを様々に修正及び変形できることは、当業者にとって明らかである。本発明の範囲は、特許の請求の範囲によって定義される。
【図面の簡単な説明】
【００８３】
【図１】従来のブロックマッチング法を説明する図である。
【図２】本発明に基づく、ブロックマッチング探索における探索領域の選択処理を説明する図である。
【図３】本発明に基づくブロックマッチング探索処理の手順を示すフローチャートである。
【図４】図３の続きを示すフローチャートである。
【図５】本発明に基づくブロックマッチング探索処理におけるｘ軸方向の探索を説明する図である。
【図６】本発明に基づくブロックマッチング探索処理におけるｙ軸方向の探索を説明する図である。
【図７】８×８配列からなる画素情報の垂直射影情報の算出を説明する図である。
【図８】８×８配列からなる画素情報の水平統合射影情報の算出を説明する図である。
【図９】水平方向に隣接した２つの８×８ブロックに重なる候補ブロックを示す図である。
【図１０】垂直方向に隣接した２つの８×８ブロックに重なる候補ブロックを示す図である。
【図１１】本発明に基づくブロックマッチング処理の一処理段階を示す図である。
【図１２】８×８配列からなる画素情報の垂直射影情報の算出を説明する図である。
【図１３】８×８配列からなる画素情報の水平射影情報の算出を説明する図である。
【図１４】本発明に基づくシステムの構成を示す図である。
【図１５】本発明に基づくプロセッサの構成を示す図である。
【図１】
2007189683.tif 000012
【図２】
2007189683.tif 000013
【図３】
2007189683.tif 000014
【図４】
2007189683.tif 000015
【図５】
2007189683.tif 000016
【図６】
2007189683.tif 000017
【図７】
2007189683.tif 000018
【図８】
2007189683.tif 000019
【図９】
2007189683.tif 000020
【図１０】
2007189683.tif 000021
【図１１】
2007189683.tif 000022
【図１２】
2007189683.tif 000023
【図１３】
2007189683.tif 000024
【図１４】
2007189683.tif 000025
【図１５】
2007189683.tif 000026