(57)【要約】  本発明は、ビデオ処理における動き推定の分野に関し、具体的には、画像シーケンスの処理対象画像の処理中画像領域において、該画像領域を形成する複数の第１画素ブロックの動きベクトルを突き止めるビデオ処理方法及び装置に関する。本発明は、画像レートアップコンバージョンのようなビデオ用途のビデオ出力の品質について、領域ベース動き推定の隣接画像領域間の境界の影響の問題を解決する。ビデオ処理装置は、画像の、各々が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列により共有される画素ブロックを含む多数の画像領域への断片化に従って、画像上で動き推定を実行し且つ画像シーケンスの次画像を処理するために画像当たりの画像領域数は一定のまま異なるアスペクト比を設定する処理ユニットを有する。画像領域のアスペクト比の動的な変更は、隣接画像領域間の境界の影響を低減し、領域ベース動き推定の品質を向上させる。
2008536429.tif 000002
【特許請求の範囲】
【請求項１】
処理ユニットを有するビデオ処理装置であって、
該処理ユニットは、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において、該画像領域を形成する複数の第１画素ブロックの動きベクトルを突き止め、
多数の画像領域への画像の断片化であり、各画像領域が、調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、全体画像を処理し、且つ
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する、
ように適応されている、ビデオ処理装置。
【請求項２】
前記処理ユニットは断片化ユニットを有し、該断片化ユニットは、画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止め、且つ次の画像を処理するために該組の中から異なるアスペクト比を選択するように適応されている、請求項１に記載のビデオ処理装置。
【請求項３】
前記断片化ユニットは、前記アスペクト比の組が少なくとも所定数の項目を含むように画像当たりの画像領域数を選定するように適応されている、請求項２に記載のビデオ処理装置。
【請求項４】
前記断片化ユニットは、画像シーケンスのビデオフォーマットに応じて画像当たりの画像領域数を設定するように適応されている、請求項１に記載のビデオ処理装置。
【請求項５】
前記処理ユニットは更に、
それぞれの画像領域の少なくとも２つのパスにて第１画素ブロックの動きベクトルを突き止め、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれるそれぞれの第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止め、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域に対応する画像領域の外側に位置する第２画素ブロック、これは以下では第３画素ブロックと呼ばれる、に関して突き止められた時間的候補ベクトルを、処理対象画像内の対応する第３画素ブロックに関して動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する、
ように適応されている、請求項１に記載のビデオ処理装置。
【請求項６】
前記処理ユニットに接続された上層作業用メモリ、及び
前記処理ユニット及び前記上層作業用メモリに接続され、且つ外部画像メモリに接続可能なメモリ制御ユニットであり、２つの連続する画像の各々に含まれる同一位置にある部分配列を前記外部画像メモリから前記上層作業用メモリに取り込むように適応され、且つ前記部分配列の各々は少なくとも、処理中の画像領域を含んでいる、メモリ制御ユニット、
を更に有する請求項１に記載のビデオ処理装置。
【請求項７】
前記処理ユニットは、所定のスキャン順序に従って、処理中の画像領域内の画素ブロック毎に動きベクトルを突き止め、且つ同一のスキャン順序を用いて少なくとも２度、処理中の画像領域を処理するように適応されている、請求項６に記載のビデオ処理装置。
【請求項８】
前記処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に、第１画素ブロックそれぞれの動きベクトルを突き止め、且つ異なるスキャン順序を用いて少なくとも３度、処理中の画像領域を処理するように適応されている、請求項６に記載のビデオ処理装置。
【請求項９】
前記処理ユニットは動き推定器を有し、該動き推定器は、それぞれの第１画素ブロックの動きベクトルを、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる第４画素ブロックとの間の画素ブロック類似性を評価することによって、突き止めるように適応されている、請求項１に記載のビデオ処理装置。
【請求項１０】
前記動き推定器は、それぞれの第１画素ブロックの動きベクトルを、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることによって、突き止めるように適応されている、請求項９に記載のビデオ処理装置。
【請求項１１】
前記処理ユニットと前記上層作業用メモリとの間に配置され、且つ２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを格納するように適応された、下層作業用メモリを更に有する請求項１０に記載のビデオ処理装置。
【請求項１２】
前記メモリ制御ユニットは、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを前記部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列により共有される画素ブロックの分だけ処理中の画像領域を超えて延在する画像の部分配列を前記上層作業用メモリに取り込むように適応されている、請求項６及び１０に記載のビデオ処理装置。
【請求項１３】
前記メモリ制御ユニットは、第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが前記上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列を前記上層作業用メモリに取り込むように適応されている、請求項５、６及び１０に記載のビデオ処理装置。
【請求項１４】
画像シーケンスに含まれる処理対象画像の処理中の画像領域において、該画像領域を形成する複数の第１画素ブロックの動きベクトルを突き止める段階、
多数の画像領域への画像の断片化に従って全体画像を処理する段階であり、各画像領域は、調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有するビデオ処理方法。
【請求項１５】
画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止める段階、及び
次の画像を処理するために該組の中から異なるアスペクト比を選択する段階、
を有する請求項１４に記載のビデオ処理方法。
【請求項１６】
画像当たりの画像領域数は、前記アスペクト比の組が少なくとも所定数の項目を含むように選定される、請求項１５に記載のビデオ処理方法。
【請求項１７】
動きベクトルは、それぞれの画像領域の少なくとも２つのパスにおいて第１画素ブロックに関して突き止められ、
画像領域の処理中の第１画素ブロックの動きベクトルが、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれるそれぞれの第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止められ、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域に対応する画像領域の外側に位置する第２画素ブロック、これは以下では第３画素ブロックと呼ばれる、に関して突き止められた時間的候補ベクトルが、処理対象画像内の対応する第３画素ブロックに関して動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新される、
請求項１４に記載のビデオ処理方法。
【請求項１８】
２つの連続する画像の各々に含まれる同一位置にある部分配列を画像メモリから上層作業用メモリに取り込む段階であり、前記部分配列の各々は少なくとも、処理中の画像領域を含んでいる、取り込む段階、を更に有する請求項１４に記載のビデオ処理方法。
【請求項１９】
画像領域の第１画素ブロックのそれぞれの動きベクトルは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に、同一のスキャン順序を用いて少なくとも２度、突き止められる、請求項１７及び１８に記載のビデオ処理方法。
【請求項２０】
画像領域の第１画素ブロックのそれぞれの動きベクトルは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に突き止められ、且つ処理中の画像領域は異なるスキャン順序を用いて少なくとも３度、処理される、請求項１４に記載のビデオ処理方法。
【請求項２１】
それぞれの第１画素ブロックの動きベクトルを突き止める前記段階は、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる第４画素ブロックとの間の画素ブロック類似性を評価することを有する、請求項１４に記載のビデオ処理方法。
【請求項２２】
それぞれの第１画素ブロックの動きベクトルを突き止める前記段階は、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることを有する、請求項２１に記載のビデオ処理方法。
【請求項２３】
２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを前記上層作業用メモリから下層作業用メモリに取り込む段階を更に有する請求項１８及び２２に記載のビデオ処理方法。
【請求項２４】
処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを前記部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列により共有される画素ブロックの分だけ処理中の画像領域を超えて延在する画像の部分配列が、前記上層作業用メモリに取り込まれる、請求項１８及び２２に記載のビデオ処理方法。
【請求項２５】
それぞれの第３画素ブロックの時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが前記上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列が、前記上層作業用メモリに取り込まれる、請求項１７、１８及び２２に記載のビデオ処理方法。
【請求項２６】
ビデオ処理方法を実行する際にプログラム可能プロセッサの動作を制御するコードを含むデータ媒体であって、該ビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において、該画像領域を形成する複数の第１画素ブロックの動きベクトルを突き止める段階、
多数の画像領域への画像の断片化に従って全体画像を処理する段階であり、各画像領域は、調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列を含む、処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有する、データ媒体。
【請求項２７】
前記コードは、請求項１５乃至２５の何れかに記載のビデオ処理方法を実行するプログラム可能プロセッサの動作を制御するように適応されている、請求項２６に記載のデータ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ処理分野に関し、特に、動き推定の分野に関する。具体的には、本発明は、画像シーケンスに含まれる処理対象画像を形成する複数の第１画素ブロックに関して動きベクトルを突き止めるビデオ処理方法及び装置に関する。
【背景技術】
【０００２】
動き推定（motion  estimation；ＭＥ）はビデオ処理において幅広く使用されているタスクである。ＭＥ方法及び装置の１つの種類はブロックマッチングＭＥアルゴリズムを採用している。ブロックマッチングＭＥアルゴリズムは、画像シーケンスの一部を形成する画像の各画素ブロックに関して動きベクトルを突き止めるものである。画素ブロックは画像のｘ及びｙ方向に所定数の画素を有している。動きベクトルは画像シーケンスの内の２つの連続する画像間での画素ブロックの動きを表す。ブロックマッチングＭＥアルゴリズムは、処理対象画像の各画素ブロックに対して画像シーケンスの先行画像内で似通ったブロックを発見することによって、動きベクトルを突き止める。
【０００３】
ＭＥを採用するビデオ処理装置は、例えば飛び越し走査を解除する（De-interlacing）用途や画像レートを高く変換するアップコンバージョン用途のために、テレビ装置にて使用される。ＭＥはまたビデオデータの符号化にも使用される。
【０００４】
現在、家庭用映像装置のディスプレーサイズが増大する傾向にある。高精細テレビ（ＨＤＴＶ）規格はフレーム当たり約２００万画素を必要とする。このようなフレームサイズでＭＥを実行することは困難なタスクとなっているが、フレーム当たり８００万画素という更に大きいサイズへと向かう傾向にある。この画像サイズがプロセッサ、メモリ及び通信技術によって対応されなければならない。
【０００５】
なお、“画像”という用語は、ここでは、画素データによる如何なる画像表示をも含む一般的な意味で使用される。また、“フレーム”及び“フィールド”という用語は、画像それぞれのデジタル表示のために技術的に特定の意味で使用されているが、ここでは“画像”という用語に含まれる。また、これらの用語を僅かに変形した、例えば“フレーム”に代わる“ビデオフレーム”等は、ここでは同一の意味で使用される。
【０００６】
非特許文献１に、ビデオ処理装置の部分システムであるメモリサブシステムの帯域幅を増大させる技術が記載されている。画像フレームは領域群に断片化される。画像の画素データの２レベルバッファリングが提案されている。Ｌ１作業用メモリとも呼ばれる上層（high-level）の作業用メモリ（scratchpad）が、対象画像の１つの領域と先行画像の対応する領域とを保持する。処理対象画像の各画像領域が独立に処理される。Ｌ０作業用メモリとも呼ばれる下層（low-level）の作業用メモリが、動き推定器によって使用されている最新の探索エリアを保持する。この探索エリアは、処理対象画像内の処理中の画像領域及びそれに対応する先行画像の同一位置にある画像領域の画素ブロックを含む画像の部分配列を形成する。動き推定器は多数の動きベクトル候補を検査する。ビデオデータは動きベクトル候補ごとに探索エリアから得られる。
【０００７】
領域に基づく領域ベース手法は、ビデオフレームを保持するフレームメモリへの帯域幅要求を緩和させる。これにより、複数のＭＥスキャン（ＭＥパス（pass）とも呼ばれる）を、一般的に動き推定器の外部にあるフレームメモリにアクセスする必要なく、上記領域内で行うことができるようになる。
【０００８】
しかしながら、領域ベースの手法は、領域間の境界でＭＥを実行するときに問題を生じさせる。処理中の領域の外側にあるデータは該領域のＭＥには考慮されないが、このことは品質の低下をもたらす。
【非特許文献１】A.Beric、R.Sethuraman、J.van  Meerbergen、G.de  Haan、「画像レートアップコンバージョンモジュールのアルゴリズム／アーキテクチャ協調設計（Algorithm／Architecture  co-design  of  a  picture-rate  up-conversion  module）」、Processing  of  ProRISC  conference、2002年11月、p.203-208
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、領域ベースの動き推定の品質を向上させるビデオ処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様に従って提供されるビデオ処理装置は処理ユニットを有し、該処理ユニットは、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において、該画像領域を形成する複数の第１画素ブロックの動きベクトルを突き止め、
多数の画像領域への画像の断片化であり、各画像領域が、調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、全体画像を処理し、且つ
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する、
ように適応されている。
【００１１】
本発明に係るビデオ処理装置は、実行される領域ベースＭＥアルゴリズムの集合化（convergence）処理において画像の異なる部分を含めることを可能にする。従ってこれにより、動き推定のための隣接し合う画像領域間の境界が固定されたものではなくなる。
【００１２】
本発明に係る解法は、処理中の画像から後続の画像へと動き推定を進めるときに、画像の区画を形成する画像領域のアスペクト比を変更するという概念に基づくものである。画像領域の画素ブロックを共有する第１の数の画素ブロック行と第２の数の画素ブロック列との比が、画像領域のアスペクト比を定める。
【００１３】
画像当たりの画像領域数を変化させることなく画像領域のアスペクト比を変更することにより、画像内の各画像領域の面積は一定のままとなる。変更されるのは、画素ブロック行についての第１の数と画素ブロック列についての第２の数だけである。
【００１４】
本発明に係る解法により、ビデオ処理装置の出力において、隣接し合う画像領域間にはもはや目立った境界の形跡が現れないという効果が得られる。本発明に係るビデオ処理装置は、故に、領域に基づく動き推定アルゴリズムを実行する装置と、所謂“全探索”アルゴリズムを実行する装置との間の動き推定品質の差を減少させることを可能にする。全探索アルゴリズムは、個々の第１画素ブロックの動きベクトルを決定するために画像の全ての画素ブロックをスキャンする。全探索ＭＥアルゴリズムにおいては領域間の境界の問題は発生しないが、このアルゴリズムは低速且つ非効率であるため、ビデオ処理装置への実装には好ましくない。
【００１５】
以下、本発明の第１の態様に係るビデオ処理装置の好適実施形態について説明する。これらの実施形態は、特に断らない限り、更なる実施形態を形成するように組み合わされることができる。
【００１６】
本発明に係る処理装置の一実施形態において、処理ユニットは断片化ユニットを有し、断片化ユニットは、画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止め、且つ次の画像を処理するために該組の中から異なるアスペクト比を選択するように適応されている。
【００１７】
好ましくは、この実施形態の断片化ユニットは、画像当たりの画像領域数を多数の因数に因数分解し、この多数の因数を２つにグループ分けし、且つ各グループの因数の部分積を計算して画素ブロックの第１及び第２の数を選定するように適応されている。
【００１８】
本発明に従って画像シーケンスの異なる画像を処理するために使用され得る相異なるアスペクト比の数は、一実施形態において、ＭＥ処理を開始する前に決定される。好ましくは、画像当たりの画像領域数は可能な限り因数分解できるように選定される。画像領域の数が多くの因数に分解できるほど、それから選択可能な相異なるアスペクト比の数が多くなる。
【００１９】
メモリの帯域幅要求を最小化することは、使用されるアスペクト比の選択に大きく影響を及ぼす設計上の制約である。使用されるアスペクト比の選択は更に、このビデオ処理装置が使用されるビデオ用途を視野に入れて為されるべきである。一部のビデオ処理用途においては、画像領域が１つの探索エリアの高さ若しくは幅、又は更にはそれ未満、のみをカバーすることになるようなアスペクト比を選択することは実用的でない。好ましくは、ＭＥ用途での画像領域のアスペクト比は、少なくとも処理中の画像領域に含まれる第１画素ブロック群に関して動きベクトルを決定するために必要な探索エリアを含むことができるよう、ｘ方向及びｙ方向の双方に十分大きく選択されるべきである。これについては、図面を参照しながら、他の一実施形態との関連の下で一層詳細に後述する。
【００２０】
他の用途においては、しかしながら、１つの探索エリアの高さ又は幅のみをカバーするアスペクトが実用的なこともある。このような大きさ及びアスペクト比を形成する画像領域は、例えば、画像レートのアップコンバージョン用途にて使用され得る。
【００２１】
更なる一実施形態において、断片化ユニットは、アスペクト比の組が少なくとも所定数の項目を含むように画像当たりの画像領域数を選定するように適応されている。
【００２２】
更なる一実施形態においては、断片化ユニットは、画像シーケンスのビデオフォーマットに応じて、画像当たりの画像領域数を設定するように適応されている。
【００２３】
好ましくは、動き推定器は処理中の画像領域のそれぞれの動きベクトルを、該画像領域の第１画素ブロック群を所定のスキャン順序を用いてスキャンすることによって突き止めるように適応されている。スキャン順序の一例は、画像領域の各画素ブロック行内で左から右へ画素ブロックを辿り、そして該画像領域内で上から下へ画素列を辿るものである。数多くの異なるスキャン順序が技術的に知られており、それらの一部は蛇行パターンを有する。
【００２４】
本発明の更なる実施形態に従って、動き推定器は画像領域の第１画素ブロック群のそれぞれの動きベクトルを、処理中の画像領域を２度又は３度以上の何れかにわたって処理することによって突き止めるように適応されている。ＭＥの複数パスはＭＥ品質を更に向上させる。
【００２５】
領域に基づく動き推定の特に良好な品質をもたらす本発明の一実施形態においては、処理ユニットは更に、
それぞれの画像領域の少なくとも２つのパスにて第１画素ブロックの動きベクトルを突き止め、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれるそれぞれの第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止め、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域に対応する画像領域の外側に位置する第２画素ブロック（このような特有の第２画素ブロックは以下では第３画素ブロックと呼ばれる）に関して突き止められた時間的候補ベクトルを、処理対象画像内の対応する第３画素ブロックに関して動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する、
ように適応されている。
【００２６】
この実施形態は、本発明に係るビデオ処理装置による領域ベース動き推定の品質を更に向上させる。技術的に知られているように、動きベクトル候補は、処理対象画像からだけではなく、因果関係の問題により先行画像からも選択される。すなわち、処理対象画像の一部の動きベクトルは、画像領域の特定の第１画素ブロックを処理するときには動きベクトル候補として作用するように利用することができない。このような欠如した動きベクトル候補には、先行画像の対応する第２画素ブロックの動きベクトルが選択される。このような動きベクトルは時間的動きベクトル候補と呼ばれる。“対応する”とは、ここでは、先行画像内での第２画素ブロックの位置が処理対象画像内での第２画素ブロックの位置と同一であることを意味する。周知の通り、画像内での画素ブロックの位置はマトリックス状の座標によって定義され得る。時間的動きベクトル候補は、ここでは、時間的候補又は時間的候補ベクトルとも呼ばれる。
【００２７】
この実施形態によれば、１つの画像領域に対して複数のＭＥパスが実行され、故に、動き推定品質が単一パスのＭＥに対して向上される。さらに、この実施形態においては、処理中の領域の外側に位置するが、先行画像内で対応する位置にあるそれぞれの先行物が時間的動きベクトル候補を提供するために使用される第２画素ブロックに関しても、処理ユニットが動きベクトルを突き止めることを可能にすることにより、領域に基づくＭＥの概念が拡張且つ強化される。“第２画素ブロック”という用語は、時間的な動きベクトルを提供する全ての画素ブロックに対して使用されるが、第２画素ブロックの部分集合はここでは“第３画素ブロック”と呼ばれる。第３画素ブロックは、時間的動きベクトル候補を提供するという点において、第２画素ブロックの集合に属するものである。さらに、第３画素ブロックは、処理中の画像領域の外側であるその位置によって区別される。第１のＭＥパスにおける時間的候補をも更新することにより、第２のＭＥパスにおいて領域の境界が更に抑制され、その結果として、領域に基づくＭＥの品質が更に向上される。
【００２８】
なお、厳密に言えば、この実施形態は“処理中の画像領域”に関して特有の定義を必要とする。何故なら、これまで処理中の画像領域と呼ばれていた領域の外側に位置する第３画素ブロックまでＭＥ処理が拡張されているからである。しかしながら、“処理中の画像領域”という用語は、ここでは一貫して、第１画素ブロックの中核領域のみを含み、時間的動きベクトル候補を提供する先行画像における先行物を有するような、第３画素ブロックにより形成される拡張領域を含まないものとして使用される。
【００２９】
また、この実施形態は時間的動きベクトル候補を更新することに如何なる再帰をも含まない。処理中の画像領域の外側の第３画素ブロックに関する時間的候補ベクトルを更新するために使用される時間的候補は更新されない。
【００３０】
本発明に係るビデオ処理装置の更なる実施形態は、
処理ユニットに接続された上層作業用メモリ、及び
処理ユニット及び上層作業用メモリに接続され、且つ外部画像メモリに接続可能なメモリ制御ユニットであり、２つの連続する画像の各々に含まれる同一位置にある部分配列を外部画像メモリから上層作業用メモリに取り込むように適応され、且つ部分配列の各々は少なくとも、処理中の画像領域全体に及んでいる、メモリ制御ユニット、
を有する。
【００３１】
背景技術として上述されたように、主メモリは典型的に動き推定器に対して、例えば別チップ上など、外部に位置している。作業用メモリ型のメモリに処理中の画像領域をバッファリングすることにより、本発明に従ってビデオ処理装置と、処理対象画像の完全な画素データセットを格納する主メモリとの間のデータバスの帯域幅要求が緩和される。これにより、主メモリへの更なるアクセスを必要とすることなく、画像領域当たり複数のＭＥスキャンを実行することが可能になる。作業用メモリを使用することにより、キャッシュに失敗する状況が回避される。
【００３２】
この実施形態の特定の一形態においては、処理ユニットは、所定のスキャン順序に従って、処理中の画像領域内で第１の画素ブロックから次の画素ブロックへと動きベクトルを突き止め、且つ同一のスキャン順序を用いて該画像領域上で少なくとも２つのＭＥパスを実行するように適応されている。
【００３３】
この実施形態の代替的な一形態においては、処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って第１の画素ブロックから次の画素ブロックへと、処理中の画像領域の第１画素ブロックそれぞれの動きベクトルを突き止め、且つ異なるスキャン順序を用いて該画像領域上で複数のＭＥパスを実行するように適応されている。異なるスキャン順序は、好ましくは、画像領域を少なくとも３度にわたって処理するときに使用される。一実施形態において、最初及び最後の動き推定パスは同一である。それらは、例えば、動き推定器とその下流に配置される動き補償器との間のバッファメモリを不要にするように、上から下へのスキャン順序に従う。
【００３４】
好ましくは、本発明に係るビデオ処理装置の処理ユニットは動き推定器を有し、該動き推定器は、それぞれの第１又は第３画素ブロックの動きベクトルを、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる第４画素ブロックとの間の画素ブロック類似性を評価することによって、突き止めるように適応されている。この実施形態は特有のブロックマッチング動き推定方法を実行する。第４画素ブロックは、典型的に、処理中の第１画素ブロックに対して定められた位置に位置付けられる。この位置は動きベクトル候補によって定められる。一実施形態において、処理ユニットは動きベクトル候補の組を変更するように適応されている。
【００３５】
更なる一実施形態において、動き推定器は、それぞれの第１画素ブロックの動きベクトルを、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることによって、突き止めるように適応されている。
【００３６】
好ましくは、この実施形態のビデオ処理装置は、処理ユニットと上層作業用メモリとの間に配置され、且つ２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを格納するように適応された、下層作業用メモリを更に有する。
【００３７】
本発明に係るビデオ処理装置の更なる一実施形態においては、メモリ制御ユニットは上層キャッシュメモリから下層キャッシュメモリへと最新の探索エリアを取り込むように適応されている。
【００３８】
本発明に係るビデオ処理装置の更なる一実施形態においては、動き推定器はそれぞれの第１画素ブロックの動きベクトルを、処理対象画像内で典型的には該それぞれの第１画素ブロックに空間的に直接隣接するものに対して既に突き止められている動きベクトルである空間的候補ベクトルを含む、それぞれの候補動きベクトルの組を用いて突き止めるように適応されている。この候補ベクトルの組は更に、処理対象画像の直前の画像内の第２画素ブロックに関して突き止められた動きベクトルである時間的候補ベクトルを含んでいる。
【００３９】
好ましくは、この実施形態に係るビデオ処理装置は、動き推定器に接続された予測メモリを有し、該予測メモリは空間的候補ベクトル及び時間的候補ベクトルを含んでいる。さらに、動き推定器は、好ましくは、それぞれの第１画素ブロックに関して突き止められたそれぞれの動きベクトルを予測メモリに格納し、場合により、以前に格納された該それぞれの第１画素ブロックの動きベクトルを更新するように適応されている。
【００４０】
本発明に係るビデオ処理装置の更なる一実施形態において、メモリ制御ユニットは、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の分だけ処理中の画像領域を超えて延在する画像の部分配列を上層作業用メモリに取り込むように適応されている。斯くして、画像領域の境界においても動き推定の品質が向上される。画素ブロック行についての第３の数は、好ましくは、探索エリア当たりの画素ブロック行の数の半分である。画素ブロック列についての第４の数は、好ましくは、探索エリア当たりの画素ブロック列の数の半分である。
【００４１】
画像領域の端部に位置する画素ブロックの動き推定品質は、これらの画素ブロックの時間的動きベクトル候補をも更新することによって更に向上される。この実施形態は、好ましくは、第３画素ブロック、すなわち、処理中の画像領域の外側に位置する第２画素ブロックの時間的動きベクトル候補が更新され、それ故に空間的動きベクトル候補で置き換えられる先述の実施形態と組み合わされる。従って、本発明の好適な更なる一実施形態に係るビデオ処理装置においては、メモリ制御ユニットは、第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列を上層作業用メモリに取り込むように適応されている。
【００４２】
なお、アスペクト比の決定は、一実施形態において、Ｌ１作業用メモリに取り込まれた部分配列を共有する画素ブロック行及び列の数に基づく。これは、当然ながら、ｘ及びｙ方向への探索エリアの拡張、及び処理中の画素ブロックのそれぞれの時間的動きベクトル候補の相対位置が与えられると、画像領域のアスペクト比を暗に定めることになる。
【００４３】
この実施形態において使用される画像領域の拡張は、それぞれの第１画素ブロックからの第３画素ブロックまでの距離によって決定される。説明のための例については図２ａ及び２ｂを参照して後述する。
【００４４】
本発明の第２の態様に従って提供されるビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において、該画像領域を形成する複数の第１画素ブロックの動きベクトルを突き止める段階、
多数の画像領域への画像の断片化に従って全体画像を処理する段階であり、各画像領域は、調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列を有する、処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有する。
【００４５】
本発明の第２の態様に係るビデオ処理方法の特徴及び効果は、本発明の第１の態様に係るビデオ処理装置を参照して上述されたものと一致する。
【００４６】
以下、本発明に係るビデオ処理方法の好適実施形態について説明する。本発明に係る方法の実施形態は本発明に係る処理装置の実施形態に対応するものであるので、ここでは詳細には説明しないこととする。本発明の第１の態様に係るビデオ処理装置の実施形態についての上述の記載が参照される。
【００４７】
なお、特に断らない限り、本発明に係るビデオ処理方法の実施形態群は相互に組み合わされることができる。
【００４８】
本発明に係るビデオ処理方法の一実施形態は、
画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止める段階、及び
次の画像を処理するために該組の中から異なるアスペクト比を選択する段階、
を有する。
【００４９】
アスペクト比を突き止める段階は、一実施形態において、画像当たりの所与の画像領域数を複数の因数に因数分解し、この複数の因数を２つにグループ分けし、且つ各グループの因数の部分積を計算して１つの画像領域を共有する画素ブロック行及び画素ブロック列の数を取得し、それによりアスペクト比を定めることを有する。異なるアスペクト比を得るためにグループは変更される。
【００５０】
更なる一実施形態において、画像当たりの画像領域数は、アスペクト比の組が少なくとも所定数の項目を含むように選定される。
【００５１】
本発明に係るビデオ処理方法の好適な一実施形態においては、
動きベクトルは、それぞれの画像領域の少なくとも２つのパスにおいて第１画素ブロックに関して突き止められ、
画像領域の処理中の第１画素ブロックの動きベクトルが、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれるそれぞれの第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止められ、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第２画素ブロック（これは以下では第３画素ブロックと呼ばれる）に関して突き止められた時間的候補ベクトルが、処理対象画像内の第３画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新される。
【００５２】
それぞれの第１画素ブロックの動きベクトルを突き止めるため、好ましくは、処理対象画像内で該それぞれの第１画素ブロックに空間的に直接隣接するものに対して既に突き止められている動きベクトルである空間的候補ベクトルを含み、且つ処理対象画像の直前の画像内の第２（及び第３）画素ブロックに関して突き止められた動きベクトルである時間的候補ベクトルを更に含む、それぞれの候補動きベクトルの組が使用される。
【００５３】
更なる一実施形態は、２つの連続する画像の各々に含まれる同一位置にある部分配列を画像メモリから上層作業用メモリに取り込む段階であり、部分配列の各々は少なくとも、処理中の画像領域全体に及んでいるような取り込む段階を有する。
【００５４】
画像領域の第１画素ブロックのそれぞれの動きベクトルは、好ましくは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に、同一のスキャン順序を用いて少なくとも２度にわたって突き止められる。
【００５５】
代替的な一実施形態においては、画像領域の第１画素ブロックのそれぞれの動きベクトルは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に突き止められ、且つ処理中の画像領域は異なるスキャン順序を用いて少なくとも３度にわたって処理される。
【００５６】
異なるスキャン順序は、好ましくは、画像領域を少なくとも３度にわたってスキャンするときに使用される。好ましくは、最初及び最後のスキャンは、ビデオ処理フローの中で動き推定処理とその下流に配置される動き補償処理との間でのデータの一時記憶の必要性を排除するように、上から下への同一のスキャン順序を有するべきである。
【００５７】
他の一実施形態において、それぞれの第１画素ブロックの動きベクトルを突き止める段階は、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる第４画素ブロックとの間の画素ブロック類似性を評価することを有する。
【００５８】
更なる一実施形態においては、それぞれの第１画素ブロックの動きベクトルを突き止める段階は、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることを有する。
【００５９】
本発明に係るビデオ処理方法の更なる一実施形態は、２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを、処理ユニットと上層作業用メモリとの間に配置された下層作業用メモリに取り込む段階を有する。
【００６０】
好ましくは、最新の探索エリアが上層キャッシュメモリから下層キャッシュメモリに取り込まれる。
【００６１】
好ましくは、突き止められた動きベクトルは、空間的及び時間的動きベクトル候補として後に使用するために予測メモリに格納される。
【００６２】
本発明の他の一実施形態においては、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列により共有される画素ブロックの分だけ処理中の画像領域を超えて延在する画像の部分配列が、上層作業用メモリに取り込まれる。画素ブロック行についての第３の数は、好ましくは、探索エリア当たりの画素ブロック行の数の半分である。画素ブロック列についての第４の数は、好ましくは、探索エリア当たりの画素ブロック列の数の半分である。
【００６３】
本発明に係るビデオ処理方法の好適な更なる一実施形態においては、それぞれの第３画素ブロックの時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列が、上層作業用メモリに取り込まれる。
【００６４】
本発明の第３の態様に従って提供されるデータ媒体はコンピュータコードを有し、該コンピュータコードは、ビデオ処理方法を実行するプログラム可能プロセッサの動作を制御するように適応されており、該ビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において、該画像領域を形成する複数の第１画素ブロックの動きベクトルを突き止める段階、
多数の画像領域への画像の断片化に従って全体画像を処理する段階であり、各画像領域は、調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列を含む、処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有する。
【００６５】
本発明の第３の態様に係るデータ媒体の様々な実施形態においては、コンピュータコードは、本発明の第２の態様に係るビデオ処理方法のそれぞれの実施形態を実行するプログラム可能プロセッサの動作を制御するように適応されている。
【発明を実施するための最良の形態】
【００６６】
以下、添付図面を参照しながら本発明に係るビデオ処理方法及び装置の更なる実施形態について説明する。
【００６７】
図１は、外部フレームメモリ102に接続されたビデオ処理装置100のブロック図を示している。ビデオ処理装置100は、好ましくは、特定用途向け命令セットプロセッサ（ＡＳＩＰ）の形態で実装される。ＡＳＩＰにより、ビデオ処理アルゴリズムの柔軟で低コスト且つ低消費電力の実装が提供される。
【００６８】
ビデオ処理装置100のその他の実施形態は、特定用途向け集積回路（ＡＳＩＣ）、又はビデオ処理アプリケーションがソフトウェアにより実行される汎用プログラム可能プロセッサの形態をとる。しかしながら、ＡＳＩＣの柔軟性の欠如、及び汎用プログラム可能プロセッサの低速性により、テレビセット等の家庭用電子機器における商業的用途の目的では、ＡＳＩＰ実装が最も有利であると思われる。ビデオ処理装置100の処理ユニット104は動き推定器106を有している。異なる実施形態においては、更なる処理部108が処理ユニット104に含まれていてもよい。処理部108は動き補償器としてもよい。処理ユニット104は更に断片化ユニット110を含んでいる。
【００６９】
ビデオ処理装置100は更に、上層（high-level）の作業用メモリ（scratchpad）114、下層（low-level）の作業用メモリ116及びメモリ制御器118を有するメモリサブシステム112を含んでいる。メモリサブシステム112は処理ユニット104と接続されており、また、外部フレームメモリ102との接続用のインターフェースを有している。
【００７０】
Ｌ１作業用メモリとも呼ばれる上層作業用メモリ114は２つの部分114.1及び114.2に分割されており、各々の部分は主メモリ102の対応するメモリ部分102.1及び102.2に格納された画像の１つの部分配列を格納するメモリ容量を有している。
【００７１】
下層作業用メモリ116もまた２つの部分116.1及び116.2に分割されている。各作業用メモリ部分の記憶容量は、図２ａ及び２ｂを参照して一層詳細に説明されるように、処理中の画素ブロックの動きベクトルを取得するために動き推定器106によって使用される探索エリアに適合するように選定される。下層作業用メモリ116はまたＬ０作業用メモリとも呼ばれる。メモリ制御器118はＬ１及びＬ０作業用メモリ114及び116に接続されており、外部メモリ102から動き推定器106への画像データの流れを制御する。一実施形態において、メモリ制御器118の制御動作は、後述されるように、動き推定器106及び断片化ユニット110から受け取られる制御データに依存する。
【００７２】
図１に示された実施形態においては、メモリサブシステム112は更に、動き推定器106によって突き止められた動きベクトルを一時的に格納する予測メモリ120を有している。
【００７３】
動作中、主メモリ102のメモリ部分102.1及び102.2に格納された２つの連続する画像が、処理対象画像の各画素ブロックの動きベクトルを決定するために使用される。説明のため、メモリ部分102.2は処理対象画像を格納し、メモリ部分102.1は画像シーケンスにおいて部分102.2に格納された画像の直前の画像を格納していると仮定する。
【００７４】
メモリ制御器118は、主メモリ102に格納された画像対の同一位置にある部分配列をＬ１作業用メモリ114に取り込む。部分配列の大きさは図２ａ及び２ｂを参照して詳細に説明される。さらに、メモリ制御器118はＬ１作業用メモリ部分114.1及び114.2に格納された双方の部分配列の最新の探索エリアをＬ０作業用メモリ部分116.1及び116.2に取り込む。
【００７５】
動き推定器106はＬ０作業用メモリ部分116.1及び116.2に格納された探索エリアを用いて、主メモリ102.2に格納されたビデオ画像の処理中の画素ブロックに関する動きベクトルを突き止める。動き推定器106の動作は図２ａ及び２ｂを参照して一層詳細に説明される。
【００７６】
処理ユニット104に含まれる断片化ユニット110は、メモリ制御器118及び動き推定器106への制御データを提供する。この制御データは、動き推定器106によって実行される動き推定アルゴリズムにより順々に処理される画像領域群のアスペクト比について、メモリ制御器118及び動き推定器106に知らせる。メモリ制御器118は断片化ユニット110から受け取った制御データを用いて、Ｌ１作業用メモリ114に取り込まれるべき主メモリ102に格納された画像の部分配列の大きさを決定する。動き推定器106は断片化ユニット110から受け取った制御データを用いて、処理中の画像領域の一部として処理されるべき画素ブロックの座標を決定する。断片化ユニット110から受け取られた制御データは、画像領域の動き推定パスが完了する時点について動き推定器106に知らせる。
【００７７】
ビデオ処理装置100は動き推定装置である。しかしながら、動き推定は、例えばノイズ低減のための動き補償フィルタリング、符号化のための動き補償推定、及びビデオフォーマット変換のための動き補償補間などの様々なビデオ処理タスクにて使用されるものである。応用目的に依存して、ビデオ処理装置100は更に複雑なビデオ処理装置の一部を形成するものであってもよい。動き補償器108を有する一実施形態においては、動き推定器106によって突き止められた動きベクトルは、更なる処理のために動き補償器108への入力として提供される。動き補償器108は、これが必要に応じて付加されるものであることを指し示すために破線で図示されている。動きベクトルを入力として使用するその他のタスクを実行する処理部が、動き補償器108を置き換えてもよい。
【００７８】
次に、ビデオ処理装置100の動作の更なる詳細について、図２ａ及び２ｂを参照して説明する。なお、図２ａ及び２ｂは本発明に係るビデオ処理方法の相異なる実施形態を説明するための図でもある。
【００７９】
図２ａは、画素ブロック群にグループ化された画素の配列により形成されるビデオフレーム200を示している。図２ａには画素ブロック群のみが示されている。それらの境界は図２ａにおいて格子で表されている。画素ブロックの１つの例に参照符号202が付されている。画素ブロックはビデオフレーム200の例えば８×８の部分配列を含んでいる。
【００８０】
動き推定器106は、ビデオフレーム200の各画素ブロックに関する動きベクトルを突き止めるように適応されている。動き推定器106は領域ベース動き推定アルゴリズムを実行する。すなわち、動きベクトルは、画像200の部分配列を形成する処理中の画像領域の画素ブロック群に対して順々に突き止められる。図２ａにおいて、隣接し合う画像領域間の境界は太線で表示されている。画像200は２４個の画像領域200.1乃至200.24に断片化されている。説明のためのこの実施例においては、各画像領域はｘ方向に６画素ブロック、ｙ方向に４画素ブロックを含んでいる。現実の応用においては、画像領域当たりの画素ブロック数は遙かに大きくなり得る。各画像領域200.1乃至200.24の画素ブロックの行数と列数との間の比は、画像領域のアスペクト比を規定する。この実施形態においては、アスペクト比は４／６、すなわち、0.66である。
【００８１】
画像当たりの画像領域が２４個という典型的な数を考えると、一実施形態における断片化ユニット110は、様々なアスペクト比の値を突き止めるために、この数を素数に因数分解する。周知の通り、２４＝１×２×２×２×３である。これにより、素数を２つの因数にグループ化することが可能であり、ｘ方向に１画像領域×ｙ方向に２４画像領域、２４×１、２×１２、１２×２、３×８、８×３、４×６及び６×４という、ｘ及びｙ方向における画像領域の取り得る組み合わせが定められる。断片化ユニット110を可能な限り柔軟なものとするため、画像当たりの画像領域数は可能な限り因数分解できるように選定されるべきである。
【００８２】
画像領域を処理する際、動き推定器106は所定のスキャン順序に従って処理中の画像領域の画素ブロック毎に処理を進める。１つの画像領域に含まれる画素ブロック群は、ここでは、第１画素ブロック群とも呼ばれる。処理中の画素ブロックＣの動きベクトルを突き止める際、画素ブロックＣをほぼ中心とするそれぞれの探索エリアが使用される。探索エリアの２つの例が、参照符号204及び206が付された破線の境界線により図示されている。探索エリア204及び206は、ｘ及びｙ方向に所定の広がりを有する画像200の部分配列を形成する。この例においては、探索エリアは３×３の画素ブロックを有している。商用装置にて使用される探索エリアの他の一例は、９画素ブロック行×５画素ブロック列から成る。
【００８３】
図２ａに示されているように、処理中の画素ブロックＣの各々は、該画素ブロックＣの動きベクトルを決定するために使用される個々の探索エリアを有している。
【００８４】
探索エリア206の例は、或る画像領域の端部にある画素ブロックの探索エリアは、それぞれの画像領域を超えて延在することを示している。探索エリア206の場合、探索エリア206の中心の画素ブロックのように端部にある画素ブロック群に関して、それらの動きベクトル群を突き止めるのに必要な全ての探索エリアをカバーするためには、画像領域200.2の右の１つの画素ブロック列及び画像領域200.2の下の１つの画素ブロック行から取られた多数の画素ブロック群が必要とされる。本発明の一実施形態においては、画像領域200.2の画素ブロック群に加えて画素ブロック行208及び画素ブロック列210の対応する部分が主メモリ102から取り込まれる。この実施形態においてＬ１作業用メモリ114に取り込まれる画像200の完全な部分配列は、画像領域200.2及び画像領域200.14を例として、点線212によって図示されている。画像領域200.14は画像200の中央部に位置しており、画像領域200.2は端部に位置している。
【００８５】
動きベクトルを突き止めるため、好ましくは３次元再帰探索式動き推定アルゴリズムが用いられる。このアルゴリズムは技術的に周知であり、ここでは３ＤＲＳ式ＭＥアルゴリズムと呼ぶ。これ及び類似のアルゴリズムに従って、一組の候補動きベクトルを用いて処理中の画素ブロックの動きベクトルが突き止められる。この一組の候補動きベクトルは、図２ａにおいてＳ１及びＳ２が付された処理対象画像の最近処理された画素ブロックの空間的動きベクトル候補を含んでいる。さらに、時間的な動きベクトル候補が用いられる。どの画素ブロックの時間的動きベクトル候補が用いられるかは、図２ａ及び２ｂに示された探索エリア204、206、及び304、306内の参照符号Ｔで示されている。どのような位置の画素ブロックの空間的及び時間的動きベクトル候補が使用されるかは、処理中の画素ブロックＣそれぞれに関連して事前設定される。図２ａの例に図示されているように、２つの空間的動きベクトル候補は、処理中の画素ブロックの１ブロック上に位置する画素ブロックＳ１及び１ブロック左に位置する画素ブロックＳ２から選択される。時間的動きベクトル候補は、処理中の画素ブロックＣの１ブロック下且つ１ブロック右に位置する先行画像の画素ブロックＴから用いられる。先の記述において、画素ブロックＴは概して第２画素ブロックと呼ばれている。一実施形態において、第２画素ブロックＴの相対位置は、例えば相異なるビデオ処理アプリケーションのために、動き推定器106が相異なる相対位置を使用できるように調整可能である。
【００８６】
ここで一層詳細に説明する好適な一実施形態においては、時間的動きベクトル候補は、処理中の領域の外側に位置する画素ブロックＴから選択され、これはまた更新される。これらの画素ブロックは、ここでは、第３画素ブロックと呼ばれる。この実施形態で典型的な状況は、画像領域200.2の右下のコーナー部に位置する処理中の画素ブロック214に関する探索エリア206により表されている。処理中の画素ブロック10の画素ブロック214に関する動きベクトルを突き止めるために使用される時間的候補Ｔは、先行画像の画素ブロック216から取られる。故に、画素ブロック216は第３画素ブロックを形成する。この実施形態によれば、画素ブロック216の動きベクトルは、画像領域200.2に含まれる全ての第１画素ブロックに対してと同様にして突き止められる。斯くして、画像領域200.2の第２の動きベクトルパスにおいて画素ブロック214を処理するために、更新された動きベクトル候補が使用されることが可能である。これにより、領域に基づく動き推定の品質が更に向上される。
【００８７】
先行画像の第３画素ブロックから取られ、且つ処理中の画像領域の外側に位置する時間的候補ベクトルを更新するため、画像200の拡大された部分配列がＬ１作業用メモリ114に取り込まれる（拡大された部分配列は図２ａにおいて一点鎖線218により標されている）。この拡大された部分配列の第２の例は、画像領域200.14に関して参照符号218’で示されている。拡大された部分配列218、218’は、それぞれの画像領域の外側に位置する画素ブロック群の時間的動きベクトルを更新するために必要とされる、すなわち、言い換えれば、時間的候補をそれぞれの空間的動きベクトル候補で置き換えるために必要とされる、全ての探索エリアを含んでいる。故に、部分配列218、218’の大きさは、処理中の画素ブロックＣに関する時間的動きベクトル候補を提供する第３画素ブロック（例えば、画素ブロック216）の位置に依存する。処理中の画素ブロックＣから更に離れた第３画素ブロックから時間的動きベクトル候補が取られる場合、より多くの数の画素ブロック行及び／又は画素ブロック列の部分がＬ１作業用メモリ114に取り込まれる。
【００８８】
画像フレーム200は、故に、上述の実施形態の何れかに従って、画像200の画像領域200.1乃至200.24に含まれる全ての画素ブロックに対して動きベクトルが突き止められるまで画像領域ごとに処理される。
【００８９】
本発明に従って、処理対象の画像シーケンスにおける次の画像（図２ｂ）の動きベクトルを突き止めることに切り替える前に、断片化ユニット110は動き推定器106及びメモリ制御器118に、画像300を処理するために異なるアスペクト比の画像領域を使用するように指示する。図２ｂに示されるように、この実施例にて使用されるアスペクト比は、画像200に使用されたアスペクト比の逆数である６／４、すなわち、1.5である。このアスペクト比は、画像300の画像領域の数が画像200の画像領域の数と比較して不変であるように選定される。連続する画像の双方は２４個の画像領域を含んでいる。
【００９０】
メモリ制御器118は、故に、異なる部分配列をＬ１作業用メモリ114に取り込む。説明のため、探索エリア304及び306が示されている。探索エリア304は探索エリア204に正確に一致している。探索エリア306は探索エリア206と類似の状況を示しているが、対応する処理中の画素ブロック314の位置は、処理画像300に使用されるアスペクト比の変化に起因して、画素ブロック214の位置とは異なっている。その結果、部分配列312、312’及び318、318’は、対応する画像領域300.3及び300.15の位置及びアスペクト比に従って異なっている。
【００９１】
以上の部分は、主に説明目的で用いられる画像サイズに基づいていた。以下の好適な実施形態は、標準精細度テレビ（ＳＤＴＶ）及び高精細度テレビ（ＨＤＴＶ）規格に準拠したビデオシーケンスを処理するために上述の実施形態を基礎として使用されるものである。
【００９２】
ＳＤＴＶにおいては、画像サイズは720×576画素であり、これは今日の欧州における大抵のテレビセットで使用されている解像度である。全体で、画像は３５個の画像領域に断片化される。２つの相異なるアスペクト比が使用される。この場合の好適な画素ブロックサイズは８×８画素である。Ｌ１作業用メモリに取り込まれ、且つ１つの画像領域とそれぞれの画像領域の端部にある画素ブロック群の探索エリアに必要とされる更なる画素の全てとを含む部分配列の好適サイズの１つは、２５×１４画素ブロックである。２つの好適な部分配列のアスペクト比は２５／１４及び１４／２５である。隣接し合う部分配列の重なりのため、これは水平方向に５個、垂直方向の７個の画像領域が存在することを意味する。探索エリアの大きさは９×５ブロックである。
【００９３】
ＨＤＴＶにおいては、画像サイズは1920×1080画素である。好適な画素ブロックサイズは８×８画素である。一実施形態において、画像当たり全体で２０個の画像領域が使用される。Ｌ１作業用メモリに取り込まれ、且つ１つの画像領域とそれぞれの画像領域の端部にある画素ブロック群の探索エリアに必要とされる更なる画素の全てとを含む部分配列の好適サイズは６６×３１画素ブロックであり、これは水平方向に４個、垂直方向の５個の画像領域が存在することを意味する。２つの好適な部分配列のアスペクト比は６６／３１及び３１／６６である。この場合も、これらは隣接し合う部分配列間の重なりを考慮に入れたアスペクト比に相当している。探索エリアの大きさは９×５ブロックである。
【００９４】
領域の大きさを決定するに際しては、過大な数の画像領域とならないように注意すべきある。何故なら、多数だとＭＥ品質を低下させるからである。他方、過小な数の画像領域は、画像領域の大きさを問題となる程度に大きくさせてしまう。何故なら、Ｌ１作業用メモリと外部画像メモリとの間の接続に対する帯域幅要求が増大するからである。画像領域の大きさは更に、全ての画像領域の大きさが少なくともほぼ等しくされ得るように選定されるべきである。このとき、Ｌ１作業用メモリに取り込まれる部分配列が隣接し合う部分配列間で重なりを有するため、探索エリアの大きさを考慮する必要がある。
【００９５】
相異なるアスペクト比を使用することにより、動き推定の品質が大きく向上される。何故なら、動き推定器106の出力、ひいては、動き推定器106の下流に配置された動き補償器108の出力において、画像領域の境界の全ての形跡が実質的に除去されるからである。
【図面の簡単な説明】
【００９６】
【図１】ビデオ処理装置の好適な一実施形態を示すブロック図である。
【図２ａ】本発明に係るビデオ処理方法及び装置の好適な更なる実施形態を例示する図である。
【図２ｂ】本発明に係るビデオ処理方法及び装置の好適な更なる実施形態を例示する図である。
【図１】
2008536429.tif 000003
【図２ａ】
2008536429.tif 000004
【図２ｂ】
2008536429.tif 000005
【国際調査報告】
2008536429.tif 000006
2008536429.tif 000007