(57)【要約】動き推定ユニット（１００）は、更なる画像（１２０）の画素の更なるブロック（１２２）との画素のブロック（１１６）についてのマッチング基準として、所定のコスト関数を最小化することにより開始動きベクトル（１１０）を算出するブロックマッチング器（１０２）を有する。動き推定ユニット（１００）は更に、開始動きベクトル（１１０）に基づいて更新動きベクトル（１１１）を算出する、及び画素のブロック（１１６）のそれぞれの画素に対応するオプティカルフロー方程式の最も適切なセットを見つけるように構成された、オプティカルフロー解析器（１０４）を有する。このことは、画素のブロック（１１６）の画素についてオプティカルフロー方程式の勾配ベクトルを解析することによって達成される。最終的に、動き推定ユニット（１００）の選択器（１０６）が、開始動きベクトル（１１０）を更新動きベクトル（１１１）と比較することにより、動きベクトル（１２６）を選択する。
2005506626.tif 000002
【特許請求の範囲】
【請求項１】
画像の画素のブロックに対応する動きベクトルを生成する動き推定ユニットであって、
前記画素のブロックを更なる画像の画素の更なるブロックとマッチングするためのマッチング基準として、所定のコスト関数を最小化することにより開始動きベクトルを算出するブロックマッチング器と、
前記開始動きベクトルに基づいて、及び前記画素のブロックの第１の画素についての第１のオプティカルフロー方程式に基づいて、更新動きベクトルを算出するオプティカルフロー解析器と、
前記開始動きベクトルのマッチング基準の第１の値を前記更新動きベクトルのマッチング基準の第２の値と比較することにより、前記開始動きベクトル又は前記更新動きベクトルを前記動きベクトルとして選択する選択器と、
を有する動き推定ユニットにおいて、前記オプティカルフロー解析器は、それぞれ前記第１のオプティカルフロー方程式及び第２のオプティカルフロー方程式を有する方程式のセットを解くために、前記画素のブロックから前記第１の画素と第２の画素とを選択するように構成され、ここで前記選択は前記第１のオプティカルフロー方程式の第１の勾配ベクトルと前記第２のオプティカルフロー方程式の第２の勾配ベクトルとに基づくことを特徴とする動き推定ユニット。
【請求項２】
前記オプティカルフロー解析器は、
前記画素のブロックの幾つかの画素についてオプティカルフロー方程式の勾配ベクトルの対の外積値を算出し、ここで特定の外積値が前記第１の勾配ベクトル及び前記第２の勾配ベクトルを有する特定の対に対応し、
前記特定の外積値が前記外積値に比べて比較的大きい場合前記第１の画素及び前記第２の画素を選択するように構成されることを特徴とする、請求項１に記載の動き推定ユニット。
【請求項３】
前記オプティカルフロー解析器は、前記第１の画素及び前記第２の画素を選択するために、前記画素のブロックの画素について前記オプティカルフロー方程式の勾配ベクトルの全てのとり得る対について外積を算出するように構成されることを特徴とする、請求項２に記載の動き推定ユニット。
【請求項４】
前記オプティカルフロー解析器は、
幾つかの前記画素のブロックの画素についての前記オプティカルフロー方程式の勾配ベクトルの長さ値を算出し、ここで特定の長さ値が前記第１の勾配ベクトルに関連し、
前記特定の長さ値が前記長さ値に比べて比較的長い場合には前記第１の画素を選択することを特徴とする、請求項２に記載の動き推定ユニット。
【請求項５】
前記オプティカルフロー解析器は、
前記画素のブロックの３つの画素について、前記オプティカルフロー方程式の３つの勾配ベクトルからの３つの対の３つの外積値を繰り返し算出し、
前記画素のブロックの３つの画素について、前記オプティカルフロー方程式の３つの勾配ベクトルのうちどの２つが最大の外積値に帰着するかを決定するために、前記３つの外積値を繰り返し比較し、
前記３つの勾配ベクトル及びもしあれば更なる勾配ベクトルのうちの２つを有する勾配ベクトルの新たな対を繰り返し生成し、
前記３つの勾配ベクトルのうちの２つに対応する前記第１の画素及び前記第２の画素を選択するように構成されることを特徴とする、請求項２に記載の動き推定ユニット。
【請求項６】
前記ブロックマッチング器が再帰的であることを特徴とする、請求項１に記載の動き推定ユニット。
【請求項７】
画像の画素のブロックに対応する動きベクトルを生成する方法であって、
前記画素のブロックを更なる画像の画素の更なるブロックとマッチングするためのマッチング基準として、所定のコスト関数を最小化することにより開始動きベクトルを算出するブロックマッチングステップと、
前記開始動きベクトルに基づいて、及び前記画素のブロックの第１の画素についての第１のオプティカルフロー方程式に基づいて、更新動きベクトルを算出するオプティカルフロー解析ステップと、
前記開始動きベクトルのマッチング基準の第１の値を前記更新動きベクトルのマッチング基準の第２の値と比較することにより、前記開始動きベクトル又は前記更新動きベクトルを前記動きベクトルとして選択するステップと、
を有する方法において、前記オプティカルフロー解析ステップにおいて、それぞれ前記第１のオプティカルフロー方程式及び第２のオプティカルフロー方程式を有する方程式のセットを解くために、前記画素のブロックから前記第１の画素及び第２の画素が選択され、ここで前記選択は前記第１のオプティカルフロー方程式の第１の勾配ベクトルと前記第２のオプティカルフロー方程式の第２の勾配ベクトルとに基づくことを特徴とする方法。
【請求項８】
表示されるべき画像を表す信号を受信する受信手段と、
前記画像の画素のブロックに対応する動きベクトルを生成する動き推定ユニットと、
を有する画像処理装置であって、前記動き推定ユニットは、
前記画素のブロックを更なる画像の画素の更なるブロックとマッチングするためのマッチング基準として、所定のコスト関数を最小化することにより開始動きベクトルを算出するブロックマッチング器と、
前記開始動きベクトルに基づいて、及び前記画素のブロックの第１の画素についての第１のオプティカルフロー方程式に基づいて、更新動きベクトルを算出するオプティカルフロー解析器と、
前記開始動きベクトルのマッチング基準の第１の値を前記更新動きベクトルのマッチング基準の第２の値と比較することにより、前記開始動きベクトル又は前記更新動きベクトルを前記動きベクトルとして選択する選択器と、
を有し、前記装置は、
動き補償された画像の処理ユニットを有する画像処理装置において、前記オプティカルフロー解析器は、それぞれ前記第１のオプティカルフロー方程式及び第２のオプティカルフロー方程式を有する方程式のセットを解くために、前記画素のブロックから前記第１の画素及び第２の画素を選択するように構成され、ここで前記選択は前記第１のオプティカルフロー方程式の第１の勾配ベクトルと前記第２のオプティカルフロー方程式の第２の勾配ベクトルとに基づくことを特徴とする画像処理装置。
【請求項９】
前記動き補償された画像の処理ユニットは、前記画像中のノイズを減少するように構成されることを特徴とする、請求項８に記載の画像処理装置。
【請求項１０】
前記動き補償された画像の処理ユニットは、前記画像をデインタレースするように構成されることを特徴とする、請求項８に記載の画像処理装置。
【請求項１１】
前記動き補償された画像の処理ユニットは、アップコンバージョンを実行するように構成されることを特徴とする、請求項８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の画素のブロックに対応する動きベクトルを生成する動き推定ユニットであって、
前記画素のブロックを更なる画像の画素の更なるブロックとマッチングするためのマッチング基準として、所定のコスト関数を最小化することにより開始動きベクトルを算出するブロックマッチング器と、
前記開始動きベクトルに基づいて、及び前記画素のブロックの第１の画素についての第１のオプティカルフロー方程式に基づいて、更新動きベクトルを算出するオプティカルフロー解析器と、
前記開始動きベクトルのマッチング基準の第１の値を前記更新動きベクトルのマッチング基準の第２の値と比較することにより、前記開始動きベクトル又は前記更新動きベクトルを前記動きベクトルとして選択する選択器と、
を有する動き推定ユニットに関する。
【０００２】
本発明は更に、画像の画素のブロックに対応する動きベクトルを生成する方法であって、
前記画素のブロックを更なる画像の画素の更なるブロックとマッチングするためのマチング基準として、所定のコスト関数を最小化することにより開始動きベクトルを算出するブロックマッチングステップと、
前記開始動きベクトルに基づいて、及び前記画素のブロックの第１の画素についての第１のオプティカルフロー方程式に基づいて、更新動きベクトルを算出するオプティカルフロー解析ステップと、
前記開始動きベクトルのマッチング基準の第１の値を前記更新動きベクトルのマッチング基準の第２の値と比較することにより、前記開始動きベクトル又は前記更新動きベクトルを前記動きベクトルとして選択するステップと、
を有する方法に関する。
【０００３】
本発明は更に、
表示されるべき画像を表す信号を受信する受信手段と、
かような動き推定ユニットと、
動き補償された画像の処理ユニットと、
を有する画像処理装置に関する。
【背景技術】
【０００４】
動き推定については、２つの主な手法、即ち相関ベースの方法とオプティカルフロー（optical flow）ベースの方法とが通常区別される。前者は、大きな動きに適している。オプティカルフローベースの方法は小さな動きに適し、高速で正確である。オプティカルフローベースの方法の概念は、動きベクトルを計算するためにオプティカルフロー方程式（ＯＦＥ）を利用することである。ＯＦＥは単に、輝度Ｌが動きの軌道に沿って一定であるという仮定を記述する式の線形化（linearization）である。前記一定の輝度の仮定は以下のように書かれることができる：
【数１】
2005506626.tif 000003
ここで
【数２】
2005506626.tif 000004
は固定された位置であり
【数３】
2005506626.tif 000005
は速度である。ｔについて微分することにより、
【数４】
2005506626.tif 000006
となり、ここで動きベクトルは
【数５】
2005506626.tif 000007
、又は以下のように異なって書かれる：
【数６】
2005506626.tif 000008
ブロックマッチング法は前記相関ベースの方法に属する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
最初の段落で記載されたような種類の動き推定ユニットの実施例は、国際特許出願公開ＷＯ９９／１７２５６より知られている。この文献においては、隣接する空間−時間上の候補が、ブロック再帰マッチング処理のための入力として利用される。加えて、更なる更新ベクトル（update vector）が、前記ブロック再帰マッチング処理の最良の候補に対してテストされる。該更新ベクトルは、ローカルの画素再帰処理を現在のブロックへ適用することにより計算され、ここではブロック再帰マッチング処理の最良の候補を開始ベクトル（start vector）として利用する。前記画素再帰処理はオプティカルフロー方程式に基づく。最終的な出力ベクトルは、画素再帰からの更新ベクトルを前記ブロック再帰処理からの前記開始ベクトルと比較することにより、及び最良の合致を持つものを選択することにより得られる。従来技術による動き推定ユニットは、オプティカルフロー部分に関して２つの不利点を持つ。第１に、前記画素再帰方式は、本質的に予測不可能なメモリアクセスに導き、このことはハードウェアの実装のために望ましくない。第２に、開口問題（aperture problem）を解決するように選択された手法は、前記方法をノイズの影響を受け易いものとする。ここで開口問題とは、２つの未知量を持つオプティカルフロー方程式が解かれる必要がある、即ち式２においてｕ及びｖの両方が未知であることを意味する。
【０００６】
本発明の第１の目的は、比較的高い品質の動きベクトル場を推定するように構成された、最初の段落で記載された種類の動き推定ユニットを提供することにある。
【０００７】
本発明の第２の目的は、比較的高い品質の動きベクトル場を推定する、最初の段落で記載された種類の動き推定方法を提供することにある。
【０００８】
本発明の第３の目的は、比較的高い品質の動きベクトル場に基づく動き補償された画像の処理を実行するように構成された、最初の段落で記載された種類の画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の目的は、オプティカルフロー解析器が、それぞれ第１のオプティカルフロー方程式及び第２のオプティカルフロー方程式を有する方程式のセットを解くために、画素のブロックから第１の画素及び第２の画素を選択するように構成されることにおいて達成される。ここで前記選択は、前記第１のオプティカルフロー方程式の第１の勾配ベクトル及び前記第２のオプティカルフロー方程式の第２の勾配ベクトルに基づく。先行技術による動き推定ユニットと本発明による動き推定ユニットとの間の主な相違は、本発明による動き推定ユニットのオプティカルフロー解析器は、再帰的でなくブロックベースであることである。先行技術による動き推定ユニットにおいては、画素のブロックの各画素に対応するオプティカルフロー方程式の解は、個別に推定され、次の画素に対応するオプティカルフロー方程式の解を推定するために利用される。本発明による動き推定ユニットにおいては、最も適切なオプティカルフロー方程式に関連する画素が検索され利用される。発想は、
【数７】
2005506626.tif 000009
について最も信頼性の高い解に帰着するセットについてのオプオティカルフロー方程式を選択するというものである。典型的に２つのオプティカルフロー方程式が必要とされる。このことは、縮退した状況を除いて、
【数８】
2005506626.tif 000010
についての一意な解を与える。画素を適切に選択することにより、ノイズの効果は抑制される。結果は、比較的正確な動きベクトル場である。このことは、より少ない残余画像データのため、例えば符号化アプリケーションにとって利益がある。高品質の動きベクトル場から利益を得る他のアプリケーションは、デインタレーシング（de-interlacing）である。ここでは動きベクトル場のサブピクセル（sub-pixel）が重要であるからである。他の利点は、優良な候補が前記動き推定ユニットを安定化させ、誤った動きベクトル候補、即ち真の動きに対応していないがたまたま低いマッチング誤りを示したものが選択される可能性を低くする。
【００１０】
オプティカルフロー方程式を解くための一般的なアプローチは、開口問題を克服するため平滑化制約（smoothness constraint）を付加することである。このアプローチの例は、論文「Determining optical flow」（「Artificial Intelligence 1981」、vol.17、185-203頁）においてHorn及びSchunkによって開示されている。平滑化制約項は非線形であり、前記方程式を解くために繰り返しの処理を必要とし、本発明による方法よりも複雑である。
【００１１】
本発明による動き推定ユニットの実施例においては、
前記画素のブロックの幾つかの画素についてオプティカルフロー方程式の勾配ベクトルの対の外積値を算出し、ここで特定の外積値が前記第１の勾配ベクトル及び前記第２の勾配ベクトルを有する特定の対に対応し、
前記特定の外積値が前記外積値に比べて比較的大きい場合前記第１の画素及び前記第２の画素を選択するように構成される。
【００１２】
前記解の信頼性は、含まれる勾配ベクトルの長さと、該勾配ベクトル間の角度に依存する。該勾配ベクトルが短い場合、又は殆ど平行である場合、ノイズの影響は増幅される。長さ及び平行性は共に、２Ｄベクトルについてはスカラーである外積によって測定される。以下の記法が導入される：
画素のブロック中の画素は単一のインデクスｉ又はｊによってインデクシングされる。
【数９】
2005506626.tif 000011
Ｌｉは、インデクスｉを持つブロック中の画素の輝度値である。
Ｘｉは、該画素におけるＬのｘ微分である。
Ｙｉは、該画素におけるＬのｙ微分である。
Ｔｉは、該画素におけるＬのｔ微分である。
ｇｉ：＝（Ｘｉ，Ｙｉ）は、画素ｉに対応する勾配ベクトルである。
第１の勾配ベクトルｇｉと第２の勾配ベクトルｇｊとの間の外積は、
【数１０】
2005506626.tif 000012
である。絶対外積値ｇｉ×ｇｊが比較的大きい勾配ベクトルの対を見つけることにより優れた信頼性が達成されることができる。
【００１３】
本発明による動き推定ユニットの実施例においては、前記オプティカルフロー解析器は、前記第１の画素及び前記第２の画素を選択するために、前記画素のブロックの画素について前記オプティカルフロー方程式の勾配ベクトルの全てのとり得る対について外積を算出するように構成される。この実施例は、実際に外積値を最大化する勾配ベクトルの対を見つけるための最も直接的なアプローチをとるように創出された。利点は、該実施例は恐らく最良の結果を与えるという点である。しかしながら、この直接的なアプローチの時間複雑性は、勾配ベクトルの数において二次である。例えば、８×８の大きさを持つ画素のブロックについてはおよそ２０００個の演算を必要とする。
【００１４】
本発明による動き推定ユニットの他の実施例においては、前記オプティカルフロー解析器は、
幾つかの前記画素のブロックの画素についての前記オプティカルフロー方程式の勾配ベクトルの長さ値を算出し、ここで特定の長さ値が前記第１の勾配ベクトルに関連し、
前記特定の長さ値が前記長さ値に比べて比較的長い場合には前記第１の画素を選択する。
【００１５】
最初に、ユークリッド標準に従って、勾配ベクトルの中から比較的長い勾配ベクトルが選択される。好ましくは、最長の勾配ベクトルが選択される。次いで前記長い勾配ベクトルとの外積値を最大化する第２の勾配ベクトルが選択される。本発明による該オプティカルフロー解析器は、各勾配ベクトルを２度だけ考慮し、それ故線形時間において動作する。結果の外積値は、多くとも２のファクターだけ実際の最大値を下回ることが示されることができる。
【００１６】
本発明による動き推定ユニットの他の実施例においては、前記オプティカルフロー解析器は、
前記画素のブロックの３つの画素について、前記オプティカルフロー方程式の３つの勾配ベクトルからの３つの対の３つの外積値を繰り返し算出し、
前記画素のブロックの３つの画素について、前記オプティカルフロー方程式の３つの勾配ベクトルのうちどの２つが最大の外積値に帰着するかを決定するために、前記３つの外積値を繰り返し比較し、
前記３つの勾配ベクトル及びもしあれば更なる勾配ベクトルのうちの２つを有する勾配ベクトルの新たな対を繰り返し生成し、
前記３つの勾配ベクトルのうちの２つに対応する前記第１の画素及び前記第２の画素を選択するように構成される。
【００１７】
２つの「現在の」勾配ベクトル、即ちｇＡ及びｇＢがメモリに保持される。これらはｇ１及びｇ２によって初期化されることができる。全ての新たなｇｋについて、絶対値において以下の３つの外積値のうちどれが最大かが決定される。即ち、ｇＡ×ｇＢ、ｇｋ×ｇＢ、又はｇＡ×ｇｋである。対（ｇＡ，ｇＢ）は次いで前記最大の外積値に対応する対によって置き換えられる。換言すれば、３つの勾配ベクトルの群は外積値を算出するために繰り返し選択される。そしてかような群から、１つの勾配ベクトルが前記外積値に基づいて新たな勾配ベクトルによって置き換えられる。本発明によるこのオプティカルフロー解析器によって実行されるアルゴリズムも線形だが、該オプティカルフロー解析器は前記勾配ベクトルへの単一のアクセスのみを必要とする。しかしながら、見つかった外積の値が、実際の最大のとり得る値の一定のファクター内である保証はない。
【００１８】
本発明による動き推定ユニットの実施例においては、ブロックマッチング器が再帰的である。比較的優れた動き推定ユニットが、G. de Haanらによる論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（IEEE Transactions on circuits and systems for video technology、vol.3、no.5、1993年10月、368-379頁）より知られている。この３ＤＲＳブロックマッチング器は、原則として、１／４画素まで正確である。この精度は、例えばカメラのパンにおけるような、平行移動を伴う大きな木目の領域において実際に達成されることができる。しかしながら、例えばズームのような、より小さな領域において又はより複雑な動きを伴う領域においてこの精度に到達するためには、前記３ＤＲＳマッチング器は多くの更新候補を選択する必要があり、このことは一般に空間の整合性の低下に導くため望ましくない。この理由のため、更新候補はペナルティによって抑制される。このことは空間的及び時間的に安定したベクトル場に導くが、依然最適には及ばない精度に導く。本発明によるこの実施例は、ブロックマッチング法とオプティカルフローベースの方法との両方の良い面を組み合わせる。発想は、ブロックマッチング器が中間の精度まで開始ベクトル場を見つけるために利用されることである。残りの動きベクトルは、オプティカルフロー法が前記オプティカルフロー解析器によって適用されることを可能にするために十分小さい。先行技術による３ＤＲＳブロックマッチング器に比べ、少ない更新候補が考慮される必要があり、動きの追跡は主に前記オプティカルフロー解析器によって実行される。このことは、前記動き推定ユニットの効率を改善する。
【００１９】
前記画像処理装置の変更及び変形は、説明された動き推定ユニットの画像処理装置の変更及び変形に対応する。前記画像処理装置は、例えば画像を表す信号を受信する受信手段及び処理された画像を表示する表示装置のような、付加的な構成要素を有しても良い。前記動き補償された画像の処理ユニットは、以下のタイプの画像処理のうちの１以上をサポートしても良い：
-デインタレーシング：インタレーシングは奇数又は偶数の番号を付された画像線を交互に伝送する、一般的なビデオ放送手順である。デインタレーシングは、完全な垂直方向の解像度を回復することを試みる、即ち各画像について奇数及び偶数の線を同時に利用可能とする。
-アップコンバージョン：一連の元の入力画像から、より大きな一連の出力画像が算出される。出力画像は、一時的に２つの元の入力画像の間に配置される。
-時間ノイズ削減：これは空間処理も含んでも良く、空間−時間ノイズ減少に帰着する。
【発明を実施するための最良の形態】
【００２０】
本発明による動き推定ユニット、方法及び画像処理装置のこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら明らかとなり説明されるであろう。対応する参照番号は全ての図において同一の意味を持つ。
【００２１】
図１Ａは、本発明による動き推定ユニット１００の実施例を模式的に示す。動き推定ユニット１００は、画像１１８の画素のブロック１１６に対応する動きベクトル１２６を生成するように構成される。１つの画像の全ての動きベクトルは、動きベクトル場１２４と呼ばれる。動き推定ユニット１００は、
画素のブロック１１６を、更なる画像１２０の画素１２２の更なるブロックとマッチングするためのマッチング基準として、所定のコスト関数を最小化することにより開始動きベクトル１１０を算出するブロックマッチング器１０２と、
開始動きベクトル１１０に基づいて更新動きベクトル１１１を算出するための、及びそれぞれ第１のオプティカルフロー方程式及び第２のオプティカルフロー方程式を有する方程式のセットを解くために、画素のブロック１１６から第１の画素及び第２の画素を選択するように構成され、ここで前記選択は前記第１のオプティカルフロー方程式の第１の勾配ベクトル及び前記第２のオプティカルフロー方程式の第２の勾配ベクトルに基づくものであるオプティカルフロー解析器１０４と、
開始動きベクトル１１０のマッチング基準の第１の値を更新動きベクトル１１１のマッチング基準の第２の値と比較することにより、動きベクトル１２６として開始動きベクトル１１０又は更新動きベクトル１１１を選択する選択器１０６と、
を有する。動き推定ユニット１００の入力は画像を有し、入力コネクタ１１２において供給される。動き推定ユニット１００の出力は例えば１２４のような動きベクトル場であり、出力コネクタ１１４において供給される。
【００２２】
図１Ｂは、図１Ａにおいて関係して説明された動き推定ユニット１００の実施例をより詳細に模式的に示す。ブロックマッチング器１０２の動作は以下のとおりである。最初に、生成手段２０２が画素のブロック１１６について候補の動きベクトルのセットを生成する。次いで、ブロックマッチング誤り算出器２０６がこれらの候補の動きベクトルについてマッチング誤りを算出する。次いで選択器２０４が、これらのマッチング誤りに基づいて、前記候補の動きベクトルのセットから開始動きベクトル１１０を選択する。該開始動きベクトル１１０は、そのマッチング誤りが最小の値であるために選択される。ブロックマッチング誤り算出器２０６によって算出されるマッチング誤りは、画像１１８の画素のブロック１１６中の画素と、候補の動きベクトルによってシフトされた画素のブロック１１６に対応する次の画像１２０中の更なるブロック１２２の画素との間のＳＡＤ即ち絶対輝度の合計の差に対応する。
【００２３】
オプティカルフロー解析器１０４の動作は以下の通りである。勾配演算器２０８、２１０及び２１２は、それぞれｘ方向、ｙ方向及び時間方向の輝度の勾配を算出する。典型的に画素のブロックの全ての画素の勾配が算出される。画素のブロックの一部のみのオプティカルフロー方程式が利用される場合においては、より少ない勾配が算出される必要がある。勾配ベクトルは、最も適切な画素及び対応するオプティカルフロー方程式を見つけるために勾配解析器２１４によって解析される。その結果は、式２によるオプティカルフロー方程式の２つの例のセットである。前記式のセットは式５において与えられる。この場合、インデクスｉ及びｊは最も適切なオプティカルフローを示すことに留意されたい。
【数１１】
2005506626.tif 000013
式４を解くことにより更新ベクトル１１１：
【数１２】
2005506626.tif 000014
は以下のようになる。
【数１３】
2005506626.tif 000015
【数１４】
2005506626.tif 000016
【００２４】
動きベクトル１２６を選択するため、最終的に２つの動きベクトル、即ちブロックマッチング器１０２によって算出される開始動きベクトル１１０及びオプティカルフロー解析器１０４によって算出される更新動きベクトル１１１が、選択器１０６によって解析される。このことを達成するため、ブロックマッチング誤り算出器２１６は、例えば絶対差の合計に基づいて、両方の動きベクトルについてマッチング誤りを算出する。次いで選択器２１８は、これらのマッチング誤りに基づいて動きベクトル１２６を選択する。選択された動きベクトル１２６は他のブロックのためのとり得る動きベクトル候補である。それ故選択された動きベクトル１２６はブロックマッチング器１０２の生成手段２０２に供給される。
【００２５】
勾配解析器２１４は、最も適切なオプティカルフロー方程式を探すため以下のアプローチをとるように発展される。
【００２６】
画素のブロック１１６の幾つかの画素についてのオプティカルフロー方程式の勾配ベクトルの全てのとり得る対について、外積値が算出される。最大の外積を持つ前記対は、前記最も適切なオプティカルフロー方程式に対応する。
【００２７】
最初にユークリッド標準に従って勾配ベクトルの中から最長の勾配ベクトルが選択される。次いで、前記長い勾配ベクトルとの外積値を最大化する第２の勾配ベクトルが選択される。
【００２８】
外積を算出するため３つの勾配ベクトルの群が繰り返しとられる。かような群から１つの勾配ベクトルが前記外積値に基づき新たな勾配ベクトルによって置き換えられる。このことは、前記最大の外積値との対の一部でない勾配ベクトルは新たな勾配ベクトルによって置き換えられることを意味する。制御インタフェース２２０を介して、これらのアプローチの１つが選択されることができる。
【００２９】
図２は、画像処理装置２００の構成要素を模式的に示す。該画像処理装置２００は、以下を有する。
【００３０】
幾つかの処理が実行された後に表示されるべき画像を表す信号を受信する受信手段２０１。前記信号はアンテナ又はケーブルを介して受信された放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はデジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は入力コネクタ２０７において供給される。
【００３１】
図１Ａ及び図１Ｂと関連して説明される動き推定ユニット１００。
【００３２】
動き補償された画像の処理ユニット２０３。
【００３３】
前記処理された画像を表示する表示装置２０５。該表示装置は任意である。
【００３４】
動き補償された画像の処理ユニット２０３は画像及び動きベクトルを入力として必要とする。
【００３５】
上述した実施例は本発明を制限するものではなく説明するものであって、当業者は添付された請求項の範囲から逸脱することなく代替の実施例を設計することができるであろうことは留意されたい。請求項において、括弧に囲まれたいずれの参照記号も請求を限定するものとして解釈されるべきではない。「有する（comprising）」という語は、請求項に列記されていない要素又はステップの存在を除外するものではない。要素の先行する「１つの（「a」又は「an」）」という語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの個別の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列挙するユニット請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。ブロックマッチング誤り算出器２１６及び２０６の機能は類似していることに留意されたい。任意にこれらの１つは両方のタスクを実行しても良い。同様のことが選択器２０４及び２１８に当てはまる。
【図面の簡単な説明】
【００３６】
【図１（Ａ）】動き推定ユニットの実施例を模式的に示す。
【図１（Ｂ）】動き推定ユニットの実施例をより詳細に模式的に示す。
【図２】画像処理装置の実施例を模式的に示す。
【国際公開パンフレット】
2005506626.tif 000017
2005506626.tif 000018
2005506626.tif 000019
2005506626.tif 000020
2005506626.tif 000021
2005506626.tif 000022
2005506626.tif 000023
2005506626.tif 000024
2005506626.tif 000025
2005506626.tif 000026
2005506626.tif 000027
2005506626.tif 000028
2005506626.tif 000029
2005506626.tif 000030
2005506626.tif 000031
2005506626.tif 000032
2005506626.tif 000033
2005506626.tif 000034
【国際公開パンフレット（コレクトバージョン）】
2005506626.tif 000035
【国際調査報告】
2005506626.tif 000036
2005506626.tif 000037
2005506626.tif 000038