(57)【要約】一連の画像から取られる画像のブロック又はオブジェクトの画像データから動きベクトルを決定する方法では、画素のブロックＢ（Ｘ）又はオブジェクトは、２つ以上のグループ（Ｇａ、Ｇｂ）に分割（３３）され、ブロックＢ（Ｘ）又はオブジェクトにおいて、動きベクトル（Ｄａ、Ｄｂ）はブロックＢ（Ｘ）に割り当てられ、ブロックにおけるそれぞれのグループ（Ｇａ、Ｇｂ）の画素に適用される。
2006521740.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像から取られる画像のブロック又はオブジェクトの画像データから動きベクトルを決定する方法であって、
ブロック又はオブジェクトに対して、画素は、該画素の情報との分割基準の比較に応じて２つ以上のグループに分割され、
前記ブロック又は前記オブジェクトにおける各グループに対して、動きベクトルが決定され、
それぞれの動きベクトルは、前記ブロックに割り当てられ、前記ブロックにおけるそれぞれのグループの前記画素に適用されることを特徴とする方法。
【請求項２】
１ブロック当たりのグループ数は、４以下であることを特徴とする請求項１記載の方法。
【請求項３】
１ブロック当たりのグループ数は、２であることを特徴とする請求項１記載の方法。
【請求項４】
前記分割基準は、前記ブロックにおける前記画素の前記情報の内容に基づいて決定されることを特徴とする請求項１記載の方法。
【請求項５】
前記分割基準は、前記グループにおける前記画素の平均輝度値であることを特徴とする請求項４記載の方法。
【請求項６】
前記分割基準は、前記グループにおける前記画素のメジアン輝度値であることを特徴とする請求項４記載の方法。
【請求項７】
様々なグループに対して決定される動きベクトル間の差分が閾値と比較され、
前記差分が前記閾値より小さい場合は、それぞれの動きベクトルは、前記動きベクトルの組み合わせによって取って代わられることを特徴とする請求項１記載の方法。
【請求項８】
一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定する決定器を有するディスプレイ装置であって、
前記決定器は、画素のブロック又はオブジェクトを、該画素の情報との分割基準の比較に応じて２つ以上のグループに分割する分割器を有し、
前記決定器は次に、前記ブロック又は前記オブジェクトにおける各グループに対し動きベクトルを決定し、
前記決定器は、前記ブロックにおけるそれぞれのグループの前記画素への適用のためにそれぞれの動きベクトルを前記ブロックに割当てする割当て器を有することを特徴とするディスプレイ装置。
【請求項９】
コンピュータ上で実行された場合に請求項１の段階を実行するソフトウェアコード部分を有する、デジタルコンピュータの内部メモリ内に直接ロード可能なコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一連の画像から取られる画像のブロック又はオブジェクトの画像データから動きベクトルを決定する方法に係る。本発明は更に、一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定する決定器を有するディスプレイ装置と、一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定するソフトウェアコード部分を有するコンピュータプログラムプロダクトに係る。
【背景技術】
【０００２】
画像データからの動きベクトルの決定は、広い範囲の画像処理適用において必要とされる。ＭＰＥＧ又はＨ．２６１といったビデオコーディングのフレームワークにおいて、動きベクトルは、１つの画像から別の画像への動き（即ち、オブジェクトの移動）を決定する動きベクトルによって表される。例えば、動きベクトルの決定は、動き補償予測符号化に使用することができる。画像における１つの像（ピクチャ）は、通常、その先行像の移動したコピーに非常に類似するので、決定された動きベクトルデータを、実際の画像とその予測との差分に関する情報と共に、画素又はＤＣＴ領域において符号化することは、符号化信号における時間冗長を大幅に低減することを可能にする。
【０００３】
動きベクトルの推定についての更なる例は、画像セグメント（オブジェクト）に対し動きモデルを推定する方法を有し、この方法では、動きベクトルの成分は、動きモデルのパラメータを有する。
【０００４】
画像データから動きベクトルを推定又は決定するための到達水準の技術は、通常、なんらかの種類のブロックマッチングアルゴリズム（ＢＭＡ）を用い、このアルゴリズムでは、画像は、固定又は可変サイズのブロックに分解される。同様に、画像は、ブロックではなくその支配的なオブジェクトに分解されることも可能であり（オブジェクトセグメント化）、従って、以下の説明は、ブロックではなくオブジェクトについても同様に言える。現在の画像の各ブロックに対し、前の画像における類似したブロックがサーチされる。ここでは、類似性尺度が用いられて現在のブロックに最も類似する前のブロックが識別される。最大の類似性が決定された前の画像のブロックに関連付けられる動きベクトルが、現在のブロックの画素に関連付けられる得簿記ベクトルを表す。尚、類似性尺度を計算する際に、比較される２つのブロックの全ての画素が評価される必要はない。例えば、ブロックは、空間的にサブサンプリングされることが可能であり、それにより、両方のブロックの各ｋ番目の画素のみが、類似性尺度の評価のために考慮に入れられる。
【０００５】
一般的に、ブロックマッチング動き推定器が、通常は、候補ベクトルセットからマッチング基準を最小限にするベクトルを選択することによって画像の画素の各ブロックについて移動ベクトルを計算するために用いられる。このベクトルが、画像の関連のブロックの動きベクトルとなる。本発明の概念では、「動き」とは、任意のタイプの移動であって、例えば、実際の動き（例えば、表示画像において動く１つ以上のオブジェクト）と、更に、画像のズームイン又はズームアウト（画像が大きくなったり小さくなったりする）、即ち、カメラ動作も包含する。カメラ動作の場合、画像全体が、カメラのフレームにおいて動く。本発明の概念では、動きベクトルは、任意の方法の結果もたらされるブロック又はオブジェクトに対する動き又は移動データの任意の推定を有し、この方法では、そのデータが既知である多数の画像に基づいて、１つ以上の更なる画像が構成される。この動きベクトルは、この更なる画像におけるブロック又はオブジェクトの位置又は他のパラメータを予測するよう推定される。このような方法の１つの例は、例えば、ビデオフォーマット変換であって、この方法では、例えば、像補間及び／又はインタレース解除を用いて、１つのビデオフォーマット（フォーマットＡ、ソースフォーマット）におけるビデオデータから、別のビデオフォーマット（フォーマットＢ、ターゲットフォーマット）におけるビデオデータが得られる。このような方法では、ベクトルは、１つの既知のビデオフォーマット（ソースフォーマット）における既知のデータに基づいたブロック又はオブジェクトに対し、別のビデオフォーマット（ターゲットフォーマット）におけるそのブロック又はオブジェクトのデータを推定するために用いることが可能である。尚、像補間を用いて新しい画像が既知の画像から構成される（ピクチャ補間）が、インタレース解除を用いると、既知の画像は変更されないが走査線上のデータの分布が変更される。そのようなビデオ変換方法においてブロックに割り当てられたベクトルを使用することは、計算を単純化し、そして、例えば、データの圧縮を可能にする。更なる例は、立体ビデオ用のいわゆる「視差推定」であり、ここでは、２つの立体視野を表す２つの画像に基づいて、局所的深度が推定される。このような実施例では、ベクトルは、ブロック又はオブジェクトに帰属されることが可能であり、これらのベクトルは、既知の画像に基づいて、例えば、補間又はインタレース解除された画像、又は、立体画像ペアにおける３Ｄ効果による僅かにずれた画像といった更なる画像におけるそのブロックの位置又は他のパラメータを予測することを可能にする。
【０００６】
本発明のこれらの更なる可能な適用にも関わらず、本発明は、特に、「伝統的な」動きベクトル、即ち、続きの画像（又は一連の続きの画像）を構成するために多数の先行画像に基づいてブロック又はオブジェクトに対する動きベクトルの予測に有用である。
【０００７】
ブロック動きベクトルの使用は、一般的に有用な方策ではあるが、例えば、オブジェクトの境界の周りに又はオブジェクトがサブタイトルに重なる時にアーチファクトが現れる場合がある。
【０００８】
更に、ブロックマッチングアルゴリズムにおける重要なパラメータは、ブロックのサイズである。このパラメータは、推定されるベクトル場の分解能と画像におけるノイズ及び周期構造に対する推定器の感度の両方を決定する。結果として、最適なブロックサイズは、妥協である。小さいブロックサイズは、ノイズの多い動きベクトルと周期構造に対する高い感度をもたらす一方で、大きいブロックサイズは、不十分なベクトル分解能をもたらす。不十分なベクトル分解能は、オブジェクト境界が粗くしか近似することのできないベクトル場をもたらし、結果として、これらの動きベクトルを使用する適用においてブロッキングアーチファクトをもたらしてしまう。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、冒頭段落に記載したタイプの改善された方法及び装置並びにコンピュータプログラムプロダクトを提供することを目的とする。
【課題を解決するための手段】
【００１０】
このために、本発明の方法は、ブロック又はオブジェクトに対して、画素は、該画素の情報との分割基準の比較に応じて２つ以上のグループに分割され、ブロック又はオブジェクトにおける各グループに対して、動きベクトルが決定され、それぞれの動きベクトルは、ブロックに割り当てられ、ブロックにおけるそれぞれのグループの画素に適用されることを特徴とする。
【００１１】
本発明の概念では、グループ又はブロックは、グループにおける画素の情報と分割基準との比較に基づいて２つ以上のグループに分割される。その結果、画素のグループとブロックとの関係、即ち、どの画素がブロックにおけるどのグループに属するのかということが、比較から分かる。即ち、その関係は、例えば、ブロックが多数の等しい部分に分割される場合のように固定されないことが分かる。ブロックが多数の等しい部分に分割されるということは、単に、ブロックサイズが減少され、即ち、より小さいブロックが使用されることを意味する。本発明の概念では、ブロックは、分割基準と画素の情報との比較に基づいてグループに分割される。
【００１２】
本発明の方法は、より良好なベクトル分解能を達成しつつも、より大きいブロックサイズが使用されることを可能にする。実験においてアーチファクトが低減されたことも示されている。
【００１３】
分離基準は、画素の情報内容に関係のない単純な基準であり得る。そのような単純な基準の例は、固定閾値輝度である。例えば、各ブロックを、最大輝度値の特定のパーセンテージ（例えば５０パーセント）より下の輝度値を有する画素を有する第１のグループと、閾値より上の輝度値を有する画素を有する第２のグループの２つのグループに分割する。
【００１４】
しかし、分割基準は、ブロックにおける画素の情報内容に基づくことが好適である。そのような基準の例は、例えば、平均輝度又は平均色点の周りの色点領域である基準で、ブロックを２つ以上のグループに分割することである。このような分割基準は、より良好な結果をもたらすので好適である。というのは、その輝度レベルに関係なく全ての領域に１つ以上のベクトルを割り当てる可能性をもたらすからである。
【００１５】
好適な実施例では、ブロック又はオブジェクトは、４以下、好適には２つに分割される。本発明の最も広い概念では、ブロック又はオブジェクトは任意のグループ数に分割されてもよいが、小さいグループ数、４以下、及び好適には２つが好適である。多くの場合において、４つのグループより大きい数のグループ、更には、２つより大きい数のグループへの更なる分割は、ほんの僅かな改善か、又は、更にはよりノイズの多いベクトル推定をもたらし得るだけで、一方で方法を複雑にしてしまう。
【００１６】
好適な実施例では、分割基準は、ブロックにおける画素に対する平均輝度値である。これは、有用且つ単純な基準であることが証明されている。これは、平均輝度値、即ち、全ての輝度値と画素数の合計の商か、又は、メジアン輝度値、即ち、５０パーセントの画素がその値より高い輝度値を有しまた５０パーセントの画素がその輝度値以下の輝度値を有する輝度値であり得る。
【００１７】
好適な実施例では、比較が、ブロックを構成するグループに対し動きベクトルを推定した後、動きベクトル間で行われ、多数のグループの動きベクトル間の差分が、閾値未満である場合、平均動きベクトルが計算され、その多数のグループに帰属される。グループへの分割は、改善された方法を供給する。しかし、ブロックが多数のグループに分割される場合、同時にブロックは実際には１つのオブジェクトしか有さない場合（従って、１つの動きベクトルが適当なベクトルである）、ブロックを２つ以上のグループに分割することは、計算された動きベクトル間の差分は小さくなる。動きベクトルの計算は、通常、近似であり、また、有限数の画素について行われ、従って、許容誤差がある。計算された動きベクトル間の差分が閾値（例えば、動きベクトルの計算における許容誤差）より下である場合、その差分は、近似又は計算の不正確さが原因と考えられる。そのような場合、関連のグループに同じ動きベクトルを割り当て、見つけられた動きベクトルの平均を選択することが有用である。
【発明を実施するための最良の形態】
【００１８】
本発明のこれらの及び他の面は、以下に記載する実施例から明らかでありまた実施例を参照しながら説明する。
【００１９】
図面は、縮尺は取られていない。一般的に、同一の構成要素は、図面中同じ参照番号によって示す。
【００２０】
図１Ａ乃至１Ｃは、画像の又は画像内の様々な動き又は移動を非常に概略的に示す。
【００２１】
図１Ａは、背景に対してオブジェクト（非常に単純化された鳥の像）が動く一連の画像が示す。一連の画像のうちの最初の２つの画像から動きベクトル（真ん中の画像における矢印）を定めることができ、この動きベクトルは、次の画像におけるオブジェクト（鳥）の位置を予測するために使用することが可能である。
【００２２】
図１Ｂは、カメラが鳥にズームインする動作を示す。ここでも一連の画像のうちの最初の２つの画像（又は、より一般的には、多数の先行画像）を用いて、各ブロック又はオブジェクトに対して、動きベクトル（より一般的には、移動ベクトルと呼ばれる）が、一連の画像における次の画像上でのそのオブジェクト又はブロックの位置を予測するよう割り当てられることが可能である。画像のブロック又はオブジェクトに対し、先行画像における情報に基づいて計算される動きベクトルが割当てられ、それにより、一連の画像における次の画像（この方法が、例えば、補間に用いられる場合は、多数の「中間」画像）におけるそのブロック又はオブジェクトの位置の予測がなされる。
【００２３】
図１Ｃは、カメラ動作を示し、カメラは画像に対して動く。ここでも一連の画像の最初の２つの画像（又は、より一般的には多数の先行画像）を用いて、各ブロック又はオブジェクトに対して、動きベクトル（より一般的には、移動ベクトルと呼ばれる）が、一連の画像における次の画像上でのそのオブジェクト又はブロックの位置を予測するよう割り当てられることが可能である。当然ながら、この場合では、このことは、新しい部分ではなく次のショットにおいて再度出現する画像の部分についても言えることである。水平線をざっと見渡すといった単純なカメラ動作についても、ブロック又はオブジェクトに対するベクトルは、例えば、カメラに対するそのオブジェクトの位置、例えば、オブジェクトは画像の前景又は背景にあるかといったことに依存して様々なオブジェクトに対して異なる場合もあることを述べておく。更に、オブジェクトは、カメラ位置が変更するに従って（カメラに対してオブジェクトの様々な部分が異なって位置付けられるので）変形する場合もある。
【００２４】
従って、本発明の概念では、「動きベクトル」は、例えば、単純な平行移動Ｔ（例えば、図１Ａを参照するに、ベクトルの単純な加算が十分である）、回転Ｒ（回転行列を用いた行列乗算が十分である）、拡大（例えば、図１Ｂを参照するに、行列乗算）、若しくは変形（より複雑な行列が必要となる）、又はそのような平行移動、回転、拡大、及び／又は変形の任意の組み合わせといったようにオブジェクト又はブロックの任意の変換を予測するパラメータセットを示すとして広く解釈されるべきである。予測は、先行画像において入手可能な情報に基づいて後続画像におけるオブジェクト又はブロックの位置を予測するために用いることが可能である。
【００２５】
一般的に、ブロックマッチング動き推定器（ＢＭＡ）が、画像における各画素ブロックに対する動きベクトルを、通常は、そのベクトルを、マッチング基準を最小限にする候補ベクトルセットから選択することによって計算するために使用される。このベクトルが、画像の関連のブロックに対する動きベクトルとなる。
【００２６】
米国特許第５，０７２，２９３号は、そのようなＢＭＡを開示し、ここでは、３Ｄ近傍からの予測が、動きベクトル推定のための候補ベクトルとして使用される。候補動きベクトルのセットは、動きベクトルの空間（２Ｄ）予測及び時間（１Ｄ）予測の両方を有し、その最良のものが、各ブロックに対して再帰的に決定される。この技術は、現在の画像ｎにおけるブロックについての候補動きベクトルのセットにおける少なくとも１つの候補動きベクトルは、現在の画像ｎ（空間予測）又は先行画像ｎ−１（時間予測）における他のブロックの既に決定された動きベクトルに依存する点で再帰的である。
【００２７】
図２は、星の背景に対する回転する車輪を示す。星は固定位置を有するが、車輪は回転する。
【００２８】
（ブロックマッチング、又は任意の他のタイプの）動き推定器では、前の（又は次の、或いは両方の）画像のずれた部分を、現在の画像の固定部分とマッチングさせようとする。本発明を説明するために使用する例では、推定器は、例えば、マッチング基準として合計絶対差（Summed  Absolute  Difference  ＳＡＤ）を使用する。即ち、
【００２９】
【数１】
2006521740.tif 000003
ただし、
【００３０】
【数２】
2006521740.tif 000004
は、テスト下の候補ベクトルであり、ベクトル
【００３１】
【数３】
2006521740.tif 000005
は、ブロック
【００３２】
【数４】
2006521740.tif 000006
の位置を示し、
【００３３】
【数５】
2006521740.tif 000007
は、輝度信号であり、ｎは、ピクチャ又は場の番号である。出力に結果としてもたらされる動きベクトル−１ブロック当たりに１ベクトル−は、最小のＳＡＤ値を与える候補ベクトルである。上述の動き推定器の品質は、候補ベクトルが生成される方法によって大きく決定される。本発明の開示では、この選択に関しては問わない。（適用に依存する）良好な結果は、フルサーチ、３段階サーチ、一度に一回のサーチ、又は３Ｄ再帰的サーチのブロックマッチャーを用いて実現することが可能である。更に可能なのは、いわゆる階層的動き推定器方法であり、この方法では、従来通りに最初は、比較的大きいブロック（例えば、３２×３２画素）に対して動きベクトルが推定され、その後にその大きいブロックは、小さいブロック（例えば１６×１６画素の４つのブロック）に切断され、大きいブロックの動きベクトルは、次の階層レベルに転送される、即ち、大きいブロックの動きベクトルは、小さいブロックに対する動きベクトルの計算のための開始点として使用される。本発明の方法は、階層的動き推定器方法に用いることが可能であり、２つの（又は、分割基準に依存してより多くの）動きベクトルが、次の階層レベルに転送される。
【００３４】
任意のそのようなブロックマッチング（又は任意のマッチング）アルゴリズムにおける重要なパラメータは、ブロックのサイズである。このパラメータは、推定されるベクトル場の分解能と、画像におけるノイズ及び周期構造に対する推定器の感度の両方を決定する。従って、最適なブロックサイズは妥協である。小さいブロックサイズは、ノイズの多い動きベクトルと周期構造に対する高い感度をもたらすが、大きいブロックは、不十分なベクトル分解能をもたらす。不十分なベクトル分解能は、オブジェクトの境界が粗くしか近似することのできないベクトル場をもたらし、結果として、これらの動きベクトルを使用する適用においてブロッキングアーチファクトをもたらす。
【００３５】
例えば、図２における点線の矩形によって概略的に示すように相対的に大きいブロック又はオブジェクトサイズが選択される場合、結果として得られる動きベクトルは、的はずれとなる。動きベクトルの計算（回転行列であり得る）が、車輪の真の回転の付近である場合、動きベクトルは、星に対しては間違っており、動きベクトルがゼロ付近であると分かる場合（星に対しては正しい）、予測される動きベクトルは、車輪に対して的はずれとなる。任意の平均値は、車輪及び星の両方に対して的はずれである。例えば、図２の下部分に概略的に示すより小さいブロックサイズを用いることによって、図の大部分について問題は低減されるが、予測動きベクトルに対する精度が低減する。それにも関わらず、例えば、矩形２１により示す小さいブロックサイズについても、同じ問題が発生する。本発明は、これらの問題を解決する又は少なくとも低減することを目指す。
【００３６】
このために、マッチング基準が変更され、その変更されたマッチング基準に基づいて、１ブロック当たり１つ以上のベクトルが割り当てられる。
【００３７】
本発明の方法は、１ブロック又はオブジェクトに対し、画素は、画素の情報との分割基準の比較に応じて２つ以上のグループに分割され、そのブロック又はオブジェクトにおける各グループに対して動きベクトルが決定され、そして、それぞれの動きベクトルはブロックに割り当てられ、ブロックにおける各グループの画素に適用されることを特徴とする。基本的な見識は、１ブロック又はオブジェクトにおいて、動きベクトルのための最良の予測が異なる画素のグループがある場合、分割基準に画素の情報を比較することによって画素の情報に基づいてグループ間で分割を行うことが可能であり、その後、各グループに対し動きベクトルが決定され、それぞれの動きベクトルは各グループ内の画素に割り当てられる。
【００３８】
本発明を説明するために、本発明による１つの例示的な動き推定器を説明する。ここでは各ブロックは、２つの画素グループに分割され、推定器は、両方のグループに動きベクトル、即ち、１ブロック当たり２つのベクトルを割り当てる。
【００３９】
ブロック
【００４０】
【数６】
2006521740.tif 000008
における画素の平均画素値は、以下の通りに定義し得る。即ち、
【００４１】
【数７】
2006521740.tif 000009
ただし、Ｎは、ブロック
【００４２】
【数８】
2006521740.tif 000010
における画素数である。ブロック
【００４３】
【数９】
2006521740.tif 000011
は、この例では、例えば、オブジェクト、又は、例えば、ｎ及びｍが４乃至３２の間であり、例えば、１６×１６であるサイズｎ×ｍの矩形における画素である。
【００４４】
次に、２つの画素グループ
【００４５】
【数１０】
2006521740.tif 000012
を定義し、これらは、共にブロック
【００４６】
【数１１】
2006521740.tif 000013
を形成する。即ち、
【００４７】
【数１２】
2006521740.tif 000014
即ち、平均輝度値より大きい輝度値を有するブロック
【００４８】
【数１３】
2006521740.tif 000015
における画素と、
【００４９】
【数１４】
2006521740.tif 000016
即ち、平均輝度値以下の輝度値を有する画素である。
【００５０】
提案する推定器では、次に、各グループ
【００５１】
【数１５】
2006521740.tif 000017
に対し、動きベクトルＤａがグループＧａにおける画素に対するＳＡＤａを最小限にする候補ベクトルであるよう動きベクトルＤａ及びＤｂが計算される。即ち、
【００５２】
【数１６】
2006521740.tif 000018
また、動きベクトルＤｂは、グループＧｂにおける画素に対するＳＡＤｂを最小限にする候補ベクトルである。即ち、
【００５３】
【数１７】
2006521740.tif 000019
動きベクトルＤａ及びＤｂは共に、ベクトル場が、画像における各ブロックに対し２つの動きベクトルを結果的に生じるようブロック
【００５４】
【数１８】
2006521740.tif 000020
に割り当てられる。より正確には、ブロックにおける平均輝度より大きい輝度値を有する画素については、動きベクトルＤａを適用し、その他の画素については、動きベクトルＤｂを適用する。所与の例では、例えば、平均輝度値が、分割基準として使用される。そのような平均輝度値に基づいた２つのグループへの単純な分割でさえも、２つのグループを形成し、１つのグループは、星といった輝度の低い画素を主に有し、もう１つのグループは、車輪に関連付けられる画素を主に有する。従って、２つの予測される動きベクトルは、車輪及び星の正しい値に近く、様々なグループに割り当てられて、より良好な結果を与える。１つの違う分割基準は、メジアン輝度値であり得、これも良好な結果をもたらし得る。
【００５５】
メジアン輝度値の使用は、グループは常に５０パーセントの画素、従って、統計的に相対的に大きい数の画素を有するという利点を有する。ブロックをより多くのグループに分割することは全く可能であり、これらのグループは、等しいサイズである必要はない。この例では、例えば、０．５平均輝度値より小さい輝度値を有する１つのグループ、０．５乃至１．５平均輝度値の画素のための１つのグループ、１．５平均輝度値より高い輝度値のための１つのグループである３つのグループへの分割が、特定の条件下で良好な結果を与え得る。
【００５６】
図３は、本発明の例示的な方法の様々な段階をフローチャートによって示す。第１の段階３１では、ブロックＢ（Ｘ）における画素の輝度値に関する情報が得られる。この後に段階３２が続き、段階３２では、例えば、平均画素値である分割基準が決定される。又は、分割基準が既知である場合には、例えば、平均輝度値である分割基準の値が計算される。この後に段階３３が続き、段階３３では、ブロックＢ（Ｘ）におけるグループが決定される。即ち、分割基準に対して画素の情報を比較することによってどの画素がどのグループに属するのか計算される。例えば、ここでの例では、画素の輝度値と平均輝度値との差の符号に基づいて１つのグループ又はもう１つのグループに画素が属するかを決定する。この後に段階３４が続き、段階３４では、各グループ（ここでの例では、２つのグループ）に対し、動きベクトルが決定される。動きベクトルの決定には、任意の周知の決定方法を本発明において用い得る。（適用に依存する）良好な結果は、フルサーチ、３段階サーチ、一度に一回のサーチ、又は３Ｄ再帰的サーチのブロックマッチャーを用いて達成可能である。動きベクトルが決定される段階の後に任意選択的に段階３５が続く。段階３５では、動きベクトル間の差分が閾値と比較され、その差分が閾値未満の場合、平均動きベクトルが両方のグループに用いられる。最後に、段階３６において、ベクトル場が、２つの動きベクトルを生じるよう動きベクトルをブロックＢ（Ｘ）に割当て、画素にベクトル場のうちの１つを適用する（ＤａをグループＧａに、ＤｂをグループＧｂに）。
【００５７】
本発明は更に、一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定する決定器を有するディスプレイ装置に係り、この装置は、決定器は、画素のブロック又はオブジェクトを、画素の情報との分割基準の比較に応じて２つ以上のグループに分割する分割器を有し、決定器は次に、ブロック又はオブジェクトにおける各グループに対し動きベクトルを決定し、決定器は、それぞれの動きベクトルを、ブロックにおけるそれぞれのグループの画素への適用のためにブロックに割当てする割当て器を有することを特徴とする。
【００５８】
本発明は更に、その最大限の意味における、並びに任意の実施例、特に好適な実施例における本発明の方法に従って一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定するソフトウェアコード部分を有するコンピュータプログラムプロダクトに係る。
【００５９】
本発明の概念では、「決定器」、「分割器」、「割当て器」は広義に理解されるべきであり、また、例えば、任意のハードウェア部品（例えば、決定器、分割器、割当て器）、上述したような決定、分割、及び割当てを行うよう設計される任意の回路又は下位回路、並びに、決定、分割、割当てを行うよう設計又はプログラムされる任意のソフトウェア部品（コンピュータプログラム又はサブプログラム、又はコンピュータプログラムのセット、又はプログラムコード）、並びに、以下に与える例示的な実施例に制限されることなく単独又は組み合わせで作動するハードウェア部品及びソフトウェア部分の任意の組み合わせを有するものである。
【００６０】
当業者は、本発明は、上記に示す及び説明したものに制限されるものではないことを理解するものとする。本発明は、各新規の特徴と、その特徴の各組み合わせにある。請求項における参照番号は、その保護範囲を制限するものではない。「有する」及びその活用形の使用は、請求項に記載する素子以外の素子の存在を排除するものではない。単数形で示す素子の使用は、その素子が複数存在することを排除するものではない。
【００６１】
本発明は、特定の実施例に関して説明した。この実施例は本発明を例示するものであって制限すると解釈すべきではない。本発明は、ハードウェア、ファームウェア、又はソフトウェア、或いは、それらの組み合わせにおいて実施されてもよい。他の実施例も以下の請求項の範囲内である。
【図面の簡単な説明】
【００６２】
【図１】Ａ乃至Ｃは、動き又は移動の様々なタイプを示す様々な一連の画像を示す図である。
【図２】背景に対する回転車輪を示す図である。
【図３】本発明の例示的な方法における様々な段階をフローチャートによって示す図である。
2006521740.tif 000021
【図２】
2006521740.tif 000022
【図３】
2006521740.tif 000023
【国際調査報告】
2006521740.tif 000024
2006521740.tif 000025
2006521740.tif 000026