(57)【要約】ピクセルの第１群（２１２）に関する現動きベクトルを推定するように構成されている動き推定ユニット（１００）であって、ピクセルの第１群（２１２）に関する候補動きベクトルの集合を発生し、前記候補動きベクトルは、事前に推定された動きベクトルの集合から抽出される発生ユニット（１０６）；各候補動きベクトルの整合エラーを計算する整合エラーユニット（１０２）；及び前記候補動きベクトルから現動きベクトルを選択する選択ユニット（１０４）を有する、動き推定ユニット（１００）である。この動き推定ユニット（１００）は、第１画像に関する分割の結果に基づいて、所定の整合エラーしきい値を調整するように構成されている。前記候補動きベクトルの第１のものの整合エラーが、現所定整合エラーしきい値未満である場合、前記候補動きベクトルの該第１のものが選択され、前記ピクセルの第１群に関する更なる候補動きベクトルの評価は、スキップされる。
2005528708.tif 000002
【特許請求の範囲】
【請求項１】
画像のピクセルの第１群に関する現動きベクトルを推定する動き推定ユニットであって、
‐  ピクセルの第１群に関する候補動きベクトルの集合を発生する発生手段であって、前記候補動きベクトルは、事前に推定された動きベクトルの集合から抽出され、前記候補動きベクトルの集合は、前記画像のピクセルの第２群に関して選択された前記事前に推定された動きベクトルの第１のものに対応する前記候補動きベクトルの第１のものを有する、発生手段、
‐  各候補動きベクトルの整合エラーを計算する整合エラー計算ユニットであって、前記候補動きベクトルの前記第１のものの計算された前記整合エラーが、所定の整合エラーしきい値未満である場合、前記整合エラーを計算するのを停止するように構成されている計算ユニット、及び
‐  選択ユニットであって、前記候補動きベクトルの前記第１のものの前記計算された整合エラーが、前記所定の整合エラーしきい値未満である場合には、前記候補動きベクトルの前記第１のものを前記現動きベクトルとして選択し、又はそうでない場合には、前記現動きベクトルを、前記候補動きベクトルの集合から、各候補動きベクトルの前記整合エラーの比較に基づいて選択する、選択ユニット、
を有する動き推定ユニットにおいて、前記動き推定ユニットが、前記所定の整合エラーしきい値を、前記画像のピクセルのセグメントへの分割の結果に基づいて調整するように構成され、前記分割の結果は、ピクセルの前記第１群の第１部分と、ピクセルの前記第２群の第１部分との両方が、前記セグメントの第１のものに対応する確率に関連していることを特徴とする、動き推定ユニット。
【請求項２】
前記動き推定ユニットが、前記所定の整合エラーしきい値の値を、前記確率の大きさに基づいて調整するように構成されていることを特徴とする、請求項１に記載の動き推定ユニット。
【請求項３】
前記動き推定ユニットが、前記所定の整合エラーしきい値を、ピクセルの前記第１群の前記第１部分のピクセルの第１数と、ピクセルの前記第１群のピクセルの第２数との間の比に基づいて調整されるように構成されていることを特徴とする、請求項１に記載の動き推定ユニット。
【請求項４】
前記ピクセルの第１群が、ピクセルのブロックであることを特徴とする、請求項１に記載の動き推定ユニット。
【請求項５】
前記整合エラー計算ユニットが、他の画像のピクセルの第３群のピクセルの輝度値から、ピクセルの前記第１群のピクセルの輝度値を減算することによって、前記候補動きベクトルの前記第１のものの前記整合エラーを計算するように設計されていることを特徴とする、請求項１に記載の動き推定ユニット。
【請求項６】
前記選択ユニットが、対応する整合エラーが前記整合エラーの最小のものである場合、前記候補動きベクトルの集合から、特定の動きベクトルを前記現動きベクトルとして選択するように構成されていることを特徴とする、請求項１に記載の動き推定ユニット。
【請求項７】
画像のピクセルの第１群に関する現動きベクトルを推定する方法であって、
‐  ピクセルの前記第１群に関する候補動きベクトルの集合を発生するステップであって、前記候補動きベクトルは、事前に推定された動きベクトルの集合から抽出され、前記候補動きベクトルの集合は、前記画像のピクセルの第２群に関して選択された前記事前に推定された動きベクトルの第１のものに対応する前記候補動きベクトルの第１のものを有するステップ、
‐  各候補動きベクトルの整合エラーを計算するステップであって、前記候補動きベクトルの前記第１のものの計算された整合エラーが、所定の整合エラーしきい値未満である場合、前記整合エラーを計算する前記ステップが停止されるべきであるステップ、及び
‐  選択するステップであって、前記候補動きベクトルの前記第１のものの前記計算された整合エラーが、前記所定の整合エラーしきい値未満である場合には、前記候補動きベクトルの前記第１のものを前記現動きベクトルとして選択し、又はそうでない場合には、前記現動きベクトルを、前記候補動きベクトルの集合から、各候補動きベクトルの前記整合エラーの比較に基づいて選択するステップ、
を有する方法において、前記所定の整合エラーしきい値を、前記画像に関するピクセルのセグメントへの分割の結果に基づいて調整し、前記分割の結果は、ピクセルの前記第１群の第１部分と、ピクセルの前記第２群の第１部分との両方が、前記セグメントの第１のものに対応する確率に関連していることを特徴とする、方法。
【請求項８】
画像処理装置であって、
‐  画像の系列を表す信号を受信する受信手段、
‐  前記画像のピクセルの第１群に関する現動きベクトルを推定する請求項１に記載の動き推定ユニット、及び
‐  処理された画像を、前記画像と前記現動きベクトルとに基づいて決定する、動き補償された画像処理ユニット、
を有する画像処理装置。
【請求項９】
前記動き補償された画像処理ユニットが、ビデオ圧縮を実行するように設計されていることを特徴とする、請求項８に記載の画像処置装置。
【請求項１０】
前記動き補償された画像処理ユニットが、前記画像の系列におけるノイズを低減するように設計されていることを特徴とする、請求項８に記載の画像処理装置。
【請求項１１】
前記動き補償された画像処理ユニットが、前記画像の系列をデインターレースするように設計されていることを特徴とする、請求項８に記載の画像処理装置。
【請求項１２】
前記動き補償された画像処理ユニットが、アップコンバージョンを実行するように設計されていることを特徴とする、請求項８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のピクセルの第１群に関する現動きベクトルを推定する動き推定ユニットに関するものであって、該動き推定ユニットは、
‐ピクセルの第１群に関する候補動きベクトルの集合を発生する発生手段であって、前記候補動きベクトルは、事前に推定された動きベクトルの集合から抽出され、前記候補動きベクトルの集合は、当該画像のピクセルの第２群に関して選択された前記事前に推定された動きベクトルの第１のものに対応する候補動きベクトルの第１のものを有する、発生手段、
‐  各候補動きベクトルの整合エラーを計算する整合エラー計算ユニットであって、前記候補動きベクトルの第１のものの計算された整合エラーが、所定の整合エラーしきい値未満である場合、該整合エラーを計算するのを停止するように構成されている計算ユニット、及び
‐  選択ユニットであって、前記候補動きベクトルの第１のものの前記計算された整合エラーが、前記所定の整合エラーしきい値未満である場合には、前記候補動きベクトルの第１のものを前記現動きベクトルとして選択し、又はそうでない場合には、前記現動きベクトルを、前記候補動きベクトルの集合から、各候補動きベクトルの前記整合エラーの比較に基づいて選択する、選択ユニット、
を有する動き推定ユニットである。
【０００２】
本発明は、更に、画像のピクセルの群に関する現動きベクトルを推定する方法に関するものであって、該方法は
‐  ピクセルの第１群に関する候補動きベクトルの集合を発生するステップであって、該候補動きベクトルは、事前に推定された動きベクトルの集合から抽出され、該候補動きベクトルの集合は、当該画像のピクセルの第２群に関して選択された前記事前に推定された動きベクトルの第１のものに対応する候補動きベクトルの第１のものを有するステップ、
‐  各候補動きベクトルの整合エラーを計算するステップであって、該候補動きベクトルの第１のものの計算された整合エラーが、所定の整合エラーしきい値未満である場合、整合エラーの前記計算が停止されるべきであるステップ、及び
‐  前記候補動きベクトルの第１のものの計算した整合エラーが、所定の整合エラーしきい値未満である場合には、該候補動きベクトルの第１のものを、現動きベクトルとして選択し、又はそうでない場合には、前記候補動きベクトルの集合から、各候補候補動きベクトルの整合エラーとの比較に基づいて、現動きベクトルを選択するステップ、
を有する方法である。
【０００３】
本発明は、更に、
‐  画像の系列を表す信号を受信する受信手段、
‐  前記のような動き推定ユニット、及び
‐  前記画像と現動きベクトルとに基づいて、処理された画像を決定する動き補償された画像処理ユニット、
を有する画像処理装置に関する。
【背景技術】
【０００４】
冒頭段落に記載した種類の動き推定ユニットの実施例は、論文、Ｇ．デ・ハーン他著「３Ｄ回帰検索ブロック整合による真の動きの推定」ビデオ技術のための回路及びシステムについてのＩＥＥＥ会報第３巻・第５号・３６８-３７９頁（１９９３年１０月）で知られている。
【０００５】
ビデオ信号処理における多くのアプリケーションに関して、画像の系列の見かけ速度場を知ることが必要であり、これはオプティカルフローとして知られている。このオプティカルフローは、経時変化する動きベクトル場、即ち画像対ごとの１つの動きベクトル場として与えられる。画像とは、複数の画像対の部分であり得ることに、留意されたい。
【０００６】
前記引用された動き推定ユニットは、２つの基本的な仮定に頼るものである。第１に、オブジェクトは、ブロックよりも大きい。これは、ブロックの近傍において推定される動きベクトルは、このブロックの現動きベクトルと高い相関関係を持つので、いわゆる空間予測、即ちこの動きベクトルに関する空間候補動きベクトルとして使用されることができることを意味する。第２に、オブジェクトは、慣性を有する。このことは、オブジェクトの動きは、画像から画像まで不規則的に変化することはなく、現ブロックに関する現動きベクトルは、先行画像の対応するブロックの動きベクトルと、高い相関関係を持つことを意味する。これらのブロックからの動きベクトルは、現ブロックの動きベクトルに関して、いわゆる時間予測、即ち時間候補動きベクトルとして使用されることができる。動きベクトルのアップデートを可能にするためには、ランダム予測と呼ばれる追加予測、即ち小さいノイズ動きベクトルがこれらに付加された前記空間候補動きベクトルに等しいランダム候補動きベクトルが追加される。
【０００７】
前記引用した論文において、この動きベクトル場は、画像をブロックに分割することによって推定されている。各ブロックの候補動きベクトルの集合に対して、整合エラーが計算され、前記ブロックの候補動きベクトルの集合から最も適切な動きベクトル、即ち現動きベクトルを発見する最小化プロシージャにおいて使用される。この整合エラーは、ピクセルの前記ブロックのピクセル値と、第２画像のピクセルの第２ブロックのピクセル値とを比較することによって、計算される。既知の動き推定ユニットにおいて、前記整合エラーは、ＳＡＤに対応し、ＳＡＤとは、第１画像のブロック内のピクセルと、参照画像、即ち候補動きベクトルによってシフトされた第２画像内のブロックのピクセルとの間の絶対輝度差の和である。前記参照画像及び第１画像が、互いに直接的に続いている場合、前記ＳＡＤは、以下の数式によって計算されることができる。
【数１】
2005528708.tif 000003
ここで、（ｘ，ｙ）は前記ブロックの位置、（ｄｘ，ｄｙ）は動きベクトル、ｎは画像番号、Ｎ及びＭは、該ブロックの幅及び高さ、並びにＹ（ｘ，ｙ，ｎ）は、画像ｎ内の位置（ｘ，ｙ）におけるピクセルの輝度値である。
【０００８】
動き推定における問題は、計算の複雑性である。特に、様々な候補動きベクトルの整合エラーを計算するステップは、多くの計算を要する。「ブロックホッピング」と呼ばれる技術は、この計算量を大幅に減少する。ブロックホッピングとは、整合エラーに関して所定のしきい値が設定されることを意味する。ＳＡＤのような、候補動きベクトルに関する前記整合エラーがこのしきい値未満に下がる場合、この候補動きベクトルが、現ブロックに関して選択されて割当てられ、該現ブロックに関する前記集合の他の候補動きベクトルは、無視される。このことは、まだ計算されていなかった他の候補動きベクトルに関する整合エラーの計算は、実行されないことを意味する。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
「ブロックホッピング」は、前記計算量を減少するための適切な取り組み方であるように見えるが、これは、全ての状況下で最適に機能するというわけではない。既知の動き推定ユニットに関する問題の１つは、空間候補動きベクトルを使用することができるという前記仮定が、オブジェクト境界において破綻することである。別のオブジェクト内に位置される空間候補動きベクトルは、現ブロックの動きベクトルと、全く相関関係を持たない。従って、オブジェクト境界において「ブロックホッピング」は、潜在的により良い候補動きベクトルがスキップされる、即ち評価されずに結果として選択されないので、危険である。
【００１０】
本発明の目的は、より正確な動きベクトル場を供給する冒頭段落に記載された種類の動き推定ユニットを提供することにある。
【課題を解決するための手段】
【００１１】
本発明のこの目的は、動き推定ユニットが、所定の整合エラーしきい値を、ピクセルのセグメントへの画像の分割の結果に基づいて調整するように構成されることにより達成され、ここで、該分割の結果は、ピクセルの第１群の第１部分とピクセルの第２群の第１部分との両方が、セグメントの第１のものに対応するという確率に関連づけられている。キャプチャされ、当該画像によって表されている場面におけるオブジェクトに対応するセグメント内では、ピクセルの第１群の適切な動きベクトルと、ピクセルの第２群の空間候補動きベクトルとの間の相関関係は、非常に高い。ブロックホッピングの効率は、オブジェクト内の所定の整合エラーしきい値を増加させることによって、更に増加する。即ち、ピクセルの第１群の第１部分と、ピクセルの第２群の第１の部分との両方が、同一のセグメントに対応する場合、関係する候補動きベクトルを評価するための所定の整合エラーしきい値が、増加される。これは、整合エラーが、適切な動きベクトルに対してさえ、通常、高いような、詳細な領域において、有利である。オブジェクト境界において、ピクセルの第１群の動きベクトルと、空間候補動きベクトルとの間の相関関係は、ほとんどない。従って、「ブロックホッピング」は危険であるので、所定の整合エラーしきい値が、オブジェクト境界において減少される。減少された所定の整合エラーしきい値は、「ブロックホッピング」の可能性が、比較的小さいということを意味する。「ブロックホッピング」という用語は、ピクセルの隣のグループへ飛び越すことも意味し得ることに留意されたい。
【００１２】
動き補償に関して分割の結果を利用するのは、目新しいものではない。例えば、欧州特許出願第０１２０２６１５．９号（代理人整理番号  ＰＨＮＬ０１０４４５）においては、階層型分割方法が、動き推定と組み合わされている。しかしながら、所定の整合エラーしきい値が、分割の結果に基づいて調整されるという、本発明による分割の結果の利用は、斬新なものである。従って、整合エラーによって表される整合の実際の質と、分割の結果との両方が、特定の候補動きベクトルが適切であるかどうかを決定するのに利用される。本発明による動き推定ユニットの利点は、動きベクトル場の質である。別の利点は、計算の複雑性が、動きベクトル場の品質に関する妥協なしに、更に軽減されることである。
【００１３】
本発明による動き推定ユニットの実施例は、前記確率の大きさに基づいて所定の整合エラーしきい値の値を調整するように構成される。前記分割は、バイナリであり得て、結果として、そのピクセルが特定のセグメントに属するか、属さないかを示すピクセルごとのラベルであり得る。しかしながら、好ましくは、前記分割方法は、ピクセル、又はピクセルの群に関して、特定のセグメントに属する確率を設ける。ピクセルに関する複数の確率も可能であって、例えば、セグメントＡに属することに関する２０％の第１確率、及びセグメントＢに属することに関する８０％の第２確率である。本発明によるこの実施例は、実際の確率を、所定の整合エラーしきい値を調整するために利用するように構成されている。例えば、同一のオブジェクトに属さない確率が、比較的高い場合、所定の整合エラーしきい値は、比較的低くあるべきであり、その逆も成り立つ。この取り組み方の利点は、より正確である、即ちより良く同調された所定の整合エラーしきい値であるので、従って、「ブロックホッピング」が起こるべきか、又は更なる動きベクトル候補の評価が実行されるべきかのより良好な判定基準である。
【００１４】
本発明による動き推定ユニットの別の実施例は、所定の整合エラーしきい値を、ピクセルの第１群の第１部分のピクセルの第１数と、ピクセルの該第１群のピクセルの第２数との比に基づいて調整するように構成される。分割及び動き推定は、強く相関づけられ得る。これは、例えば、前記分割がピクセルの群に関して行われ、動き推定が、ピクセルの同一の群上で行われるということを意味する。しかしながら、分割及び動き推定は、独立して実行され得る。この場合、前記分割は、例えば、ピクセルベースで実行され、前記動き推定はブロックベースで行われる。結果として、動き推定に使用されるべき、ピクセルの群のピクセルの第１部分が、セグメントＡに属するものとして分類され、ピクセルの他の部分が、セグメントＢに属するものとして分類されることがあり得る。後者の場合、「セグメントＡに属するという全体の確率」は、ピクセルの前記群に関して、前記第１部分のピクセルの数と、ピクセルの全群のピクセルの数との比に基づいて、算出されることができる。この取り組み方の利点は、より正確、即ちより良く同調された、所定の整合エラーしきい値であって、従って、「ブロックホッピング」が起こるべきか、又は更なる動きベクトル候補の評価が実行されるべきかのより良好な判定基準である。
【００１５】
本発明による動き推定の実施例において、ピクセルの第１群は、ピクセルのブロックである。基本的に、ピクセルの前記群は、不規則であってさえ、いかなる形状を有する。ブロック型の形状は、当該動き推定ユニットの設計の複雑性を低減するので、好ましい。
【００１６】
本発明による動き推定ユニットの他の実施例において、整合エラー計算ユニットは、別の画像のピクセルの第３群のピクセルの輝度値から、ピクセルの第１群のピクセルの輝度値を減算することによって、候補動きベクトルの第１のものの整合エラーを計算するように設計される。好ましくは、絶対輝度差の和（ＳＡＤ）が計算される。ＳＡＤは、相関に関して比較的信頼できる尺度であって、比較的速く計算されることができる。
【００１７】
本発明による動き推定ユニットの他の実施例において、選択ユニットは、対応する整合エラーが整合エラーの最小のものである場合、候補動きベクトルの集合から、この特定の動きベクトルを、現動きベクトルとして選択するように構成される。これは、現動きベクトルを、候補動きベクトルの集合から選択するための比較的簡単な取り組み方である。
【００１８】
本発明の更なる目的は、冒頭段落に記載した種類の方法であって、より正確な動きベクトル場を設ける方法を提供することにある。
【００１９】
本発明のこの目的は、所定の整合エラーしきい値を、当該イメージのピクセルのセグメントへの分割の結果に基づいて調整することによって、達成され、該分割の結果は、ピクセルの第１群の第１部分と、ピクセルの第２群の第２部分との両方が、セグメントの第１のものに対応する確率に関連している。
【００２０】
本発明による動き推定ユニットの実施例を、冒頭段落で記載した画像処理装置に利用することは有利である。前記画像処理装置は、処理された画像を表示する表示装置、又は処理された画像を記憶する記憶手段のような付加的なコンポーネントを有することができる。動き補償された画像処理ユニットは、以下のタイプの画像処理の１つ以上に対応することができる。
‐  デインターレース：インターレースは、奇数又は偶数番目の画像ラインを交互に送信する共通ビデオ放送手順である。デインターレースは、完全な垂直解像度を再生しようと試みる、即ち各画像に関して偶数又は奇数ラインを同時に使用可能にする；
‐  アップコンバージョン：元の入力画像の系列から、出力画像のより大きい系列が計算される。出力画像は、時間的に、２つの元の入力画像の間に位置される；
‐  一時的ノイズ低減。これは、空間処理も含むことができ、結果として空間一時的ノイズ低減となる；及び
‐  ビデオ圧縮、即ちエンコード又はデコードであって、ＭＰＥＧ規格又はＨ２６Ｌ規格によるもののようなものである。
【００２１】
前記画像処理装置の変形及びこれらの変更は、上述の動き推定ユニットの変形又はこれらの変更に対応する。
【発明を実施するための最良の形態】
【００２２】
本発明による動き推定ユニット、方法、及び画像処理装置のこれら及び他の見地は、添付図面を参照して本明細書に記載された実施及び実施例から明らかになると共に、これらによって説明されるであろう。
【００２３】
全ての図において、対応する符号は、同一の意味を持つ。
【００２４】
図１は、動き推定ユニット１００を、画像分割ユニット１０８及び画像を記憶するメモリ装置１１０と共に模式的に示している。画像分割の目的は、画像を、あるフィーチャが一定である又は所定のしきい値の間にあるセグメントに分割することにある。前記画像のピクセル又はピクセルの群に関して、前記セグメントの何らかに属する確率を表す値が計算される。前記フィーチャは、単純なグレー値から、カラー情報と組み合わされた複雑なテクスチャ尺度まで、いかなるものでもあることができる。選択されたフィーチャに基づく分割方法、即ちセグメントを抽出する方法は、単純なしきい値処理から分水界（Ｗａｔｅｒｓｈｅｄ）アルゴリズムまで、いかなるものでもあることができる。
【００２５】
動き推定ユニット１００は、画像のピクセルの第１群２１２に関する現動きベクトルを推定するように構成されており、
‐  ピクセルの第１群２１２に関する候補動きベクトルの集合を発生する発生ユニット１０６であって、該候補動きベクトルは、事前に推定された動きベクトルの集合から抽出される発生ユニット１０６、
‐  各候補動きベクトルの整合エラーを計算する整合エラー計算ユニット１０２、及び
‐  前記候補動きベクトルから、現動きベクトルを選択する選択ユニット１０４、
を有する。
【００２６】
整合エラーは、ピクセルの第１群２１２のピクセル値と、第２画像のピクセルの第２群のピクセル値とを比較することによって、計算される。この場合、整合エラーは、ＳＡＤに対応し、該ＳＡＤは、第１画像の現ブロック内のピクセルと、参照画像内の第２ブロックのピクセルとの間の絶対輝度差の和であって、ここで該参照画像とは、即ち候補動きベクトルによってシフトされたものである第２画像である。数式１を参照されたい。基本的には、整合エラーは、ピクセルの現ブロックに属する候補動きベクトルの集合の全ての動きベクトル候補に関して計算される。しかしながら、明らかに、ちょうど計算された動きベクトル候補の整合エラーが、所定の整合エラーしきい値未満である場合、整合エラー計算ユニット１０２は、整合エラーがまだ全く計算されていない動きベクトル候補の整合エラーの計算を継続しない。この場合、ちょうど処理された動きベクトル候補は、ピクセルの現ブロックに関する現動きベクトルとして選択される。動き推定ユニット１００は、後続のピクセルのブロックに関する適切な動きベクトルを推定することで継続する。
【００２７】
動き推定ユニット１００は、ピクセルのセグメントへの第１画像に関する分割の結果に基づいて、所定の整合エラーしきい値を調整するように構成されている。最初に、分割ユニット１０８は、ブロックベースの分割を実行するように構成されていると仮定する。画像分割の間、全てのブロックＢ（ｘ，ｙ）が、自身が属するセグメントＳｋに対応するラベルｌｋを割当てられる。この情報は、画像分割マスクＭ（ｘ，ｙ）内に記憶される。オブジェクト境界上での動き推定ユニットの空間一貫性を減少するために、所定の整合エラーしきい値Ｔは、以下の数式に従って調整される。
【数２】
2005528708.tif 000004
ここでＴｈｉｇｈは、セグメント内の容易なホッピングを可能にするために高い値であり、Ｔｌｏｗは、オブジェクト境界においてより多くの動きベクトル候補の評価を強いるために低い値である。（ｘ，ｙ）は、現ブロックの位置であって、（ｘＰ，ｙＰ）は、ピクセルの他のブロック、即ちこれに関する動きベクトルが推定されており、動きベクトル候補がこれに基づいているピクセルのブロックの位置である。この場合、所定の整合エラーのしきい値Ｔに対して以下の２つの異なる値がある。
‐  Ｔｈｉｇｈ  前記分割の結果により、現ブロック及び他のブロックの両方が、同一のセグメントＳｋに属する場合；及び
‐  Ｔｌｏｗ  前記分割の結果により、現ブロック及び他のブロックが、同一のセグメントＳｋに属さない場合。
【００２８】
今度は、分割ユニット１０８が、ピクセルベースで分割を実行するように構成されていると仮定する。このことは、各個々のピクセルについて、セグメントＳｋに属する確率が割当てられることを意味する。動き推定は、やはりブロックベースであって、即ち動きベクトルは、ピクセルのブロックに関して推定される。所定の整合エラーしきい値Ｔは、現ブロックのピクセルと、他のブロックのピクセルとが、同一のセグメントＳｋ（ｋ∈Ｋ）に属する確率に基づく。Ｓｋは、セグメントの集合のうちの１つである。所定の整合エラーしきい値Ｔは、数式３によって計算されることができる。
【数３】
2005528708.tif 000005
ここで、Ｃは定数である。現ブロックのピクセルが、セグメントＳｋに属する確率、即ち
【数４】
2005528708.tif 000006
と、他のブロックのピクセルがセグメントＳｋに属する確率、即ち
【数５】
2005528708.tif 000007
とが、比較的に高い場合、所定の整合エラーしきい値Ｔは、比較的高い。
【００２９】
動きベクトル候補が、連続的に評価されると仮定する。次いで、好ましくは、動きベクトル候補は、分割の結果に基づいて順序付けられる。このことは、他のブロックに関する確率と比較して、同一のセグメントに属する確率が最も高いピクセルのブロックに属する候補動きベクトルが、最初に評価されるべきであることを意味する。
【００３０】
ピクセルごとの特定のセグメントＳｋに属する確率の値と、特定の確率を有するピクセルの数の両方が関係していることが、明らかになるであろう。バイナリ分割の場合、ブロックのセグメントＳｋ内に位置される部分のピクセルの数だけがカウントされるべきである、なぜなら、これらのピクセルに関して特定のセグメントＳｋに属する確率は、等しい、即ち１００％だからである。
【００３１】
図１において、動き推定ユニット１００の出力１１４から分割ユニット１０８までの接続部１１６が、描かれている。この接続部１１６はオプションである。この接続部１１６によって、動きベクトル場のような動き推定の結果が、ピクセルのセグメントへの画像の分割に利用されることができる。これは、動き推定が実行される同一の画像に関して、又は画像の当該系列の別の画像に関するものであることができる。これに加えて、特定の画像の分割の結果は、前記特定の画像ではなく、画像の当該系列の別の画像を有する画像対の動き推定に使用されることも可能である。
【００３２】
動き推定ユニット１００の整合エラー計算ユニット１０２、選択ユニット１０４、及び発生ユニット１０６は、１つのプロセッサを用いて実行され得る。通常、これらの機能は、ソフトウェアプログラムの制御の下で実行される。抽出の間、通常、前記ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、そこから実行される。前記プログラムは、ＲＯＭ、ハードディスク、又は磁気的及び／又は光学的記憶装置のようなバックグラウンドメモリからロードされることができる、又はインターネットのようなネットワークを介してロードされることができる。オプションとして、専用集積回路によって、上述した機能を設けるようにしても良い。
【００３３】
図２は、動きベクトル場２００の一部、即ち作成中の動きベクトル場を模式的に示しており、これは、白色の背景を有し、該背景の前でボール２０２が背景と相対的に逆の方向に動いている場面を表す画像のものである。複数のピクセルのブロック２０４‐２１０に関して、動きベクトル２１４‐２２６が推定されており、ピクセルの現ブロック２１２に関して、動きベクトルが推定されるべきであると仮定する。この推定に関して、候補動きベクトル２１４‐２２０の集合が、ピクセルのブロック２０４‐２１０に関して、事前に計算された動きベクトル２１４‐２２６に基づいて作成される。図１において、ピクセルの現ブロック２１２は、ボール２０２に対応するセグメント内に位置されているのがわかる。同様に、ピクセルのブロック２０４は、ボール２０２に対応するセグメント内に位置されている。しかしながら、ピクセルのブロック２１０は、背景に対応し、ブロック２０６及び２０８は、部分的にボール２０２に属し、部分的に背景に属する。各候補動きベクトル２１４‐２２０に関する所定の整合エラーしきい値は、分割によって、ボール２０２を表すセグメントに属するものとしてラベルを付けられたブロック２０４‐２１０のピクセルの各数に依存する。結果として、ピクセルのブロック２０４から得られる候補動きベクトル２２０の整合エラーに関する所定の整合エラーしきい値が最も高く、ピクセルのブロック２１０から得られる候補動きベクトル２１８の所定の整合エラーしきい値が最も低い。
【００３４】
図３は、画像処理装置３００のエレメントを模式的に示しており、これは、
‐  何らかの処理が実行された後に表示されるように、画像を表す信号を受信する受信ユニット３０２。前記信号は、アンテナ又はケーブルを介して受信される放送信号であり得るが、ＶＣＲ（ビデオカセットレコーダ）又はデジタル多用途ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は、入力コネクタ３１０において供給される；
‐  図１と関連して描かれている、動き推定ユニット１００及び分割ユニット１０８を有する処理ユニット３０４；
‐  動き補償された画像処理ユニット３０６；及び
‐  処理された画像を表示する表示装置３０８。この表示装置３０８は、オプションである；
を有する。
動き補償された画像処理ユニット３０６は、画像及び動きベクトルを自身の入力として必要とする。動き補償された画像処理ユニット３０６は、デインターレース、アップコンバート、一時的ノイズ低減、及びビデオ圧縮のタイプの画像処理の１つ以上に対応することができる。
【００３５】
上述の実施例は、本発明を限定するよりは解説するものであること、及び当業者であれば添付請求項の範囲から逸脱することなしに、代替的な実施例を設計できることに留意されたい。前記請求項において、括弧内に置かれた如何なる符号も、請求項を限定するようにみなしてはならない。「有する」という語は、請求項に記載されていない構成要素又はステップの存在を排除するものではない。単数形の構成要素は、複数のこのような構成要素を排除するものではない。本発明は、幾つか別個の構成要素を有するハードウェアによって、及び適当にプログラムされたコンピュータによって実施化することができる。いくつかの手段を列挙している装置請求項において、これらの手段のいくつかは１つの同じハードウェアの項目によって、実施化することができる。
【図面の簡単な説明】
【００３６】
【図１】図１は、画像分割ユニットと共に、動き推定ユニットを模式的に示している。
【図２】図２は、動きベクトル場を模式的に示している。
【図３】図３は、本発明による、動き推定ユニットを有する画像処理装置のエレメントを模式的に示している。
【図１】
2005528708.tif 000008
【図２】
2005528708.tif 000009
【図３】
2005528708.tif 000010
【国際調査報告】
2005528708.tif 000011
2005528708.tif 000012