(57)【要約】  第１の動きベクトル場(MVF1)を第２の動きベクトル場(MVF2)へ変換する変換ユニット(300)が開示される。第１の動きベクトル場は、画像のシーケンスにおける第１画像と第２画像とに基づき、その第１画像とその第２画像との間の時間位置に対して計算される。変換ユニット(300)は：第１画像における未参照ピクセルの第１群を確立する第１の確立手段(302)と；第２画像における未参照ピクセルの第２群を確立する第２の確立手段(304)と；未参照ピクセルの第１群から未参照ピクセルの第２群へ向かう候補動きベクトルのマッチ誤差を計算する計算手段(306)と；そのマッチ誤差を所定のマッチ閾値と比較し、そのマッチ誤差が所定のマッチ閾値未満である場合、第２の動きベクトル場における第１動きベクトルへその候補動きベクトルを割り当てる比較手段(308)とを有する。
2007510213.tif 000002
【特許請求の範囲】
【請求項１】
第２の動きベクトル場における第１動きベクトルを決定することにより、第１の動きベクトル場を前記第２の動きベクトル場へ変換する方法であって、前記第１の動きベクトル場は、画像のシーケンスにおける第１画像と第２画像とに基づき、前記第１画像と前記第２画像との間の時間位置に対して計算され、該方法は：
−前記第１画像において互いに接続されるピクセルの第１集合を、該第１集合に対して前記第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、前記第１画像における未参照ピクセルの第１群を確立し、
−前記第２画像において互いに接続されるピクセルの第２集合を、該第２集合に対して前記第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、前記第２画像における未参照ピクセルの第２群を確立し、
−未参照ピクセルの前記第１群から未参照ピクセルの前記第２群へ向く、候補動きベクトルのマッチ誤差を計算し、
−前記マッチ誤差を所定のマッチ閾値と比較し、前記マッチ誤差が前記所定のマッチ閾値未満である場合、前記候補動きベクトルを前記第２の動きベクトル場における前記第１動きベクトルへ割り当てることを有する変換方法。
【請求項２】
未参照ピクセルの前記第２群を確立することが、未参照ピクセルの前記第１群に基づく、請求項１に記載の変換方法。
【請求項３】
未参照ピクセルの前記第２群を確立することが、未参照ピクセルの前記第１群の空間環境と、前記第１の動きベクトル場に属し、かつ未参照ピクセルの前記第１群の前記空間環境に位置する特定の動きベクトルとに基づく、請求項２に記載の変換方法。
【請求項４】
未参照ピクセルの前記第２群を確立することが、未参照ピクセルの前記第１群の空間環境と、ヌル動きベクトルとに基づく、請求項２に記載の変換方法。
【請求項５】
未参照ピクセルの前記第２群を確立することが、未参照ピクセルの前記第１群と前記第２の画像における未参照ピクセルの候補となる群との間の重複を計算することに基づく、請求項１に記載の変換方法。
【請求項６】
未参照ピクセルの前記第１群における第１のピクセル数が、第１の所定カウント閾値を超える、請求項１に記載の変換方法。
【請求項７】
未参照ピクセルの前記第１群における第１のピクセル数が、第２の所定カウント閾値未満である、請求項１に記載の変換方法。
【請求項８】
前記マッチ誤差を確立することは、未参照ピクセルの前記第１群及び前記第２群それぞれにおけるピクセル値の間の差を計算することを有する、請求項１に記載の変換方法。
【請求項９】
第２の動きベクトル場における第１動きベクトルを決定することにより、第１の動きベクトル場を前記第２の動きベクトル場へ変換する変換ユニットであって、前記第１の動きベクトル場は、画像のシーケンスにおける第１画像と第２画像とに基づき、前記第１画像と前記第２画像との間の時間位置に対して計算され、該変換ユニットは：
−前記第１画像において互いに接続されるピクセルの第１集合を、該第１集合に対して前記第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、前記第１画像における未参照ピクセルの第１群を確立する第１確立手段と、
−前記第２画像において互いに接続されるピクセルの第２集合を、該第２集合に対して前記第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、前記第２画像における未参照ピクセルの第２群を確立する第２確立手段と、
−未参照ピクセルの前記第１群から未参照ピクセルの前記第２群へ向く、候補動きベクトルのマッチ誤差を計算する計算手段と、
−前記マッチ誤差を所定のマッチ閾値と比較し、前記マッチ誤差が前記所定のマッチ閾値未満である場合、前記候補動きベクトルを前記第２の動きベクトル場における前記第１動きベクトルへ割り当てる比較手段とを有する変換ユニット。
【請求項１０】
入力画像のシーケンスに対応する信号を受信する受信手段と、
入力画像の前記シーケンスと、請求項９に記載の変換を行う変換ユニットにより与えられる前記第２の動きベクトル場とに基づき、出力画像のシーケンスを計算する画像処理ユニットとを有する画像処理装置。
【請求項１１】
前記出力画像を表示する表示デバイスを更に有することを特徴とする、請求項１０に記載の画像処理装置。
【請求項１２】
前記表示デバイスはテレビであることを特徴とする、請求項１１に記載の画像処理装置。
【請求項１３】
請求項９に記載の変換ユニットを有する映像エンコーディングユニット。
【請求項１４】
コンピュータ装置によってロードされるコンピュータプログラムであって、第２の動きベクトル場における第１動きベクトルを決定することにより、第１の動きベクトル場を前記第２の動きベクトル場へ変換するための指示を有し、前記第１の動きベクトル場は、画像のシーケンスにおける第１画像と第２画像とに基づき、前記第１画像と前記第２画像との間の時間位置に対して計算され、前記コンピュータ装置は、処理手段とメモリとを有し、該コンピュータプログラムはロードされた後、前記処理手段に：
−前記第１画像において互いに接続されるピクセルの第１集合を、該第１集合に対して前記第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、前記第１画像における未参照ピクセルの第１群を確立し、
−前記第２画像において互いに接続されるピクセルの第２集合を、該第２集合に対して前記第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、前記第２画像における未参照ピクセルの第２群を確立し、
−未参照ピクセルの前記第１群から未参照ピクセルの前記第２群へ向く、候補動きベクトルのマッチ誤差を計算し、
−前記マッチ誤差を所定のマッチ閾値と比較し、前記マッチ誤差が前記所定のマッチ閾値未満である場合、前記候補動きベクトルを前記第２の動きベクトル場における前記第１動きベクトルへ割り当てることを実行させる能力を与えるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第２の動きベクトル場における第１動きベクトルを決定することにより、第１の動きベクトル場をその第２の動きベクトル場へ変換する方法に関する。その第１の動きベクトル場は、画像シーケンスにおける第１画像と第２画像とに基づき、その第１画像とその第２画像との間の時間位置に対して計算される。
【０００２】
本発明は、更に、第１の動きベクトル場を第２の動きベクトル場へ変換する変換ユニットに関する。
【０００３】
本発明は、更に、画像処理装置に関し、それは：
−入力画像のシーケンスに対応する信号を受信する受信手段と、
−入力画像のシーケンスと、斯かる変換ユニットにより与えられる第２の動きベクトル場とに基づき、出力画像のシーケンスを計算する画像処理ユニットとを有する。
【０００４】
本発明は、更に、斯かる変換ユニットを有する映像エンコーディングユニットに関する。
【０００５】
本発明は、更に、第１の動きベクトル場を第２の動きベクトル場へ変換する指示を有する、コンピュータ装置によりロードされるコンピュータプログラムに関する。
【背景技術】
【０００６】
記事である非特許文献１によれば、いわゆる動き推定ユニットが開示される。この動き推定ユニットは、入力画像のシーケンスに基づき、動きベクトルを推定するようデザインされる。こうして推定された動きベクトルは、例えば、補間された出力画像を計算するのに使用されることができる。動きベクトルは、そのシーケンスでの第１画像におけるピクセル群をそのシーケンスでの第２画像における追加的なピクセル群(group of pixels)へ翻訳することに関連付けられる。通常、そのピクセル群は、例えば、8*8ピクセルといったピクセルのブロックである。入力画像の集合(set of input images)に基づき計算される、又は出力画像に適用可能である、動きベクトルの集合(set of motion vectors)は、動きベクトル場と呼ばれる。引用される動き推定ユニットは、リアルタイムな映像アプリケーションに対して適している。反復的な手法が、結果として比較的一貫した動きベクトル場を生じる。
【非特許文献１】「True-Motion Estimation with 3-D Recursive Search Block Matching」G. de Haan et al. in IEEE Transaction on circuits and systems for video technology、第3巻、第5号、1993年10月、368-379頁
【発明の開示】
【発明が解決しようとする課題】
【０００７】
背景に比べて高速で移動する比較的小さな物体の動きを推定することに、問題がある様に思われる。特に、動き推定ユニットにより適用されるブロックサイズよりその物体が小さい場合、動き推定ユニットは時折誤った動きベクトルを推定する。これは、特に、その物体の速度が、動きベクトルグリッド(grid)のサンプル距離より大きい場合である。結果として、動き補償された出力画像において、比較的小さな物体が見えなくなる場合がある。動き補償された出力画像は、複数の入力画像の時間補間とその動きベクトル場とに基づいている。
【課題を解決するための手段】
【０００８】
本発明の目的は、冒頭で述べられたような種類の方法を提供することであり、そこでは、第１の動きベクトル場と比較して、第２の動きベクトル場が比較的小さな物体の運動をより好適に表現する。
【０００９】
本発明のこの目的は、方法により達成され、その方法は：
−第１画像において互いに接続されるピクセルの第１集合を、その第１集合に対して第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第１画像における未参照ピクセル(un-referenced pixel)の第１群を確立し、
−第２画像において互いに接続されるピクセルの第２集合を、その第２集合に対してその第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第２画像における未参照ピクセルの第２群を確立し、
−未参照ピクセルのその第１群から未参照ピクセルのその第２群へ向く、候補動きベクトルのマッチ誤差を計算し、
−そのマッチ誤差を所定のマッチ閾値と比較し、そのマッチ誤差がその所定のマッチ閾値未満である場合、その候補動きベクトルをその第２の動きベクトル場におけるその第１動きベクトルへ割り当てることを有する。
【００１０】
一般に、動き補償、即ち、時間補間(temporal interpolation)は、出力画像におけるまさしくすべてのピクセルを体系的に実行し、元の入力画像の１つ又は複数からピクセル値をフェッチすることにより行われる。そうすることにより、すべての出力ピクセルに値が割り当てられるので、出力画像において穴が発生することはなくなる。しかしながら、一般に、すべての出力ピクセルを介して実行することにより、元の入力画像において、動き補償された出力画像に寄与しないピクセルが存在することになる。つまり、入力画像において参照されないものが存在することを意味する。通常、未参照ピクセルは、閉鎖領域において生じることになり、それは正しく望ましい現象である。本願発明者は、動き推定ユニットが高速で移動する比較的小さな物体を追跡できない場合にも、未参照ピクセルが発生することを観測した。本発明は、この観測に基づくものである。２つの入力画像において、未参照ピクセルが検索され、続いて、候補動きベクトルを用いて互いに関連付けられる。もし候補動きベクトルが適切であると思われる場合、それは、以前に正確であるはずはないと推定された動きベクトルへ割り当てられる。未参照ピクセルの２つの群(group)と以前に推定された動きベクトルの座標(coordinate)との間の関係は、未参照ピクセルに関する２つの群の空間座標と、２つの入力画像間の時間的関係と動きベクトル場とにより与えられる。
【００１１】
未参照ピクセルの第１群を確立することと、未参照ピクセルの第２群を確立することとは、互いに独立して行われることができる。しかしながら、好ましくは、未参照ピクセルの第２群を確立することは、未参照ピクセルの第１群に基づく。そうして従属させることの利点は、効率性が増すことにある。別の利点は、堅牢性(robustness)が増すことである。
【００１２】
本発明による方法の実施形態において、未参照ピクセルの第２群を確立することは、未参照ピクセルの第１群の空間環境と、第１の動きベクトル場に属し、かつ未参照ピクセルの第１群の空間環境に位置する特定の動きベクトルとに基づく。未参照ピクセルの第１群と未参照ピクセルの第２群とは、互いに比較的近くに位置していなければならない。それは、未参照ピクセルの第１群が与えられると、未参照ピクセルの第２群が、未参照ピクセルの第１群の空間位置と特定のオフセットとに基づき発見されることができることを意味する。そのオフセットは、好ましくは、例えば、第１の動きベクトル場からの動きベクトル、又は第１の動きベクトル場から特定の動きベクトルを取り、それに所定の差分を追加することにより構築される動きベクトルにより規定される。オフセットは、ゼロであってもよい。つまり、いわゆるヌル動きベクトルが適用される。
【００１３】
本発明による方法の実施形態において、未参照ピクセルの第２群を確立することは、未参照ピクセルの第１群と、第２画像における未参照ピクセルの候補となる群との間の重複(overlap)を計算することに基づく。重複は、未参照ピクセルの第１群における第１のピクセル数と、未参照ピクセルの第２群における第２のピクセル数とに関連付けられる。それに加えて、重複は、未参照ピクセルの第１群の形状と、未参照ピクセルの第２群の形状とに関連付けられることができる。重複を計算することは、未参照ピクセルの第１群と未参照ピクセルの第２群との間の関係を規定する候補動きベクトルが与えられるとき、両方の画像において未参照であるピクセル数を数えることを意味する。比較的高い重複率が確立されるとき、例えば、75パーセントを超える場合、その候補動きベクトルが適切なものであると考えられる。続いて、対応するマッチ誤差が計算される。
【００１４】
好ましくは、未参照ピクセルの第１群の大きさが、余り小さすぎないことである。従って、未参照ピクセルの第１群における第１のピクセル数は、好ましくは、第１の所定のカウント閾値を超える。それに加えて、未参照ピクセルの第１群の大きさは、余り大きすぎないことである。従って、未参照ピクセルの第１群における第１のピクセル数は、好ましくは、第２の所定のカウント閾値未満である。好ましくは、未参照ピクセルの第２群に対して、同じ２つの条件が満たされる。標準精細映像画像(standard definition video image)に対しては通常、次の値が使用される：第１の所定のカウント閾値は、4*4ピクセルに等しく、第２の所定のカウント閾値は、10*10ピクセルに等しい。
【００１５】
本発明による方法の実施形態において、マッチ誤差を確立することは、未参照ピクセルの第１群及び第２群それぞれのピクセル値の差を計算することを有する。例えば、マッチ誤差は、絶対差の和(SAD: Sum of Absolute Difference)であってよい。このマッチ誤差は、画像の部分間でのマッチを確立するには比較的良い尺度であり、多数の計算を必要とするものではない。
【００１６】
本発明の更なる目的は、冒頭で述べられた種類の変換ユニットを提供することであり、そこでは、第２の動きベクトル場が、比較的小さな物体の動きを第１の動きベクトル場より好適に表現する。
【００１７】
本発明のこの目的は、変換ユニットにより達成され、その変換ユニットは：
−第１画像において互いに接続されるピクセルの第１集合を、その第１集合に対して第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第１画像における未参照ピクセルの第１群を確立する第１確立手段と、
−第２画像において互いに接続されるピクセルの第２集合を、その第２集合に対してその第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第２画像における未参照ピクセルの第２群を確立する第２確立手段と、
−未参照ピクセルのその第１群から未参照ピクセルのその第２群へ向く、候補動きベクトルのマッチ誤差を計算する計算手段と、
−そのマッチ誤差を所定のマッチ閾値と比較し、そのマッチ誤差がその所定のマッチ閾値未満である場合、その候補動きベクトルをその第２の動きベクトル場における第１動きベクトルへ割り当てる比較手段とを有する。
【００１８】
本発明の更なる目的は、冒頭で述べられた種類の画像処理装置を提供することであり、そこでは、時間補間された(temporarily interpolated)出力画像が比較的高速で動く小さな物体を比較的好適に表現する。
【００１９】
本発明のこの目的は、変換ユニットにより達成され、その変換ユニットは：
−第１画像において互いに接続されるピクセルの第１集合を、その第１集合に対して第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第１画像における未参照ピクセルの第１群を確立する第１確立手段と、
−第２画像において互いに接続されるピクセルの第２集合を、その第２集合に対してその第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第２画像における未参照ピクセルの第２群を確立する第２確立手段と、
−未参照ピクセルのその第１群から未参照ピクセルのその第２群へ向く、候補動きベクトルのマッチ誤差を計算する計算手段と、
−そのマッチ誤差を所定のマッチ閾値と比較し、そのマッチ誤差がその所定のマッチ閾値未満である場合、その候補動きベクトルをその第２の動きベクトル場における第１動きベクトルへ割り当てる比較手段とを有する。
【００２０】
画像処理装置は、出力画像を表示する表示デバイス等の追加的な要素を有することができる。画像処理ユニットは、画像処理における以下の種類の１つ又は複数をサポートすることができる；
−映像圧縮、即ち、MPEG標準規格等によるエンコーディング又はデコーディング。
−インターレス除去(de-interlacing)：インターレーシング(interlacing)は、偶数番号又は奇数番号の画像線を交互に送信する、通常の映像放送方式である。インタレース除去は、完全な垂直解像度を復元しようと試みる、つまり、各画像に対して偶数番号及び奇数番号の線が同時に利用可能であるようにする；
−画像率変換：元の入力画像の系列(series)から、より大きな出力画像の系列が計算される。出力画像は、２つの元入力画像の間に時間的に位置する；
−時間的なノイズ削減(noise reduction)。これは、空間的な処理をも含むことができ、空間的−時間的なノイズ削減が生じる。
【００２１】
画像処理装置は、例えば、TV、セットトップボックス、VCR(ビデオカセットレコーダ)プレイヤ、衛星チューナ、DVD(デジタル多用途ディスク)プレイヤ又はレコーダであってよい。
【００２２】
本発明の更なる目的は、冒頭で述べられた種類のコンピュータプログラムを提供することであり、そこでは、第２の動きベクトル場が、比較的小さな物体の運動を第１の動きベクトル場より好適に表現する。
【００２３】
本発明のこの目的は、処理手段とメモリとを有するコンピュータ装置において達成され、そのコンピュータプログラムは、ロードされた後、その処理手段が以下のことを実行する能力を与える：
−第１画像において互いに接続されるピクセルの第１集合を、その第１集合に対して第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第１画像における未参照ピクセルの第１群を確立する第１確立手段と、
−第２画像において互いに接続されるピクセルの第２集合を、その第２集合に対してその第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第２画像における未参照ピクセルの第２群を確立する第２確立手段と、
−未参照ピクセルのその第１群から未参照ピクセルのその第２群へ向く、候補動きベクトルのマッチ誤差を計算する計算手段と、
−そのマッチ誤差を所定のマッチ閾値と比較し、そのマッチ誤差がその所定のマッチ閾値未満である場合、その候補動きベクトルをその第２の動きベクトル場における第１動きベクトルへ割り当てる比較手段とである。
【００２４】
本発明の更なる目的は、改良された圧縮率を持つ、冒頭で述べられた種類の映像エンコーディングユニットを提供することである。
【００２５】
本発明のこの目的は、変換ユニットにより達成され、その変換ユニットは：
−第１画像において互いに接続されるピクセルの第１集合を、その第１集合に対して第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第１画像における未参照ピクセルの第１群を確立する第１確立手段と、
−第２画像において互いに接続されるピクセルの第２集合を、その第２集合に対してその第１の動きベクトル場が個別の動きベクトルを有さないよう選択することにより、その第２画像における未参照ピクセルの第２群を確立する第２確立手段と、
−未参照ピクセルのその第１群から未参照ピクセルのその第２群へ向く、候補動きベクトルのマッチ誤差を計算する計算手段と、
−そのマッチ誤差を所定のマッチ閾値と比較し、そのマッチ誤差がその所定のマッチ閾値未満である場合、その候補動きベクトルをその第２の動きベクトル場における第１動きベクトルへ割り当てる比較手段とを有する。
【００２６】
結果として生じる動きベクトル場は、実際の運動をより好適に表現するので、映像データが一層効率的に圧縮されることができる。残留物(residue)はほとんどない。
【００２７】
変換ユニットに対する修正及びその変形は、記載される画像処理装置、方法、映像エンコーディングユニット及びコンピュータプログラムの修正及びその変形に対応することができる。
【発明を実施するための最良の形態】
【００２８】
本発明による変換ユニット、画像処理装置、方法、コンピュータプログラムにおけるこれら及び他の側面は、本書に説明される実現及び実施形態により、並びに、対応する図面を参照することにより、明らかとなり、かつ説明されることになる。
【００２９】
図１は、出力画像のシーケンスを示し、そこでは、出力画像の１つである１０２が、２つの入力画像と従来技術による動き推定ユニットにより推定される動きベクトル場とに基づく時間補間を用いて計算される。出力画像の１つ目１００は、入力画像の１つ目に等しい。出力画像の２つ目１０４は、入力画像の２つ目に等しい。入力画像のシーケンスは、サッカーの試合の一部を表現するものである。入力画像のこのシーケンスを作成するとき、カメラはパンされている(panning:向きを変えている)。各入力画像の直接のコピーである出力画像１００、１０４の両方において、多数のサッカー選手１０６、１０８、１１０、線審１１２及びボール１１４が見られることができる。背景の動きに比べると、選手１０６、１０８、１１０、線審１１２及びボール１１４の速さは、カメラをパンすることが原因となり、高速である。そのため、動き推定ユニットは、これらの速度を正確に推定することができない。残念なことに、選手１０６、１０８、１１０、線審１１２及びボール１１４は、時間補間を用いて計算される出力画像１０２では、動き推定が正確でないため可視状態にない。後者の出力画像１０２は、何もない(empty)サッカー場を示すのみである。出力画像のシーケンス１００、１０２、１０４の視聴者は、点滅するシーケンスを観測することになる：選手が見える、選手が見えない、選手が見える等である。
【００３０】
図２は、未参照ピクセル２０４−２１２、２１４−２２２を表すマスクがかぶさった状態の２つの入力画像２００、２０２を概略的に示す。つまり、第１の入力画像が未参照であるピクセルのバイナリマップと結合されることを意味する。これらの未参照ピクセルは、入力画像における背景の縞模様(back stripe)及びブロックとして表現される。未参照であるとは、これらのピクセルが図１に示されるような出力画像１０２の時間補間には使用されなかったことを意味する。それらが使用されない理由は、推定動きベクトル場がこれらのピクセルに対応する動きベクトルを含まないことによる。
【００３１】
２つの画像２００、２０２を簡単に点検するだけで、これら２つの画像が比較的大きな多数の未参照ピクセル領域又はグループ２０４−２１２、２１４−２２２を有することがわかる。２つある画像のうち第１の画像２００における未参照ピクセルに関する種々のグループ２０４−２１２の形状及び大きさは、２つある画像のうち第２の画像２０２における種々のグループ２１４−２２２の形状及び大きさと比較的よくマッチする。例えば、２つある画像のうち第１の画像２００における未参照ピクセルの第１群２０４は、２つある画像のうち第２の画像２０２における未参照ピクセルの第２群２１４と比較的よくマッチする。同様に、２つある画像のうち第１の画像２００における未参照ピクセルの第３群２１０は、第２の画像２０２における未参照ピクセルの第４群と比較的よくマッチする。本発明による方法及び変換ユニット３００は、この観測に基づく。変換の方法は、余り大きすぎず小さすぎないサイズを持つ、かつ、互いの空間環境内に位置するといった多数の条件を満たす未参照ピクセルの相関されたグループを、連続する画像において見つけることを有する。未参照ピクセルの第１群２０４に関する第１の空間位置と、未参照ピクセルの第２群２１４に関する第２の空間位置との間の推定差分は、未参照ピクセルのこれら２つのグループ２０４、２１４を結びつける候補動きベクトルを表す。
【００３２】
図２における２つの画像を更に観察すれば、未参照ピクセル２０４−２１２、２１４−２２２の種々のグループが、選手１０６−１１０、線審１１２及びボール１１４に対応することがわかる。それは、未参照ピクセルの種々のグループ２０４−２１２、２１４−２２２が、背景に対して高速に動く比較的小さな物体に対応することを意味する。
【００３３】
図３は、本発明による変換ユニット３００を概略的に示す。変換ユニット３００は、第１の動きベクトル場MVF1を第２の動きベクトル場MVF2へ変換するようなされる。第１の動きベクトル場MVF1は、画像のシーケンスにおける第１の画像１００と第２の画像１０４とに基づき、第１の画像１００と第２の画像１０４との間の時間位置n+a、0 < a < 1に対して計算される。第１の動きベクトル場MVF1は、好ましくは、記事「True-Motion Estimation with 3-D Recursive Search Block Matching」G. de Haan et al. in IEEE Transaction on circuits and systems for video technology、第3巻、第5号、1993年10月、368-379頁において特定される動き推定ユニットにより計算される。
【００３４】
変換において、第１の動きベクトル場MVF1における多数の動きベクトルが更新される、つまり新たな動きベクトルによって置換されることを意味する。通常第２の動きベクトル場MVF2におけるほとんどの動きベクトルは、第１の動きベクトル場MVF1におけるそれぞれの動きベクトルに等しい。通常、第２の動きベクトル場MVF2における比較的少数の動きベクトルだけが、第１の動きベクトル場MVF1におけるそれぞれの動きベクトルと異なる。更新される動きベクトルは、比較的小さい物体の動きに対応する。通常動きベクトルのわずかな数だけが更新されるけれども、組み込まれた出力画像において生じる結果は、大きくなる場合がある。それは、組み込まれた出力画像において可視状態のサッカーボール(football)と、組み込まれた別の出力画像において可視できない状態のサッカーボールとの差となる可能性がある。あるいは、サッカー選手が可視状態であるか又はそうでないかの差となる可能性がある。
【００３５】
変換ユニット３００は：
−第１の画像における未参照ピクセルの第１群を確立する第１の確立ユニット３０２と、
−第２の画像における未参照ピクセルの第２群を確立する第２の確立ユニット３０４と、
−未参照ピクセルの第１群から未参照ピクセルの第２群へ向く、候補動きベクトルのマッチ誤差を計算する計算ユニット３０６と、
−そのマッチ誤差を所定のマッチ閾値と比較し、そのマッチ誤差がその所定のマッチ閾値T1未満である場合、その候補動きベクトルを第２の動きベクトル場MVF2における第１の動きベクトルに割り当てる比較ユニット３０８とを有する。
【００３６】
変換ユニット３００の動きは以下の通りである。変換ユニット３００は、その第１の入力コネクタ３１０で第１の動きベクトル場MVF1を伴い与えられる。第１の動きベクトル場MVF1と第１の画像１００との間の時間的な関係に基づき、第１の確立ユニット３０２が、第１の画像におけるどのピクセルが未参照であるかを決定するようなされる。第１の動きベクトル場MVF1は、t=n+aに属し、第１の画像はt=nに属すことに注意されたい。未参照であるとは、これらのピクセルで開始又は終了する動きベクトルが第１の動きベクトル場において存在しないことを意味する。この決定プロセスの第１の中間結果は、参照されるピクセルと未参照のピクセルとのバイナリマップである(図２も参照のこと)。その次に、相互に接続されるピクセルの群がこの第１の中間結果において検索される。この検索は、好ましくは、4*4ピクセルの中心部でのテンプレートマッチングとそれに続くバイナリ範囲拡大(binary region growing)とにより行われる。最終的には、未参照ピクセルの第１群が、第１の画像１００に対して確立される。その確立は、未参照ピクセルの第１群の下限及び上限サイズによって区切られる(bounded)。これらの上限及び下限は、第２の入力コネクタ３１８を介したカウント閾値として提供される。
【００３７】
オプションで、未参照ピクセルに対する検索が、第１の動きベクトル場MVF1の一貫性、つまり連続性に関する第１の調査により制御される。未参照ピクセルを発見する確率は、第１の動きベクトル場MVF1での不連続性がある空間環境においては比較的高い。それに加えて、第１の動きベクトル場における各動きベクトルのマッチ誤差が、未参照ピクセルの検索を制御するのに適用されることができる。未参照ピクセルを発見する確率は、動きベクトルが比較的高いマッチ誤差を持つ空間環境においては比較的高い。
【００３８】
同様に、第２の確立ユニット３０４は、第２の画像におけるどのピクセルが未参照であるかを決定するようなされる。(図２も参照のこと)。それは、第１の動きベクトル場MVF1と第２の画像１０４との間の時間的な関係に基づくことを意味する。
【００３９】
未参照ピクセルの第１群と、第２の画像１０４に対する参照及び未参照ピクセルのバイナリマップとが確立されると、変換ユニット３００は、未参照ピクセルの第１群が第２の画像１０４における未参照ピクセルの第２群にマッチされることができるかの調査を開始する。この調査は、未参照ピクセルの第１群の空間位置と多数の空間オフセットとに基づく。第１の空間オフセット(first one of the spatial offsets)はゼロに等しい。第２の空間オフセットは、第１の動きベクトル場MVF1の動きベクトルに対応する。第３の空間オフセットは、後者の動きベクトルに差分を結合させたものに対応する。空間オフセットのそれぞれに対して、未参照ピクセルの第１群が、第２の画像１０４のバイナリマップと比較される。比較することは、この意味において、ある種のテンプレートマッチングであることを意味する。言い換えると、各空間オフセットに対して、未参照ピクセルの第１群と第２の画像１０４のバイナリマップにおける「１」の値との間の重複が計算される。75パーセント以上である重複に対応する空間オフセットは、候補動きベクトルとして適切であると仮定される。
【００４０】
この候補動きベクトルは、続いて、計算ユニット３０６を用いて評価される。計算ユニット３０６は、第２の確立ユニット３０４により与えられる空間オフセットと、第３の入力コネクタ３１４を用いて与えられる第１の入力画像１００のピクセル値と、第４の入力コネクタ３１２を用いて与えられる第２の入力画像１０４のピクセル値とに基づきマッチ誤差を計算する。ピクセル値は、例えば輝度及び／又はクロミナンスを表すことができる。通常、未参照ピクセルの第１群及び第２群のピクセルのピクセル値が適用される。
【００４１】
そして、計算されたマッチ誤差と候補の動きベクトルとが、比較ユニット３０８に与えられる。比較ユニット３０８は、第５の入力コネクタ３２２を用いて与えられる、又は第５の入力コネクタ３２２により与えられる外部入力から得られる所定のマッチ閾値T1とそのマッチ誤差を比較する。所定のマッチ閾値T1における典型的な値は、画像の輝度レベル数が256で、未参照ピクセルの第１群の大きさが16ピクセルの場合には48に等しい。計算されたマッチ誤差が所定のマッチ閾値T1未満である場合、候補動きベクトルが、第２の動きベクトル場MVF2の適切な動きベクトルに割り当てられる。適切な動きベクトルの座標は、第２の動きベクトル場MVF2の時間的な位置(n+a)と、未参照ピクセの第１群の空間的な位置と、候補動きベクトルとに基づき決定される。未参照ピクセルの第１群の大きさは、更新される適切な動きベクトルの数に関連付けられることは明らかであろう。
【００４２】
第１の確立ユニット３０２、第２の確立ユニット３０４、計算ユニット３０６及び比較ユニット３０８は、１つのプロセッサを用いて実現されることができる。通常、これらの機能は、ソフトウェアプログラムの制御の下に行われる。実行の間、通常ソフトウェアプログラムは、RAMのようなメモリにロードされ、そこから実行される。プログラムは、ROM、ハードディスク又は磁気的及び／若しくは光学的ストレージといったバックグラウンドメモリ(background memory)からロードされる。インターネットのようなネットワークを介してロードされることもできる。オプションで、特定用途向け集積回路が開示された機能を提供する。
【００４３】
図４は、本発明による画像処理装置４００を概略的に示し：
−入力画像のシーケンスを表す信号を受信する受信手段４０２と、
−第１の入力画像と(first one of input images)、第２の入力画像との中間に位置する(intermediate)時間位置に対する第１の動きベクトル場を推定するようなされる動き推定ユニット４０８であって、その第１の動きベクトル場が、その第１の動きベクトル場のその時間位置における画像のピクセルに対する個別の動きベクトルを有しており；
−第２の動きベクトル場を計算するようになされる、図３と共に説明された変換ユニット３００と、
−入力画像のシーケンスと、第２の動きベクトル場とに基づき、出力画像を計算するようなされる画像処理ユニット４０４と、
−画像処理ユニット４０４の出力画像を表示する表示デバイス４０６とを有する。
【００４４】
信号は、アンテナ又はケーブルを介して受信される放送信号であってよい。しかし、VCR(ビデオカセットレコーダ)又はデジタル多用途ディスク(DVD)等の記憶デバイスからの信号であってもよい。信号は、入力コネクタ４１０で与えられる。画像処理装置４００は、例えばTVであることができる。また、画像処理装置４００が、付随的な表示デバイスを有さず、表示デバイス４０６を有さない装置に対して出力画像を与えるものであってもよい。そして、画像処理装置４００は、例えばセットトップボックス、衛星チューナ、VCRプレイヤ、DVDプレイヤ又はレコーダであることができる。オプションで、画像処理装置４００は、ハードディスクのような記憶手段、又は光学ディスクといったリムーバブルメディアへ格納するための手段を有する。画像処理装置４００は、フィルムスタジオ又は放送局によって適用されるシステムである場合もある。
【００４５】
また、変換ユニット３００は、映像エンコーディングユニットに適用される。本発明による変換ユニット３００は、特に、例えばMPEGエンコーディングにおけるBフレームの計算に重要である。
【００４６】
図５は、出力画像１００、１０１、１０４のシーケンスを示し、そこでは、出力画像の１つである１０１が、２つの入力画像と本発明による変換ユニット３００を用いて更新される動きベクトル場とに基づき補間される。出力画像のシーケンスにおける第１の画像１００と第２の画像１０４は、図１に示されるのと同じであることに注意されたい。しかしながら、図５に示される出力画像のシーケンスにおける第３の画像１０１は、図１に示される出力画像のシーケンスにおける第３の画像１０２とは本質的に異なる。それは、更新された動きベクトル場、つまり、改善された動きベクトル場を適用することにより、本質的に一層好適に補間された出力画像が計算されることがはっきりと見られることができる。ここでは、サッカー選手１０６、１０８、１１０、線審１１２及びボール１１４が、出力画像のシーケンスの全体にわたり可視状態である。シーケンスの視聴者は、図１において説明されたような点滅を観察することはなく、滑らかな動きの描画を観察することになる。
【００４７】
上述した実施形態は、本発明を説明するものであり、限定するものではなく、当業者であれば、添付された請求項の範囲から逸脱することなく、別の実施形態を設計することができるであろうことに留意すべきである。請求項において、括弧の間に置かれる参照符号は、いずれも請求項を限定するものとして解釈されるべきでない。単語“comprising(有する)”は、請求項に記載されていない構成要素又はステップの存在を排除するものではない。構成要素に先行する冠詞”a”又は”an”は、このような構成要素が複数存在することを排除するものではない。本発明は、いくつかの明確な構成要素を有するハードウェアを用いて実現されることができ、好適にプログラムされたコンピュータを用いて実現されることもできる。いくつかの手段を有するユニットの請求項において、これらの手段のうちいくつかは、一つの同じハードウェアアイテムによって具現化されることが可能である。「first(第１)」、「second(第２)」及び「third(第３)」等の単語を使用することは、いずれかの順番を示すものではない。これらの単語は名前として解釈されるべきである。つまり、例えば、第１の画像は、第２の画像に先行しても、後続してもよい。
【図面の簡単な説明】
【００４８】
【図１】出力画像のシーケンスを示す図であり、そこでは、２つの入力画像と従来技術による動き推定ユニットにより推定される動きベクトル場とに基づき、出力画像の１つが補間される。
【図２】２つの入力画像における未参照ピクセルを概略的に示す図である。
【図３】本発明による変換ユニットを概略的に示す図である。
【図４】本発明による画像処理装置を概略的に示す図である。
【図５】出力画像のシーケンスを示す図であり、そこでは、２つの入力画像と、本発明による変換ユニットを用いて更新される動きベクトル場とに基づき、出力画像の１つが補間される。
【図２】
2007510213.tif 000003
【図３】
2007510213.tif 000004
【図４】
2007510213.tif 000005
【図１】
2007510213.tif 000006
【図５】
2007510213.tif 000007
【国際調査報告】
2007510213.tif 000008
2007510213.tif 000009
2007510213.tif 000010