(57)【要約】  本発明は、画像処理に関し、特に、画像のピクチャ属性フィールドの処理に関する。画像の新たなピクチャ属性フィールドを得る方法であって、１つの位置におけるピクチャ属性値が、画像内の新たな位置に、本来の位置及び新たな位置における輝度データのようなパラメータの値に応じて、及び／又は本来の位置と新たな位置との間の距離に応じて割り当てられる、方法が開示される。本発明は、動きベクトル、動きベクトル信頼度、セグメントラベル、深度ラベル、テクスチャラベルを含むピクチャ属性フィールドの処理に使用することができる。
2009545222.tif 000002
【特許請求の範囲】
【請求項１】
画像の新たなピクチャ属性フィールドを、該画像の既存のピクチャ属性フィールド、及び該画像のピクセル比色パラメータフィールドから得る方法であって、前記画像内の１つ又は複数の新たな位置に関して、本来関連していた位置におけるピクチャ属性値を、該本来関連していた位置におけるピクセル比色パラメータの値、及び前記新たな位置における前記ピクセル比色パラメータの値に応じて、前記画像内の前記新たな位置に割り当てるステップを含む、方法。
【請求項２】
前記ピクチャ属性値を割り当てるステップは、前記新たな位置と、前記本来関連していた位置との間の距離にも依存する、請求項１に記載の方法。
【請求項３】
前記割当ては、距離パラメータ及びピクセル比色値差の加重和に依存する、請求項２に記載の方法。
【請求項４】
前記加重和の最小値に対応する、前記本来関連していた位置における前記ピクチャ属性値が、前記新たな位置に割り当てられる、請求項３に記載の方法。
【請求項５】
画像のピクチャ属性フィールドを空間的に補間する方法であって、それによって、１つ又は複数のピクチャ属性値が、前記画像内の新たな位置に、該新たな位置と前記本来関連していた位置との間の距離に応じて割り当てられる、方法。
【請求項６】
前記新たな位置に最も近い、本来関連していた位置における前記ピクチャ属性値が前記新たな位置に割り当てられる、請求項２又は５に記載の方法。
【請求項７】
前記割当ては前記距離の二乗に依存する、請求項２〜６のいずれか一項に記載の方法。
【請求項８】
前記新たな位置における前記ピクセル比色パラメータの値を、前記画像の前記ピクセル比色パラメータフィールドの空間補間によって求めるステップをさらに含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記本来関連していた位置における前記ピクセル比色パラメータの値を、前記画像の前記ピクセル比色パラメータフィールドの空間補間によって求めるステップをさらに含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記ピクチャ属性フィールドの空間サンプリング周波数が増大される、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記ピクチャ属性フィールドの空間サンプリング周波数が低減される、請求項１〜９のいずれか一項に記載の方法。
【請求項１２】
前記ピクチャ属性は、動きベクトル、動きベクトル信頼度、セグメントラベル、深度ラベル、テクスチャラベルのうちの１つである、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
画像であって、該画像内のピクセル位置［ｉ，ｊ］におけるピクセル値Ｌｉｊを含むと共に、第１のセットの位置［ｍ，ｎ］における動きベクトル値Ｖｍｎを有する、画像に対して、第２のセットの位置［ｋ，ｌ］における動きベクトル値Ｖｋｌを提供する方法であって、位置［ｍ，ｎ］におけるピクセル値Ｌｍｎを得るステップと、位置［ｋ，ｌ］におけるピクセル値Ｌｋｌを得るステップと、ピクセル値Ｌｍｎとピクセル値Ｌｋｌとの比較によって特定の位置［ｋ，ｌ］に対して対応する位置［ｍ，ｎ］を選択するステップと、前記位置［ｋ，ｌ］に、前記対応する位置［ｍ，ｎ］からの前記動きベクトル値Ｖｍｎを割り当てるステップであって、前記動きベクトル値Ｖｋｌを提供する、割り当てるステップとを含む、方法。
【請求項１４】
前記特定の位置［ｋ，ｌ］に対して対応する位置［ｍ，ｎ］を選択するステップは、ピクセル値Ｌｍｎとピクセル値Ｌｋｌとの間の差の関数であると共に、前記位置［ｋ，ｌ］と前記位置［ｍ，ｎ］との間の距離測定値の関数である割当パラメータＤｍｎ，ｋｌを最小化するステップを含む、請求項１３に記載の方法。
【請求項１５】
前記割当パラメータＤｍｎ，ｋｌは、ピクセル値Ｌｍｎとピクセル値Ｌｋｌとの間の差、及び、前記位置［ｋ，ｌ］と前記位置［ｍ，ｎ］との間の距離測定値の加重和である、請求項１４に記載の方法。
【請求項１６】
前記ピクセル値Ｌｍｎは前記ピクセル値Ｌｉｊからの補間によって得られる、請求項１３〜１５のいずれか一項に記載の方法。
【請求項１７】
前記ピクセル値Ｌｋｌは前記ピクセル値Ｌｉｊからの補間によって得られる、請求項１３〜１６のいずれか一項に記載の方法。
【請求項１８】
請求項１〜１７のいずれか一項に記載の方法を実施するようになっているコードを含む、コンピュータプログラム製品。
【請求項１９】
請求項１〜１７のいずれか一項に記載の方法を実施するように適合及び構成される装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、画像のピクチャ属性フィールドの処理に関する。一実施の形態では、ピクチャ属性フィールドは、画像シーケンス内の画像の動きベクトルフィールドであり、当該ベクトルは、シーケンス内の連続する画像間の、画像において表現されている特徴の位置の変化を記述する。
【背景技術】
【０００２】
フィルムフレーム又はビデオフィールドのような画像シーケンスの処理において動きベクトルを使用することが普及している。動きベクトルは、標準的な変換、たとえば時間サンプルレート変換及びインターレース解除、並びにノイズ低減のような他の処理において使用される。ほとんど常に、画像はピクセルラスタ上で空間サンプリングされ、各ピクセルは、その輝度及び／又は色度を表す１つ又は複数の数値によって表される。
【０００３】
画像シーケンスの動きベクトルを導出する既知の方法は、ブロックマッチング及び位相相関を含む。ブロックマッチングでは、シーケンス内の第１の画像内の位置からの１つ又は複数の連続するピクセルが、シーケンスからの第２の画像内のさまざまな位置におけるピクセルと比較され、ピクセル値の差が最小の位置、すなわち最も近い一致が確立される。第２の画像は画像シーケンス内の第１の画像の前又は後に現れ得る。動きベクトルは、第１の画像内のピクセル又はピクセルグループと、第２の画像内の一致するピクセル又はピクセルグループとの間の変位を記述するために作成される。次いで、このベクトルは比較された１つ又は複数のピクセルと関連付けられる。
【０００４】
位相相関では、画像は複数のピクセルブロックに分割され、各ブロックに二次元フーリエ変換が適用される。シーケンスの連続する画像内の同一場所にあるブロックのそれぞれの空間周波数成分間の位相差が評価されて、１つの画像から次の画像への画像特徴の位置の変化が求められる。これらの位相差を使用して動きベクトルを計算することができる。位相相関は、動きの２つ以上の方向を単一のピクセルブロックから求めることができる（たとえば、ブロック内で表現される、異なる動きをする２つの物体が存在する場合がある）という、ブロックマッチングに勝る利点を有する。
【０００５】
動きベクトルが求められる方法にかかわらず、各ベクトルは常に特定のピクセル、ピクセルグループ、又はブロックと関連付けられる。これは、画像から導出されるベクトルのセットが空間サンプリングされることを意味し、通常、ベクトルはすべてのピクセルからは導出されないため、ベクトルフィールドの空間分解能は通常、当該ベクトルフィールドが属する画像の空間分解能よりも低い。
【０００６】
多くの画像処理タスクにおいて、ベクトルの空間サンプリングが、ベクトルの導出に使用される動き推定プロセスの固有のサンプリングパターンと異なる動きベクトルフィールドにアクセスすることができることが有益である。たとえば、すべてのピクセルに対して少なくとも１つのベクトルが必要であり得る（複数のピクセルブロックからベクトルが導出される）か、又は、画像を、当該画像が受信されたサンプリングラスタとは異なるサンプリングラスタに再サンプリング、デシメート、又は補間するのに適切なベクトルが必要とされ得る。
【０００７】
より一般的には、ピクチャ属性の前の空間サンプリングとは異なる、ピクチャ属性の新たな空間サンプリングを有する任意のピクチャ属性のフィールドにアクセスすることができることが有益であり得る。
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明は、画像の新たなピクチャ属性フィールドを、当該画像の既存のピクチャ属性フィールド、及び当該画像のピクセル比色パラメータフィールドから得る方法及び装置であって、画像内の１つ又は複数の新たな位置に関して、本来関連していた位置におけるピクチャ属性値を、本来関連していた位置におけるピクセル比色パラメータの値、及び新たな位置における上記ピクセル比色パラメータの値に応じて、画像内の新たな位置に割り当てるステップを含む、方法及び装置の一態様に存する。
【０００９】
ピクチャ属性値を割り当てるステップは、新たな位置と、本来関連していた位置との間の距離に依存し得る。
【００１０】
一実施の形態では、割当ては、距離パラメータ及びピクセル比色値差の加重和に依存する。上記加重和の最小値に対応する、本来関連していた位置におけるピクチャ属性値は、上記新たな位置に割り当てられることができる。
【００１１】
本発明の第２の態様では、画像のピクチャ属性フィールドを空間的に補間する方法であって、それによって、１つ又は複数のピクチャ属性値が、上記画像内の新たな位置に、当該新たな位置と本来関連していた位置との間の距離に応じて割り当てられる、方法が提供される。
【００１２】
新たな位置に最も近い、本来関連していた位置におけるピクチャ属性値を新たな位置に割り当てることができる。割当ては上記距離の二乗に依存し得る。
【００１３】
新たな位置及び／又は本来関連していた位置におけるピクセル比色パラメータの値は、画像のピクセル比色パラメータフィールドの空間補間によって求めることができる。
【００１４】
特定の実施形態では、ピクチャ属性フィールドの空間サンプリング周波数が増大される。
【００１５】
他の実施形態では、ピクチャ属性フィールドの空間サンプリング周波数が低減される。
【００１６】
ピクチャ属性は、動きベクトル、動きベクトル信頼度、セグメントラベル、深度ラベル、テクスチャラベルのうちの１つとすることができる。一般に、ピクチャ属性は、任意の区分的に連続する属性、すなわち、表現される物体の異なる画像構造又は性質に対応するその値において不連続性を有すると予期される量とすることができる。ピクチャ属性は、ピクチャ属性値が、見える画像を形成するピクセル値とは区別されると言う意味で、見えないものとみなすことができる。
【００１７】
本発明はまた、本発明による方法を実施するようになっているコードを含むコンピュータプログラム製品に関する。
【００１８】
本発明の一例を、これより図面を参照して説明する。
【図面の簡単な説明】
【００１９】
【図１】ベクトルが利用可能な位置とは異なる多数のピクセル位置における動きベクトルの使用を示す図である。
【図２】本発明の一実施形態による動きベクトル補間器のブロック図である。
【発明を実施するための形態】
【００２０】
本発明を、これより動きベクトルフィールドを参照して説明する。しかしながら、当業者であれば、本発明を、画像に関連づけられる他のピクチャ属性フィールドに同様に適用することができることを認識するであろう。画像のピクチャ属性フィールドを生じさせることができるピクチャ属性は、限定ではないが、テクスチャラベル、セグメントラベル、深度推定値、動きベクトル、及び動きベクトル信頼度基準によって例示される。このようなピクチャ属性フィールドの作成は、当業者には既知であるため、本明細書においてはこれ以上詳細には説明しない。本明細書において考察される動きベクトルフィールドと同様に、多くの画像処理タスクにおいて、本来の空間サンプリングパターンと異なる空間サンプリングパターンにおけるこれらのピクチャ属性のフィールドにアクセスすることができることが有益である。
【００２１】
以下の説明は画像シーケンス内の動きベクトルに関するが、本発明は、単一画像内のピクチャ属性にも適用することができる。
【００２２】
画像シーケンスが一様な動きを表現する、たとえばカメラが静止背景にわたってパンする場合、シーケンス内の一対の画像の間で導出される動きベクトルフィールドはほぼ一様である。すなわち、画像内で、異なるが接近して離間されている位置において導出される動きベクトルは、ほぼ同様である。したがって、画像内の特定の位置において動きベクトルが必要とされる場合、重大な誤りを有しない近接する点からのベクトルを使用することが可能である。
【００２３】
図１は、この原理の応用の一例を示す。図において、動きベクトルが必要とされる位置が×印でマークされ、ベクトルが利用可能な位置が○印でマークされている。矢印は、ベクトルが必要とされる各位置に最も近い利用可能なベクトル位置を示す。たとえば、ベクトルが必要とされる点（１）は、ベクトルが利用可能な点（２）に最も近い。したがって、点（２）からの利用可能なベクトルが点（１）において使用され、これは図において矢印（３）によって示されている。点（４）及び（５）も、ベクトルが利用可能な他のいずれの点よりも点（２）に近く、したがって点（２）からのベクトルがこれらの点においても使用される。
【００２４】
この技法は、ベクトルフィールドの空間サンプリング周波数の増大又は低減のいずれかに使用することができる（図１の例では、フィールドは垂直方向にアップサンプリングされ、水平方向にダウンサンプリングされる。）。
【００２５】
画像の異なる部分が異なる速度で動いている場合、たとえば、多数の独立して動いている物体が表現される場合、ベクトルフィールドは一様でなくなり、１つの動いている物体に関連するベクトルが他の近接する物体に対応する画像領域において使用される場合、図１の方法は誤りを生じやすくなる。
【００２６】
この問題は、ピクセルの輝度（又は別の比色パラメータ）が利用可能なベクトルの選択に使用されるシステムによって克服することができる。このようなシステムを図２に示す。
【００２７】
以下の説明において、距離及びピクセル比色パラメータの両方が、新たな位置に割り当てられるベクトルの選択に使用される。しかしながら、全ての実施形態において距離を使用する必要はなく、新たな位置に割り当てられるベクトルの選択は、下記で説明されるように、ピクセル比色パラメータのみに基づいて行うことができる。
【００２８】
図２において、画像シーケンスからのピクセル比色パラメータ値ＬｉｊＦ（２０）のセットが使用されて、出力動きベクトル［Ｖｘ，Ｖｙ］ｋｌＦ（２１）のセットが生成される。パラメータ値ＬｉｊＦは通常、それぞれの水平座標ｉ及び垂直座標ｊによって規定される、走査ラスタ内の位置における、シーケンスの画像Ｆのピクセルの輝度値である。出力ベクトル［Ｖｘ，Ｖｙ］ｋｌＦのセットは、ベクトルが必要とされる走査ラスタ内のそれぞれの水平座標ｋ及び垂直座標ｌによって規定される画像位置に関連付けられる。
【００２９】
動き推定器（２２）は、シーケンスの連続する画像を比較して、既知の動き推定技法のうちのいずれかによって、いくつか又は全ての画像の動きベクトル［Ｖｘ，Ｖｙ］ｍｎＦ（２５）のセットを生成する。これらのベクトルは、それぞれの水平座標ｍ及び垂直座標ｎによって規定される、画像内の位置に対応する。通常、一組の座標位置ｍ，ｎは、動き推定器（２２）によってベクトルを計算するのに使用されるピクセルブロックの中心である。座標位置ｍ，ｎはピクセル（２０）のいずれかに必ずしも対応する必要はなく、各座標位置に関連付けられる２つ以上のベクトルが存在してもよい。
【００３０】
補間器（２３）は、入力パラメータ値（２０）から比色パラメータ値ＬｋｌＦ（２６）を計算し、それぞれの水平座標ｋ及び垂直座標ｌは、出力動きベクトル（２１）が必要とされる位置を表す。補間器（２３）は、既知の空間補間又はデシメーションの技法のいずれかを使用して入力値ＬｉｊＦ（２０）の位置以外の位置における比色パラメータＬの値を得ることができる。このような方法は、変数分離可能であってもよいし、又は変数分離可能でなくてもよい、線形フィルタ及び非線形フィルタを含む。
【００３１】
第２の補間器（２４）は、入力パラメータ値（２０）から比色パラメータ値ＬｍｎＦ（２７）を計算し、それぞれの水平座標ｍ及び垂直座標ｎは、動き推定器（２２）からの動きベクトル（２５）の位置に対応する位置を表す。補間器（２４）は、補間器（２３）と同様に動作するか、又は何らかの他の既知の空間補間又はデシメーション技法を使用することができる。
【００３２】
当業者であれば、比色パラメータ値ＬｋｌＦ（２６）及び比色パラメータ値ＬｍｎＦ（２７）の一方又は両方がピクセル比色パラメータ値ＬｉｊＦ（２０）に対応する場合があるため、これらのピクセル比色パラメータ値の両方を常に補間する必要はないことを理解するであろう。加えて、補間器（２３，２４）は別個に示されているが、任意の機能的に均等な構成を使用することができる。
【００３３】
出力動きベクトル［Ｖｘ，Ｖｙ］ｋｌＦ（２１）は、ユークリッドピクセル間距離及び比色パラメータ値差に応じて、動きベクトル［Ｖｘ，Ｖｙ］ｍｎＦ（２５）を、必要とされる出力座標位置ｋ，ｌに割り当てる動きベクトル割当ブロック（２９）によって求められる（図１において、矢印（３）の長さは、必要とされるサンプル位置（１）と利用可能なベクトル位置（２）との間のユークリッド距離を表す。）。
【００３４】
ベクトルは、「割当パラメータ」の最低値を有するベクトルを見つけることによって割り当てられ、当該割当パラメータは、ベクトルが求められた位置及び必要とされる出力ベクトル位置、並びにこれらの２つの位置における比色パラメータの値の間の差に基づく。
【００３５】
割当パラメータは以下のように規定される。
【００３６】
Ｄ［（ｍ，ｎ），（ｋ，ｌ）］＝ｗ１．ｒ（ｍ，ｎ），（ｋ，ｌ）２＋ｗ２．｜Ｌｍｎ−Ｌｋｌ｜
式中、ｒ（ｍ，ｎ），（ｋ，ｌ）は利用可能なベクトル位置（ｍ，ｎ）と必要とされる出力ベクトル位置（ｋ，ｌ）との間のユークリッド距離であり、ｗ１及びｗ２は重み係数である。
【００３７】
一実施形態において、ユークリッド距離が入力ピクセルの格子上で測定され、且つ比色パラメータ値が８ビット整数で表される場合、ｗ２はｗ１よりも２０倍大きい。
【００３８】
一実施形態において、ｗ１はゼロであり、割当パラメータは２つの位置における比色パラメータのみによって決まる。
【００３９】
図２において、ｒ（ｍ，ｎ），（ｋ，ｌ）２の全ての値が、（必要とされる出力ベクトル位置の知識、及び動き推定器（２２）によって使用される方法の知識から）事前に計算され、端子（２８）においてベクトル割当ブロック（２９）に入力される。ブロック（２９）は、比色値ＬｋｌＦ（２６）及びＬｍｎＦ（２７）も受け取り、したがって、上記式に従って、必要とされる各出力ベクトル位置（ｋ，ｌ）の割当パラメータＤ［（ｍ，ｎ），（ｌ，ｆ）］を求めることができる。実際には全ての変更された距離を計算する必要はなく、関連する入力ピクセル位置及び出力ピクセル位置を包含する領域に計算を限定することが有益であり得る。
【００４０】
必要とされる各出力ベクトル位置（ｋ，ｌ）に対して、最低変更割当パラメータＤ［（ｍ，ｎ），（ｋ，ｌ）］を有するベクトル位置（ｍ，ｎ）が見つけられる。位置（ｍ，ｎ）に関して、動き推定器（２２）によって計算される、対応するベクトル［Ｖｘ，Ｖｙ］ｍｎＦが、動きベクトル割当ブロック（２９）によって出力ベクトル位置（ｋ，ｌ）に割り当てられ、端子（２１）において出力される。動き推定器（２２）が特定の位置（ｍ，ｎ）に対して２つ以上のベクトルを生成する場合、その位置からの全てのベクトルが、選択される出力ベクトル位置（ｋ，ｌ）に割り当てられる。２つ以上のベクトル位置が同じ最短変更距離値をもたらす場合、任意の既知の技法を使用して単一の出力ベクトルを計算することができる。たとえば、ランダムに選択を行うことができるか、又は、動きベクトル値の平均、若しくは、最短ユークリッド距離若しくは最小比色パラメータ値差のいずれかを有するベクトル位置を取ることができる。
【００４１】
本発明を一例として説明してきたが、他の実施形態が可能である。たとえば、色相、飽和、又は色成分値（たとえば、赤、緑、若しくは青）のような、輝度以外の比色パラメータを輝度の代わりに使用することができる。
【００４２】
通常、本発明はビデオデータストリームのピクチャ属性フィールドに対して実行することができる。しかしながら、本発明は、ビデオデータのファイルのピクチャ属性フィールドの処理、及びいくつかの実施形態では単一画像のピクチャ属性フィールドの処理にも適用することができる。
【００４３】
当業者には明らかになるように、説明された本発明は、当業者にとって適切であると思われるように、ハードウェア及びソフトウェアの両方において実施することができる。
【００４４】
上記で特定の実施形態を参照して例示及び説明したが、それにもかかわらず、本発明は示された詳細に限定されるようには意図されていない。そうではなく、添付の特許請求の範囲によって規定される本発明から逸脱することなく、さまざまな変更を行うことができる。
【図１】
2009545222.tif 000003
【図２】
2009545222.tif 000004
【国際調査報告】
2009545222.tif 000005
2009545222.tif 000006
2009545222.tif 000007