(57)【要約】【課題】実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器と、実質的にピクセル精度で検出されたオクルージョン領域となる、第一パラグラフに記載されている種類の、オクルージョン領域を検出する方法と、そのオクルージョン検出器が実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器と、そのオクルージョン検出器が実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器を有する画像処理装置とを提供すること。【解決手段】画像(100)におけるオクルージョン領域(108、110)を検出するためのオクルージョン検出器(200、201、203、205、207)は、動きベクトルの組から、少なくとも2つの動きベクトル(118、120)を選択するための動きベクトル・セレクタ(202)を有する。それは、画像(100)の特定のピクセル(112)の特定の値と更なる画像(102)の第2のピクセル(116)の第2の値および第3のピクセル(114)の第3の値との間の第1および第2のピクセル値の差を計算するためのピクセル値コンパレータ(206)を更に有する。オクルージョン検出器(200、201、203、205、207)は、第1および第2のピクセル値の差が、第1の既定のしきい値および第2の既定のしきい値より、それぞれ、大きいか否かをチェックすることによって、特定のピクセル(112)がオクルージョン領域(108、110)の1つに属するか否かを判定するための判断ユニット(204)を更に有する。
2005509230.tif 000002
【特許請求の範囲】
【請求項１】
一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、前記第1の画像のオクルージョン領域を検出するためのオクルージョン検出器において、前記オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルを、前記第1の動きベクトルと前記第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から選択するための動きベクトル・セレクタと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセル(113)と前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の第4のピクセルの前記第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルとの交点に対応する前記第1の画像の特定のピクセルが前記オクルージョン領域の一つに属するか否かを、判断するための判断ユニットとを有することを特徴とするオクルージョン検出器。
【請求項２】
前記動きベクトル・セレクタが、前記特定のピクセルおよび前記第1の動きベクトルが対応するピクセルの特定のグループに属する別なピクセルとの間の距離に基づき、前記第1の動きベクトルを選択するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
【請求項３】
前記動きベクトル・セレクタが、前記動きベクトルの組の動きベクトルに対する出現の頻度を判断し、かつ前記出現の前記頻度に基づき前記第1の動きベクトルを選択するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
【請求項４】
前記ピクセル値コンパレータが、前記第1の値と前記第2の値との間で絶対差を計算するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
【請求項５】
前記動きベクトル・セレクタが、前記第1の画像および前記第3の画像のピクセルのそれぞれのグループに対して推定される動きベクトルを有する前記組を用いて、前記動きベクトルの組から前記第1の動きベクトルを選択するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
【請求項６】
前記オクルージョン検出器が、前記第1の既定のしきい値を判断するために、測定ユニットを有することを特徴とする請求項1に記載のオクルージョン検出器。
【請求項７】
オクルージョン領域を検出する方法であって、一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき前記第1の画像のオクルージョン領域を検出する方法において、前記方法が、
- 第1の動きベクトルと第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から前記第1の動きベクトルおよび前記第2の動きベクトルを選択するための動きベクトル選択ステップと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値比較ステップと、
- 前記第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルの交点に対応する前記第1の画像の特定のピクセルが、前記オクルージョン領域の１つに属するか否かを判断するための判断ステップとを有することを特徴とする方法。
【請求項８】
- 動きベクトルの組を計算するための動きベクトル推定器、
- 前記動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器、および
- 前記オクルージョン検出器の出力に基づき、特定のピクセルに特定の動きベクトルを割り当てるための動きベクトル割り当てユニットにおいて、前記オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から、前記第1の動きベクトルおよび前記第2の動きベクトルを選択するための動きベクトル・セレクタと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が、第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルの交点に対応する前記第1の画像の特定のピクセルが、前記オクルージョン領域の１つに属するか否かを判断するための判断ユニットとを有することを特徴とする動き割り当てユニットを有する動き推定器。
【請求項９】
- 表示される第1の画像を表現している信号を受信するための受信手段、
- 一連の連続画像に属する前記第1の画像を用いて、動きベクトルの組に基づき、前記第1の画像のオクルージョン領域を検出するためのオクルージョン検出器を有する動き推定器、および
- 動き補償画像処理ユニットであって、
前記オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から、前記第1の動きベクトルおよび前記第2の動きベクトルを選択するための動きベクトル・セレクタと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が、第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルの交点に対応する前記第1の画像の特定のピクセルが、前記オクルージョン領域の１つに属するか否かを判断するための判断ユニットとを有することを特徴とする動き補償画像ユニットを有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器に関する。
【０００２】
本発明は、更に、一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出する方法に関する。
【０００３】
本発明は、更に、
- 動きベクトルの組を計算するための動きベクトル推定器と、
- 一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器と、
- オクルージョン検出器の出力に基づき、特定のピクセルに特定の動きベクトルを割り当てるための動きベクトル割り当てユニットとを有する動き推定器に関する。
【０００４】
本発明は、更に、
- 表示される第1の画像を表している信号を受信するための受信手段と、
- 一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器を有する動き推定器と、
- 動き補償画像処理ユニットとを有する画像処理装置に関する。
【背景技術】
【０００５】
オクルージョン領域とは、一連の連続画像のある画像内では見えるが、次の画像または前の画像内では見えない、取り込まれつつあるシーンの一部に対応する領域を意味する。これは、背景オブジェクトよりカメラの近くに位置するシーン内の前景オブジェクトが、背景オブジェクトの部分を覆う可能性があるという事実によって生じる。例えば、前景オブジェクトが動く場合、背景オブジェクトのある部分は、隠れ、一方、背景オブジェクトのそれ以外の部分は、覆われない。
【０００６】
オクルージョン領域は、時間的補間の際、アーティファクトの原因となる可能性がある。例えば、アップ・コンバージョン(up-conversion)の場合、オクルージョン領域は、いわゆるハローとなる可能性がある。この場合、アップコンバーターで変換された出力画像を時間的補間によって計算するために、動きベクトルが、推定される。時間的補間のために、全く同一のオブジェクトに関連していることが好ましい多くのピクセルが、連続画像から取り込まれる。これは、オクルージョン領域の場合、関連したピクセルを連続画像において見つけることが出来ないので、直接行うことは出来ない。他の補間戦略が、必要とされる。
【０００７】
第一パラグラフに記載されている種類のオクルージョン検出器の一実施例は、WO0011863により公知である。WO0011863で明記されたオクルージョン検出器は、問題領域、すなわち、ある画像のオクルージョン領域を、その画像に対して計算されている動きベクトル場において検出される輪郭に基づき、識別するように設計される。しかしながら、結果は、非常に粗悪である。第一に、この粗悪さは、前景オブジェクトの輪郭のポジションは、通常、知られるであろうが、ハロー領域の範囲は知られないという事実に起因する。第二に、動きベクトル場が、それ自身、変位する可能性がある。この変位は、存在しないかつ偽りのオクルージョン輪郭が発生し得るほど大きくなる可能性さえある。
【０００８】
【特許文献１】WO0011863
【特許文献２】出願番号EP 0104647
【非特許文献１】「三次元帰納的検索ブロック・マッチングを備えた真の動き推定(True-Motion Estimation with 3-D Recursive Search Block Matching)」(by G. de Haan et. Al)( IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379)
【非特許文献２】「適応背景の推定のための新しいプログラム用算法言語」(by D. Gao, J. Zhou and L. Xin)( Proceedings ICIP 2001 pp. 395-398)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の第1の目的は、実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を提供することである。
【００１０】
本発明の第2の目的は、実質的にピクセル精度で検出されたオクルージョン領域となる、第一パラグラフに記載されている種類の、オクルージョン領域を検出する方法を提供することである。
【００１１】
本発明の第3の目的は、そのオクルージョン検出器が、実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器を提供することである。
【００１２】
本発明の第4の目的は、そのオクルージョン検出器が、実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器を有する画像処理装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明の第1の目的は、オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルを、前記第1の動きベクトルと前記第2動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から選択するための動きベクトル・セレクタと、
-第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルとの交点に対応する前記第1の画像の特定のピクセルが前記オクルージョン領域の一つに属するか否かを、判断するための判断ユニットとを有することにより達成される。
【００１４】
動き推定の分野において、一致基準は、非常に頻繁に、逐次的画像の対応するピクセルの値の間の差を最小にすることに基づく。対応するピクセル間の関係は、動きベクトルにより与えられる。差を計算するために、ある画像のピクセルのグループは、更なる画像のピクセルのグループと比較される。ピクセルの値の間の差を最小にする代わりに、本発明によるオクルージョン検出器は、ピクセル値の間の差が、既定のしきい値より大きいか否か、すなわち、第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第2の既定のしきい値より大きいか否かを判断する。その領域が隠されている、すなわち、覆われている画像のピクセルのグループを、その領域が覆われていない別の画像のピクセルのグループと比較することによって、オクルージョン領域に対して、正しい動きベクトルを、直接計算することは、不可能である。言い換えると、それが他の画像において見えない場合、その画像において見える何かとマッチングをとること、およびその逆も、不可能である。それ故に、部分的または実質的にオクルージョン領域に対応している、ピクセルのグループに対して推定された動きベクトルが誤っている確率は、高い。本発明によるオクルージョン検出器は、１つの特定のピクセルのために少なくとも2つの推定された関連する動きベクトルをチェックするように設計されている。チェックすることは、ピクセル値の差を既定のしきい値と比較することを意味する。この差がしきい値より大きい場合、動きベクトルは、その特定のピクセルに対して不正確であるとみなされ、その特定のピクセルは、あるオクルージョン領域の一部であると分類される。第1の既定のしきい値と第2の既定のしきい値は、互いに等しくさせることが出来る。
【００１５】
本発明によるオクルージョン検出器を用いると、計算された画像のオクルージョン領域を検出すること、またはカメラによって得られる画像に基づき時間的補間によって計算される画像のオクルージョン領域を検出することが、可能となる。例えば、第2の画像が、最初に得られ、その後、第3の画像が続く。第1の画像は、第2と第3の画像の時間的補間によって計算されなければならない。しかしながら、本発明によるオクルージョン検出器を用いると、カメラによって得られた画像内のオクルージョン領域を検出することも、さらに可能である。その場合、第1および第2の画像は、全く同一の画像であり、かつその特定のピクセルは、第1のピクセルおよび第3のピクセルに対応する。以下、本例は、本発明によるオクルージョン検出器の働きを説明するために使用されるであろう。
【００１６】
本発明によるオクルージョン検出器の働きは、監視アプリケーションの簡単な具体例によって示すことが可能である。ある画像は、部屋の中の第1の位置に人がいる部屋を示し、次の画像は、第2の位置に同じ人がいる同じ部屋を示すと仮定しよう。2つの画像を取り込んだカメラは移動せず、ズームはこの2つの画像を取り込む期間で調整されなかった。この場合、適用可能な2つの動きベクトルのみが存在する、すなわち、動きベクトルの組は、2つの動きベクトルのみ、部屋のピクセルに関連した背景の動きベクトルと人のピクセルに関連した前景の動きベクトルを有すると仮定することは、合理的である。しかしながら、オクルージョン領域に位置するピクセルに関して、これらの動きベクトルのいずれも、正しくない。ピクセル値の差は、相対的に大きいであろう。
【００１７】
上記の具体例において、2つの動きベクトルのみが存在すると仮定される。しかしながら、例えば、ノイズのため、複数の前景の動きベクトルが動きベクトルの組にあると仮定しよう。この場合、第1および第２の動きベクトルは、ベクトル差、すなわち、この組の動きベクトル間の長さおよび方向の差を比較することによって選択されなければならない。これらの差は、第1および第2の動きベクトルを選択するために、相対的に大きいことが、好ましい。一方、1つのオブジェクト、例えば、具体例における人に対応する2つの動きベクトルを、選択することが出来る。第1の動きベクトルは、背景の前面に位置するオブジェクトに対応し、かつ、第2の動きベクトルは、背景に対応すること、または、その逆が好ましい。
【００１８】
本発明のオクルージョン検出器の主要な利点は、それがアップ・コンバージョンにおけるピクセル精度のハロー低減を可能にするということである。しかしながら、画像強調をコントロールするためにオクルージョン領域を検出することは、さらに興味深い。例えば、オクルージョンが検出される領域の画像強調のレベルを減らすためにである。
【００１９】
本発明によるオクルージョン検出器の一実施例の場合、前記動きベクトル・セレクタが、前記特定のピクセルおよび前記第1の動きベクトルが対応するピクセルの特定のグループに属する別なピクセルとの間の距離に基づき、前記第1の動きベクトルを選択するように設計されている。1つのグループのピクセルは、ピクセルブロックを構成することが出来る、または、それらは、任意の形成されたオブジェクトに対応することが出来る。部屋と人とを伴う上記の具体例において、動きベクトルの組は、2つの要素を有する、すなわち、2つの動きベクトルを有する。しかしながら、動きベクトルの組が2つより多い動きベクトルを備える場合、第1および第2の動きベクトルを選択するための基準を備えることは、重要である。特定のピクセルと別のピクセルとの間の空間的距離は、この種の基準である。特定のピクセルと別のピクセルとの間の相対的に小さい空間距離は、別のピクセルが属するピクセルの特定のグループに対応する動きベクトルが関連することを意味する。動きベクトルは、特定のピクセルが属するピクセルのグループの近傍である、ピクセルのグループから選択されることが好ましい。さらに、特定のピクセルが属するピクセルのグループの動きベクトルも、選択のための良好な一つの候補である。
【００２０】
本発明によるオクルージョン検出器の一実施例の場合、前記動きベクトル・セレクタが、前記動きベクトルの組の動きベクトルに関する出現の頻度を判断し、かつ前記出現の前記頻度に基づき前記第1の動きベクトルを選択するように設計されている。第1の動きベクトルと第2の動きベクトルを選択するための一つの基準は、出現の頻度である。ある画像のピクセルの相対的に多くのグループに対して、動きベクトルが、特定の値、すなわち長さと方向によって推定された場合、この種の動きベクトルが関連し、かつ選択されるべきであるという確率は、相対的に高い。ある画像の動きベクトルのあるヒストグラム、またはその画像のある部分の動きベクトルのあるヒストグラムを求めることは、可能である。後者の場合、画像のその部分が特定のピクセルの近くに位置することが好ましい。
【００２１】
本発明によるオクルージョン検出器の一実施例の場合、前記ピクセル値コンパレータは、前記第1の値と前記第2の値との間で絶対差を計算するように設計されている。例えば、二乗の差を計算することも、可能である。絶対差を計算することの利点は、それが相対的に扱いやすい計算であるということである。
【００２２】
本発明によるオクルージョン検出器の一実施例の場合、前記動きベクトル・セレクタが、前記第1の画像および前記第3の画像のピクセルのそれぞれのグループに対して推定される動きベクトルを有する前記組を用いて、前記動きベクトルの組から前記第1の動きベクトルを選択するように設計されている。動きベクトルの組は、第1の画像のピクセルのグループに対して推定された動きベクトルを有することが可能である。しかしながら、動きベクトルの組は、さらに他の画像、例えば第3の画像の、ピクセルのグループに対して推定される動きベクトルを有することも可能である。
【００２３】
本発明によるオクルージョン検出器の一実施例の場合、前記オクルージョン検出器が、前記第1の既定のしきい値を判断するために、測定ユニットを有する。この実施例の利点は、オクルージョンの検出が画像内容に合うよう調整することが出来ることである。
【００２４】
オクルージョン検出器の修正とそれの変更は、ここで記載される動き推定器、オクルージョン領域を検出する方法、並びに画像処理装置の修正および変更に対応するであろう。画像処理装置は、更なるコンポーネント、例えば、処理された画像を表示するための表示デバイスを有することも出来る。動き補償画像処理ユニットは、以下のタイプの画像処理の一つ以上をサポートすることが出来る。
【００２５】
- デインタレーシング(de-interlacing)
インタレースは、奇数と偶数の番号をつけられた画像ラインを交替に送信するための一般のビデオ放送手続きである。デインタレーシングは、全垂直解像度を回復することを試みる、すなわち、奇数と偶数のラインを各画像に対して同時に利用可能にする。
【００２６】
- アップ・コンバージョン
一連のオリジナルの入力画像から、より大きな一連の出力画像が、計算される。出力画像は、2つのオリジナルの入力画像の間に時間的に位置する。
【００２７】
- 時間的雑音除去
これは、更に、空間処理も含むことが出来、空間的と時間的の雑音を除去する。
【００２８】
高品質の動きベクトルとオクルージョン検出は、さらに画像圧縮の分野においても重要である。それ故、オクルージョン領域を検出することは、さらに画像圧縮アプリケーションにも関連する。
【発明を実施するための最良の形態】
【００２９】
本発明のオクルージョン検出器、動き推定器、オクルージョン領域を検出する方法および画像表示装置の上記および上記以外の観点は、以下に記載する実施態様と実施例に関して、および添付の図面を参照して明らかになり、かつ解明されるであろう。
【００３０】
一致している参照符号は、図の全てにおいて同じ意味を持つ。
【００３１】
図1Aは、本発明のオクルージョン検出器200の働きを線図的に示すために、オクルージョン領域108、110を備えた2つの画像100、102を示す。画像100は、部屋の中の第1の位置に人104がいる部屋を示し、他の画像102は、第2の位置に同じ人104がいる同じ部屋を示す。2つの画像100、102を取り込んだカメラは移動せず、ズームは調整されなかった。適用可能な2つの動きベクトル118、120のみがある、すなわち、動きベクトルの組は、2つの動きベクトルのみ、部屋のピクセルに関連した背景の動きベクトル120と人104のピクセルに関連した前景の動きベクトル118を有する。背景の動きベクトル120を計算するために、ピクセルのグループ122が、使用される。表された矢印の長さは、ゼロに等しい背景の動きベクトル120の長さと関係ないことに留意されたい。オクルージョン領域108、110に位置するピクセルに関して、これらの動きベクトル118、120のいずれも正しくない。このことは、以下のテストが実行されたあと、断定される。最初に、ピクセル111の輝度値とピクセル114の輝度値との間の差が、第1の既定のしきい値と比較される。適用された動きベクトルがゼロに等しい背景の動きベクトル120であるので、ピクセル111と114のピクセル座標は、互いに等しい。輝度差が第1の既定のしきい値より大きい確率が、高い（ピクセル111は、部屋に属し、ピクセル114は、人104に属する）。次に、ピクセル111の輝度値とピクセル116の輝度値との間の差が、第2の既定のしきい値と比較される。ピクセル111と114のピクセル座標は、異なり、適用された動きベクトルは、前景の動きベクトル118であり、それは人の第１および第２の位置の間の空間的距離に関係する。この輝度差が、第２の既定のしきい値より大きい確率が、高い（ピクセル111は、部屋に属し、ピクセル116は、部屋の別の一部に属する）。これらの比較に基づき、ピクセル111がオクルージョン領域に位置すると考えられる。第1の既定のしきい値と第2に既定のしきい値は、互いに等しくすることが出来る。
【００３２】
図1Bは、図1Aより示される動きベクトル118、120と、ピクセル111、114および116との間の1次元での関係を示す。図1Cは、3つの画像100、101、102、すなわち、2つの取り込まれた画像100、102と、補間された画像101の場合、動きベクトル118、120と、ピクセル112〜116との間の1次元の関係を示す。図1Bを図1Cと比較するときに、図1Aと関連して記載されている具体例が特例であることは明らかになる。第1の画像101と第2の画像100は、全く同一である。ピクセル111、113および115も、全く同一のピクセルである。図2Aにおいて、さらにこの種の場合に対しても機能するオクルージョン検出器200が記載されている。
【００３３】
図1Cにおいて、次の画像からのピクセル間の関係が、線図的に示されている。それは、アップ・コンバージョンの場合と一致する。補間された画像101は、少なくとも2つのオリジナルの画像100、102に基づき、時間的補間によって計算されている。本発明によるオクルージョン検出器200は、補間されたこの種の画像101のピクセルに対して、それらがオクルージョン領域に位置するか否かを判断するように設計される。オクルージョン検出器200は、
【００３４】
- 第1の動きベクトル118と第2動きベクトル120との間の実質的なベクトル差に基づき、動きベクトルの組から、第1の動きベクトル118と第2の動きベクトル120を選択するための動きベクトル・セレクタ202と、
- 第1のピクセル115から第2のピクセル116までの第1の動きベクトル118を用いて、第1のオリジナルの画像100の第1のピクセル115の第1の値と第２のオリジナルの画像102の第2のピクセル116の第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセル113から第4のピクセル114までの第2の動きベクトル120を用いて、第1のオリジナルの画像100の第3のピクセル113の第3の値と第2のオリジナルの画像102の第4のピクセル114の第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータ206と、
- 第1のピクセル値の差が、第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることにより、第1の動きベクトル118と第2の動きベクトル120との交点に対応する補間された画像101の特定のピクセル112がオクルージョン領域の一つに属するか否かを、判断するための判断ユニット204とを有する。ピクセル112〜116間の関係は、第1の動きベクトル118と第2の動きベクトル120により与えられる。第1のオリジナルの画像100と補間された画像101との間の時間差T１と第2にオリジナルの画像102と補間された画像101との間の時間差T2は、極めて重要である。例えば、第1の動きベクトル118は、第1のオリジナルの画像100の画素と第２のオリジナルの画像102との間の垂直のオフ組Vy(T１+T2)および水平のオフ組Vx(T１+T2)、即ち、時間T１+T2の間の動きを示す。T１=T2と仮定する。すると、第1のオリジナルの画像100の画素と補間された画像101との間の垂直のオフ組Vy(T１)および水平のオフ組Vx(T１)を、容易に計算することが出来る。Vy(T１)=Vy(T１+T2)/2 ; Vx(T１)=Vx(T１+T2)/2 。T１とT2の他の値に対して、同様の計算を、実行することが出来る。それ故、ある画像におけるピクセル座標が与えられると、別の画像における別のピクセルの座標を、動きベクトルと時間差によって計算することが出来る。これは、動きベクトルを直接に適用することによって、または部分的なオフ組を計算することにより、可能となる。例えば、
【００３５】
- 第1のオリジナルの画像100のピクセル115に動きベクトル118を適用することによって、第２のオリジナルの画像102のピクセル116を、直接、見い出すことが出来;
- 第２のオリジナルの画像102のピクセル116に動きベクトル118の逆を適用することにより、第1のオリジナルの画像100のピクセル115を、直接、見い出すことが出来;
- 補間された画像101のピクセル112が与えられた場合、動きベクトル118と時間差T１、T2とに基づき部分的なオフ組を計算することになり、第1のオリジナルの画像100のピクセル115を、計算することが出来;
- 補間された画像101のピクセル112が与えられた場合、動きベクトル118と時間差T１、T2とに基づき部分的なオフ組を計算することによって、第2のオリジナルの画像102のピクセル116を、計算することが出来る;
動きベクトルは、ピクセルから始まり、そのピクセルで終了、または、交差する。2つの動きベクトルが、１つのピクセルから始まる、または１つのピクセルで終了する場合、これは、交点として理解することも出来る。適切なピクセルの座標が計算された場合、対応しているピクセル値は、第1のピクセル値の差と第2のピクセル値の差を計算するためにフェッチすることが出来る。次に、これらの差は、既定のしきい値と比較される。
【００３６】
図2Aは、
- 第1の動きベクトル118と第2の動きベクトル120を、第1の動きベクトル118と第2動きベクトル120との間の実質的なベクトル差に基づき、動きベクトルの組から選択するための動きベクトル・セレクタ202と、
- 特定のピクセル111と第1の動きベクトル118により与えられる第2のピクセル116との間の第1の関係を用いて、 画像100の特定のピクセル111の特定の値と別の画像102の第2のピクセル116の第2の値との間の第1のピクセル値の差を計算し、かつ、特定のピクセル111と第2の動きベクトル120により与えられる第3のピクセル114との間の第2の関係を用いて、特定の値と他の画像102の第3のピクセル114の第3の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータ206と、
- 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第２の既定のしきい値より大きいか否かをチェックすることによって、特定のピクセル111がオクルージョン領域108、110の1つに属するか否かを判断するための判断ユニット204とを有するオクルージョン検出器200の一実施例を線図的に示す。画像、例えば、100、102は、第1の入力コネクタ210で提供される。動きベクトル、例えば118、120は、動き推定器（図3を参照）によって、第2の入力コネクタ208で提供される。画像100の各ピクセルに対し、それがオクルージョン領域、例えば108に属するか否か、または、それがこの種のオクルージョン領域に属していないか否かを示すバイナリマスクが、オクルージョン検出器によって、出力コネクタ212に設けられる。オクルージョン検出器200の働きは、図1Aと関連して記載された通りである。
【００３７】
図2Bは、ピクセル間の距離を計算するための手段214を有するオクルージョン検出器201の実施例を線図的に示す。動きベクトル・セレクタ202は、特定のピクセル111、112と第1の動きベクトル118が対応するピクセルの特定のグループ123に属する別のピクセル117との間の距離に基づき、第1の動きベクトル118を選択するように設計されている。第2の動きベクトル120の選択は、同様の基準に基づき行われる。動きベクトルの提供された組が、いくつかの動きベクトルを備える場合、第1の動きベクトル118と第2の動きベクトル120の選択のための基準を有することは、重要である。特定のピクセル111、112と別のピクセル117との間の空間的距離は、この種の基準である。特定のピクセル111、112と別のピクセル117との間の相対的に小さい空間的距離は、ピクセルの特定のグループ123と対応する動きベクトル118が関連していることを意味する。多くの動き推定器、例えば、300は、ブロック・ベースである。つまり、画像100は、例えば、8×8ピクセルの多数のブロックに分けられる。これらのブロックの各々に対して、それぞれの動きベクトルが、推定される。ブロックベースの動き推定器がオクルージョン検出器201に動き推定器の組を提供する場合には、第1の動きベクトル118および／または第2の動きベクトル120は、特定のピクセル111、112が属するブロックの近傍であるブロックから選択される。特定のピクセル111、112が属するブロックの動きベクトルも、また選択される確率が、極めて高い。
【００３８】
図2Cは、動きベクトル、例えば、118、120の出現の頻度を計算するための手段216を有するオクルージョン検出器203の一実施例を線図的に示す。オクルージョン検出器203は、動きベクトルの組の動きベクトルに対する出現の頻度を判断し、かつ、出現の頻度に基づき第1の動きベクトル118を選択するように設計される。さらに、第2の動きベクトル120も、同様の基準に基づき選択される。出現の頻度を計算するための手段216は、第1の方向、例えば、水平方向の並進運動に対応する一方の次元と第1の方向に交差する第2の方向の並進運動に対応する他方の次元を用いて、二次元での動きベクトル・ヒストグラムを計算する。二次元での動きベクトル・ヒストグラムの第1の極大は、第1の動きベクトル118に対応し、かつ、二次元での動きベクトル・ヒストグラムの第2の極大は、第2の動きベクトル120に対応する。ピクセル間の距離を計算するための手段214は、オプションであるが、ピクセルのグループに対応するピクセル間の距離は、考慮されることが好ましい。二次元の動きベクトル・ヒストグラムが、2つより多い極大値を有する場合、これは、特に重要である。ある極大と対応する動きベクトルが、選択されるのではなく、ある極大と対応する動きベクトルの値に近い値を有する動きベクトルが、選択されることも、また、可能である。
【００３９】
図2Dは、第1の既定のしきい値を判断するために測定ユニット218を有するオクルージョン検出器205の一実施例を線図的に示す。第1の既定のしきい値と第２の既定のしきい値は、オクルージョン検出器218の感度に影響を及ぼす。第２の入力コネクタ208で提供される動きベクトルは、ピクセルの輝度値に基づき計算され、かつ、輝度値の範囲は、0と255の間であると仮定する。すると、第1の既定のしきい値も、0〜255の範囲にある。第1の既定のしきい値が、相対的に小さい場合には、オクルージョン領域108、110に位置しないピクセルが、オクルージョン領域108、110に位置するとして、誤って分類される確率が、高い。一方、第1の既定のしきい値が、相対的に大きい場合には、オクルージョン領域に位置しないピクセルが、オクルージョン領域に位置するものとして、誤って分類されない確率が、高い。例えば、ノイズまたはコントラストのレベル、または画像100の周波数特性を測定することによって、第1の既定のしきい値の適切な値を、得ることが出来る。同様に、第２の既定のしきい値の適切な値を、得ることが出来る。測定は、オクルージョン領域108、110が検出されなければならない画像100に基づくことが出来る。他の画像、例えば、102に関して、これらの測定を実行することも、さらに可能である。ピクセル値の標準偏差、または高速フーリエ変換を計算することは、第１および第２の既定のしきい値を提供するために適用することも出来る。出現の頻度を計算するための手段216とピクセル間の距離を計算するための手段214は、オプションである。
【００４０】
図2Eは、ギャップ-クローズ・フィルタ220を有するオクルージョン検出器207の一実施例を線図的に示す。判断ユニット204の出力は、画像100の各ピクセルに対して、それがオクルージョン領域、例えば、108に属するか否か、または、それがこの種のオクルージョン領域に属していないか否かを示すバイナリマスクである。マスクされるこの２値は、ギャップ-クローズ・フィルタ220により後処理される。ギャップ-クローズ・フィルタ220は、次のように機能する。オクルージョン領域に属するピクセルは、1と評価され、オクルージョン領域に属していないピクセルは、0と評価される。1と評価されたピクセルは、ギャップ-クローズ・フィルタ220によって保留される。高さHと幅Ｗの寸法を有する関心領域において、「0と評価された」ピクセルの右側および左側に値1を有する少なくともPピクセルがある場合、ギャップ-クローズ・フィルタ220は、「0と評価された」ピクセルを「1」に変更する。
【００４１】
図3は、
- 画像、例えば、100のピクセルのそれぞれのグループに対して、動きベクトルの組を計算するための動きベクトル推定器302と、
- 動きベクトルの組に基づき画像100のオクルージョン領域を検出するためのオクルージョン検出器314と、
- オクルージョン検出器200、201、203、205、207の出力に基づき特定のピクセル111、112に特定の動きベクトルを割り当てるための動きベクトル割り当てユニット304とを有する本発明による動き推定器300の一実施例を線図的に示す。動きベクトル推定器302は、例えば、論文「三次元帰納的検索ブロック・マッチングを備えた真の動き推定(True-Motion Estimation with 3-D Recursive Search Block Matching)」(by G. de Haan et. al.)( IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379)に記載されているように、機能する。他の動き推定器も、可能である。オクルージョン検出器314は、それぞれ、図2A、2B、2C、2D、2Eと関連して記載したように、機能する。動きベクトル割り当てユニット304は、例えば、出願番号EP 0104647（社内整理番号PHNL010095EPP）の下で出願された国際特許出願のドキュメントまたは、論文「適応背景の推定のための新しいプログラム用算法言語」（by D. Gao, J. Zhou and L. Xin）( Proceedings ICIP 2001 pp. 395-398)に記載されている様な、前景／背景の検出器を有する。動きベクトル割り当てユニット304は、オクルージョン領域108、110の一部であるとして分類されたピクセル対して、それらが次の画像102において覆われるであろう領域108に位置するか否か、または、それらが次の画像102において覆われないであろう領域110に位置するか否かを判断する。これは、それぞれ、背景または前景に属することと対応する。この後者のタイプの分類に従い、動きベクトル割り当てユニット304は、オクルージョン領域108、110の一部であるとして分類されたピクセルに、動きベクトルを割り当てる。これは、例えば第1の動きベクトル118、または第2の動きベクトル120に可能である。第1の動きベクトル118と第2の動きベクトル120は、不正確であると判断されたにもかかわらず、それらは更なる処理のために適切である可能性があることに留意されたい。それらは、実際の物理的なイベント、すなわち、何か他のものによって置き換えられる何かを表現しないので、それらは不正確である。動きベクトルは、全く同一のオブジェクトの動きの表現である。例えばアップ・コンバージョンの場合、これらの動きベクトルの1つを適用することによって、実質的に正しい時間調整された(re-timed)ピクセルを、計算することが出来るので、第1の動きベクトル118または第2の動きベクトル120は、適切となり得る。
【００４２】
図4は、
- ある処理が実行された後で表示される画像を表現している信号を受信するための受信手段401と、
- 図3と関連して記載された動き推定器ユニット300と、
- 動き補償画像処理ユニット403と、
- 処理された画像を表示するための表示デバイス405とを有する画像処理装置400の要素を線図的に示す。この信号は、アンテナまたはケーブルを経て受信される放送信号であるかもしれないが、しかし、VCR(Video Cassette Recorder)またはDVD(Digital Versatile Disk)のような記憶デバイスからの信号であるかもしれない。この信号は、入力コネクタ407で提供される。この表示デバイスは、オプションである。動き補償画像処理ユニット403は、その入力として画像および動きベクトルを必要とする。
【００４３】
上述の実施例は、本発明を制限するのではなく例示し、かつ、当業者は、添付した請求項の範囲から逸脱することなく代替の実施例を設計することが可能であろうことに留意する必要がある。請求項において、請求項を制限するように、括弧の間で配置される任意の参照符号は作成されない。単語「有する(comprising)」は、請求項に記載されない要素またはステップの存在を除外しない。要素に先行する単語「a」または「an」の使用は、複数のこのような要素の存在を除外しない。本発明は、異なったいくつかの要素を有するハードウエアによって、および適切なプログラムされたコンピュータによって、実施することが出来る。いくつかの手段を列挙しているユニット請求項において、これらの手段のいくつかは、ハードウエアの全く同一のアイテムによって具体化することが出来る。一部の機能がいくつかの手段にわたって分散されることも、さらに可能である。例えば、１つに代わりに2つのピクセル値コンパレータとすることが可能である。
【図面の簡単な説明】
【００４４】
【図１Ａ】本発明によるオクルージョン検出器の働きを線図的に示すためにオクルージョン領域を備える2つの画像を示す。
【図１Ｂ】図1Aにより示された動きベクトルとピクセルの間の1次元の関係を示す。
【図１Ｃ】3つの画像の場合における動きベクトルとピクセルとの間、1次元で関係を示す。
【図２Ａ】オクルージョン検出器の一実施例を線図的に示す。
【図２Ｂ】ピクセル間の距離を計算するための手段を有するオクルージョン検出器の一実施例を線図的に示す。
【図２Ｃ】動きベクトルの出現の頻度を計算するための手段を有するオクルージョン検出器の一実施例を線図的に示す。
【図２Ｄ】第1の既定のしきい値を判断するために測定ユニットを有するオクルージョン検出器の一実施例を線図的に示す。
【図２Ｅ】ギャップ-クローズ・フィルタを有するオクルージョン検出器の一実施例を線図的に示す。
【図３】動き推定器の一実施例を線図的に示す。
【図４】画像処理装置の一実施例を線図的に示す。
【符号の説明】
【００４５】
100、102  画像
104  人
108、110  オクルージョン領域
111、114、116  ピクセル
118、120  動きベクトル
122、123  ピクセルのグループ
200、201、203、205、207  オクリルージョン検出器
20２  動きベクトル・セレクタ
判断ユニット
206  ピクセル値コンパレータ
300  動き推定器
302  動きベクトル推定器
400  画像処理装置
403  動き補償画像処理ユニット
【図１Ａ】
2005509230.tif 000003
【図１Ｂ】
2005509230.tif 000004
【図１Ｃ】
2005509230.tif 000005
【図２Ａ】
2005509230.tif 000006
【図２Ｂ】
2005509230.tif 000007
【図２Ｃ】
2005509230.tif 000008
【図２Ｄ】
2005509230.tif 000009
【図２Ｅ】
2005509230.tif 000010
【図３】
2005509230.tif 000011
【図４】
2005509230.tif 000012
【国際調査報告】
2005509230.tif 000013
2005509230.tif 000014
2005509230.tif 000015