(57)【要約】本発明は、ビデオ画像において静止領域を検出する方法であって、フレーム差分情報（６）と、変位したフレーム差分情報（４）とが計算され、静止領域が、上記フレーム差分情報（６）と、上記変位したフレーム差分情報（４）とを組み合わせて用いて検出される方法を提供する。
2005505212.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像において静止領域を検出するための方法であって、フレーム差分情報と、変位したフレーム差分情報とが計算され、前記静止領域が、前記フレーム差分情報と、前記変位したフレーム差分情報とを組み合わせて用いて検出される方法。
【請求項２】
前記フレーム差分が所与のスレッショルドを下回る場合、又は、前記変位したフレーム差分が前記フレーム差分の所与の割合を下回る場合、該領域は静止として検出される、請求項１に記載の方法。
【請求項３】
前記領域が全画像である、請求項１に記載の方法。
【請求項４】
前記割合がプログラマブルである、請求項２に記載の方法。
【請求項５】
前記プログラマブルな割合が、変化する画像特性に対して調整可能である、請求項４に記載の方法。
【請求項６】
前記スレッショルドがプログラマブルである、請求項２に記載の方法。
【請求項７】
前記プログラマブルなスレッショルドが、変化する画像特性に依存して調整可能である、請求項６に記載の方法。
【請求項８】
前記検出に基づいて、出力信号が生成される、請求項１に記載の方法。
【請求項９】
前記出力信号が、フィルタにかけられる、請求項８に記載の方法。
【請求項１０】
前記出力信号が、メジアンフィルタを用いてフィルタにかけられる、請求項９に記載の方法。
【請求項１１】
ビデオ画像において静止領域を検出するためのデバイスであって、
フレーム差分情報と、変位したフレーム差分情報とを計算する手段と、
前記フレーム差分情報と、前記変位したフレーム差分情報とを組み合わせて用いて、前記静止領域を検出する手段とを有するデバイス。
【請求項１２】
ビデオ画像を得るための入力ユニットと、
前記ビデオ画像において静止領域を検出するための請求項１１に記載されるデバイスであって、更に、前記検出された静止領域に依存して、前記ビデオ画像を処理する当該デバイスと、
前記処理されたビデオ画像を出力するための出力ユニットとを有するビデオ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像において静止領域を検出することに関する。
【背景技術】
【０００２】
ＭＰＥＧ２のようなビデオ圧縮方式では、静止領域の検出が重要である。この理由は、１つのピクチャフレーム内の画素のブロックが、前のフレームに対して変化していないままであるとして識別され得る場合、受信器に送信されるべき必要な情報は、かなり低減されるからである。事実上、変化していない画素のブロックに関する情報の伝送は、これらの画素の全ての情報量を１つ又は複数の連続的なフレームに何度も送信することよりも、大幅に少ない帯域幅を必要とするからである。
【０００３】
静止領域を検出するための別の理由は、動きが無い場合、代替のデインタレース又はフィールドレートのアップコンバージョンの使用を可能にすることである。デインタレースは、２つのフィールドを組み合わせることによって実現されるのに対して、フィールドレートのアップコンバージョンは、所与のフレームの繰り返しによって実現される。
【０００４】
静止領域を検出する簡略な方法は、後続の画像を互いから取り去ることである。フレーム差分ＦＤと呼ばれるこの差分が、動きのインジケータである。理想的には、領域が静止している場合、つまり動かない場合、ＦＤはゼロであるべきである。しかし、実際には、静止領域は、常にある種のノイズを含むだろう。このようなノイズを補償するために、ある所定のスレッショルドを下回るＦＤはいずれも、静止領域を示すものとして解釈できる。所定のスレッショルドは、画像内の予想される又は推定されるノイズレベルに従って調整可能である。静止領域を検出するための上記の方法の実施例は、欧州特許出願公開公報第９５１１８１号から知られる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、実際には、画像内に概して動きが存在するであろうこと、又は、全体的な変位、即ち全画像の動きであるようなシーケンスが存在するであろうことから、画像が絶対に動いていないという状況は、ビデオではまれである。したがって、こうした状況においては、ＦＤが有用な結果をもたらさないであろう。
【０００６】
上述の状況の後者を考慮に入れて、動き補償されたシステムが用いられる。動き補償されたシステムにおいて、即ち、例えば、本来ならば変化しない背景にわたってパニングするカメラのような、１つのフレームから次のフレームへのピクチャに対して相対的に動くけれども変化しないような画像の領域を考慮するシステムにおいて、静止領域の検出は、依然としてかなりの難題である。このようなシステムでは、全体的なピクチャに関して、本来ならば変化しないブロックの変位又は相対的な動きを示す、動きベクトルが、動き推定器によって推定される。この動きベクトルは、現在のフレームにおけるブロックの位置に基づいて、後続のフレームにおけるそれぞれのブロックの位置を予測するために用いられる。
【０００７】
このような動き補償されたビデオ処理システムにおいて、静止領域を検出する１つのやり方は、動きアクティビティを観察することである。動きアクティビティは、ビデオピクチャの各々の領域内の全ての動きベクトルの和である。理想的には、動きが生じないならば、この和はゼロであるべきである。
【０００８】
しかし、実際の動き推定器は、静的ビデオシーケンス上においてゼロの動きベクトルを常に生成するわけではない。
【０００９】
これには幾つかの理由がある。１つ目は、画像のノイズが、動きとして解釈され得ることである。２つ目は、そのときの動き推定より前の経時変化する画像処理が、変動するレベル強度値につながり得ることである。 ３つ目は、画像自体が静止している場合でさえ、固有のフリッカと組み合わされた画像内の細かい部分が、ゼロでない動きベクトルにつながり得ることである。４つ目は、動き推定器が、時間的に、空間的に又は時空的に収束することを必要とするので、制限された精度をもつことである。とりわけ周期的な構造では、選択基準に合致するのにも係わらず、実際には画像補間に役立たない、動きベクトルが確認され得る。５つ目は、ビデオ入力がインタレースされる場合、フィールドからフィールドへのライン位置の変化が、垂直の変位として解釈される可能性があり、それゆえ、誤った動きベクトルを与える。６つ目は、コンポジット信号の副搬送波の周波数が、ピクチャにおいて周期的に動くパターンを生成し、このことが更に動きとして解釈され得る。したがって、この場合も同様に、和が、調整可能であり得る所与のスレッショルドと比較される。この和が上記スレッショルドを下回る場合、該領域は静止として識別される。
【００１０】
上述されたように、動き補償されたシステムの動きベクトルは、２つの連続したピクチャフレーム間におけるブロックの推定される変位を示す。これらのベクトルは、変位したフレームを計算するために用いられる。上記のシステムでは、変位したフレーム差分ＤＦＤ、即ち、実際のフレームと、動きベクトルを用いて前のフレームから計算された変位したフレームとの間の差分が、静止領域を示すために用いられ得る。このように、ＤＦＤは、差分が計算される前にピクチャが動き補償されること以外は、上記に説明されたＦＤと類似している。
【００１１】
しかし、実際には画像が静止しているならば、そこには存在しない、変位を推定するために用いられる動き推定器は、上記の理由のために、静止領域の検出をあまり正確でないようにするであろう。
【００１２】
本発明の目的は、静止領域の改善された検出を供給することにある。
【課題を解決するための手段】
【００１３】
この目的のために、本発明は、静止領域を検出するための方法および装置と、ビデオ処理装置とを供給する。
【００１４】
有利な実施形態は、従属請求項において規定される。
【００１５】
本発明の第１の態様によれば、フレーム差分情報と、変位したフレーム差分情報とが計算され、静止領域が、 上記フレーム差分情報と、上記変位したフレーム差分情報とを組み合わせて用いて検出される。
【００１６】
この態様は、ビデオ処理装置において、特に、動き補償を実行するための回路を含む装置において有利に適用される。なぜなら、このような回路が、通常、変位したフレーム差分を計算する手段を既に含んでいるからである。
【００１７】
本発明の好ましい実施形態において、フレーム差分が所与のスレッショルドを下回る場合、又は、変位したフレーム差分がフレーム差分の所与の割合を下回る場合、この領域は静止として検出される。
【００１８】
このように、動き推定器がエラーを生じるときでさえ、静止領域は確実に検出される。このことは、更に、動きベクトルのスイッチをオフにすること、又は当該領域に関する信号処理を変更することを可能にする。
【００１９】
特に好ましい実施形態において、領域は全画像である。
【００２０】
本発明は、以下の例示的な実施形態及び図面に基づいて、より詳細に理解されるであろう。
【発明を実施するための最良の形態】
【００２１】
図１では、この図の左側で、ビデオ画像を表す新規の入力信号１が、入力されている。この入力１は、動き推定器２と、減算器５との双方に供給される。更に、前の画像を表す遅延信号３が、減算器５及び動き推定器２の双方に供給される。減算器５において、フレーム差分ＦＤが、後続の画像の対応するブロック間における合致エラー又は蓄積された差分に基づいて推定される。この減算器は、変位したフレーム差分を表すＦＤ信号６を出力する。
【００２２】
上述されたように、入力信号１及び遅延信号３は、更に、動き推定器２に供給される。動き推定器２では、推定された最良の動きベクトルに基づいて、ある画像から別の画像へ対応するものと見なされるようなブロック間における合致エラーが、決定される。この動き推定器は、変位したフレーム差分を表すＤＦＤ信号４を出力する。
【００２３】
ＦＤ信号６は、第１の決定ユニット７に供給される。この第１の決定ユニットは、ＦＤ信号をスレッショルド値Ｔｈｒと比較し、第１の決定信号１０を出力する。フレーム差分がスレッショルド値より小さい場合、即ち、Ｂ＜Ｔｈｒの場合、第１の決定信号１０は、論理的真を表す。フレーム差分が、スレッショルド値を上回るか、又はスレッショルド値と等しい場合、即ち、Ｂ≧Ｔｈｒの場合、第１の決定信号は、論理的偽を表す。
【００２４】
好ましい実施形態では、スレッショルド値Ｔｈｒはプログラマブルであり、それゆえ、スレッショルド値Ｔｈｒが、画像内の細かい部分又はノイズのレベルに対して調整されることを可能にする。
【００２５】
ＦＤ信号６及びＤＦＤ信号４は、第２の決定ユニット８のそれぞれの入力部Ｂ及びＡに供給される。第２の決定ユニット８は、ＦＤ信号とＤＦＤ信号とを比較すると共に、ＢがＡの所与の割合αよりも小さいか否かに依存して決定信号９を出力する。この出力決定信号９は、Ｂ＜αＡであるならば論理的真を表し、Ｂ≧αＡであるならば論理的偽を表す。上記割合αは、好ましくは、変化する画像特性を考慮に入れるように、プログラマブルである。
【００２６】
第１及び第２の決定信号１０及び９は、第３の決定ユニット１１のそれぞれの入力部Ｄ及びＣに供給される。この第３の決定ユニットは、第３の決定信号１２を出力する。好ましい実施形態では、第３の決定ユニット１１が、論理的ＯＲゲートを構成する。したがって、第３の決定ユニット１１の出力は、第１の決定信号１０又は第２の決定信号９の何れかが論理的真を表すならば、論理的真を表す。
【００２７】
この第３の決定信号１２は、例えば、論理的真を表す静止フラグを設定することによって、静止領域に関するインジケータとして直接的に用いられてもよい。
【００２８】
入力信号１が、画像のシーケンスであるために、決定信号１２は、当該画像が、静止しているのか、又は動いているのかを示す、真又は偽の静止フラグのシーケンスであるだろう。
【００２９】
好ましい実施形態では、上記決定のロバストネスを改善するために、第３の決定信号１２が、時折のエラーを取り除くことによって、決定フィルタ１３を通してフィルタにかけられる。特に、Ｎが３又はそれより大きいＮポイントメジアンフィルタが用いられるが、もちろん、代替例のフィルタが、このポストフィルタリングのために用いられてもよい。決定フィルタ１３は、例えば、静止フラグの形態で、決定信号１４をもたらす。
【００３０】
図２は、出力ユニット２０３に結合されるビデオ画像の静止領域を検出するためのデバイス２０２に結合される入力ユニット２０１を有するビデオ処理装置２０を示している。入力ユニット２０１は、信号がビデオ画像を含む入力信号を受信するように設けられる。このビデオ画像は、デバイス２０２に供給される。デバイス２０２は、図１に示されるデバイスと類似しているか、又は同じである。デバイス２０２はビデオ画像を処理し、この処理が静止領域の検出を含む。静止領域は、デバイス２０２において適切に処理される。デバイス２０２の処理の結果は、適切な形態で処理されたビデオ画像を出力する、出力ユニット２０３に供給される。出力ユニット２０３は、送信ユニットであってもよいが、ディスプレイのような再生ユニットであってもよい。
【００３１】
ビデオ処理装置２０は、テレビジョン装置であってもよい。
【００３２】
上記の説明は、画像における静止検出に関連するけれども、種々の実施形態が請求項の範囲内で実現され得ることが、当業者にとって明らかであろう。特に、本発明が、全画像に適用されるだけでなく、画像の一部のみにも適用され得ることは明らかであろう。
【００３３】
上述の実施形態は、本発明を限定するよりむしろ例示するものであり、当業者であれば、添付の請求項の範囲から逸脱することなく、多くの代替の実施形態を案出することが可能であろうことに留意する必要がある。請求項において、括弧内に記されるいかなる参照符号も請求項の範囲を限定するものとして、解釈されてはならない。動詞「有する(comprising)」は、請求項に列記されたもの以外の他の構成要素又はステップの存在を除外しないものとする。本発明は、幾つかの別個の素子を有するハードウェアによって、更に適切にプログラムされたコンピュータによって実施されることができる。幾つかの手段を列挙するデバイスクレームにおいて、これらの手段の幾つかは、ハードウェアの１つの同じアイテムによって具現化されることができる。ある方策が相互に異なる従属クレームにおいて詳述されているという単なる事実は、これらの方策の組み合わせが有利に用いられることができないということを示すものではない。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態による改善された静止検出を実行するためのデバイスのブロック図を示す。
【図２】本発明の実施形態によるビデオ処理装置を示す。
【国際公開パンフレット】
2005505212.tif 000003
2005505212.tif 000004
2005505212.tif 000005
2005505212.tif 000006
2005505212.tif 000007
2005505212.tif 000008
2005505212.tif 000009
2005505212.tif 000010
2005505212.tif 000011
【国際調査報告】
2005505212.tif 000012
2005505212.tif 000013
2005505212.tif 000014