(57)【特許請求の範囲】
【請求項１】
トップ半フレーム及びボトム半フレームに分割可能なプログレッシブ又はインターレースピクチャのビデオシーケンスの符号化データのビットストリームを処理する方法であって、現在のＫ番目のピクチャのトップ半フレームに属するピクセルのグループに関連して現在のＫ番目のピクチャのボトム半フレームに属するピクセルのグループの動きベクトル（ＭＶＢＯＴX,Y（Ｋ））、及び前のＫ−１番目のピクチャのボトム半フレームに属するピクセルのグループに関連して現在のＫ番目のピクチャのトップ半フレームのピクセルのグループの動きベクトル（ＭＶＴＯＰX,Y（Ｋ））を推定することを包含するビットストリームの処理方法において、
トップ半フレーム及びボトム半フレームの各マクロブロックに対してトップ半フレームの動きベクトル（ＭＶＴＯＰX,Y（Ｋ））及びボトム半フレームの動きベクトル（ＭＶＢＯＴX,Y（Ｋ））の推定を行なうために動きベクトルの成分Ｖx及びＶyについて夫々の絶対値の和又は夫々の平方の和の平方根等の所定の演算を行なって夫々のトップ動き係数（ＶＴＯＰX,Y（Ｋ））及びボトム動き係数（ＶＢＯＴX,Y（Ｋ））を計算し、
前記トップ及びボトム動き係数（ＶＴＯＰX,Y（Ｋ），ＶＢＯＴX,Y（Ｋ））の値の分布が等しいとみなせる場合には前記現在のＫ番目のピクチャをインターレースピクチャとして認識し、一方そうでない場合には前記現在のＫ番目のピクチャをプログレッシブピクチャとして認識する、ことを特徴とする方法。
【請求項２】
請求項１において、前記認識する場合に、
Ｋ番目のピクチャに属するトップ及びボトム半フレームからなるマクロブロックの全てのトップ動き係数（ＶＴＯＰX,Y（Ｋ））及びボトム動き係数（ＶＢＯＴX,Y（Ｋ））を、夫々、予め確立した第一スレッシュホールド（ＴＨＲ１）及び第二スレッシュホールド（ＴＨＲ２）と比較し、
トップ動き係数（ＶＴＯＰX,Y（Ｋ））が第一スレッシュホールド（ＴＨＲ１）よりも小さい全てのＸ，Ｙマクロブロック座標に対するトップ半フレーム動きベクトル（ＭＶＴＯＰX,Y（Ｋ））の数を第一係数（Ｎ１ＴＯＰ（Ｋ））としてカウントし且つボトム動き係数（ＶＢＯＴX,Y（Ｋ））が前記第一スレッシュホールドよりも小さい全てのＸ，Ｙマクロブロック座標に対するボトム半フレーム動きベクトル（ＭＶＢＯＴX,Y（Ｋ））の数を第二係数（Ｎ１ＢＯＴ（Ｋ））としてカウントし、
トップ動き係数（ＶＴＯＰX,Y（Ｋ））が第二スレッシュホールド（ＴＨＲ２）よりも大きな全てのＸ，Ｙマクロブロック座標に対してトップ半フレーム動きベクトル（ＭＶＴＯＰX,Y（Ｋ））の数を第三係数（Ｎ２ＴＯＰ（Ｋ））としてカウントし且つボトム動き係数（ＶＢＯＴX,Y（Ｋ））が第二スレッシュホールド（ＴＨＲ２）よりも大きな全てのＸ，Ｙマクロブロック座標に対してボトム半フレーム動きベクトル（ＭＶＢＯＴX,Y（Ｋ））の数を第四係数（Ｎ２ＢＯＴ（Ｋ））としてカウントし、
第一係数（Ｎ１ＴＯＰ（Ｋ））、第二係数（Ｎ１ＢＯＴ（Ｋ））、第三係数（Ｎ２ＴＯＰ（Ｋ））、第四係数（Ｎ２ＢＯＴ（Ｋ））に基づいて現在のＫ番目のピクチャをプログレッシブピクチャか又はインターレースピクチャとして認識する、
ことを特徴とする方法。
【請求項３】
請求項１又は２において、Ｋ番目のピクチャに関連するトップ及びボトム動き係数（ＶＴＯＰX,Y（Ｋ）及びＶＢＯＴX,Y（Ｋ））の計算した値を使用してＫ番目のピクチャにおける準静止的（プログレッシブ）内容に関しての予備的なテストを実施し、前記予備的なテストが、
現在のＫ番目のピクチャのトップ半フレームに属する座標Ｘ，Ｙにある全てのマクロブロックに対する全ての動き係数（ＶＴＯＰX,Y（Ｋ））を加算してトップ和係数（ＳＶＴＯＰ（Ｋ））を発生し、
現在のＫ番目のピクチャのボトム半フレームに属する座標Ｘ，Ｙにある全てのマクロブロックに対する全ての動き係数（ＶＢＯＴX,Y（Ｋ））を加算してボトム和係数（ＳＶＢＯＴ（Ｋ））を発生し、
トップ和係数（ＳＶＴＯＰ（Ｋ））及びボトム和係数（ＳＶＢＯＴ（Ｋ））が夫々の予め確立した第一及び第二の正の数（Ｔ１及びＴ２）よりも小さい場合に現在のＫ番目のピクチャをプログレッシブピクチャとして画定し、そうでない場合には請求項２の動作シーケンスで実行する、ことを特徴とする方法。
【請求項４】
請求項１において、インターレースであるか又はプログレッシブであるかを認識する場合に、トップ及びボトム動き係数の分布の形状を夫々表す一対の第一及び第二形状係数を計算し、前記形状係数が、夫々、ある値よりある量だけ大きいか又は小さいかにより現在のピクチャをプログレッシブピクチャとして又はインターレースピクチャとして認識することを特徴とする方法。
【請求項５】
請求項１又は２において、
現在のＫ番目のピクチャに関する第一係数（Ｎ１ＴＯＰ（Ｋ））と先行するＫ−１番目のピクチャに関する第二係数（Ｎ１ＢＯＴ（Ｋ−１））との間の第一比（Ｒ１（Ｋ）＝Ｎ１ＴＯＰ（Ｋ）／Ｎ１ＢＯＴ（Ｋ−１））を計算し、
現在のＫ番目のピクチャに関する第二係数（Ｎ１ＢＯＴ（Ｋ））と現在のＫ番目のピクチャに関する第一係数（Ｎ１ＴＯＰ（Ｋ））との間の第二比（Ｒ２（Ｋ）＝Ｎ１ＢＯＴ（ＫＩ／Ｎ１ＴＯＰ（Ｋ））を計算し、
現在のＫ番目のピクチャに関する第三係数（Ｎ３ＴＯＰ（Ｋ））と先行するＫ−１番目のピクチャに関する第四係数（Ｎ２ＢＯＴ（Ｋ−１））との間の第三比（Ｒ３（Ｋ）＝Ｎ３ＴＯＰ（Ｋ）／Ｎ２ＢＯＴ（Ｋ−１））を計算し、
現在のＫ番目のピクチャに関する第四係数（Ｎ２ＢＯＴ（Ｋ））と現在のＫ番目のピクチャに関する第三係数（Ｎ２ＴＯＰ（Ｋ））との間の第四比（Ｒ４（Ｋ）＝Ｎ２ＢＯＴ（Ｋ）／Ｎ２ＴＯＰ（Ｋ））を計算し、
第一比（Ｒ１（Ｋ））、第二比（Ｒ２（Ｋ））、第三比（Ｒ３（Ｋ））、第四比（Ｒ４（Ｋ））を夫々の予め確立した第三の正の数（γ）、第四の正の数（δ）、第五の正の数（ε）、第六の正の数（η）と比較し、
第一比（Ｒ１（Ｋ））及び第四比（Ｒ４（Ｋ））が夫々第三の数（γ）及び第六の数（η）よりも小さく、且つ、同時的に第二比（Ｒ２（Ｋ））及び第三比（Ｒ３（Ｋ））が夫々第四の数（δ）及び第五の数（ε）よりも大きい場合に、現在のピクチャをプログレッシブピクチャとして認識する、
ことを特徴とする方法。
【請求項６】
請求項５において、
第二比（Ｒ２（Ｋ））を第一比（Ｒ１（Ｋ））で割算して第五比（Ｒ５（Ｋ）＝Ｒ２（Ｋ）／Ｒ１（Ｋ））を発生し、
第三比（Ｒ３（Ｋ））を第四比（Ｒ４（Ｋ））で割算して第六比（Ｒ６（Ｋ）＝Ｒ３（Ｋ）／Ｒ４（Ｋ））を発生し、
請求項５の方法の条件が満足される場合であって且つ、同時的に、第五比（Ｒ５（Ｋ））及び第六比（Ｒ６（Ｋ））が予め確立した第七の数（θ）及び第八の数（ι）よりも大きい場合に現在のピクチャをプログレッシブピクチャとして認識する、
ことを特徴とする方法。
【請求項７】
請求項１乃至６の内のいずれか１項において、
Ｋ番目のピクチャに対して、請求項１乃至６の内の１つに従って実施したプログレッシブ又はインターレースピクチャとして現在のピクチャの認識結果の関数として一時的な重み値（Ｐ（Ｋ））を計算し、
Ｋ番目のピクチャに対して、先行するピクチャ（Ｄ（Ｉ））に関する最終的な重み値（夫々Ｋ−１，Ｋ−２，．．．，Ｋ−ＮにおけるＤ（Ｋ−１），Ｄ（Ｋ−２），．．．、Ｄ（Ｋ−Ｎ））の及び現在のピクチャに関する一時的な重み値（Ｐ（Ｋ））の関数（ｆ（Ｐ（Ｋ），Ｄ（Ｋ），．．．，Ｄ（Ｋ−Ｎ））と事前のスレッシュホールド数（μ）との間の比較として最終的な重み値（Ｄ（Ｋ））を計算し、
前記関数（ｆ（Ｐ（Ｋ），Ｄ（Ｋ），．．．，Ｄ（Ｋ−Ｎ）））が前記スレッシュホールド数（μ）よりも大きい場合には、現在のＫ番目のピクチャをプログレッシブピクチャとして認識し、一方前記関数（ｆ（Ｐ（Ｋ），Ｄ（Ｋ），．．．，Ｄ（Ｋ−Ｎ）））が前記スレッシュホールド数（μ）よりも小さい場合には、現在のＫ番目のピクチャをインターレースピクチャとして認識する、
ことを特徴とする方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、大略、デジタルビデオピクチャを処理する技術に関するものであって、更に詳細には、デジタルピクチャのシーケンスのプロパティ即ち特性を検知する方法に関するものである。
【０００２】
【従来の技術】
表示されるイメージ（画像）の品質及び送信装置に関連し、送信期間中に使用される周波数帯域の振幅に関連してテレビに対する増加する条件はビデオシーケンスを送信する技術を極めて重要なものとさせている。
【０００３】
デジタル送受信システムの使用は、ピクチャのフレームを、１つのフレームの各ピクセルのビデオ成分の強度を表す数値からなるマトリクス即ち行列に分割することを可能としており、コンピュータによってそのピクチャを処理することを可能としている。ピクチャを複数個の数からなるマトリクスとして、従ってビットストリームとして取り扱うことの可能性は、送信を容易なものとし且つ表示されるイメージの品質を改善するためにピクチャをコーディング即ち符号化する蓋然性を提供している。
【０００４】
ビデオデジタルシーケンスを符号化するシステムはピクチャの幾つかのプロパティ即ち特性の認識に基づいている。このような特性の中において、特に重要なものは、ピクチャのキャラクタがプログレッシブであるか又はインターレースであるかの検知及びオブジェクトの動きの検知である。
【０００５】
これらの特性が既知であると、そのピクチャを圧縮し、使用する周波数帯域についてその送信を最も効率的なものとさせ、且つその表示品質の点において最も満足のいくものとさせることを可能とする。
【０００６】
デジタルビデオシーケンスのプログレッシブ又はインターレースの内容（ＩＰＤ：インターレースプログレッシブ検知）の動き推定及び検知の幾つかの技術が公知である。このような技術としては、例えば、本願出願人による米国特許第５，７３４，４２０号、ＷＯ９９／２００４０、欧州特許出願ＥＰ−Ａ−０９１７３６３、ＥＰ−Ａ−０９４４２４５、ＥＰ−Ａ−０９７９０１１、欧州特許ＥＰ９９８３０５４５．２、ＥＰ９８８３０６８９．０において開示されている。
【０００７】
上述した文献に開示されている方法は単一ピクセルのビデオ成分を表すビット値に関して動作し、従って低コスト適用例に対して不適切なものとさせる計算上の複雑性を必要としている。
【０００８】
実際に、ＰＡＬスタンダードに従うフレームは７２０×２８８＝２０７３６０個のピクセルから構成されている。各ピクセルについて動作する方法はむしろ厄介であるか、又は表示されたピクチャが多かれ少なかれ認知されるような態様で品質を減少させるような簡単化を課すものである。
【０００９】
ビデオデジタルシーケンスのビットストリームを作成し、計算上の複雑性を減少させるためにピクセルのグループ（マクロブロック）に関して動作する方法は、通常、低コストの適用例に対して使用される。
【００１０】
より詳細に説明すると、ピクセルのグループに関して動作しながら、
※減少した計算の数で処理したピクチャをプログレッシブ又はインターレースのピクチャとして認識することを可能とし、
※圧縮の品質及び効率を保存しながら動き推定の計算量を減少し、又は
※動き推定期間中の同一の圧縮効率及び計算量に対して、表示されるピクチャの品質を向上させる、
デジタルビデオシーケンスのデータを作成する方法に対する必要性が存在している。
【００１１】
【発明が解決しようとする課題】
本発明によれば、上述した如き従来技術の欠点を解消し、動きベクトルに関してのみ計算を実施することを必要としＭＰＥＧスタンダード符号化ビデオシーケンスと共に使用することが可能な処理方法を提供することを目的とする。動きベクトルを、各単一のピクセルに対して画定する代わりにマクロブロックに対しても画定することが可能である場合には、著しく計算を簡単化させることが可能となる。
【００１２】
【課題を解決するための手段】
本発明方法は、ビデオシーケンスのコーディング即ち符号化の効率を改善し且つコーダー即ち符号化器に入力されるピクチャのクロミナンス成分に関して行われるフィルタ処理の効率を改善するためにピクチャの内容をプログレッシブ又はインターレースのいずれかであるかを検知することを可能とする。本方法は、処理したピクチャをプログレッシブ又はインターレースのいずれかのピクチャとして事前認識を行うことにより動きベクトルの計算における精度を向上させることを可能とする。
【００１３】
本発明は、トップ半フレーム及びボトム半フレームに分割可能なプログレッシブ又はインターレースのピクチャのビデオシーケンスの符号化データのビットストリームを処理する方法であって、先行するピクチャのボトム半フレームに属するピクセルに関連して現在のピクチャのトップ半フレームに属するピクセルのピクセルのグループの動きベクトル、及び現在のピクチャのトップ半フレームに属するピクセルに関連して現在のピクチャのボトム半フレームのピクセルのグループの動きベクトルを推定することを包含する方法を提供することを目的としている。
【００１４】
このような推定から開始して、トップ及びボトム半フレームの動きベクトルの推定に依存して夫々のトップ及びボトムの動き係数がトップ半フレーム及びボトム半フレームの各マクロブロックに対して計算され、現在のピクチャは、計算したトップ及びボトム動き係数の関数としてプログレッシブ又はインターレースのピクチャとして認識される。動き係数の値の分布が実質的に等しい場合にはインターレースの内容であることを示しており、一方、対照的に、該係数の値の分布が実質的に等しくないことはプログレッシブの内容であることを示している。
【００１５】
該認識は、トップ及びボトム動き係数の分布を表す一対の形状係数を計算し、その形状係数がある値より大きいか又は小さい量だけ異なるかどうかに依存して現在のピクチャをプログレッシブであるか又はインターレースであるかとして認識することによって行うことが可能である。
【００１６】
別の実施形態によれば、トップ及びボトム動き係数の分布の間の確率的相関を表す係数を計算し、且つその計算した係数がある値を超えるか否かに依存して現在のピクチャをインターレースピクチャであるか又はプログレッシブピクチャであるかとして認識することによってプログレッシブピクチャとインターレースピクチャとの区別を行うことが可能である。
【００１７】
好適には、
トップ及びボトム係数を、夫々、予め確立したトップスレッシュホールド及びボトムスレッシュホールドと比較し、
現在のピクチャのトップ及びボトムフレームのトップスレッシュホールドよりも動き係数が低い動きベクトルの数をカウントし、一対の夫々の係数を発生し、
現在のピクチャのトップ及びボトム半フレームのボトムスレッシュホールドよりも大きい動き係数の動きベクトルの数をカウントし、第二対の夫々の係数を発生し、
現在のピクチャ及び先行するピクチャと相対的な該４つの係数に依存して現在のピクチャをプログレッシブ又はインターレースのいずれかのピクチャとして認識する、
ことによって認識を行う。
【００１８】
本発明方法は、又、
各ピクチャに対して、上述した方法に従って実施した現在のピクチャがプログレッシブ又はインターレースのいずれかのピクチャとしての認識の結果の関数として一時的重み値を計算し、
現在のピクチャと相対的な該一時的な重み値及び先行するピクチャと相対的な最終的重み値の関数として最終的重み値を計算し、
先行するピクチャと相対的な最終的重み値及びその一時的な重み値に依存して現在のピクチャをプログレッシブ又はインターレースのいずれかのピクチャとして認識する、
上記各ステップを有することが可能である。
【００１９】
これらの方法は、現在のピクチャがプログレッシブピクチャとして認識される場合にはフレーム予測技術によって、一方現在のピクチャがインターレースピクチャとして認識される場合にはフィールド予測技術によって、ビデオシーケンスのピクチャの動きベクトルの洗練した計算を行うべく実現することが可能である。
【００２０】
【発明の実施の形態】
本発明方法は、専らピクセルのグループに関連する動きベクトルの以前に実施した推定に依存して、符号化のために使用したスタンダードに拘わらずに、デジタルビデオシーケンスのピクチャをインターレースか又はプログレッシブのいずれかのピクチャとして認識することを可能とする。本方法は、精度の向上及び／又は計算の複雑性の減少という観点で動きベクトルの計算を改善するために使用することが可能である。
【００２１】
本発明の基本的なアプローチは、連続する半フレームのパラメータの比較を介して常に動き推定を行うことによって、符号化すべきピクチャがインターレース（飛び越し走査）又はプログレッシブ（順次走査）であるかを検証することが可能であることを特徴としている。
【００２２】
実際に、プログレッシブシーケンスの場合には、動き推定が同一のフレームに属するトップフィールドを参照してボトムフィールドに関して実施される場合には、結果的に得られる動きベクトルの係数はゼロとなる傾向がある。このことが発生する理由は、同一の時刻にプログレッシブカメラによって２つのフィールドがサンプルされるからであり（実際に、それらは同一のフレームに属している）、且つインターレースＰＡＬ（又はＮＴＳＣ）カメラの場合におけるように１秒の１／５０（又は１／６０）のインターバルにおいてサンプルされるものではないからである。
【００２３】
更に、正方向成分が実質的にゼロであるが異なるパリティのフィールド間のラインの垂直差のために、動きベクトルの垂直成分が−１と１との間で構成されている蓋然性が高い。上昇した垂直の詳細（空間周波数）を具備するゾーンが存在しない垂直の動きを推定することによって推定器をだます可能性は常にある。然しながら、この問題によって影響を受けることのない堅牢な動き推定器を有しているものと仮定される。
【００２４】
対照的に、フレームｋのトップフィールドとフレームｋ−１の前のボトムフィールドとの間の動き推定は、２つのフィールドが異なる時刻においてサンプルされる場合には（且つ、実際に、それらが異なるフレームに属している）、インターレースシーケンスにおけるばかりでなく究極的なプログレッシブシーケンスにおいても効果的な動きを検知する。
【００２５】
図１及び２はこの概念を例示しており、特に、図１はプログレッシブカメラによって取られたボールの動きを示しており、且つ図２はインターレースカメラによって取られた同一のシーンを示している。理解されるように、図２のシーケンスにおける１つのフィールドから次のものにおいては動きベクトルＭＶは常にゼロとは異なるものであるが、そのことは図１のシーケンスの動きベクトルについては成立しない。実際に、同一のフレームｋ又はｋ＋１のボトムフィールドからトップフィールドへの動きベクトルＭＶは常にゼロであり、一方フレームｋ＋１に属するトップフィールドからフレームｋに属するボトムフィールドへの動きベクトルＭＶは常にゼロとは異なっている。インターレースピクチャとプログレッシブピクチャとを非常に容易な態様で区別するための本発明の基準はこのような特異性に基づいている。
【００２６】
（ｋ−１）番目のボトム半フレームに関してのｋ番目のトップ半フレームの動きベクトルをＭＶＴＯＰX,Y（Ｋ）として表し且つｋ番目のトップ半フレームに関してｋ番目のボトム半フレームの動きベクトルをＭＶＢＯＴX,Y（Ｋ）で表すこととし、尚ｋはフレーム番号である。このような動きベクトルＭＶ＝（Ｖx，Ｖy）はトップ半フレーム又はボトム半フレームに夫々属するｋ番目のピクチャの単一ピクセル又は複数のピクセルからなるグループ（マクロブロック）に関連するものとすることが可能である。
【００２７】
本発明方法を実現するためには、推定によって、粗いものであっても、動きベクトルＭＶＴＯＰX,Y（Ｋ）及びＭＶＢＯＴX,Y（Ｋ）を多くの夫々の動き係数ＶＴＯＰX,Y（Ｋ）及びＶＢＯＴX,Y（Ｋ）として推定することにより取得し且つこのような係数に依存して現在のピクチャをプログレッシブ又はインターレースのピクチャとして認識することが必要である。
【００２８】
動き係数ＶＴＯＰX,Y（Ｋ）及びＶＢＯＴX,Y（Ｋ）を計算する好適な態様は、各動きベクトルＭＶに対して、その成分の絶対値の和を計算することであり、即ち、ｋ番目のピクチャのトップ半フレームの動きベクトルＭＶＴＯＰX,Y（Ｋ）を考慮することによって、
ＶＴＯＰX,Y（Ｋ）＝｜Ｖx｜＋｜Ｖy｜
且つ、ｋ番目のピクチャのボトム半フレームの動きベクトルＭＶＢＯＴX,Y（Ｋ）を考慮することによって、
ＶＢＯＴX,Y（Ｋ）＝｜Ｖx｜＋｜Ｖy｜
を行うことである。
【００２９】
動き係数を計算する上の態様は幾つかの可能なものの内の１つに過ぎず、例えば、動き係数をＶx及びＶyの平方の和の平方根として計算することで充分な場合があり又当業者にとって明らかなようなその他の態様で充分な場合がある。
【００３０】
１例として、動き係数ＶＴＯＰX,Y（Ｋ）及びＶＢＯＴX,Y（Ｋ）が動きベクトルＭＶの成分の絶対値の和として計算される場合について以下に説明するが、本発明方法は異なる態様で動き係数を計算することによっても実現することが可能である。
【００３１】
そのトップ半フレームの及びそのボトム半フレームの動き係数の分布を検査することによってインターレースピクチャとプログレッシブピクチャとを区別することが可能である。経験的には、プログレッシブピクチャはトップ及びボトムの係数の分布において顕著な差があることによって特性付けられ、一方インターレースピクチャはこれらの動き係数の分布がより一様なものであることによって特性付けられることが判明している。
【００３２】
この概念は図３及び４に示されており、その場合には、プログレッシブシーケンス及びインターレースシーケンスの夫々に関してトップ半フレーム（トップフィールド）及びボトム半フレーム（ボトムフィールド）の動き係数の夫々の分布の２つの典型的なヒストグラムが示されている。特に、図３においては、２つの分布の間の差が明らかである。ボトムフィールドの係数の分布は値１（水平軸）近くにより集中している（垂直軸）によって特性付けられ、一方トップフィールドの係数の分布はより大きな一様性を有しており、一方、図４においては、これら２つのヒストグラムはほぼ同一である。
【００３３】
多くの異なるビデオシーケンスをテストし、異なる動き推定器で得られた動き係数の夫々の分布を計算することによって、以下のことが判明している。
【００３４】
※動画サブシーケンス（フィルムモード）のフレームに属するボトムフィールドの動き係数の分布は、ベクトルの垂直成分のために、１近くの最大値の周りに集中している。一方、トップフィールドにおいては、このような最大値は明らかに一層低く、即ちボトムフィールドにおけるよりも分散がより大きい。
【００３５】
※インターレースシーケンスに属するトップフィールド及びボトムフィールドの動き係数の分布は実質的に同一の形状を有しており、且つこれらの分布の分散は、動きが大きければ大きい程、一層大きい。
【００３６】
シーケンス全体に対しての他に、単一のフレームに対しても実質的に同一の顕著な形状が得られる。
【００３７】
実質的に、インターレースピクチャは、トップ動き係数の分布がボトム動き係数のものとほぼ同一であるという点において実質的に特性付けられ、一方プログレッシブピクチャは、トップ及びボトム動き係数の分布の間の顕著な差及びトップ動き係数の場合よりもボトム動き係数の最大値近くに比較的より強く集中していることによって特性付けられる。
【００３８】
上述した特性の内の１つの検知を使用してピクチャの内容がプログレッシブであるか又はインターレースであるかの認識を行う。
【００３９】
確率変数理論は、上述した特性の内の１つを認識するための幾つかの方法を提供している。このような方法は、トップ及びボトム動き係数の分布を表す一対の形状係数を計算し、且つそれら２つの形状係数の間で実質的な差異が存在するか否かを検証し、肯定の場合にはそれら２つの分布が同一のものであるとして認識し、そうでない場合には互いに異なるものであるとして認識することを包含することが可能である。
【００４０】
一方、これら２つの分布の相関を表す係数を計算し、且つこのような相関係数がある値を超えるか否かを検証し、肯定である場合には、そのピクチャがインターレースであり、そうでない場合にはプログレッシブであるとして認識することが可能である。
【００４１】
更に別の方法は、動き係数のこれら２つの分布の最大値に関しての偏差を形状係数として使用することが可能である。プログレッシブピクチャの場合には、ボトムフィールドの動き係数の値がトップフィールドの動き係数の値よりもそれらの最大値近くにより集まっているので、トップフィールドに対する偏差はボトムフィールドに対する偏差よりも一層大きい。従って、トップフィールドの動き係数の偏差がボトムフィールドの動き係数の偏差よりもあるパーセントだけ超えている場合には、そのピクチャはプログレッシブであり、そうでない場合にはインターレースであるということが可能である。
【００４２】
動き係数によってピクチャがプログレッシブのピクチャであるとして認識するピクチャのタイプの事前テストを実施する本発明の特に興味のある適用例は以下に説明するものである。
【００４３】
ビデオシーケンスにおいては、時折、「準静止的」と呼ばれるピクチャが存在しており、その動きはフレームの比較的小さな部分に制限されており、典型的な準静止的ピクチャはテレビのニュース解説者を表すピクチャであり、その場合には、動きは解説者の顔に実質的に制限されており、一方そのピクチャの残りの部分は実質的に静的のままである。
【００４４】
このような場合においては、プログレッシブピクチャとインターレースピクチャとの間に存在する差は比較的小さいものであり、従って、重大なるエラーを導入することなしに、検査したピクチャを適宜分類することが可能である。最も重要な適用例はＭＰＥＧスタンダードに従って符号化したビデオシーケンスの場合であるので、準静止的ピクチャはプログレッシブであると考えることが可能である。何故ならば、このような選択はＭＰＥＧ符号化にとって必要とされる計算の数を著しく減少させることを可能とするからである。
【００４５】
「準静止的」ピクチャとしてのピクチャの認識は、夫々、全てのトップ及びボトム動き係数の和としての（図６ａ及び６ｃの場合の「準静止的」ブロックの信号Ｂによって表される）トップＳＶＴＯＰ及びボトムＳＶＢＯＴの夫々の２つの和係数を発生することによって実施される。両方の和係数ＳＶＴＯＰ及びＳＶＢＯＴが夫々の予め確立されている正の数Ｔ１及びＴ２よりも低い場合には、即ち、
【数１】
0003676670.tif 000002
【００４６】
である場合には、検査したピクチャは「準静止的」ピクチャとして認識される。
【００４７】
ピクチャを「準静止的」ピクチャとして取扱うことの可能性から得られる著しい簡単化のために、究極的にピクチャの内容がプログレッシブであるかインターレースであるかを検知するための後のテストの前に上述したテストを使用することが可能である。
【００４８】
プログレッシブピクチャをインターレースピクチャから区別する好適な態様は、夫々ボトムＴＨＲ１及びトップＴＨＲ２である２つの予め確立したスレッシュホールドを画定し、且つトップ動き係数ＶＴＯＰX,Y（Ｋ）及びボトム動き係数ＶＢＯＴX,Y（Ｋ）をこれらのスレッシュホールドと比較を行うものであり、それは以下のように表すことが可能である。
【００４９】
【数２】
0003676670.tif 000003
【００５０】
トップフィールドのパラメータＮ１ＴＯＰ（Ｋ）を計算する１つの可能な機能的ブロック図の１例を図５に示してある。他の３つのパラメータを計算するアーキテクチャも同じである。
【００５１】
図３及び４のヒストグラムを参照すると、Ｎ１ＴＯＰ（Ｋ）及びＮ１ＢＯＴ（Ｋ）が分布の最大値の表示を与え（ＴＨＲ１がこのような最大値よりも大きい場合）、一方Ｎ２ＴＯＰ（Ｋ）及びＮ２ＢＯＴ（Ｋ）がそれらの分散を与える（ヒストグラムを取囲むドーム形状の曲線の幅）ことを理解することが可能である。
【００５２】
以下の比を定義する。
【００５３】
【数３】
0003676670.tif 000004
【００５４】
γ、δ、ε、ηを４つの予め確立した数として、以下のテストの全てが検証される場合には、
【数４】
0003676670.tif 000005
【００５５】
ｋ番目のフレームはプログレッシブであるとして認識され、そうでない場合にはインターレースであるとして認識される。
【００５６】
例えばＲ２（Ｋ）及びＲ４（Ｋ）のみを使用する代わりに４つのパラメータの全てを使用することの選択は、各フレームに対しての決定を行わねばならないので、不確実性を最小とするためには全ての使用可能な情報を使用することが好適であるという事実に起因している。
【００５７】
エラーを防止するためには、以下の条件を適用することも可能である。
【００５８】
【数５】
0003676670.tif 000006
【００５９】
尚、θ及びιは２つの予め確立した正の数である。後者の条件はピクチャをプログレッシブであるとして分類するための２つの分布の間により区別可能な差異を課している。
【００６０】
上述した手順の利点は、専ら単一のピクセルに対してではなくマクロブロックに対して確立された動きベクトルについて動作を行う可能性である。このことは計算を著しく簡単化させることを可能としており、そのことは本発明方法を特に低コストの適用例において適切なものとさせている。
【００６１】
ピクチャの内容がインターレースであるかプログレッシブであるかを検知するための本発明の手順によって与えられる結果において、動きが区別を行うことを非常に困難にさせるようなものであってビデオシーケンスの短い部分によって発生されるような振動を回避するために、先行するフレームにおいて行われた決定を考慮する簡単なヒステリシスメカニズムを導入することが可能である。
【００６２】
ヒステリシスメカニズムは、本発明の上述した方法の内の１つに従ってピクチャがプログレッシブであるかインターレースであるかの認識に依存して各ピクチャを一時的な重み値Ｐ（Ｋ）と関連付けし、１つ又はそれ以上の先行するピクチャと相対的な最終的な重み値Ｄ（Ｉ）及びその一時的な重み値Ｐ（Ｋ）の関数として最終的な重み値Ｄ（Ｋ）を各処理したピクチャに対して計算し、現在のピクチャがプログレッシブであるかインターレースであるかの認識をその最終的な重み値に基づいて行うことにより実現することが可能である。
【００６３】
このようなヒステリシスメカニズムをどのようにして実現することが可能であるかの１つの例を図６ａのフローチャートに示してある。
【００６４】
最初に、例えばＮＦ＝３としてパラメータＮＦに対して値を割り当てることによって考慮すべき前のピクチャの数を決定せねばならない。その後に、本システムが動きベクトルを推定するための任意の技術を適用し且つ動き係数ＶＴＯＰX,Y（Ｋ）及びＶＢＯＴX,Y（Ｋ）を計算する。これらの係数の値から開始して、「準静止的」ブロックが、上述したアルゴリズムに従って、そのピクチャが準静止的であるか否かを検証する。その結果が肯定である場合には、そのピクチャはプログレッシブであるとして分類され、その最終的な重みはＤ（Ｋ）＝ωとして確立され且つ次のピクチャが処理される。
【００６５】
その結果が否定である場合には、本システムは式（３）及び（５）に従ってＲ１（Ｋ）、Ｒ２（Ｋ）、Ｒ３（Ｋ）、Ｒ４（Ｋ）、Ｒ５（Ｋ）、Ｒ６（Ｋ）の比を計算する。これらの比が不等記号（４）及び（５）を満足する場合には、図６ｃにおいてより詳細に示してある（ヒステリシス）ブロックが一時的な重みＰ（Ｋ）をそのピクチャと関連付ける。このような一時的な重みは、不等記号（４）及び（５）が満足される場合には数βに等しく、そうでない場合には数αに等しい。
【００６６】
該一時的重みが既知である場合には、最後の２つのフレーム及び現在のフレームに関連している重みの和がある数μと等しいか又はそれより大きい場合に、即ち、
Ｐ（Ｋ）＋Ｄ（Ｋ−１）＋Ｄ（Ｋ−２）≧μ
である場合に、「ヒステリシス」ブロックは現在のフレームをプログレッシブフレームとして認識し、且つそのフレームは最終的な重みＤ（Ｋ）＝βを取得する。反対の場合には、現在のフレームは最終的な重みＤ（ｋ）＝ωを取得し、インターレースとして分類される。
【００６７】
式（４）及び（５）が検証されない場合（図６ａ及び６ｂにおける「ヒステリシス」ブロックの入力Ｎ）、現在のフレームｋは一時的にインターレースとして分類され且つ一時的な重みＰ（Ｋ）＝αを取る。相補的な条件が検証される場合、即ち、
Ｐ（Ｋ）＋Ｄ（Ｋ−１）＋Ｄ（Ｋ−２）≦μ
である場合に、最終的な選択はインターレースフレームであり、最終的な重みはＤ（Ｋ）＝αであり、その反対の場合は、該フレームはプログレッシブとして分類され且つ最終的な重みＤ（Ｋ）＝ωを取る。
【００６８】
本発明の好適実施例によれば、重みα、β、μ、ωは０、１、１．５、０．５に等しいが、これらの値は同一のピクチャシーケンス期間中であっても、必要性に依存して変化させることが可能である。
【００６９】
このようなヒステリシス手順の場合には、重みＤ（Ｋ−１）及びＤ（Ｋ−２）によって前のフレームにおいて行われた実効的な選択及び種々の決定パラメータＲ１（Ｋ）、Ｒ２（Ｋ）、Ｒ３（Ｋ）、Ｒ４（Ｋ）によって与えられる表示が２つの可能な選択の内のいずれにも優先度を与えることなしに、考慮される。
【００７０】
本発明方法の１実施例のブロック図を図７に示してある。動きベクトルの推定から開始して、現在のピクチャが準静止的であるか否かが検証され、次いで本発明アルゴリズム（ＩＰＤ）が実行され且つ最終的にヒステリシス手順を実現する機能的ブロックが、そのピクチャがプログレッシブであるかインターレースであるかを表すフラグを発生する。
【００７１】
該ヒステリシス手順を使用して、インターレースからプログレッシブへのスキャニングモードの急激な変化が防止され、従って短期間持続する擾乱（ノイズ）が決定に影響を与えることを回避する。
【００７２】
本発明方法は、最低数の計算とさせる計算アルゴリズムを適応的に選択することによって最も洗練された態様で運動ベクトルの計算を行うことを可能とする。
【００７３】
デジタルピクチャのシーケンスを取扱うＭＰＥＧ２スタンダードによって取られる重要性に鑑み、以下においては、ＭＰＥＧ２システムを参照するが、同一の考察は異なるスタンダードに基づくシステムにおいても同様に適用可能である。
【００７４】
ＭＥＰＧ２スタンダードにおいては、他のスタンダードにおけるように、動き推定及びその結果の時間的予測の少なくとも２つの異なる技術が可能である。
【００７５】
※フレーム予測、この場合には、現在のピクチャをフレーム種類（１６×１６ピクセル）のマクロブロックに分割し、且つそれらの各々に対して、先行するフレームにおける予測子を動き推定用の任意の方法で見つけ出す。
【００７６】
※フィールド予測、この場合には、各マクロブロックフレームをその２つの成分フィールド（１６×８ピクセル）に分割し、その内の１つは偶数半フレームに関するものであり且つ別の１つは奇数半フレームに関するものであり且つそれらの各々に対して、時間的に先行するピクチャに属する同一のパリティのフィールドに関する予測子が見つけられる。
【００７７】
最良の符号化は、１つのマクロブロックの予測子の全ての可能な組み合わせ、即ちフレーム、フィールドトップｋ−１上のフィールドトップｋ、フィールドボトムｋ−１上のフィールドトップｋ、フィールドトップｋ−１上のフィールドボトムｋ、フィールドボトムｋ−１上のフィールドボトムｋについてテストすることによって得られる。全ての場合において、予測（及び動き推定）は前方又は後方種類のものとすることが可能である。従って、各マクロブロックに対して多数のマッチングエラーを計算することが必要である。
【００７８】
このことは低コスト適用例の場合には厄介なものとなり、実際に、殆ど動きの内インターレースシーケンスは何等重要なる品質を喪失することなしにプログレッシブとして符号化することが可能であり、従ってフィールド予測を煩わせることを回避する。同様に、かなりの動きを伴うインターレースシーケンスはフレームとして予測することの利点を有するものではなく、それはフィールド予測推定を必要とするに過ぎない場合がある。
【００７９】
フィールド又はフレーム推定のみを実施することによって著しい計算上の簡単化を得ることが可能である（約３０％から約５０％）。いつフィールドモードで動作すべきか及びいつフレームモードで動作すべきかを動き推定器に対して告知するメカニズムが必要であるに過ぎない。このことは、本発明のＩＰＤアルゴリズムによって与えることが可能である。唯一の条件は、動き推定を１つ又はそれ以上のステップで連続するフィールドに関して実施するということである。
【００８０】
図８に示した「粗目サーチ」ブロックによって実施される第一ステップは、連続するフレームから動きベクトルの粗目の推定を計算するために必要である。「微細サーチ」ブロックによって実施される第二ステップは、効果的な符号化に対して必要な動きベクトルのより細かい推定を計算するのに必要である。第１ステップの終わりにおいて、第二ステップにおける微細な動き推定を実現するために本発明のＩＰＤ手順を実施することが可能である。
【００８１】
最後に、本発明のＩＰＤ方法は、動き推定用の方法と関連された場合に、本発明のＩＰＤ係数なしで動き推定器を使用する場合と比較して別の利点を提供する。即ち、
※マクロブロック当たりの計算されたマッチングの同一の最大数に対して予測ピクチャのより良い品質を与える。何故ならば、ＩＰＤ係数によって与えられる表示に依存して予測モードを選択することによりフレームのみ又はフィールドのみの予測子（ある最大数まで）の数を増加させることが可能だからである。
【００８２】
※予測されたピクチャの同一の品質に対しマクロブロック当たりのマッチングの数がより少ない。何故ならば、ＩＰＤ係数によって与えられる表示に依存してフィールド予測又はフレーム予測のいずれかが実施され、動き推定モードに依存してマッチングの数が３０％乃至５０％節約されるからである。
【００８３】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】  プログレッシブカメラで撮られたビデオシーケンスの一例を示した概略図。
【図２】  インターレースカメラで撮られたビデオシーケンスの一例を示した概略図。
【図３】  プログレッシブシーケンスのトップ半フレーム（トップフィールド）及びボトム半フレーム（ボトムフィールド）の動きベクトルの動き係数の可能な分布の一例を示した概略図。
【図４】  インターレースシーケンスのトップ半フレーム（トップフィールド）及びボトム半フレーム（ボトムフィールド）の動きベクトルの動き係数の可能な分布の一例を示した概略図。
【図５】  比較係数を計算するアルゴリズムを実行するブロック図。
【図６ａ】  本発明のＩＰＤ手順を示したフローチャート。
【図６ｂ】  図６の「ヒステリシス」機能ブロックの詳細を示したフローチャート。
【図６ｃ】  図６ａの「準静止的」機能的ブロックを示したフローチャート。
【図７】  ピクチャの内容がプログレッシブであるか又はインターレースであるかの検知を行う構成を示した概略図。
【図８】  本発明のＩＰＤステップを使用する一般的な２ステップ動き推定器を示した概略ブロック図。
【図１】
0003676670.tif 000007
【図２】
0003676670.tif 000008
【図３】
0003676670.tif 000009
【図４】
0003676670.tif 000010
【図５】
0003676670.tif 000011
【図６ａ】
0003676670.tif 000012
【図６ｂ】
0003676670.tif 000013
【図６ｃ】
0003676670.tif 000014
【図７】
0003676670.tif 000015
【図８】
0003676670.tif 000016