(57)【特許請求の範囲】
【請求項１】
符号化ブロックによりビデオ画像をディジタル符号化するための初期グリッドの位置を復元するために前記画像空間位置を同期させる方法であって、
ａ）前記符号化ブロックから構成され、画像の少なくとも一部に対応する解析グリッドＧＡを、画像のラインの方向及び／又は画像のラインと垂直の方向に沿って移動させる段階と、
ｂ）解析グリッドＧＡの各位置において、ブロック変換によって解析グリッドＧＡの各ブロックの変換係数Ｆｕ，ｖを決定し、解析グリッドＧＡの各位置について、画像の活動度を表す活動度パラメータを計算する段階と、
ｃ）前記活動度パラメータが最小の活動度を表す解析グリッドＧＡの位置を決定し、前記位置を同期位置に確定する段階を実施し、
解析グリッドの前記移動が画素間距離よりも小さいステップで生じることを特徴とする方法。
【請求項２】
符号化ブロックによりビデオ画像をディジタル符号化するための初期グリッドの位置を復元するために前記画像空間位置を同期させる方法であって、
ａ）前記符号化ブロックから構成され、画像の少なくとも一部に対応する解析グリッドＧＡを、画像のラインの方向及び／又は画像のラインと垂直の方向に沿って移動させる段階と、
ｂ）解析グリッドＧＡの各位置において、ブロック変換によって解析グリッドＧＡの各ブロックの変換係数Ｆｕ，ｖを決定し、解析グリッドＧＡの各位置について、画像の活動度を表す活動度パラメータを計算する段階と、
ｃ）前記活動度パラメータが最小の活動度を表す解析グリッドＧＡの位置を決定し、前記位置を同期位置に確定する段階を実施し、
前記活動度パラメータによって表される前記最小パラメータが特定のしきい値Ａより大きい場合に限って、段階ｃにおいて前記位置が確定されることを特徴とする方法。
【請求項３】
符号化ブロックによりビデオ画像をディジタル符号化するための初期グリッドの位置を復元するために前記画像空間位置を同期させる方法であって、
ａ）前記符号化ブロックから構成され、画像の少なくとも一部に対応する解析グリッドＧＡを、画像のラインの方向及び／又は画像のラインと垂直の方向に沿って移動させる段階と、
ｂ）解析グリッドＧＡの各位置において、ブロック変換によって解析グリッドＧＡの各ブロックの変換係数Ｆｕ，ｖを決定し、解析グリッドＧＡの各位置について、画像の活動度を表す活動度パラメータを計算する段階と、
ｃ）前記活動度パラメータが最小の活動度を表す解析グリッドＧＡの位置を決定し、前記位置を同期位置に確定する段階を実施し、
画像信号をサンプリングするためにサンプリング・クロックを表すコンバータを使用してアナログ・ディジタル変換を行う段階を段階ａの前に含み、段階ｃの後に、
−  画像のラインの方向に解析グリッドをｄＸ移動させ、画像信号のサンプリング位相を少なくとも１増分ｄφだけ修正する段階ｄと、
−  段階ｄで定められた解析グリッドの少なくとも１変位ｄＸについて、前記変換係数Ｆｕ，ｖ、及び画像の活動度を表す前記パラメータを決定する段階ｅとを含むことを特徴とする方法。
【請求項４】
符号化ブロックによりビデオ画像をディジタル符号化するための初期グリッドの位置を復元するために前記画像空間位置を同期させる方法であって、
ａ）前記符号化ブロックから構成され、画像の少なくとも一部に対応する解析グリッドＧＡを、画像のラインの方向及び／又は画像のラインと垂直の方向に沿って移動させる段階と、
ｂ）解析グリッドＧＡの各位置において、ブロック変換によって解析グリッドＧＡの各ブロックの変換係数Ｆｕ，ｖを決定し、解析グリッドＧＡの各位置について、画像の活動度を表す活動度パラメータを計算する段階と、
ｃ）前記活動度パラメータが最小の活動度を表す解析グリッドＧＡの位置を決定し、前記位置を同期位置に確定する段階を実施し、
空間同期画像のシーケンスにおいて、前記活動度パラメータによって表される活動度の最小値を示す画像を決定し、それによってこれらの画像を予測を伴わずに符号化されたＩ型画像として識別する段階を含むことを特徴とする方法。
【請求項５】
符号化ブロックによりビデオ画像をディジタル符号化するための初期グリッドの位置を復元するために前記画像空間位置を同期させる方法であって、
ａ）前記符号化ブロックから構成され、画像の少なくとも一部に対応する解析グリッドＧＡを、画像のラインの方向及び／又は画像のラインと垂直の方向に沿って移動させる段階と、
ｂ）解析グリッドＧＡの各位置において、ブロック変換によって解析グリッドＧＡの各ブロックの変換係数Ｆｕ，ｖを決定し、解析グリッドＧＡの各位置について、画像の活動度を表す活動度パラメータを計算する段階と、
ｃ）前記活動度パラメータが最小の活動度を表す解析グリッドＧＡの位置を決定し、前記位置を同期位置に確定する段階を実施し、
画像のシーケンスにおいて、前記シーケンスの画像の少なくとも１つの領域の活動度パラメータ、好ましくは平均活動度ＡＭについて、最大活動度に対応する値を示す画像を決定し、それによってこれらの画像をＰ型画像として識別する段階を含むことを特徴とする方法。
【発明の詳細な説明】
【０００１】
本発明の主題は、符号化ブロックによるビデオ画像の初期ディジタル符号化のための初期グリッドの位置を復元するために、ビデオ画像の空間位置を同期させる方法、ならびに初期符号化の時間ベース構文を、少なくとも部分的に識別する方法である。
【０００２】
ビデオへのディジタル技術の導入は、音声映像信号の生成、ポストプロダクション、保管及び放送の分野に新しい展望をもたらす。さらに、この技術が、様々な操作過程の中で生成及び処理するデータの量を削減するために、処理量削減符号化方法、特にＪＰＥＧ、ＣＣＩＴＴ  Ｈ２６１、ＩＳＯ／ＣＥＩ１３９１８  ＭＰＥＧ２を広めてきた。
【０００３】
現在、いくつかの項目の装置には、ディジタル・ビデオ・レコーダ、生成後編集プログラム及び放送用符号器のような符号化アルゴリズムが取り入れられている。それらの使用の拡大は、しばしばこれらの操作の連続を意味する。これらのシステムの多段接続は、必然的にベースバンド信号に影響を与える。処理量削減方法は非可逆的だからである。従って、使用アルゴリズム、たとえばブロックによる離散コサイン変換、動きの推定及び補償、予測などに関する劣化を引き起こす。さらに、音声映像信号処理システム内のディジタル及びアナログ装置の多段接続は、符号化により蓄積された劣化に加わるさらなる劣化を引き起こす。これらの劣化は、主に、圧縮方法に使用されるデータのフォーマットを干渉する空間及び時間ベースの位相変位によるものである。実際、符号化技術に関する規定は、同一のビデオシーケンスの画像に関して、異なる処理構文を用いて８×８画素のブロックを表す符号化グリッドに画像を区分けする、すなわち予測を伴わずに符号化された画像（Ｉｎｔｒａ  Ｉ）、一方向予測によって符号化された画像（Ｐ）、及び双方向予測によって符号化された画像（Ｂ）に区分けする符号化が定められた。
【０００４】
従って、初期ディジタル符号化グリッドに対応する同期を復元することが可能な方法を利用できれば役立つ。
【０００５】
さらに、当該方法は、システム性能試験の実施を可能にするためにも有益である。
【０００６】
原信号に対するシステムの影響を評価し、その性能を試験することを可能にするために、原画像ＩＳを表す入力信号Ｓとシステムの出力側の信号であって劣化画像ＩＤを表す信号とを比較することが実際に知られている。誤り信号の計算は、アナログ又はディジタル・システムの性能面を評価する診断手段である。たとえば、符号器及び復号器の場合は、この動作は処理量削減の効果を強調し、この動作によって引き起こされる劣化を評価する。従って、そこには、システムの出力側の信号の品質に対する測度が取り入れられる。
【０００７】
しかし、誤り信号を計算するためには、２つの画像内の同じ位置に位置する画素の値を比較することができるように、前もって２つの信号を同期させることが望ましい。ビデオ・シーケンスの同期については、ＳＭＰＴＥジャーナル１９９５年１１月号の７４２頁から７５０頁に「ビデオ圧縮：試験の必要性」という題名で掲載された、Ｇ．ＢＥＡＫＬＥＹ、Ｃ．ＣＲＥＳＳＹ及びＪ．Ｖａｎ  ＰＥＬＴによる論文記事の中で、空間再同期が提案されている。それは、劣化画像ＩＤと原画像ＩＳの相関関数を計算することによって実施される。この関数の最大値の位置は、最も近い基準画像に対する劣化画像の空間位相変位である整数値を画素単位で与える。
【０００８】
この方法の主な欠点は、基準画像が必要なことである。この制約は、特にビデオシーケンスの２つの原ＩＳと劣化ＩＤバージョンが物理的に分離されている場合に、実際に使用することを高価で困難なものにする。さらに、非符号化基準画像が存在すると大量のデータが記憶又は送信されることになる。さらに、相関演算を実行するために長時間を要し、複雑な装置が必要になる。
【０００９】
本発明の目的は、符号化及び復号化ビデオシーケンスの空間同期（及び該当する場合は時間ベース同期）を自動的に実行することである。空間及び／又は時間ベース位置情報が必要になる度にこの動作を利用することができる。１つの応用例として、これを利用して、上述の方法の連続を意味する動作を容易に実行することが可能である。この場合、この動作はビデオ信号にさらなる欠陥がもたらされるのを防ぐ。
【００１０】
他の使用例としては、符号化する前の画像と符号化した画像を比較するための空間及び／又は時間ベース同期が挙げられる。第２の場合には、この同期によって、後にそれら２つの画像のあらゆる相違点を明確にすることが可能である。
【００１１】
本発明による方法は、応用される技術の特性、及び必要に応じて符号化ディジタル画像の内容の構造を考慮する。この方法では、動作を実行するために、位相に関する空間情報（画素レベル、及びモジュロ、すなわちブロックのサイズ）、及び／又は一連のビデオ画像の位相に関する時間ベース情報（画像グループの構成）を利用する。
【００１２】
これを実行するために、ＭＰＥＧ標準に採用された離散コサイン変換ＤＣＴに類似した方法で、線型ブロック変換を行う。本発明は、ＭＰＥＧの符号化を通じて実行される画像処理の特性を利用するもので、符号化された画像にその特性が反映される。従って、このオリジナルなアプローチによって、基本としてビデオ信号の処理だけを利用することが可能になる。
【００１３】
線型及び直交ブロック変換が使用され得る（フーリエ変換、離散コサイン変換など）。位置ｎ、ｍにおける各々の画像ブロックｆn,mに対応する変換ブロックＦn,m（ｉ，ｊ）は、演算
［Ｆn、m］＝［Ｔ］．［ｆn,m］．［Ｔ］t
によって得られ、ここでＴ（ｘ，ｙ）は変換マトリックスを表す。
【００１４】
所望のサイズ、特に先の方法によって求められたブロックと同じサイズの変換ブロックを求める方法でウェーブレット係数を再編成することによって、画像のウェーブレット変換を使用することも可能である（離散ウェーブレット変換ＤＷＴ）。Ｒ．ｄｅ  Ｑｕｅｉｒｏｚ等による「ＪＰＥＧ類似画像符号器におけるウェーブレット変換」という題名の論文記事で、１９９７年４月にビデオ技術の回路及びシステムに関するＩＥＥＥ  ｒｅｖｉｅｗ  Ｔｒａｎｓ第７巻Ｎｏ．２、ｐ．４１９−４２４に掲載された記事の中に１つの再編成法が示されている。
【００１５】
特に、その特性とＭＰＥＧ標準で使用されることにより、離散コサイン変換ＤＣＴを使用するのが非常に効果的である。
【００１６】
本発明の基本的な概念は、ブロックディジタル符号化のための初期グリッドによる符号化の位置に、ブロック変換係数が高度に集中することを利用するものである。
【００１７】
従って、本発明は、ブロックの符号化によってビデオ画像のディジタル符号化のための初期グリッドの位置を復元するために、ビデオ画像の空間位置を同期させる方法であって以下の段階を実行することを特徴とする方法に関する。
【００１８】
ａ）符号化ブロックから構成され少なくとも画像の一部に対応する解析グリッドを、画像ラインの方向及び／又は画像ラインと垂直の方向に移動させる段階。
【００１９】
ｂ）ブロック変換を介して解析グリッドの各々の位置について解析グリッドの各ブロックの変換係数Ｆｕ，ｖを決定し、解析グリッドの各々の位置について、画像の活動度を表す活動度パラメータを計算する段階。
【００２０】
ｃ）前記活動度パラメータが最小値を示す解析ウィンドウの位置を決定し、前記位置を同期位置と確定する段階。
【００２１】
前記活動度パラメータは解析グリッドのブロックの活動度ａｓｂの平均ＡＭであり、ブロックの活動度ａｓｂは、おそらくは加重され、そして例えば離散コサイン変換によって変換された前記ブロックの係数Ｆｕ，ｖの絶対値を（ｕ，ｖ）≠（０，０）の条件で合計することで定義される。
【００２２】
これは、
【００２３】
【数９】
0004081638.tif 000002
【００２４】
で表すことができる。
【００２５】
ｋ（ｕ，ｖ）使用成分を加重するための係数で、ｐは定数を表す。
【００２６】
１つの好ましい変形形態によれば、活動度パラメータは、以下の式で表される、解析グリッドのブロックのスペクトル・エントロピｅｓｂの平均値ＥＳであり、
【００２７】
【数１０】
0004081638.tif 000003
【００２８】
ここで、
【００２９】
【数１１】
0004081638.tif 000004
【００３０】
及び
【００３１】
【数１２】
0004081638.tif 000005
【００３２】
であり、Ｆ（ｕ，ｖ）はブロック変換、たとえば離散コサイン変換によって変換された単一ブロックの係数を定める。
【００３３】
空間的同期位置を特徴づけることを可能にする関数ｅｓｂは、以下の式を使用して計算することができ、
【００３４】
【数１３】
0004081638.tif 000006
【００３５】
ここで、
【００３６】
【数１４】
0004081638.tif 000007
【００３７】
及び
【００３８】
【数１５】
0004081638.tif 000008
【００３９】
であり、ｋ（ｕ，ｖ）は使用成分を加重するための係数で、ｐは定数を表す。
【００４０】
定数ｋ（ｕ，ｖ）を選択するためのいくつかのオプションがあり、目的とする用途に基づいていずれかの定数が選択される。実際、把握されるべき特徴に応じて、すなわち、画像システムを考慮するとか、又は関連情報の一部を抜粋するとかによって、ｋ（ｕ，ｖ）を選択する。以下の場合が提案される。
【００４１】
１）人間の知覚との好ましい相関性を優先する場合は第１の方法を使用する。ここでは、知覚される対象を表す活動度パラメータを供給するために、人間の目、特にその周波数感度に対する変換係数の相対的重要度の関数として、定数ｋ（ｕ，ｖ）の値を初期設定する。たとえば、ＤＣＴの場合は、ｋ＝（ｕ，ｖ）＝１／Ｑ（ｕ，ｖ）が適用される。Ｑ（ｕ，ｖ）は、ＭＰＥＧ−２標準から抜粋された次の文書、すなわちＩＳＯ／ＩＥＣ  ＣＤ  １３８１８−２、「情報技術−動画及び関連音声情報の共通符号化−第２章：ビデオ」（１９９３年１２月１日、ｐ．４５、§６．３．７）に定められた、処理量削減のために利用される量子化マトリックスの成分である。
【００４２】
２）圧縮の影響を受けたＤＣＴ係数が識別可能な場合は第２の方法が使用される。特定の使用変換係数を削除するように定数ｋ（ｕ，ｖ）を選択する。実際、影響を受ける、又は特定の劣化に敏感な係数を保持するために、重み関数ｋ（ｕ，ｖ）が使用される。これは、削除される係数に０を割り当て、該当係数に１を割り当てる２進マトリックスを伴う。その選択は、ＤＣＴマトリックス内の係数の位置（ａ）、又は振幅の平均値（ｂ）に基づいている。
【００４３】
ａ）高空間周波数に対応する係数は、しばしば圧縮の影響を最も受けやすい係数である。ＤＣＴ係数の配置に依存する重みマトリックスの一例が以下の表に示されている。
【００４４】
0004081638.tif 000009
ｂ）圧縮段階を通じて特定の低振幅係数は０に下げられる。
【００４５】
これらの係数を選択するために、（Ｍ．Ｎサイズのブロックの）解析画像領域に対する各係数の加重平均値が形成され、
【００４６】
【数１６】
0004081638.tif 000010
【００４７】
ここで、Ｑ（ｕ，ｖ）は上記１）のように定義される。
【００４８】
その平均値が小さいほうから４８個の値のいずれかである係数が採用される。これらの値については、ｋ（ｕ，ｖ）＝１で、他の値についてはｋ（ｕ，ｖ）＝０である。
【００４９】
「スペクトル・エントロピー」パラメータＥＳの場合は、具体例を説明するためにｋ（ｕ，ｖ）＝１及びｐ＝１が固定される。
【００５０】
活動度パラメータによって表される活動度の最小値が、同期位置の適切さを判断するために必要とされる画像の「豊富度」の最小値に対応する特定のしきい値Ａよりも高い場合にのみ、段階ｃを通じて前記位置を定めるのが効果的である。
【００５１】
解析グリッドの前記移動は、１画素間距離、又は複数の画素間距離に相当するステップの中で実施されてもよい。また、前記移動は画素間距離よりも小さなステップの中で生じることもある。
【００５２】
好ましい一実施形態によれば、空間位置の同期によって、準画素移動と呼ばれる移動、すなわち画素間距離よりも小さい水平方向空間位相移動を生じさせる。
【００５３】
すなわち、本発明による方法は、画像信号をサンプリングするためにサンプリング・クロックを示すコンバータを使用したアナログ・ディジタル変換を段階ａの前に含むこと、及び段階ｃの後に以下の段階を含むことを特徴とする。
【００５４】
−画像のラインの方向に解析グリッドをｄＸ移動させ、画像信号のサンプリング位相を少なくともｄφ単位で修正する段階ｄ。
【００５５】
−段階ｄを通じて設定された、解析グリッドの少なくとも１つの変位について、前記変換係数Ｆｕ，ｖ、及び画像の活動度を表す前記パラメータを決定する段階ｅ。
【００５６】
次にこの方法は、段階ｄを通じて、ｄφ単位でサンプリング位相を変化させることによって得られた解析グリッドの複数の前記変位に沿って解析グリッドを移動させることによって前記準画素が調べられることと、段階ｅを通じて、変位の各々について前記変換係数Ｆｕ，ｖ、及び画像の活動度を表す前記パラメータを決定することと、前記活動度パラメータが最小値を示す解析グリッドの前記準画素の位置（ｄφ0，ｄＸ0）を決定する段階ｆを含むことを特徴とする。
【００５７】
この方法は、１つが先進位置（ｄＸ＋Δ）と呼ばれ、もう１つが後進位置（ｄＸ−Δ）と呼ばれる２つの前記変位に従って前記活動度パラメータを決定する段階ｇを段階ｅの後に含むことができる。
【００５８】
この段階ｇには、先進位置（ｄＸ＋Δ）と後進位置（ｄＸ−Δ）の各々について、Ｍ枚の画像の活動度パラメータの平均値を決定する段階ｈが続く。
【００５９】
好ましい一変形形態によれば、この方法には前記サンプリング・クロックの位相φに関するフィードバックを利用する。この制御は、後進位置（ｄＸ−Δ）についての活動度パラメータの前記平均値と先進位置（ｄＸ＋Δ）についての活動度パラメータの前記平均値の差に匹敵する誤り信号に基づいて適用され得る。
【００６０】
活動度パラメータはスペクトル・エントロピＥＳであることが好ましく、画像の少なくとも一領域の平均スペクトル・エントロピ
【００６１】
【数１７】
0004081638.tif 000011
【００６２】
によって前記誤り信号を正規化することが好ましい。
【００６３】
従って、本発明による方法は、空間的に同期された画像のシーケンスにおいて、活動度パラメータによって表される活動度の最小値を示す画像を決定することによって予測を伴わずに符号化された種類の画像（Ｉ）を識別することを可能にし、それによってこれらの画像が予測を伴わずに符号化された種類の画像、すなわちタイプＩの画像と識別される。
【００６４】
本発明による方法は、空間的に同期された画像のシーケンスにおいて、好ましくは前記シーケンスの画像の少なくとも一領域の平均活動度ＡＭである、活動度パラメータによって表される活動度の最大値を示す画像を決定することによって予測によって符号化された種類の画像（Ｐ）を識別することも可能にする。
【００６５】
この活動度パラメータは画像全体、又は画像の対象領域に対して決定することができる。
【００６６】
前記決定は、シーケンス内の画像の内容の変化を少なくとも部分的に削除する方法で、前記画像シーケンスの画像の活動度パラメータを表す信号の高域フィルタリングの後に実施されるのが効果的である。
【００６７】
前記高域通過フィルタリングでは、非フィルタ信号の現在の画像に対応する点と前の画像及び次の画像に対応する隣接点との間の最小の正のオフセットを計算することによってフィルタ信号の各々の点を計算するのが効果的である。
【００６８】
本発明の他の特徴及び利点は、添付図を参照しながら以下の説明を読めばより明らかになろう。
【００６９】
本発明は、以下に記載されているように、規格、たとえばＭＰＥＧ２によって画像シーケンスを符号化する方法についての知識を取り入れている。実際、この技術の具体的な特徴は、符号化ビデオ信号を処理するための有利な可能性を提供するものである。ＭＰＥＧに用意されているアルゴリズム要素を簡潔に説明することが本発明の原理を理解するのに有益であるが、本発明はディジタル符号化の他の方法にも等しく適用される。
【００７０】
ＩＭ画像に含まれる情報量の削減を達成するために、符号化、たとえばＭＰＥＧ１、ＭＰＥＧ２又はＩＳＯ  Ｈ２６１、あるいはＪＰＥＧ（空間同期の場合）は特定のアルゴリズム・ツールに基づいたものとなっている。画像の画像点又は画素を符号化するために、上記のアルゴリズムは、単一画像内の隣接画素間の類似性（空間的冗長性）及び隣接画像間の類似性（時間ベース冗長性）を利用する。空間的冗長性を削減するために、８×８画素のブロックによる離散コサイン変換（ＤＣＴ）が適用される。従って、画像があらかじめブロックに区分けされる。得られたＤＣＴ係数の値を丸めることによって情報が削減される（スカラ量子化）。Ｎ×Ｎ画素（たとえばＮ＝８）のブロックによるコサイン変換は、画像の表示の基底を変える。この変換は、Ｎ×Ｎ画素のブロックを有し、その境界が初期符号化画像ＩＭの境界になる初期グリッドＧＩに基づいて実行される（図１参照）。時間ベース冗長性を削減するために、予測符号化が利用される。それは、信号の先行値に基づいて成された予測によって符号化されるサンプルの推定値を生成する。予測誤差は符号化され、それは表示される情報を著しく削減する。この予測は、時間軸上の先行画像に対して実施される。得られた「誤り」画像が次にＤＣＴ変換によって符号化される。復号化において、予測画像及び符号化データから画像が再構成される。
【００７１】
符号器の出力側において一定の処理量を確保することを可能にする制限が、種々の時間に基づくアルゴリズムを応用する上での規則性の利用を支配する。実際、ＭＰＥＧ２標準は、画像のシーケンスに適用される予測符号化構文を指定している。各々の画像は、特定の種類の予測、すなわちＩ、Ｐ及びＢに従って符号化される。
【００７２】
−Ｉ（イントラ）画像は予測せずに、従ってそれらの過去を考慮せずにＤＣＴによって符号化される。それらは固定の及び隔離された画像と見なされる。
【００７３】
−Ｐ画像は、それに先行するＩ又はＰ画像に基づいた予測符号化によって得られる。
【００７４】
−ＭＰＡＥＧ−２に特有のＢ（双方向）画像は、最も近い２つのＩ又はＰ画像を補間することによって得られる。
【００７５】
画像グループ又はＧＯＰは、時間に対して反復する構造を成し、ビデオ・シーケンスを表す。それは、「Ｐ」画像が周期数ｍを有する、２つの「Ｉ」画像間の距離に等しいｎ枚の画像から構成されている。これらのパラメータはＧＯＰの構造を十分に特徴づけるものである（図２参照）。示された例では、ｎ＝１２、ｍ＝３である。
【００７６】
ＤＣＴは画像の符号化に広く利用されている。すべての同期動作を実行するという観点で符号化及び復号化シーケンスを解析する用途について、例を挙げながら、以下に記載の方法を提案する。この有利なアプローチは、強固性の高度な効果を証明するものである。
【００７７】
本発明の第１の主題は、初期符号化グリッドＧＩの位置にある画像の空間同期である。実際は、再フレーム化の方法として、位置を識別する操作が実行される。それを実行するために、コサイン変換に基づいて得られた指標が使用される。
【００７８】
符号化すると、ＤＣＴ係数のスカラ量子化テーブルから、限定された数の代表的な係数に集中する解析ブロックのエネルギーが導かれる。他の係数は０に丸められる。この操作は処理量削減の中核をなすものである。
【００７９】
符号化及び復号化ディジタル画像に対して、この特性は正しい。実際、ブロックのレベルで検査が実行される場合は、初期符号化グリッドＧＩに対応する位置が特定のエネルギー集中を表すことが観察されている。その結果、この特性は、初期の符号化グリッドの位置を識別するのに用いる基本概念を構成する。ＤＣＴ変換はＭＰＥＧ規格に使用されているため、可能な変換の中ではＤＣＴ変換が有利である。他のブロック変換（たとえばフーリエ変換、ＤＷＴウェーブレット変換）を使用することができ、使用する変換は、それに従って初期画像を符号化した変換と同じである必要はない。
【００８０】
空間的に再同期するために利用される基本特性は、各画像ブロックのＤＣ成分に関する係数、たとえばＤＣＴ係数のエネルギー集中である。
【００８１】
この同期関数を完成させるために、１つの空間指標が効果的に試験された。
【００８２】
考慮された特性は他の種類の画像に対するよりも「Ｉ」画像に対する選択性が強い。ブロックの活動度は、たとえば以下の式によって定義され、
【００８３】
【数１８】
0004081638.tif 000012
【００８４】
Ｆ（ｕ，ｖ）は、離散コサイン変換ＤＣＴが適用されるブロックの変換係数を指定する。
【００８５】
以下の式は、ブロック活動度の平均によって画像又は画像の対象領域ＺＩの平均活動度を定める。
【００８６】
【数１９】
0004081638.tif 000013
【００８７】
ブロック変換、特にＤＣＴの特性の１つとして、画像の情報を少数の係数に圧縮する機能がある。ＡＭパラメータは、解析ブロックに含まれるＤＣＴ領域内の情報量の平均値を示す。このパラメータは、画像全体又は対象領域ＺＩのみを包括することができるブロックのグリッドＧＡの特定位置について計算される。
【００８８】
パラメータａｓｂは有効であるが、ＤＣＴ係数におけるエネルギーの分布に関する情報を提供しない上に、ＤＣＴ係数の振幅に敏感である。
【００８９】
従って、ここでは、たとえば以下の式で定義され、ブロックのスペクトル・エントロピｅｓｂが優先的に使用され、
【００９０】
【数２０】
0004081638.tif 000014
【００９１】
ここで、
【００９２】
【数２１】
0004081638.tif 000015
【００９３】
である。
【００９４】
画像（又は解析ウィンドウＺＩ）のスペクトル・エントロピＥＳは、解析ウィンドウＺＩ内、又は画像全体についての解析グリッドＧＡのブロックのスペクトル・エントロピｅｓｂの平均値によって与えられる。
【００９５】
【数２２】
0004081638.tif 000016
【００９６】
ブロックのグリッドＧＩの初期位置、すなわちブロックが符号化される位置では、符号器によって特定量の情報が無視され破棄される。この動作によって、符号化される関連情報が削減される。さらに、異なるブロックの符号化が、同一画像上の近隣ブロックに関係なく実行される。
【００９７】
本発明によれば、Ｎ×Ｎ画素のブロックを有する解析グリッドＧＡを採用し、画像全体又は解析ウィンドウもしくは対象領域ＺＩに対する水平方向及び／又は垂直方向の検査を実行するために、その解析グリッドを移動させる。
【００９８】
解析グリッドＧＡが初期符号化に対応する位置に配置される場合は、パラメータＡＭ及びなかでもパラメータＥＳはＤＣＴ係数に対する高度な圧縮性を示す。
【００９９】
それに対して、初期グリッドＧＩの位置と異なる位置に配置された解析グリッドについて活動度ＡＳの平均値又はスペクトル・エントロピＥＳが計算される場合は（図１参照）、それは補足的な情報を示す。この情報には、隣接ブロック間の内容のあらゆる不連続性及びあらゆる相違点、すなわち同一画像の異なるブロックの個別的な符号化によるブロック効果が考慮されている。
【０１００】
いずれの場合も、解析グリッドＧＡの位置が初期符号化と整合する場合において観察されるどのようなエネルギー集中をどのような程度でも示してはならない。
【０１０１】
符号化ブロックの整合又は初期位置は先験的には把握することができない。解析グリッドＧＡを使用し、（ｄＸ，ｄＹ）画素による水平及び／又は垂直方向の移動によるすべての位置に対する検査が実行される。これは、探索する位置にパラメータＡＭ又はＥＳの最小値が存在するという判断につながるものである（コヒーレント）。当該検査の例が図３に示されている。
【０１０２】
点Ｃは、同一画像に関するグリッドＧＡのすべての検査位置におけるＥＳの最小値に対応する。
【０１０３】
ここでは、符号化位置におけるＥＳの最小値（点Ｃ）は、ゼロ・オフセット、すなわち（ｄＸ，ｄＹ）＝（０，０）によって表される。
【０１０４】
従って、計算されたパラメータＡＭ又はＥＳは、ブロックのＤＣＴ変換の係数Ｆの平均散布度の指標となる。ブロックの符号化の位置（図３の点Ｃ）では、他の検査位置に対する相対最小値を表す散布値が得られる。
【０１０５】
水平同期を得るために解析グリッドＧＡを専ら水平方向に移動させながら検査するか、又は垂直同期を得るために解析グリッドＧＡを専ら垂直方向に移動させながら検査することによって最小値を得ることができるが、両方向、すなわち水平方向Ｘ及び垂直方向Ｙにそって検査を実施するのが好ましく、ＡＭ又はＥＳの最小値は初期グリッドの位置に対応する同期位置を与える。
【０１０６】
解析グリッドＧＡは画像全体を扱うことができるが、図２に示されているように、対象領域ＺＩのみを構成する画像領域に限定され得る。
【０１０７】
しかしながら、解析グリッドＧＡが画像全体を扱う場合は、解析グリッドＧＡが検査中に画像の範囲を超えないように、その寸法が解析される画像の寸法よりわずかに小さく保たれる。検査を一方向にそって実施するか、又は両方向にそって実施するかに応じて、たとえば水平方向及び／又は垂直方向の寸法が画像の寸法よりＮ画素小さい解析グリッドＧＡが使用されることになる。
【０１０８】
本発明では、この基準は空間同期に使用される。しかし、画像の内容が十分に豊富である場合にのみ、このアプローチの使用が可能であることを認識することが重要である。事前条件は、画像の内容の平均活動度又は豊富度ＡＭの指標に基づいて定められる。実際、空間同期位置では、最小値、すなわちＡＭ＞ＡＭ0が必要とされる。しきい値ＡＭ0は、画像の表面全体の、又は領域ＺＩ内の低活動度画像を削除するように決定される。
【０１０９】
時間ベース参照を用いずに符号化される「Ｉ」画像の場合は、パラメータＡＭ又はＥＳは、ブロックの符号化の位置で計算されるときに最小値を示す。「Ｐ」又は「Ｂ」画像の場合は、得られる応答が幾分不鮮明であったとしても、同じ特性が満たされる。
【０１１０】
この特性は、５メガビット／秒の速度で符号化された１２枚の画像のシーケンスに基づいて得られる、図４に示された例を見れば理解できる。このグラフの要件としては、垂直同期が既知で、水平同期だけが未知であることを前提とする。上方の曲線ＩからＶＩＩは、初期位置に対応しない７つの水平方向検査位置について得られた結果を示している。曲線ＶＩＩＩは、解析グリッドＧＡ、すなわち初期符号化位置における同期位置に対応している。これらの曲線は、特定の画像において、パラメータＥＳは初期符号化位置で計算されるときは常に低い値を有することを示している。曲線ＶＩＩＩ上では、整合位置と他の位置との隔たりが他の画像の場合よりも大きい「Ｉ」画像を認識することができる。この場合、ｎは２つのＩ型画像を隔てる画像枚数であるため、その画像グループはｎ＝１２の画像から構成されていることも確認できる。パラメータＥＳの最大値を示すＰ型画像も認識される。他の画像はＢ型画像である。
【０１１１】
従って、ビデオ・シーケンスの画像の空間位相の探索は、パラメータＡＭ又は好ましくはＥＳを計算することにある。この計算は、符号化グリッドのＮ×Ｎ、すなわち８×８の可能位置の各々において実行される（図１のボックスを参照）。境界が原画像の境界に対応する原グリッドに関する符号化ブロックの空間的移動はパラメータＡＭ又はＥＳの最小値の位置によって与えられる。符号化位置において確認されたＡＭの値が、衰退しているため信頼性のある解析を実施することができない内容に対応するしきい値ＡＭ0未満の値であれば、この計算は無効にすることができる。
【０１１２】
根本的には、その方法に対するこのような制限は問題にはならない。符号化−復号化操作の継続に関する応用例を挙げる。実際、内容に関して衰退した画像については、それらが空間的に同期されなくても、復号器は問題なくそれらを符号化する。従って、符号器−復号器を接続することによって、内容が豊富な画像だけが損なわれることはない。これらの理由のため、同期を適用するのであって、提案する方法は有効かつ強固なものである。
【０１１３】
画像に対する空間同期の方法は、以下の手順で実行することができる。
【０１１４】
ａ）画像を獲得し、
ｂ）解析グリッドＧＡのすべての可能位置におけるＥＳの値を決定し、
ｃ）ＥＳの最小値の位置によって与えられる空間位相変位を決定し、
ｄ）画像の内容が十分に豊富であるか否かを検証するために測定の有効性を試験し、
・  ＡＭ＞ＡＭ0の場合は、同期が確立され、
・  そうでない場合は、ａ）に戻る。
【０１１５】
前の節に記載した方法は、ディジタル画像の場合に対応する。しかし、実際にはアナログ信号が使用される頻度が高い。先にディジタル符号化を受けたアナログ画像の場合にこの方法を適用することが可能である。
【０１１６】
空間同期の対象となる画像がアナログ信号の形をとる場合には、空間オフセットが、水平方向における画素間の間隔（又は画素のピッチ）を表す整数値と異なる値を実際に有していてもよい。この移動はアナログ・ディジタル・コンバータのレベルで取り入れられてきた。上述の方法は、水平位相変位を検出することが可能であるが、画像が離散的であるため、画素の数を表す整数値に丸められる。
【０１１７】
本発明によれば、この場合には、一部の（又は準画素の）水平空間位相変位（すなわち画像のラインの方向の位相変位）を補正することができる。この方法では、次に一部の画素に対する空間同期を実施することができる。この段階は、一般的には、上述の方法によって１画素の範囲に対して実施された空間同期に続くものであるが、図５に示された以下に記載の方法のみを用いて、準画素の水平同期を得ることも可能である。
【０１１８】
後者では、アナログ・ビデオ入力信号ＶＡを獲得する働きをするアナログ・ディジタル・コンバータＡＤＣのディジタル化クロックＨの位相は、ディジタル同期装置ＥＱが生成する信号ＣＰによって導かれる。この動作にはスペクトル・エントロピ指標ＥＳが利用される。
【０１１９】
装置ＥＱは、その入力側において、ＡＤＣコンバータによってディジタル化されたディジタル・ビデオ信号ＶＮを受け取り、出力として、（Ｘ、Ｙ）空間位相変位信号ＤＳ、画像グループＧＯＰ合成信号ＣＧ、及びＩ画像の存在又は不在に関する論理信号ＳＬを生成し、それらが符号器ＣＯＤに供給される。
【０１２０】
後に説明するように、ＶＮ、そしておそらくは移動信号ＶＮ（−Δ）及びＶＮ（＋Δ）に基づいてＡＭ又はＥＳパラメータを計算する活動度パラメータ計算プロセッサＰＡＳが使用される。判断及び制御プロセッサＰＣＤはＰＡＳプロセッサによって得られた結果を解析し、空間同期値ＤＳ及びＡＤＣコンバータを操作するための位相の制御値ＣＰの探索、シーケンスに対する構文的ＭＰＥＧ２解析、ならびに「Ｉ」画像の検出を実施する。
【０１２１】
前記位相変位操作は、ある瞬間に合わせて、たとえば装置の初期設定と同時に実施することができる。新しい条件に合わせてシステムを再調整しなければならない場合は、いつでも、アナログ・システムに適応させる手順の一部を形成することも可能である。また、連続的ビデオ・シーケンスに対して実施することも可能である。
【０１２２】
この方法の原理は、離散的に量子化された領域ではなく、連続的な（又はアナログ）領域に先の方法を拡張することである。これを再びディジタル画像の場合に当てはめてみると、ブロックの解析グリッドＧＡのすべての可能位置に対する検査は、画像が離散的であるために、画素の整数値についてのみ実施される。従って、ここでは、サンプリングの位相、特にアナログ・ディジタル・コンバータＡＤＣのサンプリング・クロックの位相の小さな変化ｄφを介して、準画素の位置に対する検査が実施される。この変化ｄφは、１画素の変位に対応するサンプリング周期Ｔｅより小さな位相変位をもたらす。図６は、２つのサンプリングＥＣＨ（ｔ1）及びＥＣＨ（ｔ2）が、位相変位ｄφに対応するように、オフセットである時刻ｔ1及びｔ2において実施される場合を示している。たとえばサンプリング・クロックＨを生成するディジタル制御オシレータ（Ｏ．Ｃ．Ｎ）の位相を制御することによって、位相制御が実行される。次に、各々の新しい検査位置について、新しいディジタル画像が獲得される。
【０１２３】
前述のように、位相ｄφを変化させることにより解析グリッドＧＡの移動を制御することによって、特定の検査領域に対するＡＭ又はＥＳの最小値の基準を用いて最適なディジタル化位相を得る。図７のグラフは、連続関数ＥＳ（ＤＸ）及び画素の整数倍の値を介して空間同期方法に利用することができる値を示している。一方では、ディジタル化位相変位を導入することによって、ＥＳの値を計算するための新しい位置を選択することが可能であることがわかる。１画素のシフトに対応する時間間隔Ｔｅに対するｄφの微小変化は、関数ＥＳ（ｄｘ）を厳密に網羅する可能性を提供するものである（図７参照）。
【０１２４】
準画素変位補正方法は、好ましくは２つの段階を含む。第１の段階は、整数値を用いて、ＡＭ又はＥＳの最小値に対する最も近い位置を探索するものである。第２の段階は個別応答的な段階であって、わずかにｄφ位相変位され、±Ｔｅ（すなわち±１画素）の範囲で変化する画像を獲得し、第１の段階で確認された位置からｄφだけ移動した位置におけるパラメータＡＭ又はＥＳを計算するものであり、
ｄφ＝１／Ｎ．Ｔｅ
Ｎは最適な位置を求めるための検査の精密さ及び正確さを定める。位相の各増分について、ＡＭ又はＥＳを計算する。ディジタル化クロックの最適位相変位ｄφ、すなわち維持されることになる位相変位は関数ＡＭ又はＥＳの最小値に対応する。
【０１２５】
しかし、厳密に言えば、空間同期を達成するための１つの条件が存在する。実際、各々の値の位相において、獲得が実行される。従って、アナログ・ディジタル・コンバータの出力側で固定画像、たとえばメモリに記憶された画像を表示するビデオ信号を使用するのが好ましい。このように、同一の獲得が実行され、次いで同一の画像に対して処理操作が実行される。
【０１２６】
図８ａ及び８ｂに示されているように、可変画像にこの方法を実施することができる。
【０１２７】
実際、画素間の間隔ｄＸの区画に対応し、エントロピ値ＥＳ（ｄＸ）を有する位相変位ｄφの現行位置に基づいて、微小変位位置における２つのエントロピ測定値が得られ、１つは先進位置と呼ばれ、すなわち、
ＥＳa（ｄＸ）＝ＥＳ（ｄＸ＋Δ）
であり、もう１つは後進位置と呼ばれ、
ＥＳr（ｄＸ）＝ＥＳ（ｄＸ−Δ）
であり、これらの測定値はいくつかの画像に対するパラメータＥＳの値の平均で、Δは、画像ラインの方向における画像点又は画素の間隔より小さい。
【０１２８】
これらの測定値に基づいて誤差関数の計算が実行される
ＥＳφ（ｄＸ）＝ＥＳr（ｄＸ）−ＥＳa（ｄＸ）  。
【０１２９】
この誤差はサンプリング・クロック位相に関するフィードバックを導く。それは図の中に示されている。
【０１３０】
妥当であれば、画像の内容に対する誤差の依存性を小さくするために、たとえば画像又は領域ＺＩの平均スペクトル・エントロピＥＳによって、この誤差を各々の画像について正規化する。
【０１３１】
位相変位ｄφの同位置においていくつかの連続的な測定値を得て、次いでサンプリング・クロックを生成するディジタル制御オシレータＯＣＮに従属制御値を供給する前にそれらを低域通過フィルタする。この制御値は、言うまでもなく、画像の獲得と同時に適用される。
【０１３２】
この変形態様の実用的な実施に関する限り、以下のいずれかの方法で、先進又は後進スペクトル・パラメータの測定を行うことができる。
【０１３３】
−３つの獲得システム（ビデオ符号器に送信する同期チャネルと呼ばれるチャネルのためのシステムが１つと、ＡＭ又はＥＳの先進及び後進測定のためのシステムが２つ）を必要とする並列的測定、
−又は、要件を２つの獲得システムに削減する連続的測定。初期設定が可能な場合は、この要件は単一のシステムに限定される（制御の収束）。連続的な測定の場合には、連続的な画像に対する先進及び後進測定の切換は画像獲得速度と同期される必要がある。
【０１３４】
さらに、変位Δのピッチを次の要件に適応させることが可能であり、
Δ＝１画素：１画素の範囲内に対して同期させる計算段階を通じて、ＥＳr（ｄＸ）及びＥＳa（ｄＸ）を直接求めることができる。
【０１３５】
Δ＜ε：ビデオ符号器を歪ませないように十分に小さな値のεが選択されている場合は、スペクトル活動度又はスペクトル・エントロピＥＳr（ｄＸ）及びＥＳa（ｄＸ）の測定値を得るために、先進又は後進位相に交互にオフセットされる単一の獲得チャネルをこの符号器に供給することができる。
【０１３６】
従って、本発明は、サンプリング・クロックを生成するディジタル制御オシレータＤＣＯの位相解像度に対応する範囲（１／Ｎ画素）に対する精密な空間再同期の手段を提供する。
【０１３７】
この操作は、たとえばビデオ・システムの出力側のスペクトル・エントロピの計算に基づいて、アナログ・ディジタル・コンバータのディジタル化クロックの位相を制御することによって、たとえば以下の段階的手順に従い実行される。
【０１３８】
ａ）画像をディジタル化し、
ｂ）画素の整数倍に丸められた水平位相変位を探索する（空間同期手順）、
ｃ）もう一方で、全数の画像に対応する速度で、アナログ・ディジタル・コンバータＯＣＮに±Δの水平位相変位を導入し、対応する画像をディジタル化した後に測定値、ＥＳｒ（ｄＸ）及びＥＳａ（ｄＸ）を同時に獲得し、
ｄ）誤差関数を計算し、先の測定値を用いて低域通過フィルタによって誤差関数をフィルタし、
ｅ）アナログ・ディジタル・コンバータＣＡＮのクロックにフィードバックを提供する。ｃ）の手順を繰り返す。
【０１３９】
２つの符号器を多段接続する場合には、我々は、符号化される画素の空間同期の重要性を強調してきた。実際、この操作は、画像の最終的な品質を考慮しながら圧縮技術を最適な方法で活用できるように規定されている。さらに、我々は画像シーケンス（Ｉ、Ｐ及びＢ）の符号化のためのＭＰＥＧ符号化ファミリに推奨されている構文について記載した。この構文を考慮することによって、圧縮方法の使用を最適化することが可能である。実際、この構文は画像毎に割り当てられるビット数、ならびに画像の品質に影響するため、符号器の多段接続についてはこの構文を遵守することが有益、さらには不可欠である。
【０１４０】
本発明によれば、初期符号化の時間ベース構文の識別を確立することが可能である。これは、Ｉ、Ｐ及びＢ画像を認識することによってなされる。本明細書に示された時間ベース同期は、Ｉ、Ｐ及びＢ画像を識別することを目的とする。この操作は空間同期が実行された後にのみ実行される。全体的な方法は以下のように要約することができる。
【０１４１】
ａ）画像を獲得し、
ｂ）空間符号化位置を探索し、
ｃ）この画像が「Ｉ」型であるか否かを確認し、
ｄ）この画像が「Ｉ」型であれば、
先行の画像グループＧＯＰの内容を解析し、「Ｐ」及び「Ｂ」画像を識別する。
【０１４２】
「Ｉ」型画像は、ＡＭ又はＥＳのようなパラメータに時間の明確な局所最小値を与える（図４参照）。「Ｉ」画像は予測を伴わずに符号化するモードの画像であるため、後者は実際に他の画像に関して時間指標付けされる。これは時間ベース活動度が低いシーケンス、又は内容の変化が制限されたシーケンスの場合に当てはまる。図９ａのシーケンスの開始、すなわち画像［０，１５０］が１つの代表的な例である。
【０１４３】
しかし、ＡＭ又はＥＳパラメータの値は画像の符号化のモード（Ｉ、Ｐ、Ｂ）に関連するばかりでなく、その定義を考慮すれば、画像の内容にも関連する（上記参照）。従って、図９ａのシーケンスの第２の部分、すなわち画像間隔［１７０，２２０］にかけて、実質的な移動が示される。これは視覚的には比較的粗い画像によって伝達される。高い空間周波数を示すＤＣＴ変換の係数は比較的不明瞭であり、従って、画像のエネルギーは、平均的に低周波数に集中し、問題の画像の間隔内のＥＳ（ｔ）値を下降させる。従って、このシーケンスでは、「Ｉ」画像の場合にＥＳ（ｔ）値の全体的な下降が観察される。「Ｉ」画像に特有の局所的時間最小値が保持される。これらの局所的最小値を抽出することによって、ＡＭ（ｔ）又はＥＳ（ｔ）を処理して、画像を正しく識別するのが好ましい。
【０１４４】
シーケンスの内容の影響と目的とする情報を明確に区別するために、高域通過フィルタを実施することができる（図９ｂ）。実際、ＥＳ（ｔ）の局所的最小値は１画像の時間、すなわち時間軸の一点に相当するのに対して、シーケンス内の内容の変化はより緩やかである。
【０１４５】
高域通過フィルタ操作について、特定の画像のＥＳ（ｔ）とその２つの隣接画像（前の画像及び次の画像）のＥＳ（ｔ）との間の正の最小オフセットを計算することによって、各点のＥＳフィルタ後（ｔ）が得られる
ＥＳフィルタ後(ｔ)＝ｍａｘ[ｍｉｎ(０，ＥＳ(ｔ)−ＥＳ(ｔ−１))，ｍｉｎ（０，ＥＳ(ｔ)−ＥＳ(ｔ＋１))]  。
【０１４６】
その処理のこの時点において、ＥＳ（ｔ）値のすべての短時間変動が抽出される（図９ｂ）。しかし、この関数に明確なピークが現れない可能性がある。これは、画像グループが「Ｉ」画像のみから構成されている場合に対応し、すなわち、ＥＳ（ｔ）の局所最小値が区別されず、ＥＳ（ｔ）フィルタ後について実質的に一定の応答を示す。次の処理に移る前に、試験
標準偏差k（ＥＳ（ｔ）フィルタ後）＜しきい値ＥＳ1
によってこの仮説に対する検査が行われる。
【０１４７】
ここでは、最後のｋ画像のＥＳフィルタ後（ｔ）の標準偏差が特定のしきい値より小さい場合は、ＥＳフィルタ後（ｔ）の変動を無視することができるものと考えられる。１つの可能な結論としては、ｋ画像のシーケンスのすべてのグループが「Ｉ」型画像のみから構成されているということが挙げられる。ｋの値は特定の値、たとえばＭＰＥＧ２の推奨標準に基づいて固定された画像グループＧＯＰの最大長さに固定される。
【０１４８】
先の条件が満たされない場合は、ＥＳフィルタ後（ｔ）についての局所最大値が存在することが考えられる。従って、このことは、その画像グループが「Ｉ」画像と他の種類の画像から構成されていることを示唆するものである。
【０１４９】
「Ｉ」型画像を単離するために、ＥＳフィルタ後（ｔ）に対する適応的しきい値が設定される。実際、ＥＳ（ｔ）の値は画像の内容に依存するため、ＥＳフィルタ後（ｔ）の値も同様にそれに依存する。このことを考慮するためには、任意に固定されたしきい値は、ＥＳフィルタ後（ｔ）の局所最大値を検出するための推定的な識別手段になり得ない。このしきい値の値は、先行「Ｉ」画像におけるパラメータＥＳフィルタ後（ｔ）の値、たとえば
しきい値ＥＳ2（ｔi）＝［ＥＳフィルタ後（ｔi先行）］／２
に対して適応的である。
【０１５０】
第１の「Ｉ」型画像を検出するために選択されたしきい値は、いくつかの画像に対して確認されたＥＳフィルタ後（ｔ）の最大値と等しい（たとえば、ここではｋ＝１６）。この周期内に少なくとも１つの「Ｉ」画像が存在するように、ｋの値を選択する。
【０１５１】
しきい値ＥＳ2（ｔ最初ノ画像i）＝ｍａｘk（ＥＳフィルタ後（ｔ）／２
しきい値ＥＳ2（ｔi）より小さなＥＳフィルタ後値はゼロにされ、他の値はもとの値に保たれる。ゼロ値を数えることによって「Ｉ」型画像に対応するピークが明確に現れたら、画像グループＧＯＰのサイズが確認される。図９ｃの例では、画像グループ内の画像の数は１２に等しい。
【０１５２】
「Ｉ」型画像の検出は、以下の方法で実行することができる。
【０１５３】
ａ）時刻ｔにおける画像の獲得、
ｂ）空間同期、
ｃ）ＥＳ（ｔ）の計算、
ｄ）最初の「Ｉ」型画像以降のＫ画像のＥＳ（ｔ）の履歴値に対する高域通過フィルタ処理、
ｅ）標準偏差k（ＥＳ（ｔ）フィルタ後）＜しきい値ＥＳ1である場合は、すべての画像が「Ｉ」型画像であり（時間予測画像「Ｐ及びＢ」は存在しない）、
そうでなければ、
ｆ）適応しきい値の変更、
しきい値ＥＳ2（ｔ1）＝［ＥＳフィルタ後（ｔi先行）］／２
ｇ）ＥＳフィルタ後がしきい値ＥＳ2（ｔ1）を上回っている場合は、この画像は「Ｉ」画像であり、
ｈ）画像グループのサイズは、連続した２つの「Ｉ」型画像の間の距離によって与えられる。
【０１５４】
「Ｉ」型画像を検出した後に、「Ｐ」画像を検出することができる。
【０１５５】
いくつかの種類の画像を認識するために、本発明は、最初に画像グループＧＯＰのリファレンスを識別することを提案するものである。実際、「Ｉ」型画像は、それらに適用される圧縮アルゴリズムによって他の画像と区別されるため、画像グループＧＯＰのリファレンスと見なすことができる。この操作が実行されたら、他の範疇の画像を検出することが可能である。
【０１５６】
画像グループＧＯＰ内で信号化された「Ｉ」型画像を検出するために、ＥＳ（ｔ）の高振幅最小値が使用されてきた。「Ｐ」画像を識別するために、１つの有利な特性が利用される。実際、これらの画像はＥＳパラメータに局所最大値を与えるが、これらの最大値には、「Ｂ」画像に関して、
【０１５７】
【数２３】
0004081638.tif 000017
【０１５８】
である画像の空間活動度ＡＭを伝達するパラメータがより強く現れている。
【０１５９】
最初に、ビデオ・シーケンス全体について、画像ＡＭ（ｔ）の空間指標を計算する。「Ｉ」型画像の位置が現在知られていれば、「Ｉ」画像のない画像グループに対する解析を実行することができる。これは、「Ｉ」型画像に対応するＡＭ（ｔ）値をその画像に先行する画像の値に対応する値で置き換えることによって伝達される（図１０ａ）。その後の方法は前述の方法と同じである
ＡＭフィルタ後(ｔ)＝ｍｉｎ[ｍａｘ(０，ＡＭ(ｔ)−ＡＭ(ｔ−１))，ｍａｘ（０，ＡＭ(ｔ)−ＡＭ(ｔ＋１))]  。
【０１６０】
高域通過フィルタ後の信号が図１０ｂに示されている。
【０１６１】
「Ｂ」型画像が存在する場合は、「Ｉ」型画像の場合と同じように、適応しきい値設定によって「Ｐ」型画像の位置が示される。
【０１６２】
「Ｂ」画像が存在しないという仮定は、
標準偏差（ＡＭフィルタ後）＜しきい値ＡI
によって試される。
【０１６３】
逆の場合には、しきい値設定操作により、「Ｐ」型画像の位置、及びそれによってこの型の２つの画像の間の距離を確認することが可能である。
【０１６４】
しきい値Ａ2（ｔ最初ノP画像）＝ｍａｘk（ＡＭフィルタ後（ｔ））／２
しきい値Ａ2（ｔP）＝［（ＡＭフィルタ後（ｔP 先行）］／２    。
【０１６５】
「Ｐ」画像の検出の結果が図１０ｃに示されている。
【０１６６】
「Ｐ」型画像の検出は、以下の方法によって実行することができる。
【０１６７】
ａ）時間ｔにおける画像の獲得、
ｂ）空間同期、
ｃ）ＡＭ（ｔ）の計算、
ｄ）最後の「Ｉ」型画像以降の画像のＡＭ（ｔ）の履歴値に対する高域通過フィルタ処理、
ｅ）標準偏差（ＡＭフィルタ後）＜しきい値ＡIである場合は、すべての画像が「Ｐ」型画像であり（双方向予測画像「Ｂ」は存在しない）、
そうでなければ、
ｆ）適応しきい値をリフレッシュし、
しきい値Ａ2（ｔP）＝［（ＡＭフィルタ後（ｔP 先行）］／２
ｇ）ＡＭフィルタ後がしきい値Ａ2（ｔP）より大きい場合は、対応する画像は「Ｐ」型画像である。
【０１６８】
ＥＳ関数の最大値から「Ｐ」型画像の最大値を復元することも可能であるが（たとえば図４の曲線を参照）、このＥＳ関数はＡＭ関数に比べて識別力が弱いことに留意されるべきである。
【０１６９】
本発明は、ＭＰＥＧ２推奨によって定められているような画像グループの構造を認識する方法を提案するものでもある。
【０１７０】
画像グループの構文のこの識別は、たとえば以下の方法によって実行することができる。
【０１７１】
ａ）時刻ｔにおける画像の獲得、
ｂ）空間同期、
ｃ）画像グループＧＯＰ内の「Ｉ」画像の位置の識別、
ｄ）「Ｐ」型画像の検出、
ｅ）ＧＯＰの最終構造、すなわち「Ｉ」型画像と「Ｐ」型画像と「Ｂ」型画像の位置及びそれらの間の距離、ならびにｎの値とｍの値の提示。
【０１７２】
本発明は応用分野を広げるものである。
【０１７３】
推奨されている処理量削減技術によってディジタル・シーケンスを符号化するいくつかの用途では、符号化基準ディジタル・ビデオに関して空間及び／又は時間ベース同期操作を実行することが必要である。ここでは例として、符号器の多段接続の用途、又は画像の品質を自動的に評価する特定の方法が挙げられる。
【０１７４】
実際、第１の例に当てはまる場合には、同期処理が、システムの終点で再生される符号化ビデオ信号の最終的な品質の観点から、操作の性能を最適化する。同期をとらなければ、ユーザにとって受け入れられない、符号化及び復号化信号の品質の永久劣化を生じるため、多段接続は禁止される。
【０１７５】
第２の用途では、特定の評価方法は、２つの信号、すなわち送信システムの始点における原符号化及び放送信号とシステムの終点で得られる劣化信号との差の計算から生じる誤り信号を計算することを必要とする。この場合も、同期をとることによって、誤り信号を効果的に計算することが可能である。
【０１７６】
本明細書では、空間及び時間ベース同期手順について記載した。それらは、画像を１画素の範囲に対して再フレーム化するのに適用し得る空間的方法、及び／又は準画素によって水平位相変位を補正する手順に細分される。
【０１７７】
ＭＰＥＧ２標準によって定められているように、画像グループの構造を識別するために時間ベース的方法が使用される。この方法は、「Ｉ」、「Ｐ」及び「Ｂ」型画像を検出することを可能にする。このようにして、画像グループＧＯＰの構文が決定される。本発明による方法は雑音、及び画像の内容の変動に対して優れた耐久力を発揮する。従って、この方法は、符号化技術に使用されるデータの解析に優れた効果を示す。この方法は、ディジタル及び符号化画像データを処理する装置に応用される。
【０１７８】
特に、１画素の範囲又は１画素より小さい範囲に対する空間同期が各々の多段接続の間に採用されるので、装置のアイテムを多段接続することが可能となる。
【０１７９】
本発明には、線型及び直交変換を使用することができる。既に引用した例に加えて、この変換は離散サイン変換、ハール変換、アダマール変換、又はスラント変換であってもよい。
【図面の簡単な説明】
【図１】  本発明による実施方法を示した図である。
【図２】  画像グループＧＯＰの構造の例を示した図である。
【図３】  ４メガビット／秒の速度で符号化されたシーケンスの画像について、空間エントロピＥＳの変化を解析グリッドＧＡの空間位相変位の関数で表した例を示した図である。
【図４】  垂直同期Ｙが既知であることを前提にＸ方向に沿って検査する、ＧＯＰシーケンスの空間エントロピ・パラメータＥＳの時間ベース変化の例を示した図である。
【図５】  アナログ信号に適用する本発明の実施形態の例を示した図である。
【図６】  ｄφだけ位相がオフセットされた２つのサンプリング時間ｔ1及びｔ2においてアナログ信号のラインの一部をディジタル化するいくつかの可能性を示した図である。
【図７】  ＥＳパラメータの最小値に対応する位置の探索を示した図である。
【図８】  図８ａ及び８ｂは、位相誤り信号の求め方を示した図である。
【図９】  図９ａ〜９ｃは、それぞれ、空間同期後に４メガビット／秒の速度で変化するシーケンスの２５０の画像のＥＳの変化と（９ａ）と、高域通過フィルタリング後のＥＳの局所最小値の抽出（９ｂ）と、最終的なＩ画像の検出結果（９ｃ）を示した図である。
【図１０】  図１０ａ〜１０ｃは、それぞれ、４メガビット／秒の速度で符号化されたＧＯＰシーケンスの１２の画像の活動度パラメータの最大値を抽出するための信号ＡＭ（１０ａ）と、高域通過フィルタリングによってフィルタされたＡＭ信号（１０ｂ）と、Ｐ画像の検出結果（１０ｃ）を示した図である。
【図１】
0004081638.tif 000018
【図２】
0004081638.tif 000019
【図３】
0004081638.tif 000020
【図４】
0004081638.tif 000021
【図５】
0004081638.tif 000022
【図６】
0004081638.tif 000023
【図７】
0004081638.tif 000024
【図８】
0004081638.tif 000025
【図９】
0004081638.tif 000026
【図１０】
0004081638.tif 000027