(57)【要約】受信データで定義されていない構成による以前に符号化されたソースデータの構造化された符号化を行うための方法及び装置が開示される。本発明は、例えば、ＭＰＥＧ符号化を利用して、アナログソースから導出されたデジタル化画像または音声データのブロック単位の圧縮の特定のアプリケーションを求める。この符号化は、ブロック境界周辺の画素カラー及び/または輝度の不連続性を生じさせる。これにより、品質の顕著な劣化と帯域幅の非効率な使用をもたらす。以前に用いられたものと同一のブロック及び画素構成を利用したデータの符号化は、上記不連続性を効果的に不可視なものとし、実質的に上記問題を解消することができる。これを実行するため、受信したデータは、以前に符号化及び復号化したデータの内部に含まれるアーチファクトを検出するよう処理され、以前の符号化プロセスによってデータに課せられた構成に関する情報が、アーチファクトの解析により抽出され、受信したデータは抽出した構成情報を参照して符号化される。
2006500851.tif 000002
【特許請求の範囲】
【請求項１】
ソースから受信したデータに該データに定義されていない構成を課すタイプの符号化を前記データに行う方法であって、
前記データが以前に同じタイプの符号化復号化プロセスを介したことを示す前記データ内に含まれるアーチファクトを検出するため、前記受信したデータを解析するステップと、
前記アーチファクトの解析により、前記以前の符号化プロセスにより前記データに課せられた構成に関する情報を抽出するステップと、
前記抽出した構成情報を参照することにより前記受信したデータを符号化するステップと、
を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記受信したデータは、アナログ送信または格納プロセスを介し受信した画像などの画像を表し、
前記構成は、前記画像の画素がブロックで処理される空間構成を有する符号化プロセスにより課せられ、
前記符号化は、前記符号化プロセスのブロック境界と前記以前の符号化プロセスの結果として前記受信した画像データにあるブロック境界アーチファクトとを実質的に揃えるために実行される、
ことを特徴とする方法。
【請求項３】
請求項１または２記載の方法であって、
前記符号化プロセスは、前記画素ブロックマクロブロックにグループ化され、
前記符号化は、前記符号化プロセスのマクロブロック境界と前記以前の符号化プロセスの結果として前記受信した画像データにあるマクロブロック境界アーチファクトとを実質的に揃えるため実行される、
ことを特徴とする方法。
【請求項４】
請求項１乃至３何れか一項記載の方法であって、
前記受信した画像データは、動画シーケンスであり、
連続する各画像に対し用いられる構成情報は、以前または現在の画像の少なくとも１つを解析することにより専ら導出される、
ことを特徴とする方法。
【請求項５】
請求項１乃至４何れか一項記載の方法であって、
前記受信した画像データは、アナログ信号からまずデジタル化されたとき、オーバーサンプリングされることを特徴とする方法。
【請求項６】
請求項１乃至５何れか一項記載の方法であって、
前記受信した画像データが動画シーケンスを表す場合、前記符号化プロセスにより課される構成は、前記シーケンスの相異なる画像は異なる処理がなされる時間的構成（ＧＯＰ構成）であり、
前記符号化は、実質的に同一のＧＯＰ構成を前記以前の符号化プロセスで適用されたシーケンスに適用するため実行される、
ことを特徴とする方法。
【請求項７】
請求項１乃至６何れか一項記載の方法であって、
前記符号化は、時間的には関連しているが異なるＧＯＰ構成を前記以前の符号化プロセスで用いられたものに適用するため実行されることを特徴とする方法。
【請求項８】
請求項６または７記載の方法であって、
前記アーチファクトの解析は、イントラ符号化画像とインタ符号化画像とを区別することを特徴とする方法。
【請求項９】
請求項６乃至８何れか一項記載の方法であって、
前記ＧＯＰ構成の解析は、メモリに完全に格納されている複数の画像を解析することにより実行されることを特徴とする方法。
【請求項１０】
請求項６乃至８何れか一項記載の方法であって、
前記解析は、以前の画像のパラメータのみを保持し、前記パラメータに関して現在の画像を解析することにより実行されることを特徴とする方法。
【請求項１１】
請求項１乃至１０何れか一項記載の方法であって、
前記受信したデータは、音声データを有し、
前記構成は、音声信号のサンプルが各々短い時間間隔を表すブロックで処理される時間的構成を有する符号化プロセスにより課され、
前記符号化は、前記符号化プロセスのブロック境界と前記以前の符号化プロセスの結果として前記受信した音声データにあるブロック境界アーチファクトとの実質的な整列を最大化するため実行される、
ことを特徴とする方法。
【請求項１２】
請求項１１記載の方法であって、
音声データ内のアーチファクトの存在及び位置は、継続的に検出され、
前記符号化ステップは、経時的にブロック境界の整列を最大化するよう継続的に適応される、
ことを特徴とする方法。
【請求項１３】
請求項１１または１２記載の方法であって、
前記解析ステップは、連続的なデータストリームのブロック境界アーチファクトの検出及びロックに同調する位相同期（ＰＬＬ）プロセスを有することを特徴とする方法。
【請求項１４】
請求項１３記載の方法であって、
前記符号化ステップは、該符号化ステップにより課されるブロック構成の急激な不連続を回避するため、前記符号化プロセスのブロック境界と経時的に徐々に検出されるブロック境界アーチファクトとの整列を最大化するための第２の位相同期または同様のプロセスを有することを特徴とする方法。
【請求項１５】
請求項１乃至１４記載の方法を実現するよう構成されるデータを符号化するための装置。
【請求項１６】
請求項１５記載の装置であって、
デジタルビデオレコーダまたはデジタルオーディオレコーダを有することを特徴とする装置。
【請求項１７】
受信したデータに定義されていない構成を前記データに課す符号化プロセスへの以降の適用のため、ソースから受信した前記データを前処理するための方法であって、
前記データが同じタイプの以前の符号化プロセスを介したものであることを示す前記データ内に含まれるアーチファクトを検出するため前記受信したデータを解析するステップと、
前記アーチファクトの解析により、前記以前の符号化プロセスにより前記データに対し課された構成に関する情報を抽出するステップと、
前記以前の符号化プロセスにより課される構成と所定の構成との整列を最大化するため、前記抽出した構成情報を参照して前記受信したデータを処理するステップと、
を有することを特徴とする方法。
【請求項１８】
プログラム可能なコンピュータに本発明の特定の方法ステップ及び/または装置構成を上記特徴の何れかにおいて実現させるための命令を有するコンピュータプログラムプロダクツ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソースから受信したデータを当該データに定義されていない構成を課すタイプの符号化を行う方法及び装置に関する。本発明は、例えば、ＭＰＥＧ符号化を用いてアナログソースから導出されるデジタル画像または音声データのブロック単位での圧縮におけるアプリケーションを求める。
【背景技術】
【０００２】
周知のように、画像、特にテレビやビデオ記録アプリケーションの動画シーケンスは、アナログまたはデジタル形式により送信及び格納することができる。デジタル送信及び格納が、業務用及び消費者用アプリケーションの何れに対しても実用性を増しつつある。送信または格納のためアナログソースから画像をデジタル化及び符号化すること及びその逆の処理を行うことが通常必要とされる。これらは、デジタル写真で生成されたものやフィルムや紙からスキャンされたものなどの静止画像であってもよいし、あるいは動画シーケンスを構成する画像ストリームであってもよい。カメラや記録装置からのデジタル映像は、配信のためアナログ形式に変換され、その後格納のため家庭のデジタルビデオレコーダ（ＤＶＲ）装置などにデジタル形式により再び変換されてもよい。
【０００３】
一般に、デジタル送信及び格納システムは、ＪＰＥＧやＭＰＥＧ−２などのブロック単位の圧縮を用いて、利用可能な送信帯域幅及び記憶容量内で許容可能な画質を実現する。ＪＰＥＧは、グループ、ブロックあるいは画素データに対する離散コサイン変換（ＤＣＴ）の実行に基づく映像圧縮システムである。ＭＰＥＧ−２は、同じ原理に基づく動画圧縮システムである。実質的なデータ圧縮を実現するため、各画素ブロックを表すＤＣＴ係数は、適応的量子化と可変長符号化（ＶＬＥ）に従う。また、ブロックは４つが１組になってグループ化され、「マクロブロック」を構成し、クロミナンス（カラー）要素をルミナンス（輝度）要素に対し与えられる空間解像度の半分で表現することができる。上記技術は、静止画（ＪＰＥＧ）と動画（ＭＰＥＧ）の両方に適用することができる。動画に対しては、さらなる圧縮を実現するため、動き補償フレーム間予測符号化がマクロブロック単位で実行される。
【０００４】
量子化により、上記圧縮システムは「不可逆（ｌｏｓｓｙ）」システムであり、このため、符号化データは、復号化後には符号化前のもとのデータと同一とはならない。これは、画素ルミナンス及び/またはクロミナンスの差として明らかになるかもしれず、一般には再構成した画像におけるノイズとして出現する。ＪＰＥＧやＭＰＥＧなどのブロック単位の圧縮システムにおけるノイズの顕著な形態は、ブロック境界周辺の画素カラー及び/または輝度の不連続性として出現する。これらのアーチファクトは、ここでは「ブロックノイズ」と呼ばれる。肉眼は、このようなコントラストの急激な変化に極めて敏感であり、これは通常の動画に重ね合わされた格子状のパターンの形態により出現する。例えば、ＥＰ０９９８１４６は、視聴される画像のブロック境界の目障りさを最小化するため、ブロックノイズを検出し、ブロック境界での不連続さを平滑化する装置を記載している。
【０００５】
一般に、圧縮エンコーダは、画質と送信帯域幅またはファイルサイズとの間の連続的トレードオフを実現する。利用可能な画質はコンテンツと共にソース画像の画質にも大きく依存する。ソース画像のノイズは、システムを設計するためのよりコヒーレントな信号よりもランダムな特徴を表現するのに本来的により多くのコストがかかることから、画質の顕著な劣化をもたらす。他方、上記方法により符号化された画像の繰り返しの復号化とその後の再符号化は、必ずしも大きな劣化を招くものではない。なぜなら、残りの情報は、再符号化処理が利用可能な帯域幅の範囲内で再生可能なものにすでに調整されているからである。画像の再符号化は、例えば、ＤＣＴ処理では各ブロックは個別に処理されるため、顕著なブロックノイズを有するかもしれないが、これらのアーチファクトは再符号化された画像において再生されるかもしれない。しかしながら、これらは再符号化装置には効果的には「不可視」なものであるため、悪化もしないし、追加的な帯域幅を使用することもない。
【０００６】
しかしながら、本発明者は、ブロックノイズを含む復号化された画像がアナログ形式で送信または格納され、その後のデジタル送信または格納のためエンコーダに供給される場合の問題点を認識していた。この場合、ソース画像及びエンコーダにより適用されるブロック境界に存在するブロックノイズアーチファクト間には、一般にばらつきが存在する。従って、エンコーダは、符号化対象の信号の一部としてブロックノイズを「みなす」であろう。このとき、ブロックノイズは符号化された画像において再生されるだけでなく、エンコーダの画素ブロック内の急激な不連続部分を表すのに必要とされる帯域幅は、真の画像コンテンツを表すのに利用可能な帯域幅を減少させ、これにより、画質の顕著な劣化を招くことになる。画像の復号化では、２つのブロックノイズが含まれ、アナログチャネルによるさらなる送信及び再符号化は、問題をさらに悪化させるであろう。
【０００７】
ＭＰＥＧ−２などのブロック単位の符号化方法による動画の処理時、フレームシーケンスは、異なる符号化スキームを用いる概念的なＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）として符号化される。上記スキームは、典型的には、自らの情報のみを用いることにより（ＪＰＥＧと同様に）符号化されるイントラ符号化「Ｉ」フレームと、先行するＩフレームに基づき動きベクトルを用いて符号化される予測符号化「Ｐ」フレームと、シーケンスの前後のＩフレーム及び/またはＰフレームからの予測により符号化される双方向予測符号化「Ｂ」フレームとを有する。符号化スキーム及びシーケンス順序の選択は、動画の伝達に利用される通信媒体の完全性に依存する。例えば、劣化のリスクが高い場合、中断により画像が迅速に再構成可能となるように、より安全なリンクに対し用いられるよりも、ＧＯＰのより多数の「Ｉ」フレームを繰り返すことが決定されてもよい。
【０００８】
理想的には、復号化及再符号化を通じた高圧縮の実現と劣化の最小化を達成するため、同じＧＯＰシーケンスがすべての符号化段階により利用される。ＥＰ０１０６７７９Ａは、先行するデータストリームのＧＯＰ構成に関して再符号化の実行が可能となるように、デジタル映像信号による「履歴」データの送信を求める。しかしながら再び、画像は一時的にアナログ領域を経る場合、このような履歴データは利用不可能となる。この場合、もとはＩフレームであったフレームはＢフレームまたはＰフレームとして以降において符号化され、もとはＢフレームまたはＰフレームであったフレームはＩフレームとして以降において符号化されるかもしれない。一般にこれは、画質の損失を招くものであり、復号化及び再符号化処理が繰り返される場合には悪化するであろう。
【０００９】
同様の問題は、以前に圧縮されたアナログソースから音声データを符号化する際にも生じる。例えば、多くの音声圧縮システムは、音声サンプルストリームを１次元のみではあるが、画素ブロックと同様の短いブロックに分割し、各ブロックをそれのスペクトルコンテンツに関して符号化する。この場合、ブロックは、空間的構成よりも時間的構成を表すものとなるが、ブロック境界のアーチファクトの存在や帯域幅の盗用の問題が、上述と同様の問題を引き起こす。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従って、本発明の課題は、アナログソースからの画像及び音声などのデータに対しブロック単位符号化を実行する改良された方法及び装置を提供することであり、特に、以前にブロック単位符号化が行われ、ブロックノイズや他の構造化されたアーチファクトを有する画像/音声の質を維持することが可能な方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明の第１の特徴によると、ソースから受信したデータに該データに定義されていない構成を課すタイプの符号化を前記データに行う方法であって、前記データが以前に同じタイプの符号化復号化プロセスを介したことを示す前記データ内に含まれるアーチファクトを検出するため、前記受信したデータを解析するステップと、前記アーチファクトの解析により、前記以前の符号化プロセスにより前記データに課せられた構成に関する情報を抽出するステップと、前記抽出した構成情報を参照することにより前記受信したデータを符号化するステップとを有することを特徴とする方法が提供される。
【００１２】
符号化ステップは、該符号化プロセスにより課せられる構成と以前の符号化プロセスにより課せられた構成との整列を最大化するため実行されてもよい。
【００１３】
以下の例からわかるように、以前に用いられたものと同じ構成を利用することは、画像や音声データが品質の劣化を軽減することにより複数の符号化/復号化段階を伴うシステムを介し伝搬することを可能にする。１つの効果として、以前の符号化プロセスからのアーチファクトの不必要な符号化による帯域幅の使用を回避することができる。
【００１４】
受信したデータがアナログ送信または格納プロセスを介し受信した画像などの画像を表す場合、符号化プロセスにより課される構成は、画像の画素がブロックで処理される空間的構成を有し、当該符号化プロセスのブロック境界を以前の符号化プロセスの結果として受信した画像データにあるブロック境界アーチファクトとを実質的に揃えるために、符号化が実行されるようにしてもよい。
【００１５】
符号化プロセスは、画素ブロックがマクロブロックにグループ化される空間的構成を課すタイプのものであってもよい。このような場合、符号化プロセスのマクロブロック境界を以前の符号化プロセスの結果として受信した画像データにあるマクロブロック境界アーチファクトとを実質的に揃えるため、符号化プロセスが実行されるようにしもよい。ＪＰＥＧまたはＭＰＥＧにより導出された画像データでは、マクロブロック境界アーチファクトは、ルミナンスデータに対して、画像データのクロミナンス要素のみで検出することが可能である。「ブロック」という用語は、文脈から適切でない場合を除き、「マクロブロック」を有するものとして解釈されるべきである。
【００１６】
画像のクロミナンスとルミナンス要素間の相対解像度が予め固定されていない場合、クロミンアス及びルミナンス要素でのブロック境界アーチファクトの個別の検出は、当該相対解像度を予備ステップとして決定することを可能にするであろう。その後、これは、上述のようにブロック境界を揃えることに代えて、あるいは（好ましくは）それに加えて、同じパラメータによりエンコーダを設定するのに利用することができる。
【００１７】
（さらに）、受信した画像データは、画像の動画シーケンスであってもよい。この場合、連続する各画像に対し用いられる構成情報は、専ら現在の画像により、または専ら以前の画像により、あるいは以前の画像と現在の画像の組み合わせから導かれるようにしてもよい。このような実施例は、状況に応じて選択することが可能である。第１の選択肢は、フレーム間の構成のジター（ｊｉｔｔｅｒ）を可能にするが、与えられたフレームにおいて強力なアーチファクト（シーン間のブランク画像など）がなくなるように、画像データのコンテンツが存在する構成の特定を困難なものにするかもしれない。第２の選択肢は、受信した画像データに対しアーチファクトの構成においてより低速なドリフトに適応することを可能にしながら、この問題を回避することができる。
【００１８】
受信したデータを解析するステップは、画像のすべてまたは少なくとも実質的部分を格納し、ブロック境界アーチファクトの存在を示す周期的要素を特定するのにスペクトル解析を実行するようにしてもよい。構成情報を抽出するステップは、上記アーチファクトの領域（周波数）と位置（位相）を決定するため、画像を解析するようにしてもよい。解析のため、画像データが画像記憶部に格納される場合、スペクトル解析は、高速フーリエ変換（ＦＦＴ）を格納されているデータに適用するようにしてもよい。
【００１９】
符号化ステップは、標準化された構成を有するデータを生成するため、データを前処理する異なるステップにより実行されてもよい。これにより、変更することなく汎用的な符号化プロセス（ソフトウェア及び/またはハードウェア）を適用することが可能となる。例えば、ＭＰＥＧ符号化プロセスでは、一般に、エンコーダは、画像の左上の画素から開始し、８×８/１６×１６がそのブロック/マクロブロック構成を適用する。前記前処理ステップは、デジタル領域の画像データのみをリサンプリングすることにより実行されてもよい。このため、フィルタリングが画素値の補間に適用されてもよい。受信した画像データは、このリサンプリングステップでの質の低下を最小限に抑えるため、アナログから最初にデジタル化されるとき、オーバーサンプリングされるようにしてもよい。
【００２０】
このリサンプリングは、符号化開始前に画像全体に対し実行されてもよいし、あるいは符号化のための画素データの読み出し中に実行されてもよい。
【００２１】
受信した画像データが動画シーケンスを表す場合、符号化プロセスにより課される構成は、当該シーケンスの異なる画像は異なる処理を実行される時間的構成（ＧＯＰ構成）であってもよく、実質的に同一のＧＯＰ構成を以前の符号化プロセスに適用されたシーケンスに適用するため、符号化が実行される。あるいは、この符号化は、時間的には関連しているが、異なるＧＯＰ構成を以前の符号化プロセスに用いられたものに適用するために実行されてもよい。特に、アーチファクトの解析は、イントラ符号化画像とインタ符号化画像との間で区別するようにしてもよい。
【００２２】
ＧＯＰ構成の解析は、メモリに完全に格納されている複数の画像を解析することにより実行されてもよいし、あるいは以前の画像のパラメータのみを保持し、これらのパラメータに関して現在の画像を解析することにより実行されるようにしてもよい。イントラ符号化画像は、典型的には、通常ベースで生じ、高周波数要素を含み、このようにして特定することが可能である。ここで、符号化プロセスのＤＣＴ装置は、高周波数要素を測定するのに利用することができる。他方、この目的のため個々のフィルタを提供し、汎用的なエンコーダを維持し、設計のための労力や不確実性を低減することをより容易にする。設計者は、ＧＯＰ構成が決定されるまで、符号化を遅延させるかどうか、ＧＯＰ構成を参照することなくまず符号化を行うかどうか選択することができる。所望の場合、構成の整列は、十分な情報が利用可能となったとき、開始することができる。符号化アーチファクトを有する映像セグメントと、符号化アーチファクトのない映像セグメントが自由に編集される場合、特にテレビ送信を同時表示のために供給するとき、明らかに後者の選択肢が好ましい。
【００２３】
受信したデータはまた、音声データを有するようにしてもよい。符号化プロセスにより課される構成は、音声信号のサンプルが各々短い時間間隔を表すブロックに処理される時間的構成を有し、符号化プロセスのブロック境界を以前の符号化プロセスの結果として受信した音声データにあるブロック境界アーチファクトとの実質的な整列を最大化するため、符号化が実行されてもよい。上述及び後述の画像処理の実施例に適用される原理は、一般に音声符号化プロセスにも適用可能である。１つの相違点としては、音声データは、所望の場合には互いに独立して処理することが可能な個々の画像フレームとして構成された２次元データでなく、連続した１次元データであるという点である。従って、音声ストリームに対し採用される方法は、アーチファクトの存在及び位置が継続的に検出される連続的多様性を有し、符号化ステップは、データストリームのすべての部分でなく、経時的にブロック境界の整列を最大化するよう継続的に適応される。
【００２４】
音声データの場合、解析ステップは、連続的なデータストリームのブロック境界アーチファクトの検出及びロックを行うよう同調された位相同期（ＰＬＬ）プロセスを有するようにしてもよい。このとき符号化ステップは、当該符号化ステップにより課せられるブロック構成の急激な不連続性を回避するため、符号化プロセスのブロック境界と経時的に徐々に検出されるブロック境界アーチファクトとの整列を最大化するため、第２の位相同期または類似のプロセスを有するようにしてもよい。
【００２５】
本発明はさらに、上記発明による方法を実現するよう構成されるデータを符号化するための装置を提供する。
【００２６】
本装置は、必要に応じて、デジタルビデオレコーダまたはデジタルオーディオレコーダを有するようにしてもよい。
【００２７】
上述のように、本発明は、前処理、汎用的符号化プロセスまたは処理装置を用いて実現されてもよい。
【００２８】
従って、本発明はさらに、受信したデータに定義されていない構成を前記データに課す符号化プロセスへの以降の適用のため、ソースから受信した前記データを前処理するための方法であって、前記データが同じタイプの以前の符号化プロセスを介したものであることを示す前記データ内に含まれるアーチファクトを検出するため前記受信したデータを解析するステップと、前記アーチファクトの解析により、前記以前の符号化プロセスにより前記データに対し課された構成に関する情報を抽出するステップと、前記以前の符号化プロセスにより課される構成と所定の構成との整列を最大化するため、前記抽出した構成情報を参照して前記受信したデータを処理するステップとを有することを特徴とする方法を提供する。
【００２９】
このとき、汎用符号化装置またはソフトウェアを有する消費者は、前処理機能を原則的にアドオンすることができる。この前処理はまた、汎用符号化装置を有する加入者が加入者側での負担なしで本発明から利益を得ることができるように、デジタルテレビや音声配信信号などのデータを送信する前に、配信者により実行することも可能である。
【００３０】
上記特定の実施例は、この形態での方法において適用可能である。同様に、前処理装置が設けられる。
【００３１】
本発明はさらに、プログラム可能なコンピュータに本発明の特定の方法ステップ及び/または装置構成を上記特徴の何れかにおいて実現させるための命令を有するコンピュータプログラムプロダクツを提供する。本コンピュータプログラムプロダクツは、任意のコンピュータハードウェアから独立に供給されてもよく、記録キャリアの形態により、あるいはネットワークを介した電子形態により供給されてもよい。
【００３２】
本発明の実施例が、添付した図面を参照することにより例示的に説明される。
【発明を実施するための最良の形態】
【００３３】
画像処理システムの開発者の目的は、信号が当該システムを進行するとき、信号に取り込まれたノイズ量を最小化することである。
【００３４】
表示を行う前に、映像画像内のノイズを抑制する各種技術が存在する。例えば、ローパスフィルタは、急激な高周波数での（従って、顕著な）移行を減少させ、これにより画像をより視覚的に許容可能なものとする。しかしながら、これを実行することは、画像全体の帯域幅を減少させることとなり、シャープさの低下した劣化した画像を生じさせることとなる。
【００３５】
あるいは、ノイズがシステムに入力されると、このノイズを抑制しようとするよりも、ノイズ自体の生成を最小化することが好ましい。システムがノイズを拾うことを最小化するための様々なスクリーニング技術が存在するが、システム自体がノイズの生成を最小化することはより困難なものである。ブロック単位の符号化を用いた画像圧縮は、ある量のノイズを実際には自己生成し、信号がシステムに進行するとき、このノイズは伝搬する可能性があり、ある状況では強調される可能性もある。
【００３６】
図１は、ブロック単位の符号化前の導出される画像を示す。直線は、高コントラスト変動領域を示す。直線と曲線は滑らかである（これが導出されたもとの画像はまた、広範なダイナミック階調範囲を示している）。
【００３７】
図２は、ＪＰＥＧなどのブロック単位の符号化を用いた減少したファイルサイズに圧縮された後、図１の画像を示す。従前のように、直線は高コントラストの点を示している。当業者は、この画像が動画シーケンスから選ばれたものである場合、利用される圧縮はＭＰＥＧ符号化であったかもしれないということを理解するであろう。符号化スキームが「不可逆」であることから、いくつかのアーチファクトが画像に導入されている。例えば、シャープなオブジェクトが、直線に突き出ている。滑らかな直線はジグザグのエッジに置き換えられている。
【００３８】
もとの画像の広範な階調範囲は、一様な階調の小さな正方形ブロック（図示せず）に置き換えられている。この結果、選択された領域での階調のスムースな移行は、異なる一様な階調値のステップにより置き換えられている。ブロック間のステップの一部は、画像内で顕著となるくらいの十分大きな相違となる。
【００３９】
図３は、エッジ検出器により処理された後における図２に示された画像である。この画像は、隣接する画素間の高コントラストな点を検出することにより導かれている。この処理が図１に示されるようなもとの画像に対して実行されている場合、図示されているような図１と全く同様のものとなるであろう。しかしながら、もとの画像に加えて、図２に示されるようなブロック単位で符号化された画像に対して実行されたときには、明確に画定された同じサイズ及び形状のブロックを見ることができる。これらのブロックは、８×８の画素グループに関するものであり、ブロック間の検出可能な移行において発生するため、「ブロックノイズ」として知られている。
【００４０】
ブロック単位の圧縮スキームは、画像内の領域を個別に符号化することにより、画像ファイルのサイズ（及び/または限定された帯域幅のキャリアにおいて画像を送信するのに必要とされる帯域幅）を減少させる。各ブロックは、画像の伝達には重要でない信号要素（一般には高周波数）を削除するよう処理される。動きシーケンスはさらに、前のフレームに対し変化した画像データのみを送信することにより圧縮される。蓄積するエラーは、通常間隔で新しい参照フレームを送信することにより抑えられる。動画処理手段が以降において説明される。
【００４１】
各画像内のブロックは、各ブロックの各画素の表示のための再構成がそのもとの値の単なる近似であるため可視的なものである。これは、ブロックの再構成に用いられるデータの一部が符号化処理により破棄されたためである。選ばれた圧縮が大きいほど、ブロック内の各画素値の結果として得られる近似は大きくなる。もとの画像の画素間のスムースな階調が画素値間のステップに置き換えられているため、隣接したブロックは可視的なものとなる。画素値のもとの値からの乖離の変動は、上記ステップをより可視的なものとするのに寄与する。
【００４２】
図４は、典型的な映像生成、処理及び配信システムを示す。マルチメディアソース１１０は、１０５で撮像され、処理のためにスタジオ１１０にわたされる。次に、映像が１２０において送信され、復号化１４０と表示１５０のため、家庭内の環境内で受信１３０される。任意的には、当該映像は、以降の視聴のため記録１６０することができる。本システムは、限定された帯域幅を有する通信リンクを介しシステム内に動画を送信する複数のブロック単位の符号化及び復号化段階（Ａ、Ｂ、Ｃ）を有する。
【００４３】
図示された例では、マルチメディアソース１００は、外部の配信ユニットにより撮像され、結果として得られるアナログ映像はビデオテープに記録される。ビデオレコーダは、ＭＰＥＧ符号化を利用して、小型のカセットに十分な記録時間を与えるため当該映像を圧縮する。これは、例示されるシステムにおけるブロック単位の符号化の第１段階（Ａ）である。その後、ビデオテープ１０５は、スタジオ１１０に転送され、アナログ映像に復号化される。このとき、従前の非効率な符号化及びその後の復号化処理の結果として、多数のアーチファクトがアナログ映像に導入される。
【００４４】
例えば、他のマルチメディアコンテンツと合成することにより、映像がスタジオで処理されると、信号がユーザ１３０に送信１２０される。この送信は、各送信チャネルの帯域幅が制限されているため、ＭＰＥＧ−２などのブロック単位の符号化のさらなる段階（Ｂ）を伴う。ユーザがこの信号を受信すると、モニタ１５０による表示のため、アナルグ映像ＶＩＤを提供するため復号化１４０される。ユーザは、モニタに表示される映像を記録することを所望するかもしれないし、またハードドライブを用いてデジタル化された映像を格納するなどのように、カセットレスの記録装置１６０を有するようにしてもよい。映像ＶＩＤは、ハードドライブの容量を最大化するため、ブロック単位の符号化を用いて再び圧縮される。以降において表示されるとき、前の２つの段階と同様にして映像は再生及び復号化される。
【００４５】
本システムを通過する映像情報は、信号がアナルグ形式により段階間において伝達されるブロック単位の符号化及び復号化の３つの段階（Ａ、Ｂ、Ｃ）を通過する必要がある。アナログ映像を利用する結果として、各符号化段階において、同一の画像の画素が同一のルールに従って、このため以前の符号化段階と全く同様の方法で符号化されることを可能にする情報は段階間においてわたされない。
【００４６】
図５は、図４のシステムの各種段階（Ａ、Ｂ、Ｃ）を介しわたされる画像のブロック境界に対する効果を示す。破線２００は、第１符号化/復号化段階により用いられたブロック境界を示している。点線２１０、２２０及び２３０は、以降の符号化/復号化段階により用いられたブロック境界を示している。これらのブロック境界は、画像フレーム内で異なる位置にあるということが観察できる。これは、ブロック境界の位置は、クロックスピード、画像サイズ及び画像オフセットなどの各種要因に依存するためである。温度などによる環境要因及びビデオテープレコーダのテープ搬送機構によるものなどのタイムベースの変動は、アナログ信号をデジタル化するとき、境界をある時間にわたり互いに相対移動させるかもしれない。
【００４７】
これら可変的な境界により、画像シーケンス内の画像の画質が低下する。これは、ブロック単位の符号化/復号化２００の前の段階で導入されたブロック境界のアーチファクトが、連続する符号化段階において意味のある画像コンテンツデータとして扱われるためである。
【００４８】
問題を解決しようとするとき、本発明者は、前の符号化段階において用いられたものと同じブロック及び画素構成を用いたアナログ画像の符号化は、ブロック境界のアーチファクトを効果的に可視的でないものとし、各画素ブロックを実質的に独立したユニットとして扱うということを観察した。これは、帯域幅の要求に対する影響なく画質を大きく向上させる。なぜなら、符号化の第１段階で導入されたアーチファクトは、さらなる符号化段階により画像コンテンツとして扱われることにより、帯域幅を使用するものではないためである。
【００４９】
さらに、本発明者は、アナログ画像を解析して、ブロック単位の画像圧縮システムを用いて当該画像が以前に符号化されたか判断し、解析結果を利用して符号化処理を指示することができることがわかった。
【００５０】
図６は、ａ）入力アナログ映像ＩＶを解析して、前の符号化段階において利用された、ブロック、画素境界及び画素クロックなどの符号化パラメータを検出し、ｂ）この検出した符号化パラメータを用いて入力映像のブロック単位の符号化を指示する、という２つの主要な機能を実行する改良されたエンコーダを示す。
【００５１】
境界エッジ検出器ＢＥＤ３００は、各画像内の水平「Ｈ」ブロック境界と垂直「Ｖ」ブロック境界などの符号化パラメータを決定し、上記境界から、各ブロック内の画素位置に直接対応する画素クロック「ＣＬＫ」を導出するのに用いられる。アナログ映像を解析してブロックノイズを抑制しようとする試みが以前に行われた。その一例がＥＰ０９９８１４６Ａに示されている。以前にブロック符号化された映像フレーム内の検出可能な水平及び垂直ブロック境界を利用して、ブロックノイズが抑制されるが、上記検出された境界に隣接したもののみである。
【００５２】
境界エッジ検出器ＢＥＤ３００は、境界エッジを決定するための解析のためアクセスされ、ブロック単位エンコーダのデジタル映像データのソースとしてのデジタル化格納フロントエンドＤＩＧ/ＢＵＦ３０４を有する。
【００５３】
一実施例では、コントローラがまた受信した画像データ内のアーチファクトからＧＯＰ構成を検出する場合、コントローラは対応するＧＯＰ構成を新しい符号化に課すようエンコーダに指示するようにしてもよい。このＧＯＰ構成は、ＢＥＤとエンコーダのコントローラ（図示せず）との間のインタフェースを介し伝達されるであろう。しかしながらまた、ＧＯＰに関する情報を用いて、ＧＯＰ構成または量子化強度に関してエンコーダに影響を与えるが、符号化処理に対しＧＯＰ構成に厳格に従わなくてもよい。ＭＰＥＧ符号化処理は、帯域幅を制御するなど、ＧＯＰ構成を選択する自由度を要求する傾向がある。
【００５４】
エンコーダの処理段階は、ブロック単位エンコーダの従来の段階から構成され、離散コサイン変換（ＤＣＴ）３２０、量子化（Ｑ）３３０、ランレングス可変長エンコーダ（ＲＬ−ＶＬＣ）３４０、ビットストリームバッファ（ＢＢ）３５０、逆量子化（ＩＱ）３６０、逆離散コサイン変換（ＩＤＣＴ）３７０、動き補償（ＭＣ）３８０、動き推定（ＭＥ）３９０及びフレームメモリバッファ（ＢＵＦ）４００を有する。出力ストリームＯＳは、ビットストリームバッファＢＢ３５０から取得され、ブロック単位符号化映像データストリームに対応する。
【００５５】
図７は、画像のデジタル化ＤＩＧ６００、メモリＢＵＦ６１０と６２０によるダブルバッファ処理、及びブロック境界ＨとＶ及び画素クロックＣＬＫを導くためのプロセッサ６３０による処理が行われるデジタル境界エッジ検出器ＢＥＤ３００のブロック図である。プロセッサは、ＤＳＰまたはＦＰＧＡ手段であってもよい。
【００５６】
当業者は、導入部で述べられたＥＰ０９９８１４６Ａにおいて詳細に説明される技術などを含む、画像データを解析してブロック境界アーチファクトを取得するのに様々な技術が利用可能である。第１実施例の改良されたエンコーダでは、具体的には、検出した境界ＨとＶ及び画素クロックＣＬＫを用いて、画像の構成をエンコーダに互換的なものに標準化する。エンコーダは、境界に隣接したブロックノイズを抑制は行わない。代わりに、画像格納部及び境界エッジ検出器を利用することにより、以前に用いられたものと同じ境界を利用して、符号化が実行されることを確実にする。このような実行により、異なる符号化段階であるが画像が進行するに従って、各ブロックが同じ境界を用いて、ブロック境界の符号化を画像データとして削除することにより符号化されることを保証する。しかしながら、当業者は、これがさらなる実施例でのブロックノイズを抑制する追加的手段を導入することを排除するものでないということを理解するであろう。
【００５７】
符号化段階は、動画のＭＰＥＧ符号化を実行するためのものなどの従来のブロック単位エンコーダである。このエンコーダは、さらなる実施例が画素の導出及びブロック境界の検出により導かれるタイミング信号による影響を受けるタイミング解析による広範な入力映像規格から映像規格の自動検出を有するかもしれないが、ＶＧＡやＳＶＧＡなどの異なる表示規格に従って動作するよう選択可能である。
【００５８】
入力映像の各フレームは、境界エッジ検出器ＢＥＤ３００がすべての境界エッジを導出するのに検出及び使用可能な多数の検出可能境界を含む。
【００５９】
図８は、１つの画像フレーム内の検出可能境域を示す。完全な格子の検出を妨げるギャップが存在することを観察することができる。上述の欧州特許ＥＰ０９９８１４６Ａの開示では、抑制の必要のあるギャップ内のブロックノイズは存在せず、このため完全な格子を導出する必要もないため、境界がこれらの領域で検出できないかどうかは重要ではない。しかしながら、各映像フレーム内のすべてのブロック及び画素に対して正確なタイミングが必要とされるため、改良されたエンコーダの実施例では完全な格子が必要とされる。
【００６０】
図９は、図７の境界エッジ検出器が符号化格子を形成するよう検出可能な境界間（点線により示される）の補間を行った図８の画像を示す。
【００６１】
図７に示されるデジタルＢＥＤ３００は、適切なレートでアナログ画像をデジタル化し、フレーム記憶部に格納する。ナイキスト（Ｎｙｑｕｉｓｔ）定理に従って、デジタル化レートは、画像内のブロック境界の真の位置を正しく決定するため、ＢＥＤにより必要とされる精度に依存して、画像帯域幅の２倍またはそれ以上のオーダであってもよい。その後、画像は、ブロック構成を導出するよう処理される（それがメモリにロードされるに従い、あるいは完全なフレームが格納されると）。これを実現する方法は周知であり、画像を介しわたされる重み付けされたフィルタカーネル（係数の小さなアレイ）を有する。ダブルフィルタリングは、必要に応じて、連続性を維持するため適用されてもよい。この場合、１つのバッファがブロック及び画素構成を導出するのに処理されると、他のバッファが次のフレームによりロードされる。これらのバッファは、映像規格の処理に依存して、フレームまたはフィールドレートによりスイッチされる。画素クロックは、周波数シンセサイザにより与えられ、プロセッサにより制御さえ、測定されたブロック構成から導出される。
【００６２】
図１０は、検出可能水平境界（Ｈ）、検出不能境界（Ｈｅｓｔ）の推定位置、以降の処理のために導出された境界（Ｈｄｅｒ）及びプロセッサ６３０から出力され、入力映像の各フレーム内の画素に対応する画素クロックＣＬＫを示す。このクロックは、他の方法が利用可能ではあるが、デジタルプロセッサコア６３０内のデジタル合成により導出される。クロックが画素境界の近傍で逸脱しない場合、エンコーダビデオデジタル化装置の設定及びホールドタイミングが妥協する小さな程度の変動は許容可能である。
【００６３】
導出される３つの水平境界Ｈ、垂直境界Ｖ及び画素クロックタイミングＣＬＫがプロセッサにより用いられ、新しい符号化処理のブロック境界と以前の段階で用いられたものとが揃えられる。それらは、ＢＥＤ３００のタイミング信号の他のすべてが導出されるベースタイミング信号として利用される。従って、入力映像のベースタイミングが変わると（例えば、再生中のビデオテープのワウフラッタや長い期間での変動により）、処理のタイミングは、連続ベースでの入力タイミングのトラッキングに合うよう変更される。
【００６４】
導出された境界と揃うよう画素構成を変更することによる符号化に対して、画像が用意される。これは、非線形画素マッピングを用いて画像をリサンプリングする「Ｗａｒｐ」機能を適用したり、あるいはエンコーダにわたすため、フレーム記憶部からデータを抽出するとき、読み出しアドレス指定を変更することなどによる多くの方法により実現することが可能である。当業者は、同じ結果が格納中の前処理、デジタル化レート及び/または書き込みアドレス指定パラメータの変更により実現可能であるということを理解するであろう。
【００６５】
例えば、映像信号の中断により生じる入力タイミングの大きな変化は、タイミングが正確でない可能性のある移行のための移行期間を短くし、ブロック境界の正確な重ねあわせが実現できなくなる。
【００６６】
前の符号化ステップにおいて当初用いられたものと同じブロック境界及び画素クロックを利用した映像の符号化は、ブロック境界が画像データとして符号化されないことを保証する。代わりに、それらは伝搬されるが、連続する符号化段階中には悪化しないアーチファクトである。この結果、各ブロックの符号化は、以前の符号化段階で用いられたものと同一の周波数要素を主として伴うであろう。これは、ブロック境界格子の位置が近似的なものである場合には可能性はなく、ブロック境界は画像データとして符号化されるであろう。この結果、同じレベルの圧縮が実現可能となる可能性は低い。従って、各画像に対応するファイルのサイズは、画像がシステム全体に伝搬するに従い増加する。あるいは帯域幅が限定されている場合には、画像がシステム全体を伝搬するに従って、圧縮レベルは制限された利用可能な帯域幅に適合するよう着実に増加する必要があり、このため、画質はソースとターゲットの間で劣化する。
【００６７】
ここで、ＭＰＥＧ−４規格は、画像内の各領域のプロパティに従って１つの画像内でブロックサイズが変動することを許容する。これらの可変的ブロックサイズは、「四分木（ｑｕａｄ  ｔｒｅｅ）」の形式によるもとのＭＰＥＧブロック構成の先頭に配置される。このような実施例のＢＥＤ３００は、可変サイズのブロックを特定するよう適応されてもよい。あるいは、ＢＥＤ３００は、画像内の最小のブロック構成を特定し、クロックにより画素を並べるよう構成されてもよい。このとき、ＢＥＤ３００に従うエンコーダは、それがＭＰＥＧ−４または同様のエンコーダである場合、自身の解析により類似したブロック構成を課すことが可能である。
【００６８】
動画に対するさらなる実施例として、解析される各画像がＩフレーム、ＢフレームまたはＰフレームとして符号化されたものであるかに関する入力信号からＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）を決定することができる。図６の実施例のような独立型の動作と異なり、本実施例では、ブロック単位エンコーダは、各画像の解析を補完するため、境界エッジ検出器ＢＥＤ３００にパラメータを戻す。
【００６９】
異なるフレームを区別するのに用いられるパラメータは以下の通りである。Ｉフレームは、一般にＰフレームより質が高く、ＰフレームはＢフレームより質が高い。一般に、Ｉフレームは、ＰフレームあるいはＢフレームより質の高い高周波数のコンテンツを有する。Ｉフレームはしばしば、ＧＯＰシーケンス内で通常の間隔により発生し、このため、当該周波数でのブロックノイズの検出可能な低下、及び高周波数画像コンテンツの増加を伴うであろう。
【００７０】
デジタル化された音声データ（ＰＣＭ）は、同様の方法により処理される。音声信号は、適切なレートによりデジタル化され（上述の映像処理に対するものと同様の方法での固定または改良された）、ストリームは１次元アレイとして格納される。ブロック境界アーチファクトを導出するため、格納されたデータが解析され、適切に並べられたデータが以降の符号化のため音声エンコーダにわたされる。
【００７１】
その他の特徴は、Ｉフレームでなく、ＢフレームまたはＰフレームに存在する動き特性のあるアーチファクトを検索することにより検出することが可能である。例えば、移動オブジェクト内に不連続性が存在する場合、画像の引き裂きが広がるかもしれない。
【００７２】
各フレームのブロックノイズ量は、境界エッジ検出器ＢＥＤ３００により測定され、各フレームの周波数コンテンツは、エンコーダのＤＣＴ３２０により生成されるＤＣＴ係数を解析することにより導出可能であり、動き属性は関心領域のブロックノイズのパターンを解析し、分離したオブジェクトを検索するため画像の一部を解析したり、あるいはエンコーダの動き補償器ＭＣ３８０及び/または動きエンジンＭＥ３９０内の動きデータを解析することにより、動き属性が導出される。これらの属性は、各フレームに対する改良されたエンコーダにより解析され、ＧＯＰシーケンスに関するパターンを導出するのに利用される。
【００７３】
このとき、導出されたＧＯＰシーケンスは、符号化のためＧＯＰシーケンスを設定したり、あるいはＧＯＰシーケンスに影響を与えるよう少なくとも参照として利用される（例えば、１２番目のＩフレームごとに同期化され、エンコーダを制御する装置がＧＯＰシーケンスの残りを選択することを可能にする）。
【００７４】
当業者は、上述の方法及び装置の原理の範囲内での多くの変形が可能であるということを理解するであろう。従って、ここで示される実施例は、理解を支援するための例として与えられ、請求される本発明の範囲を限定するものと解されるべきでないということは理解されるであろう。
【図面の簡単な説明】
【００７５】
【図１】図１は、ブロック単位符号化前の滑らかなエッジを有するもとの画像を示す。
【図２】図２は、不可逆なブロック単位符号化後の図１の画像を示す。
【図３】図３は、図２に示される実画像に広がるブロックノイズを示す。
【図４】図４は、限定された帯域幅を有する通信リンクを介しソースからユーザにアナログ動画を送信するいくつかの符号化及び復号化段階を有する典型的なシステムを示す。
【図５】図５は、４の図システムの各種段階（Ａ、Ｂ、Ｃ）を経過した画像のブロック境界に対する効果を示す。
【図６】図６は、本発明によるブロック単位符号化での以降の利用のために符号化パラメータを検出する改良されたエンコーダを示す。
【図７】図７は、図６のエンコーダの境界エッジ検出器のブロック図である。
【図８】図８は、典型的なブロック単位符号化画像に存在する検出可能な境界を示す。
【図９】図９は、符号化格子を生成するため、図７の境界エッジ検出器が補間した図８の検出可能境界を示す。
【図１０】図１０は、検出及び補間されたブロック境界からの画素クロックの乖離を示す。
【図１】
2006500851.tif 000003
【図２】
2006500851.tif 000004
【図３】
2006500851.tif 000005
【図４】
2006500851.tif 000006
【図５】
2006500851.tif 000007
【図６】
2006500851.tif 000008
【図７】
2006500851.tif 000009
【図８】
2006500851.tif 000010
【図９】
2006500851.tif 000011
【図１０】
2006500851.tif 000012
【国際調査報告】
2006500851.tif 000013
2006500851.tif 000014
2006500851.tif 000015