(57)【特許請求の範囲】
【請求項１】
複数のサブバンドに分割する階層サブバンド分割を用いて符号化された画像中のエラーをコンシールする方法において、
（ａ）第１サブバンド内の空間位置に少なくとも１つの劣化した変換係数を検出するステップと、
（ｂ）同一分割レベルの少なくとも１つの他のサブバンドにおける同一空間位置を含む近傍から少なくとも１つの劣化していない変換係数を前記劣化した変換係数として選択するステップと、
（ｃ）前記の少なくとも１つの劣化していない変換係数を用いて、前記少なくとも１つの検出された劣化した変換係数と置き換えるための置換用変換係数を生成するステップと、
（ｄ）前記検出された少なくとも1つの劣化した変換係数を前記置換変換係数で置き換えるステップと、を含んでなることを特徴とする画像内エラーをコンシールする方法。
【請求項２】
前記選択ステップ（ｂ）は、前記検出された劣化した変換係数の前記空間位置を含む前記近傍の変換係数のウィンドウ関数を用いて前記少なくとも１つの劣化していない変換係数を選択することを特徴とする請求項１に記載の画像内エラーをコンシールする方法。
【請求項３】
前記ウィンドウ関数を
│x0^│=max[│f(yi,zj;yi∈w(x1),zj∈w(x2))│,1]
に従って実行し、式中のx0^は前記置換用変換係数であり、ｗ（ｘ）はｘ近傍の劣化していない係数のセットであり、ｘ１及びｘ２は少なくとも１つの他のサブバンドからの前記少なくとも１つの劣化していない変換係数であり、ｆは画素ｙiとｚjの関数であることを特徴とする請求項２に記載の画像内エラーをコンシールする方法。
【請求項４】
前記選択ステップ（ｂ）は、前記検出された劣化した変換係数の前記同一空間位置に対して異なる分割レベルの少なくとも１つの他のサブバンドからの少なくとも１つの劣化していない変換係数をさらに選択することを特徴とする請求項１に記載の画像内エラーをコンシールする方法。
【請求項５】
前記検出ステップ（ａ）は、第１テクスチャユニットの番号が先に復号したパケットの最後のテクスチャユニット番号より小さいか又は等しいことを検出することにより、第１サブバンド内の空間位置に少なくとも１つの劣化した変換係数を検出することを特徴とする請求項１に記載の画像内エラーをコンシールする方法。
【請求項６】
前記検出ステップ（ａ）は、第１テクスチャユニットの番号が現パケットの最後のテクスチャユニット番号より大きいことを検出することにより、第１サブバンド内の空間位置に少なくとも１つの劣化した変換係数を検出することを特徴とする請求項１に記載の画像内エラーをコンシールする方法。
【請求項７】
前記検出ステップ（ａ）は、禁止ビットパターンの発生を検出することにより、第１サブバンド内の空間位置に少なくとも１つの劣化した変換係数を検出することを特徴とする請求項１に記載の画像内エラーをコンシールする方法。
【請求項８】
前記検出ステップ（ａ）は、現パケット内テクスチャユニットの合計数が最後のテクスチャユニット番号から第１テクスチャユニット番号を減じて１をプラスした値と異なっていることを検出することにより、第１サブバンド内の空間位置に少なくとも１つの劣化した変換係数を検出することを特徴とする請求項１に記載の画像内エラーをコンシールする方法。
【請求項９】
複数のサブバンドに分割する階層サブバンド分割を用いて符号化された画像中のエラーをコンシールする装置（６７６）において、
第１サブバンド内の空間位置に少なくとも１つの劣化した変換係数を検出する手段と、
同一分割レベルの少なくとも１つの他のサブバンドにおける同一空間位置を含む近傍から少なくとも１つの劣化していない変換係数を前記劣化した変換係数として選択する手段と、
前記少なくとも１つの劣化していない変換係数を用いて、前記少なくとも１つの検出された劣化した変換係数と置き換えるための置換用変換係数を生成する手段と、
前記検出された少なくとも1つの劣化した変換係数を前記置換変換係数で置き換える手段と、を含んでなることを特徴とする画像内エラーをコンシールする装置。
【請求項１０】
複数の命令を蓄積しているコンピュータ可読の媒体（６７４，６８０）において、該複数の命令は、プロセッサにより実行される際に、
（ａ）第１サブバンド内の空間位置に少なくとも１つの劣化した変換係数を検出するステップと、
（ｂ）同一分割レベルの少なくとも１つの他のサブバンドにおける同一空間位置を含む近傍から少なくとも１つの劣化していない変換係数を前記検出された変換係数として選択するステップと、
（ｃ）前記の少なくとも１つの劣化していない変換係数を用いて、前記少なくとも１つの検出された劣化した変換係数と代替するための置換用変換係数を生成するステップと、
（ｄ）前記検出された少なくとも1つの劣化した変換係数を前記置換変換係数で置き換えるステップと、を前記プロセッサに実行させる命令を含んでいることを特徴とする複数の命令を蓄積しているコンピュータ可読媒体。
【請求項１１】
前記選択ステップ（ｂ）は、
（ａ）サブバンドｃにおける劣化した変換係数の位置ｃ(ix,jy)を決定するステップと、
ここで、ix及びjyは劣化した変換係数のサブバンドｃの座標値
（ｂ）同一分割レベルのサブバンドｎにおける少なくとも1つの劣化していない変換係数の空間位置un(ix,jy) を前記劣化した変換係数として決定するステップと、
ここで、ｎは、前記劣化した変換係数を−１としたときの同一分割レベルのサブバンドの総数であり、ix及びjyは、それぞれ、劣化した変換係数のサブバンドｃ及び前記少なくとも1つの劣化していない変換係数のサブバンドｎの座標値
（ｃ）前記空間位置ｕn(ix,jy)から前記少なくとも１つの劣化していない変換係数を選択するステップとを含んでなることを特徴とする請求項１に記載の方法。
【発明の詳細な説明】
【０００１】
本願は、１９９８年８月２０日提出の米国仮出願第６０／０９７，２９５号の利益を請求するとともに、この米国仮出願は参照によって本願に組み込まれている。
【０００２】
本発明は、ディジタルマルチメディア通信の分野におけるエラーのコンシールメント（エラー隠し）に関する。より詳細には、本発明は、例えばウェーブレット変換係数のような階層サブバンド分割係数の符号化／復号に適用する、エラーレジリエンス（エラーに対する回復力）を改善するためのエラーコンシールメント方法に関する。
【０００３】
発明の背景
ディジタルマルチメディア通信の分野において、動画，オーディオ，タイミング及び制御データを搬送するデータストリームは、種々の“パケット”にパッケージされる。一般に、１個のパケットはデータと制御要素を含む２進数字のグループであり、複合体として交換され伝送される。データ，制御要素及びその他の情報は、種々の特別なフォーマットに従い配列される。
【０００４】
かようなフォーマットのサンプルは種々の国際規格に開示されている。国際規格には、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｓｔａｎｄａｒｄｓ（ＭＰＥＧ−１（１１１７２−*），ＭＰＥＧ−２（１３８１８−*）及びＭＰＥＧ−４（１４４９６−*）），Ｈ．２６１及びＨ．２６３が含まれるが、それらに限定されるものではない。例えば、ＭＰＥＧ規格は、パケットをヘッダと、これに続く“基本データストリーム”からの複数の連続バイト（ペイロード）により構成されると定義している。基本ストリームは、符号化動画、符号化オーディオ又は他のビットストリームについての極めて包括的な用語である。より詳細には、ＭＰＥＧ−２の“トランスポートストリーム”パケットは、４バイト又はそれ以上のバイト長を持つヘッダと、最長１８４バイトを有するペイロードとを有する。このトランスポートストリームパケットは、１つ又はそれ以上のプログラムの一部であり、トランスポートストリームパケットが集められて、１つのトランスポートストリームになる。トランスポートストリームは、その後、特定のトランスファレート（伝達レート）のチャネルで伝送される。
【０００５】
しかしながら、例えば無線通信のような雑音のある通信チャネルでパケットを伝送すると、受信器／復号器によって受信されたパケットに劣化が生じる。さらに、データストリーム又はビットストリームには、パケットに部分的な損失があれば受信機／復号器がパケット全体を廃棄するように相関付けた圧縮データを搬送しているものもある。即ち、圧縮方法は、最少のビット数でできる限り正確に情報を表現することに有効なので、蓄積又は伝送すべきデータ量を最少にすることができる。圧縮効率をさらに高めるために、幾つかの圧縮方法は、“有意度ベース（有意度に基づく）”情報、例えば、伝送情報の有意度又は伝送情報の不在を受信器／復号器に指示する有意度マップ値のモデルを採用する。この“有意度ベース”情報は、しばしば、受信器／復号器が伝送情報から追加情報を解読できるように、例えば記号を用いて事前に定義されている。しかしながら、“有意度ベース”情報のような圧縮データが損失していると、受信器／復号器が劣化したデータの伸長又は復号を試みる際に重要なエラーが生じる結果となる。
【０００６】
さらに、もう１つの圧縮技法は、階層サブバンド分割を用いて入力画像を変換係数に変換することを含んでいる。例えば、カリフォルニア州サンフランシスコ市で１９９２年３月に開催された音響、音声及び信号処理に関する国際会議の論文集（第４卷、６５７−６６０頁）に１つの有効な圧縮技法が記述されており、階層順次式近似エントロピー符号量子化器を従え、階層サブバンド分割又はウェーブレット変換を行う信号圧縮システムが開示されている。クリティカルにサンプリングされた直交ミラーフィルタ（ＱＭＦ）のサブバンド表現として知られているウェーブレットピラミッドは、画像のマルチ解像度を階層サブバンドで表現する特殊な形式である。
【０００７】
さらに詳細には、階層サブバンドにおいて、最高周波数サブバンドを除き、所与のスケールの全係数は、ウェーブレットツリーと呼ばれる構成に従って同じ方位の次に細かいスケールの係数セットに関係づけることができる。粗いスケールにおける係数を親ノードと呼び、同じ方位の次に細かいスケールでの同じ空間又は時間位置に対応する全係数は子ノードと呼ぶ。
【０００８】
これらの変換係数を符号化する代表的な方法は、図１に示すようなツリーの深さの順番に走査し、１つの画像を３つの解像度レベルに分割する。具体的には、ウェーブレット係数をツリーブロックとして符号化し、ツリーブロックは、各々、異なる濃淡の影付けで示した３つの個別の“テクスチャユニット”として表わす。各テクスチャユニットは、最下位即ち最も粗いＡＣバンドから始まり最高位即ち最も細かいＡＣバンドの係数に到るツリー構造を示している。
【０００９】
実操作において、１つ又はそれ以上のテクスチャユニットが雑音の多いチャネルで伝送する際に劣化するか又は失われることがある。テクスチャユニットが失われることにより復号画像に顕著なエラーが生じることが多い。
【００１０】
従って、テクスチャユニットの損失又は劣化によるかようなエラーをコンシールする装置と方法がこの技術分野において必要とされている。
【００１１】
発明の要約
本発明の１つの実施態様により、階層サブバンド符号化／復号システムにおけるエラーをコンシールする（エラーを隠す）装置と方法を開示する。より詳細には、第１の実施形態において、劣化した又は失われた係数のエラーを他のサブバンドからの同一空間位置の劣化していない係数を用いてコンシールする。
【００１２】
第２の実施形態において、劣化した又は失われた係数のエラーを、他のサブバンドから同一空間位置の劣化していない係数のウィンドウを用いてコンシールする。本発明のエラーコンシールメント方法は、損失パケットの影響を最少にして、階層サブバンド符号化／復号システムのエラーレジリエンス（エラーに対する回復力）を改善する。
【００１３】
さらに、本発明のエラーコンシールメント方法と装置を裏付けるために、複数のエラー検出の実施例を開示する。これらのエラー検出実施形態は、再同期マーカ，テクスチャユニット番号，パケットサイズ及び／又は禁止ビットパターンを用いてエラーの検出を行う。
【００１４】
詳細な説明
図２は、本発明のパケットストリームシステム２００の簡素化した構成を示すブロック図である。ＭＰＥＧ規格により定義された“トランスポートストリーム”のようなデータストリームを図２に示すパケットストリームシステムに使用して説明する。このトランスポートストリームを一例として用い本発明につき以下に説明するが、当業者であれば任意のパケットストリーム、例えばＭＰＥＧの“プログラムストリーム”又は他のフォーマットによる任意の他のパケットストリームに本発明を適用できることは理解できよう。さらに、以下の説明に用語“ストリーム”を使用するが、以下に記述する種々の操作は、ストリーム全体又はその部分において実行できるものと理解すべきである。
【００１５】
システム２００は、動画データ２１０を受信してそれを基本動画ビットストリームに符号化する画像／動画符号化器２２０を含んでいる。この動画符号化器２２０は、例えば有意度ベース（有意度に基づく）情報を有する、又は有さないウェーブレット係数のような階層サブバンド分割係数を生成することができる符号化器である。この画像／動画符号化器２２０は、例えば、ＪＰＥＧ符号化器，ＧＩＦ，ＰＩＣＴ等の単一画像符号化器であるか、又は、ＭＰＥＧ規格に従い作動するブロックベース（ブロックに基づく）又はウェーブレットベース（ウェーブレットに基づく）符号化器のような画像列（動画）用の符号化器であってよい。この開示を通し、画像列，画像，動画の用語は互換性をもって用いられる。広義において、本発明はいかなるフォーマットの画像又は画像列符号化器と協働でき、本発明によるパケット構成の利点を生かしエラーレジリエンスを提供する。
【００１６】
かような符号化器の１例として、サーノフの非常に低いビットレート（Ｓａｒｎｏｆｆ  Ｖｅｒｙ  Ｌｏｗ  Ｂｉｔ  Ｒａｔｅ（ＶＬＢＲ））の符号化器が挙げられる。この符号化器は、、米国特許第５，７６４，８０５号（１９９８年６月９日発行）に開示されており、本願においても参照する。かような符号化器の他の例として、“ウェーブレットベース符号化技法により生成したゼロツリーを符号化する装置と方法（Ａｐｐａｒａｔｕｓ  Ａｎｄ  Ｍｅｔｈｏｄ  Ｆｏｒ  Ｅｎｃｏｄｉｎｇ  Ｚｅｒｏｔｒｅｅｓ  Ｇｅｎｅｒａｔｅｄ  Ｂｙ  Ａ  Ｗａｖｅｌｅｔ−Ｂａｓｅｄ  Ｃｏｄｉｎｇ  Ｔｅｃｈｎｉｑｕｅ）”の米国特許出願第０８／７３６，１１４号（１９９６年１０月２４日出願）に開示されており、これらの例も本願において参照する。
【００１７】
同様に、本システムは、オーディオデータ２１２を受信して基本オーディオビットストリームに符号化するオーディオ符号化器２２２を含んでいる。しかしながら、当業者ならば、複数の画像／動画符号化器２２０ｎ及びオーディオ符号化器２２２ｎを複数の基本ビットストリームを生成するために使用できることが理解できよう。実際に、複数の動画及びオーディオ符号化器をサーバ２２５により集合的に使用することができる。このサーバは、種々の符号化器を使用でき、及び／又は、種々の記憶媒体に複数（又は１つのライブラリ）の基本ストリームを簡単に保持できる。一般に、かようなサーバの出力は、インターリーブされたプログラムストリームを含んでいる。
【００１８】
これらのビットストリームを、本発明のパケタイザ２３０に送り、そこで、基本ビットストリームをパケットに変換する。パケット形成時に、トランスポートストリームと無関係にパケットを使用するための情報を付加することができる。かように、非オーディオ／動画データも許容されるが、但し、図２には図示していない。
【００１９】
パケットは、トランスポートストリームマルチプレクサ２４０により受信されて多重化され、トランスポートストリーム２４５が生成される。プログラム（動画及びオーディオデータと“パケット識別子（ＰＩＤ）”のグループ）を形成する基本ストリームから構成されたパケットは、通常共通のタイムベースを共用する。かように、トランスポートストリームは１つ又はそれ以上の独立したタイムベースを有する１つ又はそれ以上のプログラムを含み、タイムベースを同期表示のために用いる。１つのトランスポートストリーム内の異なるプログラムのタイムベースは異なっていてよい。
【００２０】
トランスポートストリーム２４５を伝送チャネル２５０で伝送する。このチャネルは、個別のチャネル専用符号化器及び復号器（図示せず）をさらに含むことができる。次に、トランスポートストリーム２４５をトランスポートストリームの逆マルチプレクサ２６０で逆多重化して復号する。ここで、基本ストリームは、動画復号器２７０とオーディオ復号器２９０への入力であり、復号器出力は各々復号動画信号２７５と復号オーディオ信号２９５である。
【００２１】
さらに、タイミング情報をトランスポートストリームの逆マルチプレクサ２６０で抽出し、動画及びオーディオ復号器を互いに及びチャネルと同期させるためにクロック制御装置２８０に送る。復号器とチャネルの同期は、トランスポートストリーム内の“プログラムクロック基準”（ＰＣＲ）を用いることにより達成する。ＰＣＲは、ビットストリーム自体のタイミングを符号化するタイムスタンプであり、復号器のタイミングを導出するために用いる。
【００２２】
エラーレジリエンスは、階層的に分割した情報、即ち、階層サブバンド分割係数を搬送するパケットの場合特に重要である。階層サブバンド分割は、画像のマルチ解像度表現を提供する。例えば、画像を先ず４つのサブバンドＬＬ，ＬＨ，ＨＬ，ＨＨに分割する。各サブバンドは全周波数帯域のほぼ１／４を表している。次に粗いスケール画像表現を得るために、ＬＬバンドをさらに４つのサブバンドに分割する。このプロセスを繰り返し、階層サブバンドのピラミッドを形成することができる。尚、階層サブバンド分割は、任意数のサブバンド分割に適用できると理解すべきである。
【００２３】
階層サブバンド分割係数、例えば、ウェーブレット係数は、エラーレジリエンス用“テクスチャパケット”と呼ばれる単位にパケット化する。テクスチャパケットは、１個又はそれより多い“テクスチャユニット”と呼ばれる符号化単位より成る。即ち、このテクスチャユニットを単一のパケットにパケット化した場合、このパケットはテクスチャパケットと称する。種々のテクスチャユニットの構成例が、ここに参照する、本願と同時に出願された米国特許出願“符号化ユニットを形成するための装置と方法（Ａｐｐｒａｔｕｓ  Ａｎｄ  Ｍｅｔｈｏｄ  Ｆｏｒ  Ｆｏｒｍｉｎｇ  Ａ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）”（弁理士事件整理番号（ｄｏｃｋｅｔ  ｎｕｍｂｅｒ）ＳＡＲ１３１５１）に記述されている。
【００２４】
図３は、劣化した係数と劣化した係数のエラーコンシールメントを実施するために使用可能な劣化していない対応係数を有するウェーブレットツリー３００の概略図である。具体的には、１つの入力画像に階層ウェーブレット分割を実施して３つのレベルを有するウェーブレットツリー３００を生成した。かような画像分割を達成するために、画像を、フィルタ処理を用い２次元の各次元で２：１のサブサンプリングをして高水平−高垂直（ＨＨ）３３０ｃ，高水平−低垂直（ＨＬ）３３０ｂ，低水平−高垂直（ＬＨ）３３０ａ及び低水平−低垂直（ＬＬ）の周波数サブバンドに分割する。ＬＬサブバンドをさらにフィルタ処理し２次元の各次元において２：１のサブサンプリングをしてＨＨ３２０ｃ，ＨＬ３２０ｂ，ＬＨ３２０ａ及びＬＬのサブバンドセットを生成する。このフィルタ処理とサブサンプリング処理を繰り返し、例えば３回のサブサンプリングを実施して図３に示すようなサブバンドアレイを生成する。親ノードのサブバンドから子ノードのサブバンドを指す矢印でサブバンド間の親子関係を示している。最低周波数サブバンドは左上のＬＬ3であり、最高周波数サブバンドは右下のＨＨ1である。この例の場合、全ての子ノードは１つの親を持つ。
【００２５】
本発明において、劣化した又は失われた係数（丸の上にｘ印をつけて示している）のエラーコンシールメントは、同一レベルの解像度における（及び／又は他のレベルの解像度からの）他のサブバンドからの同じ空間位置の劣化していない係数を使用して実施する。例えば、ウェーブレットピラミッドにおいて、サブバンドＬＨｋ，ＨＬｋ，ＨＨｋ，即ち、（ｗk＋ｉ，ｊ），（ｉ，ｈk＋ｊ），（ｗk＋ｉ，ｈk＋ｊ）の画素は画像内で同じ空間位置に対応する。ここで、ｉとｊは係数のサブバンドにおける座標であり、ｗkとｈkはｋ番目の層又は分割レベルにおけるサブバンドの幅と高さである。
【００２６】
例えば、ＨＨ2サブバンドにおける劣化した係数は、同じ解像度レベルにおけるＬＨ2とＨＬ2のサブバンドからの同一空間位置に対する劣化していない係数を使用してコンシールすることができる。即ち、サブバンドＬＨ2とＨＬ2から、同一空間位置に対する新しい係数を導出又は外挿することにより新しい係数を生成してサブバンドＨＨ2における劣化した係数と取り替える。
【００２７】
同様にサブバンドＬＨ1とＨＬ1から、同一空間位置に対する新しい係数を導出又は外挿することにより新しい係数を生成して、サブバンドＨＨ1における劣化した係数と取り替える。かように、復号画像は伝送中に劣化した又は失われた係数に対する置換係数を用いて修復することができる。
【００２８】
置換係数で代替又はコンシールする、ウェーブレット変換画像内の劣化した係数をｘ0とする。ｘ1及びｘ2を同じウェーブレット分割レベルにおける２つの他のサブバンド内の同じ空間位置に対応する２つの係数とする。ｘ0は次式のようにコンシールすることができる。
ｘ0＾＝ｆ（ｙi，ｚj；ｙi∈ｗ（ｘ1），ｚj∈ｗ（ｘ2））      （１）
【００２９】
式中、ｗ（ｘ）は、ｘの近傍にある劣化していない係数のセットであり、ｆは画素ｙi，ｘjの関数である。ウィンドウ関数ｗ（ｘ）はｘの単一係数まで制限することができることに注目すべきである。
さらに、式（１）は他の分割レベルからのｘの劣化していない係数セット用ウィンドウ関数を含んでいることにも注目すべきである。かように、式（１）は、下記のように表現される他の分割レベルに拡張することができる。
ｘ0＾＝ｆ（ｙi；ｙi∈ｗ（ｘk），ｘk∈Ｓ（ｘ0））          （１ａ）
【００３０】
式中、Ｓ（ｘ0）は１つ又はそれ以上の分割レベルにおけるｘ0の同じ空間位置に対応する画素のセットである。ｘ0がゼロでないことが判っておれば、ｘ0の大きさは次式のようにコンシールすることができる。
│x0^│=max[│f(yi,zj;yi∈w(x1),ｚj∈w(x2))│,1]        （２）
【００３１】
１つの実施形態において、ｗ（ｘ）がｘの単一係数に制限される場合、ｘ0は次式で表わすことができる。
ｘ0＝（ｘ1＋ｘ2）／２                                      （３）
【００３２】
図４は、劣化した係数４２０とエラーコンシールメントを実施するために使用可能な劣化していない対応係数ウィンドウ４３０と４４０を有するウェーブレットツリー４００を示す概略図である。事実、劣化した係数の符号（例えば、正又は負）が回復できるならば、式（２）は次のようにリファインすることができる。
【００３３】
【数１】
0004472180.tif 000002
【００３４】
式中、ｘ0は置換係数で代替又はコンシールするウェーブレット変換画像内の非ゼロの係数であり、ｘ1とｘ2は同じウェーブレット分割レベルにおける２つの他のサブバンド内の同じ空間位置に対応する２つの係数であり、ｗ（ｘ）はｘの近傍の係数セットであり、ａi及びｂiは定数（例えば１の値にセットされた）である。例えば、少なくとも変換係数の符号を保持し有意情報の損失を最小にする方法例が、本願に援用されている米国特許出願“有意度ベース情報のパケット化装置と方法（Ａｐｐａｒａｔｕｓ  Ａｎｄ  Ｍｅｔｈｏｄ  Ｆｏｒ  Ｐａｃｋｅｔｉｚｉｎｇ  Ｓｉｇｎｉｆｉｃａｎｃｅ−Ｂａｓｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ）”（弁理士事件整理番号（ｄｏｃｋｅｔ  ｎｕｍｂｅｒ）ＳＡＲ１３０９１，出願番号第０９／１４３，７８０号，１９９８年８月３１日出願）に開示されている。
【００３５】
関数ｆ（ｙi）及びｆ（ｙj）は、例えば、“最小”（ｍｉｎ）関数、“最大”（ｍａｘ）関数、“メディアン”（ｍｅｄｉａｎ）関数及び“重み平均”関数のような任意の線形及び非線形関数として実施できる。特定関数は、特定アプリケーションの要求事項又は画像列の内容自体に基いて選択することができる。さらに、図４は２つの可能なウィンドウ関数を示しており、第１のウィンドウ関数はｘの周囲の全隣接画素を含み、第２のウィンドウ関数は、ｘの周囲の全隣接画素に加え十字に配列した４個の画素を含んでいる。
【００３６】
図５は、階層サブバンド符号化／復号システムにおけるエラーコンシールメント方法５００を要約説明するフローチャートである。即ち、伝送時に失われた係数を代替する置換係数を生成する。
【００３７】
詳細に説明すると、方法５００はステップ５０５で開始し、ステップ５１０に進み、復号器が１つのサブバンド内の１つの空間位置においてエラーを検出する。即ち、１枚の画像又はフレームにつき１個又はそれ以上の変換係数が劣化しているか又は欠損している可能性がある。
【００３８】
ステップ５２０において、方法５００は、検出したエラーの分割レベルと同じレベルで同じ空間位置に対応する１つ又はそれ以上の他のサブバンドから劣化していないデータ（係数）を得る。１実施例において、劣化していないデータは、劣化した係数と同じ位置に対応する同じ分割レベルの他の各サブバンドからの１つの値を有する。
【００３９】
これに代わり、破線で囲んだステップ５２５において、方法５００は、検出したエラーの分割レベルと同じレベルの１つ又はそれ以上の他のサブバンドから、同じ空間位置の近傍に対応する劣化していないデータ（係数）のウィンドウを得て、各劣化した係数をコンシールするための置換係数を選択的に生成する。特定サイズ又は形状のウィンドウ関数の適用は、幾つかの要因を前提として決定する。即ち、ウィンドウのサイズと形状で規定される他のサブバンド内の劣化していない係数を最初に入手し置換係数の生成に使用すべきである。例えば、特定符号化スキームの走査順によるが、このコンシールメント方法を遂行する際に同じ空間位置用の劣化していないデータが、例えば、未だ復号されていないために入手できない場合がある。かような場合、このコンシールメント方法は、画像全体に対し、全ての入手可能な係数が復号されるか、再構築されるまで遅らせるか、或は、同じ空間位置の入手可能で劣化していないデータに基いて他のウィンドウサイズと形状を選択することができる。
【００４０】
ステップ５３０において、置換係数をこれらの他のサブバンドからの劣化していないデータより生成して復号画像に適用する。方法５００はステップ５４０で終了する。
【００４１】
本発明において、エラー検出ステップ５１０は、多数の異なる実施形態で実施できる。前述のように、テクスチャのデータストリームをテクスチャパケットに符号化する。各パケットは可変数の符号化ユニット、即ち、テクスチャユニットより成る。操作時、各パケットは通常再同期マーカ（ＲＥＳＹＮＣＨ）で始まる。このマーカは、パケット内で他の何処にも出現しない。再同期化マーカ（ＲＥＳＹＮＣＨ）の後には、そのパケットで搬送される最初と最後のテクスチャを示す最初と最後のテクスチャ番号（ＴＵ＿ｆｉｒｓｔ，  ＴＵ＿ｌａｓｔ）が続く。算術符号化をエントロピー符号化に用いる場合、算術符号化器は各パケットの開始点で再初期化される。ＲＥＳＹＮＣＨマーカは、種々の方法で選択することができ、例えば、（００００  ００００  ００００  ００００  １）に等しい１７ビットのＲＥＳＹＮＣＨを選択でき、この時には充填ビットがパケット内の他の場所に１６個の連続した０が発現するのを防ぐために必要である。
【００４２】
上記のシナリオを用いることにより、８つの異なるエラー検出方法を実施できる。１つのエラーが検出されると、復号方法は、本発明のエラーコンシールメント方法を、本願に援用されている、同時に出願された米国特許出願“エラーレジリエンス改善のためのデータパーティショニングの装置と方法（Ａｐｐａｒａｔｕｓ  Ａｎｄ  Ｍｅｔｈｏｄ  Ｆｏｒ  Ｄａｔａ  Ｐａｒｔｉｔｉｏｎｉｎｇ  Ｔｏ  Ｉｍｐｒｏｖｉｎｇ  Ｅｒｒｏｒ  Ｒｅｓｉｌｉｅｎｃｅ”（弁理士事件整理番号（ｄｏｃｋｅｔ  ｎｕｍｂｅｒ）ＳＡＲ１３２６７）に記載されているような他のエラー修復方法と対にして実施することができる。
【００４３】
第１のエラー検出法では、現パケットを良好に復号後、次のパケットの始点で劣化したＲＥＳＹＮＣＨが発見されると、現パケットに対するエラー状態が検出される。ここで、本発明のエラーコンシールメント方法を現パケットに適用し、又、ＳＡＲ１３２６７に記述されているように、それまでに復号したパケット内データをパケットの終端から開始し最近復号したセグメントマーカ点まで削除することができる。
【００４４】
第２の検出法では、ＲＥＳＹＮＣＨマーカがテクスチャユニットの中間に出現した場合に現パケットに対するエラー状態が検出される。各テクスチャユニットは、１つのパケットに完全に含まれていなければならないので、これは、エラーの存在を示している。再び、本発明のエラーコンシールメント法を適用する。
【００４５】
第３の検出法では、最初のテクスチャ番号（ＴＵ＿ｆｉｒｓｔ）または最後のテクスチャ番号（ＴＵ＿ｌａｓｔ）が現パケットに対する可能なテクスチャユニット番号の範囲外であれば、現パケットに対するエラー状態が検出される。再び、本発明のエラーコンシールメント法を適用する。
【００４６】
第４の検出法では、最初のテクスチャ番号（ＴＵ＿ｆｉｒｓｔ）が先の最後のテクスチャ番号（ｐｒｅｖ＿ＴＵ＿ｌａｓｔ）と等しいか小さい場合、現パケットに対するエラー状態が検出される。尚、先の最後のテクスチャ番号（ｐｒｅｖ＿ＴＵ＿ｌａｓｔ）は、先に良好に復号したパケットに対する最後のテクスチャ番号（ＴＵ＿ｌａｓｔ）である。再び、本発明のエラーコンシールメント法を適用する。
【００４７】
第５の検出法では、最初のテクスチャ番号（ＴＵ＿ｆｉｒｓｔ）が最後のテクスチャ番号（ＴＵ＿ｌａｓｔ）より大きい場合、現パケットに対するエラー状態が検出される。テクスチャユニットは、符号化順にラベルが付けられている。従って、最初のテクスチャ番号（ＴＵ＿ｆｉｒｓｔ）が最後のテクスチャ番号（ＴＵ＿ｌａｓｔ）より大きいことは決してない。再び、本発明のエラーコンシールメント法を適用する。
【００４８】
第６の検出法では、禁止ビットパターンの検出により現パケットに対するエラー状態が検出される。例えば、ＲＥＳＹＮＣＨ＝（００００  ００００  ００００  ００００  １）の場合、１７個の連続した０がパケット内で発見されるとエラーとして検出される。再び、本発明のエラーコンシールメント法を適用する。
【００４９】
第７の検出法では、パケット内のテクスチャユニットの合計数が、最後のテクスチャ番号（ＴＵ＿ｌａｓｔ）から最初のテクスチャ番号（ＴＵ＿ｆｉｒｓｔ）を減じさらに値１を加算した結果と一致しない場合、現パケットに対するエラー状態が検出される。再び、本発明のエラーコンシールメント法を適用する。
【００５０】
第８の検出法では、パケットのサイズが不合理である場合に現パケットに対するエラー状態が検出される。パケットには通常目標サイズがある。目標パケットサイズを復号器が知っておれば、各パケットは目標サイズに達する（又は、超える）テクスチャユニットの最少数を含んでいる筈であり、この条件をエラー検出に利用できる。言い換えれば、現パケットサイズが目標長より長く、さらに幾つかの復号すべきテクスチャユニットが残っている場合、現パケット内にエラーが存在する筈である。再び、本発明のエラーコンシールメント法を適用する。
【００５１】
かように、検出されたエラーの状態及び／又はＳＡＲ１３２６７のような他のエラー修復方法の実施によるが、現パケット内の１つ又はそれ以上の劣化したテクスチャユニットを本発明のエラーコンシールメント方法を用いてコンシールすることができる。
【００５２】
図６は、本発明による符号化システム６００と復号システム６６０のブロック図である。符号化システム６００は、汎用コンピュータ６１０と種々の入出力装置６２０を有する。この汎用コンピュータは、中央処理装置（ＣＰＵ）６１２、メモリ６１４及び画像、動画及び／又はオーディオ信号を符号化しパケット化する符号化器／パケタイザ６１６を有する。
【００５３】
好適な実施形態において、この符号化器／パケタイザ６１６は、単純に、図２で説明したような動画符号化器２２０、オーディオ符号化器２２２及び／又はパケタイザ２３０である。符号化器とパケタイザは結合して又は単独に実装できると理解すべきである。符号化器／パケタイザ６１６は物理的な装置であり、通信チャネルを介してＣＰＵ６１２と結合できる。代わりに、この符号化器／パケタイザ６１６は、ソフトウェアアプリケーション（又は、例えば特定用途の集積回路（ＡＳＩＣ）を用いたハードウェアとソフトウェアの組み合わせ）によって実現でき、記憶媒体（例えば、磁気又は光ドライブ又はディスケット）からソフトウェアをロードし、コンピュータメモリ６１４でＣＰＵによって実行する。かように、本発明の符号化器／パケタイザ６１６をコンピュータ可読媒体に蓄積させることができる。
【００５４】
汎用コンピュータ６１０は、キーボード，マウス，オーディオレコーダ，カメラ，カムコーダ，ビデオモニタ，任意数の画像処理装置あるいは蓄積装置を含み、テープドライブ，フロッピドライブ，ハードディスクドライブ又はコンパクトディスクドライブに制限されない複数の入出力装置６２０と結合することができる。
【００５５】
符号化システムは、復号システムに通信チャネル６５０を介して結合できる。本発明は、いかなる特定タイプの通信チャネルにも限定されない。
【００５６】
復号システム６６０は、汎用コンピュータ６７０及び種々の入出力装置６８０から成る。この汎用コンピュータは、中央処理装置（ＣＰＵ）６７２，メモリ６７４及び符号化画像列を受信し復号する復号器／逆パケタイザ６７６を有する。
【００５７】
好適な実施形態において、この復号器／逆パケタイザ６７６は、符号化器／パケタイザ６１６によって生成したビットストリームを復号して上述のようにエラーコンシールメント法を実施する、前述の符号化器／パケタイザ６１６と相補する全く任意の復号器である。復号器６７６は物理的な装置であってよく、通信チャネルを介してＣＰＵ６７２と結合できる。これに代わり、復号器／逆パケタイザ６７６を、例えば、磁気又は光ドライブ又はディスケットのような記憶媒体からロードするか、又はコンピュータメモリ６７４内に常駐させたソフトウェアアプリケーションであってもよい。かように、本発明の符号化器／パケタイザ６１６を相補する復号器をコンピュータ可読媒体に蓄積させることができる。
【００５８】
コンピュータ６６０は、キーボード，マウス，ビデオモニタ，任意数の画像の蓄積及び配信装置を含み、テープドライブ，フロッピドライブ，ハードディスクドライブ又はコンパクトディスクドライブに制限されない複数の入出力装置６８０と結合することができる。入力装置は、コンピュータが復号された動画画像列を蓄積し分配することを可能にする。
【００５９】
本発明の教示を含む種々の実施態様について図示し詳細に説明してきたが、当業者であれば、これらの教示を含む多くの他の変更形態を容易に工夫することができるであろう。
【００６０】
添付図面を参照し、明細書の詳細説明を検討すれば、本発明をよく理解でき、上述以外の他の諸目的も明白となるであろう。
理解を容易にするために、図面に共通する同一要素には可能な限り同一の参照番号を付けて示した。
【図面の簡単な説明】
【図１】  図１は、従来技術において用いられている、複数のテクスチャユニットを持つ１本のウェーブレットツリーを３レベルに分割した画像内のサブバンドの親子関係を示す概略図である。
【図２】  図２は、本発明の簡素化したパケットストリームシステムを示すブロック図である。
【図３】  図３は、劣化した係数と、これに対応するエラーコンシールメントを実施するために使用可能な劣化していない係数を有するウェーブレットツリーの概略図である。
【図４】  図４は、劣化した係数と、これに対応するエラーコンシールメントを実施するために使用可能な劣化していない係数ウィンドウを有するウェーブレットツリーの概略図である。
【図５】  図５は、階層サブバンド符号化／復号システムにおけるエラーコンシールメント方法のフローチャートである。
【図６】  図６は、発明の符号化システムと復号システムのブロック図である。
【図１】
0004472180.tif 000003
【図２】
0004472180.tif 000004
【図３】
0004472180.tif 000005
【図４】
0004472180.tif 000006
【図５】
0004472180.tif 000007
【図６】
0004472180.tif 000008