(57)【要約】　　　（修正有）【課題】シャトルモードで再生画像の画素の一部を欠く可能性があり、正しく復号されなかった画素により、後続する画素が復号できなくなる。【解決手段】連続画像を符号化する差分符号化装置であって、各画像領域を基準値と少なくとも１つの差分画素値として符号化し、差分画素値を符号化依存関係の順序に基づき基準値及び／又は他の差分画素値に依存して導出する差分符号器を備え、各画像領域について、差分符号器は、画像の第１のサブセットに係る第１の符号化モードにおいて、符号化依存関係の第１の順序を使用して画像領域を符号化し、画像の第２の異なるサブセットに係る第２の符号化モードにおいて、符号化依存関係の第２の異なる順序を使用して画像領域を符号化し、画像の第１と第２のサブセットは交互に配置され、画像から画像へと各画像領域を符号化依存関係の順序に係る所定のシーケンスに基づき符号化する。【選択図】　図１
2004129203.tif 000002
【特許請求の範囲】
【請求項１】
各画像が複数の画素を有し、連続画像を表現するビデオデータを符号化する符号化装置において、
１つ以上の所定の画像領域として各画像を符号化する差分符号器であって、各画像領域を基準値と少なくとも１つの差分画素値として符号化し、該差分画素値を符号化依存関係の順序に基づき、上記基準値及び／又は他の差分画素値に基づいて導出する差分符号器を備え、
各画像領域において、上記差分符号器は、上記画像の第１のサブセットの第１の符号化モードにおいて、符号化依存関係の第１の順序を使用して上記画像領域を符号化し、上記画像の第２の異なるサブセットの第２の符号化モードにおいて、符号化依存関係の第２の異なる順序を使用して上記画像領域を符号化し、画像の上記第１と第２のサブセットは交互に配置され、画像から画像へと、各画像領域が符号化依存関係の順序である所定のシーケンスに従って符号化されることを特徴とする符号化装置。
【請求項２】
上記所定のシーケンスは、反復シーケンスであることを特徴とする請求項１記載の符号化装置。
【請求項３】
上記所定のシーケンスは、連続画像の各対が画像領域が符号化依存関係の異なる順序を用いて符号化されるシーケンスであることを特徴とする請求項１記載の符号化装置。
【請求項４】
上記第１と第２のサブセットは、交番画像である相補的な組を成すことを特徴とする請求項３記載の符号化装置。
【請求項５】
上記画像は、インタレースビデオ信号の各フィールドであることを特徴とする請求項１記載の符号化装置。
【請求項６】
上記第１の符号化モードにおける上記基準値と上記第２の符号化モードにおける上記基準値はそれぞれ、上記画像領域内の異なる空間位置にある画素を表すことを特徴とする請求項１記載の符号化装置。
【請求項７】
上記第１の符号化モードにおける上記基準値と上記第２の符号化モードにおける上記基準値はそれぞれ、上記画像領域内の実質的に反対の周辺部にある画素を表すことを特徴とする請求項６記載の符号化装置。
【請求項８】
画像領域内において、上記符号化依存関係の順序は該領域のラスタ走査により定められることを特徴とする請求項１記載の符号化装置。
【請求項９】
画像領域内において、上記符号化依存関係の順序は該領域のＳ字形走査により定められることを特徴とする請求項１記載の符号化装置。
【請求項１０】
画像領域内において、上記符号化依存関係の順序は該領域の螺旋形走査により定められることを特徴とする請求項１記載の符号化装置。
【請求項１１】
各画像が複数の画素を有し、連続画像を表現するビデオ信号データを復号する復号装置において、
（ｉ）１つ以上の所定の画像領域として各画像を復号する差分復号器であって、各画像領域は基準値と少なくとも１つの差分画素値として符号化され、該差分画素値は符号化依存関係の順序に基づき、上記基準値及び／又は他の差分画素値に基づいて導出され、各画像領域について、上記画像の第１のサブセットの第１の復号モードにおいて、符号化依存関係の第１の順序に基づいて上記画像領域を復号し、上記画像の第２の異なるサブセットの第２の復号モードにおいて、符号化依存関係の第２の異なる順序に基づいて上記画像領域を復号する差分復号器と、
（ｉｉ）上記復号モードを検出して各画像領域で使用する検出器とを備える復号装置。
【請求項１２】
正しく復号されなかった任意の画像領域又は領域の部分について隠蔽画素値を発生する論理回路を備える請求項１１記載の復号装置。
【請求項１３】
上記隠蔽画素値は、平均画素値であることを特徴とする請求項１２記載の復号装置。
【請求項１４】
上記隠蔽画素値は、前に正しく復号された画素値であることを特徴とする請求項１２記載の復号装置。
【請求項１５】
（ｉ）上記復号画像の画素が有効に復号されたか否かを検出する検出器と、
（ｉｉ）無効に復号された画素を隠蔽するために前に復号された画素から隠蔽画素値を導出する隠蔽論理回路と、
（ｉｉｉ）無効に復号された画素を隠蔽するために上記隠蔽画素値を適用する適用論理回路とを備える請求項１１記載の復号装置。
【請求項１６】
上記隠蔽論理回路は、上記ビデオ信号について、上記現在の画像と上記前の復号画素が復号された上記画像との間の上記時間的隔たりを検出する論理回路を備え、
上記適用論理回路は、上記時間的隔たりが時間的隔たりの閾値より大きい場合、上記隠蔽画素値を、現在の無効に復号された画素を隠蔽するのに適用しないことを特徴とする請求項１５記載の復号装置。
【請求項１７】
上記隠蔽論理回路は、前の復号画素が有効に復号されたかを検出する論理回路を備え、
上記適用論理回路は、隠蔽値を生成するのに使用した上記前の復号画素が有効に復号されなかった場合、該隠蔽値を、現在の無効復号画素を置換するのに適用しないことを特徴とする請求項１５記載の復号装置。
【請求項１８】
各画像が複数の画素を有する、連続画像を表現するビデオデータを符号化する符号化方法において、
１つ以上の所定の画像領域として各画像を差分符号化する差分符号化ステップであって、各画像領域を基準値と少なくとも１つの差分画素値として符号化し、該差分画素値を符号化依存関係の順序に基づき、上記基準値及び／又は他の差分画素値に基づいて導出する、差分符号化ステップを有し、
各画像領域毎に、上記画像の第１のサブセットにおいて第１の符号化モードを用いて、符号化依存関係の第１の順序を使用して上記画像領域を符号化し、上記画像の第２の異なるサブセットにおいて第２の符号化モードを用いて、符号化依存関係の第２の異なる順序を使用して上記画像領域を符号化し、画像の上記第１と第２のサブセットは交互に配置され、画像から画像へと、各画像領域が符号化依存関係の順序である所定のシーケンスに従って符号化されることを特徴とする符号化方法。
【請求項１９】
各画像が複数の画素を有する、連続画像を表現するビデオ信号データを復号する復号方法において、
（ｉ）１つ以上の所定の画像領域として各画像を差分復号する差分復号ステップであって、各画像領域は基準値と少なくとも１つの差分画素値として符号化され、該差分画素値は符号化依存関係の順序に基づき、上記基準値及び／又は他の差分画素値に基づいて導出され、各画像領域について、上記画像の第１のサブセットの第１の復号モードにおいて、符号化依存関係の第１の順序に基づいて上記画像領域を復号し、上記画像の第２の異なるサブセットの第２の復号モードにおいて、符号化依存関係の第２の異なる順序に基づいて上記画像領域を復号する差分復号ステップと、
（ｉｉ）上記復号モードを検出して各画像領域で使用する検出ステップとを有する復号方法。
【請求項２０】
各画像が複数の画素を有する、連続画像を表現するビデオ信号データを復号する復号方法において、
（ｉ）復号画像の画素が有効に復号されたか否かを検出する検出ステップと、
（ｉｉ）無効に復号された画素を隠蔽するために前の復号画素から隠蔽画素値を導出する導出ステップであって、上記ビデオ信号について、現在の画像と上記前の復号画素が復号された画像との間の時間的隔たりを検出する導出ステップと、
（ｉｉｉ）無効に復号された画素を隠蔽するために上記隠蔽画素値を適用する適用ステップであって、上記時間的隔たりが時間的隔たりの閾値より大きい場合、上記隠蔽画素値を、現在の無効に復号された画素を隠蔽するのに適用しない適用ステップとを有する復号方法。
【請求項２１】
請求項１８記載の方法を実施するプログラムコードを有するコンピュータソフトウェア。
【請求項２２】
請求項２１記載のコンピュータソフトウェアを提供するデータ提供媒体。
【請求項２３】
記憶媒体である請求項２２記載のデータ提供媒体。
【請求項２４】
伝送媒体である請求項２２記載のデータ提供媒体。
【請求項２５】
請求項１９記載の方法を実施するプログラムコードを有するコンピュータソフトウェア。
【請求項２６】
請求項２５記載のコンピュータソフトウェアを提供するデータ提供媒体。
【請求項２７】
記憶媒体である請求項２６記載のデータ提供媒体。
【請求項２８】
伝送媒体である請求項２６記載のデータ提供媒体。
【請求項２９】
請求項２０記載の方法を実施するプログラムコードを有するコンピュータソフトウェア。
【請求項３０】
請求項２９記載のコンピュータソフトウェアを提供するデータ提供媒体。
【請求項３１】
記憶媒体である、請求項３０記載のデータ提供媒体。
【請求項３２】
伝送媒体である、請求項３０記載のデータ提供媒体。
【請求項３３】
各画像が複数の画素を有する、連続画像を表現するビデオ信号データを復号する復号装置において、
（ｉ）復号画像の画素が有効に復号されたか否かを検出する検出論理回路と、
（ｉｉ）無効に復号された画素を隠蔽するために前の復号画素から隠蔽画素値を導出する隠蔽論理回路であって、上記ビデオ信号について、現在の画像と上記前の復号画素が復号された画像との間の時間的隔たりを検出する隠蔽論理回路と、
（ｉｉｉ）無効に復号された画素を隠蔽するために上記隠蔽画素値を適用する適用論理回路であって、上記時間的隔たりが時間的隔たりの閾値より大きい場合、上記隠蔽画素値を、現在の無効に復号された画素を隠蔽するのに適用しない適用論理回路とを備える復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は差分符号化に関する。
【０００２】
【従来の技術】
例えば差分パルス符号変調（Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ：以下、ＤＰＣＭという）のようにデータを符号化する差分符号化処理は広く知られており、例えば、エム・ジェイ・リジェイ（Ｍ．Ｊ．Ｒｉｊｅｙ）、アイ・イー・ジー・リチャードソン（Ｉ．Ｅ．Ｇ．Ｒｉｃｈａｒｄｓｏｎ）著「デジタルビデオ通信（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）」アーテクハウス社（Ａｒｔｅｃ　Ｈｏｕｓｅ　Ｉｎｃ）、１９９７年に記載されている。差分符号化処理は、多くの場合、画像データを符号化するのに使用されるが、任意の種類の電子データにも適用することできる。
【０００３】
ＤＰＣＭの一形式では、現画素を、画素値の直接的表現である基準画素値又は差分画素値として符号化する。画像領域は、１つの基準値及び１つ以上の差分値のグループによって表現することができる。差分値は、符号化依存関係の順序に従って（ｏｒｄｅｒ　ｏｆ　ｅｎｃｏｄｉｎｇ　ｄｅｐｅｎｄｅｎｃｙ）、基準画素値及び中間の差分値から決定される。したがって、画像領域は、例えば、左上の画素が基準値として符号化され、後続する画素が画像領域を通るラスタ走査パターンのような符号化依存関係の順序における画素と前の画素との差分を表現する差分画素値として符号化される。
【０００４】
ＤＰＣＭは、現画素に近接する近傍画素値を平均化することにより改良できる。また、重みが現画素に対する近傍画素の近接度に基づく、重み付け（ｗｅｉｇｈｔｉｎｇ）を使用することにより更に改良できる。また、近傍の大きさも変えることができる。差分値を算出するアルゴリズムを変更することにより適応形差分符号化（ａｄａｐｔｉｖｅ　ｄｉｆｆｅｒｅｎｔｉａｌ　ｃｏｄｉｎｇ）を実現することもできる。この種のアルゴリズムは現画像領域や画像領域から成る現画像の画像の統計に基づく計算を含み得る。ＤＰＣＭは上述したように無ひずみ（ｌｏｓｓｌｅｓｓ）モード、あるいはＤＰＣＭ符号化された画像領域を量子化することにより有ひずみ（ｌｏｓｓｙ）モードで動作することができる。
【０００５】
上述の構成の全部において、ＤＰＣＭの特徴として、差分値の復号は基準画素値の復号及び他の差分値の復号に成功する必要がある。一般に、差分値に関連する符号化依存関係の順序が存在するので、差分値△ｎを復号する動作は基準画素値及び中間差分値△１→△ｎ−１を正しく復号する必要がある。この点に鑑み、小さなデータエラーが復号データの大消失にならないようにすべく、一般に小さな画像領域、例えば８Ｈ×８Ｖブロックを符号化する。
【０００６】
符号化画像データは、多くの場合記憶媒体、例えばオフライン復号及び再生用の磁気テープ、光ディスク、光磁気ディスクに格納される。画像データのコンテンツをユーザが鑑賞するために、再生装置の便利な機能としてシャトルモードがあり、ここで再生装置は再生の速度及び／又は方向を変えるように動作する。
【０００７】
シャトルモードの代表的な動作は、ビデオデータを多数の通常再生速度で再生することである。例えば、テープ式システムの場合、このようなシャトル動作により画像データのサブセットを表すデータのみがテープから正しく再生される。この結果、シャトルモードの再生画質が落ちる。しかしながら、テープに蓄積した画像データのコンテンツを鑑賞するユーザにとって全解像度での再生（ｆｕｌｌ　ｒｅｓｏｌｕｔｉｏｎ　ｐｌａｙｂａｃｋ）は必要ではない。
【０００８】
【発明が解決しようとする課題】
シャトルモードにおいてテープから再生に成功した画像領域は、それ自身、画素表現の一部（ｐｒｏｐｏｒｔｉｏｎ　ｏｆ　ｐｉｘｅｌ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ）を欠く可能性がある。データを空間的に表現する符号化処理では、画素表現を欠く空間領域は復号の際、データが存在しない省略画素値（ｏｍｉｔｔｅｄ　ｐｉｘｅｌ　ｖａｌｕｅｓ）として画像出力される。したがって、画像領域内の省略画素値の割合が増えるとシャトルモードの再生画質が低下する。隠蔽技術が提案されており、例えば、省略画素値を省略画素値に空間的に近接する画素表現による近似値、あるいは隣接画像内の画素表現による近似値に置換する。しかしながら、この種の隠蔽技術自体は正しく復号できた近傍画素に依存するものである。特に、時間的隠蔽処理は正しく復号されなかった画素と実質的に同じ空間位置にある画素が時間的に隣接する画像中に存在することを必要とする。
【０００９】
要するに、例えばＤＰＣＭのように差分符号化処理により画像領域を符号化するような場合、記憶媒体上で識別される画像領域は画像表現の一部を欠く可能性がある。現差分値は符号化依存関係の順序に従う、基準画素値と中間差分値から決まるので、正しく復号されなかった画素により後続する画素が復号に成功することができなくなる。
【００１０】
【課題を解決するための手段】
本発明は、各画像が複数の画素を有する、連続画像を表現するビデオデータを符号化する符号化装置において、１つ以上の所定の画像領域として各画像を符号化する差分符号器であって、各画像領域を基準値と少なくとも１つの差分画素値として符号化し、差分画素値を符号化依存関係の順序に基づき、基準値及び／又は他の差分画素値に基づいて導出する、差分符号器を備え、各画像領域について、差分符号器は、画像の第１のサブセットの第１の符号化モードにおいて、符号化依存関係の第１の順序を使用して画像領域を符号化し、画像の第２の異なるサブセットの第２の符号化モードにおいて、符号化依存関係の第２の異なる順序を使用して画像領域を符号化し、画像の第１と第２のサブセットは交互に配置され、画像から画像へと、各画像領域が符号化依存関係の順序である所定のシーケンスに基づき符号化されることを特徴とする符号化装置を提供する。
【００１１】
本発明は、従来のＤＰＣＭ方式のシステムにおける、時間的隠蔽等の技術上の限界が連続画像に亘って同一の順序の符号化依存関係を使用する点にあることを認識する。例えば、ブロック方式の符号化システムにおいて、符号化依存関係の順序は左上から右下へのラスタ走査方式であり、この順序は画像が移っても変わらず常に同一である。このことは、この種の従来システムにおいてデータエラーに遭遇した場合、復号に失敗するのは常に同じ画像領域の部分（例えば、左下の部分）になることを意味している。したがってこの領域部分に時間的隠蔽を施すことができない。
【００１２】
本発明はこの問題に対処するために、異なる少なくとも２つの順序の符号化依存関係を提供し、各順序を画像のサブセットに適用可能とする。これにより、データ消失の際、損なわれる可能性の高い画素が画像毎に変わる。このことは、画像領域内の様々な位置にある画素が異なる画像において復号に成功し、時間的隠蔽をより有効に使用できることを意味する。
【００１３】
画像の第１と第２のサブセットを交互に配置し、画像から画像へと、各画像領域を符号化依存関係の順序である所定のシーケンス（例えば、反復シーケンス）に基づき符号化する、という特徴により、どの順序の符号化依存関係を使用したかを検出するための復号化に必要な配置を簡単にすることができる。
【００１４】
好ましくは、所定の順序は連続画像の各対において異なる順序の符号化依存関係を使用し、画像領域を符号化するようなものとする。これにより、画像領域の異なる部分を連続画像で復号できる点で、例えばテープ方式のシステムにおけるシャトル再生時のような難しい符号化条件下にもより強いシステムを提供することができる。言い換えると、正しく復号されなかった画素の隠蔽を改善することができる。
【００１５】
復号を的確かつ単純に容易に行うために、第１と第２のサブセットがインタレースビデオ信号の交番（ａｌｔｅｒｎａｔｅ）フィールドのように交番画像として相補的な組を成すように構成されることが望ましい。
【００１６】
消失画素の影響を低減するために符号化モード間の違いを大きくするには、第１の符号化モードの基準値と第２の符号化モードの基準値とがそれぞれ、画像領域内の異なる空間位置にある画素を表すようにするのが好ましい。特に、第１の符号化モードの基準値と第２の符号化モードの基準値はそれぞれ、画像領域内の略反対の周辺部にある画素を表すのが好ましい。
【００１７】
更に本発明は、各画像が複数の画素を有する、連続画像を表現するビデオ信号データを復号する復号装置において、１つ以上の所定の画像領域として各画像を復号する差分復号器であって、各画像領域は基準値と少なくとも１つの差分画素値として符号化され、差分画素値は符号化依存関係の順序に基づき、基準値及び／又は他の差分画素値に基づいて導出され、各画像領域について、画像の第１のサブセットの第１の復号モードにおいて、符号化依存関係の第１の順序に基づいて画像領域を復号し、画像の第２の異なるサブセットの第２の復号モードにおいて、符号化依存関係の第２の異なる順序に基づいて画像領域を復号する差分復号器と、復号モードを検出して各画像領域で使用する検出器とを備える復号装置を提供する。
【００１８】
好ましくは、復号装置は、復号画像の画素が有効に復号されたか否かを検出する検出手段と、無効に復号された画素を隠蔽するために前に復号された画素から隠蔽画素値を導出する隠蔽論理回路と、無効に復号された画素を隠蔽するために隠蔽画素値を適用する適用手段とを更に有する。
【００１９】
好ましくは、隠蔽論理回路はビデオ信号について、現在の画像と前の復号画素が復号された画像との間の時間的隔たりを検出する手段を備え、適用手段は時間的隔たりが時間的隔たりの閾値より大きい場合、隠蔽画素値を、現在の無効に復号された画素を隠蔽するのに適用しないようにする。これにより隠蔽画素値を無制限に使用しないようにする。つまり１つ以上の前の画素値から導出した隠蔽値は、前の画素が復号された後、一定の期間（所定数のビデオ画像の間）のみ使用する。
【００２０】
好ましくは、隠蔽論理回路は前の復号画素が有効に復号されたかを検出する検出手段を有し、適用手段は隠蔽値を生成するのに使用した前の復号画素が有効に復号されなかった場合、隠蔽値を現在の無効復号画素を置換するのに適用しないようにする。これにより前の無効復号画素に基づいて画素を隠蔽することが避けられる。
【００２１】
ある種の具体例において、前の復号画素そのものをその画素位置の隠蔽値とすることができる。
【００２２】
更に本発明は、各画像が複数の画素を有する、連続画像を表現するビデオ信号データを復号する復号装置において、復号画像の画素が正しく復号されたか否かを検出する検出手段と、無効に復号された画素を隠蔽するために前の復号画素から隠蔽画素値を導出する隠蔽論理回路であって、ビデオ信号について、現在の画像と前の復号画素が復号された画像との間の時間的隔たりを検出する隠蔽論理回路と、無効に復号された画素を隠蔽するために隠蔽画素値を適用する適用手段であって、時間的隔たりが時間的隔たりの閾値より大きい場合、隠蔽画素値を、現在の無効に復号された画素を隠蔽するのに適用しない適用手段とを備える復号装置を提供する。
【００２３】
本発明の更なる側面と特徴は特許請求の範囲に規定される。
【００２４】
【発明の実施の形態】
図１は、データ圧縮システムの構成を示すブロック図である。このデータ圧縮システムは、符号化装置１０と、データ伝送リンク２０と、復号装置３０とを備える。符号化装置１０は、入力ビデオ信号５が供給される。符号化装置１０は、冗長度を除去し、その統計的性質を利用するためにビデオ画像データをモデル化する。符号化装置１０は、入力ビデオ信号５の情報を圧縮フォーマットで表現する出力データシンボルを生成する。符号化装置１０は、圧縮データ信号１５Ａを出力し、この圧縮データ信号１５Ａはデータ伝送リンク２０に供給され、そこで、通信チャンネルを介して伝送され、又は記録媒体に格納される。記録媒体から読み出された、又は通信チャンネルを介して受信された圧縮データ信号１５Ｂは、復号装置３０に供給され、復号装置３０は、圧縮データ信号１５Ｂを復号し、再構成された画像信号３５を出力する。符号化データシンボルの一部が、例えば符号化装置１０の出力１５Ａと復号装置３０の入力１５Ｂの間で消失することがある。このようなデータ消失は、コンピュータ通信システムにおけるデータリンクの雑音のために、あるいは再生装置のビデオシャトル再生動作（ｖｉｄｅｏ　ｓｈｕｔｔｌｅ　ｏｐｅｒａｔｉｏｎ）の際に、高速で記録媒体からデータを読み出す結果として生じる。
【００２５】
データ消失が再生画像信号３５に及ぼす影響は、使用する符号化技術に大きく依存する。空間領域でデータを符号化し、他の再生データシンボルから元のデータシンボルを予測するＤＰＣＭ方式のモデリング技術では、符号化画像領域の符号化データの一部が消失した場合、再生画質に特に悪影響が出る。空間領域で符号化されたデータの場合、再生画像における消失データの影響は、空間的に局在化しやすい。これに対し、符号化前に周波数領域に変換される方法の場合、一般的に、消失データの影響は、局所的ではなく、再生画像領域の全体的な解像度が低下する。
【００２６】
通常、ＤＰＣＭ符号化を画像フィールド（又はフレーム）に適用する場合、フィールドをブロック、例えば図２（Ａ）で示すように８×８画素のブロックに分割する。各画像ブロックの画素は所定の順序で走査され、この走査順序が画像ブロックデータの符号化シーケンスを決める。図２（Ａ）は「Ｓ字形」走査線ＳＬを示し、ここでは、隣接した画素値がブロックの各行に沿って読み出され、行毎に走査方向が交互に変わる。走査の開始点、この具体例では、左上の画素値Ｓ０が基準画素値である。この基準画素についてのみ元のサンプル値自体が符号化される。ブロックの残りの画素については、画素サンプル値Ｓｋ自体でなく連続した画素間の差分△ｊが符号化される。
【００２７】
代替的方法では、最初の画素をブロックの平均値（すなわちＤＣ値）から予測し、この平均値を基準値として使用する。この場合、全ての画素は予測値で符号化され、平均値のみが符号化される。更なる代替的方法では、最初の画素を取り得る値の範囲の中点、例えば８ビットでは値１２８から予測する。
【００２８】
無ひずみＤＰＣＭでは、データ圧縮が達成され、その理由は、画素値間の差分△ｊは、殆どの場合、画素サンプル値自体より小さく、より少ないビット数で差分画素値△ｊを符号化できるからである。図２（Ａ）の具体例では、伝送画像の値は、基準値Ｓ０と差分画素値△ｊ＝Ｓｊ−Ｓｊ−１（１≦ｊ≦（ｎ−１））に対応している。差分画像データは、殆どの場合、元の画像データより遙かに分散（ｖａｒｉａｎｃｅ）が小さく、相関が低い。
【００２９】
復号装置は、差分画素値と基準値とから、式ＳＲｊ＝ＳＲｊ−１＋△ｊ（１≦ｊ≦（ｎ−１））に従って再生画像サンプル値を生成する。この式からも分かるように、現画素は、現差分画素値を直近の再生画素値に加算することにより再生される。ここで、画素再生のシーケンスは、画素符号化のシーケンスで決まるものである。復号装置に到着するデータストリームから差分画素値△ｍが消失しているときは、再生画素値ＳＲｍは、データが存在しない省略画素値（ｏｍｉｔｔｅｄ　ｐｉｘｅｌ　ｖａｌｕｅ）となる。更に、符号化シーケンスにおいてこの省略画素に後続する画素ＳＲｊ（ｍ≦ｊ≦ｎ−１）は正しく復号することができない。この具体例を図２（Ｂ）に示し、消失画素データは黒の影領域で示される。消失画素データは△１３、△１４、△１７及び△１８に対応している。この場合、復号装置は、走査順において△１３に関する画素よりも後の画素値を正しく復号することはできない。復号正しく行うことができないた画素は、図２（Ｂ）で対角線の影を付けた部分に対応している。
【００３０】
走査シーケンスが連続ブロックに亘り且つ連続フィールドに亘り（あるいは連続フレームに亘り）固定されている従来のＤＰＣＭモデリング処理の場合、走査シーケンスの後部に対応する画像領域の画素値を正しく復号する可能性は、走査シーケンスの前部に対応する画像領域の画素値を正しく復号する可能性に比べ低い。標準の隠蔽技術（ｃｏｎｃｅａｌｍｅｎｔ　ｔｅｃｈｎｉｑｕｅ）では、時間的に隣接した画像内において実質的に同じ空間位置にある復号された画素値をコピーすることによって、正しく復号されなかった画素値を置換する。しかしながら、復号装置が受信するデータが消失している確率が高い場合、画像領域の後部において時間的に隣接するフィールドから正しく復号された画素を得る可能性は低くなる。したがって、従来のＤＰＣＭモデリング処理において消失データを隠蔽することは困難である。例えば、画像を再生装置のシャトルモードで見るときには、全解像度は必要でないが、画像領域の一部が連続して正しく復号されないときには、見る人に気づかれる可能性が高い。
【００３１】
図３は、本発明を適用したビットレートを低減する符号化装置の構成を示すブロック図である。符号化装置１００は、データ前処理器１１０と、スイッチユニット１２０と、第１のデータスキャナ１３０と、第２のデータスキャナ１４０と、ＤＰＣＭ符号器１５０とを備える。
【００３２】
連続ビデオ画像の元のＲＧＢサンプル値に対応したデータが入力としてデータ前処理器１１０に供給される。この代わりに、データをＹＣＢＣＲフォーマットで供給してもよい。画像は、プログレッシブフレームモードとインタレースフィールドモードのいずれでも処理することができる。データ前処理器１１０は、各画像の入力データを各信号成分Ｒ、Ｇ、Ｂ毎に横１６、縦１６（１６Ｈ×１６Ｖ）の画素サンプル値で構成される画像ブロックに分割する。データ前処理器１１０は、所定のシャッフル順序に従い画素ブロックをシャッフルして、画像データを並べ替え、入力画像フレームにおいて隣接した画素ブロックがシャッフル順序では隣接した位置で読み出されないようにする。このシャッフル処理により、復号装置３０によって再生される画像におけるデータ消失の影響が軽減される。入力ビデオフレームにおいて隣接した画素ブロックは、シャッフルされたビットストリームでは離れている。短時間のデータ消失により、ビットストリームの連続した一部が損なわれ、幾つかのデータブロックが影響を受けるが、シャッフル処理により、これらのブロックは再生画像では連続していない。
【００３３】
データ前処理器１１０から画像ブロックデータ信号１１５が出力され、スイッチユニット１２０に供給される。スイッチユニット１２０は、スイッチ制御信号ＳＣの制御下で動作し、画像ブロックデータ信号１１５をブロック毎に第１のデータスキャナ１３０又は第２のデータスキャナ１４０のいずれかに供給する。インタレースフィールドモードでは、第１フィールドを構成する画像ブロックは、それぞれ第１のデータスキャナ１３０に供給され、第２フィールド、すなわち相補的なフィールドを構成する画像ブロックは、第２のデータスキャナ１４０に供給される。同様に、フレームモードにおいて、スイッチユニット１２０は、フレーム単位で第１のデータスキャナ１３０と第２のデータスキャナ１４０を交互に切り換える。
【００３４】
図５に示すように、第１のデータスキャナ１３０は、Ｓ字形の走査線ＳＬ１を用いて、各１６Ｈ×１６Ｖ画像ブロックを走査し、すなわち、走査はブロックの左上にある基準画素値から開始し、ブロックをくまなく通って左下の画素値に至る。第１のデータスキャナ１３０は、この第１の走査シーケンスＳＬ１の定める順序でＤＰＣＭ符号器１５０にデータを供給する。第２のデータスキャナ１４０もＳ字形走査ＳＬ２を実行するが、この走査は、１６Ｈ×１６Ｖ画像ブロックの左下にある異なる基準画素値から開始し、ブロックを上方へ進んで左上の画素値に至る。第２のデータスキャナ１４０は、この異なる第２の走査シーケンスＳＬ２の定める順序でＤＰＣＭ符号器１５０にデータを供給する。走査シーケンスＳＬ１に対する走査シーケンスＳＬ２の順序により、Ｓ字形走査を使用した場合、順方向と逆方向の走査が中央で出会うことになる。
【００３５】
ＤＰＣＭ符号器１５０は、第１及び第２のデータスキャナ１３０、１４０から供給されるデータを、符号化依存関係の順序が走査シーケンスＳＬ１、ＳＬ２でそれぞれ定められるように符号化する。したがって、インタレースフィールドモードでは、フレームの第１フィールドの符号化依存関係は、フレームの相補的なフィールドの符号化依存関係と異なる。同様に、フレームモードにおいても、時間的シーケンスが隣接したフレームの符号化依存関係は異なる。サンプル値に対して異なる２つの符号化依存関係が存在することにより、消失画素データが再生画像に与える影響を軽減することができる。本発明の具体例に基づいた消失画素データの影響を克服する方法については、図７、８を参照して後で詳述する。
【００３６】
図４は、図３に示すＤＰＣＭ符号器１５０の構成を示すブロック図である。第１のデータスキャナ１３０又は第２のデータスキャナ１４０からのスキャナ出力信号１３５はＤＰＣＭ符号器１５０に入力として供給される。ＤＰＣＭ符号器１５０は、予測プロセッサ１５２と、加算器１５４と、エントロピー符号器１５６とを備える。
【００３７】
ＤＰＣＭ符号器１５０において、入力信号１３５は予測プロセッサ１５２と、加算器１５４に第１の入力として供給される。予測プロセッサ１５２は、現画素を走査シーケンスにおける１つ以上の前の画素値に基づき予測する計算を行う。本発明のこの具体例では、現画素値を走査シーケンスにおける直前の画素から予測しているので、予測プロセッサ１５２は、１サンプル時間分の遅延を与えるだけである。予測プロセッサ１５２の出力は、加算器１５４に第２の入力として供給され、ここで、現サンプル値から減算されて差分画素値△ｊが得られる。加算器１５４からの出力信号１４１は、エントロピー符号器１５６に入力として供給される。エントロピー符号器１５６は、エントロピー符号化をデータに適用する。この特定の具体例では、ゴーロン（Ｇｏｌｏｍｂ）符号化が使用される。エントロピー符号器１５６の出力は、符号化画像データを構成し、その後、通信網を介して送信され、あるいはテープやディスク等の記録媒体に記録される。
【００３８】
ＤＰＣＭ符号器の代替的具体例では、予測プロセッサ１５２は、現画素の空間的に近傍にある画素の平均値を使用し、走査シーケンスにおいて現画素に先行する複数の画素値の適当な重み付き線形和を使用することによって、あるいは元の画像の統計に基づいて現画素値の適応予測を行うことによって現画素値の予測を行う。
【００３９】
本発明の更なる代替的具体例では、図４の無ひずみＤＰＣＭ符号器１５６に量子化器を付加して全体のデータレートを低減することができる。予測値を生成する際、復号装置３０は、再生画素値をアクセスするのみであり、元のサンプル値にはアクセスしない。差分画像を量子化することにより、誤差が発生する（量子化は有ひずみ（ｌｏｓｓｙ）圧縮処理である）ので、これらの具体例では、量子化器は、ＤＰＣＭ符号器の予測ループ内に設けるのが好ましい。これにより、復号装置と同様に、符号化装置は、再生画素値に基づく予測を行って予測値の精度を改善することができる。
【００４０】
図５及び図６は、本発明に基づき、画像データの１６Ｈ×１６ＶブロックがＤＰＣＭ圧縮中にどのように処理されるかを説明するための図である。図５は、フレームの第１フィールドの走査を示す図であり、第１フィールドは、矢印で示すように、画像ブロックの左上にある基準画素から開始するＳ字形の走査ＳＬ１を用いて走査される。これは図３の第１のデータスキャナ１３０の動作に対応する。消失画素データを黒の影で示し、復号装置が（消失画素の結果として）正しく再生できない画素値を対角線の影で示す。
【００４１】
図６は、図５の第１フィールドと相補的な、フレームの第２フィールドを示す図である。第２フィールドは、矢印で示すように、画像ブロックの左下にある基準画素から開始するＳ字形の走査ＳＬ２を用いて走査される。この走査シーケンスは、図３の第２のデータスキャナ１４０の動作に対応している。この第２フィールドにおいて、消失データの場所は、第１フィールドにおける消失データの場所と異なる。
【００４２】
図７及び図８は、消失画素データが図５及び図６の再生画像ブロックに及ぼす影響を、本発明の具体例に基づきどのように低減するかを説明するための図である。第１フィールドの画像ブロックと第２フィールドの対応する画像ブロックは、それぞれ図５及び図６に示すように、消失した符号化画素値を含んでいる。このため各ブロックにおいて、走査シーケンスで最初の消失画素に後続する画素を正しく復号することができない。しかしながら、第２フィールドの走査シーケンスは第１フィールドの走査シーケンスと異なっており、２つの走査シーケンスは画像の反対側から開始しているので、第１フィールドの下部のデータブロックにおいて正しく復号されなかった画素は、第２フィールドの下部のデータブロックにおいて正しく復号された画素をコピーすることにより、隠蔽することができる。同様に、第１フィールドの上部のデータブロックから再生されたデータを用いて、第２フィールドの上部のデータブロックおいて正しく復号されなかった画素を置換することができる。ここで、インタレースフィールドモードの場合、第２フィールドの１６Ｈ×１６Ｖブロックの行は、第１フィールドの１６Ｈ×１６Ｖブロックの行と交互に配置されるので、再生画像フレームにおいて１６Ｈ×３２Ｖのブロックとなる。フレームモードでは、１フレームの再生画素を１６Ｈ×１６Ｖ画像ブロックからコピーして、隣接フレームにおける対応した１６Ｈ×１６Ｖ画像ブロックの正しく復号されなかった画素データを隠蔽することができる
上述の具体例では、異なる２つのＳ字形走査を使用して、本発明に基づき、依存関係の異なる順序を説明したが、他の様々な走査の種類、例えばラスタ走査、ジグザグ走査又は螺旋走査を実行することができる。図９は、２つの相補的な螺旋走査シーケンスを説明するための図である。この螺旋走査は、マクロブロックの、例えば半分のみを再生する場合に最大の領域をカバーすることができる。そして、再生画素間にある消失画素は、近傍の画素から簡単に補間（ｉｎｔｅｒｐｏｌａｔｅ）することができる。螺旋走査とＳ字形走査の利点は、走査順の各画素が前の画素と空間的に隣接しているので、エントロピー符号化の効率を改善できることである。このことはラスタ走査では成立しない。
【００４３】
図１０は、本発明を適用した復号装置の構成を示すブロック図である。復号装置２００は、シーケンス検出器２０８と、ＤＰＣＭ復号器２１０と、コンシールメントプロセッサ２２０と、マルチプレクサ２３０と、フレームメモリ２４０とを備える。
【００４４】
復号装置２００には、記録媒体から読み出され、又は通信網を介して送られてきた符号化信号が供給される。復号装置２００は、再生した画素サンプル値をフレームメモリ２４０の適切なメモリアドレスに書き込むために、画像ブロックのＤＰＣＭ符号化の際に使用された走査シーケンスを考慮しなければならない。本発明のこの具体例では、連続した画像の各対について、画像領域を異なる走査シーケンスで符号化し、異なる順序の符号化依存関係としている。シーケンス検出器２０８は、符号化データストリームに埋め込まれている走査シーケンスフラグを用いて、各フィールド／フレームの符号化において第１の走査シーケンス又は第２の走査シーケンスが用いられたかを判定する。シーケンス検出器２０８の出力はＤＰＣＭ復号器２１０に入力として供給される。ＤＰＣＭ復号器２１０は、ブロック単位で復号処理を実行して、符号化データシンボルから再生画素値を生成する。
【００４５】
図１１は、ＤＰＣＭ復号器２１０の内部構成を示すブロック図である。ＤＰＣＭ復号器２１０は、図４に示すＤＰＣＭ符号器１５０の符号化処理の逆処理を行う。ＤＰＣＭ復号器２１０は、エントロピー復号器２１２と、加算器２１４と、予測プロセッサ２１６とを備える。
【００４６】
エントロピー復号器２１２は、符号化信号に対して、エントロピー符号器１５６で実行されたゴーロン符号化とは逆の処理を施す。エントロピー復号器２１２からの出力は加算器２１４に第１の入力として供給される。加算器２１４の出力は予測プロセッサ２１６に供給され、予測プロセッサ２１６は、ＤＰＣＭ符号器１５０の予測プロセッサ１５２と同じ方法を用いて、現画素を再生する。この具体例では、予測プロセッサ２１６は、単に１サンプル時間の遅延を与えるだけである。加算器２１４は、現画素の差分値△ｊを直近に再生した画素に加算する。加算器２１４から直接出力される信号は再生画素値である。
【００４７】
図１０に戻り、ＤＰＣＭ復号器２１０の出力信号２１５は、マルチプレクサ２３０に供給される。また、ＤＰＣＭ復号器２１０は、どの画素値が正しく復号されなかったかを示す信号２２５をコンシールメントプロセッサ２２０に出力する。コンシールメントプロセッサ２２０は、フレームメモリ２４０と両方向で情報のやりとりをする。フレームメモリ２４０は、復号された画像サンプル値をメモリ内に各フィールド又は各フレーム毎に保持する。コンシールメントプロセッサ２２０は、正しく復号されなかった画素を隠蔽するために、相補的なフィールド又は隣接フレームで走査が異なる画像ブロックから、正しく復号されたデータをコピーする。この隠蔽技術については図５〜図８を参照して既に説明した。本発明の代替的具体例において、コンシールメントプロセッサ２２０は、更に、既知の隠蔽方法、例えば所定の画像領域に対する空間的補間を使用することができる。コンシールメントプロセッサ２２０は、隠蔽データをマルチプレクサ２３０に出力し、マルチプレクサ２３０は、隠蔽データを、正しく復号されたデータと共に多重化し、再生画素値としてフレームメモリ２４０に供給する。
【００４８】
本発明の代替的具体例において、コンシールメントプロセッサ２２０は、単にブロックの平均画素値であるＤＣ値を用いて正しく復号されなかった画素を隠蔽することもできる。この方法は、ブロックにおける最初の画素の予測を平均値から行った場合に特に適している。この場合、平均値を別に送り、平均値を用いて容易に隠蔽することができる。図７において、平均値を用いてブロックの中央寄りの消失画素を隠蔽してよい。
【００４９】
この代わりに、コンシールメントプロセッサ２２０は、単に、最後に正しく復号された画素、あるいは各列において最後に正しく復号された画素をコピーして消失画素を隠蔽するようにしてもよい。
【００５０】
図１２は、復号装置の第２の具体例の構成を示すブロック図である。この具体例では、画素データと共に画素が正しく復号されたかを示す妥当性データ（ｖａｌｉｄｉｔｙ　ｄａｔａ）を記憶する。この妥当性データは、新たに復号された画素がフレームメモリ２４０に記憶されるべきか、あるいは前のフィールド又はフレームの対応する画素で代用すべきかを制御するのに使用される。
【００５１】
この具体例において、ＤＰＣＭ復号器２１０’は、２つの出力データ、すなわち画素データと共に、画素データが入力データストリームから正しく復号されたかを示す関連した妥当性データを生成する。画素データはマルチプレクサ２３０’に供給され、妥当性データはマルチプレクサ２３０’の動作を制御する制御論理回路３１０に供給される。マルチプレクサ２３０’は、フレームメモリ３２０のセットからフィードバックされた画素データが第２の入力として供給され、制御論理回路３１０は、フレームメモリ３２０からフィードバックされた妥当性データが第２の入力として供給される。
【００５２】
フィードバックされる画素及び妥当性のデータは、前のフィールド又はフレーム内の対応する画素位置から取り出される。前のフレームからのデータを使用する利点としては、画素位置は同一であるが、データは現画素から１フレーム期間だけ時間的に隔たっている。前のフィールドからの画素データは時間差を半分にするが、画素位置が現画素からずれるので空間的誤差を伴う。いずれの解決法も妥協策であるが、システム設計者は、システムにとって適切な妥協策を選択しなければならない。
【００５３】
動作において、各画素が復号されると、復号画素は、その画素位置で隠蔽画素として使用するのに適したフィードバック画素と共にマルチプレクサ２３０’に供給される。新たに復号された画素及びフィードバック画素に関する妥当性フラグは、制御論理回路３１０で比較される。
【００５４】
新たに復号された画素に関する妥当性フラグが、新たに復号された画素が「有効（ｖａｌｉｄ）」ことを示すときは、フィードバックされた妥当性フラグの如何に関わらず、新たに復号された画素をフレームメモリ３２０に書き込む。
【００５５】
新たに復号された画素に関する妥当性フラグが「無効（ｉｎｖａｌｉｄ）」であって、フィードバックされた妥当性フラグが「有効」であるときは、フィードバック画素をフレームメモリ３２０に書き込む（この状況について、後述する具体例では取り扱いが異なる。）。
【００５６】
新たに復号された画素に関する妥当性フラグが「無効」であって、フィードバックされた妥当性フラグも「無効」であるときは、新たに復号された画素をフレームメモリ３２０に書き込む。
【００５７】
図１３は、フレームメモリ３２０の構成を示すブロック図である。
【００５８】
フレームメモリ３２０は、図１３に示すように、水平方向に分割され、記憶領域３２５のグループに区分されている。各記憶領域３２５は、１フィールド分の画素データと、その妥当性データを記憶することができる（「経時（ａｇｅ）」や「タイムスタンプ（ｔｉｍｅｓｔａｍｐ）」データも記憶することができ、これについては図１６〜図１８を参照して後述する。）。したがって、１対の記憶領域を用いて１フレームを表現するデータを記憶する。
【００５９】
フレームメモリ３２０への書込と読出は、ローテーションで行われ、フレームの復号に伴い、１対の記憶領域にデータを書き込み、後のフレーム期間中にこの１対の記憶領域から読み出して、出力フレームを形成する。言うまでもなく、図１２を参照して説明したフィードバック画素及び関連するデータについては、異なる記憶領域から読み出され、現在書込中の記憶領域に書き込まれる。
【００６０】
出力信号とフィードバック信号は同一であってもよいが、図１３の構成では、必ずしもそうでなくでもよい。フィードバック信号用のメモリの選択は、入力データ書込用のメモリの選択と連結しており、フィードバック信号は、常に、現在入力データ書込中のメモリよりも１メモリ分（上述した１フィールド分、又は１フレーム分）先行するメモリから取り出される。しかしながら、出力データを読み出すメモリは、「フィードバック」メモリに連結していても、又は連結しいなくてもよい。ユーザは、フィードバックメモリを出力メモリとして使用するか、出力メモリをフィードバックメモリに先行して使用するかを選択することができる。後者の選択をすると、入力と出力間に２フレーム分の遅延が生じる。
【００６１】
図１４及び図１５は、フレームメモリ３２０に記憶するデータとして可能なデータフォーマットを示す図である。特に、図１４は、４：２：２（ＹＣｒＣｂ）のビデオフォーマットと共に使用するデータフォーマットを示し、図１５は４：４：４（ＲＧＢ）ビデオフォーマットと共に使用するデータフォーマットを示している。各ケースにおいて、１６ビットの画素グループステータスフラグは、画素のグループに関連し、（４：２：２のフォーマットでは）４画素が、（４：４：４のフォーマットでは）２画素が関連している。画素グループステータスフラグは、グループ内の画素間で共有される妥当性とタイムスタンプ情報を提供する。しかしながら、当業者には理解されるように、個々の画素毎に個々のタイムスタンプ及び／又は妥当性データのセットを設ける、あるいは大きな画素グループに一括してタイムスタンプ及び／又は妥当性データを設けるようにしてもよい。
【００６２】
図１６は、単一の画素グループステータスフィールドを説明するための図である。これは、画素グループステータスフラグの一構成例であり、参照する画素グループ全体のステータスを定義する単一の情報を与える。この具体例では、最上位ビット（ＭＳＢ）がグループの妥当性を定義し、フィールドの残り１５ビットがタイムスタンプを定義する（下記参照）。
【００６３】
図１７は、ダブルの画素グループステータスフィールドを説明するための図である。これは、画素グループステータスフラグのもう１つの構成例であり、参照する画素グループのステータスを定義する２組の情報を与える。この具体例では、フィールドはそれぞれ８ビットである２バイトに分割される。各バイトにおいて、最上位ビット（ＭＳＢ）がグループの妥当性を定義し、残り７ビットがタイムスタンプを定義する（下記参照）。このフォーマットを（例えば図１５に示すような）２画素構成に適用した場合、各画素に妥当性とタイムスタンプ情報を持たせることができる。このフォーマットを４画素構成に適用した場合、４画素を（規約により）２画素から成る２つのサブグループに分け、各サブグループにその妥当性とタイムスタンプの情報を持たせるようにする。
【００６４】
妥当性情報を２つ以上の画素間で共有する場合、妥当性がグループ内の画素によって異なるケースを処理する規約を定める必要がある。無効な画素を「有効」と誤ってラベル付けするのを避けるための安全な方法は、グループの画素の中に正しく復号されなかった画素が１つでもあるときは、そのグループを無効であるとラベル付けするように定める方法である。タイムスタンプ情報に対応する規約については後述する。
【００６５】
図１８は、ＤＰＣＭ復号器２００の第３の具体例の構成を示すブロック図である。多くの点で、これは、図１２のＤＰＣＭ復号器２００と動作が似ているので、相違点のみ説明する。
【００６６】
各画素に関するフィードバックデータの一部として更にタイムスタンプ（ｔｉｍｅｓｔａｍｐ）が設けられる。タイムスタンプについては既に上述し、画素データに関連して記憶されることについても既に述べた。タイムスタンプの目的は、画素が繰り返し使用されるフレームの回数をシステムにおいて制限できるようにすることである。基本的にタイムスタンプは２つの主な形式、（ａ）その画素が最初にフレームメモリ３２０に記憶されたときのフィールド又はフレームの表示、又は（ｂ）フレーム毎にインクリメントされ、どのくらい長くその画素が記憶されているかを示すランニングカウンタのいずれかを取る。最初のケースでは、タイムスタンプを現時刻と比較して、どのくらい長く画素が再使用されているか判定することができる。２番目のケースでは、好ましい例として以下説明するが、タイムスタンプをゼロから開始し、画素が再度記憶される毎にインクリメントし、閾値と比較して画素の繰り返し使用回数が多すぎるか判定することができる。
【００６７】
上述したように、１つのタイムスタンプ値を２つ以上の画素で共有するケースについても規約を設けるが必要である。ここでの便利な規約は、共有タイムスタンプ値が最も古い（最も繰り返し使用された）画素を表すようにすることである。
【００６８】
図１８に戻って、制御論理回路３１０’は、今回新たに復号された画素に関する妥当性フラグと共に、現フィードバック画素に関する妥当性とタイムスタンプの情報が供給される。制御論理回路３１０’は、マルチプレクサ２３０”を制御して、更に妥当性とタイムスタンプの情報をフレームメモリ３２０に渡して、現画素と共に記憶させる。
【００６９】
マルチプレクサ２３０”は、３つの入力のうち１つを通して現画素値を形成し、フレームメモリ３２０の該当する記憶場所に書き込む。３つの入力とは、新たに復号された画素値、現フィードバック画素値、又はフィードバック画素値から変更論理回路４１０を介して取り出した変更画素値である。マルチプレクサ２３０”は、これらの中から次のようにして選択する。
【００７０】
新たに復号された画素に関する妥当性フラグが、新たに復号された画素が「有効」であることを示しているときは、フィードバックされた妥当性フラグの状態とタイムスタンプの如何に関わらず、新たに復号された画素をフレームメモリ３２０に書き込む。このように動作する点は図１２と同じである。
【００７１】
新たに復号された画素に関する妥当性フラグが、「無効」であって、フィードバックされた妥当性フラグが「有効」であるときは、フィードバック画素をフレームメモリ３２０に書き込むか否かの問題は、フィードバック画素のタイムスタンプに基づいて決定される。フィードバック画素の繰り返し使用（フィードバック）回数が閾値の回数より少ないことをタイムスタンプが示しているときは、再度使用してタイムスタンプをインクリメントする。しかしながら、閾値の回数に亘り繰り返し使用されているときは、下記のいずれか１つ以上の方法を行う。
・フィードバックデータに、ワンステップか複数のフレーム期間に亘り、特定の画素値、例えば明るい橙色の画素を設定する。これにより見る人（ユーザ）には長いエラーが続いていることが明らかとなる。この動作は、マルチプレクサ２３０”からフレームメモリ３２０のメモリに変更論理回路４１０の出力を渡すことにより実行される。
・フィードバック画素を廃棄し、代わりに入力画素を使用する。
・フィードバック画素の妥当性フラグを強制的に「無効」状態にする。これにより次の入力画素がフィードバック画素に上書きされる。
【００７２】
新たに復号された画素に関する妥当性フラグとフィードバックされた妥当性フラグが共に無効ならば、新たに復号された画素をフレームメモリ３２０に書き込む。
【００７３】
以上、本発明の具体例について添付図面を参照して詳述したが、本発明はこれらの特定の具体例には限定されず、当業者には、種々の変更、変形を特許請求の範囲に規定するように、本発明の範囲と趣旨から逸脱することなく実施することができると解すべきである。
【００７４】
ソフトウェア制御されるデータ処理装置を用いて、上述した本発明の具体例が少なくとも部分的に実施される限り、そのようなソフトウェア制御を提供するコンピュータプログラム並びにこの種のコンピュータプログラムを提供する伝送、記憶、その他の媒体も本発明の側面として解される。
【００７５】
図１２〜図１８を用いて説明した構成は、ＤＰＣＭ以外の符号化及び復号技術、例えば離散コサイン変換（ＤＣＴ）方式のシステムにも等しく適用できる。
【図面の簡単な説明】
【図１】データ記録／再生装置又はデータ送信／受信装置と共に使用される圧縮符号化装置及び対応する復号装置を示すブロック図である。
【図２】（Ａ）は、ＤＰＣＭ圧縮の際に慣用的に行われる画像データブロックの処理の様子を説明するための図であり、（Ｂ）は慣用のＤＰＣＭ圧縮処理を用いて符号化された画素値を再生する復号器の能力に及ぼす消失画素の影響を説明するための図である。
【図３】本発明の具体例に基づく、ビットレートを低減する符号化装置の構成を示すブロック図である。
【図４】図３のＤＰＣＭ符号器の構成を示すブロック図である。
【図５】本発明の具体例に基づく、ＤＰＣＭ圧縮の際に行われる１６×１６画像データブロックの処理の様子を説明するための図である。
【図６】本発明の具体例に基づく、ＤＰＣＭ圧縮の際に行われる１６×１６画像データブロックの処理の様子を説明するための図である。
【図７】本発明の具体例に基づき、図５の再生画像ブロックに及ぼす消失画素データの影響が低減されることを説明するための図である。
【図８】本発明の具体例に基づき、図６の再生画像ブロックに及ぼす消失画素データの影響が低減されることを説明するための図である。
【図９】代替的螺旋走査シーケンスを説明するための図である。
【図１０】本発明の具体例に基づく、復号装置の構成を示すブロック図である。
【図１１】図１０のＤＰＣＭ復号器の構成を示すブロック図である。
【図１２】復号装置の第２の具体例の構成を示すブロック図である。
【図１３】フレームメモリの構成を示す図である。
【図１４】４：２：２のビデオフォーマットと共に使用するデータフォーマットを説明するための図である。
【図１５】４：４：４のビデオフォーマットと共に使用するデータフォーマットを説明するための図である。
【図１６】単一の画素グループステータスフィールドを説明するための図である。
【図１７】ダブルの画素グループステータスフィールドを説明するための図である。
【図１８】復号装置の第３の具体例の構成を示すブロック図である。
【図１】
2004129203.tif 000003
【図２】
2004129203.tif 000004
【図３】
2004129203.tif 000005
【図４】
2004129203.tif 000006
【図５】
2004129203.tif 000007
【図６】
2004129203.tif 000008
【図７】
2004129203.tif 000009
【図８】
2004129203.tif 000010
【図９】
2004129203.tif 000011
【図１０】
2004129203.tif 000012
【図１１】
2004129203.tif 000013
【手続補正書】
【提出日】平成15年6月24日(2003.6.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正の内容】
【図面の簡単な説明】
【図１】データ記録／再生装置又はデータ送信／受信装置と共に使用される圧縮符号化装置及び対応する復号装置を示すブロック図である。
【図２】（Ａ）は、ＤＰＣＭ圧縮の際に慣用的に行われる画像データブロックの処理の様子を説明するための図であり、（Ｂ）は慣用のＤＰＣＭ圧縮処理を用いて符号化された画素値を再生する復号器の能力に及ぼす消失画素の影響を説明するための図である。
【図３】本発明の具体例に基づく、ビットレートを低減する符号化装置の構成を示すブロック図である。
【図４】図３のＤＰＣＭ符号器の構成を示すブロック図である。
【図５】本発明の具体例に基づく、ＤＰＣＭ圧縮の際に行われる１６×１６画像データブロックの処理の様子を説明するための図である。
【図６】本発明の具体例に基づく、ＤＰＣＭ圧縮の際に行われる１６×１６画像データブロックの処理の様子を説明するための図である。
【図７】本発明の具体例に基づき、図５の再生画像ブロックに及ぼす消失画素データの影響が低減されることを説明するための図である。
【図８】本発明の具体例に基づき、図６の再生画像ブロックに及ぼす消失画素データの影響が低減されることを説明するための図である。
【図９】代替的螺旋走査シーケンスを説明するための図である。
【図１０】本発明の具体例に基づく、復号装置の構成を示すブロック図である。
【図１１】図１０のＤＰＣＭ復号器の構成を示すブロック図である。




【外国語明細書】
2004129203.tif 000014
2004129203.tif 000015
2004129203.tif 000016
2004129203.tif 000017
2004129203.tif 000018
2004129203.tif 000019
2004129203.tif 000020
2004129203.tif 000021
2004129203.tif 000022
2004129203.tif 000023
2004129203.tif 000024
2004129203.tif 000025
2004129203.tif 000026
2004129203.tif 000027
2004129203.tif 000028
2004129203.tif 000029
2004129203.tif 000030
2004129203.tif 000031
2004129203.tif 000032
2004129203.tif 000033
2004129203.tif 000034
2004129203.tif 000035
2004129203.tif 000036
2004129203.tif 000037
2004129203.tif 000038
2004129203.tif 000039
2004129203.tif 000040
2004129203.tif 000041
2004129203.tif 000042
2004129203.tif 000043
2004129203.tif 000044
2004129203.tif 000045
2004129203.tif 000046
2004129203.tif 000047
2004129203.tif 000048
2004129203.tif 000049
2004129203.tif 000050
2004129203.tif 000051
2004129203.tif 000052
2004129203.tif 000053
2004129203.tif 000054
2004129203.tif 000055
2004129203.tif 000056
2004129203.tif 000057
2004129203.tif 000058
2004129203.tif 000059
2004129203.tif 000060