(57)【特許請求の範囲】
【請求項１】
画像データを所定の符号化方式に従って符号化して出力する画像処理装置であって、
外部装置から、前記外部装置において画像を復号するための条件を示す外部情報を受信する受信手段と、
空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記受信手段で受信された前記外部情報に対応するスケーラビリティモードを選択し、前記選択したスケーラビリティモードで前記画像データを符号化する符号化手段と、
前記符号化手段によって符号化された画像データを前記外部装置に伝送する伝送手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記符号化手段は、更に、選択したスケーラビリティモードで符号化される画像データのサイズ、又はフレームレートを前記外部情報に従って、設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段は、前記複数のスケーラビリティモードの基本レイヤを生成する基本レイヤ生成手段を含み、前記複数のスケーラビリティモードにおける基本レイヤの生成処理は、前記基本レイヤ生成手段において共通していることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
所定の符号化方式に従って符号化して得られた画像データを復号する画像処理装置であって、
画像を復号するための条件を示す外部情報を入力する入力手段と、
前記外部情報を外部装置に伝送する伝送手段と、
前記外部装置において空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記入力手段で入力された前記外部情報に対応するスケーラビリティモードが選択され、前記選択されたスケーラビリティモードで符号化された画像データを前記外部装置から受信する受信手段と、
前記受信手段により受信された符号化された画像データを復号化する復号手段と
を備えたことを特徴とする画像処理装置。
【請求項５】
前記伝送手段は、前記外部情報と共に、又は前記外部情報に換えて、自装置の復号能力情報を前記外部装置に伝送することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像データを所定の符号化方式に従って符号化して出力する画像処理装置における画像処理方法であって、
外部装置から、前記外部装置において画像を復号するための条件を示す外部情報を受信する受信工程と、
空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記受信工程で受信された前記外部情報に対応するスケーラビリティモードを選択し、前記選択したスケーラビリティモードで画像データを符号化する符号化工程と、
前記符号化工程によって符号化された画像データを前記外部装置へ伝送する伝送工程と
を含むことを特徴とする画像処理方法。
【請求項７】
所定の符号化方式に従って符号化して得られた画像データを復号する画像処理装置における画像処理方法であって、
画像を復号するための条件を示す外部情報を入力する入力工程と、
前記外部情報を外部装置に伝送する伝送工程と、
前記外部装置において空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記入力工程で入力された前記外部情報に対応するスケーラビリティモードが選択され、前記選択されたスケーラビリティモードで符号化された画像データを前記外部装置から受信する受信工程と、
前記受信工程により受信された符号化された画像データを復号化する復号工程と
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号をディジタル化して得られた画像データの圧縮処理、及び、圧縮処理された画像データの伸張処理に関するものである。
【０００２】
【従来の技術】
従来より、音声や画像の符号化方式についての国際標準として、ＪＰＥＧ、Ｈ．２６１、ＪＰＥＧとＨ．２６１を改良したＭＰＥＧ等が知られている。そして、音声や画像を統合的に扱うマルチメディア時代と呼ばれる現在では、ＭＰＥＧを改良したＭＰＥＧ１、さらにＭＰＥＧ１を改良したＭＰＥＧ２が多く使用されている。
【０００３】
ここで、ＭＰＥＧ２は、高画質化の要求により進められた動画像符号化標準であり、次のような特徴がある。
（１）蓄積メディアだけでなく、通信や放送メディアへの適用も考慮されている。
（２）現行テレビ品質以上の高品質画像を対象とし、高解像度テレビ（ＨＤＴＶ：High Definition Television）品質への拡張可能なこと。
（３）ＭＰＥＧ１やＨ．２６１とは異なり、順次走査（ノンインターレース）だけでなく、飛び越し走査（インターレース）画像も行える符号化を行うこと。
（４）分解能可変性（スケーラビリティ：Scalability ）をもつこと。
（５）ＭＰＥＧ２デーコーダは、ＭＰＥＧ１のビット・ストリームもデコードできること。すなわち、下方互換性を備えていること。
【０００４】
これらの特徴のうち、特に、（４）のスケーラビリティ機能は、ＭＰＥＧ２で新たに導入された一つであり、大きく３つに分類される。これらは、空間スケーラビリティ（Spatial Scalability ）、時間スケーラビリティ（Temporal Scalability）、及び信号対雑音比（ＳＮＲ：Singnal to Noise Radio）スケーラビリティ（ＳＮＲ Scalability）である。以下、各々のスケーラビリティについての概要を説明する。
【０００５】
（空間スケーラビリティ）
図１３は、空間スケーラビリティの符号化概要を示す図である。時間解像度が小さいレイヤを基本レイヤ（Base Layer）と呼び、大きいレイヤを高位レイヤ（Enhancement Layer ）と呼ぶ。
基本レイヤとは、原画像に対して、空間的にある一定の比率で間引き（サブ・サンプリング）を施し、空間的解像度（画質）を低下させる代わりに、１フレーム当たりの符号量削減したもの、すなわち空間解像度的に低画質、低符号量のレイヤのことである。この基本レイヤでは、各フレーム間に限定（元の高画質画像を対象とせず、基本レイヤ中の画像に限定）した通常のＭＰＥＧ２で符号化する。
これに対して、高位レイヤとは、空間解像度的に高画質、高符号量のレイヤのことであり、この高位レイヤでは、基本レイヤの画像をアップ・サンプル（低解像度画面の画素間に、平均値等の画素を付加し、高解像度画面を作ること）して高位レイヤと同じ大きさの画像（基本レイヤの拡大画像：Expanded Base Layer ）をつくり出し、高位レイヤ中の画像からの予測だけでなく、アップ・サンプルされた拡大画像からも予測して、符号化する。そして、このようにして符号化された高位レイヤの画像を復号すると、空間的に原画像と同一サイズとなり、画質については、圧縮率に依存したものとなる。
このような空間スケーラビリティを用いると、２つの画像シーケンスを個々に符号化して送る場合より、効率良く２つの画像シーケンスの符号化が行える。また、通常のテレビジョン放送とＨＤＴＶ放送を同時に送り、受信側の性能によって画像を選択する、といったことも可能となる。
【０００６】
（時間スケーラビリティ）
図１４は、時間スケーラビリティの符号化概要を示す図である。時間解像度が小さいレイヤを基本レイヤ（Base Layer）と呼び、大きいレイヤを高位レイヤ（Enhancement Layer ）と呼ぶ。
基本レイヤとは、原画像の時間的解像度（フレームレート）に対して、ある一定の割合でフレーム単位の間引きを施し、時間的解像度を低下させる代わりに、伝送する符号量を削減したもの、すなわち時間解像度的に低画質、低符号量のレイヤのことである。この基本レイヤでは、各フレーム間に限定（元の高画質画像を対象とせず、基本レイヤ中の時間的に現在、過去、未来の各フレームに限定）した通常のＭＰＥＧ２で符号化する。
これに対して、高位レイヤとは、時間解像度的に高画質、高符号量のレイヤのことであり、この高位レイヤでは、高位レイヤ中でＩ、Ｐ、Ｂピクチャの使うだけでなく、基本レイヤ中の画像を使って予測して符号化する。そして、このようにして符号化された高位レイヤの画像を復号すると、その画像のフレームレートは、原画像と同一サイズとなり、画質については、圧縮率に依存したものとなる。
このような時間スケーラビリティを用いると、例えば、３０Ｈｚ順次走査の画像と、６０Ｈｚ順次走査の画像とを同時に効率良く送ることができる。また、インターレースと順次走査の組合せも可能となる。
尚、時間スケーラビリティについては、将来のＭＰＥＧ２の拡張のためにあるものであり、現在のところ使用されていない（”Reserved”の扱いとなっている）。
【０００７】
（ＳＮＲスケーラビリティ）
図１５は、ＳＮＲスケーラビリティの符号化概要を示す図である。画質が低いレイヤを基本レイヤ（Base Layer）と呼び、画質が高いレイヤを高位レイヤ（Enhancement Layer ）と呼ぶ。
基本レイヤとは、原画像を符号化（圧縮）する過程、例えば、「ブロック化→直交変換→量子化→可変長符号化」というような過程において、比較的高い圧縮率（粗い量子化ステップ・サイズ）により低符号量としたもの、すなわち画質（Ｎ／Ｓ）的に低画質、低符号量のレイヤである。この基本レイヤでは、各フレーム間に限定したＭＰＥＧ１又はＭＰＥＧ２（予測符号化）で符号化する。
これに対して、高位レイヤとは、基本レイヤに対して高画質、高符号量のレイヤのことであり、この高位レイヤでは、基本レイヤで符号化された画像を復号し、その復号画像を原画像から引いた誤差分のみを、比較的低い圧縮率（基本レイヤの量子化ステップ・サイズよりも小さな量子化ステップ・サイズ）で、フレーム内で符号化する。尚、ＳＮＲスケーラビリティにおいて、フレーム（フィールド）間予測は行わない。全て、イントラ・フレーム又はフィールド符号化である。
このようなＳＮＲスケーラビリティを用いると、画質の異なった２種類の画像を同時に効率良く、符号化及び復号することができる。
【０００８】
そこで、上述のＭＰＥＧ２を採用した画像の符号化装置として、例えば、図１６に示すようなエンコーダ９００がある。
このエンコーダ９００は、上記図１６に示すように、画像のＲＧＢデータが供給される変換回路９０１と、変換回路９０１の出力が供給される選択回路９０２と、選択回路９０２の出力が供給される第１のデータ生成回路９０４及び第２のデータ生成回路９０３と、選択回路９０２、第１のデータ生成回路９０４、及び第２のデータ生成回路９０３の出力が供給されるブロック化処理回路９０５と、ブロック化処理回路９０５の出力が供給される符号化回路９０６とを備えている。
【０００９】
先ず、変換回路９０１は、各々が８ビットのＲＧＢデータを、各々が８ビットの４：２：０のＹＣｂＣｒデータに変換する。
選択回路９０２は、空間スケーラビリティの使用モード、ＳＮＲスケーラビリティの使用モード、及び通常モード（スケーラビリティの不使用モード）の何れかのモードを選択する。この選択回路９０２における選択は、主として後述するデコーダを使用するユーザから指示される。
【００１０】
選択回路９０２で空間スケーラビリティの使用モードが選択された場合、変換回路９０１で得られたＹＣｂＣｒデータ（各８ビットデータ）は、選択回路９０２を介することで、第１のデータ生成回路９０４に供給される。
第１のデータ生成回路９０４は、供給されたＹＣｂＣｒデータから、対応する基本レイヤ及び高位レイヤのデータを生成して、ブロック化処理回路９０５に供給する。
【００１１】
一方、選択回路９０２でＳＮＲスケーラビリティの使用モードが選択された場合、変換回路９０１で得られたＹＣｂＣｒデータ（各８ビットデータ）は、選択回路９０２を介することで、第２のデータ生成回路９０３に供給される。
第２のデータ生成回路９０３は、供給されたＹＣｂＣｒデータから、対応する基本レイヤ及び高位レイヤのデータを生成して、ブロック化処理回路９０５に供給する。
【００１２】
また、選択回路９０２で通常モードが選択された場合、変換回路９０１で得られたＹＣｂＣｒデータ（各８ビットデータ）は、選択回路９０２を介することで、直接ブロック化処理回路９０５に供給される。
【００１３】
ブロック化処理回路９０５は、供給されたＹＣｂＣｒデータに対して、ＹＣｂＣｒ各々独立して、次のような処理を行う。
すなわち、水平及び垂直方向の各ｎ画素のブロックを単位として、ブロックを構成する。さらに、その各ブロックを、ＹＣｂＣｒ独立に各々ａ個、ｂ個、ｃ個まとめてマクロ・ブロックを構成する。
【００１４】
符号化回路９０６は、ブロック化処理回路９０５で得られた各マクロ・ブロックのデータに対して、マクロ・ブロック単位に所定の符号化処理を行う。例えば、イントラ（Ｉ）又はインター（Ｐ又はＢ）予測符号化方式の選択を行い、予測処理を行った後、直交変換（ＤＣＴ）処理、量子化処理、可変長符号化（ＶＬＣ）処理を行う。
この符号化回路９０６で符号化処理が行われたデータは、ＭＰＥＧ２のビットストリームとして伝送又は記録される。
【００１５】
上述のようなエンコーダ９００に対応した復号装置として、例えば、図１７に示すようなデコーダ９１０がある。
このデコーダ９１０は、基本的にエンコーダ９００の逆処理を行うものであり、上記図１７に示すように、ＭＰＥＧ２のビットストリームが供給されるヘッダ検出回路９１１と、ヘッダ検出回路９１１の出力が供給されるフラグ検出回路９１２及び復号回路９１３と、復号回路９１３の出力が供給される信号選択回路９１４と、信号選択回路９１４の出力が供給される第１のデータ復号回路９１５及び第２のデータ復号回路９１６と、信号選択回路９１４、第１のデータ復号回路９１５、及び第２のデータ復号回路９１６が供給される画質選択回路９１７とを備えている。
【００１６】
先ず、ヘッダ検出回路９１１は、ＭＰＥＧ２のビットストリームに含まれるヘッダ情報を解読し、そのヘッダ情報に応じた制御信号を生成してフラグ検出回路９１２に供給する。
フラグ検出回路９１２は、ヘッダ検出回路９１１からの制御信号から、スケーラビリティに関わるフラグを検出し、そのフラグを復号回路９１３、信号選択回路９１４、及び画質選択回路９１７に各々供給する。
【００１７】
復号回路９１３は、上記図１６の符号化回路９０６に対応したものであり、ヘッダ検出回路９１１を介して供給されたＭＰＥＧ２のビットストリームに対して、フラグ検出回路９１２からのフラグに従った所定の復号処理を行う。
【００１８】
信号選択回路９１４は、復号回路９１３で復号されたデータを構成するマクロ・ブロックを解除し、その後、フラグ検出回路９１２からのフラグに従って、信号経路を選択する。
これにより、信号選択回路１９４でマクロ・ブロックの解除が行われたデータ（復号画像データ）は、空間スケーラビリティが使用されている場合は第１のデータ復号回路９１５へ、ＳＮＲスケーラビリティが使用されている場合は第２のデータ復号回路９１６へ、スケーラビリティが使用されていない場合は直接画質選択回路９１７へ、供給される。
【００１９】
第１のデータ復号回路９１５は、上記図１６の第１のデータ生成回路９０４に対応するものであり、信号選択回路９１４からの復号画像データ（空間スケーラビリティのデータ）を、元のＹＣｂＣｒデータに復号して、画質選択回路９１７に供給する。
【００２０】
第２のデータ復号回路９１６は、上記図１６の第２のデータ生成回路９０３に対応するものであり、信号選択回路９１４からの復号画像データ（ＳＮＲスケーラビリティのデータ）を、元のＹＣｂＣｒデータに復号して、画質選択回路９１７に供給する。
【００２１】
画質選択回路９１７は、フラグ検出回路９１２からのフラグに従って、スケーラビリティが使用されている場合に、第１のデータ復号回路９１５又は第２のデータ復号回路９１６からのＹＣｂＣｒデータでの基本レイヤや高位レイヤ等に対応する画質の選択を行い、その選択に従った画像データを出力する。
【００２２】
【発明が解決しようとする課題】
ところで、上述したようなＭＰＥＧ２におけるエンコーダ９００とデコーダ９１０間では、次の３つの方式（符号化／復号方式）のうち何れかが選択され採用される。
【００２３】
（第１の方式）
エンコーダ及びデコーダ共に、所望のデータレートに対応して符号化、或いは復号する。尚、画質（解像度）は１種類のみとする。
【００２４】
（第２の方式）
エンコーダ側では、空間スケーラビリティ（上記図１３参照）を用いて、サイズ（解像度）の異なる２種類の画像（基本レイヤと高位レイヤの各画像）を同時に符号化し、デコーダ側では、自装置や自装置に接続されている表示器等の性能（データ処理能力等）に応じて、上記基本レイヤから空間解像度が低い画像を復元、或いは、上記基本レイヤと高位レイヤの両方から空間解像度が高い画像を復元する。
ここで、例えば、原画像をＨＤＴＶの画像信号（１４９０×１１５２画素からなる信号）とした場合、空間スケーラビリティでは、次のような基本レイヤと高位レイヤの２種類が存在することになる。
基本レイヤ：  原画像を水平及び垂直方向（ｘ及びｙ方向）共に１／２に間引
いた７２０×５７６画素の画像のレイヤ。
高位レイヤ：  原画像の前方予測（Ｐ）と双方予測（Ｂ）に加え、上記基本レイヤを高位レイヤと同じサイズにアップ・サンプルした画像も予
測（比較）対象として符号化したもの。
【００２５】
（第３の方式）
エンコーダ側では、ＳＮＲスケーラビリティ（上記図１５参照）を用いて、符号量（量子化ステップ・サイズ）が異なる２種類の画像（基本レイヤと高位レイヤの各画像）を同時に符号化し、デコーダ側では、自装置の性能に応じて、上記基本レイヤから低画質（低ビットレート）の画像を復元、或いは、上記基本レイヤと高位レイヤの両方から高画質（高ビットレート）の画像を復元する。
ここで、ＳＮＲスケーラビリティでは、画質の異なった２種類の画像を同時に符号化及び復号可能である。すなわち、同一の画像に対して、互いに異なる２種類の量子化ステップ・サイズ（量子化係数）を用いて、同一画像で圧縮比の異なる画像を生成することが可能である。このとき、圧縮比の大きい画像（低ビットレートの画像）を基本レイヤと定義し、原画像から該基本レイヤを復元した画像を引いた誤差分を高位レイヤと定義する。したがって、デコーダ側において、基本レイヤと高位レイヤを加算したものが、低ビットレートの高画質の画像となる。
【００２６】
そこで、これらの３つの方式のうち（２）及び（３）を採用した場合、上記図１６のエンコーダ９００の選択回路９０２では、空間スケーラビリティ及びＳＮＲスケーラビリティの何れか一方が選択可能となる。
【００２７】
しかしながら、この選択回路９０２において、空間スケーラビリティが選択された場合、基本レイヤの画像サイズは高位レイヤとの関係により一義的に決定されてしまい、基本レイヤの画像サイズについては、任意に選択する自由度がない。
また、ＳＮＲスケーラビリティが選択された場合も同様に、基本レイヤのフレームレート（解像度）は高位レイヤとの関係により一義的に決定されてしまうい、基本レイヤの画像サイズについては、任意に選択する自由度がない。
【００２８】
したがって、上記図１６に示したような従来の符号化装置では、スケーラビリティ機能を使用するときは、画像サイズやフレームレート等の符号量を選択することができなかった。すなわち出力先である復号装置や、回線事情に直接関係のあるファクタを選択することができなかった。
要するに、復号装置側（受信側）において、空間スケーラビリティやＳＮＲスケーラビリティ等のうち何れかを使用して符号化された画像を受信した場合、画質の選択枝は、
１．基本レイヤのみ復号した低画質の画像
２．基本レイヤ及び高位レイヤの両方を復号した高画質の画像
に限定されるため、復号装置の性能や、そのユーザのニーズに応じて画質（デコード速度）を選択できない、という問題があった。
【００２９】
本発明は、かかる問題点に鑑みなされたものであり、復号側に適した画像を提供することを目的とする。
【００３０】
【課題を解決するための手段】
上記課題を解決するため、本発明は、画像データを所定の符号化方式に従って符号化して出力する画像処理装置であって、外部装置から、前記外部装置において画像を復号するための条件を示す外部情報を受信する受信手段と、空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記受信手段で受信された前記外部情報に対応するスケーラビリティモードを選択し、前記選択したスケーラビリティモードで前記画像データを符号化する符号化手段と、前記符号化手段によって符号化された画像データを前記外部装置に伝送する伝送手段とを備えたことを特徴とする。
【００３１】
また、上記課題を解決するため、本発明は、所定の符号化方式に従って符号化して得られた画像データを復号する画像処理装置であって、画像を復号するための条件を示す外部情報を入力する入力手段と、前記外部情報を外部装置に伝送する伝送手段と、前記外部装置において空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記入力手段で入力された前記外部情報に対応するスケーラビリティモードが選択され、前記選択されたスケーラビリティモードで符号化された画像データを前記外部装置から受信する受信手段と、前記受信手段により受信された符号化された画像データを復号化する復号手段とを備えたことを特徴とする。
【００３２】
また、上記課題を解決するため、本発明は、画像データを所定の符号化方式に従って符号化して出力する画像処理装置における画像処理方法であって、外部装置から、前記外部装置において画像を復号するための条件を示す外部情報を受信する受信工程と、空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記受信工程で受信された前記外部情報に対応するスケーラビリティモードを選択し、前記選択したスケーラビリティモードで画像データを符号化する符号化工程と、前記符号化工程によって符号化された画像データを前記外部装置へ伝送する伝送工程とを含むことを特徴とする。
【００３３】
また、上記課題を解決するため、本発明は、所定の符号化方式に従って符号化して得られた画像データを復号する画像処理装置における画像処理方法であって、画像を復号するための条件を示す外部情報を入力する入力工程と、前記外部情報を外部装置に伝送する伝送工程と、前記外部装置において空間的スケーラビリティモード、時間的スケーラビリティモード、ＳＮＲスケーラビリティモードの何れか二つのモードを少なくとも含む複数のスケーラビリティモードから、前記入力工程で入力された前記外部情報に対応するスケーラビリティモードが選択され、前記選択されたスケーラビリティモードで符号化された画像データを前記外部装置から受信する受信工程と、前記受信工程により受信された符号化された画像データを復号化する復号工程とを含むことを特徴とする。
【００５０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００５１】
（第１の実施の形態）
【００５２】
本発明は、例えば、図１に示すような符号化装置１００により実施される。
この符号化装置１００は、上記図１に示すように、各々が８ビットのＲＧＢデータが供給される変換回路１０１と、変換回路１０１の出力が供給される第１のフレームメモリ１０２と、第１のフレームメモリ１０２の出力が供給される第１のデータ生成回路１０５及び第１のブロック化処理回路１０７と、第１のブロック化処理回路１０７の出力が供給される第１の符号化回路１０９とを備えており、第１のブロック化処理回路１０７には、第１のデータ生成回路１０５の出力も供給されるようになされている。
また、符号化装置１００は、変換回路１０１の出力が供給される第２のフレームメモリ１０４と、第２のフレームメモリ１０４の出力が供給される第２のデータ生成回路１０６及び第２のブロック化処理回路１０８と、第２のブロック化処理回路１０８の出力が供給される第２の符号化回路１１０とを備えており、第２のブロック化処理回路１０８には、第２のデータ生成回路１０６の出力も供給されるようになされている。
そして、第１のデータ生成回路１０５の出力は、第２のデータ生成回路１０６にも供給され、第１の符号化回路１０９の出力も、第２の符号化回路１１０に供給されるようになされている。
また、さらに符号化装置１００は、第１の符号化回路１０９及び第２の符号化回路１１０の各出力が供給されるビットストリーム生成回路１１１と、装置全体の動作制御を行うための制御回路１０３を備えている。
【００５３】
制御回路１０３の内部構成は、図２に示すように、ＣＰＵ７０１と、装置全体の動作制御を実施するための各種処理プログラムをＣＰＵ７０１が読出可能に格納したプログラムメモリ７０２と、詳細は後述する外部情報１１２が供給される情報検出回路７０３とを備えた構成としている。そして、ＣＰＵ７０１には、外部からのインフラ情報やユーザリクエスト情報等を含む情報（以下、「外部情報」と言う）１１２が供給されるようになされている。
したがって、ＣＰＵ７０１がプログラムメモリ７０２の各種処理プログラムを読み出して実行することで、ここで説明する符号化装置１００の動作が実現することになる。
【００５４】
第１のデータ生成回路１０５の内部構成は、図３に示すように、第１のフレームメモリ１０２の出力（ＹＣｂＣｒデータ）が供給される第１のセレクタ３０１と、第１のセレクタ３０１の出力が供給される第２のセレクタ３０３及びサンプリング回路３０４と、第２のセレクタ３０３の出力が供給されるフレームレートコントローラ３０５と、フレームレートコントローラ３０５及びサンプリング回路３０４の各出力が供給される第３のセレクタ３０２とを備えてた構成としている。そして、第３のセレクタ３０２の出力が、第１のブロック化処理回路１０７及び第２のデータ生成回路１０６に供給されるようになされている。
【００５５】
第２のデータ生成回路１０６の内部構成は、図４に示すように、第２のフレームメモリ１０４の出力（ＹＣｂＣｒデータ）が供給される第１のセレクタ４０１と、第１のデータ生成回路１０５の出力（基本レイヤの画像データ）が供給されるフレームメモリ４０５と、第１のセレクタ４０１及びフレームメモリ４０５の各出力が供給される第１の差分データ生成回路４０３及び第２の差分データ生成回路４０４と、第１の差分データ生成回路４０３及び第２の差分データ生成回路４０４の各出力が供給される第２のセレクタ４０２とを備えた構成としている。そして、第２のセレクタ４０２の出力が、第２のブロック化処理回路１０６に供給されるようになされている。
【００５６】
上述のような符号化装置１００において、まず、変換回路１０１は、入力された画像データ（各々が８ビットのＲＧＢデータ）を、４：２：０のＹＣｂＣｒデータ（各々が８ビットデータ）に変換して、そのＹＣｂＣｒデータを第１のフレームメモリ１０２及び第２のフレームメモリ１０４に各々供給する。
第１のフレームメモリ１０２及び第２のフレームメモリ１０４は各々、変換回路１０１からのＹＣｂＣｒデータを記憶するが、このときの動作制御は、次のように動作する制御回路１０３により行われる。
【００５７】
すなわち、制御回路１０３（上記図２参照）において、情報検出回路７０３は、外部情報１１２を解釈し、それに対応した制御情報をＣＰＵ７０１に供給する。
ＣＰＵ７０１は、情報検出回路７０８からの制御情報から、符号化におけるスケーラビリティ機能の使用又は不使用を示すモード情報、スケーラビリティ機能の使用モードの場合のスケーラビリティ機能の種類、及び基本レイヤと高位レイヤに対する各種制御情報（例えば、基本レイヤの画像サイズ（Statial ）、フレームレート（Temporal）、及び圧縮率（SNR ）等）等を得て、それらの情報（以下、「符号化制御信号」と言う）を第１のデータ生成回路１０５及び第２のデータ生成回路１０６等に各々供給する。また、これと同時にＣＰＵ７０１は、第１のフレームメモリ１０２及び第２のフレームメモリ１０４に対して、第１のデータ生成回路１０５及び第２のデータ生成回路１０６の機能とリンクしてデータの読み書き動作するように、情報検出回路７０８からの制御情報に従った読書（Ｒ／Ｗ：Read/Write）制御信号を供給する。
【００５８】
したがって、上述の第１のフレームメモリ１０２及び第２のフレームメモリ１０４は、外部情報１１２に基づいたＲ／Ｗ制御信号に従って動作し、他の第１のデータ生成回路１０５及び第２のデータ生成回路１０６等も同様に、外部情報１１２に基づいた符号化制御信号に従って動作することになる。
【００５９】
以下、外部情報１１２により示される内容、特に、”空間スケーラビリティ使用モード”、”時間スケーラビリティ使用モード”、”ＳＮＲスケーラビリティ使用モード”、”スケーラビリティ機能不使用モード”の各モード別に、変換回路１０１以降の各回路の動作について説明する。
【００６０】
（空間スケーラビリティ使用モード）
【００６１】
第１のフレームメモリ１０２及び第２のフレームメモリ１０４は各々、制御回路１０３（具体的にはＣＰＵ７０１）からのＲ／Ｗ制御信号（外部情報１１２に基づいた空間スケーラビリティ使用モード指定の制御信号）に従って、変換回路１０１からのＹＣｂＣｒデータの読み書き動作を行う。
これにより、第１のフレームメモリ１０２及び第２のフレームメモリ１０４から読み出されたＹＣｂＣｒデータは、第１のデータ生成回路１０５及び第２のデータ生成回路１０６を介して、第１のブロック化処理回路１０７及び第２のブロック化処理回路１０８に供給される。
【００６２】
このとき、第１のデータ生成回路１０５及び第２のデータ生成回路１０６にも、制御回路１０３からの符号化制御信号（外部情報１１２に基づいた空間スケーラビリティ使用モード指定の制御信号）が供給され、第１のデータ生成回路１０５及び第２のデータ生成回路１０６は、この符号化制御信号に従って、動作する。
【００６３】
すなわち、第１のデータ生成回路１０５（上記図３参照）において、第１のセレクタ３０１は、制御回路１０３からの符号化制御信号により、出力先をサンプリング回路３０４に切り替えて、第１のフレームメモリ１０２からのＹＣｂＣｒデータを出力する。
サンプリング回路３０４は、制御回路１０３からの符号化制御信号に含まれるサブ・サンプルのサイズ情報に従って、第１のセレクタ３０１からのＹＣｂＣｒデータに画像の縮小処理を行って、基本レイヤの画像データを生成する。
このサンプリング回路３０４で得られた基本レイヤの画像データは、第３のセレクタ３０２に供給される。
第３のセレクタ３０２は、制御回路１０３からの符号化制御信号により、出力するデータを、サンプリング回路３０４の出力（基本レイヤの画像データ）に出力を切り替える。したがって、第１のブロック化処理回路１０７には、基本レイヤの画像データが供給される。この基本レイヤの画像データは、後述の第２のデータ生成回路１０６にも供給される。
【００６４】
このようにして、第１のデータ生成回路１０５から第１のブロック化処理回路１０７に供給された基本レイヤの画像データは、第１のブロック化処理回路１０７にてブロック化され、第１の符号化回路１０９にてブロック単位の所定の符号化処理が行われ、これがビットストリーム生成回路１１１に供給される。
【００６５】
一方、第２のデータ生成回路１０６（上記図４参照）において、第１のセレクタ４０１は、制御回路１０３からの符号化制御信号により、出力先を第１の差分データ生成回路４０３に切り替えて、第２のフレームメモリ１０４からのＹＣｂＣｒデータを出力する。
これと同時に、フレームメモリ４０５は、制御回路１０３からの符号化制御信号により、第１のデータ生成回路１０５からの基本レイヤの画像データを第１の差分データ生成回路４０３に供給する。
第１の差分データ生成回路４０３は、制御回路１０３からの符号化制御信号に従って、フレーム（又はフィールド）単位で、フレームメモリ４０５からの基本レイヤの画像データを原画像（又は高位レイヤの画像）と同サイズにアップ・サンプルして、高位レイヤの画像データとの差分画像データを生成する。
この第１の差分データ生成回路４０３で得られた差分画像データは、第２のセレクタ４０２に供給される。
第２のセレクタ４０２は、制御回路１０３からの符号化制御信号により、出力するデータを、第１の差分データ生成回路４０３の出力（差分画像データ）に出力を切り替える。したがって、第２のブロック化処理回路１０８には、差分画像データが供給される。
【００６６】
このようにして、第２のデータ生成回路１０６から第２のブロック化処理回路１０８に供給された高位レイヤの差分画像データは、第２のブロック化処理回路１０８にてブロック化され、第２の符号化回路１１０にて、基本レイヤの画像とは独立して、ブロック単位の所定の符号化処理が行われ、これがビットストリーム生成回路１１１に供給される。
【００６７】
ビットストリーム生成回路１１１は、第１の符号化回路１０９からの基本レイヤの画像データ、及び第２の符号化回路１１０からの高位レイヤの画像データ（差分画像データ）に、所定のアプリケーション（伝送や蓄積等）に対応したヘッダを付加して、１つのビットストリームに組み込み、スケーラブルな画像データのビットビットストリームを形成して外部出力する。
【００６８】
（時間スケーラビリティ使用モード）
【００６９】
このモード指定時においても、上述の空間スケーラビリティ使用モード指定時と同様にして、第１のフレームメモリ１０２及び第２のフレームメモリ１０４から読み出されたＹＣｂＣｒデータは、第１のデータ生成回路１０５及び第２のデータ生成回路１０６を介して、第１のブロック化処理回路１０７及び第２のブロック化処理回路１０８に供給されるが、第１のデータ生成回路１０５及び第２のデータ生成回路１０６の動作については、上述の上述の空間スケーラビリティ使用モード指定時の動作と異なる。
【００７０】
すなわち、第１のデータ生成回路１０５（上記図３参照）において、第１のセレクタ３０１は、制御回路１０３からの符号化制御信号（外部情報１１２に基づいた時間スケーラビリティ使用モード指定の制御信号）により、出力先を第２のセレクタ３０３に切り替えて、第１のフレームメモリ１０２からのＹＣｂＣｒデータを出力する。
第２のセレクタ３０３は、制御回路１０３からの符号化制御信号により、第１のセレクタ３０１からのＹＣｂＣｒデータをフレームレートコントローラ３０５に供給する。
フレームレートコントローラ３０５は、制御回路１０３からの符号化制御信号に含まれるフレームレート情報に従って、第２のセレクタ３０１からのＹＣｂＣｒデータに対して、フレーム単位のダウンサンプル（画像データの時間方向の分解能を落とす）を行って、基本レイヤの画像データを生成する。
このフレームレートコントローラ３０５で得られた基本レイヤの画像データは、第３のセレクタ３０２に供給される。
第３のセレクタ３０２は、制御回路１０３からの符号化制御信号により、出力するデータを、フレームレートコントローラ３０５の出力（基本レイヤの画像データ）に出力を切り替える。したがって、第１のブロック化処理回路１０７には、基本レイヤの画像データが供給される。この基本レイヤの画像データは、後述の第２のデータ生成回路１０６にも供給される。
【００７１】
このようにして、第１のデータ生成回路１０５から第１のブロック化処理回路１０７に供給された基本レイヤの画像データは、第１のブロック化処理回路１０７にてブロック化され、第１の符号化回路１０９にてブロック単位の所定の符号化処理が行われ、これがビットストリーム生成回路１１１に供給される。
【００７２】
一方、第２のデータ生成回路１０６（上記図４参照）において、第１のセレクタ４０１は、制御回路１０３からの符号化制御信号により、出力先を第２の差分データ生成回路４０４に切り替えて、第２のフレームメモリ１０４からのＹＣｂＣｒデータを出力する。
これと同時に、フレームメモリ４０５は、制御回路１０３からの符号化制御信号により、第１のデータ生成回路１０５からの基本レイヤの画像データを第２の差分データ生成回路４０４に供給する。
第２の差分データ生成回路４０４は、制御回路１０３からの符号化制御信号に従って、フレームメモリ４０５からの基本レイヤの画像データを高位レイヤの予測情報として、時間的に未来、過去の画像データに対して参照し、高位レイヤとしての差分画像データを生成する。
この第２の差分データ生成回路４０４で得られた差分画像データは、第２のセレクタ４０２に供給される。
第２のセレクタ４０２は、制御回路１０３からの符号化制御信号により、出力するデータを、第２の差分データ生成回路４０４の出力（差分画像データ）に出力を切り替える。したがって、第２のブロック化処理回路１０８には、差分画像データが供給される。
【００７３】
このようにして、第２のデータ生成回路１０６から第２のブロック化処理回路１０８に供給された高位レイヤの差分画像データは、第２のブロック化処理回路１０８にてブロック化され、第２の符号化回路１１０にて、基本レイヤの画像とは独立して、ブロック単位の所定の符号化処理が行われ、これがビットストリーム生成回路１１１に供給される。
【００７４】
ビットストリーム生成回路１１１は、上述の空間スケーラビリティ使用モード指定時と同様にして、第１の符号化回路１０９からの基本レイヤの画像データ、及び第２の符号化回路１１０からの高位レイヤの画像データ（差分画像データ）にヘッダを付加して、スケーラブルな画像データのビットビットストリームを形成して外部出力する。
【００７５】
（ＳＮＲスケーラビリティ使用モード）
【００７６】
第１のフレームメモリ１０２及び第２のフレームメモリ１０４は各々、制御回路１０３（具体的にはＣＰＵ７０１）からのＲ／Ｗ制御信号（外部情報に基づいたＳＮＲスケーラビリティ使用モード指定の制御信号）に従って、変換回路１０１からのＹＣｂＣｒデータの読み書き動作を行う。
これにより、この場合には、第１のフレームメモリ１０２及び第２のフレームメモリ１０４から読み出されたＹＣｂＣｒデータは、直接、第１のブロック化処理回路１０７及び第２のブロック化処理回路１０８に供給される。
したがって、そのＹＣｂＣｒデータは、第１のブロック化処理回路１０７及び第２のブロック化処理回路１０８にてブロック化され、第１の符号化回路１０９及び第２の符号化回路１１０に供給される。
【００７７】
第１の符号化回路１０９は、制御回路１０３からの符号化制御信号により、第１のブロック化処理回路１０７からのＹＣｂＣｒデータに対して、ブロック単位の所定の符号化処理を行って、符号化された基本レイヤの画像データを生成する。このとき、上記符号化制御信号に従った所定の符号量（圧縮率）となるような符号化処理を行う。
この第１の符号化回路１０９で得られた符号化された基本レイヤの画像データは、ビットストリーム生成回路１１１に供給されると共に、高位レイヤの画像データの符号化処理における参照データとして第２の符号化回路１１０にも供給される。
【００７８】
第２の符号化回路１１０は、制御回路１０３からの符号化制御信号により、高位レイヤの予測情報として、第１の符号化回路１０９からの基本レイヤの画像データを、未来、過去の画像データに対して参照し、符号化された高位レイヤとしての差分画像データを生成する。
この第２の符号化回路１１０で得られた符号化された高位レイヤとしての差分画像データは、ビットストリーム生成回路１１１に供給される。
【００７９】
ビットストリーム生成回路１１１は、上述の空間又は時間スケーラビリティ使用モード指定時と同様にして、第１の符号化回路１０９からの基本レイヤの画像データ、及び第２の符号化回路１１０からの高位レイヤの画像データ（差分画像データ）にヘッダを付加して、スケーラブルな画像データのビットビットストリームを形成して外部出力する。
【００８０】
（スケーラビリティ機能不使用モード）
【００８１】
第１のフレームメモリ１０２及び第２のフレームメモリ１０４は各々、制御回路１０３（具体的にはＣＰＵ７０１）からのＲ／Ｗ制御信号（スケーラビリティ機能不使用モードに基づいた制御信号）に従って、変換回路１０１からのＹＣｂＣｒデータの読み書き動作を行う。
これにより、この場合には、第１のフレームメモリ１０２及び第２のフレームメモリ１０４から読み出されたＹＣｂＣｒデータは、直接、第１のブロック化処理回路１０７及び第２のブロック化処理回路１０８に供給される。
したがって、そのＹＣｂＣｒデータは、第１のブロック化処理回路１０７及び第２のブロック化処理回路１０８にてブロック化され、第１の符号化回路１０９及び第２の符号化回路１１０にてブロック単位の所定の符号化処理が行われ、これがビットストリーム生成回路１１１に供給される。
【００８２】
ビットストリーム生成回路１１１は、第１の符号化回路１０９及び第２の符号化回路１１０からの各データに、所定のアプリケーション（伝送や蓄積等）に対応したヘッダを付加して、画像データのビットビットストリームを形成して外部出力する。
【００８３】
（第２の実施の形態）
【００８４】
本発明は、例えば、図５に示すような復号装置２００に適用される。
この復号装置２００は、上述した第１の実施の形態における符号化装置１００に対応したものである。
すなわち、復号装置２００は、基本的に符号化装置１００の逆処理を行うようになされているが、特に、復号装置２００には、後述するユーザからの情報（ユーザ情報）が入力されるようになされている。このユーザ情報は、画質や復号装置２００が有する能力等の各種情報を含むものである。
したがって、復号装置２００のユーザが、復号における各種情報を入力することで、この入力に従った外部出力情報２１２が制御回路２０８により生成され、この外部出力情報２１２が、上述した外部情報１１２として符号化装置１００に供給されることになる。
【００８５】
尚、図６は、上述の制御回路２０８の内部構成を示したものであり、図７は、復号装置２００の第１のデータ復号回路２０９の内部構成を示したものであり、図８は、復号装置２００の第１のデータ復号回路２０９の内部構成を示したものである。
【００８６】
そこで、上述のユーザ情報は、次のような構成により入力される。
図９は、上記図５の復号装置２００の機能を有するシステム２４０の構成を示したものである。
このシステム２４０は、上記図９に示すように、モニタ２４１と、パーソナルコンピュータ（ＰＣ）本体２４２と、マウス２４３とを備えており、各々は互いに接続されている。
そして、ＰＣ本体２４２は、上記図５に示したような構成の復号装置２００の機能を有してる。
【００８７】
そこで、システム２４０において、先ず、モニタ２４１には、選択可能なソフト（動画像）のジャンル選択メニュー画面が表示される。例えば、「映画」、「音楽」、「Ｐｈｏｔｏ」、及び「ｅｔｃ．」等の選択メニュー画面が表示される。
ユーザは、マウス２４３を操作することで、モニタ２４１に映し出されている画面上から、所望するソフトのジャンルを指定する。具体的には、例えば、所望するソフトのジャンル（上記図９では「映画」）に、マウスカーソル２４４を合わせ、マウス２４３をクリック操作又はダブルクリック操作する。これにより、そのジャンル（「映画」）は指定されたことになる。
【００８８】
このような操作が終了すると、次に、図１０に示すように、上記図９の選択メニュー画面上で選択されたジャンル（「映画」）に対応する個別ソフトのタイトルメニュー画面が表示される。例えば、「映画」に対応する、「ｔｉｔｌｅ−Ａ」、「ｔｉｔｌｅ−Ｂ」、「ｔｉｔｌｅ−Ｃ」、及び「ｔｉｔｌｅ−Ｄ」等のタイトルメニューが表示される。
ユーザは、マウス２４３を操作することで、モニタ２４１に映し出されている画面上から、所望するタイトルを指定する。具体的には、例えば、所望するタイトル（上記図１０では「ｔｉｔｌｅ−Ａ」）に、マウスカーソル２４４を合わせ、マウス２４３をクリック操作又はダブルクリック操作する。これにより、そのタイトル（「ｔｉｔｌｅ−Ａ」）は指定されたことになる。
【００８９】
このような操作が終了すると、次に、図１１に示すように、上記図１０のタイトルメニュー画面上で選択されたタイトル（「ｔｉｔｌｅ−Ａ」）に対して、復号における各種条件を設定するための条件設定画面が表示される。ここでは、次のような各種条件を設定できるようになされている。
S/N       ：  低画質（Low ）、高画質（High）、及び本システムが有する復号能力に応じた最適な画質（Auto）の何れかを指定。
Frame Rate：  低フレームレート（Low ）、高フレームレート（Full）、及び本システムが有する復号能力に応じた最適なフレームレート（Au              to）の何れかを指定。
Full Spec ：  符号化装置（上記図１の符号化装置１００等）側の最高画質（高符号量）画像を指定。
Full Auto ：本システムが有する復号能力に応じた最適な各種条件を設定。
【００９０】
したがって、上記図１１に示すように、ユーザは、設定したい条件（上記図１１では「Ｓ／Ｎ」）に、マウスカーソル２４４を合わせ、マウス２４３をクリック操作又はダブルクリック操作する。これにより、図１２に示すように、「Ｓ／Ｎ」を設定するための詳細条件が表示される。すなわち、「Ｌｏｗ」、「Ｈｉｇｈ」、及び「Ａｕｔｏ」の各条件が表示される。
ユーザは、その詳細条件のなかから「Ｓ／Ｎ」に設定したい条件（上記図１２では「Ａｕｔｏ」）に、マウスカーソル２４４を合わせ、マウス２４３をクリック操作又はダブルクリック操作する。これにより、上記図１２では、「Ｓ／Ｎ」については「Ａｕｔｏ」（本システムが有する復号能力に応じた最適な画質）が設定されたことになる。
【００９１】
上述のようにして、画面上で設定された各種条件の情報が、上述した第１の実施の形態における符号化装置１００に、外部情報１１２として供給されることになる。
これを受けた符号化装置１００は、上述したように、外部情報１１２を解釈して、最適なスケーラビリティを選択し、そのスケーラビリティにおける各種設定条件（画像サイズや圧縮率等）を決定し、一連の符号化処理を行って、上記図９のシステム２４０（復号装置２００）に対して出力する。
【００９２】
尚、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００９３】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００９４】
また、コンピュータが読みだしたプログラムコードを実行することにより、各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
上述した実施の形態によれば、符号化側では、復号側の情報（復号側が有する処理能力、及び／又は復号側のユーザにより指定された解像度や符号量、及び／又は符号化側と復号側との間の伝送線路容量等の情報）に従って、画像データの符号化が行われる。
より具体的には、符号化側に、出力先である復号側の性能（処理能力）情報、及び／または伝送線路情報、及び／又はユーザの希望情報（ユーザにより指定された解像度や符号量）等を受け付ける手段を設け、符号化側は、該情報に適合するスケーラブルな画像を選択してリアルタイムに符号化して送出する。一方、復号側には、該復号側の処理能力情報や、ユーザインターフェースにより入力されたユーザの希望情報等を符号化側に送出する手段を設ける。
このように構成したことで、復号側（復号側のユーザ）が希望する画像が如何なる画像であっても、その画像に適合した符号化画像データを復号側に与えることができる。また、画像の伝送に用いる回線容量や、復号側の性能に適合した（互換性を確保した）符号化画像データを復号側に提供することができる。したがって、復号側では、良好な復号画像を得ることができる。
また、符号化側と復号側との間にインタラクティブな通信機能を設けるように構成すれば、符号化側と復号側との間に介在するあらゆる事情に適合した符号化画像データを復号側に与えることができる。この結果、符号化側と復号側との間の広義の互換性や回線容量の有効利用等のメリットをもたらすことができる。
さらに、復号側に、ユーザインターフェースを設けるように構成すれば、インタラクティブな通信機能を利用して、ユーザの希望にフレキシブルに適応する符号化画像データを提供することができる。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、復号側に適した画像を提供することが可能となる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した符号化装置の構成を示すブロック図である。
【図２】上記符号化装置の制御回路の内部構成を示すブロック図である。
【図３】上記符号化装置の第１のデータ生成回路の内部構成を示すブロック図である。
【図４】上記符号化装置の第２のデータ生成回路の内部構成を示すブロック図である。
【図５】第２の実施の形態において、本発明を適用した復号装置の構成を示すブロック図である。
【図６】上記復号装置の制御回路の内部構成を示すブロック図である。
【図７】上記復号装置の第１のデータ復号回路の内部構成を示すブロック図である。
【図８】上記復号装置の第２のデータ復号回路の内部構成を示すブロック図である。
【図９】上記復号装置の機能を有するシステムを説明するための図である。
【図１０】上記システムのモニタ画面上において、ジャンルメニューのタイトルを選択する操作を説明するための図である。
【図１１】上記タイトルの選択により表示される条件設定画面を説明するための図である。
【図１２】上記条件設定画面上で選択された条件項目に所望する条件を設定する操作を説明するための図である。
【図１３】空間スケーラビリティを説明するための図である。
【図１４】時間スケーラビリティを説明するための図である。
【図１５】ＳＮＲスケーラビリティを説明するための図である。
【図１６】従来の符号化装置の構成を示すブロック図である。
【図１７】従来の復号装置の構成を示すブロック図である。
【符号の説明】
１００  符号化装置
１０１  変換回路
１０２  第１のフレームメモリ
１０３  制御回路
１０４  第２のフレームメモリ
１０５  第１のデータ生成回路
１０６  第２のデータ生成回路
１０７  第１のブロック化処理回路
１０８  第２のブロック化処理回路
１０９  第１の符号化回路
１１０  第２の符号化回路
１１１  ビットストリーム生成回路
１１２  外部情報
【図１】
0004336402.tif 000002
【図２】
0004336402.tif 000003
【図３】
0004336402.tif 000004
【図４】
0004336402.tif 000005
【図５】
0004336402.tif 000006
【図６】
0004336402.tif 000007
【図７】
0004336402.tif 000008
【図８】
0004336402.tif 000009
【図９】
0004336402.tif 000010
【図１０】
0004336402.tif 000011
【図１１】
0004336402.tif 000012
【図１２】
0004336402.tif 000013
【図１３】
0004336402.tif 000014
【図１４】
0004336402.tif 000015
【図１５】
0004336402.tif 000016
【図１６】
0004336402.tif 000017
【図１７】
0004336402.tif 000018