(57)【要約】【課題】処理を効率的に行う。【解決手段】統合符号化装置６では、画像の符号化に必要な複数の処理のうちの１以上であって、他の処理を考慮したものが行われる。即ち、例えば、情報圧縮のための圧縮処理として、編集処理を考慮した処理であるＡＤＲＣ処理が行われる。ここで、ＡＤＲＣ処理においては、画像がブロックに分割され、ブロックの画素値の最大値MAXと最小値MINが検出される。そして、DR=MAX-MINが、ブロックの局所的なダイナミックレンジとされ、ブロック内の各画素値から、最小値MINを減算した減算値がDR/2Kで除算される。ＡＤＲＣ処理結果を、各種の編集処理の対象とすることで、ＡＤＲＣ処理前の元の画像を対象にする場合とほぼ同一の編集処理を行うことができ、また、ＡＤＲＣ処理結果のデータ量は少ないことから、編集処理の負荷を、ＡＤＲＣ処理前の元の画像を対象にする場合に比較して軽減することができる。【選択図】図１
2008178155.tif 000002
【特許請求の範囲】
【請求項１】
異なるビデオカメラから出力された、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化して送信するＩＳＤＢ（Integrated Services Digital Broadcasting）送信装置であって、
前記異なる複数の画像をＡＤＲＣ処理の圧縮処理を行ない、ＡＤＲＣコード以外又はＡＤＲＣコードの一部以外のデータを固定の位置に配置するシンクブロック処理を行なって符号化データを出力する符号化手段と、
前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生するタイムコード発生手段と、
付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生する付加情報発生手段と、
前記シンクブロック処理された符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報を多重化する多重化手段と
を備えることを特徴とするＩＳＤＢ送信装置。
【請求項２】
異なるビデオカメラから出力された、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化して送信するＩＳＤＢ送信方法であって、
前記異なる複数の画像をＡＤＲＣ処理の圧縮処理を行ない、ＡＤＲＣコード以外又はＡＤＲＣコードの一部以外のデータを固定の位置に配置するシンクブロック処理を行なって符号化データを出力し、
前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生し、
付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生し、
前記シンクブロック処理された符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報を多重化する
ことを特徴とするＩＳＤＢ送信方法。
【請求項３】
異なるビデオカメラから出力される、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化した伝送データを受け取って復号化するＩＤＳＢ受信装置であって、
伝送データからシンクブロック処理された符号化データ、前記符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び前記符号化データの種類を表す情報を含む付加情報を分離する分離手段と、
前記付加情報に基づいて前記符号化データを復号化する際に、ＡＤＲＣコード又はＡＤＲＣコードの一部にエラーが生じた場合に、シンクブロック処理の際に固定の位置に配置したデータのみを用いて復号化して復号画像を出力する復号化手段と、
前記復号画像の画素数が前記復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成する解像度創造処理手段と
を備えることを特徴とするＩＳＤＢ受信装置。
【請求項４】
異なるビデオカメラから出力される、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化した伝送データを受け取って復号化するＩＤＳＢ受信方法であって、
伝送データからシンクブロック処理された符号化データ、前記符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び前記符号化データの種類を表す情報を含む付加情報を分離し、
前記付加情報に基づいて前記符号化データを復号化する際に、ＡＤＲＣコード又はＡＤＲＣコードの一部にエラーが生じた場合に、シンクブロック処理の際に固定の位置に配置したデータのみを用いて復号化して復号画像を出力し、
前記復号画像の画素数が前記復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成する
ことを特徴とするＩＳＤＢ受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＳＤＢ送信装置およびＩＳＤＢ送信方法、並びにＩＳＤＢ受信装置およびＩＳＤＢ受信方法に関し、特に、画像を効率的に符号化し、さらに、画像を表示するモニタなどに適した形の復号画像を得ることができるようにするＩＳＤＢ送信装置およびＩＳＤＢ送信方法、並びにＩＳＤＢ受信装置およびＩＳＤＢ受信方法に関する。
【背景技術】
【０００２】
図１６は、送信側から受信側に画像を伝送する画像伝送装置の構成例を示している。 
【０００３】
送信側では、例えば、高解像度のビデオカメラ２０１において、被写体が撮影され、例えば、横×縦の画素数が１９２０×１０３５で構成される、アスペクト比が１６：９の、高解像度の画像（以下、適宜、ＨＤ画像という）が出力される。なお、ビデオカメラ２０１からは、１秒間に約３０フレームのＨＤ画像が出力される。但し、ここでは、ＨＤ画像は、インターレース走査されるようになされており、従って、ビデオカメラ２０１からは、１秒間に、約６０フィールドのＨＤ画像が出力される。
【０００４】
また、送信側では、例えば、標準解像度または低解像度のビデオカメラ２０２において、被写体が撮影され、アスペクト比が４：３の、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）が出力される。ビデオカメラ２０２が、例えば、ＮＴＳＣ（National Television Systems Committee）方式またはＰＡＬ（Phase Alternating by Line color television system）方式のものである場合、１フレームは、例えば、それぞれ７２０×４８０画素または７２０×５７６画素で構成され、また、１秒間のフレーム数（フィールド数）は、それぞれ３０（６０）または２５（５０）である。
【０００５】
さらに、送信側では、プログレッシブイメージャ２０３において、被写体がスキャニングされ、順次走査された画像（以下、適宜、プログレッシブな画像という）が出力される。また、送信側では、計算機２０４において、コンピュータグラフィックス（ＣＧ）としての、例えば、６４０×４８０画素で構成される画像が生成されて出力される。
【０００６】
なお、ビデオカメラ２０１，２０２が出力する画像を構成する画素の横と縦との比は、約１：１．１程度になっているが、計算機２０４が出力する画像を構成する画素の横と縦との比は、１：１になっている。
【０００７】
以上のように、ビデオカメラ２０１，２０２、プログレッシブイメージャ２０３、計算機２０４からは、アスペクト比や、画素数、走査方法、画素の横と縦との比などが異なる画像が出力される。
【０００８】
これらの画像は、編集装置２０５に入力される。編集装置２０５では、ビデオカメラ２０１，２０２、プログレッシブイメージャ２０３、計算機２０４からの画像がそれぞれ編集される。編集後の画像は、すべて、例えば、１９２０×１０８０画素で構成されるプログレッシブな画像とされ、ソース符号化装置２０６に出力される。ソース符号化装置２０６では、編集装置２０５から出力された画像が、情報圧縮のための符号化である、例えば、ＭＰＥＧ（Moving Picture Experts Group）の規格に準拠して符号化（ＭＰＥＧ符号化）され、その結果得られる符号化データが、チャネル符号化装置２０７に供給される。
【０００９】
ここで、画素数や走査方法の異なる画像を、すべて、１９２０×１０８０画素のプログレッシブな画像にすることは、ＡＴＶ（Advanced Television）で採用することが検討されている。
【００１０】
チャネル符号化装置２０７では、伝送時の符号化データの信頼性を向上させるためのチャネル符号化が行われる。即ち、チャネル符号化装置２０７では、例えば、エラー訂正のための処理としてＥＣＣ（Error Correcting Codes）が付加され、さらに、所定の変調処理などが施される。チャネル符号化装置２０７における処理の結果得られる伝送データは、伝送路２１１を介して伝送される。
【００１１】
受信側では、上述したようにして送信側から伝送されてくる伝送データが受信される。この伝送データは、チャネル復号化装置２０８に供給され、チャネル復号される。即ち、例えば、所定の復調処理が施され、さらに、ＥＣＣを用いた誤り訂正などが行われる。
【００１２】
チャネル復号化装置２０８における処理の結果得られる符号化データは、ソース復号化装置２０９に供給される。ソース復号化装置２０９では、符号化データが、例えば、ＭＰＥＧの規格に準拠して復号（ＭＰＥＧ復号）されるなどして伸張され、その結果得られる画像データは、加工装置２１０に供給される。
【００１３】
加工装置２１０では、画像データを出力する出力装置のフォーマットにあうように、ソース復号化装置２０９からの画像データが加工される。即ち、画像データを、ＨＤ画像を表示するＨＤ表示装置２２１に表示させる場合、加工装置２１０では、ソース復号化装置２０９が出力する画像データが、例えば、１９２０×１０３５画素で構成される、アスペクト比が１６：９の、インターレース走査されるＨＤ画像に加工される。また、画像データを、ＳＤ画像を表示するＳＤ表示装置２２２に表示させる場合、加工装置２１０では、ソース復号化装置２０９が出力する画像データが、例えば、７２０×４８０画素または７２０×５７６画素で構成される、ＮＴＳＣ方式またはＰＡＬ方式のＳＤ画像に加工される。さらに、画像データを、プリンタ２２３に印刷させる場合には、加工装置２１０では、ソース復号化装置２０９が出力する画像を構成する画素の横と縦との比が、プリンタ２２３に対応したものに変換される。また、画像データを、コンピュータディスプレイ２２４に表示させる場合には、加工装置２１０では、ソース復号化装置２０９が出力する画像データが、例えば、６４０×４８０画素で構成される画像に加工される。
【００１４】
ＨＤ表示装置２２１，ＳＤ表示装置２２２、プリンタ２２３、コンピュータディスプレイ２２４では、加工装置２１０からの画像が表示され、または印刷される。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ところで、従来においては、送信側における編集装置２０５による編集処理、ソース符号化装置２０６による圧縮処理、およびチャネル符号化装置２０７によるチャネル符号化処理は、いわば、それぞれ別個独立に行われていた。
【００１６】
即ち、例えば、圧縮処理を行った後のデータは、圧縮処理を行う前のデータより情報量が少なく、従って、圧縮処理を行った後のデータを編集処理の対象とすることができれば、編集装置２０５に対する負荷を低減することができる。しかしながら、ソース符号化装置２０６において、上述したように、画像をＭＰＥＧ符号化する場合、その結果得られるビットストリームは、いわゆるＧＯＰ（Group Of Picture）単位でなければ編集することが困難になる。また、その編集も、ＧＯＰどうしを接続するだけの、いわゆるカット編集などに制限される。即ち、ソース符号化装置２０６では、編集装置２０５による編集処理を考慮した圧縮処理がなされないため、その圧縮処理後のデータについては、例えば、フレーム単位で編集することができず、また、各種のエフェクトなどをかけることも困難である。
【００１７】
また、例えば、ソース符号化装置２０６では、チャネル符号化装置２０７によるＥＣＣの付加を考慮した圧縮処理がなされないため、例えば、圧縮処理により得られる符号化データにＥＣＣが付加されることによって、ＥＣＣが付加された後のデータ全体としての圧縮率が劣化することがあった。
【００１８】
以上のように、従来においては、画像の符号化に必要な、例えば、編集処理や、圧縮処理、チャネル符号化処理などが、互いに他の処理を考慮した形で行われていないため、効率的な処理を行うことが困難であった。
【００１９】
本発明は、このような状況に鑑みてなされたものであり、効率的な処理を行うことができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の第１の側面は、異なるビデオカメラから出力された、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化して送信するＩＳＤＢ（Integrated Services Digital Broadcasting）送信装置であって、前記異なる複数の画像をＡＤＲＣ処理の圧縮処理を行ない、ＡＤＲＣコード以外又はＡＤＲＣコードの一部以外のデータを固定の位置に配置するシンクブロック処理を行なって符号化データを出力する符号化手段と、前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生するタイムコード発生手段と、付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生する付加情報発生手段と、前記シンクブロック処理された符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報を多重化する多重化手段とを備えることを特徴とするＩＳＤＢ送信装置である。
【００２１】
本発明の第１の側面は、異なるビデオカメラから出力された、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化して送信するＩＳＤＢ送信方法であって、前記異なる複数の画像をＡＤＲＣ処理の圧縮処理を行ない、ＡＤＲＣコード以外又はＡＤＲＣコードの一部以外のデータを固定の位置に配置するシンクブロック処理を行なって符号化データを出力し、前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生し、付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生し、前記シンクブロック処理された符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報を多重化することを特徴とするＩＳＤＢ送信方法である。
【００２２】
本発明の第１の側面においては、前記異なる複数の画像をＡＤＲＣ処理の圧縮処理を行ない、ＡＤＲＣコード以外又はＡＤＲＣコードの一部以外のデータを固定の位置に配置するシンクブロック処理を行なって符号化データが出力され、前記圧縮処理のタイミングを表す同期信号であるタイムコードが発生され、付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報が発生され、前記シンクブロック処理された符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報が多重化される。
【００２３】
本発明の第２の側面は、異なるビデオカメラから出力される、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化した伝送データを受け取って復号化するＩＤＳＢ受信装置であって、伝送データからシンクブロック処理された符号化データ、前記符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び前記符号化データの種類を表す情報を含む付加情報を分離する分離手段と、前記付加情報に基づいて前記符号化データを復号化する際に、ＡＤＲＣコード又はＡＤＲＣコードの一部にエラーが生じた場合に、シンクブロック処理の際に固定の位置に配置したデータのみを用いて復号化して復号画像を出力する復号化手段と、前記復号画像の画素数が前記復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成する解像度創造処理手段とを備えることを特徴とするＩＳＤＢ受信装置である。
【００２４】
本発明の第２の側面は、異なるビデオカメラから出力される、解像度、フレームレート、画素の横と縦の比が異なる複数の画像を符号化した伝送データを受け取って復号化するＩＤＳＢ受信方法であって、伝送データからシンクブロック処理された符号化データ、前記符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び前記符号化データの種類を表す情報を含む付加情報を分離し、前記付加情報に基づいて前記符号化データを復号化する際に、ＡＤＲＣコード又はＡＤＲＣコードの一部にエラーが生じた場合に、シンクブロック処理の際に固定の位置に配置したデータのみを用いて復号化して復号画像を出力し、前記復号画像の画素数が前記復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成することを特徴とするＩＳＤＢ受信方法である。
【００２５】
本発明の第２の側面においては、伝送データからシンクブロック処理された符号化データ、前記符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び前記符号化データの種類を表す情報を含む付加情報が分離され、前記付加情報に基づいて前記符号化データを復号化する際に、ＡＤＲＣコード又はＡＤＲＣコードの一部にエラーが生じた場合に、シンクブロック処理の際に固定の位置に配置したデータのみを用いて復号化して復号画像が出力され、前記復号画像の画素数が前記復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像が解像度創造処理により生成される。
【発明の効果】
【００２６】
本発明によれば、画像を効率的に符号化し、さらに、画像を表示するモニタなどに適した形の復号画像を得ることができる。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。
【００２８】
送信側では、例えば、高解像度のビデオカメラ１や、低解像度のビデオカメラ２において、それぞれが出力し得る最大の数の画素数で構成される画像が出力される。即ち、ここでは、ビデオカメラ１においては、例えば、１９２０×９６０画素で構成される、アスペクト比が１６：９で、フレームレートが約３０フレーム／秒の、プログレッシブなＨＤ画像が出力される。また、ビデオカメラ２においては、例えば、６４０×４８０画素で構成される、アスペクト比が４：３で、フレームレートが約３０フレーム／秒の、プログレッシブなＳＤ画像、または７２０×４８０画素で構成される、アスペクト比が４：３で、フレームレートが約１５フレーム／秒の、プログレッシブなＳＤ画像が出力される。
【００２９】
さらに、送信側では、プログレッシブイメージャ３において、被写体がスキャニングされ、例えば、縦の画素数が、４８０の整数倍のプログレッシブな画像が出力される。また、送信側では、計算機４において、コンピュータグラフィックス（ＣＧ）としての、例えば、６４０×４８０画素で構成される、画素の横と縦との比が１：１の画像が生成されて出力される。
【００３０】
ビデオカメラ１や２、プログレッシブイメージャ３、計算機４が出力する画像は、統合符号化装置６（処理手段）に供給される。
【００３１】
さらに、統合符号化装置６には、例えば、縦の画素数が、４８０の整数倍のプログレッシブな画像が、例えば、インターネットなどのネットワーク５から供給される。なお、ネットワーク５からは、例えば、計算機４と同様に、画素の横と縦との比が１：１の画像が供給される。
【００３２】
ここで、ビデオカメラ１や２に、それが出力し得る最大の数の画素数で構成される画像を出力させるようにしたのは、そのような画像を処理の対象とする方が、例えば、インターレース方式の画像などのように、一画面の画素数が少ない画像を処理の対象とする場合に比較して、一般に、高画質の復号画像を得ることができるからである。
【００３３】
さらに、統合符号化装置６に供給される画像の縦の画素数は、すべて、所定値、即ち、ここでは、例えば、４８０の整数倍となっており、また、フレームレートも、所定値としての１５の整数倍となっているが、これは、例えば、ＨＤ画像を構成する画素を、空間方向または時間方向に間引いてＳＤ画像を生成した場合や、ＳＤ画像を構成する画素を、空間方向または時間方向に補間してＨＤ画像を生成した場合に、その生成したＳＤ画像やＨＤ画像の画質の劣化を低減することができるためのである。
【００３４】
また、ビデオカメラ１に出力させるＨＤ画像の縦の画素数を、９６０画素としたのは、縦の画素数を、４８０の整数倍とするとき、９６０が、現行のＨＤ画像の縦の画素数である１０３５（図１６）に最も近く、従って、乗り換えを行うときに、画質の劣化を低減することができるからである。
【００３５】
さらに、ビデオカメラ２に出力させるＳＤ画像の縦の画素数を４８０画素にしたのは、その値が、現行のＮＴＳＣ方式やＰＡＬ方式で採用されている画素数に最も近い４８０の倍数であるからである。
【００３６】
なお、ビデオカメラ２に出力させるアスペクト比が４：３のＳＤ画像の横の画素数を６４０とした場合、その画素の横と縦との比は、１：１（＝４×４８０：３×６４０）となり、計算機４が出力する画像や、ネットワーク５から供給される画像とのコンパチビリティ（compatibility）が取り易くなる。
【００３７】
また、ビデオカメラ２に出力させるアスペクト比が４：３のＳＤ画像の横の画素数を７２０とした場合、その画素の横と縦との比は、８：９（＝４×４８０：３×７２０）となる。これは、ビデオカメラ１が出力するＨＤ画像が構成する画素の横と縦との比（８：９＝１６×９６０：９×１９２０）に等しく、従って、この場合、ビデオカメラ２が出力するＳＤ画素の横および縦の画素数を２倍にして、その縦の画素数を、ビデオカメラ１が出力するＨＤ画像の縦の画素数に等しい９６０画素としたとき、いわゆる真円率を維持することができる（画像が、横方向や縦方向に間延びしたものにならない）。
【００３８】
統合符号化装置６では、そこに供給される画像（ディジタル画像信号）を対象に、その符号化に必要な、例えば、編集処理や、圧縮処理、チャネル符号化処理などの複数の処理の１以上が、他の処理を考慮した形で行われる。ここで、編集処理には、例えば、カット編集を行ったり、エフェクトをかけたりする、いわゆるビデオ編集のための処理の他、例えば、ＩＳＤＢ（Integrated Services Digital Broadcasting）（各種の情報をディジタル化して送信するインタラクティブな放送）などを実現するための情報や、その他の付加価値を付けるための情報（例えば、より高画質の復号画像を得るのに必要な情報）などを付加すること、さらには、ある画像と他の画像との間にリンクを張ることなども含まれる。
【００３９】
統合符号化装置６における処理の結果得られる伝送データは、伝送路１３を介して、受信側に伝送される。なお、伝送路１３には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスクその他の記録媒体も含まれる。
【００４０】
伝送路１３を介して伝送されてくる伝送データは、受信側で受信され、適応復号化装置７（生成手段）に供給される。適応復号化装置７には、画像を出力する出力装置としての、例えば、ＨＤ画像を表示する高解像度の表示装置９，ＳＤ画像を表示する標準解像度または低解像度の表示装置１０、画像を印刷するプリンタ１１、コンピュータ（計算機）に接続されるコンピュータディスプレイ１２などが接続されている（但し、プリンタ１１は、画素アスペクト比変換器８を介して接続されている）。適応復号化装置７は、伝送データと、所定の係数との線形結合により、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２の解像度に対応した復号画像を生成し、それぞれに出力する。
【００４１】
表示装置９，１０、およびコンピュータディスプレイ１２では、適応復号化装置７からの復号画像が表示され、プリンタ１１では、適応復号化装置７からの復号画像が印刷される。
【００４２】
なお、表示装置９，１０、またはコンピュータディスプレイ１２それぞれにおける画素の横と縦との比（以下、適宜、画素アスペクト比という）と、復号画像を構成する画素の画素アスペクト比との違いは、表示装置９，１０、またはコンピュータディスプレイ１２それぞれでの水平走査により吸収される。
【００４３】
また、プリンタ１１では、そのような水平走査により、画素アスペクト比の違いを吸収することができないため、その前段に、画素アスペクト比変換器８が設けられており、そこで、復号画像の画素アスペクト比が、プリンタ１１に対応したものに変換される。
【００４４】
次に、統合符号化装置６における処理について説明する。
【００４５】
統合符号化装置６では、例えば、圧縮処理が、編集処理を考慮した形で行われる。
【００４６】
即ち、統合符号化装置６では、圧縮処理として、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理が行われる。
【００４７】
ここで、ＡＤＲＣ処理について、簡単に説明する。
【００４８】
いま、説明を簡単にするため、図２（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００４９】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図２（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００５０】
ＡＤＲＣでは、再量子化の際のビット数Ｋは、画素に割り当てられているビット数よりも小さい値が用いられ、従って、各画素は、そのような小さいビット数に圧縮されることになる（但し、その他に、ブロックごとに、最小値ＭＩＮとダイナミックレンジＤＲが生じる）。
【００５１】
なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。
【００５２】
図３は、ＡＤＲＣ処理を行うＡＤＲＣ処理回路の構成例を示している。
【００５３】
画像データは、ブロック化回路２１に供給され、そこで、所定の大きさのブロックにブロック化される。即ち、ブロック化回路２１は、画像データを、例えば、横×縦が４画素×４画素のブロックに分割する。そして、そのブロックを、最小値検出回路２２、最大値検出回路２３、および演算器２５に供給する。
【００５４】
最小値検出回路２２では、ブロック化回路２１からのブロックを構成する１６（＝４×４）画素の中から、最小値ＭＩＮが検出される。この最小値ＭＩＮは、ＡＤＲＣ処理結果の信号の１つとして出力されるとともに、演算器２４および２５に供給される。
【００５５】
同時に、最大値検出回路２３では、ブロック化回路２１からのブロックを構成する１６画素の中から、最大値ＭＡＸが検出され、演算器２４に供給される。
【００５６】
演算器２４では、最大値ＭＡＸから最小値ＭＩＮが減算され、これによりブロックのダイナミックレンジＤＲが求められる。このダイナミックレンジＤＲは、ＡＤＲＣ処理結果の信号の１つとして出力されるとともに、量子化回路２６に供給される。
【００５７】
一方、演算器２５では、ブロックを構成する１６画素それぞれから、ブロックの最小値ＭＩＮが減算され、その減算値が量子化回路２６に供給される。量子化回路２６では、演算器２５からの減算値が、演算器２４からのダイナミックレンジＤＲに対応する量子化ステップで量子化される。即ち、量子化回路２６では、例えば、演算器２５の出力が、ＤＲ／２Kで除算され、その除算値の小数点以下を切り捨てたものが、ＡＤＲＣコード（画素の再量子化結果）ＣＯＤＥとして出力される。
【００５８】
ここで、本実施の形態では、再量子化の際のビット数Ｋは、各ブロックごとに、例えば、そのダイナミックレンジＤＲの大きさに対応して決定されるようになされており、これにより、ＡＤＲＣコードは可変長とされている。
【００５９】
即ち、例えば、いま、４つの閾値Ｔ１，Ｔ２，Ｔ３，Ｔ４が設定されているものとし、その大小関係が、０＜Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４であるとする。また、元の画像の画素には、例えば、８ビットが割り当てられているものとする（従って、Ｔ４は２8未満）。
【００６０】
この場合、量子化回路２６では、ダイナミックレンジＤＲが、０以上Ｔ１未満、Ｔ１以上Ｔ２未満、Ｔ２以上Ｔ３未満、Ｔ３以上Ｔ４未満、またはＴ４以上２8未満のうちのいずれの範囲内にあるかが判定される。そして、ダイナミックレンジＤＲが、０以上Ｔ１未満、Ｔ１以上Ｔ２未満、Ｔ２以上Ｔ３未満、Ｔ３以上Ｔ４未満、またはＴ４以上２8未満の範囲内にある場合、再量子化の際のビット数Ｋとして、例えば、０乃至４ビットがそれぞれ割り当てられる。従って、この場合、ＡＤＲＣコードは、最小で０ビット、最大で４ビットになる。
【００６１】
ＡＤＲＣコードが可変長の場合、その復号を行うのに、ＡＤＲＣコードのビット数Ｋが必要となることから、量子化回路２６では、ダイナミックレンジＤＲが、上述のいずれの範囲内にあるかを示す閾値コードを出力するようになされており、この閾値コードは、最小値ＭＩＮ、ダイナミックレンジＤＲ，ＡＤＲＣコードとともに、ＡＤＲＣ処理結果として出力される。
【００６２】
なお、最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードは、例えば固定長とされている。
【００６３】
ここで、上述の場合においては、ＡＤＲＣコードを可変長としたが、再量子化の際のビット数Ｋを、ブロックのダイナミックレンジＤＲに無関係に固定値とし、これにより、ＡＤＲＣコードは固定長とすることも可能である。
【００６４】
以上のようなＡＤＲＣ処理により得られるＡＤＲＣコードは、元の画素に割り当てられているビット数よりも少なくなっている。一方、ＡＤＲＣ処理の結果得られる最小値ＭＩＮ、ダイナミックレンジＤＲ，ＡＤＲＣコードは、ブロック単位で取り扱うことが可能であり、従って、ＡＤＲＣ処理後の画像は、例えば、フレーム単位で編集することができる。
【００６５】
以上から、圧縮処理としてＡＤＲＣ処理を行い、そのＡＤＲＣ処理結果を、各種の編集処理の対象とすることで、ＡＤＲＣ処理前の元の画像を対象にする場合とほぼ同一の編集処理を行うことができるとともに、その処理の負荷を、ＡＤＲＣ処理前の元の画像を対象にする場合に比較して軽減することができる。
【００６６】
従って、圧縮処理としてのＡＤＲＣ処理は、編集処理を考慮したものということができ、その結果、編集処理を効率的に行うことが可能となる。
【００６７】
なお、ＡＤＲＣについては、例えば、本件出願人が先に出願した特開平３−５３７７８号公報などに、その詳細が開示されている。
【００６８】
また、ＡＤＲＣは、ブロック単位で符号化を行うので、ブロック符号化ということができるが、ブロック符号化には、ＡＤＲＣの他、ブロックを構成する画素の平均値および標準偏差とともに、その各画素と、平均値との大小関係を表す１ビットのフラグを求めるものなどがある。統合符号化装置６による圧縮処理としては、このようなブロック符号化を採用することも可能である。
【００６９】
さらに、上述の場合においては、最小値ＭＩＮとダイナミックレンジＤＲを、ＡＤＲＣ処理結果に含ませるようにしたが、ＡＤＲＣ結果には、その他、最小値ＭＩＮとブロックの最大値ＭＡＸや、ダイナミックレンジＤＲとブロックの最大値ＭＡＸを含ませるようにすることが可能である。
【００７０】
また、上述の場合には、１フレームの横４画素と縦４画素とで、ブロックを構成するようにしたが、ブロックは、時間的に連続する複数フレームを構成する画素で構成するようにすることも可能である。
【００７１】
ところで、ＡＤＲＣ処理の結果得られるブロックごとの最小値ＭＩＮ、ダイナミックレンジＤＲ、閾値コード、およびＡＤＲＣコードの伝送方法としては、例えば、同期をとるための同期パターンの後に、所定のデータ量のＡＤＲＣ結果を配置したブロック（以下、適宜、シンクブロックという）を構成し、そのようなシンクブロック単位で、伝送を行うものがある。
【００７２】
シンクブロック単位で伝送を行う場合、最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードは、上述したように固定長であるから、これらのデータは、シンクブロックの固定の位置に配置するようにすれば、１のシンクブロックが、例えば欠落などして得られなくても、その影響が、他のシンクブロックに配置された最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードに及ぶことはない。
【００７３】
しかしながら、ＡＤＲＣコードは可変長であるから、例えば、ＡＤＲＣコードが、１のシンクブロックに入りきらずに、複数のシンクブロックに分けて配置されている場合には、１のシンクブロックの欠落が、他のシンクブロックに影響を及ぼすことがある。即ち、その複数のシンクブロックのうちの最初のシンクブロックが欠落した場合、２番目のシンクブロックの最初に配置されているＡＤＲＣコードが、ブロックのどの位置の画素に対応するものなのか、さらに、そのＡＤＲＣコードとして配置されているビットが、最初のシンクブロックの最後に配置されたＡＤＲＣコードの続き（一部）を構成するビットなのか、あるいは、ＡＤＲＣコードの最初のビットなのかが分からなくなる。その結果、２番目以降のシンクブロックに配置されたＡＤＲＣコードも取り出すことができなくなり、このように、いわば、あるシンクブロックのエラーが、他のシンクブロックにも伝搬することになる。
【００７４】
ところで、あるブロックのＡＤＲＣコードがすべて失われた場合であっても、最小値ＭＩＮが分かれば、すべての画素が、その最小値ＭＩＮを画素値として有するブロックを再生することができる。しかしながら、このブロックは、画素（画素値）が同一の値の、いわば平坦なものであるから、元の画像の再現性は低いものとなる。
【００７５】
そこで、より高い再現性を実現するために、ＡＤＲＣコードを、例えば、ＭＳＢ（Most Significant Bit）と、それ以外（以下、適宜、残りビットという）とに分離し、ＭＳＢも、最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードと同様に、シンクブロックの固定の位置に配置するようにすることができる。この場合、残りビットが失われても、ＭＳＢを、ダイナミックレンジＤＲにしたがって逆量子化することで、２値で構成されるブロックを得ることができ、ＡＤＲＣコードがすべて失われた場合に比較して再現性の高い画像を得ることが可能となる。
【００７６】
図４は、以上のようなシンクブロックを構成するシンクブロック処理を行うシンクブロック構成回路の構成例を示している。
【００７７】
ＡＤＲＣ処理回路（図３）が出力する最小値ＭＩＮ、ダイナミックレンジＤＲ、閾値コードは、マルチプレクサ３２に供給され、また、ＡＤＲＣコードは、分離器３１に供給される。分離器３１では、ＡＤＲＣコードが、ＭＳＢと残りビットとに分離され、いずれも、マルチプレクサ３２に供給される。
【００７８】
マルチプレクサ３２には、上述したデータの他、同期パターンが供給されている。マルチプレクサ３２は、そこに供給されるデータを時分割多重化して、例えば、図５に示すようなシンクブロックを構成して出力する。
【００７９】
即ち、図５に示すように、シンクブロックの先頭には、固定長の同期パターンが配置され、その後には、固定長の付加データが配置される。ここで、付加データとは、閾値コードなどの固定長のデータだけで構成される。付加データの後には、残りビットが、所定のバイト数だけ配置される。即ち、付加データの後には、先頭からＮ1−１バイト目までに、残りビットが配置される。
【００８０】
そして、先頭からＮ1バイト目以降に、ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮが、例えば、ＤＲ，ＭＳＢ，ＭＩＮ，ＭＳＢ，ＤＲ，・・・の順番で配置される。ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮが所定数だけ配置された後には、再び、残りビットが配置される。そして、先頭からＮ2バイト目以降に、再び、ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮが、上述した順番で、所定数だけ配置される。以下、同様の配置が、シンクブロックの最後まで繰り返される。
【００８１】
以上のように、ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮは、シンクブロックの先頭からＮ1，Ｎ2，・・・バイト目のように、決まった位置から配置され、さらに、これらのデータは固定長であるから、シンクブロックの固定の位置に配置されることになる。
【００８２】
以上のシンクブロック処理は、ＡＤＲＣコード（残りビット）にエラーが生じた場合であっても、元の画像に比較的近い復号画像を得ることができるようにするものであり、残りビットがなくても、再現性の高い復号画像を得ることができる。従って、極端には、残りビットには、誤り訂正のための、例えばＥＣＣなどを付加しなくても良く、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、シンクブロック処理は、チャネル符号化処理を考慮したものということができる。
【００８３】
なお、シンクブロック処理については、例えば、本件出願人が先に出願した特開平２−１６２９８０号公報などに、その詳細が開示されている。
【００８４】
次に、統合符号化装置６には、圧縮処理として、ＡＤＲＣ処理の他、例えば、階層符号化処理を行わせることも可能である。
【００８５】
階層符号化は、例えば、高解像度の画像データを、最下位階層または第１階層の画像データとして、それより画素数の少ない第２階層の画像データ（圧縮画像）を形成し、さらに、それより画素数の少ない第３階層の画像データを形成し、以下、同様にして、最上位階層までの画像データを形成するもので、各階層の画像データは、その階層に対応した解像度（画素数）のモニタで表示される。従って、ユーザ側では、階層符号化された画像データのうち、自身が有するモニタの解像度に対応するものを選択することで、同一内容の画像を視聴することができる。
【００８６】
ところで、ある解像度の画像データを最下位階層（第１階層）の画像データとして、上位階層の画像データを、順次形成し、それらのすべてを、そのまま記憶や伝送などする場合には、最下位階層の画像データだけを記憶等する場合に比較して、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となる。
【００８７】
そこで、ここでは、そのような記憶容量等の増加のない階層符号化を、統合符号化装置６における圧縮処理として採用する。
【００８８】
即ち、例えば、いま、下位階層における２×２画素（横×縦）の４画素の平均値を、上位階層の画素（画素値）とし、３階層の階層符号化を行うものとする。この場合、最下位階層の画像として、例えば、図６（Ａ）に示すように、８×８画素を考えると、その左上の２×２画素の４画素ｈ００，ｈ０１，ｈ０２，ｈ０３の平均値ｍ０が演算され、これが、第２階層の左上の１画素とされる。同様にして、最下位階層の画像の右上の４画素ｈ１０，ｈ１１，ｈ１２，ｈ１３の平均値ｍ１、左下の４画素ｈ２０，ｈ２１，ｈ２２，ｈ２３の平均値ｍ２、右下の４画素ｈ３０，ｈ３１，ｈ３２，ｈ３３の平均値ｍ３が演算され、それぞれが、第２階層の右上、左下、右下の１画素とされる。さらに、第２階層の２×２画素の４画素ｍ０，ｍ１，ｍ２，ｍ３の平均値ｑが演算され、これが、第３階層、即ち、ここでは、最上位階層の画像の画素とされる。
【００８９】
以上の画素ｈ００乃至ｈ０３，ｈ１０乃至ｈ１３，ｈ２０乃至ｈ２３，ｈ３０乃至ｈ３３，ｍ０乃至ｍ３，ｑを、そのまま全部記憶などさせたのでは、上述のように、画素ｍ０乃至ｍ３，ｑの分だけ余分に記憶容量等が必要となる。
【００９０】
そこで、図６（Ｂ）に示すように、第３階層の画素ｑを、第２階層の画素ｍ０乃至ｍ３のうちの、例えば、右下の画素ｍ３の位置に配置する。これにより、第２階層は、画素ｍ０乃至ｍ２およびｑで構成されることになる。
【００９１】
そして、図６（Ｃ）に示すように、第２階層の画素ｍ０を、それを求めるのに用いた第３階層の画素ｈ００乃至ｈ０３のうちの、例えば、右下の画素ｈ０３の位置に配置する。第２階層の残りの画素ｍ１，ｍ２，ｑも、同様に、第１階層の画素ｈ１３，ｈ２３，ｈ３３に代えて配置する。なお、画素ｑは、画素ｈ３０乃至ｈ３３から直接求められたものではないが、それらから直接求められたｍ３に代えて第２階層に配置されているものであるから、画素ｈ３３の位置に画素ｍ３を配置する代わりに、画素ｑを配置する。
【００９２】
以上のようにすることで、図６（Ｃ）に示すように、全画素数は４×４の１６画素となり、図６（Ａ）に示した最下位階層の画素だけの場合と変わらない。従って、この場合、記憶容量等の増加を防止することができる。
【００９３】
なお、画素ｑと代えられた画素ｍ３、画素ｍ０乃至ｍ３とそれぞれ代えられた画素ｈ０３，ｈ１３，ｈ２３，ｈ３３の復号は、次のようにして行うことができる。
【００９４】
即ち、ｑは、ｍ０乃至ｍ３の平均値であるから、式ｑ＝（ｍ０＋ｍ１＋ｍ２＋ｍ３）／４が成り立つ。従って、式ｍ３＝４×ｑ−（ｍ０＋ｍ１＋ｍ２）により、ｍ３を求めることができる。
【００９５】
また、ｍ０は、ｈ００乃至ｈ０３の平均値であるから、式ｍ０＝（ｈ００＋ｈ０１＋ｈ０２＋ｈ０３）／４が成り立つ。従って、式ｈ０３＝４×ｍ０−（ｈ００＋ｈ０１＋ｈ０２）により、ｈ０３を求めることができる。同様にして、ｈ１３，ｈ２３，ｈ３３も求めることができる。
【００９６】
図７は、以上のような階層符号化処理を行う階層符号化回路の構成例を示している。この階層符号化回路では、例えば、上述したような３階層の階層符号化か行われるようになされている。
【００９７】
即ち、第１階層（最下位階層）の画像データ（ここでは、上述したように、プログレッシブな画像）は、平均値算出回路４１および画素抜き出し回路４３に供給される。
【００９８】
そして、平均値算出回路４１では、第１階層の画像について、例えば、上述したような２×２画素の合計４画素の平均値が計算され、これにより、第２階層の画像が形成される。この第２階層の画像は、平均値算出回路４２および画素抜き出し回路４４に供給される。
【００９９】
平均値算出回路４２では、第２階層の画像について、例えば、上述したような２×２画素の合計４画素単位の平均値が計算され、これにより、第３階層の画像が形成される。この第３階層の画像は、画素挿入回路４５に供給される。
【０１００】
画素抜き出し回路４３では、第１階層の画像から、図６で説明した画素ｈ０３，ｈ１３，ｈ２３の位置に対応する画素が抜き出され、残りが、画素挿入回路４５に供給される。画素抜き出し回路４４では、第２階層の画像から、図６で説明した画素ｍ３の位置に対応する画素が抜き出され、残りが、画素挿入回路４５に供給される。
【０１０１】
画素挿入回路４５では、画素抜き出し回路４３からの第１階層の画像の画素ｈ０３，ｈ１３，ｈ２３に対応する位置に、画素抜き出し回路４４からの第２階層の画像の画素（例えば、画素ｍ０乃至ｍ２など）が挿入され、さらに、第１階層の画像の画素ｈ３３に対応する位置に、平均値算出回路４２からの第３階層の画素（例えば、画素ｑなど）が挿入される。以上のようにして、図６（Ｃ）で説明したような画像データが構成され、これが、階層符号化結果として出力される。
【０１０２】
通常の階層符号化によれば、上述のように、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となるが、図６および図７で説明した階層符号化（以下、適宜、改良型階層符号化という）によれば、その結果得られるデータ量は、最下位階層の画像と変わらない。この意味で、改良型階層符号化は、情報圧縮処理であるということができる。
【０１０３】
ここで、階層符号化を行った場合に、下位階層の画像は、上位階層の画像を用いて、例えば補間などを行うことにより得ることができる（但し、得られる画像は、下位階層の画像と同一の画像ではなく、画質の劣化したものとなる）。従って、最悪の場合であっても、最上位階層の画像を復元できれば、すべての階層の画像を得ることができるから、誤り訂正のための、例えば、ＥＣＣの付加などは、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもなく、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、階層符号化処理は、チャネル符号化処理を考慮したものということができる。
【０１０４】
なお、上述の場合においては、空間方向の画素数を少なくして、上位階層の画像を形成するようにしたが、上位階層の画像は、その他、例えば、時間方向の画素数を少なくして形成することも可能である。
【０１０５】
次に、統合符号化装置６における編集処理の１つである、ＩＳＤＢを実現するための情報の付加について説明する。
【０１０６】
図８は、統合符号化装置６の、ＩＳＤＢを実現するための部分であるＩＳＤＢ用送信装置の構成例を示している。
【０１０７】
符号化部５１には、例えば、ＳＤ画像とそれに付随する音声とが入力され、そこでは、例えば、上述したＡＤＲＣ処理などの圧縮処理が施され、多重化部５７に出力される。また、符号化部５１は、その圧縮処理のタイミングを表す同期信号をタイムコード発生部５２に出力する。タイムコード発生部５２は、符号化部５１の出力に付加する付加情報として、例えば、タイムコードなどを、符号化部５１からの同期信号に同期して発生し、多重化部５７に出力する。
【０１０８】
符号化部５３またはタイムコード発生部５４においても、処理の対象が、ＳＤ画像ではなく、ＨＤ画像であることを除けば、符号化部５１またはタイムコード発生部５２における場合とそれぞれ同様の処理が行われる。そして、符号化部５３における圧縮処理の結果得られる符号化データ、およびタイムコード発生部５４が出力するタイムコードは、いずれも、多重化部５７に供給される。
【０１０９】
符号化部５５には、例えば、コンピュータのプログラムや、そのプログラムの実行に必要なデータ、ファクシミリのデータ、さらには、地域情報などのマルチメディアを実現するためのデータが入力され、そこでは、それらのデータが圧縮され、符号化データとして、多重化部５７に出力される。また、符号化部５５は、その圧縮処理のタイミングを表す同期信号を付加情報発生部５６に出力する。付加情報発生部５６は、符号化部５５で圧縮されているデータの種類などを表す付加情報を、符号化部５５からの同期信号に同期して発生し、多重化部５７に出力する。
【０１１０】
ここで、符号化部５５に入力される地域情報とは、各地域に特有の情報であり、例えば、各地域の天気予報や、地図、施設に関する情報（例えば、飲食店のサービス内容や、営業時間など）、企業の宣伝広告などが含まれている。また、このような地域情報については、付加情報発生部５６は、各地域情報の該当する地域を表す地域コードを、付加情報として発生する。
【０１１１】
多重化部５７では、符号化部５１、タイムコード発生部５２、符号化部５３、タイムコード発生部５４、符号化部５５、および付加情報発生部５６の出力が多重化されて出力される。
【０１１２】
次に、図９は、統合符号化装置６において、圧縮処理として、ＡＤＲＣ処理が行われる場合の、適応復号化装置７（図１）の構成例を示している。即ち、図９は、適応復号化装置７の、ＡＤＲＣ処理結果を復号するＡＤＲＣ復号処理を行う部分であるＡＤＲＣ復号回路の構成例を示している。
【０１１３】
デマルチプレクサ１０１には、伝送路１３（図１）を介して伝送されてくる伝送データとしての、ＡＤＲＣ処理結果が配置されたビットストリームが入力され、そこでは、伝送データから、最小値ＭＩＮ、ダイナミックレンジＤＲ，ＡＤＲＣコードが分離される。なお、ＡＤＲＣコードの分離は、デマルチプレクサ１０１において、伝送データから閾値コードが分離され、その閾値コードに基づいて、ＡＤＲＣコードに対しての割当ビット数（上述のＫ）が認識されることで行われる。
【０１１４】
そして、最小値ＭＩＮは、演算器１０３に、ダイナミックレンジＤＲおよびＡＤＲＣコードは、逆量子化回路１０２に、それぞれ供給される。逆量子化回路１０２では、ＡＤＲＣコードが、ダイナミックレンジＤＲに対応する量子化ステップで逆量子化され、その結果得られる逆量子化値が演算器１０３に供給される。演算器１０３では、逆量子化回路１０２からの逆量子化値と、最小値ＭＩＮとが加算され、これにより、画素が復号される。
【０１１５】
そして、１ブロック分の画素が得られると、演算器１０３は、その１ブロック分の画素を、フレーム構成回路１０４に供給する。フレーム構成回路１０４は、ブロック単位で供給される画素を順次記憶し、１フレーム分の画素を記憶するごとに出力する。
【０１１６】
なお、ＡＤＲＣコードが、上述したように、ＭＳＢと残りビットとに分離されている場合には、デマルチプレクサ１０１は、そのＭＳＢと残りビットとを合わせて、元のＡＤＲＣコードを復元する処理も行うようになされている。また、ＡＤＲＣコードが、ＭＳＢと残りビットとに分離されている場合において、残りビットにエラーが生じているときには、デマルチプレクサ１０１は、ＭＳＢをＡＤＲＣコードとして逆量子化回路１０２に出力するようになされている。
【０１１７】
ところで、ＡＤＲＣ復号処理においては、上述したように、残りビットがエラーになっても、ＭＳＢと、最小値ＭＩＮおよびダイナミックレンジＤＲとがあれば、ある程度、再現性の良い復号画像（元の画像に近い復号画像）を得ることができる。しかしながら、最小値ＭＩＮやダイナミックレンジＤＲがエラーになると、そのブロックを復号することが困難となる。
【０１１８】
そこで、図１０は、最小値ＭＩＮやダイナミックレンジＤＲがエラーになっても、比較的精度良く、ブロックを復号することができるＡＤＲＣ復号回路の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このＡＤＲＣ復号回路は、セレクタ１０５および１０６、メモリ１０７、および復元回路１０８が新たに設けられている他は、基本的に、図９における場合と同様に構成されている。
【０１１９】
セレクタ１０５には、デマルチプレクサ１０１が出力するダイナミックレンジＤＲと、復元回路１０８が出力するダイナミックレンジの予測値ＤＲ’とが供給されるようになされている。セレクタ１０６には、デマルチプレクサ１０１が出力する最小値ＭＩＮと、復元回路１０８が出力する最小値の予測値ＭＩＮ’とが供給されるようになされている。また、ここでは、デマルチプレクサ１０１は、伝送データに含まれる最小値ＭＩＮ、ダイナミックレンジＤＲにエラーが生じているかどうかを検出するようになされており、エラーが生じている場合、エラー信号を、セレクタ１０５および１０６に出力するようになされている。
【０１２０】
セレクタ１０５は、エラー信号を受信していないとき、即ち、最小値ＭＩＮ、ダイナミックレンジＤＲにエラーが生じていないとき、デマルチプレクサ１０１が出力するダイナミックレンジＤＲを選択し、逆量子化回路１０２に出力する。同様に、セレクタ１０６も、エラー信号を受信していないときは、デマルチプレクサ１０１が出力する最小値ＭＩＮを選択し、演算器１０３に出力する。
【０１２１】
従って、この場合、図９における場合と同様にして、ＡＤＲＣ復号処理が行われる。
【０１２２】
一方、演算器１０３が出力する画素の復号値は、フレーム構成回路１０４だけでなく、メモリ１０７にも供給されるようになされている。メモリ１０７では、演算器１０３からの画素の復号値が、対応するアドレスに記憶される。
【０１２３】
そして、復元回路１０８において、いまＡＤＲＣ復号処理の対象となっているブロックの周辺にある画素の復号値が、例えば、ブロックを構成する画素数と同一の数だけ、即ち、本実施の形態では、上述したように１６だけ、メモリ１０７から読み出される。さらに、復元回路１０８は、その１６画素の最小値と、ダイナミックレンジ（最大値と最小値との差）を検出し、それぞれを、いまＡＤＲＣ復号処理の対象となっているブロックの最小値の予測値ＭＩＮ’と、ダイナミックレンジの予測値ＤＲ’として、セレクタ１０６と１０５に、それぞれ出力する。
【０１２４】
セレクタ１０５または１０６は、デマルチプレクサ１０１からエラー信号を受信したとき、即ち、最小値ＭＩＮ、ダイナミックレンジＤＲにエラーが生じているとき、復元回路１０８からのダイナミックレンジの予測値ＤＲ’または最小値の予測値ＭＩＮ’を選択し、逆量子化回路１０２または演算器１０３にそれぞれ出力する。
【０１２５】
従って、この場合、逆量子化回路１０２では、ダイナミックレンジの予測値ＤＲ’を用いて逆量子化が行われ、また、演算器１０３では、最小値の予測値ＭＩＮ’を用いて画素が復号される。
【０１２６】
あるブロックに注目した場合に、その注目ブロックを構成する画素と、その注目ブロックの周辺にある画素との間には、通常、大きな相関があり、従って、そのような相関のある画素によれば、注目ブロックのダイナミックレンジおよび最小値を、比較的精度良く予測することができる。その結果、そのような予測値を用いることで、真の最小値ＭＩＮおよびダイナミックレンジＤＲを用いた場合とほぼ同様の復号画像を得ることが可能となる。
【０１２７】
なお、以上のようなＡＤＲＣ復号処理については、例えば、本件出願人が先に出願した特開昭６３−２５７３９０号公報などに、その詳細が開示されている。
【０１２８】
ここで、ＡＤＲＣ処理を行った場合、上述のように、最小値ＭＩＮや、ダイナミックレンジＤＲにエラーが生じても、ある程度の復号画像を得ることができる。さらに、ＡＤＲＣ処理に加えて、シンクブロックブロック処理を行うことで、上述したように、残りビットのエラーにも対処することが可能となる。また、階層符号化を行う場合においても、誤り訂正のための処理は、上述したように、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもない。
【０１２９】
従って、ＡＤＲＣ処理や、シンクブロックブロック処理、階層符号化処理は、エラーに対する耐性の強い、いわばロバストな処理ということができる。いま、このようなエラーに対する耐性の強いロバストな処理を、ロバスト符号化というものとすると、統合符号化装置６において行われる処理は、そのようなロバスト符号化と、編集処理などとを統合した統合符号化処理ということができる。
【０１３０】
なお、ロバスト符号化のうち、例えば、ＡＤＲＣ処理では、それを行うことにより、情報量が削減されるとともに、エラーに対する耐性も向上することから、画像の圧縮処理と、誤り訂正のための処理とが、いわば有機的に結合して行われているということができる。
【０１３１】
次に、図１１は、適応復号化装置７の、ＩＳＤＢを実現するための部分であるＩＳＤＢ用受信装置の構成例を示している。
【０１３２】
信号分離部１１１には、伝送路１３を介して伝送されてくる伝送データが入力され、そこでは、伝送データから、例えば、画像（ＳＤ画像や、ＨＤ画像）、およびそれに付随する音声）を符号化した符号化データが抽出される。信号分離部１１において得られた符号化データは、復号部１１２にそれぞれ出力される。
【０１３３】
復号部１１２では、信号分離部１１１からの符号化データが復号される。即ち、例えば、画像の符号化データについては、ＡＤＲＣ復号処理などが行われる。復号部１１２における復号処理の結果得られる画像およびそれに付随する音声は、セレクタ１１３を介して出力される。画像は、例えば、表示装置９，１０、またはコンピュータディスプレイ１２に供給されて表示され、あるいは、画素アスペクト比変換器８を介してプリンタ１１に供給されて印刷される。また、音声は、図示せぬスピーカに供給されて出力される。
【０１３４】
また、信号分離部１１１では、伝送データから、例えば、地域情報と、その地域情報に対応する付加情報としての地域コードとが抽出され、復号部１１４に供給される。復号部１１４では、地域コードに対応して、地域情報の復号が行われる。
【０１３５】
即ち、受信した地域情報が、ユーザが所望する地域の情報であるとは限らないため、復号部１１４では、あらかじめ入力された地域に対応する地域コードとともに入力された地域情報だけの復号が行われる。
【０１３６】
地域の入力は、例えば、制御部１２３を操作することにより行うことができるようになされており、その入力された地域は、ＯＲゲート１２２を介して、復号部１１４に供給される。
【０１３７】
また、地域の入力は、例えば、ＧＰＳ（Global Positioning System）システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かを問わない）を利用して行うことなども可能である。即ち、ＧＰＳ衛星からの電波が、アンテナ１１８で受信され、その受信信号が、ＧＰＳ受信部１１９に供給される。ＧＰＳ受信部１１９は、アンテナ１１８からの受信信号から、図１１のＩＳＤＢ用受信装置が設置されている位置を計算し、その計算結果としての位置情報（例えば、緯度と経度など）を、地域判別部１２０に供給する。地域判別部１２０は、ＧＰＳ受信部１１９からの位置情報から地域を判別し、その地域に割り当てられているコードをメモリ１２１に出力して記憶させる。メモリ１２１に記憶されたコードは、ＯＲゲート１２２を介して、復号部１１４に供給され、復号部１１４では、そのコードに一致する地域コードとともに入力された地域情報だけが復号される。
【０１３８】
復号部１１４で復号された地域情報は、メモリ１１５に供給されて記憶される。従って、メモリ１１５には、例えば、ユーザが住んでいる地域の地域情報などだけが蓄積されていく。
【０１３９】
メモリ１１５に記憶された地域情報を視聴する場合、ユーザは、そのように制御部１２３を操作する。メモリ１１５からは、制御部１２３の操作に対応して、地域情報が読み出され、セレクタ１１６に供給される。セレクタ１１６では、メモリ１１５からの地域情報のうちのいずれか、または全部が選択され、セレクタ１１３を介して出力される。これにより、地域情報は、上述の画像と同様に、表示装置９に表示等される。
【０１４０】
なお、同一地域の地域情報であっても、その中には、ユーザが必要とするものとそうでないものとがある場合がある。セレクタ１１６では、ユーザが必要とする地域情報のみが、制御部１２３の操作に対応して選択されるようになされている。
【０１４１】
また、セレクタ１１３では、制御部１２３の操作に対応して、復号部１１２の出力か、またはセレクタ１１６の出力のうちのいずれか一方が選択されて出力されるようになされている。
【０１４２】
さらに、図８のＩＳＤＢ用送信装置においては、画像およびそれに付随する音声の付加情報として、タイムコードを多重化するようにしたが、画像およびそれに付随する音声の付加情報としては、その他、例えば、その画像および音声で構成される番組を識別するための識別コードなどを多重化することが可能である。この場合、所望の番組の識別コードをあらかじめ入力しておくことによって、その識別コードに対応する番組を選択することが可能となる。従って、例えば、所望の番組が送信されてきたときのみ、その番組を選択して出力するようにすることなどが可能となる。
【０１４３】
なお、以上のようなＩＳＤＢ用送信装置やＩＳＤＢ用受信装置については、例えば、本件出願人が先に出願した特願平７−２０７１５８号や特願平７−２４３４５３号などに、その詳細が開示されている。
【０１４４】
次に、適応復号化装置７は、復号画像の解像度が、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２のうちの、その復号画像を出力させようとしている出力装置の解像度より低い場合、その解像度の低い復号画像と、所定の係数との線形結合により、出力装置の解像度に対応した復号画像を生成する解像度創造処理を行うようになされている。
【０１４５】
なお、復号画像の画素数が、出力装置の画素数より少ない場合においては、例えば、補間フィルタなどによる補間を行うことにより、復号画像の画素数を、出力装置の画素数に一致させる方法があるが、このような、いわば単純な補間では、元の復号画像に含まれていない高周波成分は再現されないから、解像度は向上しない。これに対して、解像度創造処理では、後述するように、そのような高周波成分を再現することができる。
【０１４６】
また、復号画像の画素数が、出力装置の画素数より多い場合には、例えば、間引きを行ったり、階層符号化における場合のように、幾つかの画素の平均値などを、その幾つかの画素に換えて配置したりすることにより、復号画像の画素数が、出力装置の画素数に一致するように少なくされる。
【０１４７】
図１２は、適応復号化装置７の、解像度創造処理を行う部分である解像度創造回路の構成例を示している。
【０１４８】
なお、ここでも、階層符号化における場合と同様に、解像度の高い（画素数の多い）画像を下位階層の画像とし、解像度の低い（画素数の少ない）画像を上位階層の画像とする。
【０１４９】
例えば、図１３において・印で示す部分を、下位階層の画像を構成する画素（以下、適宜、下位画素という）とするとともに、同図において○印で示す部分を、上位階層の画像を構成する画素（以下、適宜、上位画素という）とするとき、解像度創造回路は、同図に○印で示す画素で構成される上位階層の画像を、同図に・印で示す画素で構成される下位階層の画像に変換するようになされている。
【０１５０】
即ち、上位階層の画像は、クラス分類用ブロック化回路１３１および予測値計算用ブロック化回路１３３に供給される。
【０１５１】
クラス分類用ブロック化回路１３１は、そこに供給される上位階層の画像から、所定の注目画素を含むクラス分類用ブロックを構成する。即ち、クラス分類用ブロック化回路１３１は、例えば、図１３において実線で囲んで示すような、注目画素を中心とする５×５（横×縦）の上位画素で構成されるクラス分類用ブロックを構成する。
【０１５２】
ここで、クラス分類用ブロックを構成する５×５の上位画素（図１３において○印で示す部分）を、以下、適宜、次のように表記する。即ち、クラス分類用ブロックの中の左からｉ番目の、上からｊ番目に位置する上位画素を、Ｂijと表記する。従って、図１３の実施の形態において、クラス分類用ブロックは、上位画素Ｂ33を注目画素として構成されることになる。また、クラス分類用ブロックを構成する上位画素から生成（予測）される下位画素（図１３において・印で示す部分）を、以下、適宜、上位画素と同様に、Ａijと表記する。
【０１５３】
クラス分類用ブロック化回路１３１は、クラス分類用ブロックを構成すると、それを、クラス分類回路１３２に出力する。クラス分類回路１３２は、クラス分類用ブロックを、その性質に応じて所定のクラスに分類するクラス分類を行い、その結果得られるクラスを、予測回路１３４に供給する。
【０１５４】
予測回路１３４には、さらに、予測値計算用ブロック化回路１３３から予測値計算用ブロックが供給される。予測値計算用ブロック化回路１３３では、例えば、図１３において点線の四角形で囲むような、注目画素Ｂ33を中心とする３×３画素の予測値計算用ブロックが構成され、予測回路１３４に供給される。
【０１５５】
ここで、予測値計算用ブロックおよびクラス分類用ブロックの構成方法は、上述したものに限定されるものではない。なお、予測値計算用ブロックは、基本的に、どのように構成しても良いが、クラス分類用ブロックは、予測値計算用ブロックの特徴が含まれるように構成するのが好ましい。
【０１５６】
予測回路１３４は、注目画素についての予測値計算用ブロックとクラスを受信すると、後述するような予測係数であって、受信したクラスに対応するものと、予測値計算用ブロックを構成する上位画素の画素値との線形結合により、下位画素の画素値の予測値を求める適応処理を行う。即ち、予測回路１３４は、クラスに対応する予測係数と、予測値計算用ブロックを構成する上位画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44とから、例えば、注目画素Ｂ33を中心とする３×３の範囲の下位画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65の予測値を求める。
【０１５７】
予測回路１３４では、以下同様の処理が、画素Ｂ33以外の上位画素を、順次、注目画素として行われ、これにより、下位階層の画像を構成するすべての下位画素の予測値が求められる。
【０１５８】
ここで、予測回路１３４には、解像度設定回路１３５から解像度信号が供給されるようになされている。解像度設定回路１３５は、適応復号化装置７が画像を出力させる出力装置（図１の実施の形態では、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２）と、例えば通信を行うことにより、その解像度を認識し、認識した解像度を表す解像度信号を予測回路１３４に供給するようになされている。
【０１５９】
そして、予測回路１３４では、各種の解像度の画像についての予測係数が記憶されており、解像度設定回路１３５からの解像度信号に対応した解像度についての予測係数を用いて、下位階層の画像が求められるようになされている。
【０１６０】
なお、解像度設定回路１３５には、出力装置と通信させる他、例えば、図示せぬ操作部を操作することなどにより、解像度を入力することが可能である。
【０１６１】
次に、クラス分類回路１３２で行われるクラス分類処理と、予測回路１３４で行われる適応処理とについて説明する。
【０１６２】
まず、クラス分類処理について説明する。
【０１６３】
いま、例えば、図１４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１４（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。このようなパターン分けが、クラス分類処理である。
【０１６４】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【０１６５】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、５×５の２５画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）25という膨大な数のクラスに分類されること
になる。
【０１６６】
そこで、クラス分類回路１３２には、クラス分類処理に先だって、クラス分類用ブロックに対して、ＡＤＲＣ処理を施させるようにすることができる。ＡＤＲＣ処理によれば、クラス分類用ブロックを構成する画素のビット数を小さくすることができ、その結果、クラス数を削減することができる。
【０１６７】
次に、適応処理について説明する。
【０１６８】
例えば、いま、下位画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかの上位画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・との線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１６９】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１７０】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
2008178155.tif 000003
で定義すると、次のような観測方程式が成立する。
【０１７１】
ＸＷ＝Ｙ’
・・・（２）
【０１７２】
そして、この観測方程式に最小自乗法を適用して、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、下位画素の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および下位画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
2008178155.tif 000004
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１７３】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１７４】
この場合、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
2008178155.tif 000005
を最小にすることで求めることができる。
【０１７５】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１７６】
【数４】
2008178155.tif 000006
・・・（４）
【０１７７】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１７８】
【数５】
2008178155.tif 000007
・・・（５）
【０１７９】
式（４）および（５）より、式（６）が得られる。
【０１８０】
【数６】
2008178155.tif 000008
・・・（６）
【０１８１】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１８２】
【数７】
2008178155.tif 000009
・・・（７）
【０１８３】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１８４】
以上のようにして、クラスごとに、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、予測回路１３４において行われるようになされている。
【０１８５】
即ち、例えば、いま、図１３において、実線で囲んだ５×５画素で構成されるクラス分類用ブロックのクラス分類の結果得られるクラスについて、上述の学習を行うことにより、予測値計算用ブロック内における下位画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65それぞれの予測値Ｅ［Ａ43］，Ｅ［Ａ44］，Ｅ［Ａ45］，Ｅ［Ａ53］，Ｅ［Ａ54］，Ｅ［Ａ55］，Ｅ［Ａ63］，Ｅ［Ａ64］，Ｅ［Ａ65］を求めるための予測係数として、ｗ1（Ａ43）乃至ｗ9（Ａ43），ｗ1（Ａ44）乃至ｗ9（Ａ44），ｗ1（Ａ45）乃至ｗ9（Ａ45），ｗ1（Ａ53）乃至ｗ9（Ａ53），ｗ1（Ａ54）乃至ｗ9（Ａ54），ｗ1（Ａ55）乃至ｗ9（Ａ55），ｗ1（Ａ63）乃至ｗ9（Ａ63），ｗ1（Ａ64）乃至ｗ9（Ａ64），ｗ1（Ａ65）乃至ｗ9（Ａ65）が、それぞれ得られたとする。この場合、予測回路１３４では、式（１）に対応する次式にしたがって、予測値計算用ブロック内におけるＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65それぞれの予測値Ｅ［Ａ43］，Ｅ［Ａ44］，Ｅ［Ａ45］，Ｅ［Ａ53］，Ｅ［Ａ54］，Ｅ［Ａ55］，Ｅ［Ａ63］，Ｅ［Ａ64］，Ｅ［Ａ65］が求められる。
【０１８６】
Ｅ［Ａ43］＝ｗ1（Ａ43）Ｂ22＋ｗ2（Ａ43）Ｂ23＋ｗ3（Ａ43）Ｂ24
＋ｗ4（Ａ43）Ｂ32＋ｗ5（Ａ43）Ｂ33＋ｗ6（Ａ43）Ｂ34
＋ｗ7（Ａ43）Ｂ42＋ｗ8（Ａ43）Ｂ43＋ｗ9（Ａ43）Ｂ44
Ｅ［Ａ44］＝ｗ1（Ａ44）Ｂ22＋ｗ2（Ａ44）Ｂ23＋ｗ3（Ａ44）Ｂ24
＋ｗ4（Ａ44）Ｂ32＋ｗ5（Ａ44）Ｂ33＋ｗ6（Ａ44）Ｂ34
＋ｗ7（Ａ44）Ｂ42＋ｗ8（Ａ44）Ｂ43＋ｗ9（Ａ44）Ｂ44
Ｅ［Ａ45］＝ｗ1（Ａ45）Ｂ22＋ｗ2（Ａ45）Ｂ23＋ｗ3（Ａ45）Ｂ24
＋ｗ4（Ａ45）Ｂ32＋ｗ5（Ａ45）Ｂ33＋ｗ6（Ａ45）Ｂ34
＋ｗ7（Ａ45）Ｂ42＋ｗ8（Ａ45）Ｂ43＋ｗ9（Ａ45）Ｂ44
Ｅ［Ａ53］＝ｗ1（Ａ53）Ｂ22＋ｗ2（Ａ53）Ｂ23＋ｗ3（Ａ53）Ｂ24
＋ｗ4（Ａ53）Ｂ32＋ｗ5（Ａ53）Ｂ33＋ｗ6（Ａ53）Ｂ34
＋ｗ7（Ａ53）Ｂ42＋ｗ8（Ａ53）Ｂ43＋ｗ9（Ａ53）Ｂ44
Ｅ［Ａ54］＝ｗ1（Ａ54）Ｂ22＋ｗ2（Ａ54）Ｂ23＋ｗ3（Ａ54）Ｂ24
＋ｗ4（Ａ54）Ｂ32＋ｗ5（Ａ54）Ｂ33＋ｗ6（Ａ54）Ｂ34
＋ｗ7（Ａ54）Ｂ42＋ｗ8（Ａ54）Ｂ43＋ｗ9（Ａ54）Ｂ44
Ｅ［Ａ55］＝ｗ1（Ａ55）Ｂ22＋ｗ2（Ａ55）Ｂ23＋ｗ3（Ａ55）Ｂ24
＋ｗ4（Ａ55）Ｂ32＋ｗ5（Ａ55）Ｂ33＋ｗ6（Ａ55）Ｂ34
＋ｗ7（Ａ55）Ｂ42＋ｗ8（Ａ55）Ｂ43＋ｗ9（Ａ55）Ｂ44
Ｅ［Ａ63］＝ｗ1（Ａ63）Ｂ22＋ｗ2（Ａ63）Ｂ23＋ｗ3（Ａ63）Ｂ24
＋ｗ4（Ａ63）Ｂ32＋ｗ5（Ａ63）Ｂ33＋ｗ6（Ａ63）Ｂ34
＋ｗ7（Ａ63）Ｂ42＋ｗ8（Ａ63）Ｂ43＋ｗ9（Ａ63）Ｂ44
Ｅ［Ａ64］＝ｗ1（Ａ64）Ｂ22＋ｗ2（Ａ64）Ｂ23＋ｗ3（Ａ64）Ｂ24
＋ｗ4（Ａ64）Ｂ32＋ｗ5（Ａ64）Ｂ33＋ｗ6（Ａ64）Ｂ34
＋ｗ7（Ａ64）Ｂ42＋ｗ8（Ａ64）Ｂ43＋ｗ9（Ａ64）Ｂ44
Ｅ［Ａ65］＝ｗ1（Ａ65）Ｂ22＋ｗ2（Ａ65）Ｂ23＋ｗ3（Ａ65）Ｂ24
＋ｗ4（Ａ65）Ｂ32＋ｗ5（Ａ65）Ｂ33＋ｗ6（Ａ65）Ｂ34
＋ｗ7（Ａ65）Ｂ42＋ｗ8（Ａ65）Ｂ43＋ｗ9（Ａ65）Ｂ44
・・・（８）
【０１８７】
なお、適応処理は、上位階層の画像には含まれていない、下位階層の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）や（８）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、下位階層の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば解像度の創造作用がある処理ということができる。
【０１８８】
ここで、適応処理については、例えば、本件出願人が先に出願した特開平５−３２８１８５号公報などに、その詳細が開示されている。
【０１８９】
次に、図１５は、図１２の予測回路１３４の構成例を示している。
【０１９０】
スイッチ１４１には、クラス分類回路１３２からのクラスが供給されるようになされており、スイッチ１４１は、解像度設定回路１３５からの解像度信号に対応して、端子ａ１乃至ａ４のうちのいずれかを選択するようになされている。そして、スイッチ１４１の端子ａ１乃至ａ４は、ＲＯＭ（Read Only Memory）１４３乃至１４６のアドレス端子（ＡＤ）にそれぞれ接続されている。従って、クラス分類回路１３２からのクラスは、スイッチ１４１を介して、ＲＯＭ１４３乃至１４６のうちのいずれかに、アドレスとして供給されるようになされている。
【０１９１】
スイッチ１４２は、スイッチ１４１と同様に、解像度設定回路１３５からの解像度信号に対応して、端子ｂ１乃至ｂ４のうちのいずれかを選択するようになされている。端子ｂ１乃至ｂ４は、ＲＯＭ１４３乃至１４６のデータ端子（Ｄ）とそれぞれ接続されている。なお、スイッチ１４２は、スイッチ１４１と連動するようになされており、例えば、スイッチ１４１が端子ａ１乃至ａ４を選択したとき、スイッチ１４２は、端子ｂ１乃至ｂ４をそれぞれ選択するようになされている。
【０１９２】
ＲＯＭ１４３乃至１４６には、上述したような学習により求められたクラスごとの予測係数が、そのクラスに対応するアドレスに記憶されている。即ち、ＲＯＭ１４３乃至１４６には、例えば、上述したような階層符号化が行われた場合に、最上位階層の画像などを、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２の解像度に対応した下位階層の画像に変換するための予測係数が、それぞれ記憶されている。
【０１９３】
演算回路１４７には、予測値計算用ブロック化回路１３３から予測値計算用ブロックが、ＲＯＭ１４３乃至１４６のうちのいずれかからスイッチ１４２を介して、予測係数が、それぞれ供給されるようになされており、演算回路１４７は、予測値計算用ブロックと予測係数とを用いて、式（１）または（８）に対応する積和演算を行うことにより、出力装置の解像度に対応した下位階層の画像を求めるようになされている。
【０１９４】
以上のように構成される予測回路１３４では、解像度設定回路１３５からの解像度信号に対応して、スイッチ１４１において、端子ａ１乃至ａ４のうちのいずれかが選択され、スイッチ１４２においても、それに連動して、端子ｂ１乃至ｂ４のうちのいずれかが選択される。
【０１９５】
そして、クラス分類回路１３２からのクラスが、ＲＯＭ１４３乃至１４６のうちの、スイッチ１４１が選択している端子（端子ａ１乃至ａ４のうちのいずれか）に接続されているもの（以下、適宜、選択ＲＯＭという）のアドレス端子に供給される。選択ＲＯＭでは、そのアドレス端子に供給されたクラスに対応するアドレスに記憶されている予測係数が読み出され、そのデータ端子から出力される。
【０１９６】
上述したように、スイッチ１４２は、スイッチ１４１と連動しているから、選択ＲＯＭから読み出された予測係数は、スイッチ１４２を介して、演算回路１４７に供給される。
【０１９７】
演算回路１４７には、予測係数の他、上述したように、予測値計算用ブロック化回路１３３から予測値計算用ブロックが供給されるようになされており、演算回路１４７では、そこに供給される予測値計算用ブロックおよび予測係数を用いて、式（１）または（８）に対応する積和演算が行われ、これにより、出力装置の解像度に対応した下位階層の画像が生成されて出力される。
【０１９８】
従って、ユーザは、出力装置に対応する画像を視聴することができる。
【０１９９】
なお、上述の場合においては、予測係数を適応復号化装置７に記憶させておくようにしたが、予測係数は、復号に必要な情報として、送信側から伝送するようにすることも可能である。また、クラス分類用ブロックや、予測値計算用ブロックなどの構成方法も、送信側から指示するようにすることが可能である。
【図面の簡単な説明】
【０２００】
【図１】本発明を適用した画像伝送装置の一実施の形態の構成例を示すブロック図である。
【図２】ＡＤＲＣ処理を説明するための図である。
【図３】ＡＤＲＣ処理回路の構成例を示すブロック図である。
【図４】シンクブロック構成回路の構成例を示すブロック図である。
【図５】シンクブロックのフォーマットを示す図である。
【図６】階層符号化を説明するための図である。
【図７】階層符号化回路の構成例を示すブロック図である。
【図８】ＩＳＤＢ用送信装置の構成例を示すブロック図である。
【図９】ＡＤＲＣ復号回路の構成例を示すブロック図である。
【図１０】ＡＤＲＣ復号回路の他の構成例を示すブロック図である。
【図１１】ＩＳＤＢ用受信装置の構成例を示すブロック図である。
【図１２】解像度創造回路の構成例を示すブロック図である。
【図１３】クラス分類用ブロックと予測値計算用ブロックとを示す図である。
【図１４】クラス分類処理を説明するための図である。
【図１５】図１２の予測回路１３４の構成例を示すブロック図である。
【図１６】送信側から受信側に画像を伝送する画像伝送装置の構成例を示すブロック図である。
【符号の説明】
【０２０１】
１，２  ビデオカメラ，  ３  プログレッシブイメージャ，  ４  計算機，  ５  ネットワーク，  ６  統合符号化装置，  ７  適応復号化装置，  ８  画素アスペクト比変換器，  ９，１０  表示装置，  １１  プリンタ，  １２  コンピュータディスプレイ，  １３  伝送路，  ２１  ブロック化回路，  ２２  最小値検出回路，  ２３  最大値検出回路，  ２４，２５  演算器，  ２６  量子化回路，  ３１  分離器，  ３２  マルチプレクサ，  ４１，４２  平均値算出回路，  ４３，４４  画素抜き出し回路，  ４５  画素挿入回路，  ５１  符号化部，  ５２  タイムコード発生部，  ５３  符号化部，  ５４  タイムコード発生部，  ５５  符号化部，  ５６  付加情報発生部，  ５７  多重化部，  １０１  デマルチプレクサ，  １０２  逆量子化回路，  １０３  演算器，  １０４  フレーム構成回路，  １０５，１０６  セレクタ，  １０７  メモリ，  １０８  復元回路，  １１１  信号分離部，  １１２  復号部，  １１３  セレクタ，  １１４  復号部，  １１５  メモリ，  １１６  セレクタ，  １１８  アンテナ，  １１９  ＧＰＳ受信部，  １２０  地域判別部，  １２１  メモリ，  １２２  ＯＲゲート，  １２３  制御部，  １３１  クラス分類用ブロック化回路，  １３２  クラス分類回路，  １３３  予測値計算用ブロック化回路，  １３４  予測回路，  １３５  解像度設定回路，  １４１，１４２  スイッチ，  １４３乃至１４６  ＲＯＭ，  １４７  演算回
【図１】
2008178155.tif 000010
【図２】
2008178155.tif 000011
【図３】
2008178155.tif 000012
【図４】
2008178155.tif 000013
【図５】
2008178155.tif 000014
【図６】
2008178155.tif 000015
【図７】
2008178155.tif 000016
【図８】
2008178155.tif 000017
【図９】
2008178155.tif 000018
【図１０】
2008178155.tif 000019
【図１１】
2008178155.tif 000020
【図１２】
2008178155.tif 000021
【図１３】
2008178155.tif 000022
【図１４】
2008178155.tif 000023
【図１５】
2008178155.tif 000024
【図１６】
2008178155.tif 000025