(57)【特許請求の範囲】
【請求項１】
入力画像データが供給され、互いに異なる解像度を表現する、少なくとも第１および第２の階層データへ分割し、上記第１および第２の階層データを伝送するようにしたディジタル画像信号の階層符号化装置において、
生成しようとする上記第２の階層データと空間的に対応する上記第１の階層のＮ個の画素データの平均値データにより、上記第２の階層データを形成する平均化手段と、
上記第２の階層データから上記第１の階層データのＮ個の画素データをクラス分類適応予測を用いることにより予測する予測手段と、
予測された上記第１の階層データのＮ個の画素データと上記第１の階層のＮ個の画素データとの差分値を符号化する符号化手段と、
符号化された上記第１の階層のＮ個の画素データのうち（Ｎ−１）個の画素データと上記平均化手段からの第２の階層データの符号化出力とを伝送する出力手段と、を有し、
少なくとも上記第２の階層データからクラス毎に最適な予測値を学習する際に、アクティビティーの小さい画素分布を学習の対象から除外することを特徴とするディジタル画像信号の階層符号化装置。
【請求項２】
請求項１に記載のディジタル画像信号の階層符号化装置において、
上記予測手段では、
少なくとも上記第２の階層データのアクティビティを考慮してクラスを生成する手段と、
予め学習により獲得された上記最適な予測値を格納した記憶手段と、
上記クラスに対応した上記最適な予測値を生成する手段と、
からなるディジタル画像信号の階層符号化装置。
【請求項３】
請求項２に記載のディジタル画像信号の階層符号化装置において、
上記第２の階層データからクラス毎に上記最適な予測値を学習する際に、重心法による学習を行うことを特徴とするディジタル画像信号の階層符号化装置。
【請求項４】
請求項１に記載のディジタル画像信号の階層符号化装置において、
上記予測手段では、
上記第２の階層データの画素値にＡＤＲＣを適用することによりクラス分類を行い、上記クラスを表現するビット数を削減することを特徴とするディジタル画像信号の階層符号化装置。
【請求項５】
入力画像データが供給され、互いに異なる解像度を表現する、少なくとも第１および第２の階層データへ分割し、上記第１および第２の階層データを伝送するようにしたディジタル画像信号の階層符号化方法において、
生成しようとする上記第２の階層データと空間的に対応する上記第１の階層のＮ個の画素データの平均値データにより、上記第２の階層データを形成する形成工程と、
上記第２の階層データから上記第１の階層データのＮ個の画素データをクラス分類適応予測を用いることにより予測する予測工程と、
予測された上記第１の階層データのＮ個の画素データと上記第１の階層のＮ個の画素データとの差分値を符号化する符号化工程と、
符号化された上記第１の階層のＮ個の画素データのうち（Ｎ−１）個の画素データと上記平均値データにより形成される第２の階層データの符号化出力とを伝送する伝送工程と、を有し、
少なくとも上記第２の階層データからクラス毎に最適な予測値を学習する際に、アクティビティーの小さい画素分布を学習の対象から除外することを特徴とするディジタル画像信号の階層符号化方法。
【請求項６】
請求項５に記載のディジタル画像信号の階層符号化方法において、
上記予測工程は、
少なくとも上記第２の階層データのアクティビティを考慮してクラスを生成するクラス生成工程と、
予め学習により獲得された上記最適な予測値が格納された格納手段から、上記クラスに対応した上記最適な予測値を読み出す予測値読出工程と、
を有することを特徴とするディジタル画像信号の階層符号化方法。
【請求項７】
請求項６に記載のディジタル画像信号の階層符号化方法において、
上記第２の階層データからクラス毎に上記最適な予測値を学習する際に、重心法による学習を行うようにしたことを特徴とするディジタル画像信号の階層符号化方法。
【請求項８】
請求項５に記載のディジタル画像信号の階層符号化方法において、
上記予測工程は、
上記第２の階層データの画素値にＡＤＲＣを適用することによりクラス分類を行い、上記クラスを表現するビット数を削減するようにしたことを特徴とするディジタル画像信号の階層符号化方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、ディジタル画像信号の階層符号化装置において、メモリの無駄を防ぐことができるディジタル画像信号の階層符号化装置および方法に関する。
【０００２】
【従来の技術】
従来、高能率符号化および復号の例としては、特開昭５４−７４６２３号公報に記載されているＢＴＣ（Block Truncation Coding ）および本出願人が特願平４−１５５７１９号において、提案しているクラス分類適応予測があり、さらに、階層符号化としては、特開昭６３−３０６７８９号公報において提案されているピラミッド符号化などが挙げられる。
【０００３】
このピラミッド符号化とは、高解像度画像信号を第１の階層（あるいはレベル）として、これより解像度が低い第２の階層の画像信号、第２の階層の画像信号より解像度が低い第３の階層の画像信号、・・・を形成する符号化である。このピラミッド符号化によれば、複数の階層の画像信号を一つの伝送路（通信路、記録／再生プロセス）を介して伝送し、受信側では、複数の階層とそれぞれ対応するテレビジョンモニタの何れか一つにより伝送画像データを再生することができる。
【０００４】
より具体的には、標準解像度ビデオ信号、ハイビジョン信号等の高解像度ビデオ信号、コンピュータディスプレイの画像データ、画像データベースを高速検索するための低解像度ビデオ信号等が異なる解像度のビデオ信号として存在している。また、解像度の高低以外に、画像の縮小に対しても、かかる階層符号化を応用することが可能である。
【０００５】
従来のピラミッド符号化のエンコーダ構成例を図１０に、デコーダ構成例を図１１に示す。この例では５段の階層構造が使用されている。処理の基本的な考え方は図１０のエンコーダ側において、間引きフィルタと補間フィルタを使用することで、入力画像信号を解像度の異なる複数の階層画像データに分解する。入力画像に間引きフィルタを多段に施すことにより、逐次、画素数の少ない縮小画像を生成する。
【０００６】
次に、各縮小画像に補間フィルタを適用することで縮小前の各画面サイズまで補間し、各階層画像と補間画像から、信号電力低減のため差分データを生成する。例えば、５階層符号化において面積比が逐次、１、１／４、１／１６、１／６４、１／２５６のように構成される。この差分信号に対し、符号器において圧縮処理が施され、各階層のエンコーダ出力となる。
【０００７】
ここで、従来の階層符号化装置のエンコーダ側の詳細な説明を図１０のブロック図を用いて行う。入力端子１１１を介して原画像データｄ８０として間引き回路１１２および減算器１１６へ供給される。供給された原画像データｄ０は、間引き回路１１２において、水平方向に１／２および垂直方向に１／２づつ画素の間引き処理が実行され、間引きデータｄ８１が生成される。この間引きデータｄ８１は、図２に示す第２階層データに対応する。生成された間引きデータｄ８１は、間引き回路１１３および減算器１１７へ供給される。
【０００８】
間引きデータｄ８１に対して、間引き回路１１３では、上述の間引き回路１１２と同様な処理が施され、間引きデータｄ８２が生成される。この間引きデータｄ８２は、第３階層データに対応する。生成された間引きデータｄ８２は、間引き回路１１４および減算器１１８へ供給される。また、間引き回路１１４でも同様に間引きデータｄ８２に対して上述の間引き回路１１２および１１３と同様な処理が施され、間引きデータｄ８３が生成される。この間引きデータｄ８３は、第４階層データに対応する。生成された間引きデータｄ８３は、間引き回路１１５および減算器１１９へ供給される。さらに、間引き回路１１５でも同様に間引きデータｄ８３に対して上述の間引き回路１１２、１１３および１１４と同様な処理が施され、間引きデータｄ８４が生成される。この間引きデータｄ８４は、第５階層データに対応する。生成された間引きデータｄ８４は、符号化器１２４へ供給される。
【０００９】
そして、これら５つの階層データについて隣接階層間データによる差分演算が行われる。先ず、第５階層においては、何らかの圧縮のための処理が符号化器１２４において、実行される。この符号化器１２４の符号化データｄ１０１は、出力端子１３７を介して伝送されると共に、復号器１２８へも供給される。この符号化データｄ１０１は、第５階層の出力データである。符号化データｄ１０１が供給された復号器１２８において、復号された復号データｄ９６が補間回路１３２へ供給される。補間回路１３２では、供給された復号データｄ９６に対して補間処理がなされ、第４階層データの補間値ｄ９２が生成され、減算器１１９へ供給される。この減算器１１９では、間引き回路１１４から供給される間引きデータｄ８３と補間値ｄ９２との差分値が求められ、その差分値ｄ８８が符号化器１２３へ供給される。
【００１０】
差分値ｄ８８が供給された符号化器１２３では、符号化器１２４と同様に圧縮処理が行われる。この符号化器１２３の符号化データｄ１００は、出力端子１３６を介して伝送されると共に、復号器１２７へ供給される。この符号化データｄ１００は、第４階層の出力データである。符号化器１２３から符号化データｄ１００が供給された復号器１２７において、復号された復号データｄ９５が補間回路１３１へ供給される。補間回路１３１では、供給された復号データｄ９５に対して補間処理がなされ、第３階層データの補間値ｄ９１が生成され、減算器１１８へ供給される。この減算器１１８では、間引き回路１１３から供給される間引きデータｄ８２と補間値ｄ９１との差分値が求められ、その差分値ｄ８７が符号化器１２２へ供給される。
【００１１】
次に、差分値ｄ８７が供給された符号化器１２２では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２２の符号化データｄ９９は、出力端子１３５を介して伝送されると共に、復号器１２６へ供給される。この符号化データｄ９９は、第３階層の出力データである。符号化器１２２から符号化データｄ９９が供給された復号器１２６において、復号された復号データｄ９４が補間回路１３０へ供給される。補間回路１３０では、供給された復号データｄ９４に対して補間処理がなされ、第２階層データの補間値ｄ９０が生成され、減算器１１７へ供給される。この減算器１１７では、間引き回路１１２から供給される間引きデータｄ８１と補間値ｄ９０との差分値が求められ、その差分値ｄ８６が符号化器１２１へ供給される。
【００１２】
そして、差分値ｄ８６が供給された符号化器１２１では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２１の符号化データｄ９８は、出力端子１３５を介して伝送されると共に、復号器１２５へ供給される。この符号化データｄ９８は、第２階層の出力データである。符号化器１２１から符号化データが供給された復号器１２５において、復号された復号データｄ９３が補間回路１２９へ供給される。補間回路１２９では、供給された復号データｄ９３に対して補間処理がなされ、第２階層データの補間値ｄ８９が生成され、減算器１１６へ供給される。この減算器１１６では、入力端子１から供給される入力画素データｄ０と補間値ｄ８９との差分値が求められ、その差分値ｄ８５が符号化器１２０へ供給される。また、差分値ｄ８５が供給された符号化器１２０では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２０の符号化データｄ９７は、出力端子１３５を介して伝送される第１階層の出力データである。
【００１３】
一方、図１１のデコーダ構成例では、図１０に示したエンコーダの逆処理が実行される。デコーダに入力される各階層データは、復号器において復号された後、補間フィルタにおいて各階層画像サイズまで補間され、復号された差分データを加算することで各階層画像を復元する。図１０のエンコーダで生成された各階層データは、デコーダにおいて、ｄ１１０〜ｄ１１４として受信される。先ず、第５階層入力データｄ１１４は、復号器１５０においてエンコーダで施された符号化に対応する復号処理が行われ、通常の画像データｄ１１９となり、補間回路１５８および第５階層の出力となり、出力端子１６３から取り出される。
【００１４】
補間回路１５８では、第５階層の画像データｄ１１９に対して補間処理が施され、第４階層データの補間値ｄ１２３が生成される。第４階層入力データｄ１１３が復号器１４９において復元された画像データｄ１１８と補間値ｄ１２３の加算が加算器１５４で行われる。加算器１５４から加算データｄ１２７が補間回路１５７へ供給されると共に、第４階層の出力となり、出力端子１６２から取り出される。そして、補間回路１５７では、上述と同様に第４階層の画像データｄ１２７に対して補間処理が施され、第３階層データの補間値ｄ１２２が生成される。第３階層入力データｄ１１２が復号器１４８において復元された画像データｄ１１７と補間値ｄ１２２の加算が加算器１５３で行われる。加算器１５３から加算データｄ１２６が補間回路１５６へ供給されると共に、第３階層の出力となり、出力端子１６１から取り出される。
【００１５】
また、補間回路１５６では、上述と同様に第３階層の画像データｄ１２６に対して補間処理が施され、第２階層データの補間値ｄ１２１が生成される。第２階層入力データｄ１１１が復号器１４７において復元された画像データｄ１１６と補間値ｄ１２１の加算が加算器１５２で行われる。加算器１５２から加算データｄ１２５が補間回路１５５へ供給されると共に、第２階層の出力となり、出力端子１６０から取り出される。さらに、補間回路１５５では、上述と同様に第２階層の画像データｄ１２５に対して補間処理が施され、第１階層データの補間値ｄ１２０が生成される。第１階層入力データｄ１１０が復号器１４６において復元された画像データｄ１１５と補間値ｄ１２０の加算が加算器１５１で行われる。加算器１５１から加算データｄ１２４が第１階層の出力となり、出力端子１５９から取り出される。
【００１６】
【発明が解決しようとする課題】
上述した従来の階層符号化では、対象画像を複数の解像度の異なる画像で表現するとが実現される反面、エンコーダ側において複数の画像に分解した上で符号化を施すため、符号化対象画素数が増加し圧縮効率が低下するという問題があった。
【００１７】
従って、この発明の目的は、これらを鑑みて圧縮効率を低下させることなく、高品質の画質を保つことができるディジタル画像信号の階層符号化装置および方法を提供することにある。
【００１８】
【課題を解決するための手段】
請求項１に記載の発明は、入力画像データが供給され、互いに異なる解像度を表現する、少なくとも第１および第２の階層データへ分割し、第１および第２の階層データを伝送するようにしたディジタル画像信号の階層符号化装置において、生成しようとする第２の階層データと空間的に対応する第１の階層のＮ個の画素データの平均値データにより、第２の階層データを形成する平均化手段と、第２の階層データから第１の階層データのＮ個の画素データをクラス分類適応予測を用いることにより予測する予測手段と、予測された第１の階層データのＮ個の画素データと第１の階層のＮ個の画素データとの差分値を符号化する符号化手段と、符号化された第１の階層のＮ個の画素データのうち（Ｎ−１）個の画素データと平均化手段からの第２の階層データの符号化出力とを伝送する出力手段と、を有し、少なくとも第２の階層データからクラス毎に最適な予測値を学習する際に、アクティビティーの小さい画素分布を学習の対象から除外することを特徴とするディジタル画像信号の階層符号化装置である。
請求項５に記載の発明は、入力画像データが供給され、互いに異なる解像度を表現する、少なくとも第１および第２の階層データへ分割し、第１および第２の階層データを伝送するようにしたディジタル画像信号の階層符号化方法において、生成しようとする第２の階層データと空間的に対応する第１の階層のＮ個の画素データの平均値データにより、第２の階層データを形成する形成工程と、第２の階層データから第１の階層データのＮ個の画素データをクラス分類適応予測を用いることにより予測する予測工程と、予測された第１の階層データのＮ個の画素データと第１の階層のＮ個の画素データとの差分値を符号化する符号化工程と、符号化された第１の階層のＮ個の画素データのうち（Ｎ−１）個の画素データと平均値データにより形成される第２の階層データの符号化出力とを伝送する伝送工程と、を有し、少なくとも第２の階層データからクラス毎に最適な予測値を学習する際に、アクティビティーの小さい画素分布を学習の対象から除外することを特徴とするディジタル画像信号の階層符号化方法である。
【００１９】
【作用】
クラス分類適応予測によって、上位階層から下位階層のデータを予測するので高精度の予測が可能である。その結果、差分値を小さくでき、効率の良い圧縮を行うことができる。さらに、平均値に対する差分で他の階層のデータを構成するので、一つの画素データまたは一つの差分データの伝送を省略しても、受信側でこれを復元することができる。従って、各階層のデータを伝送するにもかかわらず、伝送画素数が増加しない。また、デコーダ側で演算時間が短くなり、高速処理ができ、さらに、ハードウェアの規模が小さくて良い利点がある。
【００２０】
【実施例】
以下、この発明のディジタル画像信号の階層符号化装置の一実施例について、図面を参照しながら説明する。先ず、階層間データに対し単純な算術式を用いることで、符号化対象画素数の増加を防止する一例を図１に示す。この図１は、一例として第１階層を最下位階層（原画）とし、第４階層を最上位階層とする４階層からなる階層間の模式図を示している。例えば、上位階層データ生成法として、空間的に対応する４画素の下位階層データの平均化を採用する場合、上位階層データをＭ、下位階層画素値をｘ0 、ｘ1 、ｘ2 、ｘ3 とすると、伝送画素は、４画素のままで良い。
【００２１】
すなわち、Ｍ、ｘ0 、ｘ1 、ｘ2 を用いて、
ｘ3 ＝４・Ｍ−（ｘ0 ＋ｘ1 ＋ｘ2 ）                  （１）
【００２２】
という単純な算術式により非伝送画素ｘ3 を容易に復元することが可能となる。各階層データは、下位階層の４画素平均により生成されている。そこで、例えば図中の斜線部のデータを伝送しなくとも、式（１）により全データを復元することが可能となる。
【００２３】
次に、平均化による階層データの５階層の構成例を図２に示す。第１階層が入力画像の解像度レベルであるとする。この第１階層は、ブロックサイズ（１×１）のデータ構成からなる。第２階層データは、第１階層データの４画素平均により生成される。この例では、第１階層データＸ1 （０）〜Ｘ1 （３）の平均値により、第２階層データＸ2 （０）が生成される。Ｘ2 （０）に隣接する第２階層データＸ2 （１）〜Ｘ2 （３）も同様に第１階層データの４画素平均により生成される。この第２階層は、ブロックサイズ（１／２×１／２）のデータ構成からなる。さらに、第３階層データは、空間的に対応する第２階層データの４画素平均により生成される。上述と同様にこの第３階層は、ブロックサイズ（１／４×１／４）のデータ構成からなる。また、第４階層のデータも同様に第３階層のデータから制御され、そのデータ構成は、ブロックサイズ（１／８×１／８）からなる。最後に、最上位階層である第５階層データＸ5 （０）が、第４階層データＸ4 （０）〜Ｘ4 （３）の平均化により生成される。この第５階層のデータ構成は、ブロックサイズ（１／１６×１／１６）からなる。
【００２４】
上述した符号化対象画素数の増加を防止した階層構造データに対し、上位階層データにクラス分類適応予測を適用することで、下位階層データを予測し、下位階層データとその予測値との差分を生成することで信号電力の削減を図る一実施例を図３に示すブロック図を用いて説明する。この図３は、階層符号化のエンコーダ側の構成例を示す。入力端子１を介して図２に示す第１階層データが入力画像データｄ０として平均化回路２および減算器６へ供給される。入力画素データｄ０は、平均化回路２において、図２に示した２画素×２画素ブロックによる１／４平均処理が実行され、階層データｄ１が生成される。この階層データｄ１は、図２に示す第２階層データに対応する。生成された階層データｄ１は、平均化回路３および減算器７へ供給される。
【００２５】
階層データｄ１に対して、平均化回路３では、上述の平均化回路２と同様な処理が施され、階層データｄ２が生成される。この階層データｄ２は、第３階層データに対応する。生成された階層データｄ２は、平均化回路４および減算器８へ供給される。また、平均化回路４でも同様に階層データｄ２に対して上述の平均化回路２および３と同様な処理が施され、階層データｄ３が生成される。この階層データｄ３は、第４階層データに対応する。階層データｄ３は、平均化回路５および減算器９へ供給される。さらに、平均化回路５でも同様に階層データｄ３に対して上述の平均化回路２、３および４と同様な処理が施され、階層データｄ４が生成される。この階層データｄ４は、第５階層データに対応する。生成された階層データｄ４は、符号化器１４へ供給される。
【００２６】
そして、これら５つの階層データについて隣接階層間データによる差分演算が行われる。先ず、第５階層においては、何らかの圧縮のための処理が符号化器１４において、実行される。この符号化器１４の符号化データｄ２１は、出力端子３１を介して伝送されると共に、復号器１８へも供給される。この符号化データｄ２１は、第５階層のデータである。符号化データｄ２１が供給された復号器１８において、復号された復号データｄ１６がクラス分類適応予測回路２２へ供給される。クラス分類適応予測回路２２では、復号データｄ１６を使用して予測処理がなされ、第４階層データの予測値ｄ１２が生成され、減算器９へ供給される。この減算器９では、平均化回路４から供給される階層データｄ３と予測値ｄ１２との差分値が求められ、その差分値ｄ８が符号化器１３へ供給される。
【００２７】
差分値ｄ８が供給された符号化器１３では、符号化器１４と同様に圧縮処理が行われる。この符号化器１３の符号化データは、演算器２６および復号器１７へ供給される。この演算器２６では、４画素から１画素を間引く処理が行われる。演算器２６から出力される第４階層データｄ２０は、出力端子３０を介して伝送される。符号化器１３から符号化データが供給された復号器１７において、復号された復号データｄ１５がクラス分類適応予測回路２１へ供給される。クラス分類適応予測回路２１では、復号データｄ１５を使用して予測処理がなされ、第３階層データの予測値ｄ１１が生成され、減算器８へ供給される。この減算器８では、平均化回路３から供給される階層データｄ２と予測値ｄ１１との差分値が求められ、その差分値ｄ７が符号化器１２へ供給される。
【００２８】
次に、差分値ｄ７が供給された符号化器１２では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２の符号化データは、演算器２５および復号器１６へ供給される。この演算器２５では、４画素から１画素を間引く処理が行われる。演算器２５から出力される第３階層データｄ１９は、出力端子２９を介して伝送される。符号化器１２から符号化データが供給された復号器１６において、復号された復号データｄ１４がクラス分類適応予測回路２０へ供給される。クラス分類適応予測回路２０では、復号データｄ１４を使用して予測処理がなされ、第２階層データの予測値ｄ１０が生成され、減算器７へ供給される。この減算器７では、平均化回路２から供給される階層データｄ１と予測値ｄ１０との差分値が求められ、その差分値ｄ６が符号化器１１へ供給される。
【００２９】
そして、差分値ｄ６が供給された符号化器１１では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１１の符号化データは、演算器２４および復号器１５へ供給される。この演算器２４では、４画素から１画素を間引く処理が行われる。演算器２４から出力される第２階層データｄ１８は、出力端子２８を介して伝送される。符号化器１１から符号化データが供給された復号器１５において、復号された復号データｄ１３がクラス分類適応予測回路１９へ供給される。クラス分類適応予測回路１９では、復号データｄ１３を使用して予測処理がなされ、第２階層データの予測値ｄ９が生成され、減算器６へ供給される。この減算器６では、入力端子１から供給される入力画素データｄ０と予測値ｄ９との差分値が求められ、その差分値ｄ５が符号化器１０へ供給される。
【００３０】
また、差分値ｄ５が供給された符号化器１０では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１０の符号化データは、演算器２３へ供給される。この演算器２３では、４画素から１画素を間引く処理が行われる。演算器２３から出力される第１階層データｄ１７は、出力端子２７を介して伝送される。このように、符号化対象画素数の増加を防止した階層符号化において、クラス分類適応予測が適用される。
【００３１】
次に、この発明の一実施例の階層符号化のデコーダ側の構成例を図４に示す。図３に示すエンコーダで生成された各階層データｄ１７〜ｄ２１は、ｄ３０〜ｄ３４として受信される。先ず、第５階層入力データｄ３４は、復号器５０においてエンコーダで施された符号化に対応する復号処理が行われ、画像データｄ３９となり、クラス分類適応予測回路６２および演算器５８へ供給される。また画像データｄ３９は、第５階層の出力として、出力端子６７から取り出される。
【００３２】
クラス分類適応予測回路６２では、第４階層の画像データに対してクラス分類適応予測が施され、第４階層データの予測値ｄ４７が生成される。復号器４９において復号されたデータｄ３８と予測値ｄ４７が加算器５４で加算される。加算器５４から復号画像データｄ４３が演算器５８へ供給され、演算器５８では、式（１）の演算が実行され、復号器５０から供給された画像データｄ３９と画像データｄ４３から第４階層の全画素値が復元される。この演算器５８において、復元された全画素値は、画像データｄ５１として、クラス分類適応予測回路６１および演算器５７へ供給される。また画像データｄ５１は、第４階層の出力として、出力端子６６から取り出される。
【００３３】
そして、クラス分類適応予測回路６１では、上述と同様に第３階層の画像データに対してクラス分類適応予測が施され、第３階層データの予測値ｄ４６が生成される。復号器４８において復号されたデータｄ３７と予測値ｄ４６の加算が加算器５３で行われる。加算器５３から画像データｄ４２が演算器５７へ供給され、演算器５７では、式（１）の演算が実行され、演算器５８から供給された画素データｄ５１と画像データｄ４２から第３階層の全画素値が復元される。この演算器５７において、復元された全画素値は、画像データｄ５０として、クラス分類適応予測回路６０および演算器５６へ供給される。また画像データｄ５０は、第３階層の出力として、出力端子６５から取り出される。
【００３４】
また、クラス分類適応予測回路６０では、上述と同様に第２階層の画像データに対してクラス分類適応予測が施され、第２階層データの予測値ｄ４５が生成される。復号器４７において復号されたデータｄ３６と予測値ｄ４５の加算が加算器５２で行われる。加算器５２から画像データｄ４１が演算器５６へ供給され、演算器５６では、式（１）の演算が実行され、演算器５７から供給された画像データｄ５０と画像データｄ４１から第２階層の全画素値が復元される。この演算器５６において、復元された全画素値は、画像データｄ４９として、クラス分類適応予測回路５９および演算器５５へ供給される。また画像データｄ４９は、第２階層の出力として、出力端子６４から取り出される。
【００３５】
さらに、クラス分類適応予測回路５９では、上述と同様に第１階層の画像データに対してクラス分類適応予測が施され、第１階層データの予測値ｄ４４が生成される。復号器４６において復号されたデータｄ３５と予測値ｄ４４の加算が加算器５１で行われる。加算器５１から画像データｄ４０が演算器５５へ供給され、演算器５５では、式（１）の演算が実行され、演算器５６から供給された画像データｄ４９と画像データｄ４０から第１階層の全画素値が復元される。この演算器５５において、復元された全画素値は、画像データｄ４８として、第１階層の出力として、出力端子６３から取り出される。こうして、符号化対象画素数の増加を防止した階層符号化において、クラス分類適応予測を導入することで符号化効率の向上を図ることが可能となる。
【００３６】
さて、ここで符号化効率の向上のために用いられたクラス分類適応予測について説明を行う。クラス分類適応予測とは、入力信号の特徴に基づき入力信号をいくつかのクラスに分類し、予め用意されたクラス毎の適切な適応予測を実行する手法である。
【００３７】
先ず、クラス分類法の例としては、入力信号（８ビットＰＣＭデータ）に対しクラス生成タップを設定し、入力信号の波形特性によりクラスを生成する手法が挙げられる。信号波形のクラス生成法としては次の例などが提案されている。
１）ＰＣＭデータを直接使用する方法
２）ＡＤＲＣを適用する方法
３）ＤＰＣＭを適用する方法
４）ＢＴＣを適用する方法
５）ＶＱを適用する方法
６）ＤＣＴ（アダマール変換）を適用する方法
【００３８】
ＰＣＭデータを直接使用する場合、クラス分類用に８ビットデータを７画素使用すると、２56という膨大な数のクラスに分類される。信号波形の特徴を掴むという意味では理想的ではあるが、回路上の負担は大きく、実用上は問題である。そこで実際はＡＤＲＣ（Adaptive Dynamic Range Coding ）などを適用しクラス数の削減を図る。このＡＤＲＣ、例えば特開昭６１−１４４９８９号公報に記録されているものは、信号圧縮技術として開発された手法であるが、クラス表現に使用することにも適している。基本的には再量子化処理であり、式（２）で示される。
【００３９】
【数１】
0003830549.tif 000002
但し、ｃi ：ＡＤＲＣコード
ｙi ：上位階層画素値
ＭＩＮ：近傍領域内最小値
ＤＲ：近傍領域内ダイナミックレンジ
ｋ：再量子化ビット数
【００４０】
注目画素近傍の数画素に対し式（２）で定義されるＡＤＲＣを用いて生成されるＡＤＲＣコードよりクラス分類を行う。例えば７タップデータに対し１ビットＡＤＲＣを適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素中の最小値を除去した上で各タップの画素値を適応的に１ビット量子化するので、１２８クラスに削減することが可能となる。９タップデータに対しても５１２クラスで分類することが可能となる。他に圧縮技術として一般的な、ＤＰＣＭ（予測符号化）、ＢＴＣ（Blok Truncation Coding）、ＶＱ（Vector Quantization ）、ＤＣＴ（Discrete Cosine Transform ）などの周波数領域クラスが挙げられる。
【００４１】
また、クラス分類の性能を更に向上させるため、上位階層データのアクティビティーも考慮した上でクラス分類が行われることがある。アクティビティーの判定法の例としては、クラス分類法にＡＤＲＣを使用した場合、ダイナミックレンジを用いることが多い。また、ＤＰＣＭならば差分絶対値和、ＢＴＣのときは標準偏差の絶対値などが用いられる。また、上記の学習過程において、アクティビティーの小さい学習分布は学習対象からはずす。この理由は、アクティビティーの小さい部分はノイズの影響が大きく、本来のクラスの予測値から外れることが多い。それを学習に入れると予測精度が低下する。これを避けるため、学習においては、アクティビティーの小さい画素分布を除外する。こうして分類されたクラス毎に適応予測を実行するが、適応予測としては予め学習された予測係数を用いた予測演算を行う方式と、重心法により予測値を学習しておく方式が提案されている。
【００４２】
次に、予め学習により生成されたクラス毎の予測係数を用いた予測演算を行う適応予測について説明する。図５Ａ、Ｂに示すように、下位階層の４画素ｘ0 〜ｘ3 から上位階層データｙ4 が生成される場合、上位階層データより下位階層データを予測する。例えば、上位階層データｙ0 〜ｙ8 の９画素により予測タップを構成し、下位階層データｘ´を予測する。このときの予測式の一例を式（３）に示す。
【００４３】
【数２】
0003830549.tif 000003
但し、ｘ´：下位階層予測値
ｙi ：上位階層予測タップ画素値
ｗi ：予測係数
【００４４】
例えば、１ビットＡＤＲＣを図５Ａに示すｙ0 〜ｙ8 の９画素に対して施し５１２クラスに分類した場合、各クラス毎に生成された予測係数と上位階層データとの積和演算により下位階層データを予測する。この例においては、図５Ｂに示すように、ｘ0 〜ｘ3 の４画素がｙ0 〜ｙ8 を使用して予測され、同じクラスであってもｘ0 〜ｘ3 のそれぞれについて、独立に４種類の予測係数が生成される。
【００４５】
ここで、クラス分類適応予測の一例の回路構成を図５Ｃに示す。７１で示す入力端子から入力信号ＩＮがクラス分類部７２および予測演算部７４へ供給される。クラス分類部７２においては、上述のようなクラス分類処理に基づき、入力信号ＩＮに対するクラスｄ６０が生成される。このクラスｄ６０をアドレスとして予測係数ＲＯＭ７３より予測係数ｄ６１が予測演算部７４に供給される。予測演算部７４において、入力信号ＩＮと予測係数ｄ６１を用いて式（３）の予測演算が実行され、出力端子７５を介して演算結果、すなわち予測値が取り出される。
【００４６】
次に、上述した予測係数は、予め学習により生成しておくが、その学習方法について説明する。式（３）の線形一次結合モデルに基づく予測係数を最小自乗法により生成する一例を示す。最小自乗法は次のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として次の式を考える。
観測方程式：ＸＷ＝Ｙ                                （４）
【数３】
0003830549.tif 000004
【００４７】
上述の観測方程式により収集されたデータに最小自乗法を適用する。式（３）の例においては、ｎ＝９、ｍが学習データ数となる。式（４）の観測方程式をもとに、式（６）の残差方程式を考える。
残差方程式：
【数４】
0003830549.tif 000005
【００４８】
式（６）の残差方程式から、各ｗi の最確値は、
【数５】
0003830549.tif 000006
を最小にする条件が成り立つ場合と考えられる。すなわち、式（７）の条件を考慮すれば良いわけである。
【００４９】
【数６】
0003830549.tif 000007
式（７）のｉに基づく条件を考え、これを満たすｗ1 、ｗ2 、‥‥、ｗn を算出すれば良い。そこで、残差方程式の式（６）から式（８）が得られる。
【００５０】
【数７】
0003830549.tif 000008
式（７）と式（８）により式（９）が得られる。
【００５１】
【数８】
0003830549.tif 000009
そして、式（６）と式（９）から正規方程式として式（１０）が得られる。
【００５２】
【数９】
0003830549.tif 000010
【００５３】
式（１０）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００５４】
ここで、この最小自乗法を用いた学習をソフトウェアで行う一例を図６のフローチャートに示す。先ず、ステップ８１の学習データ形成では、入力データに対しクラス分類が行われる。ステップ８３のクラス決定において、この例では９画素のデータ変化が検出される。ステップ８４の正規方程式生成では、各クラス毎に式（１０）に示す正規方程式を生成する。このとき一般に、ノイズの影響を排除するため、入力データ変化のアクティビティーが小さいものを学習対象から除外する。この学習プロセスにおいて、多くの学習データが登録された正規方程式が生成される。学習対象データが終了するまで、正規方程式生成プロセスが繰り返される。
【００５５】
すなわち、ステップ８２のデータ終了では、学習対象データ数の終了が確認されるまで上述のプロセスが繰り返される。そして、学習対象データ数の終了が確認された場合、このステップ８２（データ終了）からステップ８５の予測係数決定へ制御が移る。ステップ８５（予測係数決定）では、多くの学習データより生成された、クラス毎の式（１０）の正規方程式が解かれる。その連立方程式の解法として、この一例では、上述した掃き出し法が用いられる。こうして得られた予測係数は、ステップ８６の予測係数登録において、クラス別にアドレス分割されたＲＯＭ等の記憶部に登録される。このような学習過程により、クラス分類適応予測の予測係数が生成される。
【００５６】
次に、クラス分類適応予測の適応処理法として、重心法により予測値を学習するときの手法の一例について説明する。上述のように上位階層データの信号の特徴に基づき分類されたクラス毎に、予め最適補間値を重心法により生成する。例えば、上述したように、図５Ａの９画素に対して、１ビットＡＤＲＣを施すことにより、５１２クラスに分類する場合を考える。図７の学習フローチャートに沿って手順を示す。ステップ９１の初期化では、先ず、全てのクラスの度数カウンタＮ（＊）と、全てのクラスのデータテーブルＥ（＊）を初期化する。ここで、一例として、あるクラスをＣ０とすると、対応する度数カウンタは、Ｎ（Ｃ０）、対応するデータテーブルはＥ（Ｃ０）と定義する。また、＊はクラスの全てを示す。
【００５７】
次に、ステップ９２のクラス検出において、学習対象画素近傍データからクラスＣを決定する。図５Ａに示すように上位階層の９画素がクラス生成用に使用されるとする。このクラス分類手法としては、上述したようにＡＤＲＣの他にも、ＰＣＭ、ＤＰＣＭ、ＢＴＣ、ＶＱ、ＤＣＴなどの表現法が考えられる。また、クラス分類対象データより構成されるブロックのアクティビティーを考慮する場合は、クラス数をアクティビティーによる分類の種類だけ増やしておく。そして、ステップ９３のデータ検出では、この学習対象となる下位階層画素値ｘが検出され、ステップ９４のクラス別データ加算では、クラスＣ毎に検出された下位階層画素値ｘを加算する。すなわち、クラスＣのデータテーブルＥ（＊）を生成する。
【００５８】
そして、ステップ９５のクラス別度数加算では、クラスＣの学習画素の度数カウンタＮ（Ｃ）を＋１インクリメントする。ステップ９６の全データ終了では、これらの処理を学習対象画素について繰り返し実行し、最終的な全てのクラスの度数カウンタＮ（＊）と、対応する全てのクラスのデータテーブルＥ（＊）を生成する。全データが終了していれば、ステップ９７のクラス別平均値算出へ制御が移る。次に、ステップ９７（クラス別平均値算出）では、各クラスのデータテーブルＥ（＊）の内容であるデータ積算値を、対応クラスの度数カウンタＮ（＊）の度数で、除算を実行することで各クラスの平均値を算出する。この値が重心法による各クラスの最適予測値となる。重心法という名称の由来は、学習対象画素値の分布の平均をとることによる。最終的に算出された平均値は、ステップ９８のクラス別平均値登録において、クラス別にアドレス分割されたＲＯＭ等の記憶部に登録される。上述のように学習過程において、ノイズの影響を排除するため、アクティビティーの小さい画素分布は学習対象からはずすことも考えられる。
【００５９】
重心法に基づく学習により生成された最適予測値を用い、クラス分類適応予測により予測処理を実行する一例の回路構成を図８に示す。入力端子１０１を介して供給される上位階層データに対し、クラス分類部１０２では、クラス分類が行われる。このクラス分類に基づいて重心法により予め生成されたクラス毎の最適予測値が保持されているＲＯＭ１０３から予測値が読み出される。このとき、ＲＯＭ１０３のアドレスは、各クラスに対応している。読み出された予測値は、出力端子１０４から取り出される。
【００６０】
ここで、重心法に基づく学習により生成された最適予測値を用い、クラス分類適応予測により予測処理を実行する他の例の回路構成を図９に示す。入力端子１０５を介して供給される上位階層データｄ７０に対し、クラス分類部１０２においてクラス分類が行われる。このクラスは、ｄ７１として後段に伝送される。重心法により予め生成されたクラス毎の最適予測値は、最適予測値ＲＯＭ１０７にクラス別に登録されている。この最適予測値ＲＯＭ１０７のアドレスは、各クラスに対応させる。
【００６１】
上述の図８の構成例においては、上位階層データのアクティビティーを考慮していないが、この例では、上位階層データのアクティビティーを考慮した上でクラス分類が行われる。そこで、アクティビティークラス分類部１０６において、入力された上位階層データｄ７０のブロック毎のアクティビティーに基づくクラス分類を行う。アクティビティーの具体的なものは、上述したようにブロックのダイナミックレンジ、ブロックデータの標準偏差の絶対値、ブロックデータの平均値に対する各画素の値の差分の絶対値等である。アクティビティーにより画像の性質が異なる場合があるので、このようなアクティビティーをクラス分類のパラメータとして使用することによって、クラス分類をより高精度とすることができ、また、クラス分類の自由度を増すことができる。
【００６２】
クラス分類部１０２およびアクティビティークラス分類部１０７によるクラス分類の動作は、先ず、アクティビティークラス分類部１０７によって、ブロックのアクティビティーにより複数のクラスに分け、そのクラス毎にクラス分類部１０２によるクラス分けを行う。クラス分類部１０２およびアクティビティークラス分類部１０７からクラスｄ７１およびｄ７２が最適予測値ＲＯＭ１０７に対してアドレスとして供給され、最適予測値ＲＯＭ１０７から予測下位階層データｄ７３が発生し、出力端子１０８から取り出される。以上の処理により重心法を用いたクラス分類適応予測が実行される。
【００６３】
上述の実施例の具体的な応用例としては、ハイビジョンテレビ静止画像のデータベースを構成した場合、最下位階層データ、すなわち第１階層（原画像）データがハイビジョン解像度の再生データであり、第２階層データが標準解像度の再生データとなり、最上位階層データ、すなわち第５階層データは、高速検索用の低解像度の再生データとなる。
【００６４】
なお、情報量の削減を目的として圧縮符号化を採用する場合には、復号化装置により得られた再生画像データは、入力された原画像データと必ずしも一致しないが、視覚的に劣化を検知できない程度にすることが可能である。また、平均値を形成するのに単純平均値に限らず、加重平均値を形成しても良い。
【００６５】
さらに、この発明は、量子化ステップ幅を制御する等によって、発生情報量を制御するバッファリングの構成を備える階層符号化システムに対しても適用することができる。
【００６６】
【発明の効果】
この発明に依れば、複数の解像度を有する階層符号化を実現することが容易にできる。また、この発明に依れば、圧縮効率の低下しない階層符号化を実現することが容易にできる。さらに、この発明に依れば、画質劣化の少ない階層符号化を実現することができる。
【００６７】
そして、この発明に依れば、従来単に上位階層データに対し、周波数フィルタで画素補間を行い、下位階層データとの差分値を生成していたが、クラス分類適応予測による下位階層データの予測を行うことにより大幅な信号電力の削減を実現することができる。
【図面の簡単な説明】
【図１】この発明に係る階層符号化の一例の説明に用いる略線図である。
【図２】この発明に係る階層符号化の一構成例の説明に用いる略線図である。
【図３】この発明のクラス分類適応予測が使用された階層符号化のエンコード側の一例を示すブロック図である。
【図４】この発明のクラス分類適応予測が使用された階層符号化のデコード側の一例を示すブロック図である。
【図５】この発明に係る予測係数方式を使用するクラス分類適応予測の一例の説明に用いる略線図である。
【図６】この発明に係るクラス分類適応予測の予測係数の係数値を学習する一例を示すフローチャートである。
【図７】この発明に係るクラス分類適応予測の重心法の最適予測値を学習する一例を示すフローチャートである。
【図８】この発明に係る重心法方式を使用するクラス分類適応予測の一例の説明に用いるブロック図である。
【図９】この発明に係る重心法方式において、アクティビティーを使用するクラス分類適応予測の一例の説明に用いるブロック図である。
【図１０】従来の階層符号化のエンコード側の一例を示すブロック図である。
【図１１】従来の階層符号化のデコード側の一例を示すブロック図である。
【符号の説明】
２、３、４、５  平均化回路
１０、１１、１２、１３、１４  符号化器
１５、１６、１７、１８  復号器
１９、２０、２１、２２  クラス分類適応予測回路
２３、２４、２５、２６  演算器
【図１】
0003830549.tif 000011
【図２】
0003830549.tif 000012
【図３】
0003830549.tif 000013
【図４】
0003830549.tif 000014
【図５】
0003830549.tif 000015
【図６】
0003830549.tif 000016
【図７】
0003830549.tif 000017
【図８】
0003830549.tif 000018
【図９】
0003830549.tif 000019
【図１０】
0003830549.tif 000020
【図１１】
0003830549.tif 000021