(57)【要約】【課題】元の画像とほぼ同一の復号画像が得られるようにする。【解決手段】演算回路２６において、ブロックを構成する画素の画素値と、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算が行われることにより、画像の画素数を少なくした補正データが算出され、ローカルデコード部２７において、その補正データに基づいて、元の画像の予測値が予測される。そして、誤差算出部２８において、その予測値の、元の画像に対する予測誤差が検出され、マッピング設定回路３０において、その予測誤差に基づいて、ブロックのクラスに対応するマッピング係数が変更される。以上の処理が繰り返されることにより、予測誤差が所定の閾値以下となったときにおけるマッピング係数が求められ、このマッピング係数を用いて、画像の画素数を少なくさせる。【選択図】図７
2006115526.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化する画像符号化装置と、符号化された前記画像を復号化する画像復号化装置とからなる画像処理システムであって、
前記画像符号化装置は、
前記画像を構成する画素から注目している注目画素周辺内に有する複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目画素を第１のクラスに分類する分類手段と、
前記第１のクラスごとに、前記画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段と、
前記画像の中の、注目している前記注目画素周辺内に有する複数の画素と、前記注目画素の第１のクラスに対応する前記マッピング係数とを引数とする所定の関数の演算を行うことにより、前記画像の前記注目画素を前記注目画素周辺内に有する複数の画素に基づいて符号化し、符号化データとして出力する演算手段と
を備え、
前記画像復号化装置は、
前記画像符号化装置で符号化させた前記符号化データを受信する受信手段と、
前記符号化データを復号化する復号化手段と
を備えることを特徴とする画像処理システム。
【請求項２】
前記演算手段は、符号化された前記注目画素を、前記注目画素周辺内に有する複数の画素の前記符号化データとすることによって、前記画像の画素数を少なくしたものを算出する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記復号化手段は、
前記符号化データとの線形結合により、前記符号化データから予測される元の画像の予測値を算出するための予測係数を、第２のクラスごとに記憶している予測係数記憶手段と、
前記符号化データを、その性質に応じて前記第２のクラスのうちのいずれかに分類する分類手段と、
前記符号化データの第２のクラスについての前記予測係数を、前記予測係数記憶手段から読み出し、その予測係数と前記符号化データとから、前記予測値を求める予測値演算手段と
を備えることを特徴とする請求項２に記載の画像処理システム。
【請求項４】
画像を符号化した符号化データを復号化する画像復号化装置であって、
前記符号化データを受信する受信手段と、
前記画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、前記注目画素の画素値が前記注目画素の周辺の周辺画素の画素値に基づいて補正された前記符号化データを算出する所定の演算に用いるマッピング係数が、前記符号化データに符号化された元の画像をその前記符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の前記予測結果の予測と同様に、前記符号化データから前記画像を復号化する復号化手段と
を備えることを特徴とする画像復号化装置。
【請求項５】
前記符号化データは、前記画像の画素数を少なくしたものである
ことを特徴とする請求項４に記載の画像復号化装置。
【請求項６】
前記マッピング係数は、学習用の画像データを用いて、符号化された前記学習用の画像データから予測される学習用の画像を構成する画素の画素値の、その元の学習用の画像を構成する画素の画素値に対する予測誤差があらかじめ定められた所定値以下となるように学習を行うことにより生成されたものである
ことを特徴とする請求項５に記載の画像復号化装置。
【請求項７】
前記マッピング係数は、前記符号化データから予測される元の画像を構成する画素の画素値の、その元の画像を構成する画素の画素値に対する予測誤差が最小になるように学習を行うことにより得られたものである
ことを特徴とする請求項５に記載の画像復号化装置。
【請求項８】
前記マッピング係数は、前記符号化データから予測される元の画像を構成する画素の画素値の、その元の画像を構成する画素の画素値に対する予測誤差が所定値以下になるように学習を行うことにより得られたものである
ことを特徴とする請求項５に記載の画像復号化装置。
【請求項９】
画像を符号化した符号化データを復号化する画像復号化方法であって、
前記符号化データを受信し、
前記画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、前記注目画素の画素値が前記注目画素の周辺の周辺画素の画素値に基づいて補正された前記符号化データを算出する所定の演算に用いるマッピング係数が、前記符号化データに符号化された元の画像をその前記符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の前記予測結果の予測と同様に、前記符号化データから前記画像を復号化する
ことを特徴とする画像復号化方法。
【請求項１０】
画像を符号化した符号化データを復号化する復号処理用のプログラムであって、
前記符号化データを受信し、
前記画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、前記注目画素の画素値が前記注目画素の周辺の周辺画素の画素値に基づいて補正された前記符号化データを算出する所定の演算に用いるマッピング係数が、前記符号化データに符号化された元の画像をその前記符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の前記予測結果の予測と同様に、前記符号化データから前記画像を復号化する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像復号化装置および画像復号化方法、並びに記録媒体に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像処理システム、画像復号化装置および画像復号化方法、並びに記録媒体に関する。
【背景技術】
【０００２】
従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの１つに、画像を、例えばその画素を間引くこと（Subsampling）により圧縮する方法がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないこととが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面は、画像を符号化する画像符号化装置と、符号化された前記画像を復号化する画像復号化装置とからなる画像処理システムであって、前記画像符号化装置は、前記画像を構成する画素から注目している注目画素周辺内に有する複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目画素を第１のクラスに分類する分類手段と、前記第１のクラスごとに、前記画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段と、前記画像の中の、注目している前記注目画素周辺内に有する複数の画素と、前記注目画素の第１のクラスに対応する前記マッピング係数とを引数とする所定の関数の演算を行うことにより、前記画像の前記注目画素を前記注目画素周辺内に有する複数の画素に基づいて符号化し、符号化データとして出力する演算手段とを備え、前記画像復号化装置は、前記画像符号化装置で符号化させた前記符号化データを受信する受信手段と、前記符号化データを復号化する復号化手段とを備えることを特徴とする画像処理システムである。
【０００７】
前記演算手段は、符号化された前記注目画素を、前記注目画素周辺内に有する複数の画素の前記符号化データとすることによって、前記画像の画素数を少なくしたものを算出するようにすることができる。
【０００８】
前記復号化手段は、前記符号化データとの線形結合により、前記符号化データから予測される元の画像の予測値を算出するための予測係数を、第２のクラスごとに記憶している予測係数記憶手段と、前記符号化データを、その性質に応じて前記第２のクラスのうちのいずれかに分類する分類手段と、前記符号化データの第２のクラスについての前記予測係数を、前記予測係数記憶手段から読み出し、その予測係数と前記符号化データとから、前記予測値を求める予測値演算手段とを備えるようにすることができる。
【０００９】
本発明の第１の側面においては、画像を符号化する画像符号化装置と、符号化された前記画像を復号化する画像復号化装置とからなる画像処理システムであって、前記画像符号化装置では、前記画像を構成する画素から注目している注目画素周辺内に有する複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目画素が第１のクラスに分類され、前記第１のクラスごとに、前記画像を符号化するための所定のマッピング係数が記憶され、前記画像の中の、注目している前記注目画素周辺内に有する複数の画素と、前記注目画素の第１のクラスに対応する前記マッピング係数とを引数とする所定の関数の演算を行うことにより、前記画像の前記注目画素が前記注目画素周辺内に有する複数の画素に基づいて符号化され、符号化データとして出力され、前記画像復号化装置では、前記画像符号化装置で符号化させた前記符号化データが受信され、前記符号化データが復号化される。
【００１０】
本発明の第２の側面は、画像を符号化した符号化データを復号化する画像復号化装置であって、前記符号化データを受信する受信手段と、前記画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、前記注目画素の画素値が前記注目画素の周辺の周辺画素の画素値に基づいて補正された前記符号化データを算出する所定の演算に用いるマッピング係数が、前記符号化データに符号化された元の画像をその前記符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の前記予測結果の予測と同様に、前記符号化データから前記画像を復号化する復号化手段とを備えることを特徴とする画像復号化装置である。
【００１１】
前記符号化データは、前記画像の画素数を少なくしたものであるようにすることができる。
【００１２】
前記マッピング係数は、学習用の画像データを用いて、符号化された前記学習用の画像データから予測される学習用の画像を構成する画素の画素値の、その元の学習用の画像を構成する画素の画素値に対する予測誤差があらかじめ定められた所定値以下となるように学習を行うことにより生成されたものであるようにすることができる。
【００１３】
前記マッピング係数は、前記符号化データから予測される元の画像を構成する画素の画素値の、その元の画像を構成する画素の画素値に対する予測誤差が最小になるように学習を行うことにより得られたものであるようにすることができる。
【００１４】
前記マッピング係数は、前記符号化データから予測される元の画像を構成する画素の画素値の、その元の画像を構成する画素の画素値に対する予測誤差が所定値以下になるように学習を行うことにより得られたものであるようにすることができる。
【００１５】
本発明の第２の側面は、画像を符号化した符号化データを復号化する画像復号化方法であって、前記符号化データを受信し、前記画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、前記注目画素の画素値が前記注目画素の周辺の周辺画素の画素値に基づいて補正された前記符号化データを算出する所定の演算に用いるマッピング係数が、前記符号化データに符号化された元の画像をその前記符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の前記予測結果の予測と同様に、前記符号化データから前記画像を復号化することを特徴とする画像復号化方法である。
【００１６】
本発明の第２の側面は、画像を符号化した符号化データを復号化する復号処理用のプログラムであって、前記符号化データを受信し、前記画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、前記注目画素の画素値が前記注目画素の周辺の周辺画素の画素値に基づいて補正された前記符号化データを算出する所定の演算に用いるマッピング係数が、前記符号化データに符号化された元の画像をその前記符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の前記予測結果の予測と同様に、前記符号化データから前記画像を復号化することを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体である。
【００１７】
本発明の第２の側面においては、画像を符号化した符号化データを復号化する画像復号化装置であって、前記符号化データが受信され、前記画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、前記注目画素の画素値が前記注目画素の周辺の周辺画素の画素値に基づいて補正された前記符号化データを算出する所定の演算に用いるマッピング係数が、前記符号化データに符号化された元の画像をその前記符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の前記予測結果の予測と同様に、前記符号化データから前記画像が復号化される。
【発明の効果】
【００１８】
以上のように、本発明の第１の側面によれば、元の画像を復号するのに最適な符号化データを得ることができ、その符号化データから、元の画像とほぼ同一の復号画像を得ることが可能となる。
【００１９】
また、本発明の第２の側面によれば、符号化データから、元の画像とほぼ同一の復号画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２１】
本発明の第１の側面の画像処理システム（例えば、図１の画像処理システム）は、画像符号化装置（例えば、図１の送信装置１）は、画像を構成する画素から注目している注目画素周辺内に有する複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を第１のクラスに分類する分類手段（例えば、図２のクラス分類回路１３）と、第１のクラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図２のマッピング係数メモリ１４）と、画像の中の、注目している注目画素周辺内に有する複数の画素と、注目画素の第１のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、画像の注目画素を注目画素周辺内に有する複数の画素に基づいて符号化し、符号化データとして出力する演算手段（例えば、図２の演算回路１６）とを備え、画像復号化装置（例えば、図１の受信装置４）は、画像符号化装置で符号化させた符号化データを受信する受信手段（例えば、図１８の受信機／再生装置９１）と、符号化データを復号化する復号化手段（例えば、図１８のデコード部９２）とを備える。
【００２２】
演算手段は、符号化された注目画素を、注目画素周辺内に有する複数の画素の符号化データとすることによって、画像の画素数を少なくしたものを算出するようにすることができる。
【００２３】
復号化手段は、符号化データとの線形結合により、符号化データから予測される元の画像の予測値を算出するための予測係数を、第２のクラスごとに記憶している予測係数記憶手段（例えば、図１８の予測係数ＲＯＭ９７）と、符号化データを、その性質に応じて第２のクラスのうちのいずれかに分類する分類手段（例えば、図１８のクラス分類回路９６）と、符号化データの第２のクラスについての予測係数を、予測係数記憶手段から読み出し、その予測係数と符号化データとから、予測値を求める予測値演算手段（例えば、図１８の予測回路９８）とを備えるようにすることができる。
【００２４】
本発明の第２の側面の画像復号化装置（例えば、図１の受信装置４）は、符号化データを受信する受信手段（例えば、図１８の受信機／再生装置９１）と、画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、注目画素の画素値が注目画素の周辺の周辺画素の画素値に基づいて補正された符号化データを算出する所定の演算に用いるマッピング係数が、符号化データに符号化された元の画像をその符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の予測結果の予測と同様に、符号化データから画像を復号化する復号化手段（例えば、図１８のデコード部９２）とを備える。
【００２５】
符号化データは、画像の画素数を少なくしたものであるようにすることができる。
【００２６】
マッピング係数は、学習用の画像データを用いて、符号化された学習用の画像データから予測される学習用の画像を構成する画素の画素値の、その元の学習用の画像を構成する画素の画素値に対する予測誤差があらかじめ定められた所定値以下となるように学習を行うことにより生成されたものであるようにすることができる。
【００２７】
マッピング係数は、符号化データから予測される元の画像を構成する画素の画素値の、その元の画像を構成する画素の画素値に対する予測誤差が最小になるように学習を行うことにより得られたものであるようにすることができる。
【００２８】
マッピング係数は、符号化データから予測される元の画像を構成する画素の画素値の、その元の画像を構成する画素の画素値に対する予測誤差が所定値以下になるように学習を行うことにより得られたものであるようにすることができる。
【００２９】
本発明の第２の側面の画像復号化方法または記録媒体に記録されているプログラムは、符号化データを受信し、画像の中の、注目された注目画素の性質に応じて分類されるクラスに対応するマッピング係数であって、注目画素の画素値が注目画素の周辺の周辺画素の画素値に基づいて補正された符号化データを算出する所定の演算に用いるマッピング係数が、符号化データに符号化された元の画像をその符号化データから予測した予測結果についての、その元の画像に対する予測誤差が最小となるように求められる場合の予測結果の予測と同様に、符号化データから画像を復号化する。
【００３０】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００３１】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。送信装置１には、ディジタル化された画像データが供給されるようになされている。
【００３２】
送信装置１は、入力された画像データに対して、所定の演算処理を施すことで、その画素数を間引く（少なくする）ことにより圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００３３】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像は、図示せぬディスプレイに供給されて表示される。
【００３４】
なお、以上のような画像処理システムは、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、図１の画像処理システムは、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００３５】
図２は、図１の送信装置１の構成例を示している。
【００３６】
ブロック化回路１１には、符号化すべき画像データが入力されるようになされており、ブロック化回路１１は、画像データを、その性質に応じて所定のクラス（第１のクラス）に分類するための単位である、例えば、注目される画素を中心とする複数の画素で構成されるクラス分類用ブロックにブロック化し、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路１２および遅延回路１５に供給するようになされている。
【００３７】
ＡＤＲＣ処理回路１２は、ブロック化回路１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１３に供給するようになされている。
【００３８】
ここで、ＡＤＲＣ処理よれば、クラス分類用ブロックを構成する画素のビット数が低減されるようになされている。
【００３９】
即ち、例えば、いま、説明を簡単にするため、図３（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００４０】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図３（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００４１】
以上のようなＡＤＲＣ処理によれば、ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うことで、そのビット数を低減することができる。
【００４２】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００４３】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００４４】
図２に戻り、クラス分類回路１３は、ＡＤＲＣ処理回路１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロックがいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１４に供給するようになされている。
【００４５】
ここで、クラス分類処理について説明する。いま、例えば、図４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図４（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。即ち、注目画素の分類を行うことができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路１３において行われる。
【００４６】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）（動き量）などをも考慮して行うようにすることが可能である。
【００４７】
ここで、符号化すべき画像データに、例えば８ビットが割り当てられている場合において、クラス分類用ブロックが、例えば３×３の９画素で構成されるときに、そのようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００４８】
そこで、上述したように、ＡＤＲＣ処理回路１２において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を低減し、さらに、クラス数も削減するようになされている。即ち、ＡＤＲＣ処理回路１２において、例えば１ビットのＡＤＲＣ処理が行われるとした場合には、クラス数は、（２8）9から（２1）9、即ち、５１２に低減される。
【００４９】
なお、本実施の形態では、クラス分類回路１３において、ＡＤＲＣ処理回路１２から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００５０】
再び、図２に戻り、マッピング係数メモリ１４は、後述するような学習（マッピング係数学習）により得られるマッピング係数を、クラス情報ごとに記憶しており、クラス分類回路１３から供給されるクラス情報をアドレスとして、そのアドレスに記憶されているマッピング係数を読み出し、演算回路１６に供給するようになされている。
【００５１】
遅延回路１５は、ブロック化回路１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるまで遅延し、演算回路１６に供給するようになされている。
【００５２】
演算回路１６は、遅延回路１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いて（少なくして）符号化した符号化データを算出するようになされている。即ち、演算回路１６は、ブロック化回路１１が出力するブロックを構成する各画素の画素値をｙ1，ｙ2，・・・とするとともに、マッピング係数メモリ１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ1，ｋ2，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算し、その関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を、ブロック化回路１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。
【００５３】
従って、ブロック化回路１１が出力するクラス分類用ブロックを構成する画素数をＮとすると、演算回路１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。
【００５４】
なお、演算回路１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の画素を抽出して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）であるが、この関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータである符号化データを、以下、適宜、補正データともいう。
【００５５】
また、演算回路１６における演算処理は、ブロック化回路１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ1，ｋ2，・・・をマッピング係数と呼んでいる。
【００５６】
送信機／記録装置１７は、演算回路１６から符号化データとして供給される補正データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００５７】
次に、図５のフローチャートを参照して、その動作について説明する。
【００５８】
ブロック化回路１１には、例えば、１フレーム単位で画像データが供給されるようになされており、ブロック化回路１１では、ステップＳ１において、１フレームの画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１は、例えば、図６に四角形で囲んで示すように、画像データを、注目画素（図６の実施の形態では、同図に●印で示す横および縦に２個おきの画素が注目画素になり得る）を中心とした３×３（横×縦）の９画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１２および遅延回路１５に、順次供給する。
【００５９】
なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。
【００６０】
ＡＤＲＣ処理回路１２は、ブロック化回路１１からクラス分類用ブロックを受信すると、ステップＳ２において、そのブロックに対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１３に供給される。
【００６１】
クラス分類回路１３では、ステップＳ３において、ＡＤＲＣ処理回路１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１４に、アドレスとして供給される。これにより、マッピング係数メモリ１４からは、クラス分類回路１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１６に供給される。
【００６２】
一方、遅延回路１５では、ブロック化回路１１からのクラス分類用ブロックが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるのを待って、演算器１６に供給される。演算器１６では、ステップＳ４において、遅延回路１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値ｙ1，ｙ2，・・・と、マッピング係数ｋ1，ｋ2，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を補正した補正データが算出される。この補正データは、画像を符号化した符号化データとして、送信機／記録装置１７に供給される。
【００６３】
送信機／記録装置１７では、ステップＳ５において、演算回路１６からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００６４】
そして、ステップＳ６に進み、１フレーム分の画像データについての処理が終了したかどうかが判定される。ステップＳ６において、１フレーム分の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ２に戻り、次のクラス分類用ブロックを対象に、ステップＳ２以下の処理が繰り返される。また、ステップＳ６において、１フレーム分の画像データについての処理が終了したと判定された場合、ステップＳ１に戻り、次のフレームを対象に、ステップＳ１以下の処理が繰り返される。
【００６５】
次に、図７は、図２のマッピング係数メモリ１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の第１の構成例を示している。
【００６６】
メモリ２１には、学習に適したディジタル画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。ブロック化回路２２は、メモリ２１に記憶されている画像データを読み出し、図２のブロック化回路１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路２３および演算回路２６に供給するようになされている。
【００６７】
ＡＤＲＣ処理回路２３またはクラス分類回路２４は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路２４からは、ブロック化回路２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ３１に、アドレスとして供給されるようになされている。
【００６８】
演算器２６は、ブロック化回路２２から供給されるブロックを構成する画素と、マッピング係数メモリ３１から供給されるマッピング係数とを用いて、図２の演算回路１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、ローカルデコード部２７に供給するようになされている。
【００６９】
ローカルデコード部２７は、演算回路２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路２２が出力するブロックを構成する画素の画素値の予測値）を予測し（算出し）、誤差算出部２８に供給するようになされている。誤差算出部２８は、ローカルデコード部２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部２９に供給するようになされている。
【００７０】
判定部２９は、誤差算出部２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路３０を制御するようになされている。マッピング係数設定回路３０は、判定部２９の制御にしたがって、クラス分類回路２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ３１に供給するようになされている。
【００７１】
マッピング係数メモリ３１は、マッピング係数設定回路３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ３１は、クラス分類回路２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。
【００７２】
また、マッピング係数メモリ３１は、クラス分類回路２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路２６に供給するようにもなされている。
【００７３】
次に、図８のフローチャートを参照して、その動作について説明する。
【００７４】
まず最初に、マッピング係数設定回路３０は、ステップＳ５１においてマッピング係数の初期値のセットを、クラス分類回路２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ３１に供給する。マッピング係数メモリ３１では、マッピング係数設定回路３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。
【００７５】
そして、ブロック化回路２２は、ステップＳ５２において、メモリ２１に記憶されている学習用画像すべてを、図２のブロック化回路１１における場合と同様に、注目画素を中心に３×３画素のブロックにブロック化する。さらに、ブロック化回路２１は、そのブロックを、メモリ２１から読み出し、ＡＤＲＣ処理回路２３および演算回路２６に順次供給する。
【００７６】
ＡＤＲＣ処理回路２３では、ステップＳ５３において、ブロック化回路２２からのブロックに対して、図２のＡＤＲＣ処理回路１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路２４に供給される。クラス分類回路２４では、ステップＳ５４において、ＡＤＲＣ処理回路２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ３１に供給される。これにより、ステップＳ５５において、マッピング係数メモリ３１の、クラス分類回路２４から供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路２６に供給される。
【００７７】
演算回路２６は、ブロック化回路２２からブロックを受信するとともに、マッピング係数メモリ３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ５６において、そのマッピング係数と、ブロック化回路２２から供給されるブロックを構成する画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路２２から供給されるブロックの中心画素の画素値を補正した補正データとして、ローカルデコード部２７に供給される。
【００７８】
即ち、例えば、上述の図６において、四角形で囲んで示すような３×３画素のブロックが、ブロック化回路２２から出力されたものとすると、演算回路２６では、同図において●印で示す画素の画素値を補正した補正データが求められ、ローカルデコード部２７に出力される。
【００７９】
従って、演算回路２６では、学習用画像を構成する画素数が、１／９に間引かれ、ローカルデコード部２７に供給される。
【００８０】
ここで、図６において、上からｉ番目で、左からｊ番目の●印で示す画素に対応する補正データをＸijと表すととともに、その補正データＸijを中心とする、元の学習用画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すこととする。
【００８１】
図８に戻り、ステップＳ５６で補正データが算出された後は、ステップＳ５７に進み、メモリ２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ５７において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ５３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ５３乃至Ｓ５７の処理を繰り返す。
【００８２】
また、ステップＳ５７において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ２１に記憶されたすべての学習用画像を、１／９に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／９に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ５８に進み、ローカルデコード部２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部２８に供給される。
【００８３】
ここで、このローカルデコード部２７において得られる予測値で構成される画像（但し、後述するように、誤差情報算出部２８から出力される誤差情報が閾値ε１より小さくなったときにおけるもの）は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００８４】
誤差算出部２８では、ステップＳ５９において、メモリ２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹijと表すとともに、ローカルデコード部２７から出力される、その予測値をＥ［Ｙij］と表すとき、誤差算出部２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部２９に供給される。
【００８５】
Ｑ＝Σ（Ｙij−Ｅ［Ｙij］）2
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。
【００８６】
判定部２９は、誤差算出部２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ６０において、その大小関係を判定する。ステップＳ６０において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部２９は、マッピング係数設定回路３０に制御信号を出力する。マッピング係数設定回路３０は、ステップＳ６１において、判定部２９からの制御信号にしたがい、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ３１に新たに記憶させる。
【００８７】
そして、ステップＳ５３に戻り、マッピング係数メモリ３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ５３以下の処理が繰り返される。
【００８８】
ここで、マッピング係数設定回路３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。
【００８９】
さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。
【００９０】
また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。
【００９１】
さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。
【００９２】
但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数を対象に、何らかの処理を行うことで、１セットのマッピング係数を決める必要がある。
【００９３】
一方、ステップＳ６０において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。
【００９４】
この時点で、マッピング係数メモリ３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図２のマッピング係数メモリ１４にセットされている。
【００９５】
従って、このようなマッピング係数を用いて補正データを生成することで、受信装置４（図１）側においては、元の画像とほぼ同一の画像を得ることが可能となる。
【００９６】
なお、図７の実施の形態においては、上述したように、ブロック化回路２２において、画像が、注目画素を中心として３×３の９画素にブロック化され、また、ＡＤＲＣ処理回路２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路２４によるクラス分類により得られるクラス数は５１２（＝（２1）9）であり、従って、５１２セットのマッピング係数が得られる。
【００９７】
次に、図９は、図７のローカルデコード部２７の構成例を示している。
【００９８】
演算回路２６からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。
【００９９】
即ち、上述したように、図６において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、例えば、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの補正データＸ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを生成するようになされている。このクラス分類用ブロックは、ＡＤＲＣ処理回路４３に供給されるようになされている。
【０１００】
なお、図９のクラス分類用ブロック化回路４１において得られるクラス分類用ブロックは、予測値を求めるブロックのクラス（第２のクラス）を決定するために構成されるものであり、この点で、補正データを算出するブロックのクラス（第１のクラス）を決定するために、図２のブロック化回路１１で生成されるものとは異なる。
【０１０１】
予測値計算用ブロック化回路４２は、補正データを、元の画像（ここでは、学習用画像）の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、本実施の形態においては、例えば、補正データＸijを中心とする、元の画像（原画像）における３×３の９画素の画素値Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）の予測値が、画素Ｘijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)から求められるようになされており、予測値計算用ブロック化回路４２は、このような２５画素で構成される正方形状の予測値計算用ブロックを生成するようになされている。
【０１０２】
具体的には、例えば、図６において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の予測値の計算のためには、２５の画素（補正データ）Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される。
【０１０３】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、予測回路４６に供給されるようになされている。
【０１０４】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、ローカルデコード部２７において、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【０１０５】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【０１０６】
ＡＤＲＣ処理回路４３は、クラス分類用ブロック化回路４１が出力するブロック（クラス分類用ブロック）に対して、例えば、１ビットのＡＤＲＣ処理を施し、クラス分類回路４４に供給するようになされている。クラス分類回路４４は、ＡＤＲＣ処理回路４３からのブロックをクラス分類し、その分類結果としてのクラス情報を、予測係数ＲＯＭ４５に供給するようになされている。予測係数ＲＯＭ４５は、クラスごとの予測係数を記憶しており、クラス分類回路４４からクラス情報を受信すると、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出し、予測回路４６に供給するようになされている。なお、予測係数ＲＯＭ４５に記憶されているクラスごとの予測係数は、後述する学習（予測係数学習）により得られたものである。
【０１０７】
予測回路４６は、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ４５からの予測係数とを用いて、元の画像（学習用画像）の予測値を算出（予測）するようになされている。
【０１０８】
次に、図１０のフローチャートを参照して、その動作について説明する。
【０１０９】
ローカルデコード部２７においては、まず最初に、ステップＳ２１において、演算回路２６からの補正データが順次受信されてブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、ＡＤＲＣ処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、予測回路４６に供給される。
【０１１０】
なお、クラス分類用ブロック化回路４１と予測値計算用ブロック化回路４２では、対応するクラス分類用ブロックと予測値計算用ブロックが生成される。即ち、クラス分類用ブロック化回路４１において、例えば図６の補正データＸ33を中心とする３×３画素のクラス分類用ブロックが生成されるとき、予測値計算用ブロックにおいては、同じく補正データＸ33を中心とする５×５画素の予測値計算用ブロックが生成される（補正データＸ33を注目補正データとしてクラス分類用ブロックが構成されるとき、予測値計算用ブロックも、補正データＸ33を注目補正データとして構成される）。
【０１１１】
ＡＤＲＣ処理回路４３は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路４４に出力する。クラス分類回路４４は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目画素（注目補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、予測係数ＲＯＭ４５に供給される。
【０１１２】
なお、図１０の実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１１３】
そして、ステップＳ２４に進み、予測係数ＲＯＭ４５の、クラス分類回路４４からのクラス情報に対応するアドレスから予測係数が読み出され、ステップＳ２５において、予測回路４６は、その予測係数と、予測値計算用ブロック化回路４２からの予測値計算用ブロックを構成する２５の画素値とを用い、例えば、次のような線形１次式にしたがって、元の画像の画素値ｙの予測値Ｅ［ｙ］を算出する。
【０１１４】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
但し、ｗ1，ｗ2，・・・は予測係数を表し、ｘ1，ｘ2，・・・は予測値計算用ブロックを構成する画素の画素値（補正データ）を表す。
【０１１５】
ここで、図９の実施の形態においては、上述したように、予測値計算用ブロックを構成する２５画素から、９画素の予測値が算出されるようになされている。
【０１１６】
即ち、例えば、いま、図６に示した補正データＸ33を中心とする３×３の補正データＸ22乃至Ｘ24，Ｘ32乃至Ｘ34，Ｘ42乃至Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11乃至Ｘ15，Ｘ21乃至Ｘ25，Ｘ31乃至，Ｘ35，Ｘ41乃至Ｘ45，Ｘ51乃至Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとする。
【０１１７】
さらに、予測係数ＲＯＭ４５には、クラス情報Ｃに対応するアドレスに、予測係数のセットとして、ｗ1（ｋ）乃至ｗ25（ｋ）が記憶されているものとする。
【０１１８】
この場合、補正データＸ33を中心とする、元の画像における３×３画素（図６において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）の予測値Ｅ［Ｙ33（１）］乃至Ｅ［Ｙ33（９）］は、次式にしたがって算出される。
【０１１９】
Ｅ［Ｙ33（ｋ）］＝ｗ1（ｋ）Ｘ11＋ｗ2（ｋ）Ｘ12＋ｗ3（ｋ）Ｘ13
＋ｗ4（ｋ）Ｘ14＋ｗ5（ｋ）Ｘ15＋ｗ6（ｋ）Ｘ21
＋ｗ7（ｋ）Ｘ22＋ｗ8（ｋ）Ｘ23＋ｗ9（ｋ）Ｘ24
＋ｗ10（ｋ）Ｘ25＋ｗ11（ｋ）Ｘ31
＋ｗ12（ｋ）Ｘ32＋ｗ13（ｋ）Ｘ33
＋ｗ14（ｋ）Ｘ34＋ｗ15（ｋ）Ｘ35
＋ｗ16（ｋ）Ｘ41＋ｗ17（ｋ）Ｘ42
＋ｗ18（ｋ）Ｘ43＋ｗ19（ｋ）Ｘ44
＋ｗ20（ｋ）Ｘ45＋ｗ21（ｋ）Ｘ51
＋ｗ22（ｋ）Ｘ52＋ｗ23（ｋ）Ｘ53
＋ｗ24（ｋ）Ｘ54＋ｗ25（ｋ）Ｘ55
【０１２０】
ステップＳ２５において、以上のようにして予測値が、９個単位で、例えば１フレーム分だけ求められると、ステップＳ２６に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、次の補正データが供給されるのを待って、ステップＳ２１に戻り、以下、ステップＳ２１乃至Ｓ２６の処理が繰り返される。
【０１２１】
次に、図１１は、図９の予測係数ＲＯＭ４５に記憶されている予測係数を得るための学習（予測係数学習）を行う画像処理装置の構成例を示している。
【０１２２】
学習用ブロック化回路５１および教師用ブロック化回路５２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１２３】
学習用ブロック化回路５１は、入力される画像データから、注目画素を中心とした、図６に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理５３および学習データメモリ５６に供給する。
【０１２４】
また、教師用ブロック化回路５２では、入力される画像データから、例えば、注目画素を中心として３×３の９画素で構成されるブロックが生成され、教師用ブロックとして、教師データメモリ５８に供給される。
【０１２５】
なお、学習用ブロック化回路５１において、例えば、図６に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路５２では、周囲を四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０１２６】
ＡＤＲＣ処理回路５３は、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）を抽出し、これにより、図９のクラス分類用ブロック化回路４１が出力するクラス分類用ブロックと同一のブロックを構成する。さらに、ＡＤＲＣ処理回路５３は、その９画素でなるブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、３×３画素のブロックは、クラス分類回路５４に供給される。クラス分類回路５４では、図９のクラス分類回路４４における場合と同様にして、ＡＤＲＣ処理回路５３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ５５の端子ａを介して、学習データメモリ５６および教師データメモリ５８に供給される。
【０１２７】
学習データメモリ５６または教師データメモリ５８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路５１からの学習用ブロックまたは教師用ブロック化回路５２からの教師用ブロックが、それぞれ記憶される。
【０１２８】
従って、学習データメモリ５６において、例えば、図６に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ５８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０１２９】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図９のローカルデコード部２７において、その学習用ブロックを構成する２５画素と同一の位置関係を有する補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ５６と、教師用データメモリ５８とにおいて、同一のアドレスに記憶される。
【０１３０】
なお、学習用データメモリ５６と教師用データメモリ５８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックのセットを記憶することができるようになされている。
【０１３１】
その後、端子ａを選択していたスイッチ５５が、端子ｂに切り替わり、これにより、カウンタ５７の出力が、アドレスとして、学習データメモリ５６および教師データメモリ５８に供給される。カウンタ５７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ５６または教師データメモリ５８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックがそれぞれ読み出され、演算回路５９に供給される。
【０１３２】
従って、演算回路５９には、カウンタ５７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０１３３】
演算回路５９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０１３４】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０１３５】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０１３６】
そこで、演算回路５９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が求められる。
【０１３７】
以上の処理がクラスごとに行われ、各クラスごとに、２５×９の予測係数が求められる。
【０１３８】
ここで、演算回路５９の処理について、さらに説明する。
【０１３９】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考えると、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１４０】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１４１】
そこで、予測係数ｗの集合でなる行列Ｗ、学習データｘの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
2006115526.tif 000003
で定義すると、次のような観測方程式が成立する。
【０１４２】
ＸＷ＝Ｙ’
・・・（２）
【０１４３】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
2006115526.tif 000004
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１４４】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１４５】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
2006115526.tif 000005
を最小にすることで求めることができる。
【０１４６】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１４７】
【数４】
2006115526.tif 000006
・・・（４）
【０１４８】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立
する。
【０１４９】
【数５】
2006115526.tif 000007
・・・（５）
【０１５０】
式（４）および（５）より、式（６）が得られる。
【０１５１】
【数６】
2006115526.tif 000008
・・・（６）
【０１５２】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１５３】
【数７】
2006115526.tif 000009
・・・（７）
【０１５４】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１５５】
なお、以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求める処理は、適応処理と呼ばれる。
【０１５６】
演算回路５９では、学習用ブロックと教師用ブロックとを用いて、式（７）の正規方程式がクラスごとにたてられ、これを解くことで、クラスごとに予測係数が求められる。そして、そのクラスごとの予測係数は、メモリ６０に供給される。メモリ６０には、演算回路５９からの予測係数の他、カウンタ５７からカウント値が供給されており、これにより、メモリ６０においては、演算回路５９からの予測係数が、カウンタ５７からのカウント値に対応するアドレスに記憶される。
【０１５７】
以上のようにして、メモリ６０には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９の予測係数（誤差を最小にする予測係数）が記憶される。
【０１５８】
図９の予測係数ＲＯＭ４５には、以上のようにしてメモリ６０に書き込まれたクラスごとの予測係数が記憶されている。
【０１５９】
なお、予測係数ＲＯＭ４５には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、ローカルデコード部２７において、予測値計算用ブロック化回路４２および予測回路４６を設けずに済むようになる。
【０１６０】
次に、図１２は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第２の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してある。即ち、この画像処理装置は、ローカルデコード部２７に代えてローカルデコード部１０２７が設けられている他は、図７における場合と基本的に同様に構成されている。
【０１６１】
図７の実施の形態では、ローカルデコード部２７において、あらかじめ上述したような学習（予測係数学習）により得られた予測係数を、予測係数ＲＯＭ４５に記憶させておき、その予測係数を用いて予測値を求めるようにしたが、ローカルデコード部１０２７では、そこに、演算回路２６からの補正データの他、メモリ２１から学習用画像の画素値（真値）も供給されるようになされており、その補正データおよび学習用画像（原画像）を用いて、予測係数を求める処理を行い、さらに、その予測係数に基づいて、予測値を求める適応処理が行われるようになされている。
【０１６２】
即ち、図１３は、図１２のローカルデコード部１０２７の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２７は、予測係数ＲＯＭ４５および予測回路４６に代えて、適応処理回路４７が設けられている他は、図９のローカルデコード部２７と基本的に同様に構成されている。
【０１６３】
適応処理回路４７は、クラス分類回路４４からのクラス情報に対応して、補正データおよび原画像（学習用画像）を用い、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用いて、式（１）にしたがい、原画像の画素値ｙに近い予測値Ｅ［ｙ］を求める適応処理を行うようになされている。
【０１６４】
ここで、適応処理（予測係数ＲＯＭ４５を用いる場合も、適応処理に含まれる）は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習（予測係数学習）により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１６５】
次に、図１４のフローチャートを参照して、ローカルデコード部１０２７の動作について説明する。
【０１６６】
ローカルデコード部１０２７においては、まず最初に、ステップＳ１２１乃至Ｓ１２３において、図１０のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われ、これにより、上述したように、予測値計算用ブロック化回路４２から、５×５画素の予測値計算用ブロックが出力されるとともに、クラス分類回路４４から、クラス情報が出力される。予測値計算用ブロックおよびクラス情報は、いずれも、適応処理回路４７に供給される。
【０１６７】
そして、適応処理回路４７には、その他、原画像（学習用画像）も供給されるようになされており、そこでは、ステップＳ１２４において、クラス分類回路４４からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの原画像の予測値が算出される。
【０１６８】
即ち、本実施の形態においては、例えば、クラスごとの２５×９個の予測係数が、１フレームごとに、原画像と予測値計算用ブロックを構成する補正データとから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する原画像の画素と、その画素の周りに隣接する８個の原画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１６９】
具体的には、例えば、いま、図６に示した注目補正データＸ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、注目補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ33を中心とする３×３画素（図６において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１７０】
さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データ（原画像の画素）が２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ１２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される。
【０１７１】
そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１７２】
Ｅ［Ｙ33（ｋ）］＝ｗ1（ｋ）Ｘ11＋ｗ2（ｋ）Ｘ12＋ｗ3（ｋ）Ｘ13
＋ｗ4（ｋ）Ｘ14＋ｗ5（ｋ）Ｘ15＋ｗ6（ｋ）Ｘ21
＋ｗ7（ｋ）Ｘ22＋ｗ8（ｋ）Ｘ23＋ｗ9（ｋ）Ｘ24
＋ｗ10（ｋ）Ｘ25＋ｗ11（ｋ）Ｘ31
＋ｗ12（ｋ）Ｘ32＋ｗ13（ｋ）Ｘ33
＋ｗ14（ｋ）Ｘ34＋ｗ15（ｋ）Ｘ35
＋ｗ16（ｋ）Ｘ41＋ｗ17（ｋ）Ｘ42
＋ｗ18（ｋ）Ｘ43＋ｗ19（ｋ）Ｘ44
＋ｗ20（ｋ）Ｘ45＋ｗ21（ｋ）Ｘ51
＋ｗ22（ｋ）Ｘ52＋ｗ23（ｋ）Ｘ53
＋ｗ24（ｋ）Ｘ54＋ｗ25（ｋ）Ｘ55
・・・（８）
【０１７３】
ステップＳ１２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。
【０１７４】
以上のようにして、１フレーム分の予測値が求められると、ステップＳ１２５に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、ステップＳ１２１に戻り、以下同様の処理が、例えば、上述のように、１フレーム単位で繰り返される。
【０１７５】
次に、図１５は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第３の構成例を示している。
【０１７６】
なお、図７や図１２の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図１５の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。
【０１７７】
即ち、図１５の画像処理装置は、図２において、ブロック化回路１１が出力する注目画素を中心とする３×３の９画素のブロックを構成する各画素の画素値をｙ1，ｙ2，・・・，ｙ9とするとともに、マッピング係数メモリ１４が出力するマッピング係数をｋ1，ｋ2，・・・，ｋ9とする場合において、演算回路１６が、次式にしたがって関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算して補正データを求めるようになされているときに用いることができる。
【０１７８】
ｆ（・）＝ｋ1ｙ1＋ｋ2ｙ2＋・・・＋ｋ9ｙ9
【０１７９】
最適補正データ算出部７０には、学習に適した学習用画像が、例えば、１フレーム単位などで供給されるようになされている。最適補正データ算出部７０は、圧縮部７１、補正部７２、ローカルデコード部７３、誤差算出部７４、および判定部７５で構成され、そこに入力される学習用画像から、その画素数を少なくして圧縮した画像であって、元の画像を予測するのに最適な画像を構成する画素値（以下、適宜、最適補正データという）を算出し、ラッチ回路７６に供給するようになされている。
【０１８０】
即ち、最適補正データ算出部７０に供給された学習用画像は、圧縮部７１および誤差算出部７４に供給されるようになされている。圧縮部７１は、図２の演算回路１６が画素を間引く割合と同一の割合で、学習用画像を単純に間引き、即ち、本実施の形態においては、学習用画像を１／９に単純に間引き（３×３の９画素を１ブロックとするとき、そのブロックの中心の画素だけを抽出し）、これにより学習用画像を圧縮して補正部７２に供給するようになされている。
【０１８１】
補正部７２は、圧縮部７１から供給される、単純な間引きが行われて圧縮されたデータ（以下、適宜、圧縮データという）を、判定部７５からの制御にしたがって補正するようになされている。補正部７２における補正の結果得られるデータ（このデータも、図２の演算回路１６の出力と同様に、３×３画素のブロックの中心画素の画素値を補正したものであるので、以下、適宜、補正データという）は、ローカルデコード部７３に供給するようになされている。
【０１８２】
ローカルデコード部７３は、図７のローカルデコード部２７または図１２のローカルデコード部１０２７における場合と同様にして、補正部７２からの補正データに基づいて、元の画像（学習用画像）を予測し、その予測値を、誤差算出部７４に供給するようになされている。
【０１８３】
誤差算出部７４は、図７の誤差算出部２８における場合と同様にして、そこに入力される、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部７５に供給されるようになされている。
【０１８４】
判定部７５は、誤差算出部７４からの誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定するようになされている。そして、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正でないと判定した場合には、補正部７２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正であると判定した場合には、その補正データを、最適補正データとして、ラッチ回路７６に供給させるようになされている。
【０１８５】
ラッチ回路７６は、メモリ７６Ａを内蔵しており、そのメモリ７６Ａに、補正部７２から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路７６は、メモリ７６Ａに記憶された最適補正データのうち、ブロック化回路７７のメモリ７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ８０に供給するようになされている。なお、ラッチ回路７６は、メモリ７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路７７に出力するようになされている。
【０１８６】
ブロック化回路７７には、最適補正データ算出部７０と同様に、学習用画像が１フレーム単位で供給されるようになされている。ブロック化回路７７は、メモリ７７Ａを内蔵しており、そのメモリ７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、メモリ７７Ａに記憶された学習用画像を、図２のブロック化回路１１における場合と同様に、注目画素を中心とする３×３画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給するようになされている。
【０１８７】
なお、ブロック化回路７７は、その内蔵するメモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給するようになされている。ラッチ回路７６では、この制御信号に基づいて、メモリ７７Ａから読み出される３×３画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ７６Ａから読み出されるようになされている。即ち、これにより、メモリ８０に対しては、ある３×３画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。
【０１８８】
ＡＤＲＣ処理回路７８またはクラス分類回路７９は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３とそれぞれ同様に構成されている。そして、クラス分類回路７９が出力する、ブロック化回路７７からのブロックについてのクラス情報は、メモリ８０に対して、アドレスとして供給されるようになされている。
【０１８９】
メモリ８０は、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。
【０１９０】
演算回路８１は、メモリ８０に記憶された、学習用画像の３×３のブロックを構成する９画素ｙ1，ｙ2，・・・，ｙ9と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ1乃至ｋ9を求め、メモリ８２に供給するようになされている。メモリ８２は、演算回路８１から供給されるクラスごとのマッピング係数ｋ1乃至ｋ9を、そのクラスに対応したアドレスに記憶するようになされている。
【０１９１】
次に、図１６のフローチャートを参照して、その動作について説明する。
【０１９２】
学習用画像が入力されると、その学習用画像は、ブロック化回路７７のメモリ７７Ａに記憶されるとともに、最適補正データ算出部７０に供給される。最適補正データ算出部７０は、学習用画像を受信すると、ステップＳ３１において、その学習用画像についての最適補正データを算出する。
【０１９３】
即ち、ステップＳ３１では、図１７のフローチャートに示すように、まず、圧縮部７１が、ステップＳ４１において、学習用画像を、１／９に間引くことにより圧縮データを生成し、補正部７２を介して、即ち、最初は、補正を行わずに、ローカルデコード部７３に出力する。ローカルデコード部７３では、ステップＳ４２において、補正部７２からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）に基づいて、元の画像の予測値が算出される（ローカルデコードが行われる）。この予測値は、誤差算出部７４に供給される。
【０１９４】
誤差算出部７４は、ローカルデコード部７３から、元の画像の予測値を受信すると、ステップＳ４３において、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出し、誤差情報として、判定部７５に供給する。判定部７５は、誤差算出部７４から誤差情報を受信すると、ステップＳ４４において、その誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定する。
【０１９５】
即ち、ステップＳ４４においては、例えば、１フレーム分の誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正でないと認識され、ステップＳ４５に進み、判定部７５は、補正部７２を制御し、これにより、圧縮部７１から出力された圧縮データを補正させる。補正部７２は、判定部７５の制御にしたがって、補正量（補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部７３に出力する。そして、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１９６】
なお、圧縮データの補正は、例えば、上述の図７で説明した、マッピング係数の変更と同様にして行うことが可能である。
【０１９７】
一方、ステップＳ４４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正であると認識され、ステップＳ４６に進み、判定部７５は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、補正部７２からラッチ回路７６に出力させ、その内蔵するメモリ７６Ａに記憶させて、リターンする。
【０１９８】
以上のようにして、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データが、最適補正データとして、メモリ７６Ａに記憶される。なお、この最適補正データは、誤差情報を所定の閾値ε以下とするものであるから、これを用いて、予測値を算出することにより、元の画像（原画像）とほぼ同一の画像を得ることができる。
【０１９９】
図１６に戻り、ラッチ回路７６は、そのメモリ７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路７７に出力する。ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、ステップＳ３２において、メモリ７７Ａに記憶された学習用画像を、３×３画素で構成されるブロックに分割する。そして、ブロック化回路７７は、メモリ７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給する。
【０２００】
また、同時に、ブロック化回路７７は、メモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給し、ラッチ回路７６は、その制御信号に対応して、メモリ７７Ａから読み出された３×３画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ８０に供給する。
【０２０１】
そして、ステップＳ３３に進み、ＡＤＲＣ処理回路７８において、ブロック化回路７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ８０に供給される。
【０２０２】
メモリ８０では、ステップＳ３４において、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロック（学習データ）とが対応付けられて記憶される。
【０２０３】
そして、ステップＳ３５に進み、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路７７から次のブロックが読み出されるとともに、ラッチ回路７６からそのブロックに対応する最適補正データが読み出され、ステップＳ３３に戻り、以下、ステップＳ３３以降の処理を繰り返す。
【０２０４】
また、ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ３６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ３６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ３１に戻り、次の学習用画像について、ステップＳ３１からの処理が繰り返される。
【０２０５】
一方、ステップＳ３６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ３７に進み、演算回路８１は、メモリ８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路８１は、ステップＳ３８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ３９において、メモリ８２に供給されて、クラスごとに分けて記憶され、処理を終了する。
【０２０６】
関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ８２に記憶されたマッピング係数を、図２のマッピング係数メモリ１４に記憶させ、これを用いて画像の符号化を行うことができる。
【０２０７】
なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図２の演算回路１６において、ブロック化回路１１から出力される３×３画素のブロックを構成する９画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ1乃至ｋ9＝１／９などが、デフォルトの値として設定される。
【０２０８】
次に、図１８は、図１の受信装置４の構成例を示している。
【０２０９】
受信機／再生装置９１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、デコード部９２に供給される。
【０２１０】
デコード部９２は、図９に示したローカルデコード部２７におけるクラス分類用ブロック化回路４１乃至予測回路４６とそれぞれ同様に構成されるクラス分類用ブロック化回路９３乃至予測回路９８で構成されており、従って、デコード部９２では、図９のローカルデコード部２７における場合と同様にして、補正データから予測値が求められ、この予測値で構成される画像が復号画像として出力される。
【０２１１】
即ち、受信機／再生装置９１から出力される符号化データとしての補正データは、クラス分類用ブロック化回路９３または予測値計算用ブロック化回路９４に順次供給され、図９のクラス分類用ブロック化回路４１または予測値計算用ブロック化回路４２における場合と同様にして、クラス分類用ブロックまたは予測値計算用ブロックに、それぞれブロック化される。そして、クラス分類用ブロックはＡＤＲＣ処理回路９５に、予測値計算用ブロックは予測回路９８に、それぞれ供給される。
【０２１２】
ＡＤＲＣ処理回路９５は、クラス分類用ブロックを受信すると、そのクラス分類用ブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路９６に出力する。クラス分類回路９６は、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、クラス情報を、予測係数ＲＯＭ９７に出力する。
【０２１３】
予測係数ＲＯＭ９７は、図９の予測係数ＲＯＭ４５と同様に、例えば、図１１の画像処理装置において求められた、クラスごとの予測係数を記憶しており、クラス分類回路９６からクラス情報を受信すると、そのクラス情報に対応する予測係数を読み出し、予測回路９８に供給する。予測回路９８では、予測係数ＲＯＭ９７からの予測係数と、予測値計算用ブロック化回路９４からの予測値計算用ブロックを構成する補正データとを用い、式（１）に対応する線形１次式にしたがって、元の画像の予測値が算出され、これにより、元の画像が復号される。
【０２１４】
補正データは、上述したように、誤差情報を所定の閾値以下とするものであり、従って、受信装置４においては、元の画像とほぼ同一の復号画像を得ることができる。
【０２１５】
なお、受信側においては、図１８に示すような受信装置４でなくても、間引きされた画像を補間により復号する装置により、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０２１６】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２１７】
なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素などを集めて構成するようにすることも可能である。
【０２１８】
また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２１９】
さらに、例えば、図１３の実施の形態では、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２２０】
また、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。
【０２２１】
さらに、図２においては、ＡＤＲＣ処理回路１２に供給するブロックと、遅延回路１５を介して、演算回路１６に供給するブロックとは同一のものとしたが、これらのブロックは同一である必要は必ずしもない。
【図面の簡単な説明】
【０２２２】
【図１】本発明を適用した画像処理システムの一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】ＡＤＲＣ処理を説明するための図である。
【図４】クラス分類処理を説明するための図である。
【図５】図２の送信装置の動作を説明するためのフローチャートである。
【図６】図２のブロック化回路１１の処理を説明するための図である。
【図７】マッピング係数を得るための学習を行う画像処理装置の第１実施の形態の構成を示すブロック図である。
【図８】図７の画像処理装置の動作を説明するためのフローチャートである。
【図９】図７のローカルデコード部２７の構成例を示すブロック図である。
【図１０】図９のローカルデコード部２７の処理を説明するためのフローチャートである。
【図１１】予測係数を得るための学習を行う画像処理装置の一実施の形態の構成を示すブロック図である。
【図１２】マッピング係数を得るための学習を行う画像処理装置の第２実施の形態の構成を示すブロック図である。
【図１３】図１２のローカルデコード部１０２７の構成例を示すブロック図である。
【図１４】図１３のローカルデコード部１０２７の処理を説明するためのフローチャートである。
【図１５】マッピング係数を得るための学習を行う画像処理装置の第３実施の形態の構成を示すブロック図である。
【図１６】図１５の画像処理装置の動作を説明するためのフローチャートである。
【図１７】図１６におけるステップＳ３１の処理のより詳細を説明するためのフローチャートである。
【図１８】図１の受信装置４の構成例を示すブロック図である。
【符号の説明】
【０２２３】
１  送信装置，  ２  記録媒体，  ３  伝送路，  ４  受信装置，  １１  ブロック化回路，  １２  ＡＤＲＣ処理回路，  １３  クラス分類回路，  １４  マッピング係数メモリ，  １５  遅延回路，  １６  演算回路，  １７  送信機／記録装置，  ２１  メモリ，  ２２  ブロック化回路，  ２３  ＡＤＲＣ処理回路，  ２４  クラス分類回路，  ２６  演算回路，  ２７  ローカルデコード部，  ２８  誤差算出部，  ２９  判定部，  ３０  マッピング係数設定回路，  ３１  マッピング係数メモリ，  ４１  クラス分類用ブロック化回路，  ４２  予測値計算用ブロック化回路，  ４３  ＡＤＲＣ処理回路，  ４４  クラス分類回路，  ４５  予測係数ＲＯＭ，  ４６  予測回路，  ４７  適応処理回路，  ５１  学習用ブロック化回路，  ５２  教師用ブロック化回路，  ５３  ＡＤＲＣ処理回路，  ５４  クラス分類回路，  ５５  スイッチ，  ５６  学習データメモリ，  ５７  カウンタ，  ５８  教師データメモリ，  ５９  演算回路，  ６０  メモリ，  ７０  最適補正データ算出部，  ７１  圧縮部，  ７２  補正部，  ７３  ローカルデコード部，  ７４  誤差算出部，  ７５  判定部，  ７６  ラッチ回路，  ７６Ａ  メモリ，  ７７  ブロック化回路，  ７７Ａ  メモリ，  ７８  ＡＤＲＣ処理回路，  ７９  クラス分類回路，  ８０  メモリ，  ８１  演算回路，  ８２  メモリ，  ９１  受信機／再生装置，  ９２  デコード部，  ９３  クラス分類用ブロック化回路，  ９４  予測値計算用ブロック化回路，  ９５  ＡＤＲＣ処理回路，  ９６  クラス分類回路，  ９７  予測係数ＲＯＭ，  ９８  予測回路，  １０２７  ローカルデコード部
【図１】
2006115526.tif 000010
【図２】
2006115526.tif 000011
【図３】
2006115526.tif 000012
【図４】
2006115526.tif 000013
【図５】
2006115526.tif 000014
【図６】
2006115526.tif 000015
【図７】
2006115526.tif 000016
【図８】
2006115526.tif 000017
【図９】
2006115526.tif 000018
【図１０】
2006115526.tif 000019
【図１１】
2006115526.tif 000020
【図１２】
2006115526.tif 000021
【図１３】
2006115526.tif 000022
【図１４】
2006115526.tif 000023
【図１５】
2006115526.tif 000024
【図１６】
2006115526.tif 000025
【図１７】
2006115526.tif 000026
【図１８】
2006115526.tif 000027