(57)【特許請求の範囲】
【請求項１】
画像信号を符号化する画像符号化装置であって、
原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮手段と、
前記圧縮画像信号を構成する画素のうちの１つを注目画素として、前記原画像信号を予測するために用いる前記注目画素および前記注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成手段と、
前記複数パターンの予測タップそれぞれと、所定の予測係数とから、前記原画像信号を予測し、前記複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測手段と、
前記複数パターンの予測タップそれぞれに対する前記予測値の、前記原画像信号に対する予測誤差を算出する第１の算出手段と、
前記複数パターンの予測タップのうち、最小の前記予測誤差が得られる予測タップに対応するパターンコードを、前記注目画素の画素値の一部と置き換えることにより前記注目画素の画素値に付加する付加手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記付加手段は、前記注目画素の画素値のＬＳＢ（Least Significant Bit）側のＮビットに代えて、前記パターンコードを配置する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記第１の予測手段は、前記予測誤差が最小となる前記予測係数を求める演算手段を有する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記第１の予測手段は、
前記注目画素を、所定のクラスに分類するクラス分類手段をさらに有し、
前記注目画素のクラスに対応する予測係数と、前記予測タップとから、前記予測値を求め、
前記演算手段は、前記予測係数を、前記クラスごとに求める
ことを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記演算手段は、前記複数パターンの予測タップそれぞれについて、前記予測係数を求める
ことを特徴とする請求項３に記載の画像符号化装置。
【請求項６】
前記演算手段は、前記複数パターンの予測タップそれぞれについて、前記予測係数を、前記クラスごとに求め、
前記第１の予測手段は、前記複数パターンの予測タップそれぞれと、前記注目画素のクラスに対応する予測係数とから、前記複数パターンの予測タップそれぞれに対する予測値を求める
ことを特徴とする請求項４に記載の画像符号化装置。
【請求項７】
変換後の信号と前記予測係数により予測される予測値の、前記原画像信号に対する予測誤差が最小となる信号に前記圧縮画像信号を変換する最適化手段をさらに備える
ことを特徴とする請求項１乃至６のうちのいずれかに記載の画像符号化装置。
【請求項８】
前記最適化手段は、
前記注目画素の画素値に付加された前記パターンコードに対応するパターンの予測タップを形成する第２の形成手段と、
前記第２の形成手段により形成された前記予測タップと、前記予測係数とから、前記原画像信号を予測し、その予測値を出力する第２の予測手段と、
前記第２の予測手段により求められた前記予測値の、前記原画像信号に対する予測誤差を算出する第２の算出手段と、
前記第２の算出手段により算出された前記予測誤差より予測誤差が小さくなるように画素値を所定の値だけ増加または減少させることにより、前記注目画素の画素値を補正する補正手段と
を有する
ことを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記最適化手段は、
前記第２の形成手段において、前記注目画素の画素値に付加された前記パターンコードに対応するパターンの予測タップを形成し、
前記第２の予測手段において、前記第２の形成手段により形成された前記予測タップと、前記予測係数とから、前記予測値を求め、
前記第２の算出手段において、前記第２の予測手段により求められた前記予測値の、前記原画像信号に対する予測誤差を算出し、
前記補正手段において、前記第２の算出手段により算出された前記予測誤差より予測誤差が小さくなるように、前記注目画素の画素値を所定の値だけ増加または減少させる
最適化処理を、前記予測誤差が最小になるまで繰り返す
ことを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記最適化処理を行うごとに得られる圧縮画像信号と、前記原画像信号とに基づいて、前記第２の予測手段により求められる前記予測値の、前記原画像信号に対する予測誤差が最小となる係数に前記予測係数を修正する修正手段をさらに備え、
前記第１および第２の予測手段は、前記修正手段により修正され予測係数を用いて、前記予測値を求める
ことを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記最適化手段が出力する圧縮画像信号と、前記修正手段が出力する予測係数とを出力する出力手段をさらに備える
ことを特徴とする請求項１０に記載の画像符号化装置。
【請求項１２】
前記パターンコードが付加された圧縮画像信号と、前記予測係数とを出力する出力手段をさらに備える
ことを特徴とする請求項１乃至６のうちのいずれかに記載の画像符号化装置。
【請求項１３】
画像信号を符号化する画像符号化方法であって、
原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮ステップと、
前記圧縮画像信号を構成する画素のうちの１つを注目画素として、前記原画像信号を予測するために用いる前記注目画素および前記注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成ステップと、
前記複数パターンの予測タップそれぞれと、所定の予測係数とから、前記原画像信号を予測し、前記複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測ステップと、
前記複数パターンの予測タップそれぞれに対する前記予測値の、前記原画像信号に対する予測誤差を算出する第１の算出ステップと、
前記複数パターンの予測タップのうち、最小の前記予測誤差が得られる予測タップに対応するパターンコードを、前記注目画素の画素値の一部と置き換えることにより前記注目画素の画素値に付加する付加ステップと
を備えることを特徴とする画像符号化方法。
【請求項１４】
前記付加ステップにおいて、前記注目画素の画素値のＬＳＢ（Least Significant Bit）側のＮビットに代えて、前記パターンコードを配置する
ことを特徴とする請求項１３に記載の画像符号化方法。
【請求項１５】
前記第１の予測ステップは、前記予測誤差が最小となる前記予測係数を求める演算ステップを有する
ことを特徴とする請求項１３に記載の画像符号化方法。
【請求項１６】
前記第１の予測ステップは、
前記注目画素を、所定のクラスに分類するクラス分類ステップをさらに有し、
前記注目画素のクラスに対応する予測係数と、前記予測タップとから、前記予測値を求め、
前記演算ステップにおいて、前記予測係数を、前記クラスごとに求める
ことを特徴とする請求項１５に記載の画像符号化方法。
【請求項１７】
前記演算ステップにおいて、前記複数パターンの予測タップそれぞれについて、前記予測係数を求める
ことを特徴とする請求項１５に記載の画像符号化方法。
【請求項１８】
前記演算ステップにおいて、前記複数パターンの予測タップそれぞれについて、前記予測係数を、前記クラスごとに求め、
前記第１の予測ステップにおいて、前記複数パターンの予測タップそれぞれと、前記注目画素のクラスに対応する予測係数とから、前記複数パターンの予測タップそれぞれに対する予測値を求める
ことを特徴とする請求項１６に記載の画像符号化方法。
【請求項１９】
変換後の信号と前記予測係数により予測される予測値の、前記原画像信号に対する予測誤差が最小となる信号に前記圧縮画像信号を変換する最適化ステップをさらに備える
ことを特徴とする請求項１３乃至１８のうちのいずれかに記載の画像符号化方法。
【請求項２０】
前記最適化ステップは、
前記注目画素の画素値に付加された前記パターンコードに対応するパターンの予測タップを形成する第２の形成ステップと、
前記第２の形成ステップにより形成された前記予測タップと、前記予測係数とから、前記原画像信号を予測し、その予測値を出力する第２の予測ステップと、
前記第２の予測ステップにより求められた前記予測値の、前記原画像信号に対する予測誤差を算出する第２の算出ステップと、
前記第２の算出ステップにより算出された前記予測誤差より予測誤差が小さくなるように画素値を所定の値だけ増加または減少させることにより、前記注目画素の画素値を補正する補正ステップと
を有する
ことを特徴とする請求項１９に記載の画像符号化方法。
【請求項２１】
前記最適化ステップでは、
前記第２の形成ステップにおいて、前記注目画素の画素値に付加された前記パターンコードに対応するパターンの予測タップを形成し、
前記第２の予測ステップにおいて、前記第２の形成ステップにより形成された前記予測タップと、前記予測係数とから、前記予測値を求め、
前記第２の算出ステップにおいて、前記第２の予測ステップにより求められた前記予測値の、前記原画像信号に対する予測誤差を算出し、
前記補正ステップにおいて、前記第２の算出ステップにより算出された前記予測誤差より予測誤差が小さくなるように、前記注目画素の画素値を所定の値だけ増加または減少させる
最適化処理を、前記予測誤差が最小になるまで繰り返す
ことを特徴とする請求項２０に記載の画像符号化方法。
【請求項２２】
前記最適化処理を行うごとに得られる圧縮画像信号と、前記原画像信号とに基づいて、前記第２の予測ステップにより求められる前記予測値の、前記原画像信号に対する予測誤差が最小となる係数に前記予測係数を修正する修正ステップをさらに備え、
前記第１および第２の予測ステップにおいて、前記修正ステップにより修正され予測係数を用いて、前記予測値を求める
ことを特徴とする請求項２１に記載の画像符号化方法。
【請求項２３】
前記最適化ステップにおいて得られる圧縮画像信号と、前記修正ステップにおいて得られる予測係数とを出力する出力ステップをさらに備える
ことを特徴とする請求項２２に記載の画像符号化方法。
【請求項２４】
前記パターンコードが付加された圧縮画像信号と、前記予測係数とを出力する出力ステップをさらに備える
ことを特徴とする請求項１３乃至１８のうちのいずれかに記載の画像符号化方法。
【請求項２５】
原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、
前記圧縮画像信号を構成する画素のうちの１つを注目画素として、前記原画像信号を予測するために用いる前記注目画素および前記注目画素の近傍の画素からなる複数パターンの予測タップを形成し、
前記複数パターンの予測タップそれぞれと、所定の予測係数とから、前記原画像信号を予測し、前記複数パターンの予測タップそれぞれに対する予測値を出力し、
前記複数パターンの予測タップそれぞれに対する前記予測値の、前記原画像信号に対する予測誤差を算出し、
前記複数パターンの予測タップのうち、最小の前記予測誤差が得られる予測タップに対応するパターンコードを、前記注目画素の画素値の一部と置き換えることにより前記注目画素の画素値に付加する
ことにより得られる前記圧縮画像信号および前記予測係数を含む符号化データを復号する画像復号装置であって、
前記符号化データから、前記圧縮画像信号と前記予測係数とを分離する分離手段と、
前記符号化データに含まれる前記圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されている前記パターンコードに対応するパターンの前記予測タップを、前記注目画素の近傍の画素を用いて形成する形成手段と、
前記形成手段により形成された前記予測タップと、前記予測係数とから、前記原画像信号を予測し、その予測値を求める予測手段と
を備えることを特徴とする画像復号装置。
【請求項２６】
前記符号化データに含まれる前記圧縮画像信号を構成する画素の画素値のＬＳＢ（Least Significant Bit）側のＮビットに代えて、前記パターンコードが配置されている
ことを特徴とする請求項２５に記載の画像復号装置。
【請求項２７】
前記予測係数は、前記予測誤差が最小となる予測係数である
ことを特徴とする請求項２５に記載の画像復号装置。
【請求項２８】
前記予測手段は、
前記注目画素を、所定のクラスに分類するクラス分類手段を有し、
前記注目画素のクラスに対応する予測係数と、前記予測タップとから、前記予測値を求め、
前記予測係数は、前記符号化データを符号化するときに、前記クラスごとに求められたものである
ことを特徴とする請求項２７に記載の画像復号装置。
【請求項２９】
前記予測係数は、前記符号化データを符号化するときに、前記複数パターンの予測タップそれぞれについて求められたものである
ことを特徴とする請求項２７に記載の画像復号装置。
【請求項３０】
前記予測係数は、前記符号化データを符号化するときに、前記複数パターンの予測タップそれぞれについて、前記クラスごとに求められたものであり、
前記予測手段は、前記注目画素の画素値に付加されている前記パターンコードに対応するパターンの前記予測タップと、その予測タップについての予測係数のうちの前記注目画素のクラスに対応する予測係数とから、前記予測値を求める
ことを特徴とする請求項２８に記載の画像復号装置。
【請求項３１】
原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、
前記圧縮画像信号を構成する画素のうちの１つを注目画素として、前記原画像信号を予測するために用いる前記注目画素および前記注目画素の近傍の画素からなる複数パターンの予測タップを形成し、
前記複数パターンの予測タップそれぞれと、所定の予測係数とから、前記原画像信号を予測し、前記複数パターンの予測タップそれぞれに対する予測値を出力し、
前記複数パターンの予測タップそれぞれに対する前記予測値の、前記原画像信号に対する予測誤差を算出し、
前記複数パターンの予測タップのうち、最小の前記予測誤差が得られる予測タップに対応するパターンコードを、前記注目画素の画素値の一部と置き換えることにより前記注目画素の画素値に付加する
ことにより得られる前記圧縮画像信号および前記予測係数を含む符号化データを復号する画像復号方法であって、
前記符号化データから、前記圧縮画像信号と予測係数とを分離する分離ステップと、
前記符号化データに含まれる前記圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されている前記パターンコードに対応するパターンの前記予測タップを、前記注目画素の近傍の画素を用いて形成する形成ステップと、
前記形成ステップにより形成された前記予測タップと、前記予測係数とから、前記原画像信号を予測し、その予測値を求める予測ステップと
を備えることを特徴とする画像復号方法。
【請求項３２】
前記符号化データに含まれる前記圧縮画像信号を構成する画素の画素値のＬＳＢ（Least Significant Bit）側のＮビットに代えて、前記パターンコードが配置されている
ことを特徴とする請求項３１に記載の画像復号方法。
【請求項３３】
前記予測係数は、前記予測誤差が最小となる予測係数である
ことを特徴とする請求項３１に記載の画像復号方法。
【請求項３４】
前記予測ステップは、
前記注目画素を、所定のクラスに分類するクラス分類ステップを有し、
前記注目画素のクラスに対応する予測係数と、前記予測タップとから、前記予測値を求め、
前記予測係数は、前記符号化データを符号化するときに、前記クラスごとに求められたものである
ことを特徴とする請求項３３に記載の画像復号方法。
【請求項３５】
前記予測係数は、前記符号化データを符号化するときに、前記複数パターンの予測タップそれぞれについて求められたものである
ことを特徴とする請求項３３に記載の画像復号方法。
【請求項３６】
前記予測係数は、前記符号化データを符号化するときに、前記複数パターンの予測タップそれぞれについて、前記クラスごとに求められたものであり、
前記予測ステップは、前記注目画素の画素値に付加されている前記パターンコードに対応するパターンの前記予測タップと、その予測タップについての予測係数のうちの前記注目画素のクラスに対応する予測係数とから、前記予測値を求める
ことを特徴とする請求項３４に記載の画像復号方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法に関する。
【０００２】
【従来の技術】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）を、高解像度の画像（以下、適宜、ＨＤ画像という）に変換したり、また、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素の画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画像の成分（高周波成分）を復元することはできないため、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置（画像変換回路）を先に提案している。
【０００５】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０００６】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００７】
0003844031.tif 000002
【０００８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
0003844031.tif 000003
で定義すると、次のような観測方程式が成立する。
【０００９】
0003844031.tif 000004
【００１０】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
0003844031.tif 000005
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】
0003844031.tif 000006
【００１２】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
0003844031.tif 000007
を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
0003844031.tif 000008
0003844031.tif 000009
【００１５】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１６】
【数５】
0003844031.tif 000010
0003844031.tif 000011
【００１７】
式（４）および（５）より、式（６）が得られる。
【００１８】
【数６】
0003844031.tif 000012
0003844031.tif 000013
【００１９】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００２０】
【数７】
0003844031.tif 000014
0003844031.tif 000015
【００２１】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００２２】
以上のようにして、最適な予測係数ｗのセットを求め、さらに、その予測係数ｗのセットを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である（但し、あらかじめ予測係数ｗのセットを求めておき、その予測係数ｗのセットから、予測値を求めるのも、適応処理に含まれるものとする）。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いて、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００２４】
図２５は、画像の特徴（クラス）に基づいて以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【００２５】
ＳＤ画像は、クラス分類回路１０１および遅延回路１０２に供給されるようになされており、クラス分類回路１０１では、ＳＤ画像を構成するＳＤ画素が順次、注目画素とされ、その注目画素が、所定のクラスにクラス分類される。
【００２６】
即ち、クラス分類回路１０１は、まず最初に、注目画素の周辺にあるＳＤ画素を幾つか集めてブロックを構成し（以下、適宜、処理ブロックという）、その処理ブロックを構成する、例えばすべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ＲＯＭ１０４のアドレス端子（ＡＤ）に供給する。
【００２７】
具体的には、クラス分類回路１０１は、例えば、図２６に点線の四角形で囲んで示すように、注目画素を中心とする５×５のＳＤ画素（同図において○印で示す）でなる処理ブロックを、ＳＤ画像から抽出し、これらの２５のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【００２８】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、２５のＳＤ画素の画素値のパターン数は、（２8）25通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００２９】
そこで、クラス分類を行う前の前処理として、処理ブロックには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptiv Dynamic Range Coding）処理などが施される。
【００３０】
即ち、ＡＤＲＣ処理では、まず、処理ブロックを構成する２５のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲを処理ブロックの局所的なダイナミックレンジとする。このダイナミックレンジＤＲに基づいて、処理ブロックを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、処理ブロックを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【００３１】
その結果、処理ブロックを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、２５のＳＤ画素の画素値のパターン数は、（２1）25通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。なお、画素値を、このようにＫビットにするＡＤＲＣ処理を、以下、適宜、ＫビットＡＤＲＣ処理という。
【００３２】
係数ＲＯＭ１０４は、あらかじめ学習が行われることにより求められた予測係数のセットを、クラスごとに記憶しており、クラス分類回路１０１からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数のセットを読み出し、予測演算回路１０５に供給する。
【００３３】
一方、遅延回路１０２では、予測演算回路１０５に対して、係数ＲＯＭ１０４から予測係数のセットが供給されるタイミングと、後述する予測タップ生成回路１０３から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、ＳＤ画像が遅延され、予測タップ生成回路１０３に供給される。
【００３４】
予測タップ生成回路１０３では、そこに供給されるＳＤ画像から、予測演算回路１０５において所定のＨＤ画素の予測値を求めるのに用いるＳＤ画素が抽出され、これが予測タップとして、予測演算回路１０５に供給される。即ち、予測タップ生成回路１０３では、ＳＤ画像から、例えば、クラス分類回路１０１で抽出されたとの同一の処理ブロックが抽出され、その処理ブロックを構成するＳＤ画素が、予測タップとして、予測演算回路１０５に供給される。
【００３５】
予測演算回路１０５では、係数ＲＯＭ１０４からの予測係数ｗ，ｗ2，・・・と、予測タップ生成回路１０３からの予測タップｘ1，ｘ2，・・・とを用いて、式（１）に示した演算、即ち、適応処理が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【００３６】
即ち、ここでは、例えば、図２６において実線の四角形で囲む、注目画素を中心とする３×３のＨＤ画素（同図において・点で示す）の予測値が、１つの予測タップから求められるようになされており、この場合、予測演算回路１０５では、この９個のＨＤ画素について、式（１）の演算が行われる。従って、係数ＲＯＭ１０４では、１のクラスに対応するアドレスに、９セットの予測係数のセットが記憶されている。
【００３７】
以下同様の処理が、その他のＳＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【００３８】
次に、図２７は、図２５の係数ＲＯＭ１０４に記憶させるクラス毎の予測係数のセットを算出する学習処理を行う学習装置の構成例を示している。
【００３９】
学習における教師データｙとなるべきＨＤ画像が、間引き回路１１１および遅延回路１１４に供給されるようになされており、間引き回路１１１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。このＳＤ画像は、クラス分類回路１１２および予測タップ生成回路１１３に供給される。
【００４０】
クラス分類回路１１２または予測タップ生成回路１１３では、図２５のクラス分類回路１０１または予測タップ生成回路１０３における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路１１２が出力するクラスは、予測タップメモリ１１５および教師データメモリ１１６のアドレス端子（ＡＤ）に供給され、予測タップ生成回路１１３が出力する予測タップは、予測タップメモリ１１５に供給される。
【００４１】
予測タップメモリ１１５では、クラス分類回路１１２から供給されるクラスに対応するアドレスに、予測タップ生成回路１１３から供給される予測タップが記憶される。
【００４２】
一方、遅延回路１１４では、注目画素に対応するクラスが、クラス分類回路１１２から教師データメモリ１１６に供給される時間だけ、ＨＤ画像が遅延され、そのうちの、予測タップに対して図２６に示した位置関係にあるＨＤ画素の画素値だけが、教師データとして、教師データメモリ１１６に供給される。
【００４３】
そして、教師データメモリ１１６では、クラス分類回路１１２から供給されるクラスに対応するアドレスに、遅延回路１１４から供給される教師データが記憶される。
【００４４】
以下同様の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像から得られるＳＤ画像を構成するすべてのＳＤ画素が注目画素とされるまで繰り返される。
【００４５】
以上のようにして、予測タップメモリ１１５または教師データメモリ１１６の同一のアドレスには、図２６において○印で示したＳＤ画素または図２６において・印で示したＨＤ画素とそれぞれ同一の位置関係にあるＳＤ画素またはＨＤ画素が、学習データｘまたは教師データｙとして記憶される。
【００４６】
なお、予測タップメモリ１１５と教師データメモリ１１６においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【００４７】
その後、演算回路１１７は、予測タップメモリ１１５または教師データメモリ１１６から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数のセットを算出する。即ち、演算回路１１７では、クラス毎に、式（７）に示した正規方程式がたてられ、これを解くことによりクラス毎の予測係数のセットが求められる。
【００４８】
以上のようにして、演算回路１１７で求められたクラス毎の予測係数のセットが、図２５の係数ＲＯＭ１０４における、そのクラスに対応するアドレスに記憶されている。
【００４９】
なお、以上のような学習処理において、予測係数のセットを求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数のセットなどが、いわばデフォルトの予測係数のセットとして用いられる。
【００５０】
ところで、図２５の画像変換装置によれば、ＨＤ画像の画素数を間引くなどして少なくすることにより得られるＳＤ画像から、上述したように、そこに含まれていない高周波成分をも含むＨＤ画像を得ることができるが、元のＨＤ画像に近づけるのには限界がある。その理由として、ＨＤ画像の画素数を間引いただけのＳＤ画像の画素（ＳＤ画素）の画素値が、元のＨＤ画像を復元するのに、最適ではないことが考えられる。
【００５１】
そこで、本件出願人は、元のＨＤ画像により近い画質の復号画像を得ることができるようにするため、適応処理を利用した画像の圧縮（符号化）について先に提案している（例えば、特願平８−２０６５５２号など）。
【００５２】
即ち、図２８は、適応処理によって、元のＨＤ画像により近い復号画像を得ることができるように、そのＨＤ画像を、最適なＳＤ画像に圧縮（符号化）する画像符号化装置の構成例を示している。
【００５３】
符号化対象のＨＤ画像は、間引き部１２１および誤差算出部４３に供給される。
【００５４】
間引き部１２１では、ＨＤ画像が、例えば、単純に間引かれることによりＳＤ画像とされ、補正部４１に供給される。補正部４１は、間引き部１２１からＳＤ画像を受信すると、最初は、そのＳＤ画像を、そのままローカルデコード部１２２に出力する。ローカルデコード部１２２は、例えば、図２５に示した画像変換装置と同様に構成され、補正部４１からのＳＤ画像を用いて、上述したような適応処理を行うことにより、ＨＤ画素の予測値を算出し、誤差算出部４３に出力する。誤差算出部４３は、ローカルデコード部１２２からのＨＤ画素の予測値の、元のＨＤ画素に対する予測誤差（誤差情報）を算出し、制御部４４に出力する。制御部４４は、誤差算出部４３からの予測誤差に対応して、補正部４１を制御する。
【００５５】
即ち、これにより、補正部４１は、間引き部１２１からのＳＤ画像の画素値を、制御部４４からの制御に従って補正し、ローカルデコード部１２２に出力する。ローカルデコード部１２２では、補正部４１から供給される補正後のＳＤ画像を用いて、再び、ＨＤ画像の予測値が求められる。
【００５６】
以下、例えば、誤差算出部４３が出力する予測誤差が、所定値以下となるまで、同様の処理が繰り返される。
【００５７】
そして、誤差算出部４３が出力する予測誤差が、所定値以下となると、制御部４４は、補正部４１を制御し、これにより、予測誤差が所定値以下となったときの、補正後のＳＤ画像を、ＨＤ画像の最適な符号化結果として出力させる。
【００５８】
従って、この補正後のＳＤ画像によれば、それに適応処理を施すことにより、予測誤差が所定値以下のＨＤ画像を得ることができる。
【００５９】
ここで、以上のようにして、図２８の画像符号化装置から出力されるＳＤ画像は、元のＨＤ画像により近い復号画像を得るのに最適なものということができるから、この画像符号化装置の補正部４１、ローカルデコード部１２２、誤差算出部４３、および制御部４４で構成される系が行う処理は、最適化処理ということができる。
【００６０】
【発明が解決しようとする課題】
ところで、適応処理は、いわば、ＨＤ画素の周辺のＳＤ画素で予測タップを構成し、その予測タップを用いて、ＨＤ画素の予測値を求めるものであるが、予測タップとして用いられるＳＤ画素は、画像とは無関係に選択されるようになされていた。
【００６１】
即ち、図２５の画像変換装置の予測タップ生成回路１０３や、この画像変換装置と同様に構成される図２８のローカルデコード部１２２では、常に、一定パターンの予測タップが生成（形成）されるようになされていた。
【００６２】
しかしながら、画像は、局所的に特性が異なる場合が多く、従って、特性が異なれば、それに対応した予測タップを用いて適応処理をした方が、元のＨＤ画像の画質により近い復号画像を得ることができると考えられる。
【００６３】
本発明は、このような状況に鑑みてなされたものであり、より画質の向上した復号画像を得ることができるようにするものである。
【００６４】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮手段と、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成手段と、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測手段と、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出する第１の算出手段と、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加する付加手段とを備えることを特徴とする。
【００６５】
請求項１３に記載の画像符号化方法は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮ステップと、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成ステップと、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測ステップと、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出する第１の算出ステップと、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加する付加ステップとを備えることを特徴とする。
【００６６】
請求項２５に記載の画像復号装置は、符号化データから、圧縮画像信号と予測係数とを分離する分離手段と、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成する形成手段と、形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求める予測手段とを備えることを特徴とする。
【００６７】
請求項３１に記載の画像復号方法は、符号化データから、圧縮画像信号と予測係数とを分離する分離ステップと、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成する形成ステップと、形成ステップにより形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求める予測ステップとを備えることを特徴とする。
【００６９】
請求項１に記載の画像符号化装置においては、圧縮手段は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、第１の形成手段は、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成し、第１の予測手段は、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力するようになされている。第１の算出手段は、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出し、付加手段は、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加するようになされている。
【００７０】
請求項１３に記載の画像符号化方法においては、原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成し、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力し、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出し、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加するようになされている。
【００７１】
請求項２５に記載の画像復号装置においては、分離手段は、符号化データから、圧縮画像信号と予測係数とを分離し、形成手段は、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成し、予測手段は、形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求めるようになされている。
【００７２】
請求項３１に記載の画像復号方法においては、符号化データから、圧縮画像信号と予測係数とを分離し、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成し、その予測タップと、予測係数とから、原画像信号を予測し、その予測値を求めるようになされている。
【００７４】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００７５】
即ち、請求項１に記載の画像符号化装置は、画像信号を符号化する画像符号化装置であって、原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮手段（例えば、図５に示す間引き回路３１など）と、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成手段（例えば、図５に示す予測タップ生成回路３２や、図２２に示す予測タップ生成回路６１など）と、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測手段（例えば、図５に示すクラス分類適応処理回路３３や、図２２に示すクラス分類適応処理回路６２など）と、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出する第１の算出手段（例えば、図５に示す予測誤差算出回路３４や、図２２に示す予測誤差算出回路６３など）と、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加する付加手段（例えば、図５に示すタップパターンコード付加回路３６や、図２２に示すタップパターンコード変更回路６４など）とを備えることを特徴とする。
【００７６】
請求項３に記載の画像符号化装置は、第１の予測手段が、予測誤差が最小となる予測係数を求める演算手段（例えば、図１１に示す演算回路８７など）を有することを特徴とする。
【００７７】
請求項４に記載の画像符号化装置は、第１の予測手段が、注目画素を、所定のクラスに分類するクラス分類手段（例えば、図１１に示すクラス分類回路８２など）をさらに有し、注目画素のクラスに対応する予測係数と、予測タップとから、予測値を求め、演算手段が、原画像信号および圧縮画像信号に基づいて、予測係数を、クラスごとに求めることを特徴とする。
【００７８】
請求項７に記載の画像符号化装置は、変換後の信号と予測係数により予測される予測値の、原画像信号に対する予測誤差が最小となる信号に圧縮画像信号を変換する最適化手段（例えば、図３に示す最適化部２３など）をさらに備えることを特徴とする。
【００７９】
請求項８に記載の画像符号化装置は、最適化手段が、注目画素の画素値に付加されたパターンコードに対応するパターンの予測タップを形成する第２の形成手段（例えば、図１６に示す予測タップ生成回路４２Ａなど）と、第２の形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を出力する第２の予測手段（例えば、図１６に示すクラス分類適応処理回路４２Ｂなど）と、第２の予測手段により求められた予測値の、原画像信号に対する予測誤差を算出する第２の算出手段（例えば、図１６に示す誤差算出回路４３など）と、第２の算出手段により算出された予測誤差より予測誤差が小さくなるように画素値を所定の値だけ増加または減少させることにより、注目画素の画素値を補正する補正手段（例えば、図１６に示す補正部４１など）とを有することを特徴とする。
【００８０】
請求項１０に記載の画像符号化装置は、最適化処理を行うごとに得られる圧縮画像信号と、原画像信号とに基づいて、第２の予測手段により求められる予測値の、原画像信号に対する予測誤差が最小となる係数に予測係数を修正する修正手段（例えば、図３に示す適応処理部２４など）をさらに備え、第１および第２の予測手段が、修正手段により修正され予測係数を用いて、予測値を求めることを特徴とする。
【００８１】
請求項１１に記載の画像符号化装置は、最適化手段が出力する圧縮画像信号と、修正手段が出力する予測係数とを出力する出力手段（例えば、図３に示す多重化部２７など）をさらに備えることを特徴とする。
【００８２】
請求項１２に記載の画像符号化装置は、パターンコードが付加された圧縮画像信号と、予測係数とを出力する出力手段（例えば、図３に示す多重化部２７など）をさらに備えることを特徴とする。
【００８３】
請求項２５に記載の画像復号装置は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成し、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力し、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出し、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加することにより得られる圧縮画像信号および予測係数を含む符号化データを復号する画像復号装置であって、符号化データから、圧縮画像信号と予測係数とを分離する分離手段（例えば、図２４に示す分離部７２など）と、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成する形成手段（例えば、図２４に示す予測タップ生成回路７３など）と、形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求める予測手段（例えば、図２４に示すクラス分類適応処理回路７４など）とを備えることを特徴とする。
【００８４】
請求項２８に記載の画像復号装置は、予測手段が、注目画素を、所定のクラスに分類するクラス分類手段（例えば、図１７に示すクラス分類回路９１など）を有し、注目画素のクラスに対応する予測係数と、予測タップとから、予測値を求め、予測係数が、符号化データを符号化するときに、原画像信号および圧縮画像信号に基づいて、クラスごとに求められたものであることを特徴とする。
【００８６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００８７】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。送信装置１には、ディジタル化されたＨＤ画像の画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られるＳＤ画像の画像データを、ＨＤ画像の符号化データとして、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して伝送する。
【００８８】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データを伸張、復号し、その結果得られるＨＤ画像の復号画像を、図示せぬディスプレイに供給して表示させる。
【００８９】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００９０】
図２は、送信装置１の構成例を示している。
【００９１】
Ｉ／Ｆ（InterFace）１１は、外部から供給されるＨＤ画像の画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００９２】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。また、図２において、送信装置１はＣＰＵを用いた構成であるが、ハードロジックで構成することも可能である。
【００９３】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１にＨＤ画像の画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データとしてのＳＤ画像を、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００９４】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。
【００９５】
符号化すべき画像データとしてのＨＤ画像は、前処理部２１、最適化部２３、適応処理部２４、および予測タップパターン判定部２６に供給されるようになされている。
【００９６】
前処理部２１は、そこに供給されるＨＤ画像に対して、後述するような前処理を、例えば、１フレーム（または１フィールド）単位で施し、その結果得られるＳＤ画像または複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを、スイッチ２２または２５の端子ａにそれぞれ供給するようになされている。スイッチ２２の端子ａまたはｂには、前処理部２１または予測タップパターン判定部２６が出力するＳＤ画像が、それぞれ供給されるようになされている。スイッチ２２は、前処理部２１において、あるＨＤ画像に前処理が施され、これによりＳＤ画像が出力されるときだけ、端子ａを選択し、それ以外のときは、端子ｂを選択し、前処理部２１または予測タップパターン判定部２６が出力するＳＤ画像を、最適化部２３に供給するようになされている。
【００９７】
最適化部２３は、スイッチ２２から供給されるＳＤ画像に対して、前述の図２８で説明した最適化処理を施し、その結果得られる最適ＳＤ画像を、適応処理部２５、予測タップパターン判定部２６、および多重化化部２７に供給するようになされている。適応処理部２４は、最適化部２３からの最適ＳＤ画像と、元のＨＤ画像とを用いて適応処理を行うことによって、最適ＳＤ画像の画素値との線形結合により求められるＨＤ画像の予測値の予測誤差を小さくするクラス毎の予測係数ｗのセットを複数パターンの予測タップ毎に算出し、スイッチ２５の端子ｂに出力するようになされている。
【００９８】
スイッチ２５は、前処理部２１において、あるＨＤ画像に前処理が施され、これにより複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが出力されるときだけ、端子ａを選択し、それ以外のときは、端子ｂを選択し、前処理部２１または適応処理部２４が出力する複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを、最適化部２３、予測タップパターン判定部２６、および多重化部２７に供給するようになされている。
【００９９】
予測タップパターン判定部２６は、最適化部２３から供給される最適ＳＤ画像から、複数パターンの予測タップを形成し、その複数パターンの予測タップそれぞれを用いて適応処理を行うことで、複数のＨＤ画像の予測値を求めるようになされている。さらに、予測タップパターン判定部２６は、複数パターンの予測タップのうち、複数のＨＤ画像の予測値の予測誤差を最小にするものを判定し、その判定結果に対応して、最適化部２３からの最適ＳＤ画像の画素値に、後述するパターンコードを付加して、スイッチ２２の端子ｂに供給するようになされている。
【０１００】
多重化部２７は、所定の場合に、最適化部２３から供給される最適ＳＤ画像と、スイッチ２５を介して供給される複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットとを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に出力するようになされている。
【０１０１】
次に、図４のフローチャートを参照して、その動作について説明する。
【０１０２】
符号化すべきＨＤ画像が、前処理部２１、最適化部２３、適応処理部２４、および予測タップパターン判定部２６に供給されると、前処理部２１では、ステップＳ１において、ＨＤ画像に前処理が施される。
【０１０３】
即ち、前処理部２１は、ＨＤ画像の画素数を少なくして圧縮することによりＳＤ画像を構成し、そのＳＤ画像を構成するＳＤ画素それぞれを順次注目画素として、各注目画素に対して、複数パターンの予測タップを形成する。さらに、前処理部２１は、その複数パターンの予測タップそれぞれについて、式（７）に示した正規方程式をたてて解くことにより、クラス毎の予測係数ｗのセットを求める。そして、前処理部２１は、複数パターンの予測タップと、それぞれについて求めたクラス毎の予測係数ｗのセットの所定のクラスの予測係数のセットとを用いて、式（１）に示した線形１次式を計算することにより、複数パターンの予測タップそれぞれから得られる複数のＨＤ画像の予測値を求める。さらに、前処理部２１は、複数パターンの予測タップのうち、複数のＨＤ画像の予測値の予測誤差を最も小さくするものを検出し、その予測タップのパターンにあらかじめ対応付けられている、例えば、２ビットのコードであるタップパターンコードを、注目画素となっているＳＤ画素に付加して出力する。
【０１０４】
以上のようにして、タップパターンコードが付加されたＳＤ画像は、スイッチ２２の端子ａに、また、正規方程式を解くことにより得られた複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、スイッチ２５の端子ａに、それぞれ出力される。
【０１０５】
スイッチ２２および２５は、上述したように、前処理部２１からＳＤ画像および複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが出力されるタイミングでは、いずれも端子ａを選択しており、従って、前処理部２１が出力するＳＤ画像は、スイッチ２２を介して、最適化部２３に供給され、また、前処理部２１が出力する複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、スイッチ２５を介して、最適化部２３および予測タップパターン判定部２６に出力される。
【０１０６】
最適化部２３は、ＳＤ画像および複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを受信すると、ステップＳ２において、それらを用いて最適化処理を行う。即ち、最適化部２３は、ＳＤ画像および複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを用いて適応処理を行い、その結果得られるＨＤ画像の予測値の予測誤差が小さくなるように、ＳＤ画像の画素値を補正する。そして、その結果得られる最適ＳＤ画像を、適応処理部２４および予測タップパターン判定部２６に供給する。
【０１０７】
適応処理部２４は、最適化部２３から最適ＳＤ画像を受信すると、ステップＳ３において、適応処理を行うことにより、最適ＳＤ画像を用いて得られるＨＤ画像の予測値の予測誤差を小さくする複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを算出する。即ち、適応処理部２４は、最適ＳＤ画像を構成するＳＤ画素それぞれを順次注目画素として、各注目画素に対して予測タップを形成する。なお、このとき、予測タップは、注目画素に付加されているタップパターンコードに対応するパターンのものが形成される。そして、適応処理部２４は、複数パターンの予測タップ毎に、予測タップから正規方程式をたて、それを解くことにより、複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを求める。この複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、スイッチ２５の端子ｂに供給される。
【０１０８】
以上の処理後、ステップＳ４に進み、スイッチ２２および２５が、いずれも、端子ａからｂに切り換えられ、これにより、適応処理部２４において求められた複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが、スイッチ２５を介して、最適化部２３および予測タップパターン判定部２６に供給されるようになる。
【０１０９】
そして、予測タップパターン判定部２６は、最適化部２３から最適ＳＤ画像を受信し、さらに、適応処理部２４から複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを受信すると、ステップＳ５において、その最適ＳＤ画像を構成する各ＳＤ画素を注目画素として形成される予測タップの最適なパターンが決定される。
【０１１０】
即ち、予測タップパターン判定部２６は、最適ＳＤ画像を構成するＳＤ画素それぞれを順次注目画素として、各注目画素に対して、複数パターンの予測タップを形成する。さらに、予測タップパターン判定部２６は、その複数パターンの予測タップそれぞれについて、適応処理部２４からのその予測タップに対応するクラス毎の予測係数ｗのセットのうち、所定のクラスの予測係数のセットを用いて、式（１）に示した線形１次式を計算することにより、複数パターンの予測タップそれぞれから得られる複数のＨＤ画像の予測値を求める。そして、予測タップパターン判定部２６は、複数パターンの予測タップそれぞれを用いて得られる複数のＨＤ画像の予測値の予測誤差のうちの最も小さいものに対応するパターンの予測タップを検出し、その予測タップに対応するタップパターンコードに、注目画素となっているＳＤ画素に既に付加されているタップパターンコードを変更する。即ち、いまの場合、ＳＤ画素には、既にタップパターンコードが付加されているので、それに代えて、予測誤差を最も小さくする予測タップのタップパターンコードが付加される。
【０１１１】
以上のようにして、タップパターンコードが変更されたＳＤ画像は、スイッチ２２の端子ｂに出力される。
【０１１２】
スイッチ２２は、ステップＳ４で切り換えられ、端子ｂを選択しているので、予測タップパターン判定部２６が出力するＳＤ画像は、スイッチ２２を介して、最適化部２３に供給される。最適化部２３では、ステップＳ６において、ステップＳ２における場合と同様に、最適化処理が行われ、これにより、最適ＳＤ画像が出力される。なお、この場合、最適化部２３では、ステップＳ２で説明したように適応処理が行われるが、この適応処理は、スイッチ２５を介して、適応処理部２４から供給される複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを用いて行われる。
【０１１３】
最適化部２３から出力される最適ＳＤ画像は、適応処理部２４および予測タップパターン判定部２６に供給され、適応処理部２４では、ステップＳ７において、ステップＳ３における場合と同様に、最適化部２３が出力する最適ＳＤ画像を用いて適応処理が行われることにより、複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが求められ、スイッチ２５を介して、最適化部２３および予測タップパターン判定部２６に出力される。
【０１１４】
その後、ステップＳ８に進み、ステップＳ５乃至Ｓ８の処理を所定の規定回数だけ行ったかどうかが判定される。ステップＳ８において、ステップＳ５乃至Ｓ８の処理を、所定の規定回数だけ、まだ行っていないと判定された場合、ステップＳ５に戻り、上述の処理を繰り返す。また、ステップＳ８において、ステップＳ５乃至Ｓ８の処理を、所定の規定回数だけ行ったと判定された場合、ステップＳ９に進み、多重化部２７は、前回のステップＳ６の処理において、最適化部２３が出力した最適ＳＤ画像と、そのとき用いられた複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットとを多重化し、符号化データとして出力して、処理を終了する。
【０１１５】
以上の処理が、例えば、１フレーム単位などで繰り返される。
【０１１６】
なお、上述の場合、ステップＳ８において、ステップＳ５乃至Ｓ８の処理を所定の規定回数だけ行ったかどうかを判定するようにしたが、その他、ステップＳ８では、例えば、その時点で最適化部２３から出力された最適ＳＤ画像を用いて適応処理を行うことにより得られるＨＤ画像の予測値の予測誤差の、１フレーム分の絶対値和などが、所定の閾値以下であるかどうかを判定し、閾値以下である場合には、ステップＳ９に進み、閾値以下でない場合には、ステップＳ５に戻るようにすることも可能である。即ち、ステップＳ５乃至Ｓ８の処理は、最適ＳＤ画像を用いて適応処理を行うことにより得られるＨＤ画像の予測値の予測誤差の、１フレーム分の絶対値和が、所定の閾値以下となるまで繰り返すようにすることが可能である。
【０１１７】
次に、図５は、図３の前処理部２１の構成例を示している。
【０１１８】
符号化すべきＨＤ画像は、間引き回路３１、クラス分類適応処理回路３３、および予測誤差算出回路３４に供給されるようになされている。
【０１１９】
間引き回路３１は、ＨＤ画像の画素数を、例えば、間引くことにより少なくし、ＳＤ画像を構成して、予測タップ生成回路３２およびタップパターンコード付加回路３６に供給するようになされている。即ち、間引き回路３１は、例えば、ＨＤ画像を、横×縦が３×３画素の９画素でなる正方形状のブロックに分割し、各ブロックの９画素の平均値を、その中心の画素の画素値として、ＳＤ画像を構成するようになされている。これにより、間引き回路３１では、例えば、図６に・印で示すＨＤ画素からなるＨＤ画像から、同図に○印で示すＳＤ画素からなるＳＤ画像が構成される。
【０１２０】
なお、間引き回路３１には、その他、例えば、上述のブロックの中心の画素だけを抽出させて、ＳＤ画像を構成させるようにすることなども可能である。
【０１２１】
予測タップ生成回路３２は、間引き回路３１からのＳＤ画像を構成する各ＳＤ画素（図６において、○印で示した部分）を、順次注目画素として、各注目画素について、複数パターンの予測タップを構成するようになされている。即ち、本実施の形態では、例えば、図７乃至図１０にそれぞれ示すように、注目画素を中心とする３×３画素、５×３画素、３×５画素、または７×５画素の４パターンの予測タップが形成されるようになされている。これらの４パターンの予測タップは、クラス分類適応処理回路３３に供給されるようになされている。
【０１２２】
クラス分類適応処理回路３３は、予測タップ生成回路３２から供給される４パターンの予測タップそれぞれについて、クラス分類を行い、さらに、各クラスについて、ＨＤ画像を用いて式（７）に示した正規方程式をたてて解くことにより、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを求めるようになされている。また、クラス分類適応処理回路３３は、求めた４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットのうち、所定のクラスの予測係数ｗのそれぞれと、４パターンの予測タップそれぞれとから、式（１）に示した線形１次式を演算することにより、４パターンの予測タップそれぞれから得られる複数のＨＤ画像の予測値を求め、予測誤差算出回路３４に出力するようにもなされている。
【０１２３】
なお、クラス分類適応処理回路３３において、４パターンの予測タップそれぞれについて求められたクラス毎の予測係数ｗのセットは、メモリ３５に供給されるようになされている。
【０１２４】
また、本実施の形態では、クラス分類適応処理回路３３において、４パターンの予測タップのそれぞれについて、正規方程式は、予測タップのパターンとは無関係に、例えば、図６に点線で囲んで示すように、注目画素となっているＳＤ画素を中心とする３×３のＨＤ画素の予測値を求めるようにたてられるようになされている。従って、クラス分類適応処理回路３３では、３×３のＨＤ画素の予測値を生成するための４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが求められる。このクラス分類適応処理回路３３の詳細な構成については後述する。
【０１２５】
予測誤差算出回路３４は、各注目画素について、４パターンの予測タップそれぞれから得られたＨＤ画像の予測値の、元のＨＤ画像の画素値に対する予測誤差を求めるようになされている。つまり、４パターンの予測タップのそれぞれについて、例えば、ＨＤ画素の９画素の予測値と元のＨＤ画像の９画素の画素値との差分の自乗和が演算される。そして、予測誤差算出回路３４は、４パターンの予測タップのうち、予測誤差（差分の自乗和）が最も小さいものを検出する。さらに、予測誤差算出回路３４は、予測誤差が最も小さい予測タップのパターンに対応する２ビットのタップパターンコードを、メモリ３５およびタップパターンコード付加回路３６に出力するようになされている。
【０１２６】
メモリ３５は、クラス分類適応処理回路３３から供給される、４パターンの予測タップそれぞれについて求められたクラス毎の予測係数ｗのセットを一時記憶するようになされている。そして、メモリ３５は、例えば、１フレーム（または１フィールド）のＨＤ画像の処理が終了する（つまり、すべてのＳＤ画素にタップパターンコードが付加される）と、４パターンの予測タップのそれぞれについて求められたクラス毎の予測係数ｗのセットを読み出し、スイッチ２５の端子ａに出力するようになされている。
【０１２７】
タップパターンコード付加回路３６は、そこに供給されるＳＤ画像に対して、予測誤差算出回路３４から供給されるタップパターンコードを付加するようになされている。即ち、タップパターンコード付加回路３６は、注目画素となっているＳＤ画素の画素値（例えば、８ビットなどで構成される）のＬＳＢ（Least Significant Bit）側の２ビットを削除し、そこに、２ビットのタップパターンコードを配置するようになされている。タップパターンコード付加回路３６においてタップパターンコードの付加されたＳＤ画像は、スイッチ２２の端子ａに出力されるようになされている。
【０１２８】
ここで、クラス分類適応処理回路３３の構成について説明する。クラス分類適応処理回路３３は、４パターンの予測タップのそれぞれに対して処理を施す、クラス分類適応処理回路（予測係数、予測値算出）を有している。すなわち、クラス分類適応処理回路３３は、４パターンの予測タップそれぞれのための独立した４つのクラス分類適応処理回路（予測係数、予測値算出）を有している。図１１及び図１２は、そのうちの１つのクラス分類適応処理回路（予測係数、予測値算出）を示している。なお、４つのクラス分類適応処理回路（予測係数、予測値算出）は、異なる４つの予測タップが供給される他は、同様の構成であるので、１つのクラス分類適応処理回路（予測係数、予測値算出）を説明して、その他は省略する。
【０１２９】
図１１及び図１２に示されるクラス分類適応処理回路（予測係数、予測値算出）は、クラス分類回路８２、遅延回路８４、予測タップメモリ８５、教師データメモリ８６、演算回路８７及び遅延回路８８（図１１）、並びにクラス分類回路９１、係数ＲＡＭ９４及び予測演算回路９５（図１２）から構成されている。
【０１３０】
図１１に示されるクラス分類適応処理回路（予測係数、予測値算出）の一部を構成する、遅延回路８８を除く、クラス分類回路８２、遅延回路８４、予測タップメモリ８５、教師データメモリ８６、または演算回路８７は、図２７に示される学習装置のクラス分類回路１１２、遅延回路１１４、予測タップメモリ１１５、教師データメモリ１１６、または演算回路１１７と、それぞれ同様に構成されている。ただし、予測タップが予測タップ生成回路３２から供給されるため、図２７に示される予測タップ生成回路１１３の代わりに遅延回路８８が設けられており、予測タップ生成回路３２からの予測タップは遅延回路８８に供給されるようになされている。そして、遅延回路８８では、遅延回路８４と同様に、注目画素に対するクラスが、クラス分類回路８２から予測タップメモリ８５に供給される時間だけ、予測タップが遅延され、予測タップメモリ８５に供給されて記憶されるようになされている。
【０１３１】
また、図１２に示されるクラス分類適応処理回路（予測係数、予測値算出）の他の一部を構成する、係数ＲＡＭ９４を除くクラス分類回路９１または予測演算回路９５は、図２５に示されるクラス分類回路１０１または予測演算回路１０５と、それぞれ同様に構成されている。係数ＲＡＭ９４は、図１１の演算回路８７が出力するクラス毎の予測係数のセットを記憶するようになされている。
【０１３２】
以上のように構成されるクラス分類適応処理回路（予測係数、予測値算出）では、１フレームのＨＤ画素に対するデータが、図２７における場合と、ほぼ同様にして、予測タップメモリ８５及び教師データメモリ８６に記憶され、クラス毎の予測係数のセットが生成される。この生成されたクラス毎の予測係数のセットが、図１２の係数ＲＡＭ９４に供給されて記憶されるとともに、図５の前処理部２１のメモリ３５に供給されて記憶される。なお、上述したように、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが独立の回路で生成されるため、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが図１２の係数ＲＡＭ９４に供給されて記憶されるとともに、図５の前処理部２１のメモリ３５に供給されて記憶される。
【０１３３】
図１２に示されるクラス分類適応処理回路（予測係数、予測値算出）の一部を構成するクラス分類回路９１、係数ＲＡＭ９４及び予測演算回路９５では、係数ＲＡＭ９４にクラス毎の予測係数のセットが記憶されると、図２５の画像変換装置のクラス分類回路１０１、係数ＲＡＭ１０４、または予測演算回路１０５と、それぞれ同一の処理が行われ、これによりＨＤ画像の予測値が求められる。即ち、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが図１２の係数ＲＡＭ９４に記憶されると、クラス分類回路９１において、クラス分類が行われ、クラス情報が係数ＲＡＭ９４に供給される。係数ＲＡＭ９４は、供給されたクラス情報に対応する予測係数のセットを出力して、予測演算回路９５に供給する。予測演算回路９５は、供給された予測タップと予測係数のセットとから式（１）に示した線形一次式を演算することにより、複数のＨＤ画像の予測値を求める。
【０１３４】
なお、クラス分類回路８２とクラス分類回路９１は、同一の構成であるため、いずれか一方を設けるだけでもよい。
【０１３５】
次に、図１３のフローチャートを参照して、前処理部２１の処理について説明する。
【０１３６】
前処理部２１に、符号化すべきＨＤ画像が入力されると、そのＨＤ画像は、間引き回路３１、クラス分類適応処理回路３３、および予測誤差算出回路３４に供給される。間引き回路３１は、ＨＤ画像を受信すると、ステップＳ１１において、その画素数を間引き、ＳＤ画像を構成する。
【０１３７】
即ち、ステップＳ１１では、図１４のフローチャートに示すように、まず最初に、ステップＳ２１において、ＨＤ画像が、例えば、３×３画素のＨＤ画像のブロックに分割され、ステップＳ２２に進む。
【０１３８】
なお、本実施の形態において、ＨＤ画像は、例えば、輝度信号Ｙと、色差信号Ｕ，Ｖとから構成され、ステップＳ２１では、輝度信号のブロックと色差信号のブロックとが構成されるようになされている。
【０１３９】
ステップＳ２２では、いずれかのブロックが注目ブロックとされ、その注目ブロックを構成する３×３のＨＤ画素の画素値の平均値が計算される。さらに、ステップＳ２２では、その平均値が、注目ブロックの中心の画素（ＳＤ画素）の画素値とされ、ステップＳ２３に進む。
【０１４０】
ステップＳ２３では、注目ブロックが輝度信号のブロックであるかどうかが判定される。ステップＳ２３において、注目ブロックが輝度信号のブロックであると判定された場合、ステップＳ２４に進み、ＳＤ画素としての注目ブロックの中心の画素の画素値（ここでは、輝度信号）のＬＳＢ側の２ビットが、タップパターンコードを付加するために、例えば０にクリアされ、ステップＳ２５に進む。また、ステップＳ２３において、注目ブロックが輝度信号のブロックでないと判定された場合、即ち、注目ブロックが色差信号のブロックである場合、ステップＳ２４をスキップして、ステップＳ２５に進む。
【０１４１】
ここで、本実施の形態では、輝度信号についてのみ、複数パターンの予測タップが用意されており、色差信号については、固定パターンの予測タップが用いられるようになされている。従って、タップパターンコードが付加されるのは、輝度信号についてのみで、色差信号については、タップパターンコードは付加されないため、そのＬＳＢ側の２ビットをクリアすることは行われないようになされている。
【０１４２】
ステップＳ２５では、ステップＳ２１で構成されたブロックすべてを、注目ブロックとして処理したかどうかが判定され、まだ、すべてのブロックを、注目ブロックとして処理していないと判定された場合、ステップＳ２２に戻り、まだ注目ブロックとしていないブロックを、新たに注目ブロックとして、同様の処理を繰り返す。また、ステップＳ２５において、すべてのブロックを、注目ブロックとして処理したと判定された場合、即ち、ＳＤ画像が構成された場合、リターンする。
【０１４３】
図１３に戻り、ステップＳ１１において、以上のようにして構成されたＳＤ画像は、間引き回路３１から予測タップ生成回路３２およびタップパターンコード付加回路３６に供給される。予測タップ生成回路３２は、間引き回路３１からＳＤ画像を受信すると、ステップＳ１２において、それを構成するＳＤ画素を、順次注目画素として、各注目画素について、図７乃至図１０に示した４パターンの予測タップを形成（生成）し、クラス分類適応処理回路３３に供給する。
【０１４４】
なお、上述したように、４パターンの予測タップが形成されるのは輝度信号についてのみで、色差信号については、例えば、図１０に示したような、７×５画素の予測タップだけが、常時形成される。
【０１４５】
クラス分類適応処理回路３３は、ステップＳ１３において、まず、予測タップ生成回路３２から供給される４パターンの予測タップ（輝度信号の場合）それぞれについて、図１１および図１２に示したように構成される、それぞれのクラス分類適応処理回路（予測係数、予測値算出）でクラス分類を行う。
【０１４６】
ここで、本実施の形態では、クラス分類回路８２および９１（図１１および図１２）において、４パターンの予測タップそれぞれについて、例えば、次のようなクラス分類用のタップ（以下、適宜、クラスタップという）が構成され、クラス分類が行われるようになされている。
【０１４７】
即ち、輝度信号については、４パターンの予測タップのいずれに関しても、例えば、図１５（Ａ）に点線で囲んで示すように、注目画素を中心とする、ひし形状の範囲の５のＳＤ画素によって、クラスタップが構成される。そして、この５画素の画素値のうちの最大値と最小値との差をダイナミックレンジＤＲとし、このダイナミックレンジＤＲを用いて、クラスタップのうちの、縦に並ぶ３画素（図１５（Ａ）において実線で囲む３画素）が１ビットＡＤＲＣ処理される。そして、その３画素の画素値のパターンに、予測タップに対応するタップコードを付加したものが、注目画素のクラスとされる。従って、この場合、クラスタップのうちの、縦に並ぶ３画素を１ビットＡＤＲＣ処理して得られる画素値のパターンは３ビットで表現され、また、タップコードは２ビットであるから、輝度信号は、３２（＝２5）クラスのうちのいずれかにクラス分類される。
【０１４８】
一方、色差信号については、例えば、図１５（Ｂ）に点線で囲んで示すように、注目画素を中心とする、正方形状の範囲の９のＳＤ画素によって、クラスタップが構成される。そして、この９画素の画素値のうちの最大値と最小値との差をダイナミックレンジＤＲとし、このダイナミックレンジＤＲを用いて、クラスタップのうちの、注目画素を中心とするひし形状の範囲の５のＳＤ画素（図１５（Ｂ）において実線で囲む５画素）が１ビットＡＤＲＣ処理される。そして、その５画素の画素値のパターンが、注目画素のクラスとされる。従って、この場合、クラスタップのうちの、注目画素を中心とする５画素を１ビットＡＤＲＣ処理して得られる画素値のパターンは５ビットで表現されるから、色差信号も、輝度信号と同様に、３２（＝２5）クラスのうちのいずれかにクラス分類される。
【０１４９】
クラス分類適応処理回路３３では、以上のようにして、注目画素のクラスが決定されていき、これにより、予測タップメモリ８５または教師データメモリ８６（図１１）の各アドレスに、対応するクラスの予測タップまたはＨＤ画素（教師データ）が記憶される。そして、演算回路８７（図１１）において、４パターンの予測タップのそれぞれについて、各クラスごとに、予測タップメモリ８５または教師データメモリ８６にそれぞれ記憶された予測タップまたはＨＤ画像（教師データ）を用いて、式（７）の正規方程式がたてられ、それを解くことにより、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが求められる。４パターンの予測タップそれぞれを用いて得られた、４パターンの予測タップのそれぞれについての各クラス毎の予測係数ｗのセットは、いずれもメモリ３５および係数ＲＡＭ９４に供給されて記憶される。
【０１５０】
その後、クラス分類適応処理回路３３は、ステップＳ１４において、４パターンの予測タップを用いて得られた４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットそれぞれと、４パターンの予測タップそれぞれとから、式（１）に示した線形１次式を演算することにより、４パターンの予測タップそれぞれから得られるＨＤ画像の予測値を求め、予測誤差算出回路３４に出力する。
【０１５１】
即ち、ステップＳ１４では、間引き回路３１が出力するＳＤ画像を構成するＳＤ画素のうちの１つを注目画素として、予測タップ生成回路３２で生成された予測タップについて、クラス分類回路９１（図１２）が出力するクラスに対応するアドレスに記憶された予測係数ｗのセットが、係数ＲＡＭ９４（図１２）から読み出される。そして、予測演算回路９５（図１２）において、係数ＲＡＭ９４からの予測係数ｗのセットと、注目画素についての予測タップとを用いて、式（１）の線形１次式が演算されることにより、図６で説明した注目画素の周辺にある９個のＨＤ画素の予測値が求められ、予測誤差算出回路３４に供給される。
【０１５２】
なお、クラス分類適応処理回路３３においては、予測値が、４つの予測タップそれぞれについて求められる。
【０１５３】
予測誤差算出回路３４は、ステップＳ１５において、クラス分類適応処理回路３３から供給される、４パターンの予測タップそれぞれについてのＨＤ画像の予測値の、元のＨＤ画像の画素値に対する予測誤差を求める。つまり、例えば、４パターンの予測タップのそれぞれについて、ＨＤ画素の９画素の予測値と元のＨＤ画素の画素値との差分の自乗和を、予測誤差として求める。そして、ステップＳ１６に進み、注目画素について、予測誤差が最小の予測タップを検出する。さらに、予測誤差算出回路３４は、その予測タップに対応する２ビットのタップパターンコードを、タップパターンコード付加回路３６に出力する。
【０１５４】
タップパターンコード付加回路３６では、ステップＳ１７において、間引き回路３１からのＳＤ画像を構成するＳＤ画素のうちの注目画素の画素値（但し、本実施の形態では、輝度信号についてだけ）のＬＳＢ側の２ビットが、タップパターンコードとされて（注目画素の画素値のＬＳＢ側の２ビットに代えて、２ビットのタップパターンコードが付加されて）出力される。
【０１５５】
その後、ステップＳ１８に進み、すべてのＳＤ画素にタップパターンコードが付加されたかどうかが判定され、まだ、すべてのＳＤ画素にタップパターンコードが付加されていないと判定された場合、ステップＳ１４に戻り、タップパターンコードが付加されていないＳＤ画素のうちのいずれかを、新たに注目画素として、ステップＳ１４乃至Ｓ１８の処理を繰り返す。一方、ステップＳ１８において、すべてのＳＤ画素にタップパターンコードが付加されたと判定された場合、メモリ３５は、ステップＳ１９において、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを出力して、処理を終了する。
【０１５６】
前処理部２１では、以上のようにして、間引き回路３１が出力するＳＤ画像を構成するＳＤ画素（ここでは、上述したように、３×３のＨＤ画素の平均値を画素値として有する画素）それぞれについて、予測誤差が最小となる予測タップのタップパターンコードが、いわば仮に付加される。
【０１５７】
次に、図１６は、図３の最適化部２３の構成例を示している。なお、図中、図２８の画像符号化装置における場合と基本的に同様に構成される部分については、同一の符号を付してある。即ち、最適化部２３は、間引き回路１２１がなく、ローカルデコード部１２２に代えてローカルデコード部４２が設けられている他は、図２８の画像符号化装置と基本的に同様に構成されている。
【０１５８】
ローカルデコード部４２は、予測タップ生成回路４２Ａおよびクラス分類適応処理回路４２Ｂから構成され、そこには、補正部４１からＳＤ画像が供給されるようになされている。予測タップ生成回路４２Ａは、補正部４１から供給されるＳＤ画像のＳＤ画素のＬＳＢ側に配置されているタップパターンコードに対応して予測タップを形成（生成）し、クラス分類適応処理回路４２Ｂに供給するようになされている。クラス分類適応処理回路４２Ｂには、予測タップの他、クラス分類用のＳＤ画素、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが供給されるようになされている。クラス分類適応処理回路４２Ｂは、予測タップを構成する注目画素を、図１５で説明したようにして、クラス分類用のＳＤ画素を用いてクラス分類し、そのクラスに対応した予測係数ｗのセットと、予測タップとから、式（１）に示した線形１次式を演算することにより、図６に点線で囲んで示した、注目画素となっているＳＤ画素を中心とする３×３のＨＤ画素の画素値の予測値を求めるようになされている。この予測値は、誤差算出部４３に供給されるようになされている。
【０１５９】
ここで、図１７は、図１６のクラス分類適応処理回路４２Ｂの構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してある。即ち、クラス分類適応処理回路４２Ｂは、図１２に示したクラス分類適応処理回路３３を構成する１つのクラス分類適応処理回路（予測係数、予測値算出）の一部と同一に構成されており、その説明は省略する。
【０１６０】
次に、図１８のフローチャートを参照して、その動作について説明する。
【０１６１】
最適化部２３は、ＳＤ画像を受信すると、そのＳＤ画像を構成するＳＤ画素のうちの１つを注目画素とし、ステップＳ３１において、注目画素の画素値を補正する補正量を表す変数△を、例えば０に初期化する。また、ステップＳ３１では、補正量を変化させる変化量（以下、適宜、オフセット量という）を表す変数Ｓに、初期値としての、例えば４または１がセットされる。
【０１６２】
即ち、輝度信号については、上述したように、そのＬＳＢ側の２ビットがタップパターンコードであり、画素値を構成するものではないため、オフセット量Ｓには、４（＝２2）がセットされる。また、色差信号については、そのようなことはなく、すべてのビットが画素値を構成するため、オフセット量Ｓには、１（＝２0）がセットされる。
【０１６３】
さらに、ステップＳ３１では、注目画素の補正の回数をカウントする変数ｉに、初期値としての−１がセットされ、ステップＳ３２に進む。ステップＳ３２では、回数ｉが１だけインクリメントされ、ステップＳ３３に進み、注目画素の画素値を補正量△だけ補正した補正値を用いて適応処理を行った場合に、その補正により影響を受けるＨＤ画素の予測値の予測誤差Ｅが算出される。
【０１６４】
即ち、この場合、補正部４１は、注目画素の画素値に、例えば、補正量△を加算し、その加算値を、注目画素の画素値として、ローカルデコード部４２に出力する。ここで、注目画素について、最初にステップＳ３３の処理が施される場合、即ち、回数ｉ＝０の場合、補正量△は、ステップＳ３１でセットされた初期値である０のままであるから、補正部４１からは、注目画素の画素値がそのまま出力される。
【０１６５】
ローカルデコード部４２では、予測タップ生成回路４２Ａにおいて、注目画素の画素値のＬＳＢ側の２ビットに配置されているタップパターンコードに対応して、予測タップが形成され、クラス分類適応処理回路４２Ｂに出力される。クラス分類適応処理回路４２Ｂでは、まず、注目画素が、図５のクラス分類適応処理回路３３における場合と同様にクラス分類される。さらに、クラス分類適応処理回路４２Ｂでは、そのクラスに対応する予測係数と、予測タップ生成回路４２Ａからの予測タップとから、式（１）に示した線形１次式を演算することにより、ＨＤ画素の画素値の予測値が求められる。
【０１６６】
即ち、クラス分類適応処理回路４２Ｂでは、クラス分類回路９１（図１７）において、予測タップ生成回路４２Ａからの予測タップを構成するＳＤ画素から、図１５で説明したようなクラスタップが構成され、クラス分類が行われる。このクラス分類回路９１におけるクラス分類の結果得られるクラスは、係数ＲＡＭ９４（図１７）に供給される。
【０１６７】
係数ＲＡＭ９４（図１７）は、スイッチ２５を介して供給される４パターンの予測タップそれぞれについてのクラス毎の予測係数のセットを記憶しており、クラス分類回路９１からのクラスに対応する予測係数のセットであって、注目画素に付加されているタップパターンコードに対応する予測タップについての予測係数のセットを読み出す。この予測係数のセットは、予測演算回路９５（図１７）に供給される。
【０１６８】
予測演算回路９５では、係数ＲＡＭ９４からの予測係数のセットと、予測タップ生成回路４２Ａから供給される予測タップとを用いて、式（１）の線形１次式が演算されることにより、ＨＤ画素の予測値が求められる。
【０１６９】
また、クラス分類適応処理回路４２Ｂでは、注目画素の画素値を補正量△だけ補正した場合に、その補正により影響を受けるＨＤ画素についても、同様にして、予測値が求められる。
【０１７０】
即ち、例えば、いま、図１９に示すように、ＳＤ画素Ａを注目画素として補正したとする。本実施の形態では、予測タップの範囲が最も広いのは、図１０に示したように、７×５のＳＤ画素で予測タップが構成される場合で、このように、７×５のＳＤ画素で予測タップが構成される場合に、その予測タップにＳＤ画素Ａが含まれるケースであって、ＳＤ画素Ａから最も離れたＳＤ画素が注目画素とされるのは、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×５画素の予測タップが構成されるケースである。そして、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×５画素の予測タップが構成された場合、本実施の形態では、同図に実線で囲んで示す範囲ｂ，ｃ，ｄ，ｅの中の３×３のＨＤ画素の予測値がそれぞれ求められる。従って、ＳＤ画素Ａを注目画素として、その画素値を補正した場合に、その補正により影響を受けるのは、最悪のケースで、範囲ｂ，ｃ，ｄ，ｅを含む最小の長方形である、図１９において点線で示す範囲内の２１×１５のＨＤ画素の予測値ということになる。
【０１７１】
従って、本実施の形態では、クラス分類適応処理回路４２Ｂにおいて、このような２１×１５のＨＤ画素の予測値が求められる。
【０１７２】
クラス分類適応処理回路４２Ｂで求められたＨＤ画素の予測値は、誤差算出部４３に供給される。誤差算出部４３では、クラス分類適応処理回路４２ＢからのＨＤ画素の予測値から、対応するＨＤ画素の真の画素値が減算され、その減算値である予測誤差の、例えば自乗和が求められる。そして、この自乗和が、誤差情報Ｅとして、制御部４４に供給される。
【０１７３】
制御部４４は、誤差算出部４３から誤差情報を受信すると、ステップＳ３４において、回数ｉが０であるかどうかを判定する。ステップＳ３４において、回数ｉが０であると判定された場合、即ち、制御部４４が受信した誤差情報Ｅが、注目画素の補正を行わずに得られたものである場合、ステップＳ３５に進み、注目画素の補正を行わずに得られた誤差情報（未補正時の誤差情報）を記憶する変数Ｅ0に、誤差情報Ｅがセットされ、また、前回得られた誤差情報を記憶する変数Ｅ’にも、誤差情報Ｅがセットされる。さらに、ステップＳ３５では、補正量△が、オフセット量Ｓだけインクリメントされ、制御部４４は、それにより得られた補正量△だけ、注目画素の画素値を補正するように、補正部４１を制御する。その後は、ステップＳ３２に戻り、以下、同様の処理を繰り返す。
【０１７４】
この場合、ステップＳ３２において、回数ｉは１だけインクリメントされて１となるから、ステップＳ３４では、回数ｉが０でないと判定され、ステップＳ３６に進む。ステップＳ３６では、回数ｉが１であるかどうかが判定される。この場合、回数ｉは１となっているから、ステップＳ３６では、回数ｉは１であると判定され、ステップＳ３７に進み、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であるかどうかが判定される。ステップＳ３７において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’（ここでは、補正をしてない場合の誤差情報）より増加した場合、ステップＳ３８に進み、制御部４４は、オフセット量Ｓに、−１を乗算したものを、新たなオフセット量Ｓとし、さらに、補正量△をオフセット量Ｓの２倍だけインクリメントし、ステップＳ３２に戻る。
【０１７５】
即ち、注目画素の画素値を、補正量△（この場合、△＝Ｓ）だけ補正することにより、補正しなかったときよりも誤差が増加した場合には、オフセット量Ｓの符号が反転される（本実施の形態では、ステップＳ３１において正の値がオフセット量Ｓにセットされているので、ステップＳ３８では、オフセット量Ｓの符号は、正から負にされる）。さらに、前回はＳであった補正量△が、−Ｓにされる。
【０１７６】
また、ステップＳ３７において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅが、前回の誤差情報Ｅ’より減少した場合（または前回の誤差情報Ｅ’と同じである場合）、ステップＳ３９に進み、制御部４４は、補正量△をオフセット量Ｓだけインクリメントするとともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅをセットすることにより更新して、ステップＳ３２に戻る。
【０１７７】
この場合、ステップＳ３２において、回数ｉは、さらに１だけインクリメントされて２となるから、ステップＳ３４またはＳ３６では、回数ｉが０または１でないとそれぞれ判定され、その結果、ステップＳ３６からＳ４０に進む。ステップＳ４０では、回数ｉが２であるかどうかが判定される。いま、回数ｉは２となっているから、ステップＳ４０では、回数ｉは２であると判定され、ステップＳ４１に進み、未補正時の誤差情報Ｅ0が今回の誤差情報Ｅ以下であり、かつオフセット量Ｓが負であるかどうかが判定される。
【０１７８】
ステップＳ４０において、未補正時の誤差情報Ｅ0が今回の誤差情報Ｅ以下であり、かつオフセット量Ｓが負であると判定された場合、即ち、注目画素を＋Ｓだけ補正しても、また、−Ｓだけ補正しても、補正しないときより誤差が増加する場合、ステップＳ４２に進み、補正量△が０とされ、ステップＳ４７に進む。
【０１７９】
また、ステップＳ４０において、未補正時の誤差情報Ｅ0が今回の誤差情報Ｅ以下でないか、またはオフセット量Ｓが負でないと判定された場合、ステップＳ４４に進み、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であるかどうかが判定される。ステップＳ４４において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅが、前回の誤差情報Ｅ’より減少した場合、ステップＳ４５に進み、制御部４４は、補正量△をオフセット量Ｓだけインクリメントするとともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅをセットすることにより更新して、ステップＳ３２に戻る。
【０１８０】
この場合、ステップＳ３２において、回数ｉは、さらに１だけインクリメントされて３となるから、以下では、ステップＳ３４，Ｓ３６、またはＳ４０では、回数ｉが０，１、または２でないとそれぞれ判定され、その結果、ステップＳ４０からＳ４４に進む。従って、ステップＳ４４において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定されるまで、ステップＳ３２乃至Ｓ３４、Ｓ３６，Ｓ４０，Ｓ４４，Ｓ４５のループ処理が繰り返される。
【０１８１】
そして、ステップＳ４４において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’より増加した場合、ステップＳ４６に進み、制御部４４は、補正量△をオフセット量Ｓだけデクリメットし、ステップＳ４７に進む。即ち、この場合、補正量△は、誤差が増加する前の値とされる。
【０１８２】
ステップＳ４７では、制御部４４は、補正部４１を制御することにより、ステップＳ４２またはＳ４６で得られた補正量△だけ注目画素の画素値を補正させ、これにより、注目画素の画素値は、適応処理により予測値を得るのに、予測誤差が最小となるような最適なものに補正される。
【０１８３】
そして、ステップＳ４８に進み、すべてのＳＤ画素を注目画素として処理を行ったかどうかが判定される。ステップＳ４８において、すべてのＳＤ画素を注目画素として、まだ処理を行っていないと判定された場合、ステップＳ３１に戻り、まだ、注目画素とされていないＳＤ画素を新たな注目画素として、同様の処理を繰り返す。また、ステップＳ４８において、すべてのＳＤ画素を注目画素として処理を行ったと判定された場合、処理を終了する。
【０１８４】
以上のようにして、ＳＤ画像の画素値は、ＨＤ画像の予測値を求めるのに、最適なものに最適化される。
【０１８５】
次に、図２０は、図３の適応処理部２４の構成例を示している。
【０１８６】
予測タップ生成回路５１には、最適化部２３からの最適ＳＤ画像が供給されるようになされており、そこでは、図１６の予測タップ生成回路４２Ａにおける場合と同様に、その画素値のＬＳＢ側の２ビットに配置されているタップパターンコードが検出され、そのタップパターンコードにしたがって、予測タップが構成され、クラス分類適応処理回路５２に供給されるようになされている。
【０１８７】
クラス分類適応処理回路５２には、予測タップの他、クラス分類に使用される最適ＳＤ画像及び元のＨＤ画像も供給されるようになされており、そこでは、予測タップを構成する注目画素のクラス分類が、例えば、図１５で説明した場合と同様にして行われ、さらに、その結果得られる各クラスについて、予測タップとＨＤ画像を用いて式（７）に示した正規方程式がたてられるようになされている。そして、クラス分類適応処理回路５２は、そのクラスごとの正規方程式を解くことにより新たな４パターンの予測タップのそれぞれについての予測係数ｗのセットを求めて出力するようになされている。
【０１８８】
次に、その動作について、図２１のフローチャートを参照して説明する。予測タップ生成回路５１は、最適ＳＤ画像を受信すると、ステップＳ５１において、その最適ＳＤ画素を構成する各ＳＤ画素に付加されているタップパターンコードを検出（抽出）し、ステップＳ５２に進み、その抽出したタップパターンコードに基づいて、予測タップを形成する。そして、予測タップ生成回路５１は、形成した予測タップを、クラス分類適応処理回路５２に出力する。クラス分類適応処理回路５２は、ステップＳ５３において、予測タップを構成する注目画素のクラス分類を行い、その結果得られる各クラスについて、予測タップとＨＤ画像を用いて正規方程式をたてて解くことにより予測係数ｗを求めて出力し、処理を終了する。
【０１８９】
これにより、適応処理部２４では、最適ＳＤ画像から、元のＨＤ画像を得るのに、予測誤差を最も小さくする４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが求められる。この４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、上述したように、最適化部２３と予測タップパターン判定部２６に供給され、適応処理（式（１）に示す線形１次式の計算）に用いられる。
【０１９０】
なお、図２０の実施の形態では、予測タップ生成回路５１において、画素値のＬＳＢ側の２ビットに配置されているタップパターンコードを検出し、そのタップパターンコードに従って予測タップを構成するようにしたが、予測タップ生成回路５１は、図５の前処理部２１の予測タップ生成回路３２と同様に構成することも可能である。つまり、予測タップ生成回路５１には、４パターンの予測タップすべてを構成させ、クラス分類適応処理回路５２に供給させることができる。この場合、クラス分類適応処理回路５２は、４パターンの予測タップのそれぞれに対応する４つの予測係数を算出するためのクラス分類適応処理回路（輝度信号用）で構成することができ、このクラス分類適応処理回路のそれぞれは、図１１で示される、クラス分類適応処理回路（予測係数、予測値算出）を構成する一部と同様に構成することができる。
【０１９１】
そして、その場合、各クラス分類適応処理回路には、ＨＤ画像を構成する各ＨＤ画素に対して対応する各パターンの予測タップが供給され、その予測タップを構成する最適ＳＤ画素を用いてクラスタップが形成されて、それぞれクラス分類が行われる。さらに、各クラス分類適応処理回路において、１フレームのＨＤ画素と、そのＨＤ画素に対する予測タップとが、それぞれ教師データメモリ８６と予測タップメモリ８５とにクラス毎に記憶される。その後、各クラス分類適応処理回路のそれぞれにおいて、図２７の学習装置における場合と同様にして、４パターンの予測タップについての新たなクラス毎の予測係数のセットが生成される。
【０１９２】
次に、図２２は、図３の予測タップパターン判定部２６の構成例を示している。
【０１９３】
予測タップパターン判定部２６は、同図に示すように、予測タップ生成回路６１、クラス分類適応処理回路６２、予測誤差算出回路６３、およびタップパターンコード変更回路６４から構成されており、これらの予測タップ生成回路６１、クラス分類適応処理回路６２、予測誤差算出回路６３、またはタップパターンコード変更回路６４は、図５における前処理部２１の予測タップ生成回路３２、クラス分類適応処理回路３３、予測誤差算出回路３４、またはタップパターンコード付加回路３６と基本的に同様に構成されている。
【０１９４】
次に、図２３のフローチャートを参照して、その動作について説明する。
【０１９５】
予測タップパターン判定部２６には、最適ＳＤ画像、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセット、ＨＤ画像が供給されるようになされており、最適ＳＤ画像は、予測タップ生成回路６１とタップパターンコード変更回路６４に供給され、また、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットまたはＨＤ画像は、クラス分類適応処理回路６２または予測誤差算出回路６３にそれぞれ供給されるようになされている。
【０１９６】
予測タップ生成回路６１は、最適ＳＤ画像を受信すると、ステップＳ６１において、図５の予測タップ生成回路３２と同様に、そのうちの１つを注目画素とし、その注目画素について、図７乃至図１０に示した４パターンの予測タップを形成する。そして、この４パターンの予測タップは、クラス分類適応処理回路６２に出力される。
【０１９７】
クラス分類適応処理回路６２は、注目画素を対象に形成された４パターンの予測タップを受信すると、ステップＳ６２において、その４パターンの予測タップそれぞれと、対応するクラス毎の予測係数ｗのセットそれぞれとを用いて、式（１）で表される線形１次式を計算し、これにより、４パターンの予測タップそれぞれから得られるＨＤ画像の９画素の予測値を求め、予測誤差算出回路６３に出力される。
【０１９８】
予測誤差算出回路６３では、ステップＳ６３またはＳ６４において、図５の予測誤差算出回路３４が行う図１３のステップＳ１５またはＳ１６における場合とそれぞれ同様の処理が行われ、これにより、４パターンの予測タップのうち、予測誤差を最小にするもののタップパターンコードが、タップパターンコード変更回路６４に出力される。
【０１９９】
タップパターンコード変更回路６４では、ステップＳ６５において、注目画素（最適ＳＤ画像のＳＤ画素）のＬＳＢ側の２ビットに付加されているタップパターンコードが、予測誤差算出回路６３から供給されるタップパターンコードに変更され、ステップＳ６６に進む。
【０２００】
ステップＳ６６では、すべてのＳＤ画素を注目画素として処理が行われたかどうかが判定され、まだ、すべてのＳＤ画素を注目画素としていないと判定された場合、ステップＳ６１に戻り、また注目画素とされていないＳＤ画素を新たに注目画素として、同様の処理を繰り返す。一方、ステップＳ６６において、すべてのＳＤ画素を注目画素として処理を行ったと判定された場合、処理を終了する。
【０２０１】
予測タップパターン判定部２６では、以上のように、適応処理部２４で得られた４パターンの予測タップのそれぞれについての予測係数ｗのセットを用いて、タップパターンコードが、より予測誤差が小さくなる予測タップに対応するものに変更される。
【０２０２】
次に、図２４は、図１の受信装置４の構成例を示している。
【０２０３】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データが、ＳＤ画像の画像データと４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットに分離され、ＳＤ画像の画像データは、予測タップ生成回路７３に供給され、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、クラス分類適応処理回路７４に供給される。
【０２０４】
予測タップ生成回路７３またはクラス分類適応処理回路７４は、図１６に示した最適化部２３のローカルデコード部４２を構成する予測タップ生成回路４２Ａまたはクラス分類適応処理回路４２Ｂ（図１７）とそれぞれ同様に構成されている。従って、ローカルデコード部４２における場合と同様にして、ＨＤ画像の予測値が求められ、これが復号画像として出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０２０５】
なお、受信側においては、図２４に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０２０６】
以上のように、ＨＤ画像を圧縮することにより得られるＳＤ画像を構成する画素のうちの１つを注目画素として、その注目画素に対して、複数パターンの予測タップを形成し、予測タップと予測係数との線形結合により、ＨＤ画像の予測値を求める適応処理を行い、複数パターンの予測タップそれぞれから得られる予測値の予測誤差を算出し、複数パターンの予測タップのうち、最小の予測誤差が得られるものに対応するタップパターンコードを、注目画素の画素値に付加するようにしたので、画像の局所的な特性に対応した予測タップを用いて適応処理が行われ、その結果、より画質の良い復号画像を得ることが可能となる。
【０２０７】
また、２ビットのタップパターンコードを、画素値のＬＳＢ側の２ビットに代えて配置するようにしたので、データ量の増加を防止することが可能となる。なお、タップパターンコードは、画素値のＬＳＢ側に配置されるので、それほど大きな画質の劣化はない。
【０２０８】
さらに、最適化部２３において、誤差を最小にする予測タップを用いて適応処理を行うことにより、ＳＤ画像を最適化するようにしたので、元のＨＤ画像をほぼ同一の復号画像を得ることが可能となる。
【０２０９】
また、適応処理部２４において、最適ＳＤ画像を用いて適応処理を行い、複数パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットを、いわば、より適切なものに更新（修正）し、予測タップパターン判定部２６において、その更新された複数パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットを用いて、予測タップを決め直すようにしたので、さらに画質の向上した復号画像を得ることが可能となる。
【０２１０】
以上、本発明を、ＨＤ画像を符号化／復号する画像処理装置に適用した場合について説明したが、本発明は、その他、ＳＤ画像などの標準解像度の画像その他を符号化／復号する場合にも適用可能である。即ち、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化／復号する場合にも適用可能である。但し、本発明は、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化／復号する場合に、特に有効である。また、本発明は、いわゆる階層符号化を行う場合などにも適用可能である。
【０２１１】
なお、本実施の形態では、輝度信号についてのみ、複数パターンの予測タップを用意し、色差信号については、５×７画素の予測タップだけを用いるようにしたが、色差信号も、輝度信号と同様に処理することが可能である。
【０２１２】
また、本実施の形態においては、タップパターンコードを２ビットとするようにしたが、タップパターンコードは２ビットに限定されるものではない。但し、より少ないビット数であることが望ましい。
【０２１３】
さらに、本実施の形態では、画素値のＬＳＢ側の２ビットに代えて、タップパターンコードを配置するようにしたが、タップパターンコードは、画素値とは別に記録または伝送することも可能である。
【０２１４】
また、本実施の形態では、前処理部２１で前処理し、最適化部２３で最適化した最適ＳＤ画像を用いて、予測係数を更新し、その予測係数を用いて、再度、タップパターンコードを決め直すようにしたが、前処理部２１で前処理し、最適化部２３で最適化した最適ＳＤ画像を、そのまま符号化データとすることも可能である。この場合、復号画像の画質（Ｓ／Ｎ）は、タップパターンコードを決め直す場合に比較して、多少劣化するが、処理の高速化を図ることが可能となる。
【０２１５】
さらに、本実施の形態では、３×３，５×３，３×５，７×５画素の４パターンの予測タップを用いるようにしたが、これ以外の、例えば、１×５や５×１画素などの予測タップを用いるようにすることも可能である。また、予測タップのパターンも４種類に限定されるものではない。
【０２１６】
さらに、本実施の形態では特に言及しなかったが、画素値に、タップパターンコードを付加した後は、そのタップパターンコードが付加されたＬＳＢ側の２ビットを所定値にしたものを画素値として処理しても良いし、また、タップパターンコードも含めて画素値とし、処理を行うようにしても良い。なお、本件発明者が行った実験によれば、タップパターンコードも含めて画素値とした場合、そのタップパターンコードの部分を所定値としての０とした場合に比較して、Ｓ／Ｎは多少劣化するが、階調が多少向上するという結果が得られている。
【０２１７】
また、図１８においては、注目画素の画素値を、オフセット量Ｓとしての４または１ずつ補正することにより、予測誤差Ｅが最初に極小となる補正量△を検出するようにしたが、その他、例えば、注目画素の画素値がとり得る値すべてについて予測誤差Ｅを求め、その最小値を検出し、その場合の補正量△によって、注目画素の画素値を補正するようにすることも可能である。この場合、処理に時間を要することとなるが、よりＳ／Ｎの高い復号画像を得ることが可能となる。
【０２１８】
さらに、このように注目画素の画素値がとり得る値すべてについて予測誤差Ｅを求める場合には、注目画素の画素値の初期値は、どのような値（但し、注目画素の画素値がとり得る範囲内の値）であっても良い。即ち、この場合、初期値がどのような値であっても、予測誤差Ｅを最小にする補正値△を求めることができる。
【０２１９】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えうる。従って、本発明の要旨は、上述の実施の形態に限定されるものではない。
【０２２０】
【発明の効果】
本発明の画像符号化装置および画像符号化方法によれば、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップが形成され、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号が予測され、複数パターンの予測タップそれぞれに対する予測値が出力される。そして、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差が算出され、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードが、注目画素の画素値の一部と置き換えられることにより注目画素の画素値に付加される。従って、そのパターンコードにしたがって予測タップを形成して復号を行うことで、より画質の向上した復号画像を得ることが可能となる。
【０２２１】
本発明の画像復号装置およびの画像復号方法によれば、符号化データから、圧縮画像信号と予測係数とが分離され、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップが、注目画素の近傍の画素を用いて形成され、その予測タップと、予測係数とから、原画像信号が予測され、その予測値が求められる。従って、より原画像信号に近い予測値を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図２の送信装置１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図３の前処理部２１の構成例を示すブロック図である。
【図６】図５の間引き回路３１の処理を説明するための図である。
【図７】予測タップの構成例を示す図である。
【図８】予測タップの構成例を示す図である。
【図９】予測タップの構成例を示す図である。
【図１０】予測タップの構成例を示す図である。
【図１１】図５のクラス分類適応処理回路３３を構成するクラス分類適応処理回路（予測係数、予測値算出）の一部の構成例を示すブロック図である。
【図１２】図５のクラス分類適応処理回路３３を構成するクラス分類適応処理回路（予測係数、予測値算出）の他の一部の構成例を示すブロック図である。
【図１３】図５の前処理部２１の処理を説明するためのフローチャートである。
【図１４】図１３のステップＳ１１の処理のより詳細を説明するためのフローチャートである。
【図１５】クラス分類を行うためのクラスタップの構成例を示す図である。
【図１６】図３の最適化部２３の構成例を示すブロック図である。
【図１７】図１６のクラス分類適応処理回路４２Ｂ及び図２４のクラス分類適応処理回路７４の構成例を示すブロック図である。
【図１８】図１６の最適化部２３の処理を説明するためのフローチャートである。
【図１９】図１８のステップＳ３３の処理を説明するための図である。
【図２０】図３の適応処理部２４の構成例を示すブロック図である。
【図２１】図２０の適応処理部２４の処理を説明するためのフローチャートである。
【図２２】図３の予測タップパターン判定部２６の構成例を示すブロック図である。
【図２３】図２２の予測タップパターン判定部２６の処理を説明するためのフローチャートである。
【図２４】図１の受信装置４の構成例を示すブロック図である。
【図２５】本件出願人が先に提案した画像変換装置の構成例を示すブロック図である。
【図２６】図２５のクラス分類回路１０１の処理を説明するための図である。
【図２７】本件出願人が先に提案した学習装置の構成例を示すブロック図である。
【図２８】本件出願人が先に提案した画像符号化装置の構成例を示すブロック図である。
【符号の説明】
１  送信装置，  ２  記録媒体，  ３  伝送路，  ４  受信装置，  １１  Ｉ／Ｆ，  １２  ＲＯＭ，  １３  ＲＡＭ，  １４  ＣＰＵ，  １５  外部記憶装置，  １６  送信機／記録装置，  ２１  前処理部，  ２２  スイッチ，  ２３最適化部，  ２４  適応処理部，  ２５  スイッチ，  ２６  予測タップパターン判定部，  ３１  間引き回路，  ３２  予測タップ生成回路，  ３３  クラス分類適応処理回路，  ３４  予測誤差算出回路，  ３５  メモリ，  ３６  タップパターンコード付加回路，  ４１  補正部，  ４２  ローカルデコード部，４２Ａ  予測タップ生成回路，  ４２Ｂ  クラス分類適応処理回路，  ４３  誤差算出部，  ４４  制御部，  ５１  予測タップ生成回路，  ５２  クラス分類適応処理回路，  ６１  予測タップ生成回路，  ６２  クラス分類適応処理回路，  ６３  予測誤差算出回路，  ６４  タップパターンコード変更回路，  ７１  受信機／再生装置，  ７２  分離部，  ７３  予測タップ生成回路，  ７４クラス分類適応処理回路，  ８２  クラス分類回路，  ８４  遅延回路，  ８５  予測タップメモリ，  ８６  教師データメモリ，  ８７  演算回路，  ８８遅延回路，  ９１  クラス分類回路，  ９４  係数ＲＡＭ，  ９５  予測演算回路
【図１】
0003844031.tif 000016
【図２】
0003844031.tif 000017
【図３】
0003844031.tif 000018
【図４】
0003844031.tif 000019
【図５】
0003844031.tif 000020
【図６】
0003844031.tif 000021
【図７】
0003844031.tif 000022
【図８】
0003844031.tif 000023
【図９】
0003844031.tif 000024
【図１０】
0003844031.tif 000025
【図１１】
0003844031.tif 000026
【図１２】
0003844031.tif 000027
【図１３】
0003844031.tif 000028
【図１４】
0003844031.tif 000029
【図１５】
0003844031.tif 000030
【図１６】
0003844031.tif 000031
【図１７】
0003844031.tif 000032
【図１８】
0003844031.tif 000033
【図１９】
0003844031.tif 000034
【図２０】
0003844031.tif 000035
【図２１】
0003844031.tif 000036
【図２２】
0003844031.tif 000037
【図２３】
0003844031.tif 000038
【図２４】
0003844031.tif 000039
【図２５】
0003844031.tif 000040
【図２６】
0003844031.tif 000041
【図２７】
0003844031.tif 000042
【図２８】
0003844031.tif 000043