(57)【要約】【課題】より高画質の画像を生成することができる。【解決手段】水平予測タップ抽出部10061、垂直予測タップ抽出部10065それぞれは、MPEG復号画像から予測タップを抽出する。水平クラスタップ抽出部10062、垂直クラスタップ抽出部10066それぞれは、MPEG復号画像からクラスタップを抽出する。また、水平クラス分類部10063、垂直クラス分類部10067それぞれは、水平クラスタップ抽出部10062、垂直クラスタップ抽出部10066それぞれから抽出された予測タップを、クラス分類する。さらに、水平係数記憶部10064、垂直係数記憶部10068それぞれは、水平クラス分類部10063、垂直クラス分類部10067それぞれによるクラス分類の結果に基づいて、係数を出力する。予測演算部10069は、予測タップと、出力された係数とを用いて、ノイズ除去画像の画素を予測する。本発明は、例えば、テレビジョン受像機に適用することができる。【選択図】図４７
2008199437.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データを第２の画像データに変換する画像処理装置において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出手段と、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力手段と、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算手段と
を備え、
前記クラス分類手段は、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成手段と、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
画像処理装置。
【請求項２】
前記第１の画像データは、所定の画像データを、所定のブロックごとに２次元DCT（Discrete Cosine Transform）変換して得られる符号化データを復号することで得られた画像データである
請求項１に記載の画像処理装置。
【請求項３】
前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに備え、
前記予測タップ抽出手段は、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出する
請求項２に記載の画像処理装置。
【請求項４】
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出する
請求項２に記載の画像処理装置。
【請求項５】
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出する
請求項４に記載の画像処理装置。
【請求項６】
前記所定の演算に用いられる閾値を、前記第１の画像データの画素を用いて算出する閾値算出手段をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う
請求項１に記載の画像処理装置。
【請求項７】
前記閾値算出手段は、前記閾値を、前記注目画素を含むブロックの画素を用いて算出する
請求項６に記載の画像処理装置。
【請求項８】
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに備え、
前記係数出力手段は、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数すべてを、複数の前記予測タップそれぞれに対して出力し、
前記予測演算手段は、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数のうちの、前記画素位置モードに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める
請求項１に記載の画像処理装置。
【請求項９】
前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項８に記載の画像処理装置。
【請求項１０】
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに備え、
前記予測演算は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める
請求項９に記載の画像処理装置。
【請求項１１】
第１の画像データを第２の画像データに変換する画像処理方法において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップと
を含み、
前記クラス分類ステップは、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップと、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
画像処理方法。
【請求項１２】
第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップと
を含み、
前記クラス分類ステップは、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップと、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
画像処理をコンピュータに実行させるプログラム。
【請求項１３】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習手段と、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数を求める第２乃至第Ｍの学習手段と
を備え、
前記第１乃至第Ｍの学習手段のうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習手段は、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する演算手段と
を有し、
前記クラス分類手段は、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成手段と、
前記第１乃至第Ｍの学習手段のうちの、前記第ｍの学習手段以外の学習手段が有する前記予測タップ抽出手段により抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
学習装置。
【請求項１４】
前記生徒画像は、所定の画像データを、所定のブロックごとに２次元DCT変換して得られる符号化データを復号することで得られた画像データである
請求項１３に記載の学習装置。
【請求項１５】
前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに備え、
前記予測タップ抽出手段は、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出する
請求項１４に記載の学習装置。
【請求項１６】
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出する
請求項１４に記載の学習装置。
【請求項１７】
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出する
請求項１６に記載の学習装置。
【請求項１８】
前記所定の演算に用いられる閾値を、前記生徒画像の画素を用いて算出する閾値算出手段をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う
請求項１３に記載の学習装置。
【請求項１９】
前記閾値算出手段は、前記閾値を、前記注目画素を含むブロックの画素を用いて算出する
請求項１８に記載の学習装置。
【請求項２０】
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する
請求項１４に記載の学習装置。
【請求項２１】
前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項２０に記載の学習装置。
【請求項２２】
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記注目画素が位置する領域に対応した前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する
請求項２１に記載の学習装置。
【請求項２３】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法において、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数を求める第２乃至第Ｍの学習ステップと
を含み、
前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する演算ステップと
を有し、
前記クラス分類ステップは、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップと、
前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
学習方法。
【請求項２４】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数を求める第２乃至第Ｍの学習ステップと
を含み、
前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する演算ステップと
を有し、
前記クラス分類ステップは、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップと、
前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
学習処理をコンピュータに実行させるプログラム。
【請求項２５】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数を演算する演算手段と
を有する第１乃至第Ｍの学習手段
を備え、
前記第１乃至第Ｍの学習手段のうちの、第ｍの学習手段の前記クラス分類手段は、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成手段と、
前記第１乃至第Ｍの学習手段のうちの、前記第ｍの学習手段以外の学習手段が有する前記予測タップ抽出手段により抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとし、
前記第１乃至第Ｍの学習手段のうちの、第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
学習装置。
【請求項２６】
前記生徒画像は、所定の画像データを、所定のブロックごとに２次元DCT変換して得られる符号化データを復号することで得られた画像データである
請求項２５に記載の学習装置。
【請求項２７】
前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに備え、
前記予測タップ抽出手段は、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出する
請求項２６に記載の学習装置。
【請求項２８】
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出する
請求項２６に記載の学習装置。
【請求項２９】
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出する
請求項２８に記載の学習装置。
【請求項３０】
前記所定の演算に用いられる閾値を、前記生徒画像の画素を用いて算出する閾値算出手段をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う
請求項２５に記載の学習装置。
【請求項３１】
前記閾値算出手段は、前記閾値を、前記注目画素を含むブロックの画素を用いて算出する
請求項３０に記載の学習装置。
【請求項３２】
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する
請求項２５に記載の学習装置。
【請求項３３】
前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項３２に記載の学習装置。
【請求項３４】
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記注目画素が位置する領域に対応した前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する
請求項３３に記載の学習装置。
【請求項３５】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法において、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数を演算する演算ステップと
を有する第１乃至第Ｍの学習ステップ
を含み、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップの前記クラス分類ステップは、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップと、
前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとし、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
学習方法。
【請求項３６】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数を演算する演算ステップと
を有する第１乃至第Ｍの学習ステップ
を含み、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップの前記クラス分類ステップは、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップと、
前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとし、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
学習処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関し、特に、例えば、より高画質の画像を生成することができるようにした画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関する。
【背景技術】
【０００２】
本出願人は、例えば、歪みその他のノイズを含むノイズ画像を、そのノイズ画像に含まれるノイズを除去したノイズ除去画像に変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
【０００３】
クラス分類適応処理では、例えば、ノイズ画像の複数の画素を予測タップとして、その予測タップの画素値と、教師画像および生徒画像を用いた学習により、あらかじめ求めておいた係数を用いた所定の予測演算により、ノイズ画像からノイズ除去画像が予測される。
【０００４】
即ち、クラス分類適応処理では、予測タップを、複数のクラスのうちのいずれかのクラスにクラス分類し、そのクラスに応じた係数と、予測タップとを用いて予測演算が行われることにより、ノイズ画像からノイズ除去画像が予測される。
【特許文献１】特開２００３−３２４７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、複数の予測タップそれぞれの画素値と、教師画像および生徒画像を用いた学習により、あらかじめ求めておいた係数を用いて、所定の予測演算を行う場合には、ノイズ画像に含まれるノイズを、より効率的に除去することができるように、複数の予測タップのうちの、所定の予測タップに含まれるノイズなどの状態を考慮しつつ、他の予測タップをクラス分類することが望ましい。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、複数の予測タップそれぞれに含まれるノイズなどの状態を考慮することで、より高画質の画像を予測することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の側面の画像処理装置は、第１の画像データを第２の画像データに変換する画像処理装置において、前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出手段と、複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力手段と、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算手段とを備え、前記クラス分類手段は、注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成手段と、注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段とを有し、前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【０００８】
前記第１の画像データは、所定の画像データを、所定のブロックごとに２次元DCT（Discrete Cosine Transform）変換して得られる符号化データを復号することで得られた画像データとすることができる。
【０００９】
前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに設けることができ、前記予測タップ抽出手段では、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出することができる。
【００１０】
前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出することができる。
【００１１】
前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出することができる。
【００１２】
前記所定の演算に用いられる閾値を、前記第１の画像データの画素を用いて算出する閾値算出手段をさらに設けることができ、前記第１および第２のサブコード生成手段では、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行うことができる。
【００１３】
前記閾値算出手段では、前記閾値を、前記注目画素を含むブロックの画素を用いて算出することができる。
【００１４】
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに設けることができ、前記係数出力手段では、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数すべてを、複数の前記予測タップそれぞれに対して出力し、前記予測演算手段では、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数のうちの、前記画素位置モードに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求めることができる。
【００１５】
前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
【００１６】
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに設けることができ、前記予測演算では、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求めることができる。
【００１７】
本発明の第１の側面の画像処理方法、またはプログラムは、第１の画像データを第２の画像データに変換する画像処理方法、または第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップとを含み、前記クラス分類ステップは、注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップと、注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップとを有し、前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【００１８】
本発明の第１の側面においては、前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップが、前記第１の画像データから複数抽出され、複数の前記予測タップそれぞれが、複数のクラスのうちのいずれかのクラスにクラス分けされる。また、クラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップが、前記第１の画像データから抽出され、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数が、複数の前記予測タップそれぞれに対して出力されるとともに、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素が求められる。さらに、前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けする場合において、注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードが生成され、注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードが生成され、前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードが生成される。そして、生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスが、所定の前記予測タップのクラスとされる。
【００１９】
本発明の第２の側面の学習装置は、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習手段と、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数を求める第２乃至第Ｍの学習手段とを備え、前記第１乃至第Ｍの学習手段のうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習手段は、前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する演算手段とを有し、前記クラス分類手段は、所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成手段と、前記第１乃至第Ｍの学習手段のうちの、前記第ｍの学習手段以外の学習手段が有する前記予測タップ抽出手段により抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段とを有し、前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【００２０】
前記生徒画像は、所定の画像データを、所定のブロックごとに２次元DCT変換して得られる符号化データを復号することで得られた画像データとすることができる。
【００２１】
前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに設けることができ、前記予測タップ抽出手段では、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出することができる。
【００２２】
前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出することができる。
【００２３】
前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出することができる。
【００２４】
前記所定の演算に用いられる閾値を、前記生徒画像の画素を用いて算出する閾値算出手段をさらに設けることができ、前記第１および第２のサブコード生成手段では、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行うことができる。
【００２５】
前記閾値算出手段では、前記閾値を、前記注目画素を含むブロックの画素を用いて算出することができる。
【００２６】
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに設けることができ、前記演算手段では、前記予測タップのクラスと前記画素位置モードのセットごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算することができる。
【００２７】
前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
【００２８】
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに設けることができ、前記演算手段では、前記予測タップのクラスと前記画素位置モードのセットごとに、前記注目画素が位置する領域に対応した前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算することができる。
【００２９】
本発明の第２の側面の学習方法、またはプログラムは、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法、または第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数を求める第２乃至第Ｍの学習ステップとを含み、前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する演算ステップとを有し、前記クラス分類ステップは、所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップと、前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップとを有し、前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【００３０】
本発明の第２の側面においては、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数が求められ、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数が求められる。また、前記学習では、前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップが、前記生徒画像から抽出され、前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けされ、クラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップが、前記第１の画像データから抽出される。さらに、前記学習では、クラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数が演算され、前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けする場合において、所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードが生成され、他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードが生成されて、前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードが生成される。そして、生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスが、所定の前記予測タップのクラスとされる。
【００３１】
本発明の第３の側面の学習装置は、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数を演算する演算手段とを有する第１乃至第Ｍの学習手段を備え、前記第１乃至第Ｍの学習手段のうちの、第ｍの学習手段の前記クラス分類手段は、所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成手段と、前記第１乃至第Ｍの学習手段のうちの、前記第ｍの学習手段以外の学習手段が有する前記予測タップ抽出手段により抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段とを有し、前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとし、前記第１乃至第Ｍの学習手段のうちの、第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する。
【００３２】
前記生徒画像は、所定の画像データを、所定のブロックごとに２次元DCT変換して得られる符号化データを復号することで得られた画像データとすることができる。
【００３３】
前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに設けることができ、前記予測タップ抽出手段では、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出することができる。
【００３４】
前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出することができる。
【００３５】
前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出することができる。
【００３６】
前記所定の演算に用いられる閾値を、前記生徒画像の画素を用いて算出する閾値算出手段をさらに設けることができ、前記第１および第２のサブコード生成手段では、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行うことができる。
【００３７】
前記閾値算出手段では、前記閾値を、前記注目画素を含むブロックの画素を用いて算出することができる。
【００３８】
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに設けることができ、前記演算手段では、前記予測タップのクラスと前記画素位置モードのセットごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算することができる。
【００３９】
前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
【００４０】
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに設けることができ、前記演算手段では、前記予測タップのクラスと前記画素位置モードのセットごとに、前記注目画素が位置する領域に対応した前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算することができる。
【００４１】
本発明の第３の側面の学習方法、またはプログラムは、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法、または第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数を演算する演算ステップとを有する第１乃至第Ｍの学習ステップを含み、前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップの前記クラス分類ステップは、所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップと、前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップとを有し、前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとし、前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する。
【００４２】
本発明の第３の側面においては、前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップが、前記生徒画像から抽出され、前記予測タップが、複数のクラスのうちのいずれかのクラスにクラス分けされ、クラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップが、前記第１の画像データから抽出される。また、クラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数が演算され、前記予測タップが、複数のクラスのうちのいずれかのクラスにクラス分けされる場合において、所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードが生成され、他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードが生成され、前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードが生成される。そして、生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスが、所定の前記予測タップのクラスとされる。さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする学習により、第ｍの係数が学習され、さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数が学習される。
【発明の効果】
【００４３】
本発明の第１の側面によれば、複数の予測タップそれぞれに含まれるノイズなどの状態を考慮することで、より高画質の画像を生成することができる。
【００４４】
また、本発明の第２および第３の側面によれば、複数の予測タップそれぞれに含まれるノイズなどの状態を考慮することで、より高画質の画像を生成するための係数を生成することができる。
【発明を実施するための最良の形態】
【００４５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４６】
本発明の第１の側面の画像処理装置は、
第１の画像データを第２の画像データに変換する画像処理装置（例えば、図４７の画像変換部３１）において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出手段（例えば、図４７の水平予測タップ抽出部10061や垂直予測タップ抽出部10065）と、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段（例えば、図４７の水平クラス分類部10063や垂直クラス分類部10067）と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段（例えば、図４７の水平差分クラスタップ抽出部10062aや垂直差分クラスタップ抽出部10066b）と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力手段（例えば、図４７の水平係数記憶部10064や垂直係数記憶部10068）と、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算手段（例えば、図４７の予測演算部10069）と
を備え、
前記クラス分類手段は、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成手段（例えば、図４９の水平差分クラスコード生成部11015や、図５４の垂直差分クラスコード生成部11035）と、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段（例えば、図４９の垂直差分クラスコード生成部11016や、図５４の水平差分クラスコード生成部11036）により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段（例えば、図４９の垂直差分ゼロクラスコード生成部11017や、図５４の水平差分ゼロクラスコード生成部11037）と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【００４７】
本発明の第１の側面の画像処理装置において、
前記所定の演算に用いられる閾値を、前記第１の画像データの画素を用いて算出する閾値算出手段（例えば、図４９の差分絶対値算出部11011および閾値選択部11014）をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う。
【００４８】
本発明の第１の側面の画像処理装置において、
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段（例えば、図７８のモード判定部20031や20032）をさらに備え、
前記係数出力手段は、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数すべてを、複数の前記予測タップそれぞれに対して出力し、
前記予測演算手段は、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数のうちの、前記画素位置モードに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める。
【００４９】
本発明の第１の側面の画像処理装置において、
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段（例えば、図７８のモード判定部20031や20032）をさらに備え、
前記予測演算は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める。
【００５０】
本発明の第１の側面の画像処理方法、またはプログラムは、
第１の画像データを第２の画像データに変換する画像処理方法、または第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップ（例えば、図５８のステップＳ10061や、図６０のステップＳ10091）と、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップ（例えば、図５８のステップＳ10063や、図６０のステップＳ10093）と、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップ（例えば、図５８のステップＳ10062や、図６０のステップＳ10092）と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップ（例えば、図５８のステップＳ10064や、図６０のステップＳ10094）と、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップ（例えば、図５８のステップＳ10065や、図６０のステップＳ10095）と
を含み、
前記クラス分類ステップは、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップ（例えば、図５９のステップＳ10073や、図６１のステップＳ10113）と、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップ（例えば、図５９のステップＳ10074や、図６１のステップＳ10114）と
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【００５１】
本発明の第２の側面の学習装置は、
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置（例えば、図６７の２段差分学習部10151）において、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習手段（例えば、図６７の水平タップ学習部10161）と、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数を求める第２乃至第Ｍの学習手段（例えば、図６７の垂直タップ差分学習部10163）と
を備え、
前記第１乃至第Ｍの学習手段のうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習手段は、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段（例えば、図６３の予測タップ抽出部10133）と、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段（例えば、図６３のクラス分類部10135）と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段（例えば、図６３の水平差分クラスタップ抽出部10134a）と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する演算手段（例えば、図６３の係数算出部10137）と
を有し、
前記クラス分類手段は、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成手段（例えば、図６４のサブコード生成部10145）と、
前記第１乃至第Ｍの学習手段のうちの、前記第ｍの学習手段以外の学習手段が有する前記予測タップ抽出手段により抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段（例えば、図６４のサブコード生成部10146）により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段（例えば、図６４のサブコード生成部10147）と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【００５２】
本発明の第２の側面の学習装置において、
前記所定の演算に用いられる閾値を、前記生徒画像の画素を用いて算出する閾値算出手段（例えば、図６４の差分絶対値算出部10141および閾値選択部10144）をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う。
【００５３】
本発明の第２の側面の学習装置において、
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段（例えば、図８５のモード判定部20141）をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する。
【００５４】
本発明の第２の側面の学習装置において、
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段（例えば、図８５のモード判定部20141）をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記注目画素が位置する領域に対応した前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する。
【００５５】
本発明の第２の側面の学習方法、またはプログラムは、
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップ（例えば、図６９のステップＳ10171）と、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、第Ｍ’の係数を求める第２乃至第Ｍの学習ステップ（例えば、図６９のステップＳ10173）と
を含み、
前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップ（例えば、図６５の10123）と、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップ（例えば、ステップＳ６５のステップＳ10125）と、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップ（例えば、図６５のステップＳ10124）と、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する演算ステップ（例えば、図６５のステップＳ10129）と
を有し、
前記クラス分類ステップは、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップ（例えば、図６６のステップＳ10143）と、
前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップ（例えば、図６６のステップＳ10144）と
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。
【００５６】
本発明の第３の学習装置は、
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置（例えば、図７１の２段反復学習部10271）において、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段（例えば、図６３の予測タップ抽出部10133）と、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段（例えば、図６３のクラス分類部10135）と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段（例えば、図６３の水平差分クラスタップ抽出部10134a）と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数を演算する演算手段（例えば、図６３の係数算出部10137）と
を有する第１乃至第Ｍの学習手段（例えば、図７１の水平タップ学習部11161や、垂直タップ差分学習部11163、水平タップ差分学習部10285）
を備え、
前記第１乃至第Ｍの学習手段のうちの、第ｍの学習手段の前記クラス分類手段は、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成手段（例えば、図６４のサブコード生成部10145）と、
前記第１乃至第Ｍの学習手段のうちの、前記第ｍの学習手段以外の学習手段が有する前記予測タップ抽出手段により抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段（例えば、図６４のサブコード生成部10146）により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段（例えば、図６４のサブコード生成部10147）と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとし、
前記第１乃至第Ｍの学習手段のうちの、第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する。
【００５７】
本発明の第３の学習装置において、
前記所定の演算に用いられる閾値を、前記生徒画像の画素を用いて算出する閾値算出手段（例えば、図６４の差分絶対値算出部10141および閾値選択部10144）をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う。
【００５８】
本発明の第３の学習装置において、
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段（例えば、図８５のモード判定部20141）をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する。
【００５９】
本発明の第３の学習装置において、
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段（例えば、図８５のモード判定部20141）をさらに備え、
前記演算手段は、前記予測タップのクラスと前記画素位置モードのセットごとに、前記注目画素が位置する領域に対応した前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの係数を演算する。
【００６０】
本発明の第３の学習方法、またはプログラムは、
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数のセットを反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法、または第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップ（例えば、図６５のステップＳ10123）と、
前記予測タップを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップ（例えば、図６５のステップＳ10125）と、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第１のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップ（例えば、図６５のステップＳ10124）と、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の係数を演算する演算ステップ（例えば、図６５のステップＳ10129）と
を有する第１乃至第Ｍの学習ステップ
を含み、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップの前記クラス分類ステップは、
所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第１のサブコード生成ステップ（例えば、図６６のステップＳ10143）と、
前記第１乃至第Ｍの学習ステップのうちの、前記第ｍの学習ステップ以外の学習ステップが有する前記予測タップ抽出ステップにより抽出された他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップ（例えば、図６６のステップＳ10144）と
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとし、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する。
【００６１】
以下、図を参照して、本発明の実施の形態について説明する。
【００６２】
図１は、本発明を適用した画像変換部の一実施の形態の構成例を示すブロック図である。
【００６３】
画像変換部３１は、第１の画像データを第２の画像データに変換する画像変換処理を行う。
【００６４】
ここで、画像変換部３１で行われる画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。
【００６５】
即ち、例えば、第２の画像データを高解像度の画像データとするとともに、第１の画像データを、第２の画像データの解像度を低下させた低解像度の画像データとすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第２の画像データを高Ｓ／Ｎ(Signal/Noise)の画像データとするとともに、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第２の画像データをHD画像データとするとともに、第１の画像データを、第２の画像データの画素数と解像度を小さくしたSD画像データとすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。
【００６６】
以下、第２の画像データを高Ｓ／Ｎの画像データ（以下、適宜、ノイズ除去画像という。）とし、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データ（以下、適宜、ノイズ画像という。）として、図１の画像変換部３１における画像変換処理を説明する。
【００６７】
図２は、図１の画像変換部３１の第１の構成例を示すブロック図である。
【００６８】
画像変換部３１は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および予測演算部６９により構成される。
【００６９】
画像変換部３１には、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が供給される。そして、ノイズ画像は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、および垂直クラスタップ抽出部６６に供給される。
【００７０】
水平予測タップ抽出部６１は、そこに供給されたノイズ画像を構成する画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部６１は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である水平予測タップを、ノイズ画像から抽出する。
【００７１】
即ち、水平予測タップ抽出部６１は、例えば、図２中央に示される水平方向に並ぶ、注目画素を中心とする複数の画素の水平方向のタップ４１を、水平予測タップとして抽出する。ここで、図２では、図２中央に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素が、水平方向のタップ４１として示されている。
【００７２】
水平予測タップ抽出部６１は、ノイズ画像から抽出した水平予測タップを予測演算部６９に供給する。
【００７３】
水平クラスタップ抽出部６２は、水平予測タップ抽出部６１により抽出された水平予測タップを、複数の水平クラスのうちのいずれかの水平クラスにクラス分けする水平クラス分類に用いる複数の画素である水平クラスタップを、供給されてくるノイズ画像から抽出する。
【００７４】
即ち、水平クラスタップ抽出部６２は、例えば、図２中央に示される水平方向に並ぶ、９画素のである水平方向のタップ４１を、水平クラスタップとして抽出する。
【００７５】
なお、ここでは、説明を簡単にするために、水平予測タップと水平クラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、水平予測タップと水平クラスタップとは、異なるタップ構造の複数の画素とすることができる。
【００７６】
水平クラスタップ抽出部６２において得られる、水平予測タップに対応する水平クラスタップは、水平クラス分類部６３に供給される。水平クラス分類部６３は、水平クラスタップ抽出部６２からの水平クラスタップに基づいて水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部６４に出力する。
【００７７】
ここで、水平クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Ra
nge Coding)等を採用することができる。
【００７８】
ADRCを用いる方法では、水平クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られたADRCコードにしたがって、水平予測タップの水平クラスが決定される。
【００７９】
なお、KビットADRCにおいては、例えば、水平クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、水平クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、水平クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、水平クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、水平クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、水平クラスタップが、例えば、１ビットADRC処理された場合には、その水平クラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００８０】
なお、水平クラス分類部６３には、例えば、水平クラスタップを構成する画素の画素値のレベル分布のパターンを、そのまま水平クラスコードとして出力させることも可能である。しかしながら、この場合、水平クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、水平クラス分類部６３が出力する水平クラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００８１】
従って、水平クラス分類部６３においては、水平クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、水平クラス分類を行うのが好ましい。
【００８２】
水平係数記憶部６４は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部６３から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部６３から供給された水平クラスコードが表す水平クラスに対応する水平係数）を、予測演算部６９に出力する。
【００８３】
垂直予測タップ抽出部６５は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である垂直予測タップを、供給されてくるノイズ画像から抽出する。
【００８４】
即ち、垂直予測タップ抽出部６５は、例えば、図２右側に示される垂直方向に並ぶ、注目画素を中心とする複数の画素の垂直方向のタップ４２を、垂直予測タップとして抽出する。ここで、図２では、図２右側に白丸で示す注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、垂直方向に並ぶ９個の画素が垂直方向のタップ４２として示されている。
【００８５】
垂直予測タップ抽出部６５は、ノイズ画像から抽出した垂直予測タップを予測演算部６９に供給する。
【００８６】
垂直クラスタップ抽出部６６は、垂直予測タップ抽出部６５により抽出された垂直予測タップを、複数の垂直クラスのうちのいずれかの垂直クラスにクラス分けする垂直クラス分類に用いる複数の画素（の画素値）である垂直クラスタップを、供給されてくるノイズ画像から抽出する。
【００８７】
即ち、垂直クラスタップ抽出部６６は、例えば、図２右側に示される垂直方向に並ぶ９画素である垂直方向のタップ４２を、垂直クラスタップとして抽出する。
【００８８】
なお、ここでは、説明を簡単にするために、垂直予測タップと垂直クラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、垂直予測タップと垂直クラスタップとは、異なるタップ構造の複数の画素とすることができる。
【００８９】
垂直クラスタップ抽出部６６において得られる、垂直予測タップに対応する垂直クラスタップは、垂直クラス分類部６７に供給される。垂直クラス分類部６７は、垂直クラスタップ抽出部６６からの垂直クラスタップに基づいて垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部６８に出力する。
【００９０】
ここで、垂直クラス分類を行う方法としては、例えば、上述した水平クラス分類部６３で行われる水平クラス分類と同様の方法を採用することができる。
【００９１】
垂直係数記憶部６８は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している垂直係数のセットのうちの、垂直クラス分類部６７から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部６７から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部６９に出力する。
【００９２】
予測演算部６９は、水平予測タップ抽出部６１から供給された水平予測タップ、垂直予測タップ抽出部６５から供給された垂直予測タップ、水平係数記憶部６４から供給された水平係数、および垂直係数記憶部６８から供給された垂直係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
【００９３】
ここで、予測演算部６９で行われる予測演算には、例えば、水平予測タップと水平係数とにより水平処理画像を求める水平予測演算、垂直予測タップと垂直係数とにより垂直処理画像を求める垂直予測演算、水平予測演算により求められた水平処理画像の画素値と垂直予測演算により求められた垂直処理画像の画素値とを加算する加算演算、および加算演算の演算結果のゲインを調整するゲイン調整演算が含まれる。
【００９４】
以下、水平予測演算、垂直予測演算、加算演算、およびゲイン調整演算の順番で説明する。
【００９５】
水平予測タップと水平係数とを用いた水平予測演算として、例えば、線形１次予測演算を採用し、水平処理画像の画素（以下、適宜、水平画素という）の画素値Ｈを求めることとすると、水平画素の画素値Ｈは、次の線形１次式によって求められることになる。
【００９６】
【数１】
2008199437.tif 000003
・・・（１）
【００９７】
但し、式（１）において、ｘnは、注目画素に対応する水平画素（ノイズ画像の注目画素と同一の位置にある水平処理画像の画素）についての水平予測タップを構成する複数の、ノイズ画像の画素（以下、適宜、ノイズ画素という）のうちのｎ番目の画素の画素値を表している。ここで、例えば、水平予測タップが図２に示した水平方向に並ぶ９画素である水平方向のタップ４１とすると、ｎ番目のノイズ画素の画素値とは、水平方向のタップ４１に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ1は、注目画素の画素値を表している。
【００９８】
また、ｗnは、ｎ番目のノイズ画素の画素値と乗算される水平係数を表す。なお、式（１）では、水平予測タップが、Ｎ個のノイズ画素ｘ1，・・・，ｘNで構成されるものとしている。
【００９９】
従って、水平予測演算により求められる水平画素の画素値Ｈは、ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗN-1ｘN-1＋ｗNｘN＝｛（ｗ1−１）ｘ1＋ｗ2ｘ2＋・・・＋ｗN-1ｘN-1＋ｗNｘN｝＋ｘ1となり、ｈ＝｛（ｗ1−１）ｘ1＋ｗ2ｘ2＋・・・＋ｗN-1ｘN-1＋ｗNｘN｝とすれば、Ｈ＝ｈ＋ｘ1となる。
【０１００】
ここで、ｈは、水平予測演算により求められた水平画素の画素値Ｈからノイズ画素の注目画素の画素値ｘ1を差し引くことで得られる差分の画素値Ｈ−ｘ1を表す。従って、ｈを、以下、適宜、水平差分ｈという。
【０１０１】
水平差分ｈを導入することにより、水平画素の画素値Ｈは、ノイズ画素の注目画素の画素値ｘ1に水平差分ｈを加算することで得られる画素値と考えることができる。そして、水平画素は、水平予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、水平差分ｈは、いわば、水平係数ｗnと水平予測タップの画素値ｘnとを用いた水平予測演算による、ノイズの除去の効果分（以下、適宜、水平処理効果分という）であるということができる。
【０１０２】
次に、垂直予測タップと垂直係数とを用いた垂直予測演算として、例えば、線形１次予測演算を採用し、垂直処理画像の画素（以下、適宜、垂直画素という）の画素値Ｖを求めることとすると、垂直画素の画素値Ｖは、次の線形１次式によって求められることになる。
【０１０３】
【数２】
2008199437.tif 000004
・・・（２）
【０１０４】
但し、式（２）において、ｘ’nは、注目画素に対応する垂直画素（ノイズ画像の注目画素と同一の位置にある垂直処理画像の画素）についての垂直予測タップを構成する複数のノイズ画素のうちのｎ番目の画素の画素値を表している。ここで、例えば、垂直予測タップが、図２に示した垂直方向に並ぶ９画素である垂直方向のタップ４２とすると、ｎ番目のノイズ画素の画素値とは、垂直方向のタップ４２に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ’1は、注目画素の画素値を表しており、注目画素の画素値であるｘ1と同一であるため、以下、ｘ1ともいう。
【０１０５】
また、ｗ’nは、ｎ番目のノイズ画素の画素値と乗算される垂直係数を表す。なお、式（２）では、垂直予測タップが、Ｎ個のノイズ画素ｘ’1，・・・，ｘ’Nで構成されるものとしている。
【０１０６】
従って、垂直予測演算により求められる垂直画素の画素値Ｖは、ｗ’1ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’N-1ｘ’N-1＋ｗ’Nｘ’N＝｛（ｗ’1−１）ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’N-1ｘ’N-1＋ｗ’Nｘ’N｝＋ｘ1となり、ｖ＝｛（ｗ’1−１）ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’N-1ｘ’N-1＋ｗ’Nｘ’N｝とすれば、Ｖ＝ｖ＋ｘ1となる。
【０１０７】
ここで、ｖは、垂直予測演算により求められた垂直画素の画素値Ｖからノイズ画素の注目画素の画素値ｘ1を差し引くことで得られる差分の画素値を表す。従って、ｖを、以下、適宜、垂直差分ｖという。
【０１０８】
垂直差分ｖを導入することにより、垂直画素の画素値Ｖは、ノイズ画素の注目画素の画素値ｘ1に垂直差分ｖを加算することで得られる画素値と考えることができる。そして、垂直画素は、垂直予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、垂直差分ｖは、いわば、垂直係数ｗ’nと垂直予測タップの画素値ｘ’nとを用いた垂直予測演算による、ノイズの除去の効果分（以下、適宜、垂直処理効果分という）であるということができる。
【０１０９】
次に、加算演算では、水平予測演算により求められた水平画素の画素値Ｈ＝ｈ＋ｘ1と、垂直予測演算により求められた垂直画素の画素値Ｖ＝ｖ＋ｘ1とを加算することで画素値Ｈ＋Ｖ＝ｈ＋ｖ＋２ｘ1を得る。
【０１１０】
画素値Ｈ＋Ｖは、ノイズ画素の画素値ｘ1に水平差分ｈと垂直差分ｖとを加算し、さらに、ノイズ画素の画素値ｘ1を加算した値となっており、ノイズ画素の画素値ｘ1が２重に加算された値となっている。
【０１１１】
そこで、ゲイン調整演算では、画素値Ｈ＋Ｖから、２重に加算されたノイズ画素の画素値ｘ1を差し引くことにより画素値Ｈ＋Ｖ―ｘ1＝ｈ＋ｖ＋ｘ1を得る。予測演算部６９による予測演算では、この画素値Ｈ＋Ｖ―ｘ1＝ｈ＋ｖ＋ｘ1が、注目画素に対応する、ノイズ除去画像の画素の画素値として求められる。
【０１１２】
従って、予測演算では、注目画素に対応する、ノイズ除去画像の画素の画素値ｙが、式（３）にしたがって求められる。
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗNｘN＋ｗ’1ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’Nｘ’N−ｘ1
・・・（３）
【０１１３】
なお、式（３）から、注目画素に対応する、ノイズ除去画像の画素の画素値ｙは、式ｙ＝Ｈ＋（Ｖ−ｘ1）＝ｈ＋ｘ1＋（ｖ＋ｘ1−ｘ1）＝ｈ＋ｖ＋ｘ1によって求めることもできる。
【０１１４】
図３は、図２の予測演算部６９の構成例を示すブロック図である。
【０１１５】
図２の予測演算部６９は、水平予測演算部１０１、垂直予測演算部１０２、ゲイン調整部１０３、および加算部１０４により構成される。
【０１１６】
水平予測演算部１０１には、水平係数記憶部６４からの水平係数ｗnと、水平予測タップ抽出部６１からの水平予測タップｘnとが供給される。
【０１１７】
水平予測演算部１０１は、水平係数記憶部６４からの水平係数ｗnと、水平予測タップ抽出部６１からの水平予測タップｘnとを用いた水平予測演算を行い、その結果得られた水平画素の画素値Ｈを、加算部１０４に供給する。
【０１１８】
垂直予測演算部１０２には、垂直係数記憶部６８からの垂直係数ｗ’nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’nとが供給される。
【０１１９】
垂直予測演算部１０２は、垂直係数記憶部６８からの垂直係数ｗ’nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’nとを用いた垂直予測演算を行い、その結果得られた垂直画素の画素値Ｖを、ゲイン調整部１０３に供給する。
【０１２０】
ゲイン調整部１０３には、垂直予測タップ抽出部６５から、注目画素の画素値ｘ1が供給される。
【０１２１】
ゲイン調整部１０３は、垂直予測演算部１０２から供給された画素値Ｖから、垂直予測タップ抽出部６５から供給された注目画素の画素値ｘ1を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部１０４に供給する。
【０１２２】
加算部１０４は、水平予測演算部１０１から供給された水平画素の画素値Ｈ＝ｈ＋ｘ1と、ゲイン調整部１０３から供給された垂直差分ｖとを加算し、その結果得られた画素値ｈ＋ｖ＋ｘ1を、ノイズ除去画像を予測した画素値ｙとして出力する。
【０１２３】
ここで、図３の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、および水平予測演算部１０１を総称して水平マッピング部７１といい、その水平マッピング部７１が、水平係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。
【０１２４】
また、水平画素の画素値Ｈは、水平処理画像の画素値を示すものであるため、以下、単に、水平処理画像Ｈともいう。さらに、ノイズ画素の画素値ｘ1は、ノイズ画像の画素値を示すものであるため、以下、単に、ノイズ画像ｘ1ともいう。
【０１２５】
さらに、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および垂直予測演算部１０２を総称して垂直マッピング部７２といい、その垂直マッピング部７２が、垂直係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。
【０１２６】
また、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、垂直予測演算部１０２、およびゲイン調整部１０３を総称して垂直差分マッピング部７３といい、その垂直差分マッピング部７３が、垂直係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。
【０１２７】
また、垂直画素の画素値Ｖは、垂直処理画像の画素値を示すものであるため、以下、単に、垂直処理画像Ｖともいう。
【０１２８】
次に、図４のフローチャートを参照して、図２の画像変換部３１における画像変換処理を説明する。
【０１２９】
この画像変換処理は、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が、画像変換部３１に供給されたときに開始される。このとき、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、および垂直クラスタップ抽出部６６には、ノイズ画像が供給される。
【０１３０】
ステップＳ３１において、水平マッピング部７１（図３）の水平予測タップ抽出部６１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とし、処理は、ステップＳ３２に進む。
【０１３１】
ステップＳ３２において、水平マッピング部７１は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部１０４に供給して、処理は、ステップＳ３３に進み、垂直差分マッピング部７３（図３）は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部１０４に供給して、処理は、ステップＳ３４に進む。
【０１３２】
ステップＳ３４において、加算部１０４は、水平マッピング部７１からの水平処理画像Ｈと、垂直差分マッピング部７３からの垂直差分ｖとを加算し、注目画素に対応する、ノイズ除去画像の画素の画素値ｙ＝Ｈ＋ｖを得て出力する。
【０１３３】
その後、処理は、ステップＳ３４からステップＳ３５に進み、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像の画素が存在するか否かを判定する。
【０１３４】
ステップＳ３５において、まだ注目画素とされていないノイズ画素が存在すると判定された場合、処理は、ステップＳ３１に戻り、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画素のうちの１つを、新たな注目画素とし、処理は、ステップＳ３２に進み、以下、同様の処理を繰り返す。
【０１３５】
一方、ステップＳ３５において、まだ注目画素とされていないノイズ画素が存在しないと判定された場合、画像変換処理は終了される。
【０１３６】
次に、図５のフローチャートを参照して、図４のステップＳ３２における水平マッピング処理の詳細を説明する。
【０１３７】
ステップＳ６１において、水平マッピング部７１の水平予測タップ抽出部６１は、水平予測タップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素である水平方向のタップ４１を、供給されてくるノイズ画像から抽出し、予測演算部６９（図３）の水平予測演算部１０１に供給する。
【０１３８】
処理は、ステップＳ６１からステップＳ６２に進み、水平マッピング部７１の水平クラスタップ抽出部６２は、水平クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素である水平方向のタップ４１を、供給されてくるノイズ画像から抽出し、水平クラス分類部６３に供給する。
【０１３９】
処理は、ステップＳ６２からステップＳ６３に進み、水平マッピング部７１の水平クラス分類部６３は、水平クラスタップ抽出部６２からの水平クラスタップに基づき、水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部６４に出力する。
【０１４０】
処理は、ステップＳ６３からステップＳ６４に進み、水平マッピング部７１の水平係数記憶部６４は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットのうちの、水平クラス分類部６３から供給された水平クラスコードに対応するアドレスに記憶されている水平係数ｗnを、予測演算部６９（図３の水平予測演算部１０１）に出力する。
【０１４１】
処理は、ステップＳ６４からステップＳ６５に進み、水平マッピング部７１の水平予測演算部１０１は、水平係数記憶部６４からの水平係数ｗnと、水平予測タップ抽出部６１からの水平予測タップｘnとを用いた水平予測演算を行い、その結果得られた水平処理画像Ｈを、加算部１０４に供給し、その後、処理は、図４のステップＳ３２にリターンして、その後の処理を行う。
【０１４２】
次に、図６のフローチャートを参照して、図４のステップＳ３３における垂直差分マッピング処理の詳細を説明する。
【０１４３】
ステップＳ９１において、垂直差分マッピング部７３の垂直予測タップ抽出部６５は、垂直予測タップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるノイズ画像から抽出し、予測演算部６９（図３の垂直予測演算部１０２）に供給する。
【０１４４】
処理は、ステップＳ９１からステップＳ９２に進み、垂直差分マッピング部７３の垂直クラスタップ抽出部６６は、垂直クラスタップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるノイズ画像から抽出し、垂直クラス分類部６７に供給する。
【０１４５】
処理は、ステップＳ９２からステップＳ９３に進み、垂直差分マッピング部７３の垂直クラス分類部６７は、垂直クラスタップ抽出部６６からの垂直クラスタップに基づき、垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部６８に出力する。
【０１４６】
処理は、ステップＳ９３からステップＳ９４に進み、垂直差分マッピング部７３の垂直係数記憶部６８は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットのうちの、垂直クラス分類部６７から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数ｗ’nを、予測演算部６９（図３の垂直予測演算部１０２）に出力する。
【０１４７】
処理は、ステップＳ９４からステップＳ９５に進み、垂直差分マッピング部７３の垂直予測演算部１０２は、垂直係数記憶部６８からの垂直係数ｗ’nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’nとを用いた垂直予測演算を行い、その結果得られた垂直処理画像Ｖを、ゲイン調整部１０３に供給する。
【０１４８】
処理は、ステップＳ９５からステップＳ９６に進み、ゲイン調整部１０３は、垂直予測演算部１０２から供給された垂直処理画像Ｖから、垂直予測タップ抽出部６５から供給された注目画素の画素値ｘ1を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部１０４に供給する。なお、ゲイン調整部１０３には、垂直予測タップ抽出部６５から、ノイズ画像の注目画素の画素値ｘ1が供給される。
【０１４９】
その後、処理はステップＳ９６から図４のステップＳ３３にリターンして、その後の処理を行う。
【０１５０】
以上のような図２の画像変換部３１では、水平予測タップの水平クラスに対応する水平係数と、垂直予測タップの垂直クラスに対応する垂直係数との２つの係数を用いて、所定の予測演算を行うことにより、いわば、実質的なクラスの総数は、水平クラスの総数と垂直クラスの総数との和よりも大にすることができる。
【０１５１】
即ち、例えば、水平クラスの総数が１０クラスであり、垂直クラスの総数が１０クラスであるとき、図２の画像変換部３１では、水平予測タップの水平クラスに対応する水平係数と、垂直予測タップの垂直クラスに対応する垂直係数との２セットの係数を用いて、所定の予測演算を行うので、所定の予測演算で用いられる水平係数と垂直係数との係数セットの組み合わせは、水平クラスの総数である１０クラスと、垂直クラスの総数である１０クラスとの組み合わせである１０×１０＝１００セットとなる。
【０１５２】
従って、水平クラスと垂直クラスとの総数が２０クラスであるのに対して、所定の予測演算に用いられる係数セットは１００セットであるので、水平クラスと垂直クラスによってクラス分類し得る実質的なクラスは１００クラスとなる。
【０１５３】
以上のように、水平係数と垂直係数の総数は、２０セットであるのに対して、実質的なクラスの総数は１００クラスであるため、水平係数記憶部６４と垂直係数記憶部６８を構成するメモリの容量を大きくすることなく、画像変換処理による注目画素に対応する、ノイズ除去画像の画素の画素値ｙの予測の精度を高めることができる。
【０１５４】
次に、後の説明を簡単にするために、水平係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。
【０１５５】
即ち、図７は、水平差分マッピング処理を行う水平差分マッピング部１１１の構成例を示すブロック図である。
【０１５６】
なお、図中、図３の水平マッピング部７１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０１５７】
即ち、図７の水平差分マッピング部１１１は、新たにゲイン調整部１１２が設けられているほかは、図３の水平マッピング部７１の場合と同様に構成されている。
【０１５８】
ゲイン調整部１１２には、水平予測タップ抽出部６１から、ノイズ画像の注目画素の画素値ｘ1が供給されるとともに、水平予測演算部１０１から、水平処理画像Ｈ＝ｈ＋ｘ1が供給される。
【０１５９】
ゲイン調整部１１２は、水平予測演算部１０１から供給された水平処理画像Ｈ＝ｈ＋ｘ1から、水平予測タップ抽出部６１から供給されたノイズ画像の注目画素の画素値ｘ1を差し引き、その結果得られた水平差分ｈを出力する。
【０１６０】
次に、ノイズ画像から、ノイズ除去画像を予測するのに用いる水平係数ｗnを学習する（求める）方法を説明する。
【０１６１】
第ｋサンプルのノイズ除去画像の画素（以下、適宜、ノイズ除去画素という）の画素値の真値をｙkと表すとともに、式（１）による水平予測演算よって得られる、その真値ｙkの予測値、つまり、水平処理画像の画素の画素値Ｈをｙk'と表すと、その予測誤差ｅkは、次式で表される。
【０１６２】
【数３】
2008199437.tif 000005
・・・（４）
【０１６３】
いま、式（４）の予測値ｙk'は、式（１）にしたがって求められるため、式（４）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【０１６４】
【数４】
2008199437.tif 000006
・・・（５）
【０１６５】
但し、式（５）において、ｘn,kは、第ｋサンプルのノイズ除去画素についての水平予測タップを構成するｎ番目のノイズ画素を表す。
【０１６６】
式（５）（または式（４））の予測誤差ｅkを０とする水平係数ｗnが、ノイズ除去画素を予測するのに最適なものとなるが、すべてのノイズ除去画素について、そのような水平係数ｗnを求めることは、一般には困難である。
【０１６７】
そこで、水平係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な水平係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１６８】
【数５】
2008199437.tif 000007
・・・（６）
【０１６９】
但し、式（６）において、Ｋは、ノイズ除去画素（の画素値）ｙkと、そのノイズ除去画素ｙkについての水平予測タップを構成するノイズ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１７０】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、式（７）に示すように、総和Ｅを水平係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１７１】
【数６】
2008199437.tif 000008
・・・（７）
【０１７２】
一方、上述の式（５）を水平係数ｗnで偏微分すると、次式が得られる。
【０１７３】
【数７】
2008199437.tif 000009
・・・（８）
【０１７４】
式（７）と式（８）から、次式が得られる。
【０１７５】
【数８】
2008199437.tif 000010
・・・（９）
【０１７６】
式（９）のｅkに、式（５）を代入することにより、式（９）は、式（１０）に示す正規方程式で表すことができる。
【０１７７】
【数９】
2008199437.tif 000011
・・・（１０）
【０１７８】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、水平係数ｗnについて解くことができる。
【０１７９】
即ち、画像変換処理の対象となるノイズ画像などに相当する画像である生徒画像と、画像変換処理によって求められるノイズ除去画像などの、ノイズ画像よりも高画質の真値の画像である教師画像との多数のセットを、学習に用いる学習用のサンプルとして用い、式（１０）の正規方程式を、クラスごとにたてて解くことにより、水平係数（ここでは、自乗誤差の総和Ｅを最小にする水平係数）ｗnを、水平クラスごとに求めることができる。
【０１８０】
次に、図８を参照して、式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗnを求める学習を行う学習部１２１を説明する。
【０１８１】
図８は、水平係数ｗnを求める学習を行う学習部１２１の構成例を示すブロック図である。
【０１８２】
図８の学習部１２１は、原画像記憶部１３１、ノイズ付加部１３２、予測タップ抽出部１３３、クラスタップ抽出部１３４、クラス分類部１３５、足し込み部１３６、および係数算出部１３７により構成される。
【０１８３】
原画像記憶部１３１には、ノイズ除去画像に相当する高Ｓ/Ｎの画像が多数、記憶されている。
【０１８４】
ノイズ付加部１３２は、原画像記憶部１３１に記憶されている画像（以下、適宜、原画像という）を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、予測タップ抽出部１３３およびクラスタップ抽出部１３４に供給する。
【０１８５】
予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップ（図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平予測タップ）を得て、足し込み部１３６に供給する。
【０１８６】
クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップ（図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平クラスタップ）を得て、クラス分類部１３５に供給する。
【０１８７】
クラス分類部１３５は、クラスタップ抽出部１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部１３６に供給する。
【０１８８】
足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、注目画素に対応する教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された水平クラスコードごとに行う。
【０１８９】
即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部１３３が出力する注目画素についての水平予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部１３５が出力する、水平予測タップの水平クラスを表す水平クラスコードが供給される。
【０１９０】
そして、足し込み部１３６は、クラス分類部１３５から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１９１】
さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１９２】
即ち、足し込み部１３６は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘn,k+1および教師画像ｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
【０１９３】
そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。
【０１９４】
係数算出部１３７は、足し込み部１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
【０１９５】
次に、図９のフローチャートを参照して、図８の学習部１２１における学習処理を説明する。
【０１９６】
ステップＳ１２１において、ノイズ付加部１３２は、原画像記憶部１３１から原画像を読み出し、その原画像にノイズを付加することにより、生徒画像を生成し、予測タップ抽出部１３３およびクラスタップ抽出部１３４に供給する。
【０１９７】
処理は、ステップＳ１２１からステップＳ１２２に進み、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とし、処理は、ステップＳ１２３に進む。
【０１９８】
ステップＳ１２３において、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部１３６に供給する。
【０１９９】
処理は、ステップＳ１２３からステップＳ１２４に進み、クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、クラス分類部１３５に供給する。
【０２００】
処理は、ステップＳ１２４からステップＳ１２５に進み、クラス分類部１３５は、クラスタップ抽出部１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部１３６に供給する。
【０２０１】
処理は、ステップＳ１２５からステップＳ１２６に進み、足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された水平クラスコードごとに行う。
【０２０２】
処理は、ステップＳ１２６からステップＳ１２７に進み、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
【０２０３】
ステップＳ１２７において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ１２２に戻り、予測タップ抽出部１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ１２３に進み、以下、同様の処理を繰り返す。
【０２０４】
一方、ステップＳ１２７において、まだ注目画素とされていないノイズ画像の画素が存在しないと判定された場合、即ち、足し込み部１３６においては、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部１３６は、正規方程式を、係数算出部１３７に供給する。そして、処理は、ステップＳ１２７からステップＳ１２８に進み、係数算出部１３７は、足し込み部１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
【０２０５】
その後、学習処理は終了される。
【０２０６】
ここで、図９のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、以下、適宜、水平タップにおける学習処理という。
【０２０７】
なお、図８の学習部１２１において、予測タップ抽出部１３３が垂直予測タップを抽出し、クラスタップ抽出部１３４が垂直クラスタップを抽出して、クラス分類部１３５が垂直クラス分類を行うこととすれば、水平係数に代えて、垂直係数を求めることができる。
【０２０８】
即ち、垂直係数を求める場合には、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップ（図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直予測タップ）を得て、足し込み部１３６に供給する。
【０２０９】
クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップ（図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直クラスタップ）を得て、クラス分類部１３５に供給する。
【０２１０】
クラス分類部１３５は、クラスタップ抽出部１３４から供給された垂直クラスタップに基づき、図２の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部１３６に供給する。
【０２１１】
足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された垂直クラスコードごとに行う。
【０２１２】
即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部１３３が出力する注目画素についての垂直予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部１３５が出力する、垂直予測タップの垂直クラスを表す垂直クラスコードが供給される。
【０２１３】
そして、足し込み部１３６は、クラス分類部１３５から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２１４】
さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２１５】
即ち、足し込み部１３６は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘn,k+1および教師画像ｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
【０２１６】
そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各垂直クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。
【０２１７】
係数算出部１３７は、足し込み部１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’nを求めて出力する。
【０２１８】
ここで、以上のようにして、垂直係数ｗ’nを求める学習処理を、以下、適宜、垂直タップにおける学習処理という。
【０２１９】
図２の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数と、垂直タップにおける学習処理により求められた垂直係数とを用いて画像変換処理を行うことができる。
【０２２０】
ところで、上述したように、上述の、水平係数を求める水平タップにおける学習処理と、垂直係数を求める垂直タップにおける学習処理とを、独立に行って、水平係数と垂直係数とを求めた場合、その水平係数と垂直係数によれば、いずれも単独で、ノイズ画像をノイズ除去画像（の予測値）に変換することができる。
【０２２１】
このため、図８の学習部１２１により学習された水平係数と垂直係数とを用いた画像変換処理では、ノイズ画像をノイズ除去画像に変換する画像変換処理が、水平係数と垂直係数とで２重に行われる。
【０２２２】
その結果、水平係数によりノイズを除去する水平処理効果分、および垂直係数によりノイズを除去する垂直処理効果分とを合わせた全体の効果分が過剰となってしまい、ノイズ画像に生じている歪波形の位相を反転したような逆歪が現れたり、逆に、水平処理効果分と垂直処理効果分とが相殺されてしまい、歪などのノイズを除去する効果が低下することがあり得る。
【０２２３】
そこで、水平係数による水平処理効果分と、垂直係数による垂直処理効果分とが過剰となったり、相殺されることがないように、水平係数および垂直係数を学習する学習処理について説明する。
【０２２４】
図１０は、上述した図２の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部１５１の構成例を示すブロック図である。なお、図１０には、説明の便宜上、図２の画像変換部３１に相当する画像変換部１５２も図示してある。
【０２２５】
２段差分学習部１５１は、水平タップ学習部１６１、水平マッピング部１６２、および垂直タップ差分学習部１６３により構成される。
【０２２６】
水平タップ学習部１６１は、図８の学習部１２１と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部１６２に供給する。
【０２２７】
水平マッピング部１６２は、水平タップ学習部１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部１６３に供給する。なお、水平マッピング部１６２には、水平タップ学習部１６１などから、ノイズ画像が供給される。
【０２２８】
垂直タップ差分学習部１６３は、水平タップ学習部１６１で教師画像として用いられる原画像と、水平マッピング部１６２から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
【０２２９】
即ち、垂直タップ差分学習部１６３は、原画像、ノイズ画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。
【０２３０】
なお、垂直タップ差分学習部１６３の、垂直タップにおける水平差分の差分学習処理は、後述する図１１を参照して、詳細に説明する。
【０２３１】
図２の画像変換部３１における画像変換処理では、図１０の２段差分学習部１５１により求められた水平係数および垂直係数を用いることができる。
【０２３２】
ここで、図１０において、画像変換部１５２は、図２の画像変換部３１と同様に構成される。画像変換部１５２では、次のようにして、ノイズ画像を原画像（の予測値）に変換する画像変換処理が行われる。
【０２３３】
即ち、画像変換部１５２は、水平マッピング部１６２、垂直差分マッピング部１６４、および加算部１６５により構成される。
【０２３４】
水平マッピング部１６２は、図３の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、および水平予測演算部１０１で構成される水平マッピング部７１と同様に構成される。
【０２３５】
水平マッピング部１６２は、水平タップ学習部１６１での水平タップにおける学習処理により得られる水平係数を用いて、ノイズ画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部１６５に供給する。
【０２３６】
垂直差分マッピング部１６４は、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、垂直予測演算部１０２、およびゲイン調整部１０３で構成される垂直差分マッピング部７３と同様に構成される。
【０２３７】
垂直差分マッピング部１６４は、垂直タップ差分学習部１６３での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、ノイズ画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部１６５に供給する。
【０２３８】
加算部１６５は、図３の加算部１０４と同様に構成され、水平マッピング部１６２から供給された水平処理画像Ｈと、垂直差分マッピング部１６４から供給された垂直差分ｖとを加算し、その結果得られた画素値Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ1）で構成される、原画像を予測した画像（以下、適宜、水平垂直処理画像という）を出力する。
【０２３９】
次に、図１１は、垂直タップにおける水平差分の差分学習処理を行う図１０の垂直タップ差分学習部１６３の詳細な構成例を示すブロック図である。
【０２４０】
即ち、図１１の垂直タップ差分学習部１６３は、図８の原画像記憶部１３１乃至係数算出部１３７とそれぞれ同様に構成される原画像記憶部１１３１乃至係数算出部１１３７と、差分画像生成部２３３とから構成される。
【０２４１】
さらに、差分画像生成部２３３には、ノイズ付加部１１３２から生徒画像が供給されるとともに、図１０の水平マッピング部１６２から、水平処理画像Ｈが供給される。
【０２４２】
差分画像生成部２３３は、ノイズ付加部１１３２から供給された生徒画像（ノイズ画像）ｘ1を、図１０の水平マッピング部１６２から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
【０２４３】
また、差分画像生成部２３３は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部１１３６に供給する。
【０２４４】
従って、図１１の垂直タップ差分学習部１６３では、原画像と水平差分ｈとの差分である原画像―水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直係数を学習する。よって、垂直タップ差分学習部１６３では、原画像から水平マッピング処理による水平処理効果分としての水平差分ｈを差し引いた画像に、ノイズ画像を変換する垂直係数が求められる。
【０２４５】
次に、図１２のフローチャートを参照して、図１０の２段差分学習部１５１における２段差分学習処理を説明する。
【０２４６】
ステップＳ１７１において、水平タップ学習部１６１は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部１６２に供給する。
【０２４７】
その後、処理は、ステップＳ１７１からステップＳ１７２に進み、水平マッピング部１６２は、水平タップ学習部１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１６３に供給する。
【０２４８】
そして、処理は、ステップＳ１７２からステップＳ１７３に進み、垂直タップ差分学習部１６３は、水平タップ学習部１６１で教師画像として用いられる原画像と、水平マッピング部１６２から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
【０２４９】
その後、２段差分学習処理は、終了される。
【０２５０】
次に、図１３のフローチャートを参照して、図１２のステップＳ１７３の、垂直タップにおける水平差分の差分学習処理の詳細を説明する。
【０２５１】
ステップＳ２０１において、垂直タップ差分学習部１６３（図１１）のノイズ付加部１１３２は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部２３３、垂直予測タップ抽出部１１３３および垂直クラスタップ抽出部１１３４に供給する。なお、原画像記憶部１１３１には、図１０の水平タップ学習部１６１で教師画像として用いられるのと同一の原画像が、記憶されている。
【０２５２】
処理は、ステップＳ２０１からステップＳ２０２に進み、差分画像生成部２３３は、ノイズ付加部１１３２から供給されたノイズ画像ｘ1を、図１１の水平マッピング部１６２から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
【０２５３】
また、ステップＳ２０２において、差分画像生成部２３３は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部１１３６に供給する。
【０２５４】
その後、処理は、ステップＳ２０２からステップＳ２０３に進み、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ２０４に進む。
【０２５５】
ステップＳ２０４において、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部１１３６に供給する。
【０２５６】
そして、処理は、ステップＳ２０４からステップＳ２０５に進み、垂直クラスタップ抽出部１１３４は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部１１３５に供給する。
【０２５７】
さらに、処理は、ステップＳ２０５からステップＳ２０６に進み、垂直クラス分類部１１３５は、垂直クラスタップ抽出部１１３４から供給された垂直クラスタップに基づき、図２の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部１１３６に供給して、ステップＳ２０７に進む。
【０２５８】
ステップＳ２０７において、足し込み部１１３６は、図８の学習部１２１の足し込み部１３６と同様にして、差分画像生成部２３３から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部１１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部１１３５から供給された垂直クラスコードごとに行う。
【０２５９】
処理は、ステップＳ２０７からステップＳ２０８に進み、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
【０２６０】
ステップＳ２０８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ２０３に戻り、垂直予測タップ抽出部１１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ２０４に進み、以下、同様の処理を繰り返す。
【０２６１】
一方、ステップＳ２０８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部１１３６においては、ノイズ付加部１１３２により生成された生徒画像の画素すべてを注目画素として、図８の学習部１２１と同様の足し込みを行うことにより、各垂直クラスについての正規方程式が得られた場合、足し込み部１１３６は、その正規方程式を、垂直タップ差分学習部１６３の係数算出部１１３７に供給する。そして、ステップＳ２０８からステップＳ２０９に進み、係数算出部１１３７は、足し込み部１１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’nを求めて出力する。
【０２６２】
その後、処理は、図１２のステップＳ１７３にリターンする。
【０２６３】
ところで、図１０の２段差分学習部１５１による２段差分学習処理では、水平タップ学習部１６１が、原画像を教師画像とするとともに、ノイズ画像を生徒画像として、水平係数を求め、その水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１６３において、垂直係数を求めている。
【０２６４】
即ち、垂直タップ差分学習部１６３では、原画像から、水平処理効果分としての水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直係数が求められる。このため、２段差分学習部１５１で求められた水平係数および垂直係数を用いた画像変換処理では、図８の学習部１２１で求められた水平係数および垂直係数を用いた画像変換処理のような、ノイズ画像に含まれるノイズを除去する効果が、いわば、２重になることを防止することができる。
【０２６５】
しかしながら、図１０の２段差分学習部１５１では、垂直タップ差分学習部１６３において、水平タップ学習部１６１によりさきに求められた水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直係数を求めている。
【０２６６】
即ち、垂直タップ差分学習部１６３では、水平タップ学習部１６１により求められた水平係数を用いた水平予測演算による水平処理効果分の不足分や過剰分を補う垂直処理効果分が得られる垂直係数が求められる。
【０２６７】
従って、図１０の２段差分学習部１５１で求められた水平係数および垂直係数を用いた画像変換処理では、ノイズ画像に含まれるノイズを除去する効果のうちの、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈの寄与分が大となり、垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖの寄与分は小となる。
【０２６８】
このため、仮に、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈにより、ノイズ画像に含まれるノイズを（十分に）除去することができなかった場合、垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖの寄与分が小であることから、垂直係数によっては、ノイズ画像に含まれるノイズを十分に除去することが困難となることがある。
【０２６９】
しかしながら、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈにより、ノイズ画像に含まれるノイズを十分に除去することができなかった場合においても、ノイズ画像に含まれるノイズを除去することができるように、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等に現れることが望ましい。
【０２７０】
そこで、図１４は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部２７１の構成例を示すブロック図である。
【０２７１】
２段反復学習部２７１は、図１０の２段差分学習部１５１の水平タップ学習部１６１乃至垂直タップ差分学習部１６３それぞれと同様に構成される水平タップ学習部１１６１乃至垂直タップ差分学習部１１６３と、垂直マッピング部２８４、および水平タップ差分学習部２８５とから構成される。
【０２７２】
垂直マッピング部２８４は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部１１６３から供給された垂直係数を用いて、ノイズ画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部２８５に供給する。
【０２７３】
水平タップ差分学習部２８５は、水平タップ学習部１１６１で教師画像として用いられる原画像と、垂直マッピング部２８４から供給された垂直処理画像Ｖとを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部１１６２に供給する。
【０２７４】
即ち、水平タップ差分学習部２８５は、原画像、ノイズ画像、および垂直処理画像Ｖから、後述するようにして、原画像と垂直差分ｖとの差分である原画像−垂直差分ｖを生成し、その原画像−垂直差分ｖを教師画像とするとともに、ノイズ画像を生徒画像として、水平予測タップ及び水平クラスタップを用いて、水平係数を学習する、水平タップにおける垂直差分の差分学習処理を行う。
【０２７５】
なお、水平タップ差分学習部２８５の、水平タップにおける垂直差分の差分学習処理は、後述する図１５を参照して、詳細に説明する。
【０２７６】
次に、図１５は、水平タップにおける垂直差分の差分学習処理を行う図１４の水平タップ差分学習部２８５の詳細な構成例を示すブロック図である。
【０２７７】
水平タップ差分学習部２８５は、図１１の垂直タップ差分学習部１６３の原画像記憶部１１３１乃至係数算出部１１３７とそれぞれ同様に構成される原画像２１３１乃至係数算出部２１３７と差分画像生成部２９３とから構成される。
【０２７８】
さらに、差分画像生成部２９３には、図１４の垂直マッピング部２８４から、垂直処理画像Ｖが供給される。
【０２７９】
差分画像生成部２９３は、ノイズ付加部２１３２から供給された生徒画像（ノイズ画像）ｘ1を、図１４の垂直マッピング部２８４から供給された垂直処理画像Ｖ＝ｖ＋ｘ1から差し引くことで、垂直差分ｖを生成する。
【０２８０】
また、差分画像生成部２９３は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部２１３６に供給する。
【０２８１】
以上のように構成される水平タップ差分学習部２８５では、原画像と垂直差分ｖとの差分である原画像―垂直差分ｖを教師画像とするとともに、ノイズ画像を生徒画像として、水平係数が学習される。従って、原画像から垂直マッピング処理による垂直処理効果分としての垂直差分ｖを差し引いた画像に、ノイズ画像を変換する水平係数が求められる。
【０２８２】
次に、図１６のフローチャートを参照して、図１４の２段反復学習部２７１における２段反復学習処理を説明する。
【０２８３】
ステップＳ２４１において、水平タップ学習部１１６１は、原画像を教師画像とするとともに、その原画像にノイズを付加したノイズ画像を生徒画像として、水平タップにおける学習処理を行い、その結果得られた水平係数を、水平マッピング部１１６２に供給して、処理は、ステップＳ２４２に進む。
【０２８４】
ステップＳ２４２において、水平マッピング部１１６２および垂直タップ差分学習部１１６３により、垂直係数が生成される。
【０２８５】
即ち、ステップＳ２４２では、ステップＳ２５１とステップＳ２５２の処理が行われる。
【０２８６】
ステップＳ２５１では、水平マッピング部１１６２は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、水平タップ学習部１１６１から供給される水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１１６３に供給して、処理は、ステップＳ２５２に進む。
【０２８７】
ステップＳ２５２において、垂直タップ差分学習部１１６３は、水平タップ学習部１１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および水平マッピング部１１６２から供給された水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を生成する。
【０２８８】
また、ステップＳ２５２において、垂直タップ差分学習部１１６３は、生成した垂直係数を、垂直マッピング部２８４に供給する。
【０２８９】
ステップＳ２５１およびステップＳ２５２の処理、つまり、ステップＳ２４２の処理が終了すると、処理は、ステップＳ２４２からステップＳ２４３に進み、垂直マッピング部２８４および水平タップ差分学習部２８５により、水平係数が生成される。
【０２９０】
即ち、ステップＳ２４３では、ステップＳ２６１とステップＳ２６２の処理が行われる。
【０２９１】
ステップＳ２６１において、垂直マッピング部２８４は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部１１６３から供給された垂直係数とを用いて垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部２８５に供給して、処理は、ステップＳ２６２に進む。
【０２９２】
ステップＳ２６２において、水平タップ差分学習部２８５は、水平タップ学習部１１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部２８４から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を生成する。
【０２９３】
また、ステップＳ２６２において、水平タップ差分学習部２８５は、生成した水平係数を、水平マッピング部１１６２に供給する。
【０２９４】
ステップＳ２６１およびステップＳ２６２の処理、つまり、ステップＳ２４３の処理が終了すると、処理は、ステップＳ２４３からステップＳ２４２に戻り、水平マッピング部１１６２および垂直タップ差分学習部１１６３により、前回、水平タップ差分学習部２８５により生成された水平係数に基づいて、垂直係数が生成され、以下、同様の処理が繰り返される。
【０２９５】
即ち、ステップＳ２４２のステップＳ２５１では、水平マッピング部１１６２は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、水平タップ差分学習部２８５から供給された水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１１６３に供給して、処理は、ステップＳ２５２に進み、以下、同様の処理を繰り返す。
【０２９６】
なお、図１６の２段反復学習処理では、例えば、水平タップ差分学習部２８５で求められる水平係数、および垂直タップ差分学習部１１６３で求められる垂直係数が収束したときに、処理を終了することができる。また、図１６の２段反復学習処理は、水平係数や垂直係数を、あらかじめ決められた回数だけ繰り返し求めたとき、即ち、ステップＳ２４２およびステップＳ２４３を所定回数だけ繰り返し行ったときなどに終了することもできる。さらに、図１６の２段反復学習処理は、水平係数と垂直係数との係数セットを用いた、図２の画像変換部３１の画像変換処理による結果と、原画像との自乗誤差を最小にする係数セットが求められたときに終了するようにしてもよい。
【０２９７】
また、図１６の２段反復学習処理では、水平タップ学習部１１６１、垂直タップ差分学習部１１６３、および水平タップ差分学習部２８５それぞれが、同一の生徒画像を用いて係数を学習するため、２段反復学習処理を繰り返し行っても、所定の水平予測タップについて得られる水平クラスは、同じ水平クラスとなり、また、所定の垂直予測タップについて得られる垂直クラスは、同じ垂直クラスとなる。
【０２９８】
次に、図１７のフローチャートを参照して、図１６のステップＳ２６２の、水平タップにおける垂直差分の差分学習処理を詳細に説明する。
【０２９９】
ステップＳ２７１において、水平タップ差分学習部２８５（図１５）のノイズ付加部２１３２は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部２９３、水平予測タップ抽出部２１３３および水平クラスタップ抽出部２１３４に供給する。なお、原画像記憶部２１３１には、図１４の水平タップ学習部１１６１で教師画像として用いられるのと同一の原画像が、記憶されている。
【０３００】
処理は、ステップＳ２７１からステップＳ２７２に進み、差分画像生成部２９３は、ノイズ付加部２１３２から供給されたノイズ画像ｘ1を、図１４の垂直マッピング部２８４から供給された垂直処理画像Ｖ＝ｖ＋ｘ1から差し引くことで、垂直差分ｖを生成する。
【０３０１】
また、ステップＳ２７２において、差分画像生成部２９３は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部２１３６に供給する。
【０３０２】
処理は、ステップＳ２７２からステップＳ２７３に進み、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ２７４に進む。
【０３０３】
ステップＳ２７４において、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部２１３６に供給する。
【０３０４】
処理は、ステップＳ２７４からステップＳ２７５に進み、水平クラスタップ抽出部２１３４は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部２１３５に供給する。
【０３０５】
処理は、ステップＳ２７５からステップＳ２７６に進み、水平クラス分類部２１３５は、水平クラスタップ抽出部２１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部２１３６に供給する。
【０３０６】
処理は、ステップＳ２７６からステップＳ２７７に進み、足し込み部２１３６は、図８の学習部１２１の場合と同様にして、差分画像生成部２９３から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部２１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部２１３５から供給された水平クラスコードごとに行う。
【０３０７】
処理は、ステップＳ２７７からステップＳ２７８に進み、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
【０３０８】
ステップＳ２７８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ２７３に戻り、水平予測タップ抽出部２１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ２７４に進み、以下、同様の処理を繰り返す。
【０３０９】
一方、ステップＳ２７８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部２１３６においては、ノイズ付加部２１３２により生成された生徒画像の画素すべてを注目画素として、図８の学習部１２１と同様の足し込みを行うことにより、各水平クラスについての正規方程式が得られた場合、足し込み部２１３６は、その正規方程式を、係数算出部２１３７に供給する。そして、処理は、ステップＳ２７８からステップＳ２７９に進み、係数算出部２１３７は、足し込み部２１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
【０３１０】
その後、処理は、図１６のステップＳ２６２にリターンする。
【０３１１】
以上のような図１６の２段反復学習処理では、水平タップ学習部１１６１が行う水平タップにおける学習処理により、水平係数が求められ、その水平係数による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１１６３が行う垂直タップにおける水平差分の差分学習処理により、垂直係数が求められ、さらに、その垂直係数による垂直処理効果分としての垂直差分ｖを考慮する形で、水平タップ差分学習部２８５が行う水平タップにおける垂直差分の差分学習処理により、水平係数が求められる。また、その水平係数による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１１６３が行う垂直タップにおける水平差分の差分学習処理により、垂直係数が求められ、以下、同様にして、水平係数と垂直係数とが繰り返し求められる。
【０３１２】
従って、水平係数と垂直係数とがとる値が収束するまで、２段反復学習処理を行った場合、例えば、水平係数を用いた水平予測演算による水平処理効果分が大であり、垂直係数を用いた垂直予測演算による垂直処理効果分が小となる水平係数と垂直係数ではなく、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分が等しくなる水平係数と垂直係数を求めることができる。
【０３１３】
また、図１０の２段差分学習部１５１では、水平タップ学習部１６１において先に水平係数が求められ、その水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１６３により垂直係数が求められることとしたが、先に垂直係数を求め、その垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖを考慮する形で、水平係数を求めることもできる。
【０３１４】
即ち、図１８は、そのような２段差分学習部３０１の構成例を示すブロック図である。なお、図１８には、説明の便宜上、図２の画像変換部３１に相当する画像変換部３０２も図示してある。
【０３１５】
２段差分学習部３０１は、垂直タップ学習部３１１、垂直マッピング部３１２、および水平タップ差分学習部３１３により構成される。
【０３１６】
垂直タップ学習部３１１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部３１２に供給する。
【０３１７】
垂直マッピング部３１２は、垂直タップ学習部３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ学習部３１１から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られる垂直処理画像Ｖを、水平タップ差分学習部３１３に供給する。なお、垂直マッピング部３１２には、垂直タップ学習部３１１などから、ノイズ画像が供給される。
【０３１８】
水平タップ差分学習部３１３は、垂直タップ学習部３１１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部３１２から供給される垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を学習する。
【０３１９】
２段差分学習部３０１の垂直タップ学習部３１１で求められた垂直係数と、水平タップ差分学習部３１３で求められた水平係数とは、図２の画像変換部３１に相当する画像変換部３０２での画像変換処理に用いられる。
【０３２０】
即ち、画像変換部３０２は、垂直マッピング部３１２、水平差分マッピング部３１４、および加算部３１５により構成される。
【０３２１】
図２の画像変換部３１では、水平マッピング部７１（図３）が水平処理画像Ｈ＝ｈ＋ｘ1を生成し、垂直差分マッピング部７３が垂直差分ｖを生成して、加算部１０４が、水平マッピング部７１により生成された水平処理画像Ｈ＝ｈ＋ｘ1と、垂直差分マッピング部７３により生成された垂直差分ｖとを加算し、その結果得られた画素値Ｈ＋ｖで構成される、原画像を予測した水平垂直処理画像を出力するが、図１８の画像変換部３０２では、垂直マッピング部３１２が垂直処理画像Ｖ＝ｖ＋ｘ1を生成し、水平差分マッピング部３１４が水平差分ｈを生成して、加算部３１５が、垂直マッピング部３１２により生成された垂直処理画像Ｖ＝ｖ＋ｘ1と、水平差分マッピング部３１４により生成された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した画像（以下、適宜、垂直水平処理画像という）を出力する。
【０３２２】
具体的には、垂直マッピング部３１２は、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および垂直予測演算部１０２で構成される垂直マッピング部７２と同様に構成される。
【０３２３】
垂直マッピング部３１２は、垂直タップ学習部３１１での垂直タップにおける学習処理により得られる垂直係数を用いて、ノイズ画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その垂直処理画像Ｖを、加算部３１５に供給する。
【０３２４】
水平差分マッピング部３１４は、図７の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、水平予測演算部１０１、およびゲイン調整部１１２で構成される水平差分マッピング部１１１と同様に構成される。
【０３２５】
水平差分マッピング部３１４は、水平タップ差分学習部３１３での水平タップにおける垂直差分の差分学習処理により得られる水平係数を用いて、ノイズ画像を水平差分ｈに変換する水平差分マッピング処理を行い、その水平差分ｈを、加算部３１５に供給する。
【０３２６】
加算部３１５は、図３の加算部１０４と同様に構成され、垂直マッピング部３１２から供給された垂直処理画像Ｖと、水平差分マッピング部３１４から供給された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した垂直水平処理画像を出力する。
【０３２７】
ところで、図１８の２段差分学習部３０１で求められる垂直係数と水平係数によれば、図１０の２段差分学習部１５１で求められる水平係数と垂直係数と同様に、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等とならない。
【０３２８】
そこで、図１９は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部３３１の構成例を示すブロック図である。
【０３２９】
２段反復学習部３３１は、垂直タップ学習部１３１１、垂直マッピング部１３１２、水平タップ差分学習部１３１３、水平マッピング部３２４、および垂直タップ差分学習部３２５により構成される。
【０３３０】
垂直タップ学習部１３１１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部１３１２に供給する。
【０３３１】
垂直マッピング部１３１２は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ学習部１３１１から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部１３１３に供給する。なお、垂直マッピング部１３１２には、垂直タップ学習部１３１１などから、ノイズ画像が供給される。
【０３３２】
水平タップ差分学習部１３１３は、垂直タップ学習部１３１１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部１３１２から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部３２４に供給する。
【０３３３】
水平マッピング部３２４は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像と、水平タップ差分学習部１３１３から供給された水平係数とを用いて、ノイズ画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部３２５に供給する。
【０３３４】
垂直タップ差分学習部３２５は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像の画素値ｘ1を、水平マッピング部３２４から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
【０３３５】
また、垂直タップ差分学習部３２５は、垂直タップ学習部１３１１で教師画像として用いられる原画像から、生成した水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像を生徒画像として、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直マッピング部１３１２に供給する。
【０３３６】
垂直タップ差分学習部３２５により垂直係数が求められると、以降、垂直マッピング部１３１２は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ差分学習部３２５から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部１３１３に供給する。
【０３３７】
次に、図２０は、図１４の２段反復学習部２７１と、図１９の２段反復学習部３３１との両方を用いて、水平係数および垂直係数を反復して求める２段反復学習処理を説明する図である。
【０３３８】
図中右側から１番目の上下方向に記載されている垂直タップ学習部１３１１、垂直マッピング部１３１２、水平タップ差分学習部１３１３、水平マッピング部３２４、および垂直タップ差分学習部３２５は、上述した図１９の２段反復学習部３３１による２段反復学習処理の流れを示している。
【０３３９】
また、図中右側から２番目の上下方向に記載される水平タップ学習部１１６１、水平マッピング部１１６２、垂直タップ差分学習部１１６３、垂直マッピング部２８４、および水平タップ差分学習部２８５は、図１４の２段反復学習部２７１による２段反復学習処理の流れを示している。
【０３４０】
また、図中下側には、図１０で説明した画像変換部１５２が示されている。
【０３４１】
いま、教師画像と生徒画像とを用いたｎ回目の学習処理を、第ｎ−１世代の学習処理というとともに、第ｎ−１世代の学習によって求められる水平係数および垂直係数のセットを第ｎ−１世代の係数セットということとする。
【０３４２】
第０世代の学習処理では、２段反復学習部２７１の水平タップ学習部１１６１が水平係数を求める。一方、２段反復学習部３３１の垂直タップ学習部１３１１が垂直係数を求める。これにより、第０世代の、水平係数および垂直係数の係数セットが求められる。
【０３４３】
第１世代の学習処理では、２段反復学習部２７１の水平マッピング部１１６２が、第０世代の水平係数を用いて水平マッピング処理を行うことにより水平処理画像Ｈを生成し、その水平処理画像Ｈを用いて、垂直タップ差分学習部１１６３が、垂直タップにおける水平差分の差分学習処理を行うことにより垂直係数を求める。一方、２段反復学習部３３１の垂直マッピング部１３１２が、第０世代の垂直係数を用いて垂直マッピング処理を行うことにより垂直処理画像Ｖを生成し、その垂直処理画像Ｖを用いて、水平タップ差分学習部１３１３が、水平タップにおける垂直差分の差分学習処理を行うことにより水平係数を求める。これにより、第１世代の、水平係数および垂直係数の係数セットが求められる。
【０３４４】
第２世代の学習処理では、２段反復学習部２７１の垂直マッピング部２８４が、第１世代の垂直係数を用いて垂直マッピング処理を行うことにより垂直処理画像Ｖを生成し、その垂直処理画像Ｖを用いて、水平タップ差分学習部２８５が、水平タップにおける垂直差分の差分学習処理を行うことにより水平係数を求める。一方、２段反復学習部３３１の水平マッピング部３２４が、第１世代の水平係数を用いて水平マッピング処理を行うことにより水平処理画像Ｈを生成し、その水平処理画像Ｈを用いて、垂直タップ差分学習部３２５が、垂直タップにおける水平差分の差分学習処理を行うことにより垂直係数を求める。これにより、第２世代の、水平係数および垂直係数の係数セットが求められる。
【０３４５】
以下、同様にして、第３世代、第４世代、・・・第Ｎ世代と、反復して係数セットが求められる。
【０３４６】
なお、２段反復学習部２７１による２段反復学習処理と、２段反復学習部３３１による２段反復学習処理とは、例えば、それらの２段反復学習処理により求められる係数セットを用いた、図２０下側に示される画像変換部１５２の画像変換処理による結果Ｈ＋ｖと、原画像との自乗誤差を最小にする係数セットが求められたとき、または、あらかじめ決められた世代の水平係数および垂直係数の係数セットが求められたときなどに終了する。
【０３４７】
また、２段反復学習部２７１による２段反復学習処理と、２段反復学習部３３１による２段反復学習処理とにより求められた係数セットにより画像変換処理を行う場合は、求められた係数セットの、水平係数と垂直係数とのどちらかを先に用いてもかまわない。
【０３４８】
即ち、図２０に示した画像変換部１５２による画像変換処理では、水平係数を用いた水平マッピング処理を行って、水平処理画像Ｈを得るとともに、垂直係数を用いた垂直差分マッピング処理を行って、垂直差分ｖを得て、水平処理画像Ｈと垂直差分ｖとを加算するが、垂直係数を用いた垂直マッピング処理を行って垂直処理画像Ｖを得るとともに、水平係数を用いた水平差分マッピング処理を行って、水平差分ｈを得て、垂直処理画像Ｖと水平差分ｈとを加算してもよい。
【０３４９】
図２１は、図１の画像変換部３１の第２の構成例を示すブロック図である。
【０３５０】
なお、図中、図２の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０３５１】
即ち、図２１の画像変換部３１は、図２の水平予測タップ抽出部６１および垂直予測タップ抽出部６５に代えて、予測タップ抽出部３６８が、図２の予測演算部６９に代えて、予測演算部３６９がそれぞれ設けられており、さらに、係数合成部３６７が新たに設けられている他は、図２の画像変換部３１の場合と同様に構成されている。
【０３５２】
係数合成部３６７には、水平係数記憶部６４から水平係数ｗnが、垂直係数記憶部６８から垂直係数ｗ’nが、それぞれ供給される。係数合成部３６７は、水平係数記憶部６４から供給された水平係数ｗnと、垂直係数記憶部６８から供給された垂直係数ｗ’nとを合成することにより、ゲインを調整した合成係数[（ｗ1＋ｗ’1−１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を生成する。なお、係数合成部３６７が合成係数をどのように生成するかは、後述する図２２の説明において詳細に説明する。
【０３５３】
また、係数合成部３６７は、合成係数[（ｗ1＋ｗ’1−１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を、予測演算部３６９に供給する。
【０３５４】
予測タップ抽出部３６８は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部３６８は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測するのに用いる複数の画素である合成予測タップを、ノイズ画像から抽出する。
【０３５５】
即ち、予測タップ抽出部３６８は、図２の水平予測タップ抽出部６１が抽出する水平予測タップと、図２の垂直予測タップ抽出部６５が抽出する垂直予測タップとして、その水平予測タップと垂直予測タップとを合成した予測タップ（合成予測タップ）を抽出する。
【０３５６】
従って、予測タップ抽出部３６８では、例えば、図２１右側に示される十字形に並ぶ、注目画素を中心とする複数の画素である十字形のタップ３５１を、合成予測タップとして抽出する。ここで、図２１では、図２１右側に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、注目画素を含んで水平方向および垂直方向に並ぶ１７個の画素が、十字形のタップ３５１として示されている。
【０３５７】
また、予測タップ抽出部３６８は、ノイズ画像から抽出した合成予測タップを、予測演算部３６９に供給する。
【０３５８】
予測演算部３６９は、係数合成部３６７から供給された合成係数と、予測タップ抽出部３６８から供給された合成予測タップに基づいて、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
【０３５９】
即ち、予測演算部３６９は、係数合成部３６７から供給された合成係数[（ｗ1＋ｗ’1−１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]と、その合成係数それぞれに対応する、予測タップ抽出部３６８から供給された合成予測タップ[ｘ1，ｘ2，・・・，ｘN，ｘ’2，ｘ’3，・・・，ｘ’N]との積和（ｗ1＋ｗ’1−１）ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・＋ｗNｘN＋ｗ’2ｘ’2＋ｗ’3ｘ’3＋・・・＋ｗ’Nｘ’Nを求める。
【０３６０】
ここで、（ｗ1＋ｗ’1−１）ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・＋ｗNｘN＋ｗ’2ｘ’2＋ｗ’3ｘ’3＋・・・＋ｗ’Nｘ’Nを変形すると、ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・＋ｗNｘN＋ｗ’1ｘ1＋ｗ’2ｘ’2＋ｗ’3ｘ’3＋・・・＋ｗ’Nｘ’N−ｘ1となり、上述した式（３）の右辺が導かれるため、結局、予測演算部３６９は、図２の予測演算部６９と同じノイズ除去画像の画素値（の予測値）を出力する。
【０３６１】
図２２は、図２１の係数合成部３６７の詳細な構成例を示すブロック図である。
【０３６２】
係数合成部３６７は、重複係数加算部３９１およびゲイン調整部３９２により構成される。
【０３６３】
重複係数加算部３９１は、水平係数記憶部６４から供給された水平係数ｗn（例えば、水平係数ｗ1乃至ｗ9）のうちの、所定の画素と乗算される水平係数と、垂直係数記憶部６８から供給された垂直係数ｗ’n（例えば、ｗ’1乃至ｗ’9）のうちの、所定の画素と乗算される垂直係数とを加算する。
【０３６４】
具体的には、重複係数加算部３９１は、水平係数記憶部６４から供給された水平係数ｗnのうちの、注目画素ｘ1と乗算される水平係数ｗ1と、垂直係数記憶部６８から供給された垂直係数ｗ’nのうちの、注目画素ｘ’1（＝ｘ1）と乗算される垂直係数ｗ’1とを加算し、その結果得られた係数[（ｗ1＋ｗ’1），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を、ゲイン調整部３９２に供給する。
【０３６５】
ゲイン調整部３９２は、重複係数加算部３９１から供給された係数[（ｗ1＋ｗ’1），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]のうちの、水平係数ｗ1および垂直係数ｗ’1が加算されることで得られた係数（ｗ1＋ｗ’1）を−１することで、係数（ｗ1＋ｗ’1）のゲインを調整し、その結果得られた係数[（ｗ1＋ｗ’1―１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を、合成係数として、図２１の予測演算部３６９に供給する。
【０３６６】
図２３は、図１の画像変換部３１の第３の構成例を示すブロック図である。
【０３６７】
なお、図中、図２１の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０３６８】
即ち、図２３の画像変換部３１は、図２１の水平クラスタップ抽出部６２および垂直クラスタップ抽出部６６に代えて、クラスタップ抽出部４０１およびクラスタップ分配部４０２が設けられている他は、図２１の画像変換部３１と同様に構成される。
【０３６９】
クラスタップ抽出部４０１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、クラスタップ抽出部４０１は、注目画素に対して、水平クラスタップ抽出部６２（図２１）が抽出する水平クラスタップと、垂直クラスタップ抽出分６６（図２１）が抽出する垂直クラスタップとを合成したクラスタップ（合成クラスタップ）を、供給されてくるノイズ画像から抽出する。
【０３７０】
即ち、クラスタップ抽出部４０１は、例えば、図２１右側に示される水平方向と垂直方向に並ぶ、１７画素である十字形のタップ３５１を、合成クラスタップとして抽出する。
【０３７１】
また、クラスタップ抽出部４０１は、ノイズ画像から抽出した合成クラスタップを、クラスタップ分配部４０２に供給する。
【０３７２】
クラスタップ分配部４０２は、クラスタップ抽出部４０１から供給された合成クラスタップを、図２１の水平クラスタップ抽出部６２が出力するのと同一の水平クラスタップと、図２１の垂直クラスタップ抽出部６６が出力するのと同一の垂直クラスタップとに分割し、水平クラスタップを水平クラス分類部６３に、垂直クラスタップを垂直クラス分類部６７にそれぞれ供給する。
【０３７３】
次に、図２４は、図２３のクラスタップ分配部４０２における、合成クラスタップの分割を説明する図である。
【０３７４】
図中左側には、クラスタップ抽出部４０１が、合成クラスタップとして抽出した、水平方向と垂直方向に並ぶ１７画素である十字形のタップ３５１が示されている。また、図中右側には、クラスタップ分配部４０２が、合成クラスタップとしての十字形のタップ３５１を分割することで得た、水平クラスタップとしての水平方向に並ぶ、９画素である水平方向のタップ４１と、垂直クラスタップとしての垂直方向に並ぶ、９画素である垂直方向のタップ４２とが示されている。
【０３７５】
クラスタップ分配部４０２は、水平方向と垂直方向とに並ぶ１７画素である十字形のタップ３５１を、水平方向に並ぶ、９画素である水平方向のタップ４１と、垂直方向に並ぶ、９画素である垂直方向のタップ４２とに分割する。
【０３７６】
その後、クラスタップ分配部４０２は、上述したように、水平方向のタップ４１を水平クラスタップとして水平クラス分類部６３に供給するとともに、垂直方向のタップ４２を垂直クラスタップとして垂直クラス分類部６７に供給する。
【０３７７】
次に、図２５は、図１の画像変換部３１の第４の構成例を示すブロック図である。
【０３７８】
なお、図中、図２の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０３７９】
即ち、図２５の画像変換部３１は、図２の予測演算部６９に代えて、予測演算部４３５が設けられ、さらに、斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、および斜め係数記憶部４３４が新たに設けられている他は、図２の画像変換部３１と同様に構成される。
【０３８０】
また、画像変換部３１には、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が供給される。そして、ノイズ画像は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、斜め予測タップ抽出部４３１、および斜めクラスタップ抽出部４３２に供給される。
【０３８１】
斜め予測タップ抽出部４３１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部４３１は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素である斜め予測タップを、供給されてくるノイズ画像から抽出する。
【０３８２】
即ち、斜め予測タップ抽出部４３１は、例えば、図２５右上に示される、注目画素と、その注目画素の斜め方向に位置する複数の画素である斜め方向のタップ４２３を、斜め予測タップとして抽出する。ここで、図２５では、図２５右上に白丸で示す注目画素の左上の、黒丸で示す１個の画素、注目画素の右上の、黒丸で示す１個の画素、注目画素の左下の、黒丸で示す１個の画素、注目画素の右下の、黒丸で示す１個の画素、および注目画素の、合計５個の画素が、斜め方向のタップ４２３として示されている。
【０３８３】
斜め予測タップ抽出部４３１は、ノイズ画像から抽出した斜め予測タップを予測演算部４３５に供給する。
【０３８４】
斜めクラスタップ抽出部４３２は、斜め予測タップ抽出部４３１により抽出された斜め予測タップを、複数の斜めクラスのうちのいずれかの斜めクラスにクラス分けする斜めクラス分類に用いる複数の画素である斜めクラスタップを、供給されてくるノイズ画像から抽出する。
【０３８５】
即ち、斜めクラスタップ抽出部４３２は、例えば、図２５右上に示される、注目画素と、その周りに位置する複数の画素である斜め方向のタップ４２３を、斜めクラスタップとして抽出する。
【０３８６】
なお、ここでは、説明を簡単にするために、斜め予測タップと斜めクラスタップとは、同一のタップ構造を有する複数の画素であるとする。但し、斜め予測タップと斜めクラスタップとは、異なるタップ構造の複数の画素とすることができる。
【０３８７】
斜めクラスタップ抽出部４３２において得られる、斜め予測タップに対応する斜めクラスタップは、斜めクラス分類部４３３に供給される。斜めクラス分類部４３３は、斜めクラスタップ抽出部４３２からの斜めクラスタップに基づいて斜め予測タップを斜めクラス分類し、その結果得られた斜めクラスに対応する斜めクラスコードを、斜め係数記憶部４３４に出力する。
【０３８８】
ここで、斜めクラス分類を行う方法としては、例えば、上述した水平クラス分類部６３で行われる水平クラス分類と同様の方法を採用することができる。
【０３８９】
斜め係数記憶部４３４は、後述する学習によってあらかじめ求められた斜めクラスごとの斜め係数のセットを記憶しており、その記憶している斜め係数のセットのうちの、斜めクラス分類部４３３から供給された斜めクラスコードに対応するアドレスに記憶されている斜め係数（斜めクラス分類部４３３から供給された斜めクラスコードが表す斜めクラスに対応する斜め係数）を、予測演算部４３５に出力する。
【０３９０】
予測演算部４３５は、水平予測タップ抽出部６１から供給された水平予測タップ、垂直予測タップ抽出部６５から供給された垂直予測タップ、水平係数記憶部６４から供給された水平係数、垂直係数記憶部６８から供給された垂直係数、斜め予測タップ抽出部４３１から供給された斜め予測タップ、および斜め係数記憶部４３４から供給された斜め係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
【０３９１】
次に、図２６を参照して、図２５の予測演算部４３５で行われる予測演算を説明する。
【０３９２】
図２６は、図２５の予測演算部４３５の詳細な構成例を示すブロック図である。
【０３９３】
なお、図中、図３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０３９４】
即ち、図２６の予測演算部４３５は、斜め予測演算部４６１、ゲイン調整部４６２、および加算部４６３が新たに設けられているほかは、図３の予測演算部６９の場合と同様に構成されている。
【０３９５】
なお、図２６では、図３の水平クラスタップ抽出部６２、水平クラス分類部６３、垂直クラスタップ抽出部６６、および垂直クラス分類部６７の図示は、省略してある。
【０３９６】
斜め予測演算部４６１には、斜め係数記憶部４３４からの斜め係数ｗ’’nと、斜め予測タップ抽出部４３１からの斜め予測タップｘ’’nとが供給される。
【０３９７】
斜め予測演算部４６１は、斜め係数記憶部４３４からの斜め係数ｗ’’n、および斜め予測タップ抽出部４３１からの斜め予測タップｘ’’nとを用いた斜め予測演算を行い、その結果得られた斜め処理画像の画素（以下、適宜、斜め画素という）の画素値Ｒを、ゲイン調整部４６２に供給する。
【０３９８】
ここで、斜め予測タップと斜め係数とを用いた斜め予測演算として、水平予測演算や垂直予測演算と同様に、線形１次予測演算を採用し、斜め画素の画素値Ｒを求めることとすると、斜め画素の画素値Ｒは、次の線形１次式によって求められることになる。
【０３９９】
【数１０】
2008199437.tif 000012
・・・（１１）
【０４００】
但し、式（１１）において、ｘ’’nは、注目画素に対応する斜め画素（ノイズ画像の注目画素と同一の位置にある斜め処理画像の画素）についての斜め予測タップを構成する複数のノイズ画素のうちのｎ番目のノイズ画素の画素値を表している。ここで、例えば、斜め予測タップが、図２５右上に示した、注目画素と、その周りに位置する複数の画素である斜め方向のタップ４２３とすると、ｎ番目のノイズ画素の画素値とは、斜め方向のタップ４２３に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ’’1は、注目画素の画素値を表しており、注目画素の画素値であるｘ1と同一であるため、以下、ｘ1ともいう。
【０４０１】
また、ｗ’’nは、ｎ番目のノイズ画素の画素値と乗算される斜め係数を表す。なお、式（１１）では、斜め予測タップが、Ｎ個のノイズ画素ｘ’’1，・・・，ｘ’’Nで構成されるものとしている。
【０４０２】
斜め予測演算により求められる斜め画素の画素値Ｒは、ｗ’’1ｘ1＋ｗ’’2ｘ’’2＋・・・＋ｗ’’N-1ｘ’’N-1＋ｗ’’Nｘ’’N＝｛（ｗ’’1−１）ｘ1＋ｗ’’2ｘ’’2＋・・・＋ｗ’’N-1ｘ’’N-1＋ｗ’’Nｘ’’N｝＋ｘ1となり、ｒ＝｛（ｗ’’1−１）ｘ1＋ｗ’’2ｘ’’2＋・・・＋ｗ’’N-1ｘ’’N-1＋ｗ’’Nｘ’’N｝とすれば、Ｒ＝ｒ＋ｘ1となる。
【０４０３】
ここで、ｒは、斜め予測演算により求められた斜め画素の画素値Ｒからノイズ画素の注目画素の画素値ｘ1を差し引くことで得られる差分の画素値を表す。従って、以下、適宜、ｒを斜め差分ｒという。
【０４０４】
斜め差分ｒを導入することにより、斜め画素の画素値Ｒは、ノイズ画素の注目画素の画素値ｘ1に斜め差分ｒを加算することで得られる画素値と考えることができる。斜め画素は、斜め予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、斜め差分ｒは、いわば、斜め係数ｗ’’nと斜め予測タップの画素値ｘ’’nとを用いた斜め予測演算による、ノイズの除去の効果分（以下、適宜、斜め処理効果分という）であるということができる。
【０４０５】
斜め予測演算部４６１は、上述した斜め予測演算により求められた斜め画素の画素値Ｒを、ゲイン調整部４６２に供給する。
【０４０６】
ゲイン調整部４６２には、図２５の斜め予測タップ抽出部４３１から、注目画素の画素値ｘ1が供給される。
【０４０７】
ゲイン調整部４６２は、斜め予測演算部４６１から供給された斜め画素の画素値Ｒから、斜め予測タップ抽出部４３１から供給されたノイズ画像の注目画素の画素値ｘ1を差し引くゲイン調整演算を行い、その結果得られた画素値である斜め差分ｒを加算部４６３に供給する。
【０４０８】
加算部４６３は、加算部１０４から供給された画素値Ｈ＋ｖと、ゲイン調整部４６２から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒを、ノイズ除去画像を予測した画素値として出力する。
【０４０９】
ここで、図２６の斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、斜め係数記憶部４３４、および斜め予測演算部４６１を総称して斜めマッピング部４７１といい、その斜めマッピング部４７１が、斜め係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、斜め画素の画素値Ｒに変換する処理を、以下、適宜、斜めマッピング処理という。
【０４１０】
また、斜め画素の画素値Ｒは、斜め処理画像の画素値を示すものであるため、以下、単に、斜め処理画像Ｒともいう。
【０４１１】
さらに、図２６の斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、斜め係数記憶部４３４、斜め予測演算部４６１、およびゲイン調整部４６２を総称して斜め差分マッピング部４７２といい、その斜め差分マッピング部４７２が、斜め係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、斜め差分ｒに変換する処理を、以下、適宜、斜め差分マッピング処理という。
【０４１２】
次に、図２７のフローチャートを参照して、図２５の画像変換部３１における画像変換処理を説明する。
【０４１３】
この画像変換処理は、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が、画像変換部３１に供給されたときに開始される。このとき、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、斜め予測タップ抽出部４３１、および斜めクラスタップ抽出部４３２には、ノイズ画像が供給される。
【０４１４】
即ち、ステップＳ３１１乃至ステップＳ３１４において、図４のステップＳ３１乃至ステップＳ３４それぞれと同様の処理が行われ、処理は、ステップＳ３１５に進み、斜め差分マッピング部４７２（図２６）は、注目画素について斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部４６３に供給して、処理は、ステップＳ３１６に進む。
【０４１５】
ステップＳ３１６において、加算部４６３は、加算部１０４からの水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部４７２からの斜め差分ｒとを加算し、注目画素に対応する、ノイズ除去画像の画素値ｙ＝Ｈ＋ｖ＋ｒを得て出力する。
【０４１６】
その後、ステップＳ３１６からステップＳ３１７に進み、図４のステップＳ３５と同様の処理が行われる。
【０４１７】
即ち、ステップＳ３１７では、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像の画素が存在するか否かを判定する。
【０４１８】
ステップＳ３１７において、まだ注目画素とされていないノイズ画像が存在すると判定された場合、処理は、ステップＳ３１１に戻り、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像のうちの１つを、新たな注目画素とし、処理は、ステップＳ３１２に進み、以下、同様の処理を繰り返す。
【０４１９】
ステップＳ３１７において、まだ注目画素とされていないノイズ画素が存在しないと判定された場合、画像変換処理は終了される。
【０４２０】
なお、図２５の画像変換部３１では、水平タップにおける学習処理で求められる水平係数、垂直タップにおける学習処理で求められる垂直係数、および斜めタップにおける学習処理で求められる斜め係数を用いて、画像変換処理を行うことができる。
【０４２１】
ここで、斜めタップにおける学習処理とは、ノイズ除去画像に相当する画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて、斜め係数を学習する学習処理をいう。
【０４２２】
なお、図８の学習部１２１において、予測タップ抽出部１３３が斜め予測タップを抽出し、クラスタップ抽出部１３４が斜め予測タップを抽出して、クラス分類部１３５が斜めクラス分類を行うようにすれば、斜めタップにおける学習処理を行うことができる。
【０４２３】
即ち、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップ（図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる斜め予測タップ）を得て、足し込み部１３６に供給する。
【０４２４】
クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップ（図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる斜めクラスタップ）を得て、クラス分類部１３５に供給する。
【０４２５】
クラス分類部１３５は、クラスタップ抽出部１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部１３６に供給する。
【０４２６】
足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された斜めクラスコードごとに行う。
【０４２７】
即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部１３３が出力する注目画素についての斜め予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部１３５が出力する、斜め予測タップの斜めクラスを表す斜めクラスコードが供給される。
【０４２８】
そして、足し込み部１３６は、クラス分類部１３５から供給された斜めクラスコードに対応する斜めクラスごとに、斜め予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０４２９】
さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された斜めクラスコードに対応する斜めクラスごとに、斜め予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０４３０】
即ち、足し込み部１３６は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘn,k+1および教師画像ｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
【０４３１】
そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各斜めクラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。
【０４３２】
係数算出部１３７は、足し込み部１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数ｗ’’nを求めて出力する。
【０４３３】
次に、図２８は、上述した図２５の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部４９１の構成例を示すブロック図である。
【０４３４】
３段差分学習部４９１は、図１０の２段差分学習部１５１の水平タップ学習部１６１乃至垂直タップ差分学習部１６３それぞれと同様に構成される水平タップ学習部２１６１乃至垂直タップ学習部２１６３、図１０の画像変換部１５２の垂直差分マッピング部１６４または加算部１６５それぞれと同様に構成される垂直差分マッピング部２１６４または加算部２１６５、および斜めタップ差分学習部５３１から構成されている。
【０４３５】
なお、図２８には、説明の便宜上、図２５の画像変換部３１に相当する画像変換部４９２も図示してある。
【０４３６】
画像変換部４９２は、水平マッピング部２１６２、垂直差分マッピング部２１６４、加算部２１６５、斜め差分マッピング部５３２、および加算部５３３から構成される。斜め差分マッピング部５３２は、図２６の斜め差分マッピング部４７２と同様に構成される。
【０４３７】
斜めタップ差分学習部５３１は、水平タップ学習部２１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
【０４３８】
即ち、斜めタップ差分学習部５３１は、原画像、ノイズ画像、および水平垂直処理画像Ｈ＋ｖから、後述するようにして、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め予測タップ及び斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。
【０４３９】
なお、斜めタップ差分学習部５３１の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図２９を参照して、詳細に説明する。
【０４４０】
図２５の画像変換部３１における画像変換処理では、図２８の３段差分学習部４９１により求められた水平係数、垂直係数、および斜め係数を用いることができる。
【０４４１】
ここで、図２８において、画像変換部４９２は、図２５の画像変換部３１と同様に構成される。画像変換部４９２では、次のようにして、ノイズ画像を原画像（の予測値）に変換する画像変換処理が行われる。
【０４４２】
即ち、画像変換部４９２では、水平マッピング部２１６２、垂直差分マッピング部２１６４、加算部２１６５において、図１０の水平マッピング部１６２、垂直差分マッピング部１６４、加算部１６５とそれぞれ同様の処理が行われる。
【０４４３】
そして、斜め差分マッピング部５３２において、斜めタップ差分学習部５３１での斜めタップにおける水平垂直差分の差分学習処理により得られる斜め係数を用いて、ノイズ画像を斜め差分ｒに変換する斜め差分マッピング処理を行い、その斜め差分ｒを、加算部５３３に供給する。
【０４４４】
加算部５３３には、加算部２１６５から、水平垂直処理画像Ｈ＋ｖが供給される。
【０４４５】
加算部５３３は、図２６の加算部４６３と同様に構成され、加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部５３２から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒで構成される、原画像を予測した画像（以下、適宜、水平垂直斜め処理画像という）を出力する。
【０４４６】
次に、図２９は、斜めタップにおける水平垂直差分の差分学習処理を行う図２８の斜めタップ差分学習部５３１の詳細な構成例を示すブロック図である。
【０４４７】
斜めタップ差分学習部５３１は、図１５の水平タップ差分学習部２８５の原画像記憶部２１３１乃至係数算出部２１３７それぞれと同様に構成される原画像記憶部３１３１乃至係数算出部３１３７と、差分画像生成部５４３とから構成される。
【０４４８】
差分画像生成部５４３には、ノイズ付加部３１３２から生徒画像が供給されるとともに、図２８の加算部２１６５から、水平垂直処理画像Ｈ＋ｖが供給される。
【０４４９】
差分画像生成部５４３は、ノイズ付加部３１３２から供給された生徒画像（ノイズ画像）ｘ1を、図２８の加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｖ＋ｘ1から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
【０４５０】
また、差分画像生成部５４３は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部３１３６に供給する。
【０４５１】
斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部３１３６に供給する。
【０４５２】
斜めクラスタップ抽出部３１３４は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部３１３５に供給する。
【０４５３】
斜めクラス分類部３１３５は、斜めクラスタップ抽出部３１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部３１３６に供給する。
【０４５４】
なお、足し込み部３１３６は、差分画像生成部５４３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部３１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部３１３５から供給された斜めクラスコードごとに行うことにより、各斜めクラスについて正規方程式をたてると、その正規方程式を、係数算出部３１３７に供給する。
【０４５５】
係数算出部３１３７は、足し込み部３１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数を求めて出力する。
【０４５６】
以上のように構成される斜めタップ差分学習部５３１では、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像―[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め係数を学習することから、ノイズ画像を、原画像から、水平マッピング処理による水平処理効果分としての水平差分ｈと垂直マッピング処理による垂直処理効果分としての垂直差分ｖとを差し引いた画像に変換する斜め係数が求められる。
【０４５７】
次に、図３０のフローチャートを参照して、図２８の３段差分学習部４９１における３段差分学習処理を説明する。
【０４５８】
ステップＳ３３１において、水平タップ学習部２１６１は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部２１６２に供給する。
【０４５９】
その後、処理は、ステップＳ３３１からステップＳ３３２に進み、水平マッピング部２１６２は、水平タップ学習部２１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部２１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部２１６３に供給する。
【０４６０】
そして、処理は、ステップＳ３３２からステップＳ３３３に進み、垂直タップ差分学習部２１６３は、水平タップ学習部２１６１で教師画像として用いられる原画像と、水平マッピング部２１６２から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直差分マッピング部２１６４に供給して、処理は、ステップＳ３３４に進む。
【０４６１】
ステップＳ３３４において、垂直差分マッピング部２１６４は、水平タップ学習部２１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部２１６３から供給された垂直係数とを用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部２１６５に供給して、処理は、ステップＳ３３５に進む。
【０４６２】
ステップＳ３３５において、加算部２１６５は、水平マッピング部２１６２から供給された水平処理画像Ｈと、垂直差分マッピング部２１６４から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜めタップ差分学習部５３１に供給して、処理は、ステップＳ３３６に進む。
【０４６３】
ステップＳ３３６において、斜めタップ差分学習部５３１は、水平タップ学習部２１６１で教師画像として用いられる原画像と、加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖとを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
【０４６４】
その後、３段差分学習処理は、終了される。
【０４６５】
次に、図３１のフローチャートを参照して、図３０のステップＳ３３６の、斜めタップにおける水平垂直差分の差分学習処理の詳細を説明する。
【０４６６】
ステップＳ３４１において、斜めタップ差分学習部５３１（図２９）のノイズ付加部３１３２は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部５４３、斜め予測タップ抽出部３１３３および斜めクラスタップ抽出部３１３４に供給する。なお、原画像記憶部３１３１には、図２８の水平タップ学習部２１６１で教師画像として用いられるのと同一の原画像が、記憶されている。
【０４６７】
処理は、ステップＳ３４１からステップＳ３４２に進み、差分画像生成部５４３は、ノイズ付加部３１３２から供給されたノイズ画像ｘ1を、図２８の加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｖ＋ｘ1から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
【０４６８】
また、ステップＳ３４２において、差分画像生成部５４３は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部３１３６に供給する。
【０４６９】
処理は、ステップＳ３４２からステップＳ３４３に進み、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ３４４に進む。
【０４７０】
ステップＳ３４４において、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、注目画素についての斜め予測タップとなる複数の画素を抽出し、足し込み部３１３６に供給する。
【０４７１】
処理は、ステップＳ３４４からステップＳ３５５に進み、斜めクラスタップ抽出部３１３４は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、注目画素についての斜めクラスタップとなる複数の画素を抽出し、斜めクラス分類部３１３５に供給する。
【０４７２】
処理は、ステップＳ３４５からステップＳ３４６に進み、斜めクラス分類部３１３５は、斜めクラスタップ抽出部３１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部３１３６に供給して、処理は、ステップＳ３４７に進む。
【０４７３】
ステップＳ３４７において、足し込み部３１３６は、差分画像生成部５４３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部３１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部３１３５から供給された斜めクラスコードごとに行う。
【０４７４】
処理は、ステップＳ３４７からステップＳ３４８に進み、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
【０４７５】
ステップＳ３４８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ３４３に戻り、斜め予測タップ抽出部３１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ３４４に進み、以下、同様の処理を繰り返す。
【０４７６】
一方、ステップＳ３４８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部３１３６においては、ノイズ付加部３１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各斜めクラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部３１３６は、その正規方程式を、係数算出部３１３７に供給する。そして、処理は、ステップＳ３４８からステップＳ３４９に進み、係数算出部３１３７は、足し込み部３１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数ｗ’’nを求めて出力する。
【０４７７】
その後、処理は、図３０のステップＳ３３６にリターンする。
【０４７８】
ところで、図２８の３段差分学習部４９１で求められる水平係数、垂直係数、および斜め係数によれば、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直処理効果分、および斜め係数を用いた斜め処理効果分の寄与分が同等とならない。
【０４７９】
そこで、図３２は、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部５８１の構成例を示すブロック図である。
【０４８０】
図３２の３段反復学習部５８１は、水平処理部６０１、垂直処理部６０２、および斜め処理部６０３により構成される。
【０４８１】
水平処理部６０１は、斜め処理部６０３から供給された画像などに基づいて、水平係数を学習する。さらに、水平処理部６０１は、学習によって得られる水平係数などに基づいて画像を生成し、垂直処理部６０２に供給する。
【０４８２】
垂直処理部６０２は、水平処理部６０１から供給された画像などに基づいて、垂直係数を学習する。さらに、垂直処理部６０２は、学習によって得られる垂直係数などに基づいて画像を生成し、斜め処理部６０３に供給する。
【０４８３】
斜め処理部６０３は、垂直処理部６０２から供給された画像などに基づいて、斜め係数を学習する。さらに、斜め処理部６０３は、学習によって得られる斜め係数などに基づいて画像を生成し、水平処理部６０１に供給する。
【０４８４】
図３３は、図３２の水平処理部６０１の詳細な構成例を示すブロック図である。
【０４８５】
水平処理部６０１は、水平タップ学習部６３１、水平マッピング部６３２、水平タップ差分学習部６３３、および水平差分加算マッピング部６３４により構成される。また、水平差分加算マッピング部６３４は、水平差分マッピング部６６１および加算部６６２により構成される。
【０４８６】
水平タップ学習部６３１は、図８の学習部１２１と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部６３２および水平差分加算マッピング部６３４（水平差分マッピング部６６１）に供給する。
【０４８７】
水平マッピング部６３２は、水平タップ学習部６３１で生徒画像として用いられるノイズ画像と、水平タップ学習部６３１または水平タップ差分学習部６３３から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２（図３２）に供給する。
【０４８８】
水平タップ差分学習部６３３は、水平タップ学習部６３１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および斜め処理部６０３から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を学習する。
【０４８９】
即ち、水平タップ差分学習部６３３は、原画像、ノイズ画像、および垂直斜め処理画像Ｖ＋ｒから、後述するようにして、原画像と[垂直差分ｖ＋斜め差分ｒ]との差分である原画像−[垂直差分ｖ＋斜め差分ｒ]を生成し、その原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像とするとともに、ノイズ画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて水平係数を学習する、水平タップにおける垂直斜め差分の差分学習処理を行う。
【０４９０】
なお、水平タップ差分学習部６３３の、水平タップにおける垂直斜め差分の差分学習処理は、後述する図３４を参照して、詳細に説明する。
【０４９１】
また、水平タップ差分学習部６３３は、学習した水平係数を、水平マッピング部６３２および水平差分加算マッピング部６３４（水平差分マッピング部６６１）に供給する。
【０４９２】
水平差分加算マッピング部６３４は、斜め水平処理画像Ｒ＋ｈを生成し、垂直処理部６０２に供給する。
【０４９３】
即ち、水平差分加算マッピング部６３４の水平差分マッピング部６６１は、水平タップ学習部６３１で生徒画像として用いられるノイズ画像と、水平タップ学習部６３１または水平タップ差分学習部６３３から供給された水平係数を用いて、水平差分マッピング処理を行って、水平差分ｈを求め、加算部６６２に供給する。
【０４９４】
加算部６６２は、水平差分マッピング部６６１から供給された水平差分ｈと、斜め処理部６０３から供給された斜め処理画像Ｒとを加算し、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２に供給する。
【０４９５】
ここで、上述のように、水平差分マッピング部６６１と加算部６６２とで構成される水平差分加算マッピング部６３４は、水平差分ｈを求め、その水平差分ｈと、斜め処理部６０３から供給された斜め処理画像Ｒとを加算する処理を行うため、かかる処理を、以下、適宜、水平差分加算マッピング処理という。
【０４９６】
図３４は、水平タップにおける垂直斜め差分の差分学習処理を行う図３３の水平タップ差分学習部６３３の詳細な構成例を示すブロック図である。
【０４９７】
水平タップ差分学習部６３３は、図１５の水平タップ差分学習部２８５の原画像記憶部２１３１乃至係数算出部２１３７それぞれと同様に構成される原画像記憶部４１３１乃至係数算出部４１３７と、差分画像生成部６７３とから構成される。
【０４９８】
差分画像生成部６７３には、ノイズ付加部４１３２から生徒画像が供給されるとともに、図３２の斜め処理部６０３から、垂直斜め処理画像Ｖ＋ｒが供給される。
【０４９９】
差分画像生成部６７３は、ノイズ付加部４１３２から供給された生徒画像（ノイズ画像）ｘ1を、図３２の斜め処理部６０３から供給された垂直斜め処理画像Ｖ＋ｒ＝ｖ＋ｘ1＋ｒから差し引くことで、[垂直差分ｖ＋斜め差分ｒ]を生成する。
【０５００】
また、差分画像生成部６７３は、原画像記憶部４１３１に記憶されている原画像を読み出し、その原画像から、生成した[垂直差分ｖ＋斜め差分ｒ]を差し引き、その結果得られた原画像―[垂直差分ｖ＋斜め差分ｒ]を、教師画像として、足し込み部４１３６に供給する。
【０５０１】
水平予測タップ抽出部４１３３は、ノイズ付加部４１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部４１３３は、ノイズ付加部４１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部４１３６に供給する。
【０５０２】
水平クラスタップ抽出部４１３４は、ノイズ付加部４１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部４１３５に供給する。
【０５０３】
水平クラス分類部４１３５は、水平クラスタップ抽出部４１３４から供給された水平クラスタップに基づき、図２５の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部４１３６に供給する。
【０５０４】
なお、足し込み部４１３６は、差分画像生成部６７３から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部４１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部４１３５から供給された水平クラスコードごとに行うことにより、各水平クラスについて正規方程式をたてると、その正規方程式を、係数算出部４１３７に供給する。
【０５０５】
係数算出部４１３７は、足し込み部４１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数を求めて出力する。
【０５０６】
図３５は、図３２の垂直処理部６０２の詳細な構成例を示すブロック図である。
【０５０７】
垂直処理部６０２は、垂直タップ学習部６９１、垂直マッピング部６９２、垂直タップ差分学習部６９３、および垂直差分加算マッピング部６９４により構成される。また、垂直差分加算マッピング部６９４は、垂直差分マッピング部７２１および加算部７２２により構成される。
【０５０８】
垂直タップ学習部６９１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部６９２および垂直差分加算マッピング部６９４（垂直差分マッピング部７２１）に供給する。
【０５０９】
垂直マッピング部６９２は、垂直タップ学習部６９１で生徒画像として用いられるノイズ画像と、垂直タップ学習部６９１または垂直タップ差分学習部６９３から供給された垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３（図３２）に供給する。
【０５１０】
垂直タップ差分学習部６９３は、垂直タップ学習部６９１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および水平処理部６０１から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、水平係数を学習する。
【０５１１】
即ち、垂直タップ差分学習部６９３は、原画像、ノイズ画像、および斜め水平処理画像Ｒ＋ｈから、原画像と[斜め差分ｒ＋水平差分ｈ]との差分である原画像−[斜め差分ｒ＋水平差分ｈ]を生成し、その原画像−[斜め差分ｒ＋水平差分ｈ]を教師画像とするとともに、ノイズ画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける斜め水平差分の差分学習処理を行う。
【０５１２】
なお、垂直タップ差分学習部６９３の、垂直タップにおける斜め水平差分の差分学習処理は、後述する図３６を参照して、詳細に説明する。
【０５１３】
また、垂直タップ差分学習部６９３は、学習した垂直係数を、垂直マッピング部６９２および垂直差分加算マッピング部６９４（垂直差分マッピング部７２１）に供給する。
【０５１４】
垂直差分加算マッピング部６９４は、水平垂直処理画像Ｈ＋ｖを生成し、斜め処理部６０３に供給する。
【０５１５】
即ち、垂直差分加算マッピング部６９４の垂直差分マッピング部７２１は、垂直タップ学習部６９１で生徒画像として用いられるノイズ画像と、垂直タップ学習部６９１または垂直タップ差分学習部６９３から供給された垂直係数を用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部７２２に供給する。
【０５１６】
加算部７２２は、垂直差分マッピング部７２１から供給された垂直差分ｖと、水平処理部６０１から供給された水平処理画像Ｈとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３に供給する。
【０５１７】
ここで、上述のように、垂直差分マッピング部７２１と加算部７２２とで構成される垂直差分加算マッピング部６９４は、垂直差分ｖを求め、その垂直差分ｖと、水平処理部６０１から供給された水平処理画像Ｈとを加算する処理を行うが、かかる処理を、以下、適宜、垂直差分加算マッピング処理という。
【０５１８】
図３６は、垂直タップにおける斜め水平差分の差分学習処理を行う図３５の垂直タップ差分学習部６９３の詳細な構成例を示すブロック図である。
【０５１９】
垂直タップ差分学習部６９３は、図３４の水平タップ差分学習部６３３の原画像記憶部４１３１乃至係数算出部４１３７それぞれと同様に構成される原画像記憶部５１３１乃至係数算出部５１３７と、差分画像生成部７３３とから構成される。
【０５２０】
差分画像生成部７３３には、ノイズ付加部５１３２から生徒画像が供給されるとともに、図３２の水平処理部６０１から、斜め水平処理画像Ｒ＋ｈが供給される。
【０５２１】
差分画像生成部７３３は、ノイズ付加部５１３２から供給された生徒画像（ノイズ画像）ｘ1を、図３２の水平処理部６０１から供給された斜め水平処理画像Ｒ＋ｈ＝ｒ＋ｘ1＋ｈから差し引くことで、[斜め差分ｒ＋水平差分ｈ]を生成する。
【０５２２】
また、差分画像生成部７３３は、原画像記憶部５１３１に記憶されている原画像を読み出し、その原画像から、生成した[斜め差分ｒ＋水平差分ｈ]を差し引き、その結果得られた原画像―[斜め差分ｒ＋水平差分ｈ]を、教師画像として、足し込み部５１３６に供給する。
【０５２３】
垂直予測タップ抽出部５１３３は、ノイズ付加部５１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、垂直予測タップ抽出部５１３３は、ノイズ付加部５１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部５１３６に供給する。
【０５２４】
垂直クラスタップ抽出部５１３４は、ノイズ付加部５１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部５１３５に供給する。
【０５２５】
垂直クラス分類部５１３５は、垂直クラスタップ抽出部５１３４から供給された垂直クラスタップに基づき、図２５の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部５１３６に供給する。
【０５２６】
なお、足し込み部５１３６は、差分画像生成部７３３から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部５１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部５１３５から供給された垂直クラスコードごとに行うことにより、各垂直クラスについて正規方程式をたてると、その正規方程式を、係数算出部５１３７に供給する。
【０５２７】
係数算出部５１３７は、足し込み部５１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数を求めて出力する。
【０５２８】
図３７は、図３２の斜め処理部６０３の詳細な構成例を示すブロック図である。
【０５２９】
斜め処理部６０３は、斜めタップ学習部７５１、斜めマッピング部７５２、斜めタップ差分学習部７５３、および斜め差分加算マッピング部７５４により構成される。また、斜め差分加算マッピング部７５４は、斜め差分マッピング部７８１および加算部７８２により構成される。
【０５３０】
斜めタップ学習部７５１は、図８の学習部１２１と同様に構成され、斜めタップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いた斜め係数を学習する学習処理を行い、その結果得られた斜め係数を、斜めマッピング部７５２および斜め差分加算マッピング部７５４（斜め差分マッピング部７８１）に供給する。
【０５３１】
斜めマッピング部７５２は、斜めタップ学習部７５１で生徒画像として用いられるノイズ画像と、斜めタップ学習部７５１または斜めタップ差分学習部７５３から供給された斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１（図３２）に供給する。
【０５３２】
斜めタップ差分学習部７５３は、斜めタップ学習部７５１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直処理部６０２から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
【０５３３】
即ち、斜めタップ差分学習部７５３は、原画像、ノイズ画像、および水平垂直処理画像Ｈ＋ｖから、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。
【０５３４】
なお、斜めタップ差分学習部７５３の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図３８を参照して、詳細に説明する。
【０５３５】
また、斜めタップ差分学習部７５３は、学習した斜め係数を、斜めマッピング部７５２および斜め差分加算マッピング部７５４（斜め差分マッピング部７８１）に供給する。
【０５３６】
斜め差分加算マッピング部７５４は、垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部６０１に供給する。
【０５３７】
即ち、斜め差分加算マッピング部７５４の斜め差分マッピング部７８１は、斜めタップ学習部７５１で生徒画像として用いられるノイズ画像と、斜めタップ学習部７５１または斜めタップ差分学習部７５３から供給された斜め係数を用いて、斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部７８２に供給する。
【０５３８】
加算部７８２は、斜め差分マッピング部７８１から供給された斜め差分ｒと、垂直処理部６０２から供給された垂直処理画像Ｖとを加算し、その結果得られた垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部６０１に供給する。
【０５３９】
ここで、上述のように、斜め差分マッピング部７８１と加算部７８２とで構成される斜め差分加算マッピング部７５４は、斜め差分ｒを求め、その斜め差分ｒと、垂直処理部６０２から供給された垂直処理画像Ｖとを加算する処理を行うが、かかる処理を、以下、適宜、斜め差分加算マッピング処理という。
【０５４０】
図３８は、斜めタップにおける水平垂直差分の差分学習処理を行う図３７の斜めタップ差分学習部７５３の詳細な構成例を示すブロック図である。
【０５４１】
斜めタップ差分学習部７５３は、図３４の水平タップ差分学習部６３３の原画像記憶部４１３１乃至係数算出部４１３７それぞれと同様に構成される原画像記憶部６１３１乃至係数算出部６１３７と、差分画像生成部７９３とから構成される。
【０５４２】
差分画像生成部７９３には、ノイズ付加部６１３２から生徒画像が供給されるとともに、図３２の垂直処理部６０２から、水平垂直処理画像Ｈ＋ｖが供給される。
【０５４３】
差分画像生成部７９３は、ノイズ付加部６１３２から供給された生徒画像（ノイズ画像）ｘ1を、図３２の垂直処理部６０２から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｘ1＋ｖから差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
【０５４４】
また、差分画像生成部７９３は、原画像記憶部６１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部６１３６に供給する。
【０５４５】
斜め予測タップ抽出部６１３３は、ノイズ付加部６１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部６１３３は、ノイズ付加部６１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部６１３６に供給する。
【０５４６】
斜めクラスタップ抽出部６１３４は、ノイズ付加部６１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部６１３５に供給する。
【０５４７】
斜めクラス分類部６１３５は、斜めクラスタップ抽出部６１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部６１３６に供給する。
【０５４８】
なお、足し込み部６１３６は、差分画像生成部７９３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部６１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部６１３５から供給された斜めクラスコードごとに行うことにより、各斜めクラスについて正規方程式をたてると、その正規方程式を、係数算出部６１３７に供給する。
【０５４９】
係数算出部６１３７は、足し込み部６１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数を求めて出力する。
【０５５０】
図３９は、図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
【０５５１】
図中左側から１番目の、上下方向に伸びた点線の矩形内には、水平タップ学習部６３１、水平マッピング部６３２、水平タップ差分学習部６３３、および水平差分加算マッピング部６３４が示されており、図３２の水平処理部６０１による処理の流れを示している。
【０５５２】
また、図中左側から２番目の、上下方向に伸びた点線の矩形内には、垂直タップ学習部６９１、垂直マッピング部６９２、垂直タップ差分学習部６９３、および垂直差分加算マッピング部６９４が示されており、図３２の垂直処理部６０２による処理の流れを示している。
【０５５３】
さらに、図中左側から３番目（右側から１番目）の、上下方向に伸びた点線の矩形内には、斜めタップ学習部７５１、斜めマッピング部７５２、斜めタップ差分学習部７５３、および斜め差分加算マッピング部７５４が示されており、図３２の斜め処理部６０３による処理の流れを示している。
【０５５４】
なお、図中、実線で表された矢印は、水平マッピング部６３２や、水平差分加算マッピング部６３４、垂直マッピング部６９２、垂直差分加算マッピング部６９４、斜めマッピング部７５２、斜め差分加算マッピング部７５４で生成された画像の流れを示している。
【０５５５】
また、図中、点線で表された矢印は、水平タップ学習部６３１や、水平タップ差分学習部６３３、垂直タップ学習部６９１、垂直タップ差分学習部６９３、斜めタップ学習部７５１、斜めタップ差分学習部７５３で学習された係数の流れを示している。
【０５５６】
さらに、図中下側には、図２８で説明した画像変換部４９２が示されている。
【０５５７】
いま、教師画像と生徒画像とを用いたｎ回目の学習処理を、第ｎ−１世代の学習処理というとともに、第ｎ−１世代の学習によって求められる第ｎ−１世代の水平係数、第ｎ−１世代の垂直係数、および第ｎ−１世代の斜め係数のセットを、第ｎ−１世代の係数セットということとする。
【０５５８】
第０世代の学習処理では、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。さらに、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。これにより、第０世代の係数セットが求められる。
【０５５９】
第１世代の学習処理では、第０世代で求められた係数セットに基づいて、第１世代の係数セットが求められる。
【０５６０】
即ち、第１世代の学習処理では、水平処理部６０１の水平マッピング部６３２は、水平タップ学習部６３１からの第０世代の水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。
【０５６１】
垂直処理部６０２の垂直差分加算マッピング部６９４は、垂直タップ学習部６９１からの第０世代の垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。
【０５６２】
斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、第１世代の斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。
【０５６３】
また、第１世代の学習処理では、垂直処理部６０２の垂直マッピング部６９２は、垂直タップ学習部６９１からの第０世代の垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。
【０５６４】
斜め処理部６０３の斜め差分加算マッピング部７５４は、斜めタップ学習部７５１からの第０世代の斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。
【０５６５】
水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、第１世代の水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。
【０５６６】
さらに、第１世代の学習処理では、斜め処理部６０３の斜めマッピング部７５２は、斜めタップ学習部７５１からの第０世代の斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。
【０５６７】
水平処理部６０１の水平差分加算マッピング部６３４は、水平タップ学習部６３１の第０世代の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。
【０５６８】
垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、第１世代の垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。
【０５６９】
これにより、第１世代の係数セットである、水平係数、垂直係数、および斜め係数が求められ、第２世代では、第１世代で求められた係数セットに基づいて、第２世代の係数セットである、水平係数、垂直係数、および斜め係数が求められる。
【０５７０】
第３世代、第４世代、・・・、第Ｎ世代でも、第２世代と同様の処理が行われ、第３世代の係数セット、第４世代、・・・、第Ｎ世代の係数セットが求められる。
【０５７１】
なお、３段反復学習処理は、３段反復学習部５８１により求められる係数セットを用いた、図３９下側に示される画像変換部４９２の画像変換処理による結果Ｈ＋ｖ＋ｒと、原画像との自乗誤差を最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理が行われたときなどに終了する。
【０５７２】
また、３段反復学習部５８１により求められる係数セットにより画像変換処理を行う場合は、求められた係数セットの、水平係数、垂直係数、または斜め係数を、どの順番で用いてもかまわない。
【０５７３】
次に、図４０のフローチャートを参照して、図３２の３段反復学習部５８１における３段反復学習処理を説明する。
【０５７４】
ステップＳ３６１において、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。また、ステップＳ３６１において、垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。さらに、ステップＳ３６１において、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。
【０５７５】
処理は、ステップＳ３６１からステップＳ３６２に進み、水平処理部６０１の水平マッピング部６３２は、水平タップ学習部６３１からの水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。
【０５７６】
また、ステップＳ３６２において、垂直処理部６０２の垂直マッピング部６９２は、垂直タップ学習部６９１からの垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。
【０５７７】
さらに、ステップＳ３６２において、斜め処理部６０３の斜めマッピング部７５２は、斜めタップ学習部７５１からの斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。
【０５７８】
その後、処理は、ステップＳ３６２からステップＳ３６３に進み、水平処理部６０１の水平差分加算マッピング部６３４は、水平タップ学習部６３１の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。
【０５７９】
また、ステップＳ３６３において、垂直処理部６０２の垂直差分加算マッピング部６９４は、垂直タップ学習部６９１からの垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。
【０５８０】
さらに、ステップＳ３６３において、斜め処理部６０３の斜め差分加算マッピング部７５４は、斜めタップ学習部７５１からの斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。
【０５８１】
その後、処理は、ステップＳ３６３からステップＳ３６４に進み、水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。
【０５８２】
また、ステップＳ３６４において、垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。
【０５８３】
さらに、ステップＳ３６４において、斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。
【０５８４】
その後、処理は、ステップＳ３６４からステップＳ３６２に進み、以下、同様の処理を繰り返す。即ち、ステップＳ３６２およびステップＳ３６３においては、ステップＳ３６４で求められた水平係数、垂直係数、および斜め係数を用いてマッピング処理および差分加算マッピング処理が行われ、ステップＳ３６４では、その結果得られた画像に基づいて、差分学習処理が行われる。
【０５８５】
以上のような図４０の３段反復学習処理では、水平タップ学習部６３１（図３３）が、ノイズ画像に相当する画像を生徒画像とするとともに、原画像を教師画像として、第０世代の水平係数を求め、水平タップ差分学習部６３３が、ノイズ画像に相当する画像を生徒画像とするとともに、第ｎ−１世代で求められた水平係数、垂直係数、および斜め係数のうちの、水平係数を除いた係数である垂直係数および斜め係数を用いた予測演算による原画像への近似効果分、即ち、垂直係数による垂直処理効果分としての垂直差分ｖと、斜め係数による斜め処理効果分としての斜め差分ｒとを、原画像から差し引くことで得られる画像である原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像として、第ｎ世代の水平係数を求める。垂直係数および斜め係数も同様に求められる。従って、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分による寄与分が、それぞれ、同等な水平係数、垂直係数、および斜め係数を求めることができる。
【０５８６】
なお、図４０の３段反復学習処理は、例えば、反復して求められる水平係数、垂直係数、および斜め係数がとる値が収束したときに、終了する。
【０５８７】
また、図４０の３段反復学習処理は、３段反復学習部５８１（図３２）により求められる係数セットを用いた画像変換処理による結果と、原画像との自乗誤差とを最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理が行われたときなどに終了するようにしてもよい。
【０５８８】
ところで、３段反復学習処理において、第０世代による学習処理では、図８の学習部１２１で求めた係数と同様、いずれも単独で、ノイズ画像をノイズ除去画像（の予測値）に変換することができる水平係数、垂直係数、および斜め係数が、第０世代の係数として求められる。
【０５８９】
第１世代では、第０世代で求められた係数セットを用いることで得られる過剰な処理効果分を考慮する形で、係数セットを求める。また、第２世代乃至第ｎ世代では、前回の世代で求められた係数セットを用いることで得られる処理効果分を考慮する形で、係数セットを反復して求める。
【０５９０】
３段反復学習処理では、多くの場合、世代が進むにつれて、第０世代で求められた係数セットの、いわば、３重のノイズ除去の処理効果分が調整されていき、ノイズ除去の処理効果分が適切な係数セットが求められる。この場合、３段反復学習処理により求められる係数セットは、所定の値に収束する。
【０５９１】
しかしながら、求められる係数セットによっては、世代を進めても、第０世代で求められた係数セットの、３重のノイズ除去の処理効果分が適切に調整されないことがある。この場合、３段反復学習処理により求められる係数セットは、所定の値に収束せずに発散または振動してしまう。
【０５９２】
そこで、後述するボリューム処理により、前回求めた係数による処理効果分を抑制することで、３段反復学習処理により求められる係数セットがとる値を収束させることができる。なお、２段反復学習処理により求められる係数セットは、収束することが、実験によりわかっているため、２段反復学習処理に対して、後述するボリューム処理は必要ない。
【０５９３】
次に、図４１は、ボリューム処理を行う図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
【０５９４】
なお、図中、図３９の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０５９５】
即ち、図４１は、新たにボリューム操作部８１１乃至８１３が設けられているほかは、図３９の場合と同様に構成されている。
【０５９６】
第０世代の学習処理では、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、ボリューム操作部８１１に供給する。また、垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、ボリューム操作部８１２に供給する。さらに、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、ボリューム操作部８１３に供給する。これにより、第０世代の係数セットが求められる。
【０５９７】
第１世代の学習処理では、第０世代で求められた係数セットに基づいて、第１世代の係数セットが求められる。
【０５９８】
第１世代の学習処理では、水平処理部６０１のボリューム操作部８１１は、水平タップ学習部６３１からの第０世代の水平係数にボリューム処理を行い、水平処理部６０１の水平マッピング部６３２は、ボリューム処理された第０世代の水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。
【０５９９】
垂直処理部６０２のボリューム操作部８１２は、垂直タップ学習部６９１からの第０世代の垂直係数にボリューム処理を行い、垂直処理部６０２の垂直差分加算マッピング部６９４は、ボリューム処理された第０世代の垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。
【０６００】
斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、第１世代の斜め係数を求め、ボリューム操作部８１３に供給する。
【０６０１】
また、第１世代の学習処理では、垂直処理部６０２のボリューム操作部８１２は、垂直タップ学習部６９１からの第０世代の垂直係数にボリューム処理を行い、垂直処理部６０２の垂直マッピング部６９２は、ボリューム処理された第０世代の垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。
【０６０２】
斜め処理部６０３のボリューム操作部８１３は、斜めタップ学習部７５１からの第０世代の斜め係数にボリューム処理を行い、斜め処理部６０３の斜め差分加算マッピング部７５４は、ボリューム処理された第０世代の斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。
【０６０３】
水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、第１世代の水平係数を求めて、ボリューム操作部８１１に供給する。
【０６０４】
さらに、第１世代の学習処理では、斜め処理部６０３のボリューム操作部８１３は、斜めタップ学習部７５１からの第０世代の斜め係数にボリューム処理を行い、斜め処理部６０３の斜めマッピング部７５２は、ボリューム処理された第０世代の斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。
【０６０５】
水平処理部６０１のボリューム操作部８１１は、水平タップ学習部６３１からの第０世代の水平係数にボリューム処理を行い、水平処理部６０１の水平差分加算マッピング部６３４は、ボリューム処理された第０世代の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。
【０６０６】
垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈに基づいて、垂直タップにおける斜め水平差分の差分学習処理を行い、第１世代の垂直係数を求める。
【０６０７】
これにより、第１世代の係数セットである、水平係数、垂直係数、および斜め係数が求められ、第２世代では、第１世代で求められた係数セットに基づいて、第２世代の係数セットである、水平係数、垂直係数、および斜め係数が求められる。
【０６０８】
第３世代、第４世代、・・・、第ｎ世代において、第２世代と同様の処理が行われ、第３世代の係数セット、第４世代、・・・、第Ｎ世代の係数セットが求められる。
【０６０９】
なお、図４１で行われる３段反復学習処理は、例えば、求められる係数セットがとる値が収束した場合に、終了する。
【０６１０】
以上のように、ボリューム処理を行うことにより、係数セットの発散および振動を防止し、収束させることができる。
【０６１１】
即ち、図４２は、係数のボリューム処理を説明する図である。
【０６１２】
図中、左右方向に示される数字は、例えば、ノイズ画像の水平予測タップのタップ番号を示している。なお、タップ番号１のタップは、水平予測タップの注目画素ｘ1であり、水平予測タップは、ｘ1，ｘ2，・・・，ｘ5の５つのタップにより構成されているものとしている。
【０６１３】
また、図中、上下方向に示される数字は、図中、左右方向に示されるタップ番号に対応する水平予測タップの画素値と乗算される水平係数（タップ番号に対応する水平係数）がとる値を示している。
【０６１４】
さらに、図中、中央に示される実線のグラフVolume０．０は、水平マッピング処理の対象であるノイズ画像ｘ1を、同一のノイズ画像ｘ1に変換する水平係数のグラフを示している。即ち、実線のグラフVolume０．０では、タップ番号１の注目画素の水平係数は１．０になっており、それ以外の、タップ番号２乃至５の画素の水平係数は０．０になっている。
【０６１５】
従って、実線のグラフVolume０．０が示す水平係数を用いた水平マッピング処理により得られる水平処理画像Ｈは、水平処理効果分のないノイズ画像ｘ1である。
【０６１６】
図中、中央に示される点線のグラフVolume１．０は、上述した３段反復学習処理のある世代で求められた水平係数を示すグラフである。
【０６１７】
また、図中、中央に示される１点鎖線のグラフVolume０．５は、ボリューム値０．５によるボリューム処理により得られた水平係数のグラフを示している。
【０６１８】
ここで、ボリューム値ｉ（ｉは、０．０以上１．０以下の実数）によるボリューム処理では、実線のグラフVolume０．０が示す水平係数と値（１−ｉ）との乗算値と、点線のグラフVolume１．０が示すある世代の水平係数と値ｉとの乗算値とを加算することで新たな水平係数が求められる。
【０６１９】
従って、ボリューム値０．５によるボリューム処理によって得られた新たな係数を表す１点鎖線のグラフVolume０．５は、点線のグラフVolume１．０が表す水平係数と比較して、タップ番号１の注目画素の水平係数が大となり、それ以外の、タップ番号２乃至５の画素の水平係数が小となっている。
【０６２０】
以上のようなボリューム値ｉによるボリューム処理においては、ボリューム値ｉを小に設定するほど、実線のグラフVolume０．０が示す水平係数に近い水平係数が求められ、例えば、図４１の水平マッピング部６３２または水平差分加算マッピング部６３４により生成される水平差分ｈに対応する水平処理効果分などが抑制される。
【０６２１】
従って、３段反復学習処理により求められる係数セットがとる値が収束することなく発散または振動する場合には、ボリューム値ｉを小さくしたボリューム処理を行うことで、前回の係数セットにおける処理効果分を抑制し、その処理効果分を考慮する形で、係数セットを反復して学習することで、係数セットがとる値を収束させることができる。
【０６２２】
なお、ボリューム処理におけるボリューム値ｉは、ユーザがボリューム操作部８１１乃至８１３の図示せぬ操作つまみ等を操作することで設定することができる。
【０６２３】
次に、図４３乃至図４６は、３段反復学習処理において、収束することなく発散または振動する係数セットに対して、ボリューム値０．５によるボリューム処理を行った場合の、第０世代乃至第４世代ごとの水平係数を示す図である。
【０６２４】
図４３は、所定の水平クラスに対応する世代ごとの水平係数を示す図である。
【０６２５】
図中、左右方向に示される数字は、例えば、水平予測タップとしての水平方向に並ぶ９画素である、水平方向のタップ４１に付されたタップ番号を示している。また、図中、上下方向に示される数字は、図中、左右方向に示されるタップ番号に対応する水平予測タップの画素値と乗算される水平係数（タップ番号に対応する水平係数）がとる値を示している。
【０６２６】
さらに、図中、中央に示される５つのグラフrec０乃至rec４は、それぞれ、第０世代乃至第４世代の水平係数を示すグラフであり、タップ番号と、そのタップ番号に対応する水平予測タップの画素値と乗算される水平係数との対応を示すグラフである。
【０６２７】
次に、図４４は、図４３により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す図である。
【０６２８】
図中、左右方向に示される数字は、図４３で示された水平係数における世代を示している。また、図中、上下方向に示される数字は、図中、左右方向に示される世代で求められた水平係数がとる値を示している。
【０６２９】
さらに、図中、中央に示される９つのグラフtap１乃至tap９は、それぞれ、タップ番号１乃至タップ番号９に対応する水平予測タップの画素値と乗算される水平係数を示すグラフであり、世代の変化に応じて、求められる水平係数が変化する様子を示すグラフである。
【０６３０】
ここで、例えば、タップ番号１乃至タップ番号９に対応する水平係数のうちの、１番変化の大きいタップ番号１に対応する水平係数に注目すると、世代が進むにつれて、振幅が小さくなっていき、所定の値に収束する様子が示されている。
【０６３１】
図４５および図４６は、３段反復学習により求められた他の水平クラスに対応する水平係数が、所定の値に収束する様子を模式的に示した図である。
【０６３２】
図４５および図４６には、図４３および図４４で説明した所定の水平クラスに対応する水平係数とは異なる、他の水平クラスに対応する水平係数が、所定の値に収束する様子が示されているだけであるため、図４５および図４６の説明は、以下、省略する。
【０６３３】
図４７は、図１の画像変換部３１の第５の構成例を示すブロック図である。
【０６３４】
図４７の画像変換部３１は、水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、および予測演算部10069により構成される。
【０６３５】
また、図４７の画像変換部３１には、例えば、MPEG-2などにより、８×８画素のブロック単位でMPEG符号化されたMPEG符号化画像が、チューナで受信された放送番組の画像や、記録媒体から再生される画像として供給される。図４７の画像変換部３１において、MPEG符号化画像は、図示せぬデコーダに供給され、MPEG復号されて、MPEG復号画像として、水平予測タップ抽出部10061、水平クラスタップ抽出部10062、垂直予測タップ抽出部10065、および垂直クラスタップ抽出部10066に供給される。
【０６３６】
さらに、MPEG復号画像における８×８画素のブロック４個で構成される１６×１６画素のマクロブロックの構造が、フレーム構造であるか、フィールド構造であるを表すフィールド情報は、MPEG符号化画像に含まれて、図４７の画像変換部３１に供給されるものとする。なお、以下では、説明を簡単にするために、輝度信号のみを考える。従って、MPEG復号画像における１６×１６画素のマクロブロックは、２×２個（横×縦）の、８×８画素の輝度信号のブロックで構成される。
【０６３７】
そして、以下の説明において、特に断らない限り、MPEG復号画像における１６×１６画素のマクロブロックの構造が、フレーム構造であることを前提とする。
【０６３８】
水平予測タップ抽出部10061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックに含まれる画素を順次、注目画素とする。さらに、水平予測タップ抽出部10061は、注目画素に対応する、MPEG復号画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である水平予測タップを、MPEG復号画像から抽出する。
【０６３９】
即ち、水平予測タップ抽出部10061は、例えば、注目画素を中心として水平方向に並ぶ９画素を、水平予測タップとして抽出する。
【０６４０】
水平予測タップ抽出部10061は、MPEG復号画像から抽出した水平予測タップを予測演算部10069に供給する。
【０６４１】
水平クラスタップ抽出部10062は、例えば、水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、およびブロック抽出部10062cにより構成される。水平クラスタップ抽出部10062は、水平予測タップ抽出部10061により抽出された水平予測タップを、複数の水平クラスのうちのいずれかの水平クラスにクラス分けする水平クラス分類に用いる複数の画素である水平クラスタップを、供給されてくるMPEG復号画像から抽出する。
【０６４２】
即ち、例えば、水平差分クラスタップ抽出部10062aは、注目画素を中心として水平方向に並ぶ９画素を、水平予測タップ抽出部10061が抽出する水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成するのに用いる複数の画素である水平差分クラスタップとして、供給されてくるMPEG復号画像から抽出する。
【０６４３】
また、例えば、垂直差分クラスタップ抽出部10062bは、注目画素を中心として垂直方向に並ぶ９画素を、垂直予測タップ抽出部10065が抽出する垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成するのに用いる複数の画素である垂直差分クラスタップとして、供給されてくるMPEG復号画像から抽出する。
【０６４４】
さらに、例えば、ブロック抽出部10062cは、注目ブロックを、供給されてくるMPEG復号画像から抽出する。ここで、抽出される注目ブロックは、MPEG符号化画像に含まれて図４７の画像変換部３１に供給されるフィールド情報も含むものとする。
【０６４５】
なお、水平クラスタップ抽出部10062が抽出する水平クラスタップは、MPEG復号画像から抽出した水平差分クラスタップ、垂直差分クラスタップ、および注目ブロックにより構成される。
【０６４６】
また、水平予測タップと水平クラスタップとは、これに限定されるものではない。
【０６４７】
水平クラスタップ抽出部10062において得られる、水平予測タップに対応する水平クラスタップは、水平クラス分類部10063に供給される。水平クラス分類部10063は、水平クラスタップ抽出部10062からの水平クラスタップに基づいて水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部10064に出力する。
【０６４８】
水平係数記憶部10064は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部10063から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部10063から供給された水平クラスコードが表す水平クラスに対応する水平係数）を、予測演算部10069に出力する。
【０６４９】
垂直予測タップ抽出部10065は、注目画素に対応する、MPEG復号画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である垂直予測タップを、供給されてくるMPEG復号画像から抽出する。
【０６５０】
即ち、垂直予測タップ抽出部10065は、例えば、注目画素を中心として垂直方向に並ぶ９画素を、垂直予測タップとして抽出する。
【０６５１】
垂直予測タップ抽出部10065は、MPEG復号画像から抽出した垂直予測タップを予測演算部10069に供給する。
【０６５２】
垂直クラスタップ抽出部10066は、例えば、水平差分クラスタップ抽出部10066a，垂直差分クラスタップ抽出部10066b、およびブロック抽出部10066cにより構成される。垂直クラスタップ抽出部10066は、垂直予測タップ抽出部10065により抽出された垂直予測タップを、複数の垂直クラスのうちのいずれかの垂直クラスにクラス分けする垂直クラス分類に用いる複数の画素（の画素値）である垂直クラスタップを、供給されてくるMPEG復号画像から抽出する。
【０６５３】
なお、水平差分クラスタップ抽出部10066a、垂直差分クラスタップ抽出部10066b、ブロック抽出部10066cそれぞれは、水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれと同様に構成される。
【０６５４】
従って、垂直クラスタップ抽出部10066は、水平差分クラスタップ、垂直差分クラスタップ、および注目画素を含む注目ブロックを、垂直クラスタップとして、供給されてくるMPEG復号画像から抽出する。
【０６５５】
また、垂直予測タップと垂直クラスタップとは、これに限定されるものではない。
【０６５６】
垂直クラスタップ抽出部10066において得られる、垂直予測タップに対応する垂直クラスタップは、垂直クラス分類部10067に供給される。垂直クラス分類部10067は、垂直クラスタップ抽出部10066からの垂直クラスタップに基づいて垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部10068に出力する。
【０６５７】
垂直係数記憶部10068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している垂直係数のセットのうちの、垂直クラス分類部10067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部10067から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部10069に出力する。
【０６５８】
予測演算部10069は、水平予測タップ抽出部10061から供給された水平予測タップ、垂直予測タップ抽出部10065から供給された垂直予測タップ、水平係数記憶部10064から供給された水平係数、および垂直係数記憶部10068から供給された垂直係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
【０６５９】
図４８は、図４７の水平予測タップ抽出部10061が抽出する水平予測タップ、および垂直予測タップ抽出部10065が抽出する垂直予測タップを示す図である。
【０６６０】
図中、左側には、MPEG復号画像における１６×１６画素のマクロブロックの構造が、フレーム構造である場合の、水平予測タップおよび垂直予測タップの抽出方法が示されている。
【０６６１】
また、図中、右側には、MPEG復号画像における１６×１６画素のマクロブロックの構造が、フィールド構造である場合の、水平予測タップおよび垂直予測タップの抽出方法が示されている。なお、図中、右側に示される１６×１６画素のマクロブロックにおいて、斜線で示される部分は、偶数ライン（ボトムフィールド）を表しており、白色の部分は、奇数ライン（トップフィールド）を表している。
【０６６２】
MPEG復号画像における１６×１６画素のマクロブロックの構造がフレーム構造である場合、水平予測タップ抽出部10061は、図中、左側に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切る（またぐ）ように抽出する。また、垂直予測タップ抽出部10065は、図中、左側に白丸で示す注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、垂直方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切るように抽出する。
【０６６３】
一方、MPEG復号画像における１６×１６画素のマクロブロックの構造がフィールド構造である場合、水平予測タップ抽出部10061は、図中、右側に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切るように抽出する。また、垂直予測タップ抽出部10065は、図中、右側に白色で示す注目画素が位置する偶数ライン（または奇数ライン）において、図中、右側に白丸で示す注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、垂直方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切るように抽出する。
【０６６４】
図４９は、図４７の水平クラス分類部10063の詳細な構成例を示すブロック図である。
【０６６５】
水平クラス分類部10063は、差分絶対値算出部11011、フィールドフラグ抽出部11012、ノイズ検出フラグ判定部11013、閾値選択部11014、水平差分クラスコード生成部11015、垂直差分クラスコード生成部11016、垂直差分ゼロクラスコード生成部11017、水平クラスコード出力部11018により構成される。
【０６６６】
差分絶対値算出部11011には、ブロック抽出部10062aから、注目ブロックの画素すべてが供給される。
【０６６７】
差分絶対値算出部11011は、そこに供給される注目ブロックを構成する水平方向（横方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分を求める。差分絶対値算出部11011は、求めた水平画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_hを算出するとともに、注目ブロックにおいて、水平方向にエッジが存在するか否かを示す水平エッジ検出フラグを設定する。
【０６６８】
また、差分絶対値算出部11011は、そこに供給される注目ブロックを構成する垂直方向（縦方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。差分絶対値算出部11011は、求めた垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_vを算出するとともに、注目ブロックにおいて、垂直方向にエッジが存在するか否かを示す垂直エッジ検出フラグを設定する。
【０６６９】
その後、差分絶対値算出部11011は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ11013に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部11014に供給する。
【０６７０】
フィールドフラグ抽出部11012には、ブロック抽出部10062cから、フィールド情報を含む注目ブロックが供給される。
【０６７１】
フィールドフラグ抽出部11012は、そこに供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定する。
【０６７２】
即ち、フィールドフラグ抽出部11012は、注目ブロックを含む１６×１６画素のマクロブロックの構造が、フレーム構造である場合、フィールドフラグを１に設定し、フィールド構造である場合、フィールドフラグを０に設定する。
【０６７３】
その後、フィールドフラグ抽出部11012は、設定したフィールドフラグを、水平クラスコード出力部11018に供給する。
【０６７４】
ノイズ検出フラグ判定部11013は、差分絶対値算出部11011から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、注目ブロックはモスキートノイズが生じやすいブロックであるか否かを示すノイズ検出フラグを設定し、水平クラスコード出力部11018に供給する。
【０６７５】
閾値選択部11014は、差分絶対値算出部11011から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部11011から供給される閾値Th_h、とTh_vから、水平差分クラスコードの生成に用いる閾値と、垂直差分クラスコードの生成に用いる閾値を選択する。
【０６７６】
また、閾値選択部11014は、水平差分クラスコードの生成に用いる閾値として選択した閾値を、水平差分クラスコード生成部11015に供給し、垂直差分クラスコードの生成に用いる閾値として選択した閾値を、垂直差分クラスコード生成部11016に供給する。
【０６７７】
水平差分クラスコード生成部11015には、水平差分クラスタップ抽出部10062aから、水平差分クラスタップが供給される。
【０６７８】
水平差分クラスコード生成部11015は、そこに供給される水平差分クラスタップと、閾値選択部11014から供給される閾値を用いて、水平差分クラスコードを生成し、水平クラスコード出力部11018に出力する。
【０６７９】
垂直差分クラスコード生成部11016には、垂直差分クラスタップ抽出部10062bから、垂直差分クラスタップが供給される。
【０６８０】
垂直差分クラスコード生成部11016は、そこに供給される垂直差分クラスタップと、閾値選択部11014から供給される閾値を用いて、垂直差分クラスコードを生成し、垂直差分ゼロクラスコード生成部11017に出力する。
【０６８１】
垂直差分ゼロクラスコード生成部11017は、垂直差分クラスコード生成部11016から供給される垂直差分クラスコードの論理和をとり、その結果得られた値を、垂直差分ゼロクラスコードとして設定し、水平クラスコード出力部11018に供給する。
【０６８２】
即ち、例えば、垂直差分ゼロクラスコード生成部11017は、０と１とのビット列で表される垂直差分クラスコードが、すべて０で構成されるビット列であると判定した場合、垂直差分ゼロクラスコードを０に設定し、１を含むビット列であると判定した場合、垂直差分ゼロクラスコードを１に設定して、水平クラスコード出力部11018に供給する。
【０６８３】
水平クラスコード出力部11018は、フィールドフラグ抽出部11012から供給されるフィールドフラグ、ノイズ検出フラグ判定部11013から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部11017から供給される垂直差分ゼロクラスコード、および水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部10064に出力する。
【０６８４】
なお、水平クラスコード出力部11018は、水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードではなく、水平差分クラスコードそのものを、水平クラスコードの一部とすることができる。
【０６８５】
次に、図５０および図５１は、図４９の差分絶対値算出部11011、ノイズ検出フラグ判定部11013、および閾値選択部11014が行う処理を説明する図である。
【０６８６】
図５０は、ブロック抽出部10062cから供給される注目ブロックを含む１６×１６画素のマクロブロックの構造を示す図である。
【０６８７】
図中上側には、注目ブロックを含む１６×１６画素のマクロブロックが示されている。また、図中右下側には、注目ブロックを含む１６×１６画素のマクロブロックの構造がフレーム構造である場合の、１６×１６画素のマクロブロックが示されており、その１６×１６画素のマクロブロックは、８×８画素で構成される２×２個のブロックにより構成される。
【０６８８】
図中左下側には、注目ブロックを含む１６×１６画素のマクロブロックの構造が、フィールド構造である場合の、１６×１６画素のマクロブロックが示されており、その１６×１６画素のマクロブロックは、８×８画素で構成される２×２個のブロックにより構成される。
【０６８９】
なお、図５０右下側、および左下側に示される１６×１６画素のマクロブロックに示される斜線部分は、偶数ライン（ボトムフィールド）を表しており、白色の部分は、奇数ライン（トップフィールド）を表している。
【０６９０】
差分絶対値算出部11011は、１６×１６画素のマクロブロックを構成する２×２個のブロックのうちの、８×８画素で構成される注目ブロックの画素を用いて、差分絶対値などを算出する。
【０６９１】
図５１は、図４９の差分絶対値算出部11011、ノイズ検出フラグ判定部11013、および閾値選択部11014が行う処理を模式的に示した図である。
【０６９２】
差分絶対値算出部11011は、例えば、図中上側に示されるようにして、閾値Th_hやTh_vを算出し、水平エッジ検出フラグ、垂直エッジ検出フラグを設定する。
【０６９３】
即ち、差分絶対値算出部11011は、注目ブロックの、横方向（水平方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分を求める。このとき、８×８画素の注目ブロックを構成する画素すべてを対象として、７×８＝５６個の水平画素間差分が求められる。
【０６９４】
差分絶対値11011は、注目ブロックについて５６個の水平画素間差分を求めると、その５６個の水平画素間差分のうちの、最大値MAXhと最小値MINhとを求め、DRh=MAXh-MINhを、水平画素間差分のダイナミックレンジDRhとして求める。さらに、差分絶対値11011は、そのダイナミックレンジDRhを４で除算した値に最小値MINhを加算した値を、閾値Th_h=(DRh/4)+MINhとして算出する。
【０６９５】
また、差分絶対値算出部11011は、ダイナミックレンジDRhが、例えば、１６などの所定の閾値より大であるかを判定し、注目ブロックにおける水平エッジ検出フラグを設定する。
【０６９６】
即ち、例えば、ダイナミックレンジDRhが、例えば、１６などの所定の閾値より大であると判定された場合、差分絶対値算出部11011は、水平エッジ検出フラグを、水平方向にエッジが存在することを示すフラグ１に設定する。一方、ダイナミックレンジDRhが、例えば、１６などの所定の閾値以下であると判定された場合、差分絶対値算出部11011は、水平エッジ検出フラグを、水平方向にエッジが存在しないことを示すフラグ０に設定する。
【０６９７】
さらに、差分絶対値算出部11011は、注目ブロックの、縦方向（垂直方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。このとき、８×８画素の注目ブロックを構成する画素すべてを対象として、８×７＝５６個の垂直画素間差分が求められる。
【０６９８】
差分絶対値11011は、注目ブロックについて５６個の垂直画素間差分を求めると、その５６個の垂直画素間差分のうちの、最大値MAXvと最小値MINvとを求め、DRv=MAXv-MINvを、垂直画素間差分のダイナミックレンジDRvとして求める。さらに、差分絶対値11011は、そのダイナミックレンジDRvを４で除算した値に最小値MINvを加算した値を、閾値Th_v=(DRv/4)+MINvとして算出する。
【０６９９】
また、差分絶対値算出部11011は、ダイナミックレンジDRVが、例えば、１６などの所定の閾値より大であるかを判定し、注目ブロックにおける垂直エッジ検出フラグを設定する。
【０７００】
即ち、例えば、ダイナミックレンジDRVが、例えば、１６などの所定の閾値より大であると判定された場合、差分絶対値算出部11011は、垂直エッジ検出フラグを、垂直方向にエッジが存在することを示すフラグ１に設定する。一方、ダイナミックレンジDRVが、例えば、１６などの所定の閾値以下であると判定された場合、差分絶対値算出部11011は、垂直エッジ検出フラグを、垂直方向にエッジが存在しないことを示すフラグ０に設定する。
【０７０１】
その後、差分絶対値算出部11011は、設定した水平エッジ検出フラグおよび垂直エッジ検出フラグを、ノイズ検出フラグ判定部11013に供給し、算出した閾値Th_h,Th_vとともに、閾値選択部11014に供給する。
【０７０２】
ノイズ検出フラグ判定部11013は、差分絶対値算出部11011から供給される水平エッジ検出フラグと垂直エッジ検出フラグの論理和をとり、その結果得られた値を、ノイズ検出フラグとして、水平クラスコード出力部11018に供給する。
【０７０３】
閾値選択部11014は、図中下側に示されるように、差分絶対値算出部11011から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグに基づいて、水平差分クラスコード生成部11015で用いられる閾値と、垂直差分クラスコード生成部11016で用いられる閾値を選択する。
【０７０４】
即ち、閾値選択部11014は、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに０であると判定した場合、閾値Th_hとTh_vのうちの、値の小さい閾値を選択し、水平差分クラスコード生成部11015と垂直差分クラスコード生成部11016に供給する。
【０７０５】
また、閾値選択部11014は、そこに供給される水平エッジ検出フラグが１であり垂直エッジ検出フラグが０であると判定した場合、供給されてくる閾値Th_hとTh_vから閾値Th_hを選択し、水平差分クラスコード生成部11015と垂直差分クラスコード生成部11016に供給する。
【０７０６】
さらに、閾値選択部11014は、そこに供給される水平エッジ検出フラグが０であり垂直エッジ検出フラグが１であると判定した場合、供給されてくる閾値Th_hとTh_vから閾値Th_vを選択し、水平差分クラスコード生成部11015と垂直差分クラスコード生成部11016に供給する。
【０７０７】
また、閾値選択部11014は、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに１であると判定した場合、供給されてくる閾値Th_hとTh_vから閾値Th_hを選択し、水平差分クラスコード生成部11015に供給するとともに、供給されてくる閾値Th_hとTh_vから閾値Th_vを選択し、垂直差分クラスコード生成部11016に供給する。
【０７０８】
図５２は、図４９の水平差分クラスコード生成部11015により行われる水平差分クラスコードの生成方法を説明する図である。
【０７０９】
図５２上側の横方向に並んだ９個の白丸は、水平差分クラスタップ抽出部10062aから供給された水平差分クラスタップを示しており、横方向に並んだ９個の白丸の下側に示される数値は、白丸で表される、水平差分クラスタップを構成する画素それぞれの画素値を示している。
【０７１０】
また、図５２中央の数値は、水平方向に並ぶ９画素のタップのうちの、図中、水平方向に隣接する画素同士の差分の絶対値である画素間差分を示している。さらに、図５２下側の１と０とで表される数値は、水平差分クラスコード生成部11015が生成する水平差分クラスコードを示している。
【０７１１】
水平差分クラスコード生成部11015は、図５２上側に示される水平方向に並ぶ９画素であるタップのうちの、隣接する画素同士の８個の画素間差分を求める。
【０７１２】
次に、水平差分クラスコード生成部11015は、図５２中央に示される８個の画素間差分が、閾値選択部11014から供給された閾値以上であるか否かを判定する。
【０７１３】
画素間差分が、閾値以上である場合、水平差分クラスコード生成部11015は、画素間差分に対して、閾値以上であることを表す１をセットした１ビットの大小フラグを割り当てる。また、画素間差分が、閾値以上でない場合、水平差分クラスコード生成部11015は、画素間差分に対して、閾値以上でないことを表す０をセットした大小フラグを割り当てる。そして、水平差分クラスコード生成部11015は、図５２下側に示される、１または０がセットされた８個の大小フラグの並びを、水平差分クラスコードとして、水平クラスコード出力部11018に出力する。
【０７１４】
なお、垂直差分クラスコード生成部11016は、図５２上側に示される水平方向に並ぶ９画素であるタップを、垂直方向に並ぶ９画素であるタップとすることで、水平差分クラスコード生成部11015と同様にして、垂直差分クラスコードを、垂直差分ゼロクラスコード生成部11017に出力することができる。
【０７１５】
図５３は、図４９の水平クラスコード出力部11018が出力する水平クラスコードを示す図である。
【０７１６】
水平クラスコード出力部11018は、フィールドフラグ抽出部11012から供給されるフィールドフラグ、ノイズ検出フラグ判定部11013から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部11017から供給される垂直差分ゼロクラスコード、および水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、水平クラスコードとして出力する。
【０７１７】
図５４は、図４７の垂直クラス分類部10067の詳細な構成例を示すブロック図である。
【０７１８】
垂直クラス分類部10067は、図４９の差分絶対値算出部11011乃至閾値選択部11014それぞれと同様に構成される差分絶対値算出部11031乃至閾値選択部11034それぞれと、図４９の垂直差分クラスコード生成部11016、水平差分クラスコード生成部11015それぞれと同様に構成される垂直差分クラスコード生成部11035、水平差分クラスコード生成部11036それぞれと、水平差分ゼロクラスコード生成部110137と、垂直クラスコード出力部11038により構成される。
【０７１９】
水平差分ゼロクラスコード生成部11037には、水平差分クラスコード生成部11036から、水平差分クラスコードが供給される。
【０７２０】
水平差分ゼロクラスコード生成部11037は、水平差分クラスコード生成部11036から供給される水平差分クラスコードの論理和をとり、その結果得られた値を、水平差分ゼロクラスコードとして、垂直クラスコード出力部11038に供給する。
【０７２１】
即ち、水平差分ゼロクラスコード生成部11037は、水平差分クラスコード生成部11036から供給される水平差分クラスコードが、すべて０で構成されるビット列であると判定した場合、水平差分ゼロクラスコードを０に設定し、１を含むビット列であると判定した場合、水平差分ゼロクラスコードを１に設定して、垂直クラスコード出力部11038に供給する。
【０７２２】
垂直クラスコード出力部11038は、フィールドフラグ抽出部11032から供給されるフィールドフラグ、ノイズ検出フラグ判定部11033から供給されるノイズ検出フラグ、水平差分ゼロクラスコード生成部11037から供給される水平差分ゼロクラスコード、および垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部10068に出力する。
【０７２３】
なお、垂直クラスコード出力部11038は、垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードではなく、垂直差分クラスコードそのものを、垂直クラスコードの一部とすることができる。
【０７２４】
図５５は、図５４の垂直クラスコード出力部11038が出力する垂直クラスコードを示す図である。
【０７２５】
垂直クラスコード出力部11038は、フィールドフラグ抽出部11032から供給されるフィールドフラグ、ノイズ検出フラグ判定部11033から供給されるノイズ検出フラグ、水平差分ゼロクラスコード生成部11037から供給される水平差分ゼロクラスコード、および垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、垂直クラスコードとして出力する。
【０７２６】
図５６は、図４７の予測演算部10069の構成例を示すブロック図である。
【０７２７】
図５６の水平予測演算部10101乃至加算部10104それぞれは、図３の水平予測演算部１０１乃至加算部１０４それぞれと同様に構成される。
【０７２８】
なお、図４７乃至図７７を参照して説明する本実施の形態においては、図１乃至図４６を参照して説明してきた本実施の形態の説明において用いてきた用語を、説明の都合上、以下、適宜、定義し直すことをしている。
【０７２９】
即ち、図５６の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、および水平予測演算部10101を総称して水平マッピング部10071といい、その水平マッピング部10071が、水平係数を用いて、順次、注目画素とされるMPEG復号画像の画素（以下、適宜、MPEG復号画素という）の画素値ｘ1を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。
【０７３０】
さらに、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、および垂直予測演算部10102を総称して垂直マッピング部10072といい、その垂直マッピング部10072が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。
【０７３１】
また、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、垂直予測演算部100102、およびゲイン調整部10103を総称して垂直差分マッピング部10073といい、その垂直差分マッピング部10073が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。
【０７３２】
次に、図５７のフローチャートを参照して、図４７の画像変換部３１における画像変換処理を説明する。
【０７３３】
この画像変換処理は、例えば、MPEG-2などにより、８×８画素のブロック単位でMPEG符号化されたMPEG符号化画像が、チューナで受信された放送番組の画像や、記録媒体から再生される画像として、画像変換部３１に供給されたときに開始される。このとき、MPEG符号化画像は、図示せぬデコーダに供給され、MPEG復号されて、MPEG復号画像として、水平予測タップ抽出部10061、水平クラスタップ抽出部10062、垂直予測タップ抽出部10065、および垂直クラスタップ抽出部10066に供給される。
【０７３４】
ステップＳ10031において、水平マッピング部10071の水平予測タップ抽出部10061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックに含まれる画素を、順次、注目画素として、処理は、ステップＳ10032に進む。
【０７３５】
ステップＳ10032において、水平マッピング部10071は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部10104に供給して、処理は、ステップＳ10033に進み、垂直差分マッピング部10073は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部10104に供給して、処理は、ステップＳ10034に進む。
【０７３６】
ステップＳ10034において、加算部10104は、水平マッピング部10071からの水平処理画像Ｈと、垂直差分マッピング部10073からの垂直差分ｖとを加算し、注目画素に対応する、ノイズ除去画像の画素の画素値ｙ＝Ｈ＋ｖを得て出力する。
【０７３７】
その後、処理は、ステップＳ10034からステップＳ10035に進み、水平マッピング部10071の水平予測タップ抽出部10061は、注目ブロックの画素すべてを、注目画素としたか否かを判定する。
【０７３８】
ステップＳ10035において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ10031に戻り、水平マッピング部10071の水平予測タップ抽出部10061は、注目ブロックのうちの、まだ注目画素とされていない画素のうちの１つを、新たな注目画素とし、処理は、ステップＳ10032に進み、以下、同様の処理を繰り返す。
【０７３９】
一方、ステップＳ10035において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ10036に進み、水平マッピング部10071の水平予測タップ抽出部10061は、さらに、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしたかを判定する。
【０７４０】
ステップＳ10036において、MPEG復号画像の８×８画素のブロックすべてが注目ブロックとされていないと判定された場合、処理は、ステップＳ10031に戻り、水平マッピング部10071の水平予測タップ抽出部10061は、まだ注目ブロックとされていないMPEG復号画像の８×８画素のブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ10032に進み、以下、同様の処理を繰り返す。
【０７４１】
一方、ステップＳ10036において、MPEG復号画像の８×８画素のブロックすべてが注目ブロックとされたと判定された場合、画像変換処理は終了される。
【０７４２】
次に、図５８のフローチャートを参照して、図５７のステップＳ10032における水平マッピング処理の詳細を説明する。
【０７４３】
ステップＳ10061において、水平マッピング部10071の水平予測タップ抽出部10061は、図５のステップＳ６１と同様の処理を行い、処理は、ステップＳ10062に進み、水平マッピング部10071の水平クラスタップ抽出部10062は、水平クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素、注目画素を中心として垂直方向に並ぶ９画素、および注目ブロックを、供給されてくるMPEG復号画像から抽出し、水平クラス分類部10063に供給する。
【０７４４】
処理は、ステップＳ10062からステップＳ10063に進み、水平マッピング部10071の水平クラス分類部10063は、水平クラスタップ抽出部10062からの水平クラスタップに基づき、水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部10064に出力する。
【０７４５】
処理は、ステップＳ10063からステップＳ10064に進み、ステップＳ10064およびステップＳ10065において、図５のステップＳ６４およびステップＳ６５と同様の処理を行う。その後、処理は、図５７のステップＳ10032にリターンして、その後の処理を行う。
【０７４６】
次に、図５９のフローチャートを参照して、図５８のステップＳ10063の水平クラス分類における処理の詳細を説明する。
【０７４７】
ステップＳ10071において、差分絶対値算出部11011は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。
【０７４８】
ステップＳ10071の処理後、処理は、ステップＳ10072に進み、差分絶対値算出部11011は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。
【０７４９】
そして、差分絶対値算出部11011は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ11013に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部11014に供給する。
【０７５０】
また、閾値選択部11014は、差分絶対値算出部11011から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部11011から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値と、垂直差分クラスコードの生成に用いる閾値を選択し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部11015に供給し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部11016に供給する。
【０７５１】
その後、処理は、ステップＳ10072からステップＳ10073に進み、水平差分クラスコード生成部11015は、水平差分クラスタップ抽出部10062aから供給される水平差分クラスタップと、閾値選択部11014から供給される閾値を用いて、水平差分クラスコードを生成し、水平クラスコード出力部11018に出力する。
【０７５２】
処理は、ステップＳ10073からステップＳ10074に進み、垂直差分クラスコード生成部11016は、垂直差分クラスタップ抽出部10062bから供給される垂直差分クラスタップと、閾値選択部11014から供給される閾値を用いて、垂直差分クラスコードを生成し、垂直差分ゼロクラスコード生成部11017に出力する。
【０７５３】
さらに、ステップＳ10074において、垂直差分ゼロクラスコード生成部11017は、垂直差分クラスコード生成部11016から供給される垂直差分クラスコードの論理和をとり、その結果得られた値を、垂直差分ゼロクラスコードとして設定し、水平クラスコード出力部11018に供給する。
【０７５４】
処理は、ステップＳ10074からステップＳ10075に進み、フィールドフラグ抽出部11012は、ブロック抽出部10062cから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定して、水平クラスコード出力部11018に供給する。
【０７５５】
処理は、ステップＳ10075からステップＳ10076に進み、ノイズ検出フラグ判定部11013は、差分絶対値算出部11011から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、水平クラスコード出力部11018に供給する。
【０７５６】
処理は、ステップＳ10076からステップＳ10077に進み、水平クラスコード出力部11018は、フィールドフラグ抽出部11012から供給されるフィールドフラグ、ノイズ検出フラグ判定部11013から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部11017から供給される垂直差分ゼロクラスコード、水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部10064に出力する。
【０７５７】
その後、処理は、図５８のステップＳ10063にリターンする。
【０７５８】
次に、図６０のフローチャートを参照して、図５７のステップＳ10033における垂直差分マッピング処理の詳細を説明する。
【０７５９】
ステップＳ10091において、垂直差分マッピング部10073の垂直予測タップ抽出部10065は、図６のステップＳ９１と同様の処理を行い、処理は、ステップＳ10092に進み、垂直差分マッピング部10073の垂直クラスタップ抽出部10066は、垂直クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素、注目画素を中心として垂直方向に並ぶ９画素、および注目ブロックを、供給されてくるMPEG復号画像から抽出し、垂直クラス分類部10067に供給する。
【０７６０】
処理は、ステップＳ10092からステップＳ10093に進み、垂直差分マッピング部10073の垂直クラス分類部10067は、垂直クラスタップ抽出部10066からの垂直クラスタップに基づき、垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部10068に出力する。
【０７６１】
処理は、ステップＳ10093からステップＳ10094に進み、ステップＳ10094乃至ステップＳ10096において、図６のステップＳ９４乃至ステップＳ９６と同様の処理を行う。
【０７６２】
その後、処理は、ステップＳ10096から図５７のステップＳ10033にリターンして、その後の処理を行う。
【０７６３】
次に、図６１のフローチャートを参照して、図６０のステップＳ10093の垂直クラス分類部における処理を詳細に説明する。
【０７６４】
ステップＳ10111において、差分絶対値算出部11031は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。
【０７６５】
ステップＳ10111の処理後、処理は、ステップＳ10112に進み、差分絶対値算出部11031は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。
【０７６６】
そして、差分絶対値算出部11031は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ11033に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部11034に供給する。
【０７６７】
また、閾値選択部11034は、差分絶対値算出部11031から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部11031から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値と、垂直差分クラスコードの生成に用いる閾値を選択し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部11035に供給し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部11035に供給する。
【０７６８】
その後、処理は、ステップＳ10112からステップＳ10113に進み、垂直差分クラスコード生成部11035は、垂直差分クラスタップ抽出部10066bから供給される垂直差分クラスタップと、閾値選択部11034から供給される閾値を用いて、垂直差分クラスコードを生成し、垂直クラスコード出力部11038に出力する。
【０７６９】
処理は、ステップＳ10113からステップＳ10114に進み、水平差分クラスコード生成部11036は、水平差分クラスタップ抽出部10066aから供給される水平差分クラスタップと、閾値選択部11034から供給される閾値を用いて、水平差分クラスコードを、水平差分ゼロクラスコード生成部11037に出力する。
【０７７０】
さらに、ステップＳ10114において、水平差分ゼロクラスコード生成部11037は、水平差分クラスコード生成部11036から供給される水平差分クラスコードの論理和をとり、その結果得られた値を、水平差分ゼロクラスコードとして設定し、垂直クラスコード出力部11038に供給する。
【０７７１】
処理は、ステップＳ10114からステップＳ10115に進み、フィールドフラグ抽出部11032は、ブロック抽出部10062cから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定して、垂直クラスコード出力部11038に供給する。
【０７７２】
処理は、ステップＳ10115からステップＳ10116に進み、ノイズ検出フラグ判定部11033は、差分絶対値算出部11031から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、垂直クラスコード出力部11038に供給する。
【０７７３】
処理は、ステップＳ10116からステップＳ10117に進み、垂直クラスコード出力部11038は、フィールドフラグ抽出部11032から供給されるフィールドフラグ、ノイズ検出フラグ判定部11033から供給されるノイズ検出フラグ、水平差分ゼロクラスコード生成部11037から供給される水平差分ゼロクラスコード、垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部10068に出力する。
【０７７４】
その後、処理は、図６０のステップＳ10093にリターンする。
【０７７５】
図５９の水平クラス分類における処理において、ステップＳ10074では、垂直予測タップのクラスを表す垂直クラスコードの一部である垂直差分クラスコードを用いて、水平予測タップのクラスを表す水平クラスコードの一部である垂直差分ゼロクラスコードを求めている。即ち、水平予測タップの水平クラス分類をするにあたり、垂直予測タップのクラスを表す垂直クラスコードの一部を用いているため、水平予測タップの水平クラス分類では、垂直予測タップのクラスを考慮した水平クラス分類をすることができる。
【０７７６】
また、図５８のステップＳ10061により抽出される水平予測タップや、図６０のステップＳ10091により抽出される垂直予測タップについては、注目ブロックと、注目ブロックに隣接するブロックとの境界を横切るように抽出されているため、注目ブロックのみから抽出される場合と比較して、MPEG復号画像に生じているブロック歪などを効果的に除去することができる。
【０７７７】
さらに、図５８のステップＳ10063の水平クラス分類や、図６０のステップＳ10093の垂直クラス分類において、水平差分クラスタップから水平差分クラスコードを生成するのに用いる閾値や、垂直差分クラスタップから垂直差分クラスコードを生成するのに用いる閾値として、最適な閾値を選択し、その最適な閾値を用いて、水平差分クラスコードや垂直差分クラスコードを生成しているため、より適切なクラス分類をすることができる。
【０７７８】
次に、図６３乃至図７７を参照して行う説明を簡単にするために、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。
【０７７９】
即ち、図６２は、水平差分マッピング処理を行う水平差分マッピング部10111の構成例を示すブロック図である。
【０７８０】
なお、図中、図５６の水平マッピング部10071の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０７８１】
即ち、図６２の水平差分マッピング部10111は、図７のゲイン調整部１１２と同様に構成されるゲイン調整部10112が新たに設けられているほかは、図５６の水平マッピング部10071の場合と同様に構成されている。
【０７８２】
次に、図６３を参照して、上述した式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗnを求める学習を行う学習部10121を説明する。
【０７８３】
図６３は、水平係数ｗnを求める学習を行う学習部10121の構成例を示すブロック図である。
【０７８４】
図６３の学習部10121は、原画像記憶部10131、ノイズ付加部10132、予測タップ抽出部10133、クラスタップ抽出部10134、クラス分類部10135、足し込み部10136、および係数算出部10137により構成される。
【０７８５】
原画像記憶部10131には、MPEG復号画像からノイズを除去したノイズ除去画像に相当する画像が多数、記憶されている。
【０７８６】
ノイズ付加部10132は、原画像記憶部10131に記憶されている画像（以下、適宜、原画像という）を読み出し、その原画像をMPEG-2などで８×８画素のブロック単位でMPEG符号化し、さらに、MPEG復号することで、ブロック歪などが生じたMPEG復号画像に相当する画像を、生徒画像として生成し、予測タップ抽出部10133およびクラスタップ抽出部10134に供給する。
【０７８７】
予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックに含まれる画素を順次、注目画素とする。さらに、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップ（図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平予測タップ）を得て、足し込み部10136に供給する。
【０７８８】
クラスタップ抽出部10134は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップ（図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平クラスタップ）を得て、クラス分類部10135に供給する。
【０７８９】
即ち、クラスタップ抽出部10134の水平差分クラスタップ抽出部10134a、垂直差分クラスタップ抽出部10134b、ブロック抽出部10134cそれぞれは、図４７の水平クラスタップ抽出部10062の水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれが注目画素について得るタップと同一のタップ構造のタップを得て、それぞれ、クラス分類部10135に供給する。
【０７９０】
クラス分類部10135は、クラスタップ抽出部10134から供給された水平クラスタップに基づき、図４７の水平クラス分類部10063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部10136に供給する。
【０７９１】
足し込み部10136は、原画像記憶部10131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、注目画素に対応する、教師画像の画素と、予測タップ抽出部10133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部10135から供給された水平クラスコードごとに行う。
【０７９２】
即ち、足し込み部10136には、原画像記憶部10131に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部10133が出力する注目画素についての水平予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部10135が出力する、水平予測タップの水平クラスを表す水平クラスコードが供給される。
【０７９３】
そして、足し込み部10136は、図８の足し込み部１３６と同様にして、クラス分類部10135から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０７９４】
さらに、足し込み部10136は、図８の足し込み部１３６と同様にして、クラス分類部10135から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０７９５】
そして、足し込み部10136は、ノイズ付加部10132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部10137に供給する。
【０７９６】
係数算出部10137は、図８の係数算出部１３７と同様にして、足し込み部10136から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
【０７９７】
図６４は、図６３のクラス分類部10135の詳細な構成例を示すブロック図である。
【０７９８】
クラス分類部10135は、差分絶対値算出部10141、フィールドフラグ抽出部10142、ノイズ検出フラグ判定部10143、閾値選択部10144、サブコード生成部10145乃至10147、およびクラスコード出力部10148により構成される。
【０７９９】
差分絶対値算出部10141は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックに基づいて、図４９の差分絶対値算出部11011と同一の処理を行うことで、サブコード生成部10145や10146で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。
【０８００】
フィールドフラグ抽出部10142は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックから、フィールド情報を抽出することにより、図４９のフィールドフラグ抽出部11012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部10148に供給する。
【０８０１】
ノイズ検出フラグ判定部10143は、差分絶対値算出部10141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図４９のノイズ検出フラグ判定部11013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部10148に供給する。
【０８０２】
閾値選択部10144は、差分絶対値算出部10141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図４９の閾値選択部11014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部10145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部10146に供給する。
【０８０３】
サブコード生成部10145は、クラスタップ抽出部10134（水平差分クラスタップ抽出部10134a）から供給される水平差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の水平差分クラスコード生成部11015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部10148に供給する。
【０８０４】
サブコード生成部10146は、クラスタップ抽出部10134（垂直差分クラスタップ抽出部10134b）から供給される垂直差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の垂直差分クラスコード生成部11016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部10147に供給する。
【０８０５】
サブコード生成部10147は、サブコード生成部10146から供給される垂直差分クラスコードを用いて、図４９の垂直差分ゼロクラスコード生成部11017と同様の処理を行い、その結果得られる垂直差分ゼロクラスコードを、クラスコード出力部10148に供給する。
【０８０６】
クラスコード出力部10148は、図４９の水平クラスコード出力部11018と同様に、フィールドフラグ抽出部10142から供給されるフィールドフラグ、ノイズ検出フラグ判定部10143から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部10147から供給される垂直差分ゼロクラスコード、水平差分クラスコード生成部10145から供給される水平差分クラスコードの両端のビットを削除することで得られたコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部10136に出力する。
【０８０７】
次に、図６５のフローチャートを参照して、図６３の学習部10121における学習処理を説明する。
【０８０８】
ステップＳ10121において、ノイズ付加部10132は、原画像記憶部10131から原画像を読み出し、その原画像をMPEG符号化し、さらにMPEG復号することにより、生徒画像を生成し、予測タップ抽出部10133およびクラスタップ抽出部10134に供給する。
【０８０９】
処理は、ステップＳ10121からステップＳ10122に進み、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックに含まれる画素を順次、注目画素として、処理は、ステップＳ10123に進む。
【０８１０】
ステップＳ10123において、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部10136に供給する。
【０８１１】
処理は、ステップＳ10123からステップＳ10124に進み、クラスタップ抽出部10134は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、クラス分類部10135に供給する。
【０８１２】
処理は、ステップＳ10124からステップＳ10125に進み、クラス分類部10135は、クラスタップ抽出部10134から供給された水平クラスタップに基づき、図４７の水平クラス分類部10063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部10136に供給する。
【０８１３】
処理は、ステップＳ10125からステップＳ10126に進み、足し込み部10136は、原画像記憶部10131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部10133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部10135から供給された水平クラスコードごとに行う。
【０８１４】
処理は、ステップＳ10126からステップＳ10127に進み、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する注目ブロックの画素すべてを、注目画素としたか否かを判定する。
【０８１５】
ステップＳ10127において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ10122に戻り、予測タップ抽出部10133は、注目ブロックのうちの、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ10123に進み、以下、同様の処理を繰り返す。
【０８１６】
一方、ステップＳ10127において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ10128に進み、予測タップ抽出部10133は、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたか否かを判定する。
【０８１７】
ステップＳ10128において、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしていないと判定された場合、処理は、ステップＳ10122に戻り、予測タップ抽出部10133は、生徒画像を構成する８×８画素のブロックのうちの、まだ注目ブロックとされていないブロックを、新たな注目ブロックとし、その注目ブロックを構成する画素を注目画素として、処理は、ステップＳ10123に進み、以下、同様の処理を繰り返す。
【０８１８】
一方、ステップＳ10128において、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたと判定された場合、即ち、足し込み部10136においては、ノイズ付加部10132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部10136は、正規方程式を、係数算出部10137に供給する。そして、処理は、ステップＳ10128からステップＳ10129に進み、係数算出部10137は、足し込み部10136から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
【０８１９】
その後、学習処理は終了される。
【０８２０】
次に、図６６のフローチャートを参照して、図６５のステップＳ10125のクラス分類の処理を説明する。
【０８２１】
ステップＳ10141において、差分絶対値算出部10141は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックに基づいて、図４９の差分絶対値算出部11011と同一の処理を行うことで、水平画素間差分および垂直画素間差分を算出する。
【０８２２】
処理は、ステップＳ10141からステップＳ10142に進み、差分絶対値算出部10141は、算出した水平画素間差分および垂直画素間差分を用いて、図４９の差分絶対値算出部11011と同一の処理を行うことで、サブコード生成部10145や10146で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。
【０８２３】
また、差分絶対値算出部10141は、設定した水平エッジ検出フラグおよび垂直エッジ検出フラグを、ノイズ検出フラグ判定部10143に供給し、算出した閾値とともに、閾値選択部10144に供給する。
【０８２４】
さらに、ステップＳ10142において、閾値選択部10144は、差分絶対値算出部10141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図４９の閾値選択部11014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部10145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部10146に供給する。
【０８２５】
処理は、ステップＳ10142からステップＳ10143に進み、サブコード生成部10145は、クラスタップ抽出部10134（水平差分クラスタップ抽出部10134a）から供給される水平差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の水平差分クラスコード生成部11015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部10148に供給する。
【０８２６】
その後、処理は、ステップＳ10143からステップＳ10144に進み、サブコード生成部10146は、クラスタップ抽出部10134（垂直差分クラスタップ抽出部10134b）から供給される垂直差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の垂直差分クラスコード生成部11016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部10147に供給する。
【０８２７】
さらに、ステップＳ10144において、サブコード生成部10147は、サブコード生成部10146から供給される垂直差分クラスコードを用いて、図４９の垂直差分ゼロクラスコード生成部11017と同様の処理を行い、その結果得られる垂直差分ゼロクラスコードを、クラスコード出力部10148に供給する。
【０８２８】
処理は、ステップＳ10144からステップＳ10145に進み、フィールドフラグ抽出部10142は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックから、フィールド情報を抽出することにより、図４９のフィールドフラグ抽出部11012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部10148に供給する。
【０８２９】
処理は、ステップＳ10145からステップＳ10146に進み、ノイズ検出フラグ判定部10143は、差分絶対値算出部10141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図４９のノイズ検出フラグ判定部11013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部10148に供給する。
【０８３０】
処理は、ステップＳ10146からステップＳ10147に進み、クラスコード出力部10148は、図４９の水平クラスコード出力部11018と同様に、フィールドフラグ抽出部10142から供給されるフィールドフラグ、ノイズ検出フラグ判定部10143から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部10147から供給される垂直差分ゼロクラスコード、水平差分クラスコード生成部10145から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部10136に出力する。
【０８３１】
その後、処理は、図６５のステップＳ10125にリターンする。
【０８３２】
即ち、図６５のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、図６７乃至図７７を参照して行う説明においては、水平タップにおける学習処理という。
【０８３３】
なお、図６３の学習部10121において、予測タップ抽出部10133が垂直予測タップを抽出し、クラスタップ抽出部10134が垂直クラスタップを抽出して、クラス分類部10135が垂直クラス分類を行うこととすれば、水平係数に代えて、垂直係数を求めることができる。
【０８３４】
即ち、垂直係数を求める場合には、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックを構成する画素を順次、注目画素とする。さらに、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直予測タップ抽出部10065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップ（図４７の垂直予測タップ抽出部10065が注目画素について得る垂直予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直予測タップ）を得て、足し込み部10136に供給する。
【０８３５】
クラスタップ抽出部10134は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直クラスタップ抽出部10066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップ（図４７の垂直クラスタップ抽出部10066が注目画素について得る垂直クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直クラスタップ）を得て、クラス分類部10135に供給する。
【０８３６】
クラス分類部10135は、クラスタップ抽出部10134から供給された垂直クラスタップに基づき、図４７の垂直クラス分類部10067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部10136に供給する。
【０８３７】
足し込み部10136は、原画像記憶部10131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部10133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部10135から供給された垂直クラスコードごとに行う。
【０８３８】
即ち、足し込み部10136には、原画像記憶部10131に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部10133が出力する注目画素についての垂直予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部10135が出力する、垂直予測タップの垂直クラスを表す垂直クラスコードが供給される。
【０８３９】
そして、足し込み部10136は、クラス分類部10135から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０８４０】
さらに、足し込み部10136は、やはり、クラス分類部10135から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０８４１】
そして、足し込み部10136は、ノイズ付加部10132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各垂直クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部10137に供給する。
【０８４２】
係数算出部10137は、足し込み部10136から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’nを求めて出力する。
【０８４３】
以上のようにして、垂直係数ｗ’nを求める学習処理を、図６７乃至図７７を参照して行う説明においては、垂直タップにおける学習処理という。
【０８４４】
図４７の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数と、垂直タップにおける学習処理により求められた垂直係数とを用いて画像変換処理を行うことができる。
【０８４５】
図６６のクラス分類における処理において、ステップＳ10144では、例えば、垂直予測タップのクラスを表す垂直クラスコードの一部である垂直差分クラスコードを用いて、水平予測タップのクラスを表す水平クラスコードの一部である垂直差分ゼロクラスコードを求めている。即ち、水平予測タップの水平クラス分類をするにあたり、垂直予測タップのクラスを表す垂直クラスコードの一部を用いているため、水平予測タップの水平クラス分類では、垂直予測タップのクラスを考慮した水平クラス分類をすることができ、このため、垂直予測タップの垂直予測演算に用いる、垂直クラスに対応する垂直係数による垂直処理効果分を考慮した形で、水平予測タップの水平予測演算に用いる、水平クラスに対応する水平係数を学習することができる。
【０８４６】
また、図６５のステップＳ10123により、生徒画像から抽出される予測タップなどについては、注目ブロックと、注目ブロックに隣接するブロックとの境界を横切るように抽出されているため、注目ブロックのみから抽出される場合と比較して、MPEG復号画像に生じているブロック歪などを効果的に除去することができる係数を求めることができる。
【０８４７】
さらに、図６５のステップＳ10125のクラス分類では、例えば、水平差分クラスタップから水平差分クラスコードを生成するのに用いる閾値や、垂直差分クラスタップから垂直差分クラスコードを生成するのに用いる閾値、斜め差分クラスタップから斜め差分クラスコードを生成するのに用いる閾値として、最適な閾値を選択し、その最適な閾値を用いて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードを生成しているため、より適切なクラス分類をすることができる。
【０８４８】
次に、水平係数による水平処理効果分と、垂直係数による垂直処理効果分とが過剰となったり、相殺されることがないように、水平係数および垂直係数を学習する学習処理について説明する。
【０８４９】
図６７は、上述した図４７の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部10151の構成例を示すブロック図である。なお、図６７には、説明の便宜上、図４７の画像変換部３１に相当する画像変換部10152も図示してある。
【０８５０】
２段差分学習部10151は、水平タップ学習部10161、水平マッピング部10162、および垂直タップ差分学習部10163により構成される。
【０８５１】
水平タップ学習部10161は、図６３の学習部10121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部10162に供給する。
【０８５２】
水平マッピング部10162は、水平タップ学習部10161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部10161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部10163に供給する。なお、水平マッピング部10162には、水平タップ学習部10161などから、MPEG復号画像が供給される。
【０８５３】
垂直タップ差分学習部10163は、水平タップ学習部10161で教師画像として用いられる原画像と、水平マッピング部10162から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
【０８５４】
即ち、垂直タップ差分学習部10163は、原画像、MPEG復号画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。
【０８５５】
なお、垂直タップ差分学習部10163の、垂直タップにおける水平差分の差分学習処理は、後述する図６８を参照して、詳細に説明する。
【０８５６】
図４７の画像変換部３１における画像変換処理では、図６７の２段差分学習部10151により求められた水平係数および垂直係数を用いることができる。
【０８５７】
ここで、図６７において、画像変換部10152は、図４７の画像変換部３１と同様に構成される。画像変換部10152では、次のようにして、MPEG復号画像を原画像（の予測値）に変換する画像変換処理が行われる。
【０８５８】
即ち、画像変換部10152は、水平マッピング部10162、垂直差分マッピング部10164、および加算部10165により構成される。
【０８５９】
水平マッピング部10162は、図５６の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、および水平予測演算部10101で構成される水平マッピング部10071と同様に構成される。
【０８６０】
水平マッピング部10162は、水平タップ学習部10161での水平タップにおける学習処理により得られる水平係数を用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部10165に供給する。
【０８６１】
垂直差分マッピング部10164は、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、垂直予測演算部10102、およびゲイン調整部10103で構成される垂直差分マッピング部10073と同様に構成される。
【０８６２】
垂直差分マッピング部10164は、垂直タップ差分学習部10163での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部10165に供給する。
【０８６３】
加算部10165は、図５６の加算部10104と同様に構成され、水平マッピング部10162から供給された水平処理画像Ｈと、垂直差分マッピング部10164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ1）を出力する。
【０８６４】
次に、図６８は、垂直タップにおける水平差分の差分学習処理を行う図６７の垂直タップ差分学習部10163の詳細な構成例を示すブロック図である。
【０８６５】
即ち、図６８の垂直タップ差分学習部10163は、図６３の原画像記憶部10131乃至係数算出部10137とそれぞれ同様に構成される原画像記憶部11131乃至係数算出部11137と、図１１の差分画像生成部２３３と同様に構成される差分画像生成部10233とから構成される。
【０８６６】
図６８の垂直タップ差分学習部10163では、原画像と水平差分ｈとの差分である原画像―水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直係数を学習することから、原画像から水平マッピング処理による水平処理効果分としての水平差分ｈを差し引いた画像に、MPEG復号画像を変換する垂直係数が求められる。
【０８６７】
次に、図６９のフローチャートを参照して、図６７の２段差分学習部10151における２段差分学習処理を説明する。
【０８６８】
ステップＳ10171において、水平タップ学習部10161は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部10162に供給する。
【０８６９】
その後、処理は、ステップＳ10171からステップＳ10172に進み、水平マッピング部10162は、水平タップ学習部10161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部10161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部10163に供給する。
【０８７０】
そして、処理は、ステップＳ10172からステップＳ10173に進み、垂直タップ差分学習部10163は、水平タップ学習部10161で教師画像として用いられる原画像と、水平マッピング部10162から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
【０８７１】
その後、２段差分学習処理は、終了される。
【０８７２】
次に、図７０のフローチャートを参照して、図６９のステップＳ10173の、垂直タップにおける水平差分の差分学習処理の詳細を説明する。
【０８７３】
ステップＳ10201において、垂直タップ差分学習部10163（図６８）のノイズ付加部11132は、原画像記憶部11131に記憶されている原画像を読み出し、その原画像を、MPEG-2などで８×８画素のブロック単位でMPEG符号化し、さらに、MPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部10233、垂直予測タップ抽出部11133および垂直クラスタップ抽出部11134に供給する。なお、原画像記憶部11131には、図６７の水平タップ学習部10161で教師画像として用いられるのと同一の原画像が、記憶されている。
【０８７４】
処理は、ステップＳ10201からステップＳ10202に進み、差分画像生成部10233は、ノイズ付加部11132から供給されたMPEG復号画像ｘ1を、図６７の水平マッピング部10162から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
【０８７５】
また、ステップＳ10202において、差分画像生成部10233は、原画像記憶部11131に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部11136に供給する。
【０８７６】
その後、処理は、ステップＳ10202からステップＳ10203に進み、垂直予測タップ抽出部11133は、ノイズ付加部11132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックの画素を、注目画素として、処理は、ステップＳ10204に進む。
【０８７７】
ステップＳ10204において、垂直予測タップ抽出部11133は、ノイズ付加部11132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直予測タップ抽出部10065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部11136に供給する。
【０８７８】
そして、処理は、ステップＳ10204からステップＳ10205に進み、垂直クラスタップ抽出部11134は、ノイズ付加部11132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直クラスタップ抽出部10066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部11135に供給する。
【０８７９】
さらに、処理は、ステップＳ10205からステップＳ10206に進み、垂直クラス分類部11135は、垂直クラスタップ抽出部11134から供給された垂直クラスタップに基づき、図４７の垂直クラス分類部10067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部11136に供給して、ステップＳ10207に進む。
【０８８０】
ステップＳ10207において、足し込み部11136は、図６３の学習部10121の足し込み部10136と同様にして、差分画像生成部10233から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部11133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部11135から供給された垂直クラスコードごとに行う。
【０８８１】
処理は、ステップＳ10207からステップＳ10208に進み、ステップＳ10208およびステップＳ10209において、図６５のステップＳ10127およびステップＳ10128と同様の処理を行う。
【０８８２】
そして、ステップＳ10208からステップＳ10209に進み、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたと判定された場合、即ち、足し込み部11136においては、ノイズ付加部11132により生成された生徒画像の画素すべてを注目画素として、図６３の学習部10121と同様の足し込みを行うことにより、各垂直クラスについての正規方程式が得られた場合、足し込み部11136は、その正規方程式を、垂直タップ差分学習部10163の係数算出部11137に供給する。そして、ステップＳ10209からステップＳ10210に進み、係数算出部11137は、足し込み部11136から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’nを求めて出力する。
【０８８３】
その後、処理は、図６９のステップＳ10173にリターンする。
【０８８４】
次に、図７１は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10271の構成例を示すブロック図である。
【０８８５】
２段反復学習部10271は、図６７の２段差分学習部10151の水平タップ学習部10161乃至垂直タップ差分学習部10163それぞれと同様に構成される水平タップ学習部11161乃至垂直タップ差分学習部11163と、垂直マッピング部10284、および水平タップ差分学習部10285とから構成される。
【０８８６】
垂直マッピング部10284は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部11163から供給された垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部10285に供給する。
【０８８７】
水平タップ差分学習部10285は、水平タップ学習部11161で教師画像として用いられる原画像と、垂直マッピング部10284から供給された垂直処理画像Ｖとを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部11162に供給する。
【０８８８】
即ち、水平タップ差分学習部10285は、原画像、MPEG復号画像、および垂直処理画像Ｖから、後述するようにして、原画像と垂直差分ｖとの差分である原画像−垂直差分ｖを生成し、その原画像−垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平予測タップ及び水平クラスタップを用いて、水平係数を学習する、水平タップにおける垂直差分の差分学習処理を行う。
【０８８９】
なお、水平タップ差分学習部10285の、水平タップにおける垂直差分の差分学習処理は、後述する図７２を参照して、詳細に説明する。
【０８９０】
次に、図７２は、水平タップにおける垂直差分の差分学習処理を行う図７１の水平タップ差分学習部10285の詳細な構成例を示すブロック図である。
【０８９１】
水平タップ差分学習部10285は、図６８の垂直タップ差分学習部10163の原画像記憶部11131乃至係数算出部11137とそれぞれ同様に構成される原画像12131乃至係数算出部12137と、図１５の差分画像生成部２９３と同様に構成される差分画像生成部10293とから構成される。
【０８９２】
以上のように構成される水平タップ差分学習部10285では、原画像と垂直差分ｖとの差分である原画像―垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平係数を学習することから、原画像から垂直マッピング処理による垂直処理効果分としての垂直差分ｖを差し引いた画像に、MPEG復号画像を変換する水平係数が求められる。
【０８９３】
次に、図７３のフローチャートを参照して、図７１の２段反復学習部10271における２段反復学習処理を説明する。
【０８９４】
ステップＳ10241において、水平タップ学習部11161は、原画像を教師画像とするとともに、その原画像をMPEG符号化し、さらにMPEG復号したMPEG復号画像を生徒画像として、水平タップにおける学習処理を行い、その結果得られた水平係数を、水平マッピング部11162に供給して、処理は、ステップＳ10242に進む。
【０８９５】
ステップＳ10242において、水平マッピング部11162および垂直タップ差分学習部11163により、垂直係数が生成される。
【０８９６】
即ち、ステップＳ10242では、ステップＳ10251とステップＳ10252の処理が行われる。
【０８９７】
ステップＳ10251では、水平マッピング部11162は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、水平タップ学習部11161から供給される水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部11163に供給して、処理は、ステップＳ10252に進む。
【０８９８】
ステップＳ10252において、垂直タップ差分学習部11163は、水平タップ学習部11161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および水平マッピング部11162から供給された水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を生成する。
【０８９９】
また、ステップＳ10252において、垂直タップ差分学習部11163は、生成した垂直係数を、垂直マッピング部10284に供給する。
【０９００】
ステップＳ10251およびステップＳ10252の処理、つまり、ステップＳ10242の処理が終了すると、処理は、ステップＳ10242からステップＳ10243に進み、垂直マッピング部10284および水平タップ差分学習部10285により、水平係数が生成される。
【０９０１】
即ち、ステップＳ10243では、ステップＳ10261とステップＳ10262の処理が行われる。
【０９０２】
ステップＳ10261において、垂直マッピング部10284は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部11163から供給された垂直係数とを用いて垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部10285に供給して、処理は、ステップＳ10262に進む。
【０９０３】
ステップＳ10262において、水平タップ差分学習部10285は、水平タップ学習部11161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部10284から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を生成する。
【０９０４】
また、ステップＳ10262において、水平タップ差分学習部10285は、生成した水平係数を、水平マッピング部11162に供給する。
【０９０５】
ステップＳ10261およびステップＳ10262の処理、つまり、ステップＳ10243の処理が終了すると、処理は、ステップＳ10243からステップＳ10242に戻り、水平マッピング部11162および垂直タップ差分学習部11163により、前回、水平タップ差分学習部10285により生成された水平係数に基づいて、垂直係数が生成され、以下、同様の処理が繰り返される。
【０９０６】
即ち、ステップＳ10242のステップＳ10251では、水平マッピング部11162は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部10285から供給された水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部11163に供給して、処理は、ステップＳ10252に進み、以下、同様の処理を繰り返す。
【０９０７】
なお、図７３の２段反復学習処理では、図１６の２段反復学習処理の場合と同様のタイミングで、処理を終了することができる。
【０９０８】
次に、図７４のフローチャートを参照して、図７３のステップＳ10262の、水平タップにおける垂直差分の差分学習処理を詳細に説明する。
【０９０９】
ステップＳ10271において、水平タップ差分学習部10285（図７２）のノイズ付加部12132は、原画像記憶部12131に記憶されている原画像を読み出し、その原画像を、８×８画素のブロック単位でMPEG符号化しMPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部10293、水平予測タップ抽出部12133および水平クラスタップ抽出部12134に供給する。なお、原画像記憶部12131には、図７１の水平タップ学習部11161で教師画像として用いられるのと同一の原画像が、記憶されている。
【０９１０】
処理は、ステップＳ10271からステップＳ10272に進み、差分画像生成部10293は、ノイズ付加部12132から供給されたMPEG復号画像ｘ1を、図７１の垂直マッピング部10284から供給された垂直処理画像Ｖ＝ｖ＋ｘ1から差し引くことで、垂直差分ｖを生成する。
【０９１１】
また、ステップＳ10272において、差分画像生成部10293は、原画像記憶部12131に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部12136に供給する。
【０９１２】
処理は、ステップＳ10272からステップＳ10273に進み、水平予測タップ抽出部12133は、ノイズ付加部12132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックの画素を注目画素として、処理は、ステップＳ10274に進む。
【０９１３】
ステップＳ10274において、水平予測タップ抽出部12133は、ノイズ付加部12132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部12136に供給する。
【０９１４】
処理は、ステップＳ10274からステップＳ10275に進み、水平クラスタップ抽出部12134は、ノイズ付加部12132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部12135に供給する。
【０９１５】
処理は、ステップＳ10275からステップＳ10276に進み、水平クラス分類部12135は、水平クラスタップ抽出部12134から供給された水平クラスタップに基づき、図４７の水平クラス分類部10063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部12136に供給する。
【０９１６】
処理は、ステップＳ10276からステップＳ10277に進み、足し込み部12136は、図６３の学習部10121の場合と同様にして、差分画像生成部10293から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部12133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部12135から供給された水平クラスコードごとに行う。
【０９１７】
処理は、ステップＳ10277からステップＳ10278に進み、ステップＳ10278およびステップＳ10279において、図６５のステップＳ10127およびステップＳ10128と同様の処理を行い、ステップＳ10278からステップＳ10279に進み、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたと判定された場合、即ち、足し込み部12136においては、ノイズ付加部12132により生成された生徒画像の画素すべてを注目画素として、図６３の学習部10121と同様の足し込みを行うことにより、各水平クラスについての正規方程式が得られた場合、足し込み部12136は、その正規方程式を、係数算出部12137に供給する。そして、処理は、ステップＳ10279からステップＳ10280に進み、係数算出部12137は、足し込み部12136から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
【０９１８】
その後、処理は、図７３のステップＳ10262にリターンする。
【０９１９】
図７５は、２段差分学習部10301の構成例を示すブロック図である。なお、図７５には、説明の便宜上、図４７の画像変換部３１に相当する画像変換部10302も図示してある。
【０９２０】
２段差分学習部10301は、垂直タップ学習部10311、垂直マッピング部10312、および水平タップ差分学習部10313により構成される。
【０９２１】
垂直タップ学習部10311は、図６３の学習部10121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部10312に供給する。
【０９２２】
垂直マッピング部10312は、垂直タップ学習部10311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ学習部10311から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られる垂直処理画像Ｖを、水平タップ差分学習部10313に供給する。なお、垂直マッピング部10312には、垂直タップ学習部10311などから、MPEG復号画像が供給される。
【０９２３】
水平タップ差分学習部10313は、垂直タップ学習部10311で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部10312から供給される垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を学習する。
【０９２４】
２段差分学習部10301の垂直タップ学習部10311で求められた垂直係数と、水平タップ差分学習部10313で求められた水平係数とは、図４７の画像変換部３１に相当する画像変換部10302での画像変換処理に用いられる。
【０９２５】
即ち、画像変換部10302は、垂直マッピング部10312、水平差分マッピング部10314、および加算部10315により構成される。
【０９２６】
図７５の画像変換部10302では、垂直マッピング部10312が垂直処理画像Ｖ＝ｖ＋ｘ1を生成し、水平差分マッピング部10314が水平差分ｈを生成して、加算部10315が、垂直マッピング部10312により生成された垂直処理画像Ｖ＝ｖ＋ｘ1と、水平差分マッピング部10314により生成された水平差分ｈとを加算し、その結果得られた垂直水平処理画像Ｖ＋ｈを出力する。
【０９２７】
具体的には、垂直マッピング部10312は、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、および垂直予測演算部10102で構成される垂直マッピング部10072と同様に構成される。
【０９２８】
垂直マッピング部10312は、垂直タップ学習部10311での垂直タップにおける学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その垂直処理画像Ｖを、加算部10315に供給する。
【０９２９】
水平差分マッピング部10314は、図６２の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、水平予測演算部10101、およびゲイン調整部10112で構成される水平差分マッピング部10111と同様に構成される。
【０９３０】
水平差分マッピング部10314は、水平タップ差分学習部10313での水平タップにおける垂直差分の差分学習処理により得られる水平係数を用いて、MPEG復号画像を水平差分ｈに変換する水平差分マッピング処理を行い、その水平差分ｈを、加算部10315に供給する。
【０９３１】
加算部10315は、図５６の加算部10104と同様に構成され、垂直マッピング部10312から供給された垂直処理画像Ｖと、水平差分マッピング部10314から供給された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した垂直水平処理画像を出力する。
【０９３２】
ところで、図７５の２段差分学習部10301で求められる垂直係数と水平係数によれば、図６７の２段差分学習部10151で求められる水平係数と垂直係数と同様に、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等とならない。
【０９３３】
そこで、図７６は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10331の構成例を示すブロック図である。
【０９３４】
２段反復学習部10331は、垂直タップ学習部11311、垂直マッピング部11312、水平タップ差分学習部11313、水平マッピング部10324、および垂直タップ差分学習部10325により構成される。
【０９３５】
垂直タップ学習部11311は、図６３の学習部10121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部11312に供給する。
【０９３６】
垂直マッピング部11312は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ学習部11311から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部11313に供給する。なお、垂直マッピング部11312には、垂直タップ学習部11311などから、MPEG復号画像が供給される。
【０９３７】
水平タップ差分学習部11313は、垂直タップ学習部11311で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部11312から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部10324に供給する。
【０９３８】
水平マッピング部10324は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部11313から供給された水平係数とを用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部10325に供給する。
【０９３９】
垂直タップ差分学習部10325は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像の画素値ｘ1を、水平マッピング部10324から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
【０９４０】
また、垂直タップ差分学習部10325は、垂直タップ学習部11311で教師画像として用いられる原画像から、生成した水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像を生徒画像として、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直マッピング部11312に供給する。
【０９４１】
垂直タップ差分学習部10325により垂直係数が求められると、以降、垂直マッピング部11312は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ差分学習部10325から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部11313に供給する。
【０９４２】
図７７は、図１の画像変換部３１の第６の構成例を示すブロック図である。
【０９４３】
なお、図中、図４７の画像変換部３１の場合に対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
【０９４４】
即ち、図７７の画像変換部３１は、図４７の水平クラスタップ抽出部10062、水平クラス分類部10063、垂直クラスタップ抽出部10066、および垂直クラス分類部10067に代えて、水平差分クラスタップ抽出部13062、水平クラス分類部13063、垂直差分クラスタップ抽出部13066、垂直クラス分類部13067、ブロック抽出部13070、およびブロック処理部13071が設けられている他は、図４７の場合と同様に構成される。
【０９４５】
また、水平差分クラスタップ抽出部13062、垂直差分クラスタップ抽出部13066、ブロック抽出部13070それぞれは、図４７の水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれと同様に構成される。
【０９４６】
さらに、水平クラス分類部13063の水平差分クラスコード生成部13063a、垂直差分ゼロクラスコード生成部13063b、水平クラスコード出力部13063cそれぞれは、図４９の水平差分クラスコード生成部11015、垂直差分ゼロクラスコード生成部11017、水平クラスコード出力部11018それぞれと同様に構成される。
【０９４７】
また、垂直クラス分類部13067の垂直差分クラスコード生成部13067a、水平差分ゼロクラスコード生成部13067b、垂直クラスコード出力部13067cそれぞれは、図５４の垂直差分クラスコード生成部11035、水平差分ゼロクラスコード生成部11037、垂直クラスコード出力部11038それぞれと同様に構成される。
【０９４８】
ブロック処理部13071の差分絶対値算出部13071a、フィールドフラグ抽出部13071b、閾値選択部13071c、ノイズ検出フラグ判定部13071dそれぞれは、図４９の差分絶対値算出部11011、フィールドフラグ抽出部11012、閾値選択部11014、ノイズ検出フラグ判定部11013それぞれと同様に構成される。
【０９４９】
図７８は、図１の画像変換部３１の第７の構成例を示すブロック図である。
【０９５０】
なお、図中、図４７の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０９５１】
即ち、図７８の画像変換部３１は、図４７の水平係数記憶部10064、垂直係数記憶部10068、および予測演算部10069に代えて、水平係数記憶部20064、垂直係数記憶部20068、および予測演算部20069が設けられており、さらに、モード判定部20031および20032が新たに設けられている他は、図４７の画像変換部３１の場合と同様に構成されている。
【０９５２】
モード判定部20031には、水平予測タップ抽出部10061から、MPEG復号画像における注目画素の位置を表す位置情報が供給される。
【０９５３】
モード判定部20031は、そこに供給される位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、予測演算部20069に供給する。ここで、画素位置モードとは、MPEG復号画像の８×８画素の各ブロックにおける各画素の位置を表す情報である。
【０９５４】
モード判定部20031は、そこに供給される位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックの中心を通る、水平方向および垂直方向に延びる線分により区分された左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを判定し、その結果得られた領域情報を、予測演算部20069に供給する。
【０９５５】
また、モード判定部20032には、垂直予測タップ抽出部10065から、MPEG復号画像における注目画素の位置情報が供給される。そして、モード判定部20032は、モード判定部20031と同様の処理を行い、その結果得られる画素位置モードと領域情報を、同じく、予測演算部20069に供給する。
【０９５６】
水平係数記憶部20064には、水平クラス分類部10063から、水平クラスコードが供給される。
【０９５７】
水平係数記憶部20064は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部10063から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部10063から供給された水平クラスコードが表す水平クラスに対応する水平係数）すべてを、予測演算部20069に出力する。
【０９５８】
垂直係数記憶部20068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している垂直係数のセットのうちの、垂直クラス分類部10067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部10067から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部20069に出力する。
【０９５９】
なお、予測演算部20069には、水平予測タップ抽出部10061から水平予測タップが、垂直予測タップ抽出部10065から垂直予測タップが、それぞれ、供給される。
【０９６０】
予測演算部20069は、水平予測タップ抽出部10061から供給された水平予測タップ、垂直予測タップ抽出部10065から供給された垂直予測タップ、水平係数記憶部10064から供給された水平係数、垂直係数記憶部10068から供給された垂直係数、モード判定部20031，20032から供給された注目画素の画素位置モードおよび領域情報に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
【０９６１】
図７９は、図７８の予測演算部20069の構成例を示すブロック図である。
【０９６２】
図７８の予測演算部20069は、図５６のゲイン調整部10103、加算部10104それぞれと同様に構成されるゲイン調整部20103、加算部20104それぞれと、水平予測演算部20101、垂直予測演算部20102により構成される。
【０９６３】
水平予測演算部20101には、水平係数記憶部20064から複数の水平係数、水平予測タップ抽出部10061から水平予測タップｘn、さらには、モード判定部20031から注目画素の画素位置モードおよび領域情報が供給される。
【０９６４】
水平予測演算部20101は、水平係数記憶部20064から供給された複数の水平係数の中から、モード判定部20031から供給された、注目画素の画素位置モードに対応する水平係数を取得する。
【０９６５】
また、水平予測演算部20101は、取得した水平係数と、水平予測タップ抽出部10061からの水平予測タップｘnとを用いて、モード判定部20031からの注目画素の領域情報に対応した水平予測演算を行い、その結果得られた水平画素の画素値Ｈを、加算部10104に供給する。
【０９６６】
垂直予測演算部20102には、垂直係数記憶部20068から複数の垂直係数、垂直予測タップ抽出部10065から垂直予測タップｘ’n、さらには、モード判定部20032から注目画素の画素位置モードおよび領域情報が供給される。
【０９６７】
垂直予測演算部20102は、垂直係数記憶部20068から供給された複数の垂直係数の中から、モード判定部20032から供給された、注目画素の画素位置モードに対応する垂直係数を取得する。
【０９６８】
また、垂直予測演算部20102は、取得した垂直係数と、垂直予測タップ抽出部10065からの垂直予測タップｘ’nとを用いて、モード判定部20032からの注目画素の領域情報に対応した垂直予測演算を行い、その結果得られた垂直画素の画素値Ｖを、ゲイン調整部20103に供給する。
【０９６９】
ここで、図７９の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部20064、モード判定部20031、および水平予測演算部20101を総称して水平マッピング部20071といい、その水平マッピング部20071が、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。
【０９７０】
さらに、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、モード判定部20032、および垂直予測演算部20102を総称して垂直マッピング部20072といい、その垂直マッピング部20072が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。
【０９７１】
また、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、モード判定部20032、垂直予測演算部20102、およびゲイン調整部20103を総称して垂直差分マッピング部20073といい、その垂直差分マッピング部20073が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。
【０９７２】
図８０は、図７８のモード判定部20031や20032が判定する画素位置モードや領域情報を説明する図である。
【０９７３】
図中、左側には、１６×１６画素のマクロブロックの構造が、フレーム構造である場合の、MPEG復号画像の８×８画素のブロックの画素に割り当てられた画素位置モードを表している。
【０９７４】
即ち、画素位置モードにおいては、８×８画素のブロックを、そのブロックの中心を通る、水平方向に延びた水平線および垂直方向に延びた垂直線により、４×４画素の左上のブロックである左上領域、４×４画素の右上のブロックである右上領域、４×４画素の左下のブロックである左下領域、および４×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至Ｆを割り当てる。
【０９７５】
そして、左上領域の各画素において、水平線または垂直線を基準として、線対称の位置関係にある画素、および８×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。
【０９７６】
モード判定部20031は、水平予測タップ抽出部10061から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の位置に対応する画素位置モードと、注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、および右下領域のうちのいずれかの領域に位置するかを示す領域情報を判定する。
【０９７７】
そして、水平予測演算部20101は、モード判定部20031から供給される注目画素の領域情報に対応した水平予測演算を行う。
【０９７８】
同様にして、モード判定部20032は、垂直予測タップ抽出部10065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の位置に対応する画素位置モードと、注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、および右下領域のうちのいずれかの領域に位置するかを示す領域情報を判定する。
【０９７９】
そして、垂直予測演算部20102は、モード判定部20032から供給される注目画素の領域情報に対応した垂直予測演算を行う。
【０９８０】
即ち、注目画素の領域情報が、注目画素が左上領域に位置することを表す情報である場合、水平予測タップや垂直予測タップをそのままの状態で、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。
【０９８１】
具体的には、例えば、注目画素ｘ1を中心として、水平方向に並ぶ９画素である水平方向のタップ４１（図２）を水平予測タップｘ1乃至ｘ9として、水平係数記憶部20064から出力され、注目画素の画素位置モードに対応する水平係数をｗ1乃至ｗ9とすれば、水平予測演算部20101は、ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ8ｘ8＋ｗ9ｘ9という演算を行う。また、例えば、注目画素ｘ1（＝ｘ’1）を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２（図２）を垂直予測タップｘ’1乃至ｘ’9として、垂直係数記憶部20068から出力され、注目画素の画素位置モードに対応する垂直係数をｗ’1乃至ｗ’9とすれば、垂直予測演算部20102は、ｗ’1ｘ’1＋ｗ’2ｘ’2＋・・・＋ｗ’8ｘ’8＋ｗ’9ｘ’9という演算を行う。
【０９８２】
また、注目画素の領域情報が、注目画素が右上領域に位置することを表す情報である場合、水平予測タップや垂直予測タップを、注目画素を中心として左右反転し、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。
【０９８３】
具体的には、例えば、注目画素ｘ1を中心として、水平方向に並ぶ９画素である水平方向のタップ４１（図２）を水平予測タップｘ1乃至ｘ9として、水平係数記憶部20064から出力され、注目画素の画素位置モードに対応する水平係数をｗ1乃至ｗ9とすれば、水平予測演算部20101は、水平予測タップｘ1乃至ｘ9を、注目画素を中心として左右反転し、水平係数ｗ1乃至ｗ9と乗算することで、ｗ1ｘ9＋ｗ2ｘ8＋・・・＋ｗ8ｘ2＋ｗ9ｘ1を得る。なお、垂直予測タップが、注目画素を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２である場合には、垂直予測タップを左右反転しても、垂直予測タップの位置関係に変化はないため、結果として、垂直予測演算部20102は、ｗ’1ｘ’1＋ｗ’2ｘ’2＋・・・＋ｗ’8ｘ’8＋ｗ’9ｘ’9を得る。
【０９８４】
さらに、注目画素の領域情報が、注目画素が左下領域に位置することを表す情報である場合、水平予測タップや垂直予測タップを、注目画素を中心として上下反転し、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。
【０９８５】
具体的には、例えば、注目画素ｘ1を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２（図２）を垂直予測タップｘ’1乃至ｘ’9として、垂直係数記憶部20068から出力され、注目画素の画素位置モードに対応する垂直係数をｗ’1乃至ｗ’9とすれば、垂直予測演算部20102は、垂直予測タップｘ’1乃至ｘ’9を、注目画素を中心として上下反転し、垂直係数ｗ’1乃至ｗ’9と乗算することで、ｗ’1ｘ’9＋ｗ’2ｘ’8＋・・・＋ｗ’8ｘ’2＋ｗ’9ｘ’1を得る。なお、水平予測タップが、注目画素を中心として、水平方向に並ぶ９画素である水平方向のタップ４１である場合には、水平予測タップを上下反転しても、水平予測タップの位置関係に変化はないため、結果として、水平予測演算部20101は、ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ8ｘ8＋ｗ9ｘ9を得る。
【０９８６】
また、注目画素の領域情報が、注目画素が右下領域に位置することを表す情報である場合、水平予測タップや垂直予測タップを、注目画素を中心として左右反転および上下反転し、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。
【０９８７】
具体的には、例えば、注目画素ｘ1を中心として、水平方向に並ぶ９画素である水平方向のタップ４１（図２）を水平予測タップｘ1乃至ｘ9として、水平係数記憶部20064から出力され、注目画素の画素位置モードに対応する水平係数をｗ1乃至ｗ9とすれば、水平予測演算部20101は、水平予測タップｘ1乃至ｘ9を、注目画素を中心として左右反転し、水平係数ｗ1乃至ｗ9と乗算することで、ｗ1ｘ9＋ｗ2ｘ8＋・・・＋ｗ8ｘ2＋ｗ9ｘ1を得る。なお、ここでは、水平予測タップを、水平方向に並ぶ水平方向のタップ４１としていることから、水平予測タップを上下反転しても、水平予測タップの位置関係に変化はないため、水平予測演算部20101は、注目画素の領域情報が、注目画素が右上領域に位置することを表す情報である場合と同様に、ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ8ｘ8＋ｗ9ｘ9を得る。
【０９８８】
また、例えば、注目画素ｘ1を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２（図２）を垂直予測タップｘ’1乃至ｘ’9として、垂直係数記憶部20068から出力され、注目画素の画素位置モードに対応する垂直係数をｗ’1乃至ｗ’9とすれば、垂直予測演算部20102は、垂直予測タップｘ’1乃至ｘ’9を、注目画素を中心として上下反転し、垂直係数ｗ’1乃至ｗ’9と乗算することで、ｗ’1ｘ’9＋ｗ’2ｘ’8＋・・・＋ｗ’8ｘ’2＋ｗ’9ｘ’1を得る。なお、ここでは、垂直予測タップを、垂直方向に並ぶ垂直方向のタップ４２としていることから、垂直予測タップを左右反転しても、垂直予測タップの位置関係に変化はないため、垂直予測演算部20102は、注目画素の領域情報が、注目画素が左下領域に位置することを表す情報である場合と同様に、ｗ’1ｘ’1＋ｗ’2ｘ’2＋・・・＋ｗ’8ｘ’8＋ｗ’9ｘ’9を得る。
【０９８９】
なお、図中、右側には、１６×１６画素のマクロブロックの構造が、フィールド構造である場合の、MPEG復号画像の８×８画素のブロックの画素に割り当てられた画素位置モードを表しており、１６×１６画素のマクロブロックの構造が、フレーム構造である場合に対応する画素において、同様にして、画素位置モードが割り当てられている。
【０９９０】
即ち、図中、右側に示されるように、斜線部分が表す偶数ラインと白色の部分が表す奇数ラインで構成される１６×１６画素のマクロブロックについて、１６×１６画素のマクロブロックの右半分において構成される奇数ラインの各画素に画素位置モードを割り当てる。
【０９９１】
さらに、１６×１６画素のマクロブロックの右半分において構成される偶数ラインの各画素、１６×１６画素のマクロブロックの左半分において構成される奇数ラインの各画素、および偶数ラインの各画素についても、１６×１６画素のマクロブロックの右半分において構成される奇数ラインの各画素に画素位置モードを割り当てたように、画素位置モードを割り当てる。
【０９９２】
また、１６×１６画素のマクロブロックの左半分において構成される奇数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が左上領域に位置することを表す情報とし、１６×１６画素のマクロブロックの右半分において構成される奇数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が右上領域に位置することを表す情報となる。
【０９９３】
さらに、１６×１６画素のマクロブロックの左半分において構成される偶数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が左下領域に位置することを表す情報とし、１６×１６画素のマクロブロックの右半分において構成される偶数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が右下領域に位置することを表す情報となる。
【０９９４】
次に、図８１のフローチャートを参照して、図７８の画像変換部３１における画像変換処理を説明する。
【０９９５】
この画像変換処理は、例えば、MPEG-2などにより、８×８画素のブロック単位でMPEG符号化されたMPEG符号化画像が、チューナで受信された放送番組の画像や、記録媒体から再生される画像として、画像変換部３１に供給されたときに開始される。このとき、MPEG符号化画像は、図示せぬデコーダに供給され、MPEG復号されて、MPEG復号画像として、水平予測タップ抽出部10061、水平クラスタップ抽出部10062、垂直予測タップ抽出部10065、および垂直クラスタップ抽出部10066に供給される。
【０９９６】
ステップＳ20031において、水平マッピング部20071の水平予測タップ抽出部10061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックの画素を注目画素として、処理は、ステップＳ20032に進む。
【０９９７】
ステップＳ20032において、水平マッピング部20071は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部20104に供給して、処理は、ステップＳ20033に進み、垂直差分マッピング部20073は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部20104に供給して、処理は、ステップＳ20034に進む。
【０９９８】
ステップＳ20034において、加算部20104は、水平マッピング部20071からの水平処理画像Ｈと、垂直差分マッピング部20073からの垂直差分ｖとを加算し、注目画素に対応する、ノイズ除去画像の画素の画素値ｙ＝Ｈ＋ｖを得て出力する。
【０９９９】
その後、処理は、ステップＳ20034からステップＳ20035に進み、ステップＳ20035およびステップＳ20036において、図５７のステップＳ10035およびステップＳ10036と同様の処理を行う。
【１０００】
ステップＳ20036において、MPEG復号画像を構成する８×８画素のブロックすべてを注目画素としたと判定された場合、画像変換処理は終了される。
【１００１】
次に、図８２のフローチャートを参照して、図８１のステップＳ20032における水平マッピング処理の詳細を説明する。
【１００２】
ステップＳ20061乃至ステップＳ20064において、図５８のステップＳ10061乃至ステップＳ10064と同様の処理を行い、処理は、ステップＳ20064からステップＳ20065に進み、水平マッピング部20071のモード判定部20031は、水平予測タップ抽出部10061から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、水平予測演算部20101に供給する。なお、モード判定部20031には、水平予測タップ抽出部10061から、注目画素の位置情報が供給される。
【１００３】
処理は、ステップＳ20065からステップＳ20066に進み、さらに、水平マッピング部20071のモード判定部20031は、水平予測タップ抽出部10061から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、水平予測演算部20101に供給して、処理は、ステップＳ20067に進む。
【１００４】
ステップＳ20067において、水平マッピング部20071の水平予測演算部20101は、水平係数記憶部20064から供給された複数の水平係数の中から、モード判定部20031から供給された画素位置モードに対応する水平係数ｗnを取得し、その水平係数と、水平予測タップ抽出部10061からの水平予測タップｘnとを用いて、モード判定部20031からの領域情報に対応した水平予測演算を行い、その結果得られた水平処理画像Ｈを、加算部20104に供給し、その後、処理は、図８１のステップＳ20032にリターンして、その後の処理を行う。
【１００５】
次に、図８３のフローチャートを参照して、図８１のステップＳ20033における垂直差分マッピング処理の詳細を説明する。
【１００６】
ステップＳ20091乃至ステップＳ20094において、図６０のステップＳ10091乃至ステップＳ10094と同様の処理を行い、処理は、ステップＳ20094からステップＳ20095に進み、垂直差分マッピング部20073のモード判定部20032は、垂直予測タップ抽出部10065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、垂直予測演算部20102に供給する。なお、モード判定部20032には、垂直予測タップ抽出部10065から、注目画素の位置情報が供給される。
【１００７】
処理は、ステップＳ20095からステップＳ20096に進み、垂直差分マッピング部20073のモード判定部20032は、垂直予測タップ抽出部10065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、やはり、垂直予測演算部20102に供給して、処理は、ステップＳ20097に進む。
【１００８】
ステップＳ20097において、垂直差分マッピング部20073の垂直予測演算部20102は、垂直係数記憶部20068から供給された複数の垂直係数の中から、モード判定部20032から供給された画素位置モードに対応する垂直係数ｗ’nを取得し、その垂直係数ｗ’nと、垂直予測タップ抽出部10065からの垂直予測タップｘ’nとを用いて、モード判定部20032からの領域情報に対応した垂直予測演算を行い、その結果得られた垂直処理画像Ｖを、ゲイン調整部20103に供給する。
【１００９】
その後、処理は、ステップＳ20097からステップＳ20098に進み、図６０のステップＳ10096と同様の処理を行い、処理はステップＳ20098から図８１のステップＳ20033にリターンして、その後の処理を行う。
【１０１０】
次に、後の説明を簡単にするために、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。
【１０１１】
即ち、図８４は、水平差分マッピング処理を行う水平差分マッピング部20111の構成例を示すブロック図である。
【１０１２】
なお、図中、図７９の水平マッピング部20071の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【１０１３】
即ち、図８４の水平差分マッピング部20111は、図６２のゲイン調整部10112と同様に構成されるゲイン調整部20112が新たに設けられているほかは、図７９の水平マッピング部20071の場合と同様に構成されている。
【１０１４】
次に、図８５を参照して、式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗnを求める学習を行う学習部20121を説明する。
【１０１５】
図８５は、水平係数ｗnを求める学習を行う学習部20121の構成例を示すブロック図である。
【１０１６】
図８５の学習部20121は、原画像記憶部20131、ノイズ付加部20132、予測タップ抽出部20133、クラスタップ抽出部20134、クラス分類部20135、足し込み部20136、係数算出部20137、およびモード判定部20141により構成される。
【１０１７】
なお、図８５の学習部20121の原画像記憶部20131乃至クラス分類部20135それぞれは、図６３の学習部10121の原画像記憶部10131乃至クラス分類部10135それぞれと同様に構成される。
【１０１８】
モード判定部20141には、予測タップ抽出部20133から、注目画素の位置情報が供給される。
【１０１９】
モード判定部20141は、そこに供給される位置情報に基づいて、図７８のモード判定部20031と同様の処理を行い、その結果得られる注目画素の画素位置モードおよび領域情報を、足し込み部20136に供給する。
【１０２０】
足し込み部20136は、原画像記憶部20131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、注目画素に対応する、教師画像の画素と、予測タップ抽出部20133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部20135から供給された水平クラスコードと、モード判定部20141から供給された画素位置モードとのセットごとに行う。
【１０２１】
即ち、足し込み部20136には、原画像記憶部20131に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部20133が出力する注目画素についての水平予測タップを構成する生徒画像の画素の画素値、クラス分類部20135が出力する、水平予測タップの水平クラスを表す水平クラスコード、モード判定部20141から供給された画素位置モードおよび領域情報が供給される。
【１０２２】
そして、足し込み部20136は、クラス分類部20135から供給された水平クラスコードに対応する水平クラスと、モード判定部20141から供給された画素位置モードのセットごとに、モード判定部20141から供給された領域情報に応じて、予測タップ抽出部20133が出力する注目画素についての水平予測タップを左右反転や上下反転することにより得られる、水平予測タップ（生徒画像）を構成する画素の画素値ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【１０２３】
さらに、足し込み部20136は、やはり、クラス分類部20135から供給された水平クラスコードに対応する水平クラスと、モード判定部20141から供給された画素位置モードのセットごとに、水平予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【１０２４】
即ち、足し込み部20136は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘn,k+1および教師画像ｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
【１０２５】
そして、足し込み部20136は、ノイズ付加部20132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、水平クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部20137に供給する。
【１０２６】
係数算出部20137は、足し込み部20136から供給された各セットについての正規方程式を解くことにより、各セットについて、水平係数ｗnを求めて出力する。
【１０２７】
次に、図８６のフローチャートを参照して、図８５の学習部20121における学習処理を説明する。
【１０２８】
ステップＳ20121乃至ステップＳ20125において、図６５のステップＳ10121乃至ステップＳ10125と同様の処理を行い、処理は、ステップＳ20126に進む。
【１０２９】
ステップＳ20126において、モード判定部20141は、そこに供給される位置情報に基づいて、図７８のモード判定部20031と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部20136に供給する。なお、モード判定部20141には、予測タップ抽出部20133から、注目画素の位置情報が供給される。
【１０３０】
処理は、ステップＳ20216からステップＳ20217に進み、モード判定部20141は、そこに供給される位置情報に基づいて、図７８のモード判定部20031と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部20136に供給する。
【１０３１】
処理は、ステップＳ20127からステップＳ20128に進み、足し込み部20136は、原画像記憶部20131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部20133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部20135から供給された水平クラスコードと、モード判定部20141から供給された画素位置モードのセットごとに行う。
【１０３２】
処理は、ステップＳ20128からステップＳ20129に進み、ステップＳ20129およびステップＳ20130において、図６５のステップＳ10127およびステップＳ10128と同様の処理を行う。
【１０３３】
ステップＳ20130では、生徒画像において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部20136においては、ノイズ付加部20132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、水平クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部20136は、正規方程式を、係数算出部20137に供給する。そして、処理は、ステップＳ20130からステップＳ20131に進み、係数算出部20137は、足し込み部20136から供給された水平クラスおよび画素位置モードのセットそれぞれについての正規方程式を解くことにより、各セットについて、水平係数ｗnを求めて出力する。
【１０３４】
その後、学習処理は終了される。
【１０３５】
ここで、図８６のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、以下、適宜、水平タップにおける学習処理という。
【１０３６】
なお、図８５の学習部20121において、予測タップ抽出部20133が垂直予測タップを抽出し、クラスタップ抽出部20134が垂直クラスタップを抽出して、クラス分類部20135が垂直クラス分類を行うこととすれば、図６３の学習部10121の場合と同様に、水平係数に代えて、垂直係数を求めることができる。
【１０３７】
図８５の学習部20121において、垂直係数ｗ’nを求める学習処理を、以下、適宜、垂直タップにおける学習処理という。
【１０３８】
図７８の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数と、垂直タップにおける学習処理により求められた垂直係数とを用いて画像変換処理を行うことができる。
【１０３９】
次に、図８５の学習部20121で学習される水平係数と垂直係数のように、水平係数による水平処理効果分と、垂直係数による垂直処理効果分とが過剰となったり、相殺されることがないように、水平係数および垂直係数を学習する学習処理について説明する。
【１０４０】
図８７は、上述した図７８の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部20151の構成例を示すブロック図である。なお、図８７には、説明の便宜上、図７８の画像変換部３１に相当する画像変換部20152も図示してある。
【１０４１】
２段差分学習部20151は、水平タップ学習部20161、水平マッピング部20162、および垂直タップ差分学習部20163により構成される。
【１０４２】
水平タップ学習部20161は、図８５の学習部20121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部20162に供給する。
【１０４３】
水平マッピング部20162は、水平タップ学習部20161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部20161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部20163に供給する。なお、水平マッピング部20162には、水平タップ学習部20161などから、MPEG復号画像が供給される。
【１０４４】
垂直タップ差分学習部20163は、水平タップ学習部20161で教師画像として用いられる原画像と、水平マッピング部20162から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
【１０４５】
即ち、垂直タップ差分学習部20163は、原画像、MPEG復号画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。
【１０４６】
なお、垂直タップ差分学習部20163の、垂直タップにおける水平差分の差分学習処理は、後述する図８８を参照して、詳細に説明する。
【１０４７】
図７８の画像変換部３１における画像変換処理では、図８７の２段差分学習部20151により求められた水平係数および垂直係数を用いることができる。
【１０４８】
ここで、図８７において、画像変換部20152は、図７８の画像変換部３１と同様に構成される。画像変換部20152では、次のようにして、MPEG復号画像を原画像（の予測値）に変換する画像変換処理が行われる。
【１０４９】
即ち、画像変換部20152は、水平マッピング部20162、垂直差分マッピング部20164、および加算部20165により構成される。
【１０５０】
水平マッピング部20162は、図７９の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部20064、および水平予測演算部20101で構成される水平マッピング部20071と同様に構成される。
【１０５１】
水平マッピング部20162は、水平タップ学習部20161での水平タップにおける学習処理により得られる水平係数を用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部20165に供給する。
【１０５２】
垂直差分マッピング部20164は、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、垂直予測演算部20102、およびゲイン調整部20103で構成される垂直差分マッピング部20073と同様に構成される。
【１０５３】
垂直差分マッピング部20164は、垂直タップ差分学習部20163での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部20165に供給する。
【１０５４】
加算部20165は、図７９の加算部20104と同様に構成され、水平マッピング部20162から供給された水平処理画像Ｈと、垂直差分マッピング部20164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ1）を出力する。
【１０５５】
次に、図８８は、垂直タップにおける水平差分の差分学習処理を行う図８７の垂直タップ差分学習部20163の詳細な構成例を示すブロック図である。
【１０５６】
即ち、図８８の垂直タップ差分学習部20163は、図８５の原画像記憶部20131乃至係数算出部20137、モード判定部20141とそれぞれ同様に構成される原画像記憶部21131乃至係数算出部21137、モード判定部21141それぞれと、図６８の差分画像生成部10233と同様に構成される差分画像生成部20233により構成される。
【１０５７】
図８８の垂直タップ差分学習部20163では、原画像と水平差分ｈとの差分である原画像―水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直係数を学習することから、原画像から水平マッピング処理による水平処理効果分としての水平差分ｈを差し引いた画像に、MPEG復号画像を変換する垂直係数が求められる。
【１０５８】
次に、図８９のフローチャートを参照して、図８７の２段差分学習部20151における２段差分学習処理を説明する。
【１０５９】
ステップＳ20171において、水平タップ学習部20161は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部20162に供給する。
【１０６０】
その後、処理は、ステップＳ20171からステップＳ20172に進み、水平マッピング部20162は、水平タップ学習部20161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部20161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部20163に供給する。
【１０６１】
そして、処理は、ステップＳ20172からステップＳ20173に進み、垂直タップ差分学習部20163は、水平タップ学習部20161で教師画像として用いられる原画像と、水平マッピング部20162から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
【１０６２】
その後、２段差分学習処理は、終了される。
【１０６３】
次に、図９０のフローチャートを参照して、図８９のステップＳ20173の、垂直タップにおける水平差分の差分学習処理の詳細を説明する。
【１０６４】
ステップＳ20201乃至ステップＳ20206において、図７０のステップＳ10201乃至ステップＳ10206と同様の処理を行い、処理は、ステップＳ20207に進み、ステップＳ20207およびステップＳ20208において、図８６のステップＳ20216およびステップＳ20217と同様の処理を行う。
【１０６５】
処理は、ステップＳ20208からステップＳ20209に進み、足し込み部21136は、図８５の学習部20121の足し込み部20136の場合と同様にして、差分画像生成部20233から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部21133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部21135から供給された垂直クラスコードと、モード判定部21141から供給された画素位置モードのセットごとに行う。
【１０６６】
処理は、ステップＳ20209からステップＳ20210に進み、ステップＳ20210およびステップＳ20211について、図７０のステップＳ10208およびステップＳ10209と同様の処理を行う。
【１０６７】
そして、ステップＳ20211では、生徒画像において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部21136においては、ノイズ付加部21132により生成された生徒画像の画素すべてを注目画素として、図８３の学習部20121と同様の足し込みを行うことにより、各垂直クラスについての正規方程式が得られた場合、足し込み部21136は、その正規方程式を、垂直タップ差分学習部20163の係数算出部21137に供給する。そして、ステップＳ20211からステップＳ20212に進み、係数算出部21137は、足し込み部21136から供給された各セットについての正規方程式を解くことにより、各セットについて、垂直係数ｗ’nを求めて出力する。
【１０６８】
その後、処理は、図８９のステップＳ20173にリターンする。
【１０６９】
次に、図９１は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20271の構成例を示すブロック図である。
【１０７０】
２段反復学習部20271は、図８７の２段差分学習部20151の水平タップ学習部20161乃至垂直タップ差分学習部20163それぞれと同様に構成される水平タップ学習部21161乃至垂直タップ差分学習部21163と、垂直マッピング部20284、および水平タップ差分学習部20285とから構成される。
【１０７１】
垂直マッピング部20284は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部21163から供給された垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部20285に供給する。
【１０７２】
水平タップ差分学習部20285は、水平タップ学習部21161で教師画像として用いられる原画像と、垂直マッピング部20284から供給された垂直処理画像Ｖとを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部21162に供給する。
【１０７３】
即ち、水平タップ差分学習部20285は、原画像、MPEG復号画像、および垂直処理画像Ｖから、後述するようにして、原画像と垂直差分ｖとの差分である原画像−垂直差分ｖを生成し、その原画像−垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平予測タップ及び水平クラスタップを用いて、水平係数を学習する、水平タップにおける垂直差分の差分学習処理を行う。
【１０７４】
なお、水平タップ差分学習部20285の、水平タップにおける垂直差分の差分学習処理は、後述する図９２を参照して、詳細に説明する。
【１０７５】
図９２は、水平タップにおける垂直差分の差分学習処理を行う図９１の水平タップ差分学習部20285の詳細な構成例を示すブロック図である。
【１０７６】
水平タップ差分学習部20285は、図８８の垂直タップ差分学習部20163の原画像記憶部21131乃至係数算出部21137とそれぞれ同様に構成される原画像22131乃至係数算出部22137、および図７２の差分画像生成部10293と同様に構成される差分画像生成部20293から構成される。
【１０７７】
モード判定部22141には、水平予測タップ抽出部22133から、生徒画像における注目画素の位置情報が供給される。
【１０７８】
モード判定部22141は、図７８のモード判定部20031と同様にして、水平予測タップ抽出部22133からの位置情報に基づいて、注目画素の画素位置モードおよび領域情報を得て、足し込み部22136に供給する。
【１０７９】
以上のように構成される水平タップ差分学習部20285では、原画像と垂直差分ｖとの差分である原画像―垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平係数を学習することから、原画像から垂直マッピング処理による垂直処理効果分としての垂直差分ｖを差し引いた画像に、MPEG復号画像を変換する水平係数が求められる。
【１０８０】
次に、図９３のフローチャートを参照して、図９１の２段反復学習部20271における２段反復学習処理を説明する。
【１０８１】
ステップＳ20241において、水平タップ学習部21161は、原画像を教師画像とするとともに、その原画像をMPEG符号化し、MPEG復号したMPEG復号画像を生徒画像として、水平タップにおける学習処理を行い、その結果得られた水平係数を、水平マッピング部21162に供給して、処理は、ステップＳ20242に進む。
【１０８２】
ステップＳ20242において、水平マッピング部21162および垂直タップ差分学習部21163により、垂直係数が生成される。
【１０８３】
即ち、ステップＳ20242では、ステップＳ20251とステップＳ20252の処理が行われる。
【１０８４】
ステップＳ20251では、水平マッピング部21162は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、水平タップ学習部21161から供給される水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部21163に供給して、処理は、ステップＳ20252に進む。
【１０８５】
ステップＳ20252において、垂直タップ差分学習部21163は、水平タップ学習部21161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および水平マッピング部21162から供給された水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を生成する。
【１０８６】
また、ステップＳ20252において、垂直タップ差分学習部21163は、生成した垂直係数を、垂直マッピング部20284に供給する。
【１０８７】
ステップＳ20251およびステップＳ20252の処理、つまり、ステップＳ20242の処理が終了すると、処理は、ステップＳ20242からステップＳ20243に進み、垂直マッピング部20284および水平タップ差分学習部20285により、水平係数が生成される。
【１０８８】
即ち、ステップＳ20243では、ステップＳ20261とステップＳ20262の処理が行われる。
【１０８９】
ステップＳ20261において、垂直マッピング部20284は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部21163から供給された垂直係数とを用いて垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部20285に供給して、処理は、ステップＳ20262に進む。
【１０９０】
ステップＳ20262において、水平タップ差分学習部20285は、水平タップ学習部21161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部20284から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を生成する。
【１０９１】
また、ステップＳ20262において、水平タップ差分学習部20285は、生成した水平係数を、水平マッピング部21162に供給する。
【１０９２】
ステップＳ20261およびステップＳ20262の処理、つまり、ステップＳ20243の処理が終了すると、処理は、ステップＳ20243からステップＳ20242に戻り、水平マッピング部21162および垂直タップ差分学習部21163により、前回、水平タップ差分学習部20285により生成された水平係数に基づいて、垂直係数が生成され、以下、同様の処理が繰り返される。
【１０９３】
即ち、ステップＳ20242のステップＳ20251では、水平マッピング部21162は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部20285から供給された水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部21163に供給して、処理は、ステップＳ20252に進み、以下、同様の処理を繰り返す。
【１０９４】
なお、図９３の２段反復学習処理では、図１６の２段反復学習処理の場合と同様のタイミングで終了することができる。
【１０９５】
次に、図９４のフローチャートを参照して、図９３のステップＳ20262の、水平タップにおける垂直差分の差分学習処理を詳細に説明する。
【１０９６】
ステップＳ20271乃至ステップＳ20276において、図７２のステップＳ10271乃至ステップＳ10276と同様の処理を行い、処理は、ステップＳ20277に進み、ステップＳ20277およびステップＳ20278において、図８６のステップＳ20216およびステップＳ20217と同様の処理を行う。
【１０９７】
処理は、ステップＳ20278からステップＳ20279に進み、足し込み部22136は、図８５の学習部20121の足し込み部20136の場合と同様にして、差分画像生成部20293から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部22133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部22135から供給された水平クラスコードと、モード判定部22141から供給された画素位置モードのセットごとに行う。
【１０９８】
その後、処理は、ステップＳ20279からステップＳ20280に進み、ステップＳ20280およびステップＳ20281において、図７４のステップＳ10278およびステップＳ10279と同様の処理を行う。
【１０９９】
なお、ステップＳ20281では、生徒画像において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部22136においては、ノイズ付加部22132により生成された生徒画像の画素すべてを注目画素として、図８５の学習部20121の場合と同様の足し込みを行うことにより、水平クラスと画素位置モードのセットそれぞれについての正規方程式が得られた場合、足し込み部22136は、その正規方程式を、係数算出部22137に供給する。そして、処理は、ステップＳ20281からステップＳ20282に進み、係数算出部22137は、足し込み部22136から供給された各セットについての正規方程式を解くことにより、各セットについて、水平係数ｗnを求めて出力する。
【１１００】
その後、処理は、図９３のステップＳ20262にリターンする。
【１１０１】
図９５は、２段差分学習部20301の構成例を示すブロック図である。なお、図９５には、説明の便宜上、図７８の画像変換部３１に相当する画像変換部20302も図示してある。
【１１０２】
２段差分学習部20301は、垂直タップ学習部20311、垂直マッピング部20312、および水平タップ差分学習部20313により構成される。
【１１０３】
垂直タップ学習部20311は、図８５の学習部20121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部20312に供給する。
【１１０４】
垂直マッピング部20312は、垂直タップ学習部20311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ学習部20311から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られる垂直処理画像Ｖを、水平タップ差分学習部20313に供給する。なお、垂直マッピング部20312には、垂直タップ学習部20311などから、MPEG復号画像が供給される。
【１１０５】
水平タップ差分学習部20313は、垂直タップ学習部20311で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部20312から供給される垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を学習する。
【１１０６】
２段差分学習部20301の垂直タップ学習部20311で求められた垂直係数と、水平タップ差分学習部20313で求められた水平係数とは、図７８の画像変換部３１に相当する画像変換部20302での画像変換処理に用いられる。
【１１０７】
即ち、画像変換部20302は、垂直マッピング部20312、水平差分マッピング部20314、および加算部20315により構成される。
【１１０８】
具体的には、垂直マッピング部20312は、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、および垂直予測演算部20102で構成される垂直マッピング部20072と同様に構成される。
【１１０９】
垂直マッピング部20312は、垂直タップ学習部20311での垂直タップにおける学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その垂直処理画像Ｖを、加算部20315に供給する。
【１１１０】
水平差分マッピング部20314は、図８４の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部20064、水平予測演算部20101、およびゲイン調整部20112で構成される水平差分マッピング部20111と同様に構成される。
【１１１１】
水平差分マッピング部20314は、水平タップ差分学習部20313での水平タップにおける垂直差分の差分学習処理により得られる水平係数を用いて、MPEG復号画像を水平差分ｈに変換する水平差分マッピング処理を行い、その水平差分ｈを、加算部20315に供給する。
【１１１２】
加算部20315は、図７９の加算部20104と同様に構成され、垂直マッピング部20312から供給された垂直処理画像Ｖと、水平差分マッピング部20314から供給された水平差分ｈとを加算し、その結果得られた垂直水平処理画像Ｖ＋ｈを出力する。
【１１１３】
図９６は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20331の構成例を示すブロック図である。
【１１１４】
２段反復学習部20331は、図９５の垂直タップ学習部20311乃至水平タップ差分学習部20313それぞれと同様に構成される垂直タップ学習部21311乃至水平タップ差分学習部21313それぞれと、水平マッピング部20324、および垂直タップ差分学習部20325により構成される。
【１１１５】
水平マッピング部20324には、水平タップ差分学習部21313から、水平係数が供給される。
【１１１６】
水平マッピング部20324は、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部21313から供給された水平係数とを用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部20325に供給する。
【１１１７】
垂直タップ差分学習部20325は、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像の画素値ｘ1を、水平マッピング部20324から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
【１１１８】
また、垂直タップ差分学習部20325は、垂直タップ学習部21311で教師画像として用いられる原画像から、生成した水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像を生徒画像として、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直マッピング部21312に供給する。
【１１１９】
垂直タップ差分学習部20325により垂直係数が求められると、以降、垂直マッピング部21312は、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ差分学習部20325から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部21313に供給する。
【１１２０】
図９７は、図１の画像変換部３１の第８の構成例を示すブロック図である。
【１１２１】
図９７の画像変換部３１は、モード判定部30031、30032、30033、水平予測タップ抽出部30061、水平クラスタップ抽出部30062、水平クラス分類部30063、水平係数記憶部30064、垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、および予測演算部30435により構成される。
【１１２２】
なお、水平予測タップ抽出部30061、垂直予測タップ抽出部30065、モード判定部30031，30032それぞれは、図７８の水平予測タップ抽出部10061、垂直予測タップ抽出部10065、モード判定部10031，10032それぞれと同様に構成される。
【１１２３】
水平クラスタップ抽出部30062は、水平クラスタップを、供給されてくるMPEG復号画像から抽出する。
【１１２４】
即ち、水平クラスタップ抽出部30062は、図７８の水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれと同様に構成される水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、ブロック抽出部30062dそれぞれと、斜め差分クラスタップ抽出部30062cにより構成される。
【１１２５】
水平クラスタップ抽出部30062の斜め差分クラスタップ抽出部30062cは、例えば、注目画素と、その注目画素の斜め方向に位置する複数の画素である５画素の斜め方向のタップ４２３（図２５）を、斜め予測タップ抽出部30431が抽出する斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成するのに用いる複数の画素である斜め差分クラスタップとして、供給されてくるMPEG復号画像から抽出する。
【１１２６】
水平クラスタップ抽出部30062において得られる、水平予測タップに対応する水平クラスタップは、水平クラス分類部30063に供給される。水平クラス分類部30063は、水平クラスタップ抽出部30062からの水平クラスタップに基づいて水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部30064に出力する。
【１１２７】
水平係数記憶部30064は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部30063から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部30063から供給された水平クラスコードが表す水平クラスに対応する水平係数）を、予測演算部30435に出力する。
【１１２８】
垂直クラスタップ抽出部30066は、垂直クラスタップを、供給されてくるMPEG復号画像から抽出する。なお、垂直クラスタップ抽出部30066は、上述した水平クラスタップ抽出部30062の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれと同様に構成される水平差分クラスタップ抽出部30066a、垂直差分クラスタップ抽出部30066b、斜め差分クラスタップ抽出部30066c、ブロック抽出部30066dにより構成される。
【１１２９】
垂直クラスタップ抽出部30066において得られる、垂直予測タップに対応する垂直クラスタップは、垂直クラス分類部30067に供給される。垂直クラス分類部30067は、垂直クラスタップ抽出部30066からの垂直クラスタップに基づいて垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部30068に出力する。
【１１３０】
垂直係数記憶部30068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している水平係数のセットのうちの、垂直クラス分類部30067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部30067から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部30435に出力する。
【１１３１】
斜めクラスタップ抽出部30432は、斜めクラスタップを、供給されてくるMPEG復号画像から抽出する。なお、斜めクラスタップ抽出部30432は、上述した水平クラスタップ抽出部30062の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれと同様に構成される水平差分クラスタップ抽出部30432a、垂直差分クラスタップ抽出部30432b、斜め差分クラスタップ抽出部30432c、ブロック抽出部30432dにより構成される。
【１１３２】
斜めクラスタップ抽出部30432において得られる、斜め予測タップに対応する斜めクラスタップは、斜めクラス分類部30433に供給される。斜めクラス分類部30433は、斜めクラスタップ抽出部30432からの斜めクラスタップに基づいて斜め予測タップを斜めクラス分類し、その結果得られた斜めクラスに対応する斜めクラスコードを、斜め係数記憶部30434に出力する。
【１１３３】
斜め係数記憶部30434は、後述する学習によってあらかじめ求められた斜めクラスごとの斜め係数のセットを記憶しており、その記憶している斜め係数のセットのうちの、斜めクラス分類部30433から供給された斜めクラスコードに対応するアドレスに記憶されている斜め係数（斜めクラス分類部30433から供給された斜めクラスコードが表す斜めクラスに対応する斜め係数）を、予測演算部30435に出力する。
【１１３４】
予測演算部30069は、水平予測タップ抽出部30061から供給された水平予測タップ、垂直予測タップ抽出部30065から供給された垂直予測タップ、水平係数記憶部30064から供給された水平係数、垂直係数記憶部30068から供給された垂直係数、斜め予測タップ抽出部30431から供給された斜め予測タップ、斜め係数記憶部30434から供給された斜め係数、およびモード判定部30031乃至30033から供給された注目画素の画素位置モードおよび領域情報に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
【１１３５】
図９８は、図９７の水平クラス分類部30063の詳細な構成例を示すブロック図である。
【１１３６】
水平クラス分類部30063は、図４９の差分絶対値算出部11011乃至垂直差分クラスコード生成部11016それぞれと同様に構成される差分絶対値算出部31011乃至垂直差分クラスコード生成部31016それぞれと、斜め差分クラスコード生成部31017、垂直斜め差分ゼロクラスコード生成部31018、および水平クラスコード出力部31019により構成される。
【１１３７】
斜め差分クラスコード生成部31017には、斜め差分クラスコードの生成に用いる閾値が、閾値選択部31014から供給される。
【１１３８】
即ち、図５１左下側で示されるように、閾値選択部31014において、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに０であると判定された場合、閾値Th_hとTh_vのうちの、値の小さいほうの閾値が選択され、水平差分クラスコード生成部31015乃至斜め差分クラスコード生成部31017に供給される。
【１１３９】
また、閾値選択部31014において、そこに供給される水平エッジ検出フラグが１であり垂直エッジ検出フラグが０であると判定された場合、供給されてくる閾値Th_hとTh_vから閾値Th_hが選択され、水平差分クラスコード生成部31015乃至斜め差分クラスコード生成部31017に供給される。
【１１４０】
さらに、閾値選択部31014において、そこに供給される水平エッジ検出フラグが０であり垂直エッジ検出フラグが１であると判定された場合、供給されてくる閾値Th_hとTh_vから閾値Th_vが選択され、水平差分クラスコード生成部31015乃至斜め差分クラスコード生成部31017に供給される。
【１１４１】
また、閾値選択部31014において、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに１であると判定された場合、供給されてくる閾値Th_hとTh_vから閾値Th_hが選択され、水平差分クラスコード生成部11015に供給されるとともに、供給されてくる閾値Th_hとTh_vから閾値Th_vが選択され、垂直差分クラスコード生成部11016に供給され、さらに、供給されてくる閾値Th_hとTh_vのうちの、値の大きいほうの閾値が選択され、斜め差分クラスコード生成部31017に供給される。
【１１４２】
また、斜め差分クラスコード生成部31017には、斜め差分クラスタップ抽出部30062cから、斜め差分クラスタップが供給される。
【１１４３】
斜め差分クラスコード生成部31017は、そこに供給される斜め差分クラスタップと、閾値選択部31014から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、垂直斜め差分ゼロクラスコード生成部31018に出力する。なお、斜め方向のタップ４２３としての斜め差分クラスタップにおいては、注目画素と、その注目画素の斜め方向に隣接する画素とで画素間差分をとることで、斜め差分クラスコードを生成することができる。
【１１４４】
垂直斜め差分ゼロクラスコード生成部31018には、垂直差分クラスコード生成部31016から、垂直差分クラスコードが供給される。
【１１４５】
垂直斜め差分ゼロクラスコード生成部31018は、斜め差分クラスコード生成部31017から供給される斜め差分クラスコードを構成するすべてのビットと、垂直差分クラスコード生成部31016から供給される垂直差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた１ビットを、垂直斜め差分ゼロクラスコードとして設定し、水平クラスコード出力部31019に供給する。
【１１４６】
即ち、例えば、垂直斜め差分ゼロクラスコード生成部31018は、０と１とのビット列で表される、垂直差分クラスコードと斜め差分クラスコードが、すべて０で構成されるビット列であると判定した場合、垂直斜め差分ゼロクラスコードを０に設定し、１を含むビット列であると判定した場合、垂直斜め差分ゼロクラスコードを１に設定して、水平クラスコード出力部31019に供給する。
【１１４７】
水平クラスコード出力部31019は、フィールドフラグ抽出部31012から供給されるフィールドフラグ、ノイズ検出フラグ判定部31013から供給されるノイズ検出フラグ、垂直斜め差分ゼロクラスコード生成部31018から供給される垂直斜め差分ゼロクラスコード、および水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部30064に出力する。
【１１４８】
なお、水平クラスコード出力部31019は、水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードではなく、水平差分クラスコードそのものを、水平クラスコードの一部とすることができる。
【１１４９】
図９９は、図９８の水平クラスコード出力部31019が出力する水平クラスコードを示す図である。
【１１５０】
水平クラスコード出力部31019は、フィールドフラグ抽出部31012から供給されるフィールドフラグ、ノイズ検出フラグ判定部31013から供給されるノイズ検出フラグ、垂直斜め差分ゼロクラスコード生成部31018から供給される垂直斜め差分ゼロクラスコード、および水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、水平クラスコードとして出力する。
【１１５１】
図１００は、図９７の垂直クラス分類部30067の詳細な構成例を示すブロック図である。
【１１５２】
垂直クラス分類部30067は、図９８の差分絶対値算出部31011乃至閾値選択部31014それぞれと同様に構成される差分絶対値算出部31031乃至閾値選択部31034それぞれと、図９８の垂直差分クラスコード生成部31016、水平差分クラスコード生成部31015、斜め差分クラスコード生成部31017それぞれと同様に構成される垂直差分クラスコード生成部31035、水平差分クラスコード生成部31036、斜め差分クラスコード生成部31037それぞれと、水平斜め差分ゼロクラスコード生成部310138と、垂直クラスコード出力部31039により構成される。
【１１５３】
水平斜め差分ゼロクラスコード生成部31038には、水平差分クラスコード生成部31036から水平差分クラスコードが、斜め差分クラスコード生成部31037から斜め差分クラスコードが、それぞれ、供給される。
【１１５４】
水平斜め差分ゼロクラスコード生成部31038は、水平差分クラスコード生成部31036から供給される水平差分クラスコードを構成するすべてのビットと、斜め差分クラスコード生成部31037から供給される斜め差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平斜め差分ゼロクラスコードとして、垂直クラスコード出力部31039に供給する。
【１１５５】
垂直クラスコード出力部31039は、フィールドフラグ抽出部31032から供給されるフィールドフラグ、ノイズ検出フラグ判定部31033から供給されるノイズ検出フラグ、水平斜め差分ゼロクラスコード生成部31038から供給される水平斜め差分ゼロクラスコード、および垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部30068に出力する。
【１１５６】
なお、垂直クラスコード出力部31038は、垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードではなく、垂直差分クラスコードそのものを、垂直クラスコードの一部とすることができる。
【１１５７】
図１０１は、図１００の垂直クラスコード出力部31039が出力する垂直クラスコードを示す図である。
【１１５８】
垂直クラスコード出力部31039は、フィールドフラグ抽出部31032から供給されるフィールドフラグ、ノイズ検出フラグ判定部31033から供給されるノイズ検出フラグ、水平斜め差分ゼロクラスコード生成部31038から供給される水平斜め差分ゼロクラスコード、および垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、垂直クラスコードとして出力する。
【１１５９】
図１０２は、図９７の斜めクラス分類部30433の詳細な構成例を示すブロック図である。
【１１６０】
斜めクラス分類部30067は、図９８の差分絶対値算出部31011乃至閾値選択部31014それぞれと同様に構成される差分絶対値算出部31041乃至閾値選択部31044それぞれと、図９８の斜め差分クラスコード生成部31017、水平差分クラスコード生成部31015、垂直差分クラスコード生成部31016それぞれと同様に構成される斜め差分クラスコード生成部31045、水平差分クラスコード生成部31046、垂直差分クラスコード生成部31047それぞれと、水平垂直差分ゼロクラスコード生成部31048と、斜めクラスコード出力部31049により構成される。
【１１６１】
水平垂直差分ゼロクラスコード生成部31048には、水平差分クラスコード生成部31046から水平差分クラスコードが、垂直差分クラスコード生成部31047から垂直差分クラスコードが、それぞれ、供給される。
【１１６２】
水平垂直差分ゼロクラスコード生成部31048は、水平差分クラスコード生成部31046から供給される水平差分クラスコードを構成するすべてのビットと、垂直差分クラスコード生成部31047から供給される垂直差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平垂直差分ゼロクラスコードとして、斜めクラスコード出力部31049に供給する。
【１１６３】
斜めクラスコード出力部31049は、フィールドフラグ抽出部31042から供給されるフィールドフラグ、ノイズ検出フラグ判定部31043から供給されるノイズ検出フラグ、水平垂直差分ゼロクラスコード生成部31048から供給される水平垂直差分ゼロクラスコード、および斜め差分クラスコード生成部31045から供給される斜め差分クラスコードを、この順番で左から右に並べて、斜めクラスコードとして、斜め係数記憶部30434に出力する。
【１１６４】
図１０３は、図１０２の斜めクラスコード出力部31049が出力する斜めクラスコードを示す図である。
【１１６５】
斜めクラスコード出力部31049は、フィールドフラグ抽出部31042から供給されるフィールドフラグ、ノイズ検出フラグ判定部31043から供給されるノイズ検出フラグ、水平垂直差分ゼロクラスコード生成部31048から供給される水平垂直差分ゼロクラスコード、および斜め差分クラスコード生成部31045から供給される斜め差分クラスコードを、図に示すように、左から右に並べ、その結果得られるコードを、斜めクラスコードとして出力する。
【１１６６】
図１０４は、図９７の予測演算部30435の詳細な構成例を示すブロック図である。
【１１６７】
図１０４の予測演算部30435は、図７９の水平予測演算部20101乃至加算部20104それぞれと同様に構成される水平予測演算部30101乃至加算部30104と、斜め予測演算部30461、ゲイン調整部30462、および加算部30463により構成される。
【１１６８】
斜め予測演算部30461には、斜め係数記憶部30434から複数の斜め係数、斜め予測タップ抽出部30431から斜め予測タップ、さらには、モード判定部30033から注目画素の画素位置モードおよび領域情報が供給される。
【１１６９】
斜め予測演算部30461は、斜め係数記憶部30434から供給された複数の斜め係数の中から、モード判定部30033から供給された注目画素の画素位置モードに対応する斜め係数を取得する。
【１１７０】
また、斜め予測演算部30461は、取得した斜め係数と、斜め予測タップ抽出部30431からの斜め予測タップｘ’’nとを用いて、モード判定部30033からの注目画素の領域情報に対応した斜め予測演算を行い、その結果得られた斜め画素の画素値Ｒを、ゲイン調整部30462に供給する。
【１１７１】
ゲイン調整部30462には、斜め予測タップ抽出部30431から、注目画素の画素値ｘ1が供給される。
【１１７２】
ゲイン調整部30462は、斜め予測演算部30461から供給された画素値Ｒから、斜め予測タップ抽出部30431から供給された注目画素の画素値ｘ1を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である斜め差分ｒを加算部30463に供給する。
【１１７３】
なお、加算部30463には、加算部30104から、画素値Ｈ＋ｖが供給される。
【１１７４】
加算部30463は、加算部30104から供給された画素値Ｈ＋ｖと、ゲイン調整部30462から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒを、ノイズ除去画像を予測した画素値ｙとして出力する。
【１１７５】
なお、図１０５乃至図１４３を参照して説明する本実施の形態においては、図１乃至図９６を参照して説明してきた本実施の形態の説明において用いてきた用語を、説明の都合上、以下、適宜、定義し直すことをしている。
【１１７６】
ここで、図１０４の水平予測タップ抽出部30061、水平クラスタップ抽出部30062、水平クラス分類部30063、水平係数記憶部30064、水平予測演算部30101、およびモード判定部30031を総称して水平マッピング部30071といい、その水平マッピング部30071が、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。
【１１７７】
さらに、図１０４の垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、垂直予測演算部30102、およびモード判定部30032を総称して垂直マッピング部30072といい、その垂直マッピング部30072が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。
【１１７８】
また、図１０４の垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、垂直予測演算部30102、ゲイン調整部30103、およびモード判定部30032を総称して垂直差分マッピング部30073といい、その垂直差分マッピング部30073が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。
【１１７９】
さらに、図１０４の斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、斜め予測演算部30461、およびモード判定部30033を総称して斜めマッピング部30471といい、その斜めマッピング部30471が、斜め係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、斜め画素の画素値Ｒに変換する処理を、以下、適宜、斜めマッピング処理という。
【１１８０】
また、図１０４の斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、斜め予測演算部30461、ゲイン調整部30462、およびモード判定部30033を総称して斜め差分マッピング部30472といい、その斜め差分マッピング部30472が、斜め係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、斜め差分ｒに変換する処理を、以下、適宜、斜め差分マッピング処理という。
【１１８１】
次に、図１０５のフローチャートを参照して、図９７の画像変換部３１における画像変換処理を説明する。
【１１８２】
この画像変換処理は、例えば、MPEG-2などにより、８×８画素のブロック単位でMPEG符号化されたMPEG符号化画像が、チューナで受信される放送番組の画像や、記録媒体から再生される画像として供給されたときに開始される。このとき、MPEG符号化画像は、図示せぬデコーダによりMPEG復号され、MPEG復号画像として、水平予測タップ抽出部30061、水平クラスタップ抽出部30062、垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、斜め予測タップ抽出部30431、および斜めクラスタップ抽出部30432に供給される。
【１１８３】
ステップＳ30311において、水平マッピング部30071の水平予測タップ抽出部30061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックに含まれる画素を、順次、注目画素として、処理は、ステップＳ30312に進む。
【１１８４】
ステップＳ30312において、水平マッピング部30071は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部30104に供給して、処理は、ステップＳ30313に進み、垂直差分マッピング部30073は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部30104に供給して、処理は、ステップＳ30314に進む。
【１１８５】
ステップＳ30314において、加算部30104は、水平マッピング部30071からの水平処理画像Ｈと、垂直差分マッピング部30073からの垂直差分ｖとを加算し、画素値Ｈ＋ｖを得て、加算部30463に供給する。
【１１８６】
その後、処理は、ステップＳ30314からステップＳ30315に進み、斜め差分マッピング部30472（図１０４）は、注目画素について斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部30463に供給して、処理は、ステップＳ30316に進む。
【１１８７】
ステップＳ30316において、加算部30463は、加算部30104からの水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部30472からの斜め差分ｒとを加算し、注目画素に対応する、ノイズ除去画像の画素値ｙ＝Ｈ＋ｖ＋ｒを得て出力する。
【１１８８】
その後、ステップＳ30316からステップＳ30317に進み、水平マッピング部30071の水平予測タップ抽出部30061は、注目ブロックの画素すべてを、注目画素としたか否かを判定する。
【１１８９】
ステップＳ30317において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ30311に戻り、水平マッピング部30071の水平予測タップ抽出部30061は、まだ注目画素とされていない注目ブロックの画素のうちの１つを、新たな注目画素とし、処理は、ステップＳ30312に進み、以下、同様の処理を繰り返す。
【１１９０】
ステップＳ30317において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ30318に進み、水平マッピング部30071の水平予測タップ抽出部30061は、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしたか否かを判定する。
【１１９１】
ステップＳ30318において、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしていないと判定された場合、処理は、ステップＳ30311に戻り、水平マッピング部30071の水平予測タップ抽出部30061は、まだ注目ブロックとされていないMPEG復号画像の８×８画素のブロックのうちの１つを、新たな注目ブロックとし、注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30312に進み、以下、同様の処理を繰り返す。
【１１９２】
一方、ステップＳ30318において、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしたと判定された場合、画像変換処理は終了される。
【１１９３】
次に、図１０６のフローチャートを参照して、図１０５のステップＳ30312における水平マッピング処理の詳細を説明する。
【１１９４】
ステップＳ30061において、水平マッピング部30071の水平予測タップ抽出部30061は、図８２のステップＳ20061と同様の処理を行い、処理は、ステップＳ30062に進み、水平マッピング部30071の水平クラスタップ抽出部30062は、水平クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素のタップ、注目画素を中心として垂直方向に並ぶ９画素のタップ、注目画素と、注目画素の周りに位置する５画素のタップ、および注目ブロックに含まれる画素すべてを、供給されてくるMPEG復号画像から抽出し、水平クラス分類部30063に供給する。
【１１９５】
処理は、ステップＳ30062からステップＳ30063に進み、水平マッピング部30071の水平クラス分類部30063は、水平クラスタップ抽出部30062からの水平クラスタップに基づき、水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部30064に出力する。
【１１９６】
処理は、ステップＳ30063からステップＳ30064に進み、ステップＳ30064乃至ステップＳ30067において、図８２のステップＳ20064乃至ステップＳ20067と同様の処理を行う。その後、処理は、図１０５のステップＳ30312にリターンして、その後の処理を行う。
【１１９７】
次に、図１０７のフローチャートを参照して、図１０６のステップＳ30063の水平クラス分類における処理の詳細を説明する。
【１１９８】
ステップＳ30071において、差分絶対値算出部31011は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。
【１１９９】
ステップＳ30071の処理後、処理は、ステップＳ30072に進み、差分絶対値算出部31011は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。
【１２００】
そして、差分絶対値算出部31011は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ判定部31013に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部31014に供給する。
【１２０１】
また、閾値選択部31014は、差分絶対値算出部31011から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部31011から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値、垂直差分クラスコードの生成に用いる閾値、および斜め差分クラスコードの生成に用いる閾値を選択し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部31015に供給し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部31016に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、斜め差分クラスコード生成部31017に供給する。
【１２０２】
その後、処理は、ステップＳ30072からステップＳ30073に進み、水平差分クラスコード生成部31015は、水平差分クラスタップ抽出部30062aから供給される水平差分クラスタップと、閾値選択部31014から供給される閾値を用いて、水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成し、水平クラスコード出力部31019に出力する。
【１２０３】
処理は、ステップＳ30073からステップＳ30074に進み、垂直差分クラスコード生成部31016は、垂直差分クラスタップ抽出部30062bから供給される垂直差分クラスタップと、閾値選択部31014から供給される閾値を用いて、垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成し、垂直差分ゼロクラスコード生成部31018に出力する。
【１２０４】
また、ステップＳ30074において、斜め差分クラスコード生成部31017は、斜め差分クラスタップ抽出部30062cから供給される斜め差分クラスタップと、閾値選択部31014から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、垂直斜め差分ゼロクラスコード生成部31018に出力する。
【１２０５】
さらに、ステップＳ30074において、垂直斜め差分ゼロクラスコード生成部31018は、垂直差分クラスコード生成部31016から供給される垂直差分クラスコードを構成するすべてのビットと、斜め差分クラスコード生成部31017から供給される斜め差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、垂直斜め差分ゼロクラスコードとして設定し、水平クラスコード出力部31019に供給する。
【１２０６】
処理は、ステップＳ30074からステップＳ30075に進み、フィールドフラグ抽出部31012は、ブロック抽出部30062dから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定し、水平クラスコード出力部31019に供給する。
【１２０７】
処理は、ステップＳ30075からステップＳ30076に進み、ノイズ検出フラグ判定部31013は、差分絶対値算出部31011から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、水平クラスコード出力部31019に供給する。
【１２０８】
処理は、ステップＳ30076からステップＳ30077に進み、水平クラスコード出力部31019は、フィールドフラグ抽出部31012から供給されるフィールドフラグ、ノイズ検出フラグ判定部31013から供給されるノイズ検出フラグ、垂直斜め差分ゼロクラスコード生成部31018から供給される垂直斜め差分ゼロクラスコード、水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部30064に出力する。
【１２０９】
その後、処理は、図１０６のステップＳ30063にリターンする。
【１２１０】
次に、図１０８のフローチャートを参照して、図１０５におけるステップＳ30313の垂直差分マッピング処理を詳細に説明する。
【１２１１】
ステップＳ30091において、垂直差分マッピング部30073の垂直予測タップ抽出部30065は、垂直予測タップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるMPEG復号画像から抽出し、予測演算部30435（図１０４の垂直予測演算部30102）に供給する。
【１２１２】
処理は、ステップＳ30091からステップＳ30092に進み、垂直差分マッピング部30073の垂直クラスタップ抽出部30066は、垂直クラスタップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素、注目画素を中心として水平方向に並ぶ９画素、注目画素と、その注目画素の周りに位置する画素である５画素、および注目ブロックの画素すべてを、供給されてくるMPEG復号画像から抽出し、垂直クラス分類部30067に供給する。
【１２１３】
処理は、ステップＳ30092からステップＳ30093に進み、垂直差分マッピング部30073の垂直クラス分類部30067は、垂直クラスタップ抽出部30066からの垂直クラスタップに基づき、垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部30068に出力する。
【１２１４】
処理は、ステップＳ30093からステップＳ30094に進み、垂直差分マッピング部30073の垂直係数記憶部30068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットのうちの、垂直クラス分類部30067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数ｗ’nを、予測演算部30435（図１０４の垂直予測演算部30102）に出力する。
【１２１５】
処理は、ステップＳ30094からステップＳ30095に進み、垂直差分マッピング部30073のモード判定部30032は、垂直予測タップ抽出部30065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、垂直予測演算部30102に供給する。なお、モード判定部30032には、垂直予測タップ抽出部30065から、注目画素の位置情報が供給される。
【１２１６】
処理は、ステップＳ30095からステップＳ30096に進み、さらに、垂直差分マッピング部30073のモード判定部30032は、垂直予測タップ抽出部30065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、垂直予測演算部30102に供給して、処理は、ステップＳ20097に進む。
【１２１７】
ステップＳ20097において、垂直差分マッピング部30073の垂直予測演算部30102は、垂直係数記憶部30068から供給された複数の垂直係数の中から、モード判定部30032から供給された画素位置モードに対応する垂直係数を取得し、その垂直係数と、垂直予測タップ抽出部30065からの垂直予測タップとを用いて、モード判定部30032からの領域情報に対応した垂直予測演算を行い、その結果得られた垂直処理画像Ｖを、ゲイン調整部30103に供給する。
【１２１８】
処理は、ステップＳ30097からステップＳ30098に進み、ゲイン調整部30103は、垂直予測演算部300102から供給された垂直処理画像Ｖから、垂直予測タップ抽出部30065から供給された注目画素の画素値ｘ1を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部300104に供給する。なお、ゲイン調整部30103には、垂直予測タップ抽出部30065から、MPEG復号画像の注目画素の画素値ｘ1が供給される。
【１２１９】
その後、処理はステップＳ30098から図１０５のステップＳ30313にリターンして、その後の処理を行う。
【１２２０】
次に、図１０９のフローチャートを参照して、図１０８のステップＳ30093における垂直クラス分類の処理を、詳細に説明する。
【１２２１】
ステップＳ30101において、差分絶対値算出部31031は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。
【１２２２】
ステップＳ30101の処理後、処理は、ステップＳ30102に進み、差分絶対値算出部31031は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。
【１２２３】
そして、差分絶対値算出部31031は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ判定部31033に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部31034に供給する。
【１２２４】
また、閾値選択部31034は、差分絶対値算出部31031から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部31031から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値、垂直差分クラスコードの生成に用いる閾値、および斜め差分クラスコードの生成に用いる閾値を選択し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部31035に供給し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部31036に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、斜め差分クラスコード生成部31037に供給する。
【１２２５】
その後、処理は、ステップＳ30102からステップＳ30103に進み、垂直差分クラスコード生成部31035は、垂直差分クラスタップ抽出部30066bから供給される垂直差分クラスタップと、閾値選択部31034から供給される閾値を用いて、垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成し、垂直クラスコード出力部31039に出力する。
【１２２６】
処理は、ステップＳ30103からステップＳ30104に進み、水平差分クラスコード生成部31036は、水平差分クラスタップ抽出部30066aから供給される水平差分クラスタップと、閾値選択部31034から供給される閾値を用いて、水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成し、水平斜め差分ゼロクラスコード生成部31038に出力する。
【１２２７】
また、ステップＳ30104において、斜め差分クラスコード生成部31037は、斜め差分クラスタップ抽出部30066cから供給される斜め差分クラスタップと、閾値選択部31034から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、水平斜め差分ゼロクラスコード生成部31038に出力する。
【１２２８】
さらに、ステップＳ30104において、水平斜め差分ゼロクラスコード生成部31038は、水平差分クラスコード生成部31036から供給される水平差分クラスコードを構成するすべてのビットと、斜め差分クラスコード生成部31037から供給される斜め差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平斜め差分ゼロクラスコードとして設定し、垂直クラスコード出力部31039に供給する。
【１２２９】
処理は、ステップＳ30104からステップＳ30105に進み、フィールドフラグ抽出部31032は、ブロック抽出部30062dから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定し、垂直クラスコード出力部31039に供給する。
【１２３０】
処理は、ステップＳ30105からステップＳ30106に進み、ノイズ検出フラグ判定部31033は、差分絶対値算出部31031から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、垂直クラスコード出力部31039に供給する。
【１２３１】
処理は、ステップＳ30106からステップＳ30107に進み、垂直クラスコード出力部31039は、フィールドフラグ抽出部31032から供給されるフィールドフラグ、ノイズ検出フラグ判定部31033から供給されるノイズ検出フラグ、水平斜め差分ゼロクラスコード生成部31038から供給される水平斜め差分ゼロクラスコード、垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部30068に出力する。
【１２３２】
その後、処理は、図１０８のステップＳ30093にリターンする。
【１２３３】
次に、図１１０のフローチャートを参照して、図１０５のステップＳ30315における斜め差分マッピング処理を詳細に説明する。
【１２３４】
ステップＳ30191において、斜め差分マッピング部30472の斜め予測タップ抽出部30431は、斜め予測タップ、即ち、例えば、注目画素と、注目画素の斜め方向に位置する画素である５画素の斜め方向のタップ４２３を、供給されてくるMPEG復号画像から抽出し、予測演算部30435（図１０４の斜め予測演算部30461）に供給する。
【１２３５】
処理は、ステップＳ30191からステップＳ30192に進み、斜め差分マッピング部30471の斜めクラスタップ抽出部30432は、斜めクラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素のタップ、注目画素を中心として垂直方向に並ぶ９画素のタップ、注目画素と、注目画素の周りに位置する５画素のタップ、および注目ブロックに含まれる画素すべてを、供給されてくるMPEG復号画像から抽出し、斜めクラス分類部30433に供給する。
【１２３６】
処理は、ステップＳ30192からステップＳ30193に進み、斜め差分マッピング部30471の斜めクラス分類部30433は、斜めクラスタップ抽出部30432からの斜めクラスタップに基づき、斜め予測タップを斜めクラス分類し、その結果得られた斜めクラスに対応する斜めクラスコードを、斜め係数記憶部30434に出力する。
【１２３７】
処理は、ステップＳ30193からステップＳ30194に進み、斜め差分マッピング部30471の斜め係数記憶部30434は、後述する学習によってあらかじめ求められた斜めクラスごとの斜め係数のセットのうちの、斜めクラス分類部30433から供給された斜めクラスコードに対応するアドレスに記憶されている斜め係数すべてを、予測演算部30435（図１０４の斜め予測演算部30461）に出力する。
【１２３８】
処理は、ステップＳ30194からステップＳ30195に進み、斜め差分マッピング部30472のモード判定部30033は、斜め予測タップ抽出部30431から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、斜め予測演算部30461に供給する。なお、モード判定部30033には、斜め予測タップ抽出部30431から、注目画素の位置情報が供給される。
【１２３９】
処理は、ステップＳ30195からステップＳ30196に進み、さらに、斜め差分マッピング部30472のモード判定部30033は、斜め予測タップ抽出部30431から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、やはり、斜め予測演算部30431に供給して、処理は、ステップＳ20197に進む。
【１２４０】
ステップＳ20197において、斜め差分マッピング部30472の斜め予測演算部30461は、斜め係数記憶部30434から供給された複数の斜め係数の中から、モード判定部30033から供給された画素位置モードに対応する斜め係数を取得し、その斜め係数と、斜め予測タップ抽出部30431からの斜め予測タップとを用いて、モード判定部30033からの領域情報に対応した斜め予測演算を行い、その結果得られた斜め処理画像Ｒを、ゲイン調整部30462に供給する。
【１２４１】
処理は、ステップＳ30197からステップＳ30198に進み、ゲイン調整部30462は、斜め予測演算部300461から供給された斜め処理画像Ｒから、斜め予測タップ抽出部30431から供給された注目画素の画素値ｘ1を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である斜め差分ｒを加算部300463に供給する。なお、ゲイン調整部30462には、斜め予測タップ抽出部30431から、MPEG復号画像の注目画素の画素値ｘ1が供給される。
【１２４２】
その後、処理はステップＳ30198から図１０５のステップＳ30315にリターンして、その後の処理を行う。
【１２４３】
次に、図１１１のフローチャートを参照して、図１１０のステップＳ30193における斜めクラス分類の処理を詳細に説明する。
【１２４４】
ステップＳ30201において、差分絶対値算出部31041は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。
【１２４５】
ステップＳ30201の処理後、処理は、ステップＳ30202に進み、差分絶対値算出部31041は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。
【１２４６】
そして、差分絶対値算出部31041は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ判定部31043に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部31044に供給する。
【１２４７】
また、閾値選択部31044は、差分絶対値算出部31041から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部31041から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値、垂直差分クラスコードの生成に用いる閾値、および斜め差分クラスコードの生成に用いる閾値を選択する。
【１２４８】
そして、閾値選択部31044は、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部31047に供給し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部31046に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、斜め差分クラスコード生成部31045に供給する。
【１２４９】
その後、処理は、ステップＳ30202からステップＳ30203に進み、斜め差分クラスコード生成部31045は、斜め差分クラスタップ抽出部30432cから供給される斜め差分クラスタップと、閾値選択部31044から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、斜めクラスコード出力部31049に出力する。
【１２５０】
処理は、ステップＳ30203からステップＳ30204に進み、水平差分クラスコード生成部31046は、水平差分クラスタップ抽出部30432aから供給される水平差分クラスタップと、閾値選択部31044から供給される閾値を用いて、水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成し、水平垂直差分ゼロクラスコード生成部31048に出力する。
【１２５１】
また、ステップＳ30204において、垂直差分クラスコード生成部31047は、垂直差分クラスタップ抽出部30432cから供給される垂直差分クラスタップと、閾値選択部31044から供給される閾値を用いて、垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成し、水平垂直差分ゼロクラスコード生成部31048に出力する。
【１２５２】
さらに、ステップＳ30204において、水平垂直差分ゼロクラスコード生成部31048は、水平差分クラスコード生成部31046から供給される水平差分クラスコードを構成するすべてのビットと、垂直差分クラスコード生成部31047から供給される垂直差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平垂直差分ゼロクラスコードとして設定し、斜めクラスコード出力部31049に供給する。
【１２５３】
処理は、ステップＳ30204からステップＳ30205に進み、フィールドフラグ抽出部31042は、ブロック抽出部30432dから供給される注目ブロックからフィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定して、斜めクラスコード出力部31049に供給する。
【１２５４】
処理は、ステップＳ30205からステップＳ30206に進み、ノイズ検出フラグ判定部31043は、差分絶対値算出部31041から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、斜めクラスコード出力部31049に供給する。
【１２５５】
処理は、ステップＳ30206からステップＳ30207に進み、斜めクラスコード出力部31049は、フィールドフラグ抽出部31042から供給されるフィールドフラグ、ノイズ検出フラグ判定部31043から供給されるノイズ検出フラグ、水平垂直差分ゼロクラスコード生成部31048から供給される水平垂直差分ゼロクラスコード、斜め差分クラスコード生成部31045から供給される斜め差分クラスコードを、この順番で左から右に並べて、斜めクラスコードとして、斜め係数記憶部30434に出力する。
【１２５６】
その後、処理は、図１１０のステップＳ30193にリターンする。
【１２５７】
図１１２は、水平クラス、垂直クラス、および斜めクラスの組み合わせの総数を示す図である。
【１２５８】
図中上側には、１ビットのフィールドフラグ、１ビットのノイズ検出フラグ、１ビットの垂直斜め差分ゼロクラスコード、および６ビットの水平差分クラスコードで表される９ビットの水平クラスコードが示されている。
【１２５９】
また、図中上側には、１ビットのフィールドフラグ、１ビットのノイズ検出フラグ、１ビットの水平斜め差分ゼロクラスコード、および６ビットの垂直差分クラスコードで表される９ビットの垂直クラスコードが示されている。
【１２６０】
さらに、図中上側には、１ビットのフィールドフラグ、１ビットのノイズ検出フラグ、１ビットの水平垂直差分ゼロクラスコード、および４ビットの斜め差分クラスコードで表される７ビットの斜めクラスコードが示されている。
【１２６１】
図中下側には、図中上側に示されている、９ビットの水平クラスコード、９ビットの垂直クラスコード、および７ビットの斜めクラスコードの組み合わせにより得られる実質的なクラスの総数を説明する図が示されている。
【１２６２】
以下、図中下側に示される図を用いて、９ビットの水平クラスコード、９ビットの垂直クラスコード、および７ビットの斜めクラスコードの組み合わせにより得られる実質的なクラスの総数を説明する。
【１２６３】
まず、水平クラスコード、垂直クラスコード、および斜めクラスコードそれぞれに共通するフィールドフラグおよびノイズ検出フラグの２ビットを除外して、水平クラスコード、垂直クラスコード、および斜めクラスコードにより得られる実質的なクラスの総数を考える。
【１２６４】
さらに、水平クラスコードの一部である垂直斜め差分ゼロクラスコードは、垂直クラスコードの一部である垂直差分クラスコード、および斜めクラスコードの一部である斜め差分クラスコードにより一意に決定すること、垂直クラスコードの一部である水平斜め差分ゼロクラスコードは、水平クラスコードの一部である水平差分クラスコード、および斜めクラスコードの一部である斜め差分クラスコードにより一意に決定すること、さらに、斜めクラスコードの一部である水平垂直差分ゼロクラスコードは、水平クラスコードの一部である水平差分クラスコード、および垂直クラスコードの一部である垂直差分クラスコードにより一意に決定することから、以下、水平クラスコードの一部である６ビットの水平差分クラスコード、垂直クラスコードの一部である６ビットの垂直差分クラスコード、および斜めクラスコードの一部である４ビットの斜め差分クラスコードにより得られる実質的なクラスの総数を考える。
【１２６５】
図中下側に示される図の１行目では、６ビットの水平差分クラスコード、６ビットの垂直差分クラスコード、および４ビットの斜め差分クラスコードそれぞれが、すべて０のビット列である場合の組み合わせ数は、１×１×１＝１であることを示している。このとき、水平垂直差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値０をとる。
【１２６６】
図中下側に示される図の２行目では、６ビットの水平差分クラスコード、６ビットの垂直差分クラスコードそれぞれが、すべて０のビット列であり、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２4―１＝１５個の異なるビット列である場合の組み合わせ数は、１×１×１５＝１５であることを示している。このとき、水平垂直差分ゼロクラスコードは、値０をとり、水平斜め差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値１をとる。
【１２６７】
図中下側に示される図の３行目では、６ビットの水平差分クラスコード、４ビットの斜め差分クラスコードそれぞれが、すべて０のビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列である場合の組み合わせ数は、１×６３×１＝６３であることを示している。このとき、水平斜め差分ゼロクラスコードは、値０をとり、水平垂直差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値１をとる。
【１２６８】
図中下側に示される図の４行目では、６ビットの水平差分クラスコードが、すべて０のビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２4−１＝１５個の異なるビット列である場合の組み合わせ数は、１×６３×１５＝９４５であることを示している。このとき、水平斜め差分ゼロクラスコードは、値０をとり、水平垂直差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値１をとる。
【１２６９】
図中下側に示される図の５行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコード、および４ビットの斜め差分クラスコードそれぞれが、すべて０のビット列である場合の組み合わせ数は、６３×１×１＝６３であることを示している。このとき、垂直斜め差分ゼロクラスコードは、値０をとり、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。
【１２７０】
図中下側に示される図の６行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコードが、すべて０のビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２4−１＝１５個の異なるビット列である場合の組み合わせ数は、６３×１×１５＝９４５であることを示している。このとき、垂直斜め差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。
【１２７１】
図中下側に示される図の７行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０のビット列である場合の組み合わせ数は、６３×６３×１＝３９６９であることを示している。このとき、垂直斜め差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。
【１２７２】
図中下側に示される図の８行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２6―１＝６３個の異なるビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２4−１＝１５個の異なるビット列である場合の組み合わせ数は、６３×６３×１５＝５９５３５であることを示している。このとき、垂直斜め差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。
【１２７３】
従って、水平クラスコードの一部である６ビットの水平差分クラスコード、垂直クラスコードの一部である６ビットの垂直差分クラスコード、および斜めクラスコードの一部である４ビットの斜め差分クラスコードにより得られる実質的なクラスの総数は、１＋１５＋６３＋９４５＋６３＋９４５＋３９６９＋５９５３５＝６５５３６となる。
【１２７４】
そして、先ほど除外していた２ビット、即ち、水平クラスコード、垂直クラスコード、および斜めクラスコードに共通するフィールドフラグおよびノイズ検出フラグの２ビットの組み合わせである２2＝４と、画素位置モード０乃至Ｆの１６通りを乗算することで、水平クラスコードが表す水平クラス、垂直クラスコードが表す垂直クラス、および斜めクラスコードが表す斜めクラスの組み合わせにより得られる実質的なクラスの総数は、６５５３６×４×１６＝４１９４３０４クラスとなる。
【１２７５】
次に、後の説明を簡単にするために、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ1を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。
【１２７６】
即ち、図１１３は、水平差分マッピング処理を行う水平差分マッピング部30111の構成例を示すブロック図である。
【１２７７】
なお、図中、図１０４の水平マッピング部30071の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【１２７８】
即ち、図１１３の水平差分マッピング部30111は、図６２のゲイン調整部10112と同様に構成されるゲイン調整部30112が新たに設けられているほかは、図１０４の水平マッピング部30071の場合と同様に構成されている。
【１２７９】
次に、図１１４を参照して、式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗnを求める学習を行う学習部30121を説明する。
【１２８０】
図１１４は、水平係数ｗnを求める学習を行う学習部30121の構成例を示すブロック図である。
【１２８１】
図１１４の学習部30121は、原画像記憶部30131、ノイズ付加部30132、予測タップ抽出部30133、クラスタップ抽出部30134、クラス分類部30135、足し込み部30136、係数算出部30137、およびモード判定部30141により構成される。
【１２８２】
なお、図１１４の学習部30121の原画像記憶部30131乃至予測タップ抽出部30133、足し込み部30136、係数算出部30137、およびモード判定部30141それぞれは、図８５の学習部20121の原画像記憶部20131乃至予測タップ20133、足し込み部20136、係数算出部20137、およびモード判定部20141それぞれと同様に構成される。
【１２８３】
クラスタップ抽出部30134は、ノイズ付加部30132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップ（図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平クラスタップ）を得て、クラス分類部30135に供給する。
【１２８４】
即ち、クラスタップ抽出部30134の水平差分クラスタップ抽出部30134a、垂直差分クラスタップ抽出部30134b、斜め差分クラスタップ抽出部30134c、ブロック抽出部30134dそれぞれは、図９７の水平クラスタップ抽出部30062の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれが注目画素について得るタップと同一のタップ構造のタップを得て、それぞれ、クラス分類部30135に供給する。
【１２８５】
クラス分類部30135は、クラスタップ抽出部30134から供給された水平クラスタップに基づき、図９７の水平クラス分類部30063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部30136に供給する。
【１２８６】
図１１５は、図１１４のクラス分類部30315の詳細な構成例を示すブロック図である。
【１２８７】
クラス分類部30135は、差分絶対値算出部30141、フィールドフラグ抽出部30142、ノイズ検出フラグ判定部30143、閾値選択部30144、サブコード生成部30145乃至30148、およびクラスコード出力部30149により構成される。
【１２８８】
差分絶対値算出部30141は、クラスタップ抽出部30134（ブロック抽出部30134c）から供給される注目ブロックに基づいて、図９８の差分絶対値算出部31011と同一の処理を行うことで、サブコード生成部30145乃至30147で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。
【１２８９】
フィールドフラグ抽出部30142は、クラスタップ抽出部30134（ブロック抽出部30134c）から供給される注目ブロックから、フィールド情報を抽出することにより、図９８のフィールドフラグ抽出部31012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部30149に供給する。
【１２９０】
ノイズ検出フラグ判定部30143は、差分絶対値算出部30141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図９８のノイズ検出フラグ判定部31013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部30149に供給する。
【１２９１】
閾値選択部30144は、差分絶対値算出部30141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図９８の閾値選択部31014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部30145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部30146に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、サブコード生成部30147に供給する。
【１２９２】
サブコード生成部30145は、クラスタップ抽出部30134（水平差分クラスタップ抽出部30134a）から供給される水平差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の水平差分クラスコード生成部31015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部30149に供給する。
【１２９３】
サブコード生成部30146は、クラスタップ抽出部30134（垂直差分クラスタップ抽出部30134b）から供給される垂直差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の垂直差分クラスコード生成部31016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部30148に供給する。
【１２９４】
サブコード生成部30147は、クラスタップ抽出部30134（斜め差分クラスタップ抽出部30134c）から供給される斜め差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の斜め差分クラスコード生成部31017と同様の処理を行い、その結果得られる斜め差分クラスコードを、サブコード生成部30148に供給する。
【１２９５】
サブコード生成部30148は、サブコード生成部30146から供給される垂直差分クラスコードと、サブコード生成部30147から供給される斜め差分クラスコードを用いて、図９８の垂直斜め差分ゼロクラスコード生成部31018と同様の処理を行い、その結果得られる垂直斜め差分ゼロクラスコードを、クラスコード出力部30149に供給する。
【１２９６】
クラスコード出力部30149は、図９８の水平クラスコード出力部31019と同様に、フィールドフラグ抽出部30142から供給されるフィールドフラグ、ノイズ検出フラグ判定部30143から供給されるノイズ検出フラグ、サブコード生成部30148から供給される垂直斜め差分ゼロクラスコード、サブコード生成部30145から供給される水平差分クラスコードの両端のビットを削除することにより得られるコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部30136に出力する。
【１２９７】
次に、図１１６のフローチャートを参照して、図１１４の学習部30121における学習処理を説明する。
【１２９８】
ステップＳ30121において、ノイズ付加部30132は、原画像記憶部30131から原画像を読み出し、その原画像をMPEG符号化し、さらにMPEG復号することにより、生徒画像を生成し、予測タップ抽出部30133およびクラスタップ抽出部30134に供給する。
【１２９９】
処理は、ステップＳ30121からステップＳ30122に進み、予測タップ抽出部30133は、ノイズ付加部30132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックに含まれる画素を順次、注目画素として、処理は、ステップＳ30123に進む。
【１３００】
ステップＳ30123において、予測タップ抽出部30133は、ノイズ付加部30132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平予測タップ抽出部30061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部30136に供給する。
【１３０１】
処理は、ステップＳ30123からステップＳ30124に進み、クラスタップ抽出部30134は、ノイズ付加部30132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、クラス分類部30135に供給する。
【１３０２】
処理は、ステップＳ30124からステップＳ30125に進み、クラス分類部30135は、クラスタップ抽出部30134から供給された水平クラスタップに基づき、図９７の水平クラス分類部30063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部30136に供給する。
【１３０３】
処理は、ステップＳ30125からステップＳ30126に進み、モード判定部30141は、そこに供給される位置情報に基づいて、図９７のモード判定部30031と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部30136に供給する。なお、モード判定部30141には、予測タップ抽出部30133から、注目画素の位置情報が供給される。
【１３０４】
処理は、ステップＳ30216からステップＳ30217に進み、モード判定部30141は、そこに供給される位置情報に基づいて、図９７のモード判定部30031と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部30136に供給する。
【１３０５】
処理は、ステップＳ30127からステップＳ30128に進み、足し込み部30136は、原画像記憶部30131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部30133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部30135から供給された水平クラスコードと、モード判定部30141から供給された画素位置モードのセットごとに行う。
【１３０６】
処理は、ステップＳ30128からステップＳ30129に進み、予測タップ抽出部30133は、注目ブロックの画素すべてを注目画素としたか否かを判定する。
【１３０７】
ステップＳ30129において、注目ブロックの画素すべてを注目画素としていないと判定された場合、処理は、ステップＳ30122に戻り、予測タップ抽出部30133は、注目ブロックの画素のうちの、まだ注目画素としていない画素を、新たな注目画素として、処理は、ステップＳ30123に進み、以下、同様の処理を繰り返す。
【１３０８】
一方、ステップＳ30129において、注目ブロックの画素すべてを注目画素としたと判定された場合、処理は、ステップＳ30130に進み、予測タップ抽出部30133は、ノイズ付加部30132から供給された生徒画像を構成するブロックのうちの、まだ注目ブロックとされていないブロックが存在するか否かを判定する。
【１３０９】
ステップＳ30130において、まだ注目ブロックとされていないブロックが存在すると判定された場合、処理は、ステップＳ30122に戻り、予測タップ抽出部30133は、まだ注目ブロックとされていない生徒画像を構成するブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックを構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30123に進み、以下、同様の処理を繰り返す。
【１３１０】
一方、ステップＳ30130において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部30136においては、ノイズ付加部30132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、水平クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部30136は、正規方程式を、係数算出部30137に供給する。そして、処理は、ステップＳ30130からステップＳ30131に進み、係数算出部30137は、足し込み部30136から供給された水平クラスおよび画素位置モードのセットそれぞれについての正規方程式を解くことにより、各セットについて、水平係数ｗnを求めて出力する。
【１３１１】
その後、学習処理は終了される。
【１３１２】
次に、図１１７のフローチャートを参照して、図１１６のステップＳ30125におけるクラス分類の処理を詳細に説明する。
【１３１３】
ステップＳ30141において、差分絶対値算出部30141は、クラスタップ抽出部30134（ブロック抽出部30134d）から供給される注目ブロックに基づいて、図９８の差分絶対値算出部31011と同一の処理を行うことで、水平画素間差分および垂直画素間差分を算出する。
【１３１４】
処理は、ステップＳ30141からステップＳ30142に進み、差分絶対値算出部30141は、算出した水平画素間差分および垂直画素間差分を用いて、図９８の差分絶対値算出部31011と同一の処理を行うことで、サブコード生成部30145乃至10147で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。
【１３１５】
また、差分絶対値算出部30141は、設定した水平エッジ検出フラグおよび垂直エッジ検出フラグを、ノイズ検出フラグ判定部30143に供給し、算出した閾値とともに、閾値選択部30144に供給する。
【１３１６】
さらに、ステップＳ30142において、閾値選択部30144は、差分絶対値算出部30141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図９８の閾値選択部31014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部30145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部30146に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、サブコード生成部30147に供給する。
【１３１７】
処理は、ステップＳ30142からステップＳ30143に進み、サブコード生成部30145は、クラスタップ抽出部30134（水平差分クラスタップ抽出部30134a）から供給される水平差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の水平差分クラスコード生成部31015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部30149に供給する。
【１３１８】
その後、処理は、ステップＳ30143からステップＳ30144に進み、サブコード生成部30146は、クラスタップ抽出部30134（垂直差分クラスタップ抽出部30134b）から供給される垂直差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の垂直差分クラスコード生成部31016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部30148に供給する。
【１３１９】
また、ステップＳ30144において、サブコード生成部30147は、クラスタップ抽出部30134（斜め差分クラスタップ抽出部30134c）から供給される斜め差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の斜め差分クラスコード生成部31017と同様の処理を行い、その結果得られる斜め差分クラスコードを、サブコード生成部30148に供給する
【１３２０】
さらに、ステップＳ30144において、サブコード生成部30148は、サブコード生成部30146から供給される垂直差分クラスコードと、サブコード生成部30147から供給される斜め差分クラスコードを用いて、図９８の垂直斜め差分ゼロクラスコード生成部31018と同様の処理を行い、その結果得られる垂直斜め差分ゼロクラスコードを、クラスコード出力部30149に供給する。
【１３２１】
処理は、ステップＳ30144からステップＳ30145に進み、フィールドフラグ抽出部30142は、クラスタップ抽出部30134（ブロック抽出部30134d）から供給される注目ブロックから、フィールド情報を抽出することにより、図９８のフィールドフラグ抽出部31012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部30149に供給する。
【１３２２】
処理は、ステップＳ30145からステップＳ30146に進み、ノイズ検出フラグ判定部30143は、差分絶対値算出部30141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図９８のノイズ検出フラグ判定部31013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部30149に供給する。
【１３２３】
処理は、ステップＳ30146からステップＳ30147に進み、クラスコード出力部30149は、図９８の水平クラスコード出力部31018と同様に、フィールドフラグ抽出部30142から供給されるフィールドフラグ、ノイズ検出フラグ判定部30143から供給されるノイズ検出フラグ、サブコード生成部30148から供給される垂直斜め差分クラスコード、サブコード生成部30145から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部30136に出力する。
【１３２４】
その後、処理は、図１１６のステップＳ30125にリターンする。
【１３２５】
ここで、図１１６のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、以下、適宜、水平タップにおける学習処理という。
【１３２６】
なお、図１１４の学習部30121において、予測タップ抽出部30133が垂直予測タップを抽出し、クラスタップ抽出部30134が垂直クラスタップを抽出して、クラス分類部20135が垂直クラス分類を行うこととすれば、図６３の学習部10121の場合と同様に、水平係数に代えて、垂直係数を求めることができる。
【１３２７】
図１１４の学習部30121において、垂直係数ｗ’nを求める学習処理を、以下、適宜、垂直タップにおける学習処理という。
【１３２８】
さらに、図１１４の学習部30121において、予測タップ抽出部30133が斜め予測タップを抽出し、クラスタップ抽出部30134が斜めクラスタップを抽出して、クラス分類部20135が斜めクラス分類を行うこととすれば、図６３の学習部10121の場合と同様に、水平係数に代えて、斜め係数を求めることができる。
【１３２９】
図１１４の学習部30121において、斜め係数ｗ’’nを求める学習処理を、以下、適宜、斜めタップにおける学習処理という。
【１３３０】
図９７の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数、垂直タップにおける学習処理により求められた垂直係数、斜めタップにおける学習処理により求められた斜め係数を用いて画像変換処理を行うことができる。
【１３３１】
次に、図１１４の学習部30121で学習される水平係数、垂直係数、および斜め係数のように、水平係数による水平処理効果分、垂直係数による垂直処理効果分、および斜め係数により斜め処理効果分が過剰となったり、相殺されることがないように、水平係数、垂直係数、および斜め係数を学習する学習処理を、図１１８を参照して説明する。
【１３３２】
即ち、図１１８は、上述した図９７の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部30491の構成例を示すブロック図である。なお、図１１８には、説明の便宜上、図９７の画像変換部３１に相当する画像変換部30492も図示してある。
【１３３３】
３段差分学習部30491は、水平タップ学習部32161、水平マッピング部32162、垂直タップ差分学習部32163、垂直差分マッピング部32164、加算部32165、および斜めタップ差分学習部30531により構成される。
【１３３４】
水平タップ学習部32161は、図１１４の学習部30121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部32162に供給する。
【１３３５】
水平マッピング部32162は、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部32161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部32163および加算部32165に供給する。なお、水平マッピング部32162には、水平タップ学習部32161などから、MPEG復号画像が供給される。
【１３３６】
垂直タップ差分学習部32163は、水平タップ学習部32161で教師画像として用いられる原画像と、水平マッピング部32162から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
【１３３７】
即ち、垂直タップ差分学習部32163は、原画像、MPEG復号画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。
【１３３８】
なお、垂直タップ差分学習部32163の、垂直タップにおける水平差分の差分学習処理は、後述する図１１９を参照して、詳細に説明する。
【１３３９】
垂直差分マッピング部32164には、垂直タップ差分学習部32163から、垂直係数と、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像とが供給される。
【１３４０】
垂直差分マッピング部32164は、そこに供給される、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像と垂直係数を用いて、垂直差分マッピング処理を行い、その結果得られる垂直差分ｖを、加算部32165に供給する。
【１３４１】
加算部32165は、水平マッピング部32162から供給された水平処理画像Ｈと、垂直差分マッピング部32164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ1）を、斜めタップ差分学習部30531に供給する。
【１３４２】
斜めタップ差分学習部30531は、水平タップ学習部32161で教師画像として用いられる原画像と、加算部32165から供給される水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
【１３４３】
即ち、斜めタップ差分学習部30531は、原画像、MPEG復号画像、および水平垂直処理画像Ｈ＋ｖから、後述するようにして、原画像と、水平差分ｈおよび垂直差分ｖとの差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、MPEG復号画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。
【１３４４】
なお、斜めタップ差分学習部30531の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図１２０を参照して、詳細に説明する。
【１３４５】
図９７の画像変換部３１における画像変換処理では、図１１８の３段差分学習部30491により求められた水平係数、垂直係数、および斜め係数を用いることができる。
【１３４６】
ここで、図１１８において、画像変換部30492は、図９７の画像変換部３１と同様に構成される。画像変換部30492では、次のようにして、MPEG復号画像を原画像（の予測値）に変換する画像変換処理が行われる。
【１３４７】
即ち、画像変換部30152は、水平マッピング部32162、垂直差分マッピング部30164、加算部30165、斜め差分マッピング部30532、および加算部30533により構成される。
【１３４８】
水平マッピング部32162は、図１０４の水平予測タップ抽出部30061、水平クラスタップ抽出部30062、水平クラス分類部30063、水平係数記憶部30064、水平予測演算部30101、およびモード判定部30031で構成される水平マッピング部30071と同様に構成される。
【１３４９】
水平マッピング部32162は、水平タップ学習部32161での水平タップにおける学習処理により得られる水平係数を用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部32165に供給する。
【１３５０】
垂直差分マッピング部32164は、図１０４の垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、垂直予測演算部30102、ゲイン調整部30103、およびモード判定部30032で構成される垂直差分マッピング部30073と同様に構成される。
【１３５１】
垂直差分マッピング部32164は、垂直タップ差分学習部32163での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部32165に供給する。
【１３５２】
加算部32165は、図１０４の加算部30104と同様に構成され、水平マッピング部32162から供給された水平処理画像Ｈと、垂直差分マッピング部32164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ1）で構成される、原画像を予測した画像を、加算部30533に供給する。
【１３５３】
斜め差分マッピング部30532は、図１０４の斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、斜め予測演算部30461、ゲイン調整部30462、およびモード判定部30033で構成される斜め差分マッピング部30472と同様に構成される。
【１３５４】
斜め差分マッピング部30532は、斜めタップ差分学習部30531での斜めタップにおける水平垂直差分の差分学習処理により得られる斜め係数を用いて、MPEG復号画像を斜め差分ｒに変換する斜め差分マッピング処理を行い、その斜め差分ｒを、加算部30533に供給する。
【１３５５】
加算部30533は、図１０４の加算部30463と同様に構成され、加算部32165から供給された水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部30532から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒで構成される、原画像を予測した画像を出力する。
【１３５６】
次に、図１１９は、垂直タップにおける水平差分の差分学習処理を行う図１１８の垂直タップ差分学習部32163の詳細な構成例を示すブロック図である。
【１３５７】
即ち、図１１９の垂直タップ差分学習部32163は、図１１４の原画像記憶部30131乃至係数算出部30137とそれぞれ同様に構成される原画像記憶部31131乃至係数算出部31137、図１１の差分画像生成部233と同様に構成される差分画像生成部30233、および図１１４のモード判定部30141と同様に構成されるモード判定部31141から構成される。
【１３５８】
次に、図１２０は、斜めタップにおける水平垂直差分の差分学習処理を行う図１１８の斜めタップ差分学習部30531の詳細な構成例を示すブロック図である。
【１３５９】
即ち、図１２０の斜めタップ差分学習部30531は、図１１４の原画像記憶部30131乃至係数算出部30137とそれぞれ同様に構成される原画像記憶部33131乃至係数算出部33137、図２９の差分画像生成部543と同様に構成される差分画像生成部30543、および図１１４のモード判定部30141と同様に構成されるモード判定部33141から構成される。
【１３６０】
次に、図１２１のフローチャートを参照して、図１１８の３段差分学習部30491における３段差分学習処理を説明する。
【１３６１】
ステップＳ30331において、水平タップ学習部32161は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部32162に供給する。
【１３６２】
その後、処理は、ステップＳ30331からステップＳ30332に進み、水平マッピング部32162は、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部32161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部32163に供給する。
【１３６３】
そして、処理は、ステップＳ30332からステップＳ30333に進み、垂直タップ差分学習部32163は、水平タップ学習部32161で教師画像として用いられる原画像と、水平マッピング部32162から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直差分マッピング部32164に供給して、処理は、ステップＳ30334に進む。
【１３６４】
ステップＳ30334において、垂直差分マッピング部32164は、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部32163から供給された垂直係数とを用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部32165に供給して、処理は、ステップＳ30335に進む。
【１３６５】
ステップＳ30335において、加算部32165は、水平マッピング部32162から供給された水平処理画像Ｈと、垂直差分マッピング部32164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜めタップ差分学習部30531に供給して、処理は、ステップＳ30336に進む。
【１３６６】
ステップＳ30336において、斜めタップ差分学習部30531は、水平タップ学習部32161で教師画像として用いられる原画像と、加算部32165から供給された水平垂直処理画像Ｈ＋ｖとを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
【１３６７】
その後、３段差分学習処理は、終了される。
【１３６８】
次に、図１２２のフローチャートを参照して、図１２１のステップＳ30333の、垂直タップにおける水平差分の差分学習処理を説明する。
【１３６９】
ステップＳ30201において、垂直タップ差分学習部32163（図１１９）のノイズ付加部31132は、原画像記憶部31131に記憶されている原画像を読み出し、その原画像をMPEG符号化し、さらに、MPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部30233、垂直予測タップ抽出部31133および垂直クラスタップ抽出部31134に供給する。なお、原画像記憶部31131には、図１１８の水平タップ学習部32161で教師画像として用いられるのと同一の原画像が、記憶されている。
【１３７０】
処理は、ステップＳ30201からステップＳ30202に進み、差分画像生成部30233は、ノイズ付加部31132から供給されたMPEG復号画像ｘ1を、図１１８の水平マッピング部32162から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
【１３７１】
また、ステップＳ30202において、差分画像生成部30233は、原画像記憶部31131に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部31136に供給する。
【１３７２】
その後、処理は、ステップＳ30202からステップＳ30203に進み、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックの画素を注目画素として、処理は、ステップＳ30204に進む。
【１３７３】
ステップＳ30204において、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直予測タップ抽出部30065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部31136に供給する。
【１３７４】
そして、処理は、ステップＳ30204からステップＳ30205に進み、垂直クラスタップ抽出部31134は、ノイズ付加部31132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直クラスタップ抽出部30066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部31135に供給する。
【１３７５】
さらに、処理は、ステップＳ30205からステップＳ30206に進み、垂直クラス分類部31135は、垂直クラスタップ抽出部31134から供給された垂直クラスタップに基づき、図９７の垂直クラス分類部30067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部31136に供給して、ステップＳ30207に進む。
【１３７６】
ステップＳ30207において、モード判定部31141は、そこに供給される位置情報に基づいて、図９７のモード判定部30032と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部31136に供給する。なお、モード判定部31141には、垂直予測タップ抽出部31133から、注目画素の位置情報が供給される。
【１３７７】
処理は、ステップＳ30207からステップＳ30208に進み、モード判定部31141は、そこに供給される位置情報に基づいて、図９７のモード判定部30032と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部31136に供給する。
【１３７８】
処理は、ステップＳ30208からステップＳ30209に進み、足し込み部31136は、原画像記憶部20131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、垂直予測タップ抽出部31133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部31135から供給された垂直クラスと、モード判定部31141から供給された画素位置モードのセットごとに行う。
【１３７９】
処理は、ステップＳ30209からステップＳ30210に進み、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成する注目ブロックの画素すべてを、注目画素としたか否かを判定する。
【１３８０】
ステップＳ30210において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ30203に戻り、垂直予測タップ抽出部31133は、まだ注目画素とされていない生徒画像を構成する注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30204に進み、以下、同様の処理を繰り返す。
【１３８１】
一方、ステップＳ30210において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ30211に進み、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成するブロックのうちの、まだ注目ブロックとされていないブロックが存在するか否かを判定する。
【１３８２】
ステップＳ30211において、まだ注目ブロックとされていないブロックが存在すると判定された場合、処理は、ステップＳ30203に戻り、垂直予測タップ抽出部31133は、まだ注目ブロックとされていない生徒画像を構成するブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックを構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30204に進み、以下、同様の処理を繰り返す。
【１３８３】
一方、ステップＳ30211において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部31136においては、ノイズ付加部31132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、垂直クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部31136は、正規方程式を、係数算出部31137に供給する。そして、処理は、ステップＳ30211からステップＳ30212に進み、係数算出部31137は、足し込み部31136から供給された垂直クラスおよび画素位置モードのセットそれぞれについての正規方程式を解くことにより、各セットについて、垂直係数ｗnを求めて出力する。
【１３８４】
その後、処理は、図１２１のステップＳ30333にリターンする。
【１３８５】
次に、図１２３のフローチャートを参照して、図１２１のステップＳ30336の、斜めタップにおける水平垂直差分の差分学習処理を説明する。
【１３８６】
ステップＳ30341において、斜めタップ差分学習部30531（図１２０）のノイズ付加部33132は、原画像記憶部33131に記憶されている原画像を読み出し、その原画像をMPEG符号化し、さらに、MPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部30543、斜め予測タップ抽出部33133および斜めクラスタップ抽出部33134に供給する。なお、原画像記憶部33131には、図１１８の水平タップ学習部32161で教師画像として用いられるのと同一の原画像が、記憶されている。
【１３８７】
処理は、ステップＳ30341からステップＳ30342に進み、差分画像生成部30543は、ノイズ付加部33132から供給されたMPEG復号画像ｘ1を、図１１８の加算部32165から供給された水平垂直処理画像Ｈ＝ｈ＋ｖ＋ｘ1から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
【１３８８】
また、ステップＳ30342において、差分画像生成部30543は、原画像記憶部33131に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部33136に供給する。
【１３８９】
その後、処理は、ステップＳ30342からステップＳ30343に進み、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックの画素を注目画素として、処理は、ステップＳ30344に進む。
【１３９０】
ステップＳ30344において、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜め予測タップ抽出部30431が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部33136に供給する。
【１３９１】
そして、処理は、ステップＳ30344からステップＳ30345に進み、斜めクラスタップ抽出部33134は、ノイズ付加部33132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜めクラスタップ抽出部30432が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部33135に供給する。
【１３９２】
さらに、処理は、ステップＳ30345からステップＳ30346に進み、斜めクラス分類部33135は、斜めクラスタップ抽出部33134から供給された斜めクラスタップに基づき、図９７の斜めクラス分類部30433と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する垂直クラスコードを、足し込み部33136に供給して、ステップＳ30347に進む。
【１３９３】
ステップＳ30347において、モード判定部33141は、そこに供給される位置情報に基づいて、図９７のモード判定部30033と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部33136に供給する。なお、モード判定部33141には、斜め予測タップ抽出部33133から、注目画素の位置情報が供給される。
【１３９４】
処理は、ステップＳ30347からステップＳ30348に進み、モード判定部33141は、そこに供給される位置情報に基づいて、図９７のモード判定部30033と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部33136に供給する。
【１３９５】
処理は、ステップＳ30348からステップＳ30349に進み、足し込み部33136は、原画像記憶部33131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、斜め予測タップ抽出部33133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部33135から供給された垂直クラスと、モード判定部33141から供給された画素位置モードのセットごとに行う。
【１３９６】
処理は、ステップＳ30349からステップＳ30350に進み、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成する注目ブロックの画素すべてを、注目画素としたか否かを判定する。
【１３９７】
ステップＳ30351において、注目ブロックの画素すべてを、注目画素としていない判定された場合、処理は、ステップＳ30343に戻り、斜め予測タップ抽出部33133は、まだ注目画素とされていない生徒画像を構成する注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30344に進み、以下、同様の処理を繰り返す。
【１３９８】
一方、ステップＳ30351において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ30351に進み、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成するブロックのうちの、まだ注目ブロックとされていないブロックが存在するか否かを判定する。
【１３９９】
ステップＳ30350において、まだ注目ブロックとされていないブロックが存在すると判定された場合、処理は、ステップＳ30343に戻り、斜め予測タップ抽出部33133は、まだ注目ブロックとされていない生徒画像を構成するブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックを構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30344に進み、以下、同様の処理を繰り返す。
【１４００】
一方、ステップＳ30350において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部33136においては、ノイズ付加部33132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、垂直クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部33136は、正規方程式を、係数算出部33137に供給する。そして、処理は、ステップＳ30351からステップＳ30352に進み、係数算出部33137は、足し込み部33136から供給された斜めクラスと画素位置モードとのセットそれぞれについての正規方程式を解くことにより、各セットについて、斜め係数を求めて出力する。
【１４０１】
その後、処理は、図１２１のステップＳ30336にリターンする。
【１４０２】
ところで、図１１８の３段差分学習部30491で求められる水平係数、垂直係数、および斜め係数によれば、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直処理効果分、および斜め係数を用いた斜め処理効果分の寄与分が同等とならない。
【１４０３】
そこで、図１２４は、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部30581の構成例を示すブロック図である。
【１４０４】
図１２４の３段反復学習部30581は、水平処理部30601、垂直処理部30602、および斜め処理部30603により構成される。
【１４０５】
水平処理部30601は、斜め処理部30603から供給された画像などに基づいて、水平係数を学習する。さらに、水平処理部30601は、学習によって得られる水平係数などに基づいて画像を生成し、垂直処理部30602に供給する。
【１４０６】
垂直処理部30602は、水平処理部30601から供給された画像などに基づいて、垂直係数を学習する。さらに、垂直処理部30602は、学習によって得られる垂直係数などに基づいて画像を生成し、斜め処理部30603に供給する。
【１４０７】
斜め処理部30603は、垂直処理部30602から供給された画像などに基づいて、斜め係数を学習する。さらに、斜め処理部30603は、学習によって得られる斜め係数などに基づいて画像を生成し、水平処理部30601に供給する。
【１４０８】
図１２５は、図１２４の水平処理部30601の詳細な構成例を示すブロック図である。
【１４０９】
水平処理部30601は、水平タップ学習部30631、水平マッピング部30632、水平タップ差分学習部30633、および水平差分加算マッピング部30634により構成される。また、水平差分加算マッピング部30634は、水平差分マッピング部30661および加算部30662により構成される。
【１４１０】
水平タップ学習部30631は、図１１４の学習部30121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部30632および水平差分加算マッピング部30634（水平差分マッピング部30661）に供給する。
【１４１１】
水平マッピング部30632は、水平タップ学習部30631で生徒画像として用いられるMPEG復号画像と、水平タップ学習部30631または水平タップ差分学習部30633から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部30602（図１２４）に供給する。
【１４１２】
水平タップ差分学習部30633は、水平タップ学習部30631で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および斜め処理部30603から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を学習する。
【１４１３】
即ち、水平タップ差分学習部30633は、原画像、MPEG復号画像、および垂直斜め処理画像Ｖ＋ｒから、後述するようにして、原画像と[垂直差分ｖ＋斜め差分ｒ]との差分である原画像−[垂直差分ｖ＋斜め差分ｒ]を生成し、その原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像とするとともに、MPEG復号画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて水平係数を学習する、水平タップにおける垂直斜め差分の差分学習処理を行う。
【１４１４】
なお、水平タップ差分学習部30633の、水平タップにおける垂直斜め差分の差分学習処理は、後述する図１２６を参照して、詳細に説明する。
【１４１５】
また、水平タップ差分学習部30633は、学習した水平係数を、水平マッピング部30632および水平差分加算マッピング部30634（水平差分マッピング部30661）に供給する。
【１４１６】
水平差分加算マッピング部30634は、斜め水平処理画像Ｒ＋ｈを生成し、垂直処理部30602に供給する。
【１４１７】
即ち、水平差分加算マッピング部30634の水平差分マッピング部30661は、水平タップ学習部30631で生徒画像として用いられるMPEG復号画像と、水平タップ学習部30631または水平タップ差分学習部30633から供給された水平係数を用いて、水平差分マッピング処理を行い、その結果得られた水平差分ｈを、加算部30662に供給する。
【１４１８】
加算部30662は、水平差分マッピング部30661から供給された水平差分ｈと、斜め処理部30603から供給された斜め処理画像Ｒとを加算し、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部30602に供給する。
【１４１９】
ここで、上述のように、水平差分マッピング部30661と加算部30662とで構成される水平差分加算マッピング部30634は、水平差分ｈを求め、その水平差分ｈと、斜め処理部30603から供給された斜め処理画像Ｒとを加算する処理を行うため、かかる処理を、以下、適宜、水平差分加算マッピング処理という。
【１４２０】
図１２６は、水平タップにおける垂直斜め差分の差分学習処理を行う図１２５の水平タップ差分学習部30633の詳細な構成例を示すブロック図である。
【１４２１】
水平タップ差分学習部30633は、図１１４の学習部30121の原画像記憶部30131乃至係数算出部30137それぞれと同様に構成される原画像記憶部34131乃至係数算出部34137と、差分画像生成部30673とから構成される。
【１４２２】
差分画像生成部30673には、ノイズ付加部34132から生徒画像が供給されるとともに、図１２４の斜め処理部30603から、垂直斜め処理画像Ｖ＋ｒが供給される。
【１４２３】
差分画像生成部30673は、ノイズ付加部34132から供給された生徒画像（MPEG復号画像）ｘ1を、図１２４の斜め処理部30603から供給された垂直斜め処理画像Ｖ＋ｒ＝ｖ＋ｘ1＋ｒから差し引くことで、[垂直差分ｖ＋斜め差分ｒ]を生成する。
【１４２４】
また、差分画像生成部30673は、原画像記憶部34131に記憶されている原画像を読み出し、その原画像から、生成した[垂直差分ｖ＋斜め差分ｒ]を差し引き、その結果得られた原画像―[垂直差分ｖ＋斜め差分ｒ]を、教師画像として、足し込み部34136に供給する。
【１４２５】
水平予測タップ抽出部34133は、ノイズ付加部34132から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部34133は、ノイズ付加部34132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部34136に供給する。
【１４２６】
水平クラスタップ抽出部34134は、ノイズ付加部34132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部34135に供給する。
【１４２７】
水平クラス分類部34135は、水平クラスタップ抽出部34134から供給された水平クラスタップに基づき、図９７の水平クラス分類部30063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部34136に供給する。
【１４２８】
なお、足し込み部34136は、差分画像生成部30673から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部34133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、モード判定部34141から供給される領域情報に基づいて、水平クラス分類部34135から供給された水平クラスコードと、モード判定部34141から供給された画素位置モードとのセットそれぞれに行うことにより、各セットについて正規方程式をたてると、その正規方程式を、係数算出部34137に供給する。
【１４２９】
係数算出部34137は、足し込み部34136から供給された各セットについての正規方程式を解くことにより、各セットについて、水平係数を求めて出力する。
【１４３０】
図１２７は、図１２４の垂直処理部30602の詳細な構成例を示すブロック図である。
【１４３１】
垂直処理部30602は、垂直タップ学習部30691、垂直マッピング部30692、垂直タップ差分学習部30693、および垂直差分加算マッピング部30694により構成される。また、垂直差分加算マッピング部30694は、垂直差分マッピング部30721および加算部30722により構成される。
【１４３２】
垂直タップ学習部30691は、図１１４の学習部30121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部30692および垂直差分加算マッピング部30694（垂直差分マッピング部30721）に供給する。
【１４３３】
垂直マッピング部30692は、垂直タップ学習部30691で生徒画像として用いられるMPEG復号画像と、垂直タップ学習部30691または垂直タップ差分学習部30693から供給された垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部30603（図１２４）に供給する。
【１４３４】
垂直タップ差分学習部30693は、垂直タップ学習部30691で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および水平処理部30601から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、水平係数を学習する。
【１４３５】
即ち、垂直タップ差分学習部30693は、原画像、MPEG復号画像、および斜め水平処理画像Ｒ＋ｈから、原画像と[斜め差分ｒ＋水平差分ｈ]との差分である原画像−[斜め差分ｒ＋水平差分ｈ]を生成し、その原画像−[斜め差分ｒ＋水平差分ｈ]を教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける斜め水平差分の差分学習処理を行う。
【１４３６】
なお、垂直タップ差分学習部30693の、垂直タップにおける斜め水平差分の差分学習処理は、後述する図１２８を参照して、詳細に説明する。
【１４３７】
また、垂直タップ差分学習部30693は、学習した垂直係数を、垂直マッピング部30692および垂直差分加算マッピング部30694（垂直差分マッピング部30721）に供給する。
【１４３８】
垂直差分加算マッピング部30694は、水平垂直処理画像Ｈ＋ｖを生成し、斜め処理部30603に供給する。
【１４３９】
即ち、垂直差分加算マッピング部30694の垂直差分マッピング部30721は、垂直タップ学習部30691で生徒画像として用いられるMPEG復号画像と、垂直タップ学習部30691または垂直タップ差分学習部30693から供給された垂直係数を用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部30722に供給する。
【１４４０】
加算部30722は、垂直差分マッピング部30721から供給された垂直差分ｖと、水平処理部30601から供給された水平処理画像Ｈとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部30603に供給する。
【１４４１】
ここで、上述のように、垂直差分マッピング部30721と加算部30722とで構成される垂直差分加算マッピング部30694は、垂直差分ｖを求め、その垂直差分ｖと、水平処理部30601から供給された水平処理画像Ｈとを加算する処理を行うが、かかる処理を、以下、適宜、垂直差分加算マッピング処理という。
【１４４２】
図１２８は、垂直タップにおける斜め水平差分の差分学習処理を行う図１２７の垂直タップ差分学習部30693の詳細な構成例を示すブロック図である。
【１４４３】
垂直タップ差分学習部30693は、図１２６の水平タップ差分学習部30633の原画像記憶部34131乃至係数算出部34137およびモード判定部34141それぞれと同様に構成される原画像記憶部35131乃至係数算出部35137およびモード判定部35141と、差分画像生成部30733とから構成される。
【１４４４】
差分画像生成部30733には、ノイズ付加部35132から生徒画像が供給されるとともに、図１２４の水平処理部30601から、斜め水平処理画像Ｒ＋ｈが供給される。
【１４４５】
差分画像生成部30733は、ノイズ付加部35132から供給された生徒画像（MPEG復号画像）ｘ1を、図１２４の水平処理部30601から供給された斜め水平処理画像Ｒ＋ｈ＝ｒ＋ｘ1＋ｈから差し引くことで、[斜め差分ｒ＋水平差分ｈ]を生成する。
【１４４６】
また、差分画像生成部30733は、原画像記憶部35131に記憶されている原画像を読み出し、その原画像から、生成した[斜め差分ｒ＋水平差分ｈ]を差し引き、その結果得られた原画像―[斜め差分ｒ＋水平差分ｈ]を、教師画像として、足し込み部35136に供給する。
【１４４７】
垂直予測タップ抽出部35133は、ノイズ付加部35132から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、垂直予測タップ抽出部35133は、ノイズ付加部35132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直予測タップ抽出部30065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部35136に供給する。
【１４４８】
垂直クラスタップ抽出部35134は、ノイズ付加部35132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直クラスタップ抽出部30066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部35135に供給する。
【１４４９】
垂直クラス分類部35135は、垂直クラスタップ抽出部35134から供給された垂直クラスタップに基づき、図９７の垂直クラス分類部30067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部35136に供給する。
【１４５０】
なお、足し込み部35136は、差分画像生成部30733から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部35133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、モード判定部35141から供給された領域情報に基づいて、垂直クラス分類部35135から供給された垂直クラスコードと、モード判定部35141から供給された画素位置モードのセットごとに行うことにより、各セットについて正規方程式をたてると、その正規方程式を、係数算出部35137に供給する。
【１４５１】
係数算出部35137は、足し込み部35136から供給された各セットについての正規方程式を解くことにより、各セットについて、垂直係数を求めて出力する。
【１４５２】
モード判定部35141には、垂直予測タップ抽出部35133から、注目画素の位置情報が供給される。モード判定部35141は、そこに供給される位置情報に基づいて、注目画素の画素位置モードおよび領域情報を判定し、足し込み部35136に供給する。
【１４５３】
図１２９は、図１２４の斜め処理部30603の詳細な構成例を示すブロック図である。
【１４５４】
斜め処理部30603は、斜めタップ学習部30751、斜めマッピング部30752、斜めタップ差分学習部30753、および斜め差分加算マッピング部30754により構成される。また、斜め差分加算マッピング部30754は、斜め差分マッピング部30781および加算部30782により構成される。
【１４５５】
斜めタップ学習部30751は、図１１４の学習部30121と同様に構成され、斜めタップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いた斜め係数を学習する学習処理を行い、その結果得られた斜め係数を、斜めマッピング部30752および斜め差分加算マッピング部30754（斜め差分マッピング部30781）に供給する。
【１４５６】
斜めマッピング部30752は、斜めタップ学習部30751で生徒画像として用いられるMPEG復号画像と、斜めタップ学習部30751または斜めタップ差分学習部30753から供給された斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部30601（図１２４）に供給する。
【１４５７】
斜めタップ差分学習部30753は、斜めタップ学習部30751で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直処理部30602から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
【１４５８】
即ち、斜めタップ差分学習部30753は、原画像、MPEG復号画像、および水平垂直処理画像Ｈ＋ｖから、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、MPEG復号画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。
【１４５９】
なお、斜めタップ差分学習部30753の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図１３０を参照して、詳細に説明する。
【１４６０】
また、斜めタップ差分学習部30753は、学習した斜め係数を、斜めマッピング部30752および斜め差分加算マッピング部30754（斜め差分マッピング部30781）に供給する。
【１４６１】
斜め差分加算マッピング部30754は、垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部30601に供給する。
【１４６２】
即ち、斜め差分加算マッピング部30754の斜め差分マッピング部30781は、斜めタップ学習部30751で生徒画像として用いられるMPEG復号画像と、斜めタップ学習部30751または斜めタップ差分学習部30753から供給された斜め係数を用いて、斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部30782に供給する。
【１４６３】
加算部30782は、斜め差分マッピング部30781から供給された斜め差分ｒと、垂直処理部30602から供給された垂直処理画像Ｖとを加算し、その結果得られた垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部30601に供給する。
【１４６４】
ここで、上述のように、斜め差分マッピング部30781と加算部30782とで構成される斜め差分加算マッピング部30754は、斜め差分ｒを求め、その斜め差分ｒと、垂直処理部30602から供給された垂直処理画像Ｖとを加算する処理を行うが、かかる処理を、以下、適宜、斜め差分加算マッピング処理という。
【１４６５】
図１３０は、斜めタップにおける水平垂直差分の差分学習処理を行う図１２９の斜めタップ差分学習部30753の詳細な構成例を示すブロック図である。
【１４６６】
斜めタップ差分学習部30753は、図１２６の水平タップ差分学習部30633の原画像記憶部34131乃至係数算出部34137およびモード判定部34141それぞれと同様に構成される原画像記憶部36131乃至係数算出部36137およびモード判定部36141と、差分画像生成部30793とから構成される。
【１４６７】
差分画像生成部30793には、ノイズ付加部36132から生徒画像が供給されるとともに、図１２４の垂直処理部30602から、水平垂直処理画像Ｈ＋ｖが供給される。
【１４６８】
差分画像生成部30793は、ノイズ付加部36132から供給された生徒画像（MPEG復号画像）ｘ1を、図１２４の垂直処理部30602から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｘ1＋ｖから差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
【１４６９】
また、差分画像生成部30793は、原画像記憶部36131に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部36136に供給する。
【１４７０】
斜め予測タップ抽出部36133は、ノイズ付加部36132から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部36133は、ノイズ付加部36132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜め予測タップ抽出部30431が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部36136に供給する。
【１４７１】
斜めクラスタップ抽出部36134は、ノイズ付加部36132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜めクラスタップ抽出部30432が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部36135に供給する。
【１４７２】
斜めクラス分類部36135は、斜めクラスタップ抽出部36134から供給された斜めクラスタップに基づき、図９７の斜めクラス分類部30433と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部36136に供給する。
【１４７３】
なお、足し込み部36136は、差分画像生成部30793から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部36133から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、モード判定部36141から供給された領域情報に応じて、斜めクラス分類部36135から供給された斜めクラスコードと、モード判定部36141から供給された画素位置モードのセットごとに行うことにより、各セットについて正規方程式をたてると、その正規方程式を、係数算出部36137に供給する。
【１４７４】
係数算出部36137は、足し込み部36136から供給された各セットについての正規方程式を解くことにより、各セットについて、斜め係数を求めて出力する。
【１４７５】
モード判定部36141には、斜め予測タップ抽出部36133から、注目画素の位置情報が供給される。モード判定部36141は、そこに供給される位置情報に基づいて、注目画素の画素位置モードおよび領域情報を判定し、足し込み部36136に供給する。
【１４７６】
図１３１は、図１２４の３段反復学習部30581による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
【１４７７】
図１２４の３段反復学習部30581は、図３９の場合と同様にして、水平係数、垂直係数、および斜め係数を反復して求めることができる。
【１４７８】
次に、図１３２のフローチャートを参照して、図１２４の３段反復学習部30581における３段反復学習処理を説明する。
【１４７９】
ステップＳ30361において、水平処理部30601の水平タップ学習部30631は、水平係数を求め、水平マッピング部30632と水平差分加算マッピング部30634に供給する。また、ステップＳ30361において、垂直処理部30602の垂直タップ学習部30691は、垂直係数を求め、垂直マッピング部30692と垂直差分加算マッピング部30694に供給する。さらに、ステップＳ30361において、斜め処理部30603の斜めタップ学習部30751は、斜め係数を求め、斜めマッピング部30752と斜め差分加算マッピング部30754に供給する。
【１４８０】
処理は、ステップＳ30361からステップＳ30362に進み、水平処理部30601の水平マッピング部30632は、水平タップ学習部30631からの水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部30602の垂直差分加算マッピング部30694に供給する。
【１４８１】
また、ステップＳ30362において、垂直処理部30602の垂直マッピング部30692は、垂直タップ学習部30691からの垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部30603の斜め差分加算マッピング部30754に供給する。
【１４８２】
さらに、ステップＳ30362において、斜め処理部30603の斜めマッピング部30752は、斜めタップ学習部30751からの斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部30601の水平差分加算マッピング部30634に供給する。
【１４８３】
その後、処理は、ステップＳ30362からステップＳ30363に進み、水平処理部30601の水平差分加算マッピング部30634は、水平タップ学習部30631の水平係数と、斜めマッピング部30752から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部30602の垂直タップ差分学習部30693に供給する。
【１４８４】
また、ステップＳ30363において、垂直処理部30602の垂直差分加算マッピング部30694は、垂直タップ学習部30691からの垂直係数と、水平マッピング部30632から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部30603の斜めタップ差分学習部30753に供給する。
【１４８５】
さらに、ステップＳ30363において、斜め処理部30603の斜め差分加算マッピング部30754は、斜めタップ学習部30751からの斜め係数と、垂直マッピング部30692から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部30601の水平タップ差分学習部30633に供給する。
【１４８６】
その後、処理は、ステップＳ30363からステップＳ30364に進み、水平処理部30601の水平タップ差分学習部30633は、斜め差分加算マッピング部30754から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を求め、水平マッピング部30632と水平差分加算マッピング部30634に供給する。
【１４８７】
また、ステップＳ30364において、垂直処理部30602の垂直タップ差分学習部30693は、水平差分加算マッピング部30634から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、垂直係数を求め、垂直マッピング部30692と垂直差分加算マッピング部30694に供給する。
【１４８８】
さらに、ステップＳ30364において、斜め処理部30603の斜めタップ差分学習部30753は、垂直差分加算マッピング部30694から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を求め、斜めマッピング部30752と斜め差分加算マッピング部30754に供給する。
【１４８９】
その後、処理は、ステップＳ30364からステップＳ30362に進み、以下、同様の処理を繰り返す。即ち、ステップＳ30362およびステップＳ30363においては、ステップＳ30364で求められた水平係数、垂直係数、および斜め係数を用いてマッピング処理および差分加算マッピング処理が行われ、ステップＳ30364では、その結果得られた画像に基づいて、差分学習処理が行われる。
【１４９０】
以上のような図１３２の３段反復学習処理では、水平タップ学習部30631が、MPEG復号画像に相当する画像を生徒画像とするとともに、原画像を教師画像として、第０世代の水平係数を求め、水平タップ差分学習部30633が、MPEG復号画像に相当する画像を生徒画像とするとともに、前の世代で求められた水平係数、垂直係数、および斜め係数のうちの、水平係数を除いた係数である垂直係数および斜め係数を用いた予測演算による原画像への近似効果分、即ち、垂直係数による垂直処理効果分としての垂直差分ｖと、斜め係数による斜め処理効果分としての斜め差分ｒとを、原画像から差し引くことで得られる画像である原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像として、第１乃至ｎ世代の水平係数を求める。垂直係数および斜め係数も同様に求められる。従って、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分による寄与分が、それぞれ、同等な水平係数、垂直係数、および斜め係数を求めることができる。
【１４９１】
なお、図１３２の３段反復学習処理は、例えば、反復して求められる水平係数、垂直係数、および斜め係数がとる値が収束したときに、終了する。
【１４９２】
また、図１３２の３段反復学習処理は、３段反復学習部30581（図１２４）により求められる係数セットを用いた画像変換処理による結果と、原画像との自乗誤差とを最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理が行われたときなどに終了するようにしてもよい。
【１４９３】
図１３３は、所定のMPEG復号画像と、そのMPEG復号画像に対して画像変換処理を行うことで得られたノイズ除去画像とのＳ/Ｎ(Signal to Noise)比を示す図である。
【１４９４】
図中、点線で示されるグラフは、所定のMPEG復号画像のＳ/Ｎ比を示しており、実践で示されるグラフは、ノイズ除去画像のＳ/Ｎ比を示している。そして、MPEG復号画像およびノイズ除去画像それぞれのフレーム番号が横軸に、そのフレーム番号と対応する形でＳ/Ｎ比が縦軸に示されている。
【１４９５】
いずれのフレーム番号の場合にも、ノイズ除去画像のＳ/Ｎ比が向上しており、ノイズ除去がされていることがわかる。
【１４９６】
図１３４は、図１３３で示されるフレーム番号１乃至１２に対応するMPEG復号画像に対して、３段反復学習処理により得られた係数を用いた画像変換処理を行った場合のＳ/Ｎ比を示す図である。
【１４９７】
図中、中央には、フレーム番号１乃至１２に対応して、フレーム番号１乃至１２が付加されたグラフが示されている。
【１４９８】
フレーム番号１乃至１２が付加されたグラフそれぞれは、フレーム番号１乃至１２のMPEG復号画像に画像変換処理を行った場合のＳ/Ｎ比を示している。
【１４９９】
なお、図に示される横軸は、３段反復学習により学習された係数の世代を示しており、横軸に示される係数の世代に対応して、その世代の係数を用いて画像変換処理することで得られたノイズ除去画像のＳ/Ｎ比を縦軸は示している。
【１５００】
即ち、横軸に示されるmpegに対応する各グラフは、フレーム番号１乃至１２のMPEG復号画像のＳ/Ｎ比を示しており、また、横軸に示されるrec0乃至rec4に対応する各グラフは、第０乃至４世代の係数を用いて、フレーム番号１乃至１２のMPEG復号画像に対して画像変換処理を行った場合のＳ/Ｎ比を示している。
【１５０１】
図１３５は、画像変換処理を行う前の所定のMPEG復号画像を示しており、図１３６は、図１３５に示されるMPEG復号画像において、図中、右下側に示されるバツ印に対応する部分を拡大したMPEG復号画像である。
【１５０２】
そして、図１３７は、所定のMPEG復号画像に対して画像変換処理を行うことで得られたノイズ除去画像を示しており、図１３８は、図１３７に示されるノイズ除去画像において、図中、右下側に示されるバツ印に対応する部分を拡大したノイズ除去画像である。
【１５０３】
図１３５（図１３６）に示される所定のMPEG復号画像と、図１３７（図１３８）に示されるノイズ除去画像とを比較すると、ブロック歪が軽減されていることがわかる。
【１５０４】
図１３９は、画像変換処理を行う前の他の所定のMPEG復号画像を示しており、図１４０は、図１３９に示されるMPEG復号画像において、図中、中央上側に示されるバツ印に対応する部分を拡大したMPEG復号画像である。
【１５０５】
そして、図１４１は、他の所定のMPEG復号画像に対して画像変換処理を行うことで得られたノイズ除去画像を示しており、図１４２は、図１４１に示されるノイズ除去画像において、図中、中央上側に示されるバツ印に対応する部分を拡大したノイズ除去画像である。
【１５０６】
図１３９（図１４０）に示される他の所定のMPEG復号画像と、図１４１（図１４２）に示されるノイズ除去画像とを比較すると、モスキートノイズが軽減されていることがわかる。
【１５０７】
図１４３は、図１の画像変換部３１の第９の構成例を示すブロック図である。
【１５０８】
なお、図中、図９７の画像変換部３１の場合に対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
【１５０９】
即ち、図１４３の画像変換部３１は、図９７の水平クラスタップ抽出部30062、水平クラス分類部30063、垂直クラスタップ抽出部30066、垂直クラス分類部30067、斜めクラスタップ抽出部30432、および斜めクラス分類部30433に代えて、水平差分クラスタップ抽出部40062、水平クラス分類部40063、垂直差分クラスタップ抽出部40066、垂直クラス分類部40067、斜め差分クラスタップ抽出部40432、斜めクラス分類部40433、ブロック抽出部40436、およびブロック処理部40437が設けられている他は、図９７の場合と同様に構成される。
【１５１０】
また、水平差分クラスタップ抽出部40062、垂直差分クラスタップ抽出部40066、斜め差分クラスタップ抽出部40432、ブロック抽出部40436それぞれは、図９７の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれと同様に構成される。
【１５１１】
水平クラス分類部40063の水平差分クラスコード生成部40063a、垂直斜め差分ゼロクラスコード生成部40063b、水平クラスコード出力部40063cそれぞれは、図９８の水平差分クラスコード生成部31015、垂直斜め差分ゼロクラスコード生成部31018、水平クラスコード出力部31019それぞれと同様に構成される。
【１５１２】
垂直クラス分類部40067の垂直差分クラスコード生成部40067a、水平斜め差分ゼロクラスコード生成部40067b、垂直クラスコード出力部40067cそれぞれは、図１００の垂直差分クラスコード生成部31035、水平斜め差分ゼロクラスコード生成部31038、垂直クラスコード出力部31039それぞれと同様に構成される。
【１５１３】
斜めクラス分類部40433の斜め差分クラスコード生成部40433a、水平垂直差分ゼロクラスコード生成部40433b、斜めクラスコード出力部40433cそれぞれは、図１０２の斜め差分クラスコード生成部31045、水平垂直差分ゼロクラスコード生成部31048、斜めクラスコード出力部31049それぞれと同様に構成される。
【１５１４】
ブロック処理部40437の差分絶対値算出部40437a、フィールドフラグ抽出部40437b、閾値選択部40437c、ノイズ検出フラグ判定部40437dそれぞれは、図９８のフィールドフラグ抽出部31012、閾値選択部31014、ノイズ検出フラグ判定部31013それぞれと同様に構成される。
【１５１５】
次に、上述した図２、図２１、図２３、図２５、図４７、図７７、図７８、図９７、および図１４３の画像変換部３１、学習部１２１，10121，20121，30121、２段差分学習部１５１，10151，20151、２段反復学習部２７１，10271，20271，３３１，10331，20331、２段差分学習部３０１，10301，20301、３段差分学習部４９１，30491、３段反復学習部５８１，30581が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【１５１６】
図１４４は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【１５１７】
CPU（Central Processing Unit）90981は、ROM（Read Only Memory）90982、または記憶部90988に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）90983には、CPU90981が実行するプログラムやデータなどが適宜記憶される。これらのCPU90981、ROM90982、およびRAM90983は、バス90984により相互に接続されている。
【１５１８】
CPU90981にはまた、バス90984を介して入出力インタフェース90985が接続されている。入出力インタフェース90985には、キーボード、マウス、マイクロホンなどよりなる入力部90986、ディスプレイ、スピーカなどよりなる出力部90987が接続されている。CPU90981は、入力部90986から入力される指令に対応して各種の処理を実行する。そして、CPU90981は、処理の結果を出力部90987に出力する。
【１５１９】
入出力インタフェース90985に接続されている記憶部90988は、例えばハードディスクからなり、CPU90981が実行するプログラムや各種のデータを記憶する。通信部90989は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【１５２０】
また、通信部90989を介してプログラムを取得し、記憶部90988に記憶してもよい。
【１５２１】
入出力インタフェース90985に接続されているドライブ90990は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア90991が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部90988に転送され、記憶される。
【１５２２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１４４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア90991、または、プログラムが一時的もしくは永続的に格納されるROM90982や、記憶部90988を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部90989を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【１５２３】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【１５２４】
また、図３２の３段反復学習部５８１では、水平処理部６０１からの画像などに基づいて、垂直処理部６０２が垂直係数を学習し、垂直処理部６０２からの画像などに基づいて、斜め処理部６０３が斜め係数を学習することとし、さらに、斜め処理部６０３からの画像などに基づいて、水平処理部６０１が水平係数を学習することとしたが、水平処理部６０１、垂直処理部６０２、および斜め処理部６０３それぞれが行う処理は、それぞれの処理に対称な処理をしているため、画像を供給するブロックと、画像が供給されて係数を学習するブロックの順番を並び替えることができる。
【１５２５】
具体的には、例えば、斜め処理部６０３からの画像などに基づいて、垂直処理部６０２が垂直係数を学習し、垂直処理部６０２からの画像などに基づいて、水平処理部６０１が水平係数を学習することとし、さらに、水平処理部６０１からの画像などに基づいて、斜め処理部６０３が斜め係数を学習することとしてもよい。
【１５２６】
なお、本発明を適用した画像変換部は、例えば、テレビジョン受像機や、ハードディスクレコーダなどに適用することができる。
【１５２７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【１５２８】
【図１】本発明を適用した画像変換部３１の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像変換部３１の第１の構成例を示すブロック図である。
【図３】図２の予測演算部６９の構成例を示すブロック図である。
【図４】図２の画像変換部３１における画像変換処理を説明するフローチャートである。
【図５】図４のステップＳ３２における水平マッピング処理の詳細を説明するフローチャートである。
【図６】図４のステップＳ３３における垂直差分マッピング処理の詳細を説明するフローチャートである。
【図７】水平差分マッピング処理を行う水平差分マッピング部１１１の構成例を示すブロック図である。
【図８】係数を求める学習を行う学習部１２１の構成例を示すブロック図である。
【図９】図８の学習部１２１における学習処理を説明するフローチャートである。
【図１０】図２の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部１５１の構成例を示すブロック図である。
【図１１】垂直タップにおける水平差分の差分学習処理を行う図１０の垂直タップ差分学習部１６３の詳細な構成例を示すブロック図である。
【図１２】図１０の２段差分学習部１５１における２段差分学習処理を説明するフローチャートである。
【図１３】図１２のステップＳ１７３の、垂直タップにおける水平差分の差分学習処理の詳細を説明するフローチャートである。
【図１４】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部２７１の構成例を示すブロック図である。
【図１５】図１４の水平タップ差分学習部２８５の詳細な構成例を示すブロック図である。
【図１６】図１４の２段反復学習部２７１における２段反復学習処理を説明するフローチャートである。
【図１７】図１６のステップＳ２６２の、水平タップにおける垂直差分の差分学習処理を説明するフローチャートである。
【図１８】図２の画像変換部３１で用いられる水平係数および垂直係数を学習する他の２段差分学習部３０１の構成例を示すブロック図である。
【図１９】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部３３１の構成例を示すブロック図である。
【図２０】図１４の２段反復学習部２７１と、図１９の２段反復学習部３３１とのそれぞれによる、水平係数および垂直係数を反復して求める２段反復学習処理を説明する図である。
【図２１】図１の画像変換部３１の第２の構成例を示すブロック図である。
【図２２】図２１の係数合成部３６７の詳細な構成例を示すブロック図である。
【図２３】図１の画像変換部３１の第３の構成例を示すブロック図である。
【図２４】図２３のクラスタップ分配部４０２における、クラスタップの分割を説明する図である。
【図２５】図１の画像変換部３１の第４の構成例を示すブロック図である。
【図２６】図２５の予測演算部４３５の詳細な構成例を示すブロック図である。
【図２７】図２５の画像変換部３１における画像変換処理を説明するフローチャートである。
【図２８】図２５の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部４９１の構成例を示すブロック図である。
【図２９】斜めタップにおける水平垂直差分の差分学習処理を行う図２８の斜めタップ差分学習部５３１の詳細な構成例を示すブロック図である。
【図３０】図２８の３段差分学習部４９１における３段差分学習処理を説明するフローチャートである。
【図３１】図３０のステップＳ３３６の、斜めタップにおける水平垂直差分の差分学習処理を説明するフローチャートである。
【図３２】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分と、斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部５８１の構成例を示すブロック図である。
【図３３】図３２の水平処理部６０１の詳細な構成例を示すブロック図である。
【図３４】水平タップにおける斜め水平差分の差分学習処理を行う図３３の水平タップ差分学習部６３３の詳細な構成例を示すブロック図である。
【図３５】図３２の垂直処理部６０２の詳細な構成例を示すブロック図である。
【図３６】垂直タップにおける斜め水平差分の差分学習処理を行う図３５の垂直タップ差分学習部６９３の詳細な構成例を示すブロック図である。
【図３７】図３２の斜め処理部６０３の詳細な構成例を示すブロック図である。
【図３８】斜めタップにおける水平垂直差分の差分学習処理を行う図３７の斜めタップ差分学習部７５３の詳細な構成例を示すブロック図である。
【図３９】図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
【図４０】図３２の３段反復学習部５８１における３段反復学習処理を説明するフローチャートである。
【図４１】ボリューム処理を行う図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
【図４２】ボリューム処理により係数を操作する具体的な方法を説明する図である。
【図４３】所定の水平クラスに対応する世代ごとの水平係数を示す図である。
【図４４】図４３により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す図である。
【図４５】他の水平クラスに対応する世代ごとの水平係数を示す図である。
【図４６】図４５により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す他の図である。
【図４７】図１の画像変換部３１の第５の構成例を示すブロック図である。
【図４８】図４７の水平予測タップ抽出部10061や垂直予測タップ抽出部10065による予測タップの抽出方法を説明する図である。
【図４９】図４７の水平クラス分類部10063の詳細な構成例を示すブロック図である。
【図５０】MPEG復号画像における所定のブロックのブロック構造を説明する図である。
【図５１】図４９の差分絶対値算出部11011、ノイズ検出フラグ判定部11013、および閾値選択部11014における処理を説明する図である。
【図５２】図４９の水平差分クラスコード生成部11015による水平差分クラスコードの生成方法を説明する図である。
【図５３】図４９の水平クラスコード出力部11018が出力する水平クラスコードを示す図である。
【図５４】図４７の垂直クラス分類部10067の詳細な構成例を示すブロック図である。
【図５５】図５４の垂直クラスコード出力部11038が出力する垂直クラスコードを示す図である。
【図５６】図４７の予測演算部10069の詳細な構成例を示すブロック図である。
【図５７】図４７の画像変換部３１における画像変換処理を説明するフローチャートである。
【図５８】図５７のステップＳ10032における水平マッピング処理の詳細を説明するフローチャートである。
【図５９】図５８のステップＳ10063の水平クラス分類における処理の詳細を説明するフローチャートである。
【図６０】図５７のステップＳ10033における垂直差分マッピング処理の詳細を説明するフローチャートである。
【図６１】図６０のステップＳ10093における垂直クラス分類における処理の詳細を説明するフローチャートである。
【図６２】水平差分マッピング処理を行う水平差分マッピング部10111の構成例を示すブロック図である。
【図６３】係数を求める学習を行う学習部10121の構成例を示すブロック図である。
【図６４】図６３のクラス分類部10135の詳細な構成例を示すブロック図である。
【図６５】図６３の学習部10121における学習処理を説明するフローチャートである。
【図６６】図６５のステップＳ10125のクラス分類における処理を詳細に説明するフローチャートである。
【図６７】図４７の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部10151の構成例を示すブロック図である。
【図６８】垂直タップにおける水平差分の差分学習処理を行う図６７の垂直タップ差分学習部10163の詳細な構成例を示すブロック図である。
【図６９】図６７の２段差分学習部10151における２段差分学習処理を説明するフローチャートである。
【図７０】図６９のステップＳ10173の、垂直タップにおける水平差分の差分学習処理の詳細を説明するフローチャートである。
【図７１】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10271の構成例を示すブロック図である。
【図７２】図７１の水平タップ差分学習部10285の詳細な構成例を示すブロック図である。
【図７３】図７１の２段反復学習部10271における２段反復学習処理を説明するフローチャートである。
【図７４】図７３のステップＳ10262の、水平タップにおける垂直差分の差分学習処理を説明するフローチャートである。
【図７５】図４７の画像変換部３１で用いられる水平係数および垂直係数を学習する他の２段差分学習部10301の構成例を示すブロック図である。
【図７６】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10331の構成例を示すブロック図である。
【図７７】図１の画像変換部３１の第６の構成例を示すブロック図である。
【図７８】図１の画像変換部３１の第７の構成例を示すブロック図である。
【図７９】図７８の予測演算部20069の構成例を示すブロック図である。
【図８０】図７８のモード判定部20031および20032により判定される画素位置モードおよび領域情報を説明する図である。
【図８１】図７８の画像変換部３１における画像変換処理を説明するフローチャートである。
【図８２】図８１のステップＳ20032における水平マッピング処理の詳細を説明するフローチャートである。
【図８３】図８１のステップＳ20033における垂直差分マッピング処理の詳細を説明するフローチャートである。
【図８４】水平差分マッピング処理を行う水平差分マッピング部20111の構成例を示すブロック図である。
【図８５】係数を求める学習を行う学習部20121の構成例を示すブロック図である。
【図８６】図８５の学習部20１２１における学習処理を説明するフローチャートである。
【図８７】図７８の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部20151の構成例を示すブロック図である。
【図８８】垂直タップにおける水平差分の差分学習処理を行う図８７の垂直タップ差分学習部20163の詳細な構成例を示すブロック図である。
【図８９】図８７の２段差分学習部20151における２段差分学習処理を説明するフローチャートである。
【図９０】図８９のステップＳ20173の、垂直タップにおける水平差分の差分学習処理の詳細を説明するフローチャートである。
【図９１】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20271の構成例を示すブロック図である。
【図９２】図９０の水平タップ差分学習部20285の詳細な構成例を示すブロック図である。
【図９３】図９１の２段反復学習部20271における２段反復学習処理を説明するフローチャートである。
【図９４】図９３のステップＳ20262の、水平タップにおける垂直差分の差分学習処理を説明するフローチャートである。
【図９５】図７８の画像変換部３１で用いられる水平係数および垂直係数を学習する他の２段差分学習部20301の構成例を示すブロック図である。
【図９６】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20331の構成例を示すブロック図である。
【図９７】図１の画像変換部３１の第８の構成例を示すブロック図である。
【図９８】図９７の水平クラス分類部30063の詳細な構成例を示すブロック図である。
【図９９】図９８の水平クラスコード出力部31019が出力する水平クラスコードを示す図である。
【図１００】図９７の垂直クラス分類部30067の詳細な構成例を示すブロック図である。
【図１０１】図１００の垂直クラスコード出力部31039が出力する垂直クラスコードを示す図である。
【図１０２】図９７の斜めクラス分類部30433の詳細な構成例を示すブロック図である。
【図１０３】図１０２の斜めクラスコード出力部31049が出力する斜めクラスコードを示す図である。
【図１０４】図９７の予測演算部30435の詳細な構成例を示すブロック図である。
【図１０５】図９７の画像変換部３１における画像変換処理を説明するフローチャートである。
【図１０６】図１０５のステップＳ30312における水平マッピング処理の詳細を説明するフローチャートである。
【図１０７】図１０６のステップＳ30063における水平クラス分類における処理の詳細を説明するフローチャートである。
【図１０８】図１０５のステップＳ30313における垂直差分マッピング処理の詳細を説明するフローチャートである。
【図１０９】図１０８のステップＳ30093の垂直クラス分類における処理の詳細を説明するフローチャートである。
【図１１０】図１０５のステップＳ30315における斜め差分マッピング処理の詳細を説明するフローチャートである。
【図１１１】図１１０のステップＳ30193の斜めクラス分類における処理の詳細を説明するフローチャートである。
【図１１２】水平クラス、垂直クラス、および斜めクラスにより得られる実質的なクラス数を説明する図である。
【図１１３】水平差分マッピング処理を行う水平差分マッピング部30111の構成例を示すブロック図である。
【図１１４】係数を求める学習を行う学習部30121の構成例を示すブロック図である。
【図１１５】図１１４のクラス分類部30135の詳細な構成例を示すブロック図である。
【図１１６】図１１４の学習部30121における学習処理を説明するフローチャートである。
【図１１７】図１１６のステップＳ30125のクラス分類における処理の詳細を説明するフローチャートである。
【図１１８】図９７の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部30491の構成例を示すブロック図である。
【図１１９】垂直タップにおける水平差分の差分学習処理を行う図１１８の垂直タップ差分学習部32163の詳細な構成例を示すブロック図である。
【図１２０】斜めタップにおける水平垂直差分の差分学習処理を行う図１１８の斜めタップ差分学習部30531の詳細な構成例を示すブロック図である。
【図１２１】図１１８の３段差分学習部30491における３段差分学習処理を説明するフローチャートである。
【図１２２】図１２１のステップＳ30333の、垂直タップにおける水平差分の差分学習処理を説明するフローチャートである。
【図１２３】図１２１のステップＳ30336の、斜めタップにおける水平垂直差分の差分学習処理を説明するフローチャートである。
【図１２４】水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分と、斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部30581の構成例を示すブロック図である。
【図１２５】図１２４の水平処理部30601の詳細な構成例を示すブロック図である。
【図１２６】水平タップにおける斜め水平差分の差分学習処理を行う図１２５の水平タップ差分学習部30633の詳細な構成例を示すブロック図である。
【図１２７】図１２４の垂直処理部30602の詳細な構成例を示すブロック図である。
【図１２８】垂直タップにおける斜め水平差分の差分学習処理を行う図１２７の垂直タップ差分学習部30693の詳細な構成例を示すブロック図である。
【図１２９】図１２４の斜め処理部30603の詳細な構成例を示すブロック図である。
【図１３０】斜めタップにおける水平垂直差分の差分学習処理を行う図１２９の斜めタップ差分学習部30753の詳細な構成例を示すブロック図である。
【図１３１】図１２４の３段反復学習部30581による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
【図１３２】図１２４の３段反復学習部30581における３段反復学習処理を説明するフローチャートである。
【図１３３】所定のMPEG復号画像と、MPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像とのＳ/Ｎ比を比較した第１の図である。
【図１３４】所定のMPEG復号画像と、MPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像とのＳ/Ｎ比を比較した第２の図である。
【図１３５】所定のMPEG復号画像を示す第１の図である。
【図１３６】所定のMPEG復号画像を示す第２の図である。
【図１３７】図１３５（図１３６）の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第１の図である。
【図１３８】図１３５（図１３６）の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第２の図である。
【図１３９】他の所定のMPEG復号画像を示す第１の図である。
【図１４０】他の所定のMPEG復号画像を示す第２の図である。
【図１４１】図１３９（図１４０）の他の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第１の図である。
【図１４２】図１３９（図１４０）の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第２の図である。
【図１４３】図１の画像変換部３１の第９の構成例を示すブロック図である。
【図１４４】コンピュータの構成例を示すブロック図である。
【符号の説明】
【１５２９】
３１  画像変換部，  ６１  水平予測タップ抽出部，  ６２  水平クラスタップ抽出部，  ６３  水平クラス分類部，  ６４  水平係数記憶部，  ６５  垂直予測タップ抽出部，  ６６  垂直クラスタップ抽出部，  ６７  垂直クラス分類部，  ６８  垂直係数記憶部，  ６９  予測演算部，  ７１  水平マッピング部，  ７２  垂直マッピング部，  ７３  垂直差分マッピング部，  １０１  水平予測演算部，  １０２  垂直予測演算部，  １０３  ゲイン調整部，  １０４  加算部，  １１１  水平差分マッピング部，  １１２  ゲイン調整部，  １２１  学習部，  １３１  原画像記憶部，  １３２  ノイズ付加部，  １３３  予測タップ抽出部，  １３４  クラスタップ抽出部，  １３５  クラス分類部，  １３６  足し込み部，  １３７  係数算出部，  １５１  ２段差分学習部，  １６１  水平タップ学習部，  １６２  水平マッピング部，  １６３  垂直タップ差分学習部，  １６４  垂直差分マッピング部，  １６５  加算部，  ２７１  ２段反復学習部，  ２８４  垂直マッピング部，  ２８５  水平タップ差分学習部，  ３６７  係数合成部，  ４３１  斜め予測タップ抽出部，  ４３２  斜めクラスタップ抽出部，  ４３３  斜めクラス分類部，  斜め係数記憶部４３４，  ４３５  予測演算部，  ４６１  斜め予測演算部，  ４６２  ゲイン調整部，  ４６３  加算部，  ４７１  斜めマッピング部，  ４７２  斜め差分マッピング部，  ４９１  ３段差分学習部，  ５３１  斜めタップ差分学習部，  ５８１  ３段反復学習部，  ６０１  水平処理部，  ６０２  垂直処理部，  ６０３  斜め処理部，  ６３１  水平タップ学習部，  ６３２  水平マッピング部，  ６３３  水平タップ差分学習部，  ６３４  水平差分加算マッピング部，  ６６１  水平差分マッピング部，  ６６２  加算部，  ６９１  垂直タップ学習部，  ６９２  垂直マッピング部，  ６９３  垂直タップ差分学習部，  ６９４  垂直差分加算マッピング部，  ７２１  垂直差分マッピング部，  ７２２  加算部，  ７５１  斜めタップ学習部，  ７５２  斜めマッピング部，  ７５３  斜めタップ差分学習部，  ７５４  斜め差分加算マッピング部，  ７８１  斜め差分マッピング部，  ７８２  加算部，  10061  水平予測タップ抽出部，  10062  水平クラスタップ抽出部，  10063  水平クラス分類部，  10065  垂直予測タップ抽出部，  10066  垂直クラスタップ抽出部，  10067  垂直クラス分類部，  20031，20032  モード判定部，  20064  水平係数記憶部，    20068  垂直係数記憶部，  20069  予測演算部，  20121  学習部，  20131  原画像記憶部，  20132  ノイズ付加部，  20133  予測タップ抽出部，  20134  クラスタップ抽出部，  20135  クラス分類部，  20136  足し込み部，  20137  係数算出部，  20141  モード判定部，  20151  ２段差分学習部，  20161  水平タップ学習部，  20162  水平マッピング部，  20163  垂直タップ差分学習部，  ２７１  ２段反復学習部，  21161  水平タップ学習部，  21162  水平マッピング部，  21163  垂直タップ差分学習部，  20284  垂直マッピング部，  20285  水平タップ差分学習部，  30031乃至30033  モード判定部，  30061  水平予測タップ抽出部，  30062  水平クラスタップ抽出部，  30063  水平クラス分類部，  30064  水平係数記憶部，  30065  垂直予測タップ抽出部，  30066  垂直クラスタップ抽出部，  30067  垂直クラス分類部，  30068  垂直係数記憶部，  30431  ���め予測タップ抽出部，  30432  斜めクラスタップ抽出部，  30433  斜めクラス分類部，  30434  斜め係数記憶部，  30435  予測演算部，  30121  学習部，  30131  原画像記憶部，  30132  ノイズ付加部，  30133  予測タップ抽出部，  30134  クラスタップ抽出部，  30135  クラス分類部，  30136  足し込み部，  30137  係数算出部，  30141  モード判定部，  30491  ３段差分学習部，  32161  水平タップ学習部，  32162  水平マッピング部，  32163  垂直タップ差分学習部，  32164  垂直差分マッピング部，  32165  加算部，  30531  斜めタップ差分学習部，  30581  ３段反復学習部，  30601  水平処理部，  30602  垂直処理部，  30603  斜め処理部
【図１】
2008199437.tif 000013
【図２】
2008199437.tif 000014
【図３】
2008199437.tif 000015
【図４】
2008199437.tif 000016
【図５】
2008199437.tif 000017
【図６】
2008199437.tif 000018
【図７】
2008199437.tif 000019
【図８】
2008199437.tif 000020
【図９】
2008199437.tif 000021
【図１０】
2008199437.tif 000022
【図１１】
2008199437.tif 000023
【図１２】
2008199437.tif 000024
【図１３】
2008199437.tif 000025
【図１４】
2008199437.tif 000026
【図１５】
2008199437.tif 000027
【図１６】
2008199437.tif 000028
【図１７】
2008199437.tif 000029
【図１８】
2008199437.tif 000030
【図１９】
2008199437.tif 000031
【図２０】
2008199437.tif 000032
【図２１】
2008199437.tif 000033
【図２２】
2008199437.tif 000034
【図２３】
2008199437.tif 000035
【図２４】
2008199437.tif 000036
【図２５】
2008199437.tif 000037
【図２６】
2008199437.tif 000038
【図２７】
2008199437.tif 000039
【図２８】
2008199437.tif 000040
【図２９】
2008199437.tif 000041
【図３０】
2008199437.tif 000042
【図３１】
2008199437.tif 000043
【図３２】
2008199437.tif 000044
【図３３】
2008199437.tif 000045
【図３４】
2008199437.tif 000046
【図３５】
2008199437.tif 000047
【図３６】
2008199437.tif 000048
【図３７】
2008199437.tif 000049
【図３８】
2008199437.tif 000050
【図３９】
2008199437.tif 000051
【図４０】
2008199437.tif 000052
【図４１】
2008199437.tif 000053
【図４２】
2008199437.tif 000054
【図４３】
2008199437.tif 000055
【図４４】
2008199437.tif 000056
【図４５】
2008199437.tif 000057
【図４６】
2008199437.tif 000058
【図４７】
2008199437.tif 000059
【図４８】
2008199437.tif 000060
【図４９】
2008199437.tif 000061
【図５０】
2008199437.tif 000062
【図５１】
2008199437.tif 000063
【図５２】
2008199437.tif 000064
【図５３】
2008199437.tif 000065
【図５４】
2008199437.tif 000066
【図５５】
2008199437.tif 000067
【図５６】
2008199437.tif 000068
【図５７】
2008199437.tif 000069
【図５８】
2008199437.tif 000070
【図５９】
2008199437.tif 000071
【図６０】
2008199437.tif 000072
【図６１】
2008199437.tif 000073
【図６２】
2008199437.tif 000074
【図６３】
2008199437.tif 000075
【図６４】
2008199437.tif 000076
【図６５】
2008199437.tif 000077
【図６６】
2008199437.tif 000078
【図６７】
2008199437.tif 000079
【図６８】
2008199437.tif 000080
【図６９】
2008199437.tif 000081
【図７０】
2008199437.tif 000082
【図７１】
2008199437.tif 000083
【図７２】
2008199437.tif 000084
【図７３】
2008199437.tif 000085
【図７４】
2008199437.tif 000086
【図７５】
2008199437.tif 000087
【図７６】
2008199437.tif 000088
【図７７】
2008199437.tif 000089
【図７８】
2008199437.tif 000090
【図７９】
2008199437.tif 000091
【図８０】
2008199437.tif 000092
【図８１】
2008199437.tif 000093
【図８２】
2008199437.tif 000094
【図８３】
2008199437.tif 000095
【図８４】
2008199437.tif 000096
【図８５】
2008199437.tif 000097
【図８６】
2008199437.tif 000098
【図８７】
2008199437.tif 000099
【図８８】
2008199437.tif 000100
【図８９】
2008199437.tif 000101
【図９０】
2008199437.tif 000102
【図９１】
2008199437.tif 000103
【図９２】
2008199437.tif 000104
【図９３】
2008199437.tif 000105
【図９４】
2008199437.tif 000106
【図９５】
2008199437.tif 000107
【図９６】
2008199437.tif 000108
【図９７】
2008199437.tif 000109
【図９８】
2008199437.tif 000110
【図９９】
2008199437.tif 000111
【図１００】
2008199437.tif 000112
【図１０１】
2008199437.tif 000113
【図１０２】
2008199437.tif 000114
【図１０３】
2008199437.tif 000115
【図１０４】
2008199437.tif 000116
【図１０５】
2008199437.tif 000117
【図１０６】
2008199437.tif 000118
【図１０７】
2008199437.tif 000119
【図１０８】
2008199437.tif 000120
【図１０９】
2008199437.tif 000121
【図１１０】
2008199437.tif 000122
【図１１１】
2008199437.tif 000123
【図１１２】
2008199437.tif 000124
【図１１３】
2008199437.tif 000125
【図１１４】
2008199437.tif 000126
【図１１５】
2008199437.tif 000127
【図１１６】
2008199437.tif 000128
【図１１７】
2008199437.tif 000129
【図１１８】
2008199437.tif 000130
【図１１９】
2008199437.tif 000131
【図１２０】
2008199437.tif 000132
【図１２１】
2008199437.tif 000133
【図１２２】
2008199437.tif 000134
【図１２３】
2008199437.tif 000135
【図１２４】
2008199437.tif 000136
【図１２５】
2008199437.tif 000137
【図１２６】
2008199437.tif 000138
【図１２７】
2008199437.tif 000139
【図１２８】
2008199437.tif 000140
【図１２９】
2008199437.tif 000141
【図１３０】
2008199437.tif 000142
【図１３１】
2008199437.tif 000143
【図１３２】
2008199437.tif 000144
【図１３３】
2008199437.tif 000145
【図１３４】
2008199437.tif 000146
【図１３５】
2008199437.tif 000147
【図１３６】
2008199437.tif 000148
【図１３７】
2008199437.tif 000149
【図１３８】
2008199437.tif 000150
【図１３９】
2008199437.tif 000151
【図１４０】
2008199437.tif 000152
【図１４１】
2008199437.tif 000153
【図１４２】
2008199437.tif 000154
【図１４３】
2008199437.tif 000155
【図１４４】
2008199437.tif 000156