(57)【要約】【課題】効果的にノイズを除去して、高画質の画像データを得る。【解決手段】予測タップ抽出部１２３は、出力画像データから高画質画像データを予測するための画素を、予測タップとして抽出し、クラスタップ抽出部１２４は、注目画素をクラス分類するための画素を、クラスタップとして抽出する。クラス分類部１２５は、クラスタップに基づいて、注目画素をクラス分類し、係数記憶部１２６は、注目画素のクラスに対応する係数を出力する。予測演算部１２７は、係数記憶部１２６からの係数と、予測タップ抽出部１２３からの予測タップとを用いて高画質画像データを求める。制御部１２８は、出力画像データの処理ブロックごとに、高画質画像データを求める画像変換処理が行われるようにそれぞれを制御する。本発明は、例えば、テレビジョン受像機に適用することができる。【選択図】図２
2008124955.tif 000002
【特許請求の範囲】
【請求項１】
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
デコーダが出力する前記出力画像データを処理する画像処理装置において、
前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、
前記係数出力手段により出力された前記係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算手段と
を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換手段と、
前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換手段を制御する制御手段と
を備える画像処理装置。
【請求項２】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の画素である境界上画素が、前記出力画像データに含まれるか否かを判定する画素判定手段をさらに備え、
前記画像変換手段は、前記画素判定手段により、前記出力画像データに、前記境界上画素が含まれると判定された場合、前記出力画像データを前記高画質画像データに変換する
請求項１に記載の画像処理装置。
【請求項３】
前記予測タップ抽出手段は、前記予測タップを、前記注目画素を含む前記処理ブロックから抽出する
請求項１に記載の画像処理装置。
【請求項４】
前記クラスタップ抽出手段は、前記クラスタップを、前記注目画素を含む前記処理ブロックから抽出する
請求項１に記載の画像処理装置。
【請求項５】
前記注目画素の前記クラス分類に用いる閾値を、前記出力画像データの画素を用いて算出する閾値算出手段をさらに備え、
前記クラス分類手段は、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類する
請求項１に記載の画像処理装置。
【請求項６】
前記閾値算出手段は、前記閾値を、前記注目画素を含む前記処理ブロックの画素を用いて算出する
請求項５に記載の画像処理装置。
【請求項７】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段をさらに備え、
前記閾値算出手段は、前記境界上画素判定手段により、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記閾値を、前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する
請求項６に記載の画像処理装置。
【請求項８】
前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに備え、
前記係数出力手段は、前記注目画素のクラスと画素位置モードに対応する係数を出力する
請求項１に記載の画像処理装置。
【請求項９】
前記処理ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項８に記載の画像処理装置。
【請求項１０】
前記注目画素が、前記処理ブロックを複数の領域に区分したときに、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに備え、
前記予測演算手段は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める
請求項９に記載の画像処理装置。
【請求項１１】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれる場合、前記処理ブロックから、前記境界上画素を除外した画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項９に記載の画像処理装置。
【請求項１２】
前記境界上画素には、画素位置モードとして、前記境界上画素以外の画素と異なる値が割り当てられる
請求項１１に記載の画像処理装置。
【請求項１３】
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
デコーダが出力する前記出力画像データを処理する画像処理方法において、
前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップと
を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップと、
前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップと
を含む画像処理方法。
【請求項１４】
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
デコーダが出力する前記出力画像データを処理する画像処理をコンピュータに実行させるプログラムにおいて、
前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップと
を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップと、
前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップと
を含む画像処理をコンピュータに実行させるプログラム。
【請求項１５】
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める学習装置において、
前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素を、前記生徒画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記生徒画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記クラス分類手段によりクラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数を演算する係数演算手段と
を有し、前記クラスごとの前記係数を求める学習処理を行う学習手段と、
前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記学習処理が行われるように、前記学習手段を制御する制御手段と
を備える学習装置。
【請求項１６】
前記予測タップ抽出手段は、前記予測タップを、前記注目画素を含む前記処理ブロックから抽出する
請求項１５に記載の学習装置。
【請求項１７】
前記クラスタップ抽出手段は、前記クラスタップを、前記注目画素を含む前記処理ブロックから抽出する
請求項１５に記載の学習装置。
【請求項１８】
前記注目画素の前記クラス分類に用いる閾値を、前記生徒画像データの画素を用いて算出する閾値算出手段をさらに備え、
前記クラス分類手段は、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類する
請求項１５に記載の学習装置。
【請求項１９】
前記閾値算出手段は、前記閾値を、前記注目画素を含む前記処理ブロックの画素を用いて算出する
請求項１８に記載の学習装置。
【請求項２０】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記生徒画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段をさらに備え、
前記閾値算出手段は、前記境界上画素判定手段により、前記処理ブロックに、前記画素上画素が含まれると判定された場合、前記閾値を、前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する
請求項１９に記載の学習装置。
【請求項２１】
前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに備え、
前記係数演算手段は、前記注目画素のクラスと画素位置モードごとに、前記予測タップを用いた前記予測演算の結果と、前記教師画像データの画素との誤差を最小にする前記係数を演算する
請求項１５に記載の学習装置。
【請求項２２】
前記処理ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項２１に記載の学習装置。
【請求項２３】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記生徒画像データの画素である境界上画素が、前記処理ブロックに含まれる場合、前記処理ブロックから、前記境界上画素を除外した画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項２２に記載の学習装置。
【請求項２４】
前記境界上画素には、画素位置モードとして、前記境界上画素以外の画素と異なる値が割り当てられる
請求項２３に記載の学習装置。
【請求項２５】
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める学習方法において、
前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素を、前記生徒画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記生徒画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
前記クラス分類ステップによりクラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数を演算する係数演算ステップと
を有し、前記クラスごとの前記係数を求める学習処理を行う学習ステップと、
前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記学習処理が行われるように、前記学習ステップを制御する制御ステップと
を含む学習方法。
【請求項２６】
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める処理をコンピュータに実行させるプログラムにおいて、
前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素を、前記生徒画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記生徒画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
前記クラス分類ステップによりクラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数を演算する係数演算ステップと
を有し、前記クラスごとの前記係数を求める学習処理を行う学習ステップと、
前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記学習処理が行われるように、前記学習ステップを制御する制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関し、特に、例えば、ユーザが、高画質の画像データを享受することができるようにした画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、MPEG-2（Moving Picture Experts Group phase 2）などの符号化および復号方式により、所定の画像を、所定のブロックごとに符号化し、復号することで得られる復号画像は、ブロック歪やモスキートノイズなどのノイズを含むノイズ画像となる。かかるノイズ画像から、ノイズを除去するノイズ除去方法として、符号化および復号の処理単位である８×８画素（横×縦）のブロックをノイズ除去の処理単位として、ノイズ除去処理を行う技術が、特許文献１や２に開示されている。
【特許文献１】特開２００３−３２４７３８号公報
【特許文献２】特開２００４−７６０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、地上デジタル放送においては、図１に示されるように、放送局３１側で、放送すべき１９２０×１０８０画素（横×縦）の原画像が横方向に３/４倍されることで縮小され、その結果得られる１４４０×１０８０画素の縮小画像が、８×８画素のブロックごとに、MPEG-2などの符号化方式により符号化されて、MPEG符号化画像として各家庭などに送信される。
【０００４】
一方、各家庭側では、放送局３１から送信されてくるMPEG符号化画像を受信し、各家庭に設置されたデコーダ３２により、例えば、８×８画素のブロックごとに、MPEG-2などの符号化方式に対応した復号を行うことで、MPEG符号化画像が１４４０×１０８０画素のMPEG復号画像に復号される。
【０００５】
また、デコーダ３２は、１４４０×１０８０画素のMPEG復号画像を、横方向に４/３倍することで、画素数が原画像と同一の、１９２０×１０８０画素の拡大MPEG復号画像に拡大し、その拡大MPEG復号画像を図示せぬテレビジョン受像機などに表示させる。
【０００６】
拡大MPEG復号画像では、MPEG-2などによる符号化および復号の処理単位である、横×縦が８×８画素のブロックは横方向に４/３倍されて、１０．６６６（正確には、１０．６６６・・・）×８画素（横×縦）のブロックとなっている。
【０００７】
従って、拡大MPEG復号画像には、１０．６６６×８画素のブロックの境界（付近）に、モスキートノイズやブロック歪が生じているが、拡大MPEG復号画像に生じているノイズを除去するノイズ除去方法として、例えば、上述の、特許文献１や２に開示された技術を用いたノイズ除去処理を採用した場合には、ノイズを効果的に除去することができないことがある。
【０００８】
即ち、特許文献１や２に開示された技術は、例えば、MPEG-2の符号化および復号の処理単位と一致する８×８画素のブロックごとに、ノイズ除去処理が行われるようになっており、１０．６６６×８画素のブロックごとに、ノイズ除去処理を行うようになっていない。
【０００９】
そして、特許文献１や２に開示された技術を用いたノイズ除去処理の処理単位としての８×８画素のブロックと、拡大MPEG復号画像上にノイズが生じる単位としての１０．６６６×８画素のブロックとが一致していない、いわば位相ずれが生じている場合には、ノイズ除去処理の処理単位とノイズが生じる単位とが一致している、いわば位相ずれのない場合と比較して、効果的にノイズを除去することができないことがある。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、効果的にノイズを除去して、高画質の画像データを得ることができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面の画像処理装置は、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データを処理する画像処理装置において、前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、前記係数出力手段により出力された前記係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算手段とを有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換手段と、前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換手段を制御する制御手段とを備える。
【００１２】
第１の側面の画像処理装置には、前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の画素である境界上画素が、前記出力画像データに含まれるか否かを判定する画素判定手段をさらに設けることができ、前記画像変換手段には、前記画素判定手段により、前記出力画像データに、前記境界上画素が含まれると判定された場合、前記出力画像データを前記高画質画像データに変換させることができる。
【００１３】
前記予測タップ抽出手段には、前記予測タップを、前記注目画素を含む前記処理ブロックから抽出させることができる。
【００１４】
前記クラスタップ抽出手段には、前記クラスタップを、前記注目画素を含む前記処理ブロックから抽出させることができる。
【００１５】
第１の側面の画像処理装置には、前記注目画素の前記クラス分類に用いる閾値を、前記出力画像データの画素を用いて算出する閾値算出手段をさらに設けることができ、前記クラス分類手段には、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類させることができる。
【００１６】
前記閾値算出手段には、前記閾値を、前記注目画素を含む前記処理ブロックの画素を用いて算出させることができる。
【００１７】
第１の側面の画像処理装置には、前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段をさらに設けることができ、前記閾値算出手段には、前記境界上画素判定手段により、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記閾値を、前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出させることができる。
【００１８】
第１の側面の画像処理装置には、前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに設けることができ、前記係数出力手段には、前記注目画素のクラスと画素位置モードに対応する係数を出力させることができる。
【００１９】
前記処理ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
【００２０】
第１の側面の画像処理装置には、前記注目画素が、前記処理ブロックを複数の領域に区分したときに、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに設けることができ、前記予測演算手段には、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求めさせることができる。
【００２１】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれる場合、前記処理ブロックから、前記境界上画素を除外した画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
【００２２】
前記境界上画素には、画素位置モードとして、前記境界上画素以外の画素と異なる値を割り当てることができる。
【００２３】
本発明の第１の側面の画像処理方法、またはプログラムは、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データを処理する画像処理方法、または原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データを処理する画像処理をコンピュータに実行させるプログラムにおいて、前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップと、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップと、前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップとを有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップと、前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップとを含む。
【００２４】
本発明の第１の側面によれば、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素が、前記出力画像データから予測タップとして抽出される。また、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素が、前記出力画像データからクラスタップとして抽出されるとともに、抽出された前記クラスタップに基づいて、前記注目画素がクラス分類され、前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数が出力される。さらに、出力された前記係数と、抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素が求められる。また、前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記出力画像データを前記高画質画像データに変換する画像変換処理が行われるように、各種、制御される。
【００２５】
本発明の第２の側面の学習装置は、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める学習装置において、前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素を、前記生徒画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記生徒画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、前記クラス分類手段によりクラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数を演算する係数演算手段とを有し、前記クラスごとの前記係数を求める学習処理を行う学習手段と、前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記学習処理が行われるように、前記学習手段を制御する制御手段とを備える。
【００２６】
前記予測タップ抽出手段には、前記予測タップを、前記注目画素を含む前記処理ブロックから抽出させることができる。
【００２７】
前記クラスタップ抽出手段には、前記クラスタップを、前記注目画素を含む前記処理ブロックから抽出させることができる。
【００２８】
第２の側面の学習装置には、前記注目画素の前記クラス分類に用いる閾値を、前記生徒画像データの画素を用いて算出する閾値算出手段をさらに設けることができ、前記クラス分類手段には、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類させることができる。
【００２９】
前記閾値算出手段には、前記閾値を、前記注目画素を含む前記処理ブロックの画素を用いて算出させることができる。
【００３０】
第２の側面の学習装置は、前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記生徒画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段をさらに設けることができ、前記閾値算出手段には、前記境界上画素判定手段により、前記処理ブロックに、前記画素上画素が含まれると判定された場合、前記閾値を、前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出させることができる。
【００３１】
第２の側面の学習装置には、前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに設けることができ、前記係数演算手段には、前記注目画素のクラスと画素位置モードごとに、前記予測タップを用いた前記予測演算の結果と、前記教師画像データの画素との誤差を最小にする前記係数を演算させることができる。
【００３２】
第２の側面の学習装置には、前記処理ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
【００３３】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記生徒画像データの画素である境界上画素が、前記処理ブロックに含まれる場合、前記処理ブロックから、前記境界上画素を除外した画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
【００３４】
前記境界上画素には、画素位置モードとして、前記境界上画素以外の画素と異なる値を割り当てることができる。
【００３５】
本発明の第２の側面の学習方法、またはプログラムは、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める学習方法、または原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める処理をコンピュータに実行させるプログラムにおいて、前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素を、前記生徒画像データから予測タップとして抽出する予測タップ抽出ステップと、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記生徒画像データからクラスタップとして抽出するクラスタップ抽出ステップと、前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、前記クラス分類ステップによりクラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数を演算する係数演算ステップとを有し、前記クラスごとの前記係数を求める学習処理を行う学習ステップと、前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記学習処理が行われるように、前記学習ステップを制御する制御ステップとを含む。
【００３６】
本発明の第２の側面によれば、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数が、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求められる。また、前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素が、前記生徒画像データから予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素が、前記生徒画像データからクラスタップとして抽出される。さらに、抽出された前記クラスタップに基づいて、前記注目画素がクラス分類されるとともに、クラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数が演算される。また、前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記クラスごとの前記係数を求める学習処理が行われるように、各種、制御される。
【発明の効果】
【００３７】
以上のように、本発明の第１の側面によれば、例えば、効果的にノイズを除去して、高画質の画像データを得ることができる。
【００３８】
また、本発明の第２の側面によれば、例えば、高画質の画像データを生成するための係数を求めることができる。
【発明を実施するための最良の形態】
【００３９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４０】
本発明の第１の側面の画像処理装置は、
原画像データ（例えば、図１の原画像）の画素数を所定数倍に変換した変換後画像データ（例えば、図１の縮小画像）を所定のブロックごとに符号化して得られる符号化データ（例えば、図１のMPEG符号化画像）を、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データ（例えば、図１のMPEG復号画像）を、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データ（例えば、図１の拡大MPEG復号画像）に変換する
デコーダ（例えば、図１のデコーダ３２）が出力する前記出力画像データを処理する画像処理装置（例えば、図２の画像変換部６１）において、
前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図２の予測タップ抽出部１２３）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図２のクラスタップ抽出部１２４）と、
前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段（例えば、図２のクラス分類部１２５）と、
前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段（例えば、図２の係数記憶部１２６）と、
前記係数出力手段により出力された前記係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算手段（例えば、図２の予測演算部１２７）と
を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換手段（例えば、図２の画像変換部６１）と、
前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換手段を制御する制御手段（例えば、図２の制御部１２８）と
を備える。
【００４１】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の画素である境界上画素が、前記出力画像データに含まれるか否かを判定する画素判定手段（例えば、図１７のブロックサイズ判定部４０２）をさらに備え、
前記画像変換手段は、前記画素判定手段により、前記出力画像データに、前記境界上画素が含まれると判定された場合、前記出力画像データを前記高画質画像データに変換する。
【００４２】
前記注目画素の前記クラス分類に用いる閾値を、前記出力画像データの画素を用いて算出する閾値算出手段（例えば、図２の閾値算出部１２２）をさらに備え、
前記クラス分類手段は、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類する。
【００４３】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段（例えば、図７のステップＳ３３の処理を実行する図２の閾値算出部１２２）をさらに備え、
前記閾値算出手段は、前記境界上画素判定手段により、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記閾値を、前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する。
【００４４】
前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段（例えば、図１０の画素位置モード判定部２７５）をさらに備え、
前記係数出力手段は、前記注目画素のクラスと画素位置モードに対応する係数を出力する。
【００４５】
前記注目画素が、前記処理ブロックを複数の領域に区分したときに、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段（例えば、図１０の領域判定部２７７）をさらに備え、
前記予測演算手段は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める。
【００４６】
本発明の第１の側面の画像処理方法、またはプログラムは、
原画像データ（例えば、図１の原画像）の画素数を所定数倍に変換した変換後画像データ（例えば、図１の縮小画像）を所定のブロックごとに符号化して得られる符号化データ（例えば、図１のMPEG符号化画像）を、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データ（例えば、図１のMPEG復号画像）を、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データ（例えば、図１の拡大MPEG復号画像）に変換する
デコーダ（例えば、図２のデコーダ３２）が出力する前記出力画像データを処理する画像処理方法、または
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
デコーダが出力する前記出力画像データを処理する画像処理をコンピュータに実行させるプログラムにおいて、
前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップ（例えば、図７のステップＳ３７）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップ（例えば、図７のステップＳ３８）と、
前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップ（例えば、図７のステップＳ３９）と、
前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップ（例えば、図７のステップＳ４０）と、
前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップ（例えば、図７のステップＳ４１）と
を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップ（例えば、図７のステップＳ３１乃至ステップＳ４３）と、
前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップ（例えば、図７のステップＳ３１）と
を含む。
【００４７】
本発明の第２の側面の学習装置は、
原画像データ（例えば、図１の原画像）の画素数を所定数倍に変換した変換後画像データ（例えば、図１の縮小画像）を所定のブロックごとに符号化して得られる符号化データ（例えば、図１のMPEG符号化画像）を、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データ（例えば、図１のMPEG復号画像）の画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データ（例えば、図１の拡大MPEG復号画像）を、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める学習装置（例えば、図８の学習装置２０１）において、
前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素を、前記生徒画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図８の予測タップ抽出部２３５）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記生徒画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図８のクラスタップ抽出部２３６）と、
前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段（例えば、図８のクラス分類部２３７）と、
前記クラス分類手段によりクラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数を演算する係数演算手段（例えば、図８の係数算出部２３９）と
を有し、前記クラスごとの前記係数を求める学習処理を行う学習手段（例えば、図８の学習装置２０１）と、
前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記学習処理が行われるように、前記学習手段を制御する制御手段（例えば、図８の制御部２４０）と
を備える。
【００４８】
前記注目画素の前記クラス分類に用いる閾値を、前記生徒画像データの画素を用いて算出する閾値算出手段（例えば、図８の閾値算出部２３４）をさらに備え、
前記クラス分類手段は、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類する。
【００４９】
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記生徒画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段（例えば、図９のステップＳ７３の処理を実行する図８の閾値算出部２３４）をさらに備え、
前記閾値算出手段は、前記境界上画素判定手段により、前記処理ブロックに、前記画素上画素が含まれると判定された場合、前記閾値を、前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する。
【００５０】
前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段（例えば、図１５の画素位置モード判定部３３９）をさらに備え、
前記係数演算手段は、前記注目画素のクラスと画素位置モードごとに、前記予測タップを用いた前記予測演算の結果と、前記教師画像データの画素との誤差を最小にする前記係数を演算する。
【００５１】
本発明の第２の側面の学習方法、またはプログラムは、
原画像データ（例えば、図１の原画像）の画素数を所定数倍に変換した変換後画像データ（例えば、図１の縮小画像）を所定のブロックごとに符号化して得られる符号化データ（例えば、図１のMPEG符号化画像）を、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データ（例えば、図１のMPEG復号画像）の画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データ（例えば、図１の拡大MPEG復号画像）を、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める学習方法、または
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データの画素数を前記所定数の逆数倍にすることにより得られた、前記原画像データの画素数と同一の画素数の出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する予測演算に用いられる係数を、前記出力画像データに相当する画像である生徒画像データを用いた前記予測演算の結果と、前記高画質画像データに相当する画像である教師画像データとの誤差を最小にする学習により求める処理をコンピュータに実行させるプログラムにおいて、
前記生徒画像データの注目している画素である注目画素を、その注目画素に対応する、前記教師画像データの画素に変換する前記予測演算に用いる複数の画素を、前記生徒画像データから予測タップとして抽出する予測タップ抽出ステップ（例えば、図９のステップＳ７７）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記生徒画像データからクラスタップとして抽出するクラスタップ抽出ステップ（例えば、図９のステップＳ７８）と、
前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップ（例えば、図９のステップＳ７９）と、
前記クラス分類ステップによりクラス分けされた前記注目画素のクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像データの画素との誤差を最小にする前記係数を演算する係数演算ステップ（例えば、図９のステップＳ８３）と
を有し、前記クラスごとの前記係数を求める学習処理を行う学習ステップ（例えば、図９のステップＳ７１乃至ステップＳ８３）と、
前記所定数倍に基づいて決定されるブロックサイズの、前記生徒画像データの処理ブロックごとに、前記学習処理が行われるように、前記学習ステップを制御する制御ステップ（例えば、図９のステップＳ７１）と
を含む。
【００５２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００５３】
図２は、本発明を適用した画像変換部の一実施の形態の構成例を示すブロック図である。
【００５４】
図２の画像変換部６１は、例えば、図１のデコーダ３２が出力する出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する画像変換処理を行う。即ち、画像変換部６１は、例えば、図１のデコーダ３２が出力する出力画像データとしての、例えば、図１で説明したような拡大MPEG復号画像などから、MPEG-2による８×８画素のブロック単位での符号化および復号に起因して生じたブロック歪やモスキートノイズを除去するノイズ除去処理を行う。
【００５５】
なお、出力画像データは、ここでは、MPEG-2の復号によって直接得られる１４４０×１０８０画素のMPEG復号画像を横方向に４/３倍した１９２０×１０８０画素の拡大MPEG復号画像であるため、出力画像データにおいて、MPEG復号画像の１６×１６画素（横×縦）のマクロブロックは、そのマクロブロックを横方向に４/３倍にした２１．３３３（正確には、２１．３３３・・・）×１６画素（横×縦）の拡大マクロブロックになる。また、出力画像データにおいて、MPEG復号画像のマクロブロックを構成する８×８画素のブロックは、そのブロックを横方向に４/３倍にした１０．６６６×８画素（横×縦）の拡大ブロックとなる。
【００５６】
ここで、以下では、説明を簡単にするために、輝度信号のみを考える。従って、MPEG復号画像のマクロブロックは、２×２個（横×縦）の輝度信号のブロックで構成され、拡大MPEG復号画像の拡大マクロブロックは、２×２個（横×縦）の輝度信号の拡大ブロックで構成されることとする。
【００５７】
画像変換部６１は、ブロック抽出部１２１、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、予測演算部１２７、および制御部１２８により構成される。
【００５８】
ブロック抽出部１２１は、図１のデコーダ３２から供給されてくる出力画像データから、後述する６４×１６画素の抽出対象ブロックを、例えば、いわゆるラスタスキャン順に、順次抽出する。また、ブロック抽出部１２１は、抽出対象ブロックを、後述する複数の処理対象ブロックに区分し、閾値算出部１２２に、順次供給する。
【００５９】
閾値算出部１２２は、ブロック抽出部１２１から供給された処理対象ブロックを、後述する複数の処理ブロックに区分し、その処理ブロックを、例えば、ラスタスキャン順に、順次注目ブロックとする。
【００６０】
閾値算出部１２２は、後述する予測タップ抽出部１２３が注目する画素である注目画素を、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる閾値を、注目ブロックから算出し、クラス分類部１２５に供給する。
【００６１】
予測タップ抽出部１２３は、注目ブロックに含まれる画素を、例えば、ラスタスキャン順に、順次、注目画素として選択し、さらに、注目画素に対応する、出力画像データを変換して得ようとする高画質画像データの画素の画素値を予測するために用いる複数の画素を、予測タップとして、出力画像データから抽出する。
【００６２】
即ち、予測タップ抽出部１２３は、例えば、注目画素を中心として水平方向に並ぶ複数の画素である水平方向のタップ７１を、予測タップとして、出力画像データから抽出する。ここで、図２では、図２右上に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素が、水平方向のタップ７１として示されている。
【００６３】
予測タップ抽出部１２３は、出力画像データから抽出した予測タップを、予測演算部１２７に供給する。
【００６４】
クラスタップ抽出部１２４は、注目画素を、クラス分類するのに用いる複数の画素を、クラスタップとして、出力画像データから抽出する。
【００６５】
即ち、クラスタップ抽出部１２４は、例えば、注目画素を中心として水平方向に並ぶ複数の画素である水平方向のタップ７１を、クラスタップとして、出力画像データから抽出する。
【００６６】
なお、ここでは、説明を簡単にするために、予測タップとクラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、予測タップとクラスタップとは、異なるタップ構造を有する複数の画素とすることができる。
【００６７】
クラスタップ抽出部１２４は、出力画像データから抽出したクラスタップを、クラス分類部１２５に供給する。
【００６８】
クラス分類部１２５は、閾値算出部１２２から供給された閾値と、クラタップ抽出部１２４から供給されたクラスタップとに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを係数記憶部１２６に供給する。
【００６９】
係数記憶部１２６は、後述する学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類部１２５から供給されたクラスコードに対応付けられたタップ係数（注目画素のクラスのタップ係数）を予測演算部１２７に供給する。
【００７０】
予測演算部１２７は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部１２６から供給されたタップ係数とを用いて、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求める所定の予測演算を行う。これにより、予測演算部１２７は、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
【００７１】
制御部１２８は、ブロック抽出部１２１、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、および予測演算部１２７を制御する。
【００７２】
即ち、制御部１２８は、画像変換部６１における画像変換処理が、処理ブロックごとに行われるように、各ブロックを制御する。
【００７３】
次に、図３および図４を参照して、図２のブロック抽出部１２１における処理を説明する。
【００７４】
図３は、ブロック抽出部１２１が、抽出対象ブロックを抽出する順番を示す図である。
【００７５】
ブロック抽出部１２１は、出力画像データから、複数の拡大マクロブロックにより構成されるＮ×Ｍ画素（横×縦）（Ｎ，Ｍは自然数）の抽出対象ブロックを、例えば、ラスタスキャン順に順次抽出し、複数の処理対象ブロックに区分する。
【００７６】
即ち、ブロック抽出部１２１は、１９２０×１０８０画素（横×縦）の出力画像データから、６４×１６画素（横×縦）の抽出対象ブロックを、例えば、ラスタスキャン順に、順次抽出し、処理対象ブロックに区分する。
【００７７】
次に、図４は、ブロック抽出部１２１が、抽出対象ブロックを、複数の処理対象ブロックに区分する方法を示す図である。
【００７８】
図４上側には、ブロック抽出部１２１が抽出する６４×１６画素の抽出対象ブロックが示されており、抽出対象ブロックは、水平方向に並ぶ３個の、２１．３３３×１６画素の拡大マクロブロックにより構成される。
【００７９】
また、拡大マクロブロックは、２×２個の、１０．６６６×８画素の拡大ブロックにより構成される。
【００８０】
図４下側には、抽出対象ブロックを区分することで得られる３個の処理対象ブロック１３１乃至１３３が示されている。
【００８１】
６４×１６画素の抽出対象ブロックは、垂直方向に区切られることによって、左から順に、水平方向に並ぶ、２１×１６画素の処理対象ブロック１３１、２２×１６画素の処理対象ブロック１３２、および２１×１６画素の処理対象ブロック１３３に区分される。
【００８２】
そして、２１×１６画素の処理対象ブロック１３１は、１１×８画素（横×縦）の左上および左下の処理ブロックと、１０×８画素（横×縦）の右上および右下の処理ブロックとの合計４個の処理ブロックにより区分される。
【００８３】
また、２２×１６画素の処理対象ブロック１３２は、１１×８画素の左上、左下、右上および右下の処理ブロックにより区分される。
【００８４】
さらに、２１×１６画素の処理対象ブロック１３３は、１０×８画素の左上および左下の処理ブロックと、１１×８画素の右上および右下の処理ブロックとの合計４個の処理ブロックにより区分される。
【００８５】
ここで、図４下側の１１×８画素の処理ブロックにおいて、斜線が付された部分は、図４上側の白色の矩形で示される拡大ブロックの境界を含む境界上画素を示している。なお、境界上画素は、１１×８画素の処理ブロックにのみ含まれ、１０×８画素の処理ブロックには含まれない。
【００８６】
なお、処理ブロックのブロックサイズは、図１において、放送局３１側で行われる、原画像を縮小画像に変換するときの倍率（３/４倍）に基づいて決定される。
【００８７】
即ち、処理ブロックのブロックサイズは、MPEG復号画像の８×８画素のブロックを、横方向に、原画像を縮小画像に変換するときの倍率（３/４倍）の逆数倍である４/３倍し、その結果得られた１０．６６６×８画素のブロックの横方向の画素の個数を、切捨てまたは切り上げをすることで得られたブロックサイズである。つまり、１０．６６６×８画素のブロックの横方向の画素の個数の小数点第１位以下の部分を切り捨てることにより、処理ブロックのブロックサイズが、１０×８画素のサイズに決定し、さらに、１０．６６６×８画素のブロックの横方向の画素の個数の小数点第１位以下の部分を切り上げることにより、処理ブロックのブロックサイズが、１１×８画素のサイズに決定する。
【００８８】
また、図４下側の処理対象ブロック１３１、処理対象ブロック１３２、処理対象ブロック１３３は、それぞれ、図４上側の左から１番目、２番目、３番目の拡大マクロブロックに対応する。
【００８９】
ブロック抽出部１２１は、図４上側に示された抽出対象ブロックを、図４下側に示された処理対象ブロック１３１乃至１３３に区分し、まず、処理対象ブロック１３１を、閾値算出部１２２に供給する。
【００９０】
そして、処理対象ブロック１３１のすべての画素が注目画素とされると、ブロック抽出部１２１は、処理対象ブロック１３２を、閾値算出部１２２に供給する。
【００９１】
さらに、処理対象ブロック１３２のすべての画素が注目画素とされると、ブロック抽出部１２１は、処理対象ブロック１３３を、閾値算出部１２２に供給する。
【００９２】
閾値算出部１２２は、ブロック抽出部１２１から、処理対象ブロックが供給されると、その処理対象ブロックを、図４下側に示した、１０×８画素の処理ブロックや１１×８画素の処理ブロックに区分し、例えば、ラスタスキャン順に、順次、注目ブロックとして、閾値を算出する。
【００９３】
次に、図５は、閾値算出部１２２が、ブロック抽出部１２１から供給される処理ブロックから閾値を算出する処理を説明する図である。
【００９４】
図５上側には、閾値算出部１２１に供給された処理対象ブロック１３１（図４）が示されており、図５中央右側には、処理対象ブロック１３１に対応する拡大マクロブロック（の拡大前のマクロブロック）のブロック構造がフレーム構造である場合、つまりDCTタイプがフレームDCTである場合の処理対象ブロック１３１が示されている。また、図５中央左側には、処理対象ブロック１３１に対応する拡大マクロブロック（の拡大前のマクロブロック）のブロック構造がフィールド構造である場合、つまりDCTタイプがフィールドDCTである場合の処理対象ブロック１３１が示されている。
【００９５】
なお、図５中央右側のブロック、および図５中央左側のブロックに示される斜線部分は、処理対象ブロック１３１における偶数ライン（ボトムフィールド）を表しており、白色の部分は、処理対象ブロック１３１における奇数ライン（トップフィールド）を表している。
【００９６】
さらに、図５下側には、処理対象ブロック１３１の左上または左下の１１×８画素の処理ブロックが示されている。なお、図５下側に示される１１×８画素の処理ブロックのうちの斜線部分は、境界上画素を示している。
【００９７】
閾値算出部１２２は、例えば、ブロック抽出部１２１から供給された処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造が、フレーム構造であるかフィールド構造であるかを判定する。なお、例えば、閾値算出部１２２は、処理対象ブロック１３１に対応する拡大マクロブロックのフィールド内自己相関とフィールド間相関とを比較することで、処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造を判定することができる。
【００９８】
処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造がフレーム構造であると判定された場合、閾値算出部１２２は、図５中央右側に示された処理対象ブロック１３１のうちの、左上の１１×８画素の処理ブロックを注目ブロックとして、閾値を算出する。
【００９９】
閾値算出部１２１は、注目ブロックとしている左上の処理ブロックの画素のすべてが注目画素とされた後は、処理対象ブロック１３１の右上の１０×８画素の処理ブロック、左下の１１×８画素の処理ブロック、右下の１０×８画素の処理ブロックの順番で、順次、注目ブロックとして、閾値を算出する。
【０１００】
一方、処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造がフィールド構造であると判定された場合、閾値算出部１２２は、図５中央右側に示された処理対象ブロック１３１のうちの、左上の、左上の１１×８画素の処理ブロックを注目ブロックとして、閾値を算出する。
【０１０１】
閾値算出部１２１は、いま、注目ブロックとしている左上の処理ブロックの画素のすべてが注目画素とされた後は、処理対象ブロック１３１の右上の１０×８画素の処理ブロック、左下の１１×８画素の処理ブロック、右下の１０×８画素の処理ブロックの順番で、順次、注目ブロックとして、閾値を算出する。
【０１０２】
閾値算出部１２１は、例えば、次のようにして、注目ブロックから、閾値を算出する。
【０１０３】
即ち、閾値算出部１２１は、図５下側に示されるように、注目ブロックの、横方向（水平方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である画素間差分を求める。
【０１０４】
但し、画素間差分は、境界上画素を除外した画素のみを対象として求められる。
【０１０５】
従って、注目ブロックが、境界上画素が含まれない１０×８画素の処理ブロックである場合には、その処理ブロックを構成する画素すべてを対象として、９×８＝７２個の画素間差分が求められる。
【０１０６】
閾値算出部１２１は、注目ブロックについて７２個の画素間差分を求めると、その７２個の画素間差分のうちの、最大値MAXと最小値MINとを求め、DR=MAX-MINを、画素間差分のダイナミックレンジDRとして求める。さらに、閾値算出部１２１は、そのダイナミックレンジDRを４で除算した値に最小値MINを加算した値を、閾値Th=(DR/4)+MINとして算出する。
【０１０７】
一方、注目ブロックが、図５下側に示される、境界上画素を含む１１×８画素の処理ブロックである場合には、その処理ブロックを構成する１１×８画素のうちの、図５下側に示される斜線部分が示す１×８画素の境界上画素を除外した画素を対象として、やはり、７２個の画素間差分が求められる。
【０１０８】
閾値算出部１２２は、注目ブロックから閾値を算出すると、その閾値をクラス分類部１２５に供給する。クラス分類部１２５は、クラスタップ抽出部１２４から供給されたクラスタップと、閾値算出部１２２から供給された閾値とに基づき、注目画素をクラス分類する。
【０１０９】
図６は、図２のクラス分類部１２５により行われるクラス分類を説明する図である。
【０１１０】
図６上側の横方向に並んだ９個の白丸は、クラスタップ抽出部１２４から供給されたクラスタップとしての水平方向のタップ７１を示しており、横方向に並んだ９個の白丸の下側に示される数値は、白丸で表される、クラスタップを構成する画素それぞれの画素値を示している。
【０１１１】
また、図６中央の数値は、水平方向に並ぶ９画素である水平方向のタップ７１のうちの、図中、横方向（水平方向）に隣接する画素同士の差分の絶対値である画素間差分を示している。さらに、図６下側の数値は、クラス分類部１２５が出力するクラスコードを示している。
【０１１２】
クラス分類部１２５は、図６上側に示される水平方向に並ぶ９画素である水平方向のタップ７１のうちの、隣接する画素同士の８個の画素間差分を求める。
【０１１３】
次に、クラス分類部１２５は、図６中央に示される８個の画素間差分が、閾値算出部１２２から供給された閾値Th以上であるか否かを判定する。
【０１１４】
画素間差分が、閾値Th以上である場合、クラス分類部１２５は、画素間差分に対して、Th以上であることを表す１をセットした１ビットの大小フラグを割り当てる。また、画素間差分が、閾値Th以上でない場合、クラス分類部１２５は、画素間差分に対して、Th以上でないことを表す０をセットした大小フラグを割り当てる。そして、クラス分類部１２５は、図６下側に示される、１または０がセットされた８個の大小フラグの並びを、クラスコードとして、係数記憶部１２６に出力する。
【０１１５】
次に、図７のフローチャートを参照して、図２の画像変換部６１における画像変換処理を説明する。
【０１１６】
この画像変換処理は、例えば、図１のデコーダ３２により、出力画像データが、画像変換部６１に供給されたときに開始される。このとき、ブロック抽出部１２１、予測タップ抽出部１２３、およびクラスタップ抽出部１２４それぞれに、出力画像データが供給される。
【０１１７】
ステップＳ３１において、制御部１２８は、画像変換部６１における画像変換処理が、処理ブロックごとに行われるように、各ブロックの制御を開始する。
【０１１８】
具体的には、制御部１２８は、ブロック抽出部１２１を制御し、図１のデコーダ３２から出力される出力画像データから、６４×１６画素の抽出対象ブロック（図４）を、図３に示されるように、例えば、ラスタスキャン順に、順次抽出させ、抽出した抽出対象ブロックを、図４に示されるように、処理対象ブロック１３１、１３２、または１３３に区分させる。
【０１１９】
また、制御部１２８は、ブロック抽出部１２１を制御し、区分された処理対象ブロックを、適宜、閾値算出部１２２に供給させる。さらに、制御部１２８は、閾値算出部１２２を制御し、処理対象ブロックを、１１×８画素、または１０×８画素の処理ブロックに区分させる。そして、制御部１２８は、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、または予測演算部１２７を制御することで、処理ブロックごとに画像変換処理を行わせる。
【０１２０】
閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、または予測演算部１２７は、制御部１２８の制御に従い、処理ブロックごとに画像変換処理を行う。
【０１２１】
即ち、ステップＳ３１の処理後、処理はステップＳ３２に進み、閾値算出部１２２は、ブロック抽出部１２１から供給された処理対象ブロックに含まれる２×２個の処理ブロックを、例えば、ラスタスキャン順に、順次注目ブロックとし、処理は、ステップＳ３３に進む。
【０１２２】
ステップＳ３３において、閾値算出部１２２は、注目ブロックが、境界上画素を含むかを判定する。
【０１２３】
ステップＳ３３において、注目ブロックに、境界上画素が含まれると判定された場合、処理は、ステップＳ３４に進み、閾値算出部１２２は、図５下側に示されるように、注目ブロックの画素から境界上画素を除外した画素を用いて閾値を算出し、クラス分類部１２５に供給して、処理は、ステップＳ３６に進む。
【０１２４】
一方、ステップＳ３３において、注目ブロックに、境界上画素が含まれないと判定された場合、処理は、ステップＳ３５に進み、閾値算出部１２２は、注目ブロックn画素のすべてから閾値を算出し、クラス分類部１２５に供給して、処理は、ステップＳ３６に進む。
【０１２５】
ステップＳ３６において、予測タップ抽出部１２３は、注目ブロックに含まれる画素を、ラスタスキャン順に、順次、図１のデコーダ３２から供給されてくる出力画像データから抽出し、注目画素として選択して、処理は、ステップＳ３７に進む。  
【０１２６】
ステップＳ３７において、予測タップ抽出部１２３は、注目画素に対応する、出力画像データを変換して得ようとする高画質画像データの画素の画素値を予測するために用いる複数の画素を、予測タップとして、出力画像データから抽出して、予測演算部１２７に供給する。
【０１２７】
その後、ステップＳ３７からステップＳ３８に進み、クラスタップ抽出部１２４は、注目画素をクラス分類するのに用いる複数の画素を、クラスタップとして、図１のデコーダ３２から供給されてくる出力画像データから抽出し、クラス分類部１２５に供給して、処理は、ステップＳ３９に進む。
【０１２８】
ステップＳ３９において、クラス分類部１２５は、閾値算出部１２２から供給された閾値と、クラタップ抽出部１２４から供給されたクラスタップに基づき、図６を参照して説明した処理を行うことで、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを係数記憶部１２６に供給して、処理は、ステップＳ４０に進む。
【０１２９】
係数記憶部１２６は、後述する学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、ステップＳ４０において、クラス分類部１２５から供給されたクラスコードに対応付けられたタップ係数を予測演算部１２７に供給して、処理は、ステップＳ４１に進む。
【０１３０】
ステップＳ４１において、予測演算部１２７は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部１２６から供給されたタップ係数を用いて、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求める所定の予測演算を行い、処理は、ステップＳ４２に進む。
【０１３１】
ステップＳ４２において、予測タップ抽出部１２３は、注目ブロックのすべての画素を、注目画素としたかを判定する。
【０１３２】
ステップＳ４２において、注目ブロックのすべての画素を、まだ注目画素としていないと判定された場合、処理は、ステップＳ３６に戻り、予測タップ抽出部１２３は、注目ブロックのうちの、まだ注目画素としていない画素を注目画素として、処理は、ステップＳ３７に進み、以下、同様の処理を繰り返す。
【０１３３】
一方、ステップＳ４２において、注目ブロックのすべての画素を、注目画素としたと判定された場合、処理は、ステップＳ４３に進み、制御部１２８は、出力画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
【０１３４】
ステップＳ４３において、出力画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ３２に戻り、以下、同様の処理を繰り返す。
【０１３５】
一方、ステップＳ４３において、出力画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、図７の画像変換処理は終了される。
【０１３６】
以上のような図７の画像変換処理では、処理ブロックに境界上画素が含まれるときには、処理ブロックの画素から境界上画素を除外した画素を用いて閾値を算出し、処理ブロックに境界上画素が含まれないときには、処理ブロックのすべての画素から閾値を算出することとしたので、処理ブロックに境界上画素が含まれるときと含まれないときとのいずれにも、処理ブロックの画素から閾値を算出する同一の処理を行う場合と比較して、より適切な閾値を算出することができる。
【０１３７】
したがって、図７の画像変換処理では、注目画素を適切なクラスにクラス分類することができ、ひいては、誤差の少ない（高画質の）高画質画像データの画素値を求めることができる。即ち、出力画像データの１０．６６６×８画素の拡大ブロックの境界（付近）に生じているモスキートノイズやブロック歪を、効果的に除去することができる。
【０１３８】
次に、図２の予測演算部１２７における予測演算と、係数記憶部１２６に記憶されたタップ係数の学習について説明する。
【０１３９】
いま、画像変換処理として、出力画像データから予測タップを抽出し、その予測タップとタップ係数を用いて、モスキートノイズやブロック歪のない高画質画像データの画素（以下、適宜、高画質画素という）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１４０】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１４１】
【数１】
2008124955.tif 000003
・・・（１）
【０１４２】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の出力画像データの画素（以下、適宜、出力画素という）の画素値を表す。ここで、例えば、予測タップとして、図２右上側に示される水平方向に並ぶ９画素である水平方向のタップ７１を例にとれば、ｎ番目の出力画素の画素値とは、水平方向のタップ７１に付された番号ｎに対応する出力画素の画素値である。
【０１４３】
また、ｗnは、ｎ番目の出力画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の出力画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１４４】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１４５】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【０１４６】
【数２】
2008124955.tif 000004
・・・（２）
【０１４７】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【０１４８】
【数３】
2008124955.tif 000005
・・・（３）
【０１４９】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の出力画素を表す。
【０１５０】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１５１】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１５２】
【数４】
2008124955.tif 000006
・・・（４）
【０１５３】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する出力画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１５４】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１５５】
【数５】
2008124955.tif 000007
・・・（５）
【０１５６】
一方、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１５７】
【数６】
2008124955.tif 000008
・・・（６）
【０１５８】
式（５）と式（６）から、次式が得られる。
【０１５９】
【数７】
2008124955.tif 000009
・・・（７）
【０１６０】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１６１】
【数８】
2008124955.tif 000010
・・・（８）
【０１６２】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１６３】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１６４】
図２の画像変換部６１では、以上のようなクラスごとのタップ係数を用いて、式（１）の演算を行うことにより、出力画像データが、高画質画像データに変換される。
【０１６５】
次に、図８は、式（８）の正規方程式をクラスごとにたてて解くことによりタップ係数ｗnを求める学習処理を行う学習装置２０１の構成例を示している。
【０１６６】
図８の学習装置２０１は、学習用画像記憶部２３１、ノイズ付加部２３２、ブロック抽出部２３３、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、係数算出部２３９、および制御部２４０により構成される。
【０１６７】
また、学習装置２０１には、放送局３１で得られる原画像（図１）に相当する多数の１９２０×１０８０画素の画像データが、タップ係数ｗnの学習に用いられる学習用画像データとして入力されるようになっている。
【０１６８】
学習装置２０１において、学習用画像データは、学習用画像記憶部２３１に供給され、記憶される。
【０１６９】
ノイズ付加部２３２は、学習用画像記憶部２３１から、学習用画像データを読み出し、学習用画像データに、図１で行われる処理と同様の処理を行うことで、出力画像データに相当する画像である生徒画像データを生成する。
【０１７０】
即ち、ノイズ付加部２３２は、学習用画像記憶部２３１に記憶された１９２０×１０８０画素の学習用画像データを、横方向に３/４倍して、１４４０×１０８０画素の画像データを得て、MPEG符号化する。さらに、ノイズ付加部２３２は、MPEG符号化によって得られた符号化データを、１４４０×１０８０画素の画像データに復号し、その画像データを、横方向に４/３倍して、出力画像データに相当する画像である生徒画像データを生成する。
【０１７１】
ノイズ付加部２３２は、生成した生徒画像データを、ブロック抽出部２３３、予測タップ抽出部２３５、およびクラスタップ抽出部２３６に供給する。
【０１７２】
ブロック抽出部２３３は、図２のブロック抽出部１２１と同様にして、ノイズ付加部２３２から供給されてくる生徒画像データから、抽出対象ブロックを、例えば、ラスタスキャン順に、順次抽出する。
【０１７３】
さらに、ブロック抽出部２３３は、図２のブロック抽出部１２１と同様にして、抽出対象ブロックを、複数の処理対象ブロック１３１乃至１３３に区分し、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給する。
【０１７４】
閾値算出部２３４は、図２の閾値算出部１２２と同様にして、ブロック抽出部２３３から供給された処理対象ブロックを、２×２個の処理ブロックに区分し、例えば、ラスタスキャン順に、順次注目ブロックとする。
【０１７５】
さらに、閾値算出部２３４は、図２の閾値算出部１２２と同一の処理を行うことで、クラス分類に用いる閾値を、注目ブロックから算出し、クラス分類部２３７に供給する。
【０１７６】
予測タップ抽出部２３５は、注目ブロックに含まれる画素を例えば、ラスタスキャン順に、順次、ノイズ付加部２３２から供給されてくる生徒画像データから抽出し、注目画素とする。さらに、予測タップ抽出部２３５は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、図２の予測タップ抽出部１２３が注目画素について得る予測タップと同一のタップ構造の予測タップ（図２の予測タップ抽出部１２３が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像データの画素からなる予測タップ）を得て、足し込み部２３８に供給する。
【０１７７】
クラスタップ抽出部２３６は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、図２のクラスタップ抽出部１２４が注目画素について得るクラスタップと同一のタップ構造のクラスタップ（図２のクラスタップ抽出部１２４が注目画素について得るクラスタップを構成する画素と同一の位置関係にある生徒画像データの画素からなるクラスタップ）を得て、クラス分類部２３７に供給する。
【０１７８】
クラス分類部２３７は、閾値算出部２３４から供給された閾値と、クラスタップ抽出部２３６から供給されたクラスタップとに基づき、図２のクラス分類部１２５と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部２３８に供給する。
【０１７９】
足し込み部２３８は、学習用画像記憶部２３１から、注目画素に対応する、教師画像データ（学習用画像データ）の画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードごとに行う。
【０１８０】
即ち、足し込み部２３８には、学習用画像記憶部２３１に記憶された教師画像データ（の画素のうちの、注目画素に対応する画素の画素値）ｙk、予測タップ抽出部２３５が出力する予測タップ（を構成する生徒画像データの画素の画素値）ｘn,k、クラス分類部２３７が出力する、注目画素のクラスを表すクラスコードが供給される。
【０１８１】
そして、足し込み部２３８は、クラス分類部２３７から供給されたクラスコードに対応するクラスごとに、予測タップ（生徒画像データ）ｘn,kを用い、式（８）の左辺の行列における生徒画像データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１８２】
さらに、足し込み部２３８は、やはり、クラス分類部２３７から供給されたクラスコードに対応するクラスごとに、予測タップ（生徒画像データ）ｘn,kと教師画像データｙkを用い、式（８）の右辺のベクトルにおける生徒画像データｘn,kおよび教師画像データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１８３】
即ち、足し込み部２３８は、前回、注目画素とされた生徒画像データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像データについて、その生徒画像データｘn,k+1および教師画像データｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１８４】
そして、足し込み部２３８は、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、係数算出部２３９に供給する。
【０１８５】
係数算出部２３９は、足し込み部２３８から供給された各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１８６】
制御部２４０は、学習用画像記憶部２３１、ノイズ付加部２３２、ブロック抽出部２３３、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、または係数算出部２３９を制御する。
【０１８７】
即ち、制御部２４０は、学習装置２０１における学習処理が、ノイズ付加部２３２が生成する生徒画像データの処理ブロックごとに行われるように、各ブロックを制御する。
【０１８８】
次に、図９のフローチャートを参照して、図８の学習装置２０１における学習処理を説明する。
【０１８９】
なお、学習用画像記憶部２３１には、多数の１９２０×１０８０画素の学習用画像データが、すでに記憶されていることとする。
【０１９０】
ステップＳ７１において、制御部２４０は、学習装置２０１における学習処理が、生徒画像データの処理ブロックごとに行われるように、各ブロックの制御を開始する。
【０１９１】
具体的には、制御部２４０は、ノイズ付加部２３２を制御し、学習用画像記憶部２３１から、学習用画像データを読み出させ、学習用画像データに、図１で行われる処理と同様の処理を行わせることで、出力画像データに相当する画像である生徒画像データを生成させ、ブロック抽出部２３３に供給させる。
【０１９２】
また、制御部２４０は、ブロック抽出部２３３を制御し、処理対象ブロックを、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給させる。具体的には、ブロック抽出部２３３は、制御部２４０の制御に従い、図２のブロック抽出部１２１と同様にして、ノイズ付加部２３２から供給されてくる生徒画像データから、抽出対象ブロックを、例えば、ラスタスキャン順に、順次抽出する。さらに、ブロック抽出部２３３は、制御部２４０の制御に従い、図２のブロック抽出部１２１と同様にして、抽出対象ブロックを、処理対象ブロック１３１乃至１３３に区分し、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給する。
【０１９３】
さらに、制御部２４０は、閾値算出部２３４を制御し、図２の閾値算出部１２２と同様にして、処理対象ブロックを、１１×８画素、または１０×８画素の処理ブロックに区分させる。そして、制御部２４０は、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、または係数算出部２３９を制御することで、ノイズ付加部２３２により生成される生徒画像データの処理ブロックごとに学習処理を行わせる。
【０１９４】
閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、または係数算出部２３９は、制御部２４０の制御に従い、処理ブロックごとに学習処理を行う。
【０１９５】
即ち、ステップＳ７１の処理後、処理はステップＳ７２に進み、閾値算出部２３４は、図２の閾値算出部１２２と同様にして、ブロック抽出部２３３から供給された処理対象ブロックを、２×２個の処理ブロックに区分し、例えば、ラスタスキャン順に、順次注目ブロックとし、処理は、ステップＳ７２に進む。
【０１９６】
ステップＳ７３において、閾値算出部２３４は、図２の閾値算出部１２２と同様にして、注目ブロックが、境界上画素を含むかを判定する。
【０１９７】
ステップＳ７３において、注目ブロックに、境界上画素が含まれると判定された場合、処理は、ステップＳ７４に進み、閾値算出部２３４は、図２の閾値算出部１２２と同一の処理を行うことで、注目ブロックの画素から境界上画素を除外した画素を用いて閾値を算出し、クラス分類部２３７に供給して、処理は、ステップＳ７６に進む。
【０１９８】
一方、ステップＳ７３において、注目ブロックに、境界上画素が含まれないと判定された場合、処理は、ステップＳ７５に進み、閾値算出部２３４は、図２の閾値算出部１２２と同一の処理を行うことで、注目ブロックの画素すべてから閾値を算出し、クラス分類部２３７に供給して、処理は、ステップＳ７６に進む。
【０１９９】
ステップＳ７６において、予測タップ抽出部２３５は、注目ブロックに含まれる画素を、ラスタスキャン順に、順次、ノイズ付加部２３２から供給されてくる生徒画像データから抽出し、注目画素として、選択して、処理は、ステップＳ７６に進む。
【０２００】
ステップＳ７７において、予測タップ抽出部２３５は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、注目画素について、図２の予測タップ抽出部１２３が注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部２３８に供給する。
【０２０１】
その後、処理は、ステップＳ７７からステップＳ７８に進み、クラスタップ抽出部２３６は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、注目画素について、図２のクラスタップ抽出部１２４が注目画素について得るクラスタップと同一のタップ構造のクラスタップを得て、クラス分類部２３７に供給する。
【０２０２】
さらに、処理は、ステップＳ７８からステップＳ７９に進み、クラス分類部２３７は、閾値算出部２３４から供給された閾値と、クラスタップ抽出部２３６から供給されたクラスタップに基づき、図２のクラス分類部１２５と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部２３８に供給して、処理は、ステップＳ８０に進む。
【０２０３】
ステップＳ８０において、足し込み部２３８は、学習用画像記憶部２３１から、注目画素に対応する、教師画像データの画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードごとに行い、処理は、ステップＳ８１に進む。
【０２０４】
ステップＳ８１において、予測タップ抽出部２３５は、注目ブロックのすべての画素を、注目画素としたか否かを判定する。
【０２０５】
ステップＳ８１において、注目ブロックのすべての画素を、まだ注目画素としていないと判定された場合、処理は、ステップＳ７６に戻り、予測タップ抽出部２３５は、注目ブロックのうちの、まだ注目画素としていない画素を注目画素として、処理は、ステップＳ７７に進み、以下、同様の処理を繰り返す。
【０２０６】
一方、ステップＳ８１において、注目ブロックのすべての画素を、注目画素としたと判定された場合、ステップＳ８２に進み、制御部２４０は、ノイズ付加部２３２から供給された生徒画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
【０２０７】
ステップＳ８２において、ノイズ付加部２３２から供給された生徒画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ７２に戻り、以下、同様の処理を繰り返す。
【０２０８】
一方、ステップＳ８２において、ノイズ付加部２３２から供給された生徒画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、即ち、足し込み部２３８において、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式が得られた場合、足し込み部２３８は、その正規方程式を係数算出部２３９に供給し、処理は、ステップＳ８３に進む。係数算出部２３９は、足し込み部２３８から供給された各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０２０９】
その後、図９の学習処理は終了される。
【０２１０】
次に、図１０は、本発明を適用した画像変換部の他の一実施の形態の構成例を示すブロック図である。
【０２１１】
なお、図中、図２の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２１２】
即ち、図１０の画像変換部６１は、図２の、係数記憶部１２６、予測演算部１２７、または制御部１２８に代えて、それぞれ、係数記憶部２７６、予測演算部２７８、または制御部２７９が設けられており、さらに、画素位置モード判定部２７５および領域判定部２７７が新たに設けられているほかは、図２の場合と同様に構成されている。
【０２１３】
なお、図１０では、予測タップ抽出部１２３は、予測タップを予測演算部２７８に供給する他、いま注目画素となっている画素の位置情報（例えば、注目ブロックにおける注目画素の座標など）を、画素位置モード判定部２７５と、領域判定部２７７に供給するようになっている。
【０２１４】
画素位置モード判定部２７５は、予測タップ抽出部１２３から供給された注目画素の位置情報に基づいて、注目画素の画素位置モードを判定し、係数記憶部２７６に供給する。
【０２１５】
ここで、画素位置モードとは、処理ブロックにおける各画素の位置を表す情報であり、クラス分類部１２５からのクラスコードと同様、係数記憶部２７６が出力するタップ係数を決定するのに用いられる値である。なお、画素位置モードの詳細については、後述する。
【０２１６】
係数記憶部２７６は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類部１２５から供給されたクラスコードと、画素位置モード判定部２７５から供給された画素位置モードとに対応付けられたタップ係数を予測演算部２７８に供給する。
【０２１７】
領域判定部２７７は、予測タップ抽出部１２３から供給された位置情報に基づいて、注目画素の領域情報を判定し、予測演算部２７８に供給する。
【０２１８】
ここで、領域情報とは、処理ブロックを複数の領域に区分したときに、注目画素が、その複数の領域のうちの、いずれかの領域に位置するかを示す情報である。
【０２１９】
予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部２７６から供給されたタップ係数とを用いて、領域判定部２７７から供給された領域情報に対応した所定の予測演算を行うことにより、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求めて出力する。即ち、予測演算部２７８は、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。なお、領域情報に対応した所定の予測演算については、後述する。
【０２２０】
制御部２７９は、ブロック抽出部１２１、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、画素位置モード判定部２７５、係数記憶部２７６、領域判定部２７７、または予測演算部２７８を制御する。
【０２２１】
即ち、制御部２７９は、画像変換部６１における画像変換処理が、出力画像データの処理ブロックごとに行われるように、各ブロックを制御する。
【０２２２】
次に、図１１は、８×８画素のブロックを処理ブロックとして、画素位置モード、および領域情報に対応した所定の予測演算を説明する図である。
【０２２３】
図１１上側には、MPEG-2による符号化および復号で用いられる処理単位である８×８画素のブロックが、処理ブロックとして示されている。また、図１１上側には、処理単位である８×８画素のブロックの中心を通る形で、左右方向（水平方向）に伸びた太線で表される水平線と、上下方向（垂直方向）に伸びた太線で表される垂直線とが示されている。
【０２２４】
なお、図１１上側に示された８×８画素のブロックは、MPEG-2による符号化および復号の過程で、ＤＣＴ変換/逆ＤＣＴ変換の対象となるブロックである。
【０２２５】
図１１中央上側には、白丸で示す注目画素を中心として水平方向に並ぶ９画素であるタップ３１１が示されている。さらに、図１１中央下側には、タップ３１１の注目画素を起点（中心）として、左右反転したタップ３１２が示されている。
【０２２６】
図１１左下側には、白丸で示す注目画素を中心として垂直方向に並ぶ９画素であるタップ３１３が示されている。さらに、図１１右下側には、タップ３１３の注目画素を起点（中心）として、上下反転したタップ３１４が示されている。
【０２２７】
例えば、８×８画素のブロックを、垂直線と水平線とにより、４×４画素の左上のブロックである左上領域、４×４画素の右上のブロックである右上領域、４×４画素の左下のブロックである左下領域、および４×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至１５を割り当てる。
【０２２８】
そして、左上領域の各画素において、垂直線または水平線を基準として、線対称の位置関係にある画素、および８×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。
【０２２９】
画素位置モード判定部２７５は、予測タップ抽出部１２３から供給された注目画素の位置情報に基づいて、注目画素の画素位置モードを判定し、係数記憶部２７６に供給する。
【０２３０】
係数記憶部２７６は、画素位置モード判定部２７５から供給された画素位置モード、およびクラス分類部１２５から供給されたクラスコードに対応したタップ係数を、予測演算部２７８に出力する。
【０２３１】
領域判定部２７７は、予測タップ抽出部１２３から供給された注目画素の位置情報に基づいて、注目画素が、左上領域、右上領域、左下領域、および右下領域のうちの、いずれかの領域に位置するか示す領域情報を判定し、予測演算部２７８に供給する。
【０２３２】
予測演算部２７８は、領域判定部２７７からの領域情報に対応した所定の予測演算を行う。
【０２３３】
即ち、領域判定部２７７からの領域情報が、注目画素が左上領域に位置することを表す情報である場合、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップｘ1，ｘ2，・・・，ｘ9と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ9ｘ9を得て出力する。
【０２３４】
領域判定部２７７からの領域情報が、注目画素が右上領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップを、図１１中央に示されるように、注目画素を起点として左右反転する。そして、予測演算部２７８は、注目画素を起点として左右反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
【０２３５】
具体的には、予測タップ抽出部１２３から供給された予測タップが、タップ３１１であり、タップ３１１に付された番号に対応する画素の画素値がｘ1，ｘ2，・・・，ｘ9である場合、予測演算部２７８は、タップ３１１を、注目画素を起点として左右反転することでタップ３１２とし、タップ３１２に付された番号に対応する画素の画素値ｘ9，ｘ8，・・・，ｘ1と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ9＋ｗ2ｘ8＋・・・＋ｗ9ｘ1を得て出力する。
【０２３６】
また、領域判定部２７７からの領域情報が、注目画素が左下領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップを、図１１下側に示されるように、注目画素を起点として上下反転する。そして、予測演算部２７８は、注目画素を起点として上下反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
【０２３７】
具体的には、予測タップ抽出部１２３から供給された予測タップが、図１１左下側のタップ３１３であり、タップ３１３に付された番号に対応する画素の画素値がｘ1，ｘ2，・・・，ｘ9である場合、予測演算部２７８は、タップ３１３を、注目画素を起点として上下反転することでタップ３１４とし、タップ３１４に付された番号に対応する画素の画素値ｘ9，ｘ8，・・・，ｘ1と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ9＋ｗ2ｘ8＋・・・＋ｗ9ｘ1を得て出力する。
【０２３８】
次に、図１２は、１０×８画素の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。
【０２３９】
図１２には、１０×８画素（横×縦）の処理ブロックが示されている。
【０２４０】
また、図１２には、１０×８画素の処理ブロックの中心を通る形で、左右方向（水平方向）に伸びた太線で表される水平線と、上下方向（垂直方向）に伸びた太線で表される垂直線とが示されている。
【０２４１】
画素位置モードにおいては、１０×８画素のブロックを、垂直線と水平線とにより、５×４画素の左上のブロックである左上領域、５×４画素の右上のブロックである右上領域、５×４画素の左下のブロックである左下領域、および５×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至１９を割り当てる。
【０２４２】
そして、左上領域の各画素において、垂直線または水平線を基準として、線対称の位置関係にある画素、および１０×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。
【０２４３】
即ち、領域判定部２７７からの領域情報が、注目画素が左上領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップｘ1，ｘ2，・・・，ｘ9と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ9ｘ9を得て出力する。
【０２４４】
領域判定部２７７からの領域情報が、注目画素が右上領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として左右反転する。そして、予測演算部２７８は、注目画素を起点として左右反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
【０２４５】
また、領域判定部２７７からの領域情報が、注目画素が左下領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として上下反転する。そして、予測演算部２７８は、注目画素を起点として上下反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
【０２４６】
図１３は、１１×８画素（横×縦）の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。
【０２４７】
図１３には、１１×８画素の処理ブロックが示されており、図１３右側の太線の矩形で囲まれた部分は、境界上画素を示している。
【０２４８】
また、図１３には、１１×８画素の処理ブロックのうちの、境界上画素を除外した１０×８画素のブロックの中心を通る形で、左右方向（水平方向）に伸びた太線で表される水平線と、上下方向（垂直方向）に伸びた太線で表される垂直線とが示されている。
【０２４９】
例えば、１１×８画素の処理ブロックのうちの、境界上画素を除外した１０×８画素のブロックを、垂直線と水平線とにより、５×４画素の左上のブロックである左上領域、５×４画素の右上のブロックである右上領域、５×４画素の左下のブロックである左下領域、および５×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至１９を割り当てる。
【０２５０】
そして、左上領域の各画素において、垂直線または水平線を基準として、線対称の位置関係にある画素、および１０×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。
【０２５１】
なお、１１×８画素の処理ブロックのうちの、境界上画素である１×８画素のブロックには、１１×８画素の処理ブロックのうちの、境界上画素を除外した１０×８画素のブロックの各画素に割り当てた画素位置モードがとる値と異なる画素位置モードの値を割り当てる。
【０２５２】
ここで、領域判定部２７７からの領域情報が、注目画素が左上領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップｘ1，ｘ2，・・・，ｘ9と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ9ｘ9を得て出力する。を求めて出力する。
【０２５３】
領域判定部２７７からの領域情報が、注目画素が右上領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として左右反転する。そして、予測演算部２７８は、注目画素を起点として左右反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
【０２５４】
また、領域判定部２７７からの領域情報が、注目画素が左下領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として上下反転する。そして、予測演算部２７８は、注目画素を起点として上下反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
【０２５５】
なお、１１×８画素の処理ブロックとしては、図１３に示される、境界上画素が右側に存在する処理ブロックのほかに、境界上画素が左側に存在する処理ブロックもあるが、この場合も同様に、画素位置モードを割り当てることができる。
【０２５６】
また、図１２および図１３においては、垂直線に隣接する画素の画素位置モードの値を４としているが、例えば、いま、画素位置モードが４の画素の画素位置モードを、画素位置モードが４の画素に隣接する画素の画素位置モードと同一の３にするようにしてもよい。この場合、画素位置モードのモード数を１個節約することができるため、係数記憶部２７６に記憶させるタップ係数を、値４が割り当てられた画素位置モードに対応するタップ係数分減らすことができ、係数記憶部２７６のメモリ容量を節約することができる。
【０２５７】
次に、図１４のフローチャートを参照して、図１０の画像変換部６１における画像変換処理を説明する。
【０２５８】
この画像変換処理は、例えば、図１のデコーダ３２により、１９２０×１０８０画素の出力画像データが、画像変換部６１に供給されたときに開始される。このとき、ブロック抽出部１２１、予測タップ抽出部１２３、およびクラスタップ抽出部１２４それぞれに、出力画像データが供給される。
【０２５９】
ステップＳ１３１において、制御部２７９は、画像変換部６１における画像変換処理が、出力画像データの処理ブロックごとに行われるように、各ブロックの制御を開始する。
【０２６０】
具体的には、制御部２７９は、ブロック抽出部１２１を制御し、図１のデコーダ３２から出力される出力画像データから、６４×１６画素の抽出対象ブロック（図４）を、図３に示されるように順次抽出させ、抽出した抽出対象ブロックを、図４に示されるように、処理対象ブロック１３１、１３２、または１３３に区分させる。
【０２６１】
また、制御部２７９は、ブロック抽出部１２１を制御し、区分された処理対象ブロックを、適宜、閾値算出部１２２に供給させる。さらに、制御部２７９は、閾値算出部１２２を制御し、処理対象ブロックを、１１×８画素または１０×８画素の処理ブロックに区分させる。制御部２７９は、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、画素位置モード判定部２７５、係数記憶部２７６、領域判定部２７７、または予測演算部２７８を制御することで、出力画像データの処理ブロックごとに画像変換処理を行わせる。
【０２６２】
閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、画素位置モード判定部２７５、係数記憶部２７６、領域判定部２７７または予測演算部２７８は、制御部２７９の制御に従い、出力画像データの処理ブロックごとに画像変換処理を行う。
【０２６３】
即ち、ステップＳ１３１の処理後、処理は、ステップＳ１３２に進み、ステップＳ１３２乃至ステップＳ１３９それぞれにおいて、図７のステップＳ３２乃至ステップＳ３９それぞれと同様の処理を行い、処理は、ステップＳ１４０に進む。
【０２６４】
ステップＳ１４０において、画素位置モード判定部２７５は、予測タップ抽出部１２３から供給された位置情報に基づいて、注目画素の画素位置モードを判定し、係数記憶部２７６に供給して、ステップＳ１４１に進む。なお、ステップＳ１３７において、予測タップ抽出部１２３は、予測タップを抽出するとともに、いま注目画素となっている画素の位置情報（例えば、注目ブロックにおける注目画素の座標など）を、画素位置モード判定部２７５に供給するようになっている。
【０２６５】
ステップＳ１４１において、係数記憶部２７６は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類部１２５から供給されたクラスコードと、画素位置モード判定部２７５から供給された画素位置モードとに対応付けられたタップ係数を予測演算部２７８に供給する。なお、ステップＳ１３９において、クラス分類部１２５は、クラス分類により得られるクラスに対応するクラスコードを係数記憶部２７６に、供給するようになっている。
【０２６６】
ステップＳ１４１の処理後、処理は、ステップＳ１４２に進み、領域判定部２７７は、予測タップ抽出部１２３から供給された位置情報に基づいて、注目画素の領域情報を判定し、予測演算部２７８に供給して、処理は、ステップＳ１４３に進む。なお、ステップＳ１３７において、予測タップ抽出部１２３は、予測タップを抽出するとともに、いま注目画素となっている画素の位置情報を、領域判定部２７７に供給するようになっている。
【０２６７】
ステップＳ１４３において、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部２７６から供給されたタップ係数とを用いて、領域判定部２７７から供給された領域情報に対応した所定の予測演算を行うことにより、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求めて出力し、処理は、ステップＳ１４４に進み、図７のステップＳ４２と同様の処理を行う。
【０２６８】
その後、処理は、ステップＳ１４５に進み、制御部２７９は、出力画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
【０２６９】
ステップＳ１４４において、出力画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ１３２に戻り、以下、同様の処理を繰り返す。
【０２７０】
一方、ステップＳ１４５において、出力画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、図１４の画像変換処理は終了される。
【０２７１】
以上のような図１４の画像変換処理では、注目画素がクラス分類され、さらに、注目画素の画素位置モードが判定されることにより、注目画素のクラスと画素位置モードとに基づいて、タップ係数が選択されるため、注目画素のクラスに基づいてタップ係数が選択される場合と比較して、より適切なタップ係数が選択され、そのため、誤差の少ない高画質画像データの画素値を求めることができる。即ち、出力画像データに付加されたモスキートノイズやブロック歪を、より効果的に除去することができる。
【０２７２】
図１５は、式（８）の正規方程式をクラスと画素位置モード（とのセット）ごとにたてて解くことによりタップ係数ｗnを求める学習処理を行う学習装置２０１の構成例を示している。
【０２７３】
なお、図中、図８の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２７４】
即ち、図１５の学習装置２０１は、図８の、足し込み部２３８、係数算出部２３９、または制御部２４０に代えて、足し込み部３４０、係数算出部３４１、または制御部３４２がそれぞれ設けられており、さらに画素位置モード判定部３３９が新たに設けられているほかは、図８の場合と同様に構成される。
【０２７５】
なお、予測タップ抽出部２３５は、いま注目画素となっている画素の位置情報（例えば、注目ブロックにおける注目画素の座標など）を、画素位置モード判定部３３９に供給するようになっている。
【０２７６】
画素位置モード判定部３３９は、予測タップ抽出部２３５から供給された位置情報に基づいて、図１０の画素位置モード判定部２７５と同一の判定を行うことで、注目画素の画素位置モードを判定し、足し込み部３４０に供給する。
【０２７７】
足し込み部３４０は、学習用画像記憶部２３１から、注目画素に対応する、教師画像データ（学習用画像データ）の画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードと、画素位置モード判定部３３９から供給された画素位置モードごとに行う。
【０２７８】
即ち、足し込み部３４０には、学習用画像記憶部２３１に記憶された教師画像データ（の画素のうちの、注目画素に対応する画素の画素値）ｙk、予測タップ抽出部２３５が出力する予測タップ（を構成する生徒画像データの画素の画素値）ｘn,k、クラス分類部２３７が出力する、注目画素のクラスを表すクラスコード、および画素位置モード判定部３３９が出力する、注目画素の画素位置モードが供給される。
【０２７９】
そして、足し込み部３４０は、クラス分類部２３７から供給されたクラスコードに対応するクラスと、画素位置モード判定部３３９から供給された画素位置モードごとに、予測タップ（生徒画像データ）ｘn,kを用い、式（８）の左辺の行列における生徒画像データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２８０】
さらに、足し込み部３４０は、やはり、クラス分類部２３７から供給されたクラスコードに対応するクラスと、画素位置モード判定部３３９から供給された画素位置モードごとに、予測タップ（生徒画像データ）ｘn,kと教師画像データｙkを用い、式（８）の右辺のベクトルにおける生徒画像データｘn,kおよび教師画像データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２８１】
即ち、足し込み部３４０は、前回、注目画素とされた生徒画像データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像データについて、その生徒画像データｘn,k+1および教師画像データｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２８２】
そして、足し込み部３４０は、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、それぞれの、クラスと画素位置モードについて、式（８）に示した正規方程式をたてると、その正規方程式を、係数算出部３４１に供給する。
【０２８３】
係数算出部３４１は、足し込み部３４０から供給されたそれぞれの、クラスと画素位置モードについての正規方程式を解くことにより、それぞれの、クラスと画素位置モードについて、最適なタップ係数ｗnを求めて出力する。
【０２８４】
制御部３４２は、学習用画像記憶部２３１、ノイズ付加部２３２、ブロック抽出部２３３、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、画素位置モード判定部３３９、足し込み部３４０、または係数算出部３４１を制御する。
【０２８５】
即ち、制御部３４２は、学習装置２０１における学習処理が、生徒画像データの処理ブロックごとに行われるように、各ブロックを制御する。
【０２８６】
次に、図１６のフローチャートを参照して、図１５の学習装置２０１における学習処理を説明する。
【０２８７】
この学習処理は、例えば、ユーザにより、放送局３１で得られる原画像（図１）に相当する画像データが、タップ係数ｗnの学習に用いられる学習用画像データとして、学習装置２０１に供給されたときに開始される。このとき、学習装置２０１において、学習用画像データは、学習用画像記憶部２３１に供給され、記憶される。
【０２８８】
ステップＳ１７１において、制御部３４２は、学習装置２０１における学習処理が、生徒画像データの処理ブロックごとに行われるように、各ブロックを制御する。
【０２８９】
具体的には、制御部３４２は、ノイズ付加部２３２を制御し、学習用画像記憶部２３１から、学習用画像データを読み出させ、学習用画像データに、図１で行われる処理と同様の処理を行わせることで、出力画像データに相当する画像である生徒画像データを生成させる。
【０２９０】
即ち、ノイズ付加部２３２は、図１で示される放送局３１で得られる原画像に相当する画像データである学習用画像データを、図１における原画像を、拡大MPEG復号画像に変換する処理と同様の処理を行うことで、出力画像データに相当する画像である生徒画像データを生成する。
【０２９１】
また、制御部３４２は、ブロック抽出部２３３を制御し、処理対象ブロックを、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給させる。即ち、ブロック抽出部２３３は、制御部３４２の制御に従い、ノイズ付加部２３２から供給されてくる生徒画像データから、所定のブロックを、例えば、ラスタスキャン順に、順次抽出することにより、図１０のブロック抽出部１２１が抽出する抽出対象ブロックと同一の抽出対象ブロックを得る。また、ブロック抽出部２３３は、制御部３４２の制御に従い、抽出した抽出対象ブロックを複数のブロックに区分することにより、図１０のブロック抽出部１２１により区分される複数の処理対象ブロックと同一の複数の処理対象ブロックを得て、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給する。
【０２９２】
その後、制御部３４２は、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、画素位置モード判定部３３９、足し込み部３４０、または係数算出部３４１を制御することで、ノイズ付加部２３２により生成される生徒画像データの処理ブロックごとに学習処理を行わせる。
【０２９３】
このとき、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、画素位置モード判定部３３９、足し込み部３４０、または係数算出部３４１は、制御部３４２の制御に従い、ノイズ付加部２３２により生成される生徒画像データの処理ブロックごとに学習処理を行う。
【０２９４】
即ち、処理は、ステップＳ１７１からステップＳ１７２に進み、ステップＳ１７２乃至ステップＳ１７９それぞれにおいて、図９のステップＳ７２乃至ステップＳ７９と同様の処理を行い、ステップＳ１８０に進み、画素位置モード判定部３３９は、予測タップ抽出部２３５から供給された位置情報に基づいて、図１０の画素位置モード判定部２７５と同一の判定を行うことで、注目画素の画素位置モードを判定し、足し込み部３４０に供給する。なお、ステップＳ１７７において、予測タップ抽出部２３５は、予測タップを抽出するとともに、いま注目画素となっている画素の位置情報を、画素位置モード判定部３３９に供給するようになっている。
【０２９５】
処理は、ステップＳ１８０からステップＳ１８１に進み、足し込み部３４０は、学習用画像記憶部２３１から、注目画素に対応する、学習用画像である教師画像データの画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードと、画素位置モード判定部３３９から供給された画素位置モードごとに行い、処理は、ステップＳ１８２に進む。
【０２９６】
ステップＳ１８２において、予測タップ抽出部２３５は、注目ブロックのすべての画素を、注目画素としたかを判定する。
【０２９７】
ステップＳ１８２において、注目ブロックのすべての画素を、まだ注目画素としていないと判定された場合、処理は、ステップＳ１７６に戻り、予測タップ抽出部２３５は、注目ブロックのうちの、まだ注目画素としていない画素を注目画素として、処理は、ステップＳ１７７に進み、以下、同様の処理を繰り返す。
【０２９８】
一方、ステップＳ１８２において、注目ブロックのすべての画素を、注目画素としたと判定された場合、処理は、ステップＳ１８３に進み、制御部３４２は、ノイズ付加部２３２により生成される生徒画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
【０２９９】
ステップＳ１８３において、ノイズ付加部２３２により生成される生徒画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ１７２に戻り、以下、同様の処理を繰り返す。
【０３００】
一方、ステップＳ１８３において、ノイズ付加部２３２により生成される生徒画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、即ち、足し込み部３４０においては、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、それぞれの、クラスと画素位置モードについて、式（８）に示した正規方程式をたてて、その正規方程式を、係数算出部３４１に供給する場合、処理は、ステップＳ１８４に進み、係数算出部３４１は、足し込み部３４０から供給された、それぞれの、クラスと画素位置モードについての正規方程式を解くことにより、それぞれの、クラスと画素位置モードについて、最適なタップ係数ｗnを求めて出力する。
【０３０１】
その後、図１６の学習処理は終了される。
【０３０２】
以上のような図１６の学習処理では、生徒画像データの注目画素がクラス分類され、生徒画像データの注目画素の画素位置モードが判定されるとともに、注目画素のクラスと画素位置モードと（のセット）に対応付けられたタップ係数が学習されるため、注目画素の画素位置モードが判定されずにタップ係数が学習される場合と比較して、より多くのバリエーションのタップ係数を学習することができる。
【０３０３】
図１７は、図２の画像変換部６１における画像変換処理と、上述した特許文献１や２などにおける画像変換処理とを選択的に用いることができる画像処理装置３７１を示すブロック図である。
【０３０４】
画像処理装置３７１は、ブロックサイズ検出部４０１、ブロックサイズ判定部４０２、図２の画像変換部６１、および画像変換部４０３により構成される。
【０３０５】
なお、画像処理装置３７１には、例えば、図１のデコーダ３２から出力される拡大MPEG復号画像などの出力画像データや、他のデコーダなどから出力される、例えば、８×８画素のブロックごとにMPEG-2などで符号化され、復号されることで得られた画像データが、入力画像データとして供給されるようになっている。このとき、画像処理装置３７１のブロックサイズ検出部４０１には、入力画像データが供給される。
【０３０６】
ブロックサイズ検出部４０１は、そこに供給された入力画像データのブロックサイズを検出し、入力画像データとともに、ブロックサイズ判定部４０２に供給する。
【０３０７】
ここで、入力画像データのブロックサイズとは、例えば、入力画像データが出力画像データである場合、１０．６６６×８画素のブロックのサイズをいい、入力画像データが画像データである場合、８×８画素のブロックのサイズをいう。
【０３０８】
ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給されたブロックサイズが、例えば、８×８画素などの所定のブロックサイズであるか否かを判定する。即ち、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であるか否かを判定する。
【０３０９】
ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズであると判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像ではないと判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部４０３に供給する。
【０３１０】
一方、ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズでない（１０．６６６×８画素などのブロックサイズである）と判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であると判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部６１に供給する。
【０３１１】
画像変換部４０３は、ブロックサイズ判定部４０２からの入力画像データに対して、特許文献１や２に開示された技術を用いた画像変換処理を行う。
【０３１２】
画像変換部６１は、ブロックサイズ判定部４０２からの入力画像データに対して、図２で説明した画像変換処理を行う。
【０３１３】
次に、図１８のフローチャートを参照して、図１８の画像処理装置３７１における画像変換処理を説明する。
【０３１４】
この画像変換処理は、例えば、図１のデコーダ３２から出力される拡大MPEG復号画像などの出力画像データや、他のデコーダなどから出力される、例えば、８×８画素のブロックごとにMPEG-2などで符号化され、復号されることで得られた画像データが、入力画像データとして、画像処理装置３７１に供給されたときに、開始される。このとき、画像処理装置３７１のブロックサイズ検出部４０１には、入力画像データが供給される。
【０３１５】
ステップＳ１９１において、ブロックサイズ検出部４０１は、そこに供給された入力画像データのブロックサイズを検出し、入力画像データとともに、ブロックサイズ判定部４０２に供給して、ステップＳ１９２に進み、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給されたブロックサイズが、例えば、８×８画素などの所定のブロックサイズであるか否かを判定する。即ち、ステップＳ１９２において、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であるか否かを判定する。
【０３１６】
ステップＳ１９２において、ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズであると判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像ではないと判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部４０３に供給して、ステップＳ１９３に進み、画像変換部４０３は、ブロックサイズ判定部４０２からの入力画像データに対して、特許文献１や２に開示された技術を用いた画像変換処理を行い、画像処理装置３７１における画像変換処理は終了される。
【０３１７】
一方、ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズでない（１０．６６６×８画素などのブロックサイズである）と判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であると判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部６１に供給して、ステップＳ１９４に進み、画像変換部６１は、ブロックサイズ判定部４０２からの入力画像データに対して、図２で説明した画像変換処理を行い、図１８の画像変換処理は終了される。
【０３１８】
以上のような図１８の画像変換処理では、入力画像データのブロックサイズが判定され、そのブロックサイズに応じて最適な画像変換処理が行われるため、異なるブロックサイズの入力画像データに対して、同一の画像変換処理が行われる場合と比較して、例えば、入力画像データに付加されたモスキートノイズやブロック歪などが効果的に除去される。
【０３１９】
次に、図１９乃至図２５を参照して、ブロックサイズが１０．６６６×８画素の出力画像データに対して、特許文献１のノイズ除去処理を行った場合の処理結果と、本発明を適用した特許文献１のノイズ除去処理を行った場合の処理結果とを示すことにより、本発明によるノイズ除去効果を説明する。
【０３２０】
図１９は、ブロックサイズが１０．６６６×８画素の出力画像データに対して、特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。
【０３２１】
図２０は、特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。
【０３２２】
即ち、図２０上側には、特許文献１のノイズ除去処理を行った場合に得られた画像が示されており、その画像には、１０．６６６×８画素のブロックの境界と直交する左右方向に伸びた矢印が示されている。
【０３２３】
また、図２０下側には、図２０上側に示された矢印の位置を示す横軸と、その矢印の位置に対応する画素の画素値を示す縦軸とで表されたグラフが示されている。
さらに、図２０下側に示されたグラフに示される記号Ｙの近傍は、１０．６６６×８画素のブロックの境界の近傍を示している。
【０３２４】
図２１は、ブロックサイズが１０．６６６×８画素の出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。
【０３２５】
図２２は、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。
【０３２６】
即ち、図２２上側には、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像が示されており、その画像には、１０．６６６×８画素のブロックの境界と直交する左右方向に伸びた矢印が示されている。
【０３２７】
また、図２２下側には、図２２上側に示された矢印の位置を示す横軸と、その矢印の位置に対応する画素の画素値を示す縦軸とで表されたグラフが示されている。
さらに、図２２下側に示されたグラフに示される記号Ｙの近傍は、１０．６６６×８画素のブロックの境界の近傍を示している。
【０３２８】
図２３は、図２０下側に示されたグラフと、図２２下側に示されたグラフとを重ね合わせた図である。
【０３２９】
図２３には、グラフoldとして、図２０下側に示されたグラフ（特許文献１のノイズ除去処理を行った場合に得られる画像から得られたグラフ）が、グラフnewとして、図２２下側に示されたグラフ（本発明を適用した特許文献１のノイズ除去処理を行った場合に得られる画像から得られたグラフ）が示されている。
【０３３０】
図２３に示される記号Ｙの近傍では、グラフoldが上下に振れた曲線を描いているのに対して、グラフnewは滑らかな曲線を描いている。このことから、本発明を適用した特許文献１のノイズ除去を行った場合のほうが、１０．６６６×８画素のブロックによるブロック歪を低減することができることがわかる。
【０３３１】
図２４は、出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲ（signal to noise ratio）と、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した図である。
【０３３２】
図２４に示される表の左側から１番目の欄（列）は、ノイズ除去処理の対象である、ビットレートが１２Mbps(megabit per second)の出力画像データが示された欄である。
【０３３３】
また、図２４に示される表の左側から２番目の欄は、１番目の欄に示された出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。さらに、図２４に示される表の左側から３番目の欄は、１番目の欄に示された出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。
【０３３４】
図２４に示される表を参照すると、いずれの場合も、本発明を適用した特許文献１のノイズ除去処理のＳＮＲが良いことがわかる。
【０３３５】
図２５は、出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲと、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した他の図である。
【０３３６】
図２５に示される表の左側から１番目の欄（列）は、ノイズ除去処理の対象である、ビットレートが１５Mbpsの出力画像データが示された欄である。
【０３３７】
また、図２５に示される表の左側から２番目の欄は、１番目の欄に示された出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。さらに、図２５に示される表の左側から３番目の欄は、１番目の欄に示された出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。
【０３３８】
図２５に示される表を参照すると、図２４の場合と同様に、いずれの場合も、本発明を適用した特許文献１のノイズ除去処理のＳＮＲが良いことがわかる。
【０３３９】
次に、上述した図２および図１０の画像変換部６１、図８および図１５の学習装置２０１、および図１７の画像処理装置３７１が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム格納媒体からインストールされる。
【０３４０】
図２６は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０３４１】
CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７０３には、CPU７０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７０１、ROM７０２、およびRAM７０３は、バス７０４により相互に接続されている。
【０３４２】
CPU７０１にはまた、バス７０４を介して入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。CPU７０１は、入力部７０６から入力される指令に対応して各種の処理を実行する。そして、CPU７０１は、処理の結果を出力部７０７に出力する。
【０３４３】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、CPU７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３４４】
また、通信部７０９を介してプログラムを取得し、記憶部７０８に記憶してもよい。
【０３４５】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され、記憶される。
【０３４６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７１１、または、プログラムが一時的もしくは永続的に格納されるROM７０２や、記憶部７０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部７０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３４７】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３４８】
また、本実施の形態において、画像変換処理を行うものとして、図２の画像変換部６１や、図１０の画像変換部６１、図１７の画像処理装置３７１を説明したが、かかる画像変換処理を行う装置の具体例として、例えば、テレビジョン受像機や、ハードディスクレコーダ、DVDレコーダなどを採用することができる。
【０３４９】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３５０】
【図１】地上デジタル放送において行われる処理を説明するブロック図である。
【図２】本発明を適用した画像変換部の一実施の形態の構成例を示すブロック図である。
【図３】図２のブロック抽出部１２１が、抽出対象ブロックを抽出する順番を示す図である。
【図４】図２のブロック抽出部１２１が、図３に示される抽出対象ブロックを、処理対象ブロックに区分する方法を示す図である。
【図５】図２の閾値算出部１２２が、処理ブロックから閾値を算出する処理を説明する図である
【図６】図２のクラス分類部１２５により行われるクラス分類を説明する図である。
【図７】図２の画像変換部６１における画像変換処理を説明するフローチャートである。
【図８】図２の画像変換部６１で用いられるタップ係数を求める学習処理を行う学習装置２０１の構成例を示すブロック図である。
【図９】図８の学習装置２０１における学習処理を説明するフローチャートである。
【図１０】本発明を適用した画像変換部の一実施の形態の他の構成例を示すブロック図である。
【図１１】８×８画素のブロックを処理ブロックとして、画素位置モード、および領域情報に対応した所定の予測演算を説明する図である
【図１２】１０×８画素の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。
【図１３】１１×８画素の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。
【図１４】図１０の画像変換部６１における画像変換処理を説明するフローチャートである。
【図１５】図１０の画像変換部６１で用いられるタップ係数を求める学習処理を行う学習装置２０１の構成例を示すブロック図である。
【図１６】図１５の学習装置２０１における学習処理を説明するフローチャートである。
【図１７】図２の画像変換部６１における画像変換処理と、上述した特許文献１や２などにおける画像変換処理とを選択的に用いることができる画像処理装置３７１を示すブロック図である。
【図１８】図１８の画像処理装置３７１における画像変換処理を説明するフローチャートである。
【図１９】ブロックサイズが１０．６６６×８画素の出力画像データに対して、特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。
【図２０】特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。
【図２１】ブロックサイズが１０．６６６×８画素の出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。
【図２２】本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。
【図２３】図２３は、図２０下側に示されたグラフと、図２２下側に示されたグラフとを重ね合わせた図である。
【図２４】出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲと、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した図である。
【図２５】図２５は、出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲと、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した他の図である。
【図２６】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０３５１】
６１  画像変換部，  １２１  ブロック抽出部，  １２２  閾値算出部，  １２３  予測タップ抽出部，  １２４  クラスタップ抽出部，  １２５  クラス分類部，  １２６  係数記憶部，  １２７  予測演算部，  ２０１  学習装置，  ２３１  学習用画像記憶部，  ２３２  ノイズ付加部，  ２３３  ブロック抽出部，  ２３４  閾値算出部，  ２３５  予測タップ抽出部，  ２３６  クラスタップ抽出部，  ２３７  クラス分類部，  ２３８  足し込み部，  ２３９  係数算出部，  ２４０  制御部，  ２７５  画素位置モード判定部，  ２７６  係数記憶部，  ２７７  領域判定部，  ２７８  予測演算部，  ２７９  制御部，  ３３９  画素位置モード判定部，  ３４０  足し込み部，  ３４１  係数算出部，  ３４２  制御部，  ３７１  画像処理装置，  ４０１  ブロックサイズ検出部，  ４０２  ブロックサイズ判定部，  ４０３  画像変換部
【図１】
2008124955.tif 000011
【図２】
2008124955.tif 000012
【図３】
2008124955.tif 000013
【図４】
2008124955.tif 000014
【図５】
2008124955.tif 000015
【図６】
2008124955.tif 000016
【図７】
2008124955.tif 000017
【図８】
2008124955.tif 000018
【図９】
2008124955.tif 000019
【図１０】
2008124955.tif 000020
【図１１】
2008124955.tif 000021
【図１２】
2008124955.tif 000022
【図１３】
2008124955.tif 000023
【図１４】
2008124955.tif 000024
【図１５】
2008124955.tif 000025
【図１６】
2008124955.tif 000026
【図１７】
2008124955.tif 000027
【図１８】
2008124955.tif 000028
【図１９】
2008124955.tif 000029
【図２０】
2008124955.tif 000030
【図２１】
2008124955.tif 000031
【図２２】
2008124955.tif 000032
【図２３】
2008124955.tif 000033
【図２４】
2008124955.tif 000034
【図２５】
2008124955.tif 000035
【図２６】
2008124955.tif 000036