(57)【要約】【課題】より高画質の画像を予測する。【解決手段】予測タップ抽出部３１は、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップを抽出し、近傍波形クラス分類部３３は、近傍タップ抽出部３２により抽出された近傍波形クラスタップを構成する複数の画素に基づいて、注目画素を第１のクラスに分類し、広域波形クラス分類部３５は、広域タップ抽出部３４により抽出された広域波形クラスタップを構成する複数の画素に基づいて、注目画素を第２のクラスに分類し、係数ROM３６は、第１のクラスと第２のクラスとの組合せに対応する予測係数を出力し、予測演算部３７は、出力された予測係数と、予測タップを構成する複数の画素とを用いた予測演算により、第２の画像データの注目画素を求める。本発明は、例えばテレビジョン受像機に適用できる。【選択図】図３
2009182936.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データを、より高画質の第２の画像データに変換する画像処理装置において、
前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する近傍波形クラスタップ抽出手段と、
前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する広域波形クラスタップ抽出手段と、
前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類手段と、
前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類手段と、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記近傍波形クラスと前記広域波形クラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記第１のクラスと前記第２のクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、
前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
を備える画像処理装置。
【請求項２】
前記広域波形クラス分類手段は、前記広域波形クラスタップを構成する複数の画素の変化を表す波形の偏りに基づいて、前記注目画素を前記第２のクラスにクラス分けする
請求項１に記載の画像処理装置。
【請求項３】
前記広域波形クラス分類手段は、前記広域波形クラスタップの波形のアクティビティの偏り、前記広域波形クラスタップの波形のレベル変化の偏り、又は前記広域波形クラスタップの波形のピークレベル方向の偏りのうちの、少なくとも１つに基づいて、前記注目画素を前記第２のクラスにクラス分けする
請求項２に記載の画像処理装置。
【請求項４】
第１の画像データを、より高画質の第２の画像データに変換する画像処理方法において、
前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出ステップと、
前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する近傍波形クラスタップ抽出ステップと、
前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する広域波形クラスタップ抽出ステップと、
前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類ステップと、
前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類ステップと、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記近傍波形クラスと前記広域波形クラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記第１のクラスと前記第２のクラスとの組合せに対応する予測係数を出力する予測係数出力ステップと、
前記予測係数出力ステップで出力された前記予測係数と、前記予測タップ抽出ステップで抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算ステップと
を含む画像処理方法。
【請求項５】
第１の画像データを、より高画質の第２の画像データに変換する画像処理装置として、コンピュータを機能させるプログラムにおいて、
前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する近傍波形クラスタップ抽出手段と、
前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する広域波形クラスタップ抽出手段と、
前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類手段と、
前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類手段と、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記近傍波形クラスと前記広域波形クラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記第１のクラスと前記第２のクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、
前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
して、コンピュータを機能させるプログラム。
【請求項６】
第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置において、
学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に位置する複数の画素を、学習用の前記第１の画像データから抽出する近傍波形クラスタップ抽出手段と、
前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する広域波形クラスタップ抽出手段と、
前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類手段と、
前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類手段と、
前記第１のクラス及び前記第２のクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
を備える学習装置。
【請求項７】
前記広域波形クラス分類手段は、前記広域波形クラスタップを構成する複数の画素の変化を表す波形の偏りに基づいて、前記注目画素を前記第２のクラスにクラス分けする
請求項６に記載の学習装置。
【請求項８】
前記広域波形クラス分類手段は、前記広域波形クラスタップの波形のアクティビティの偏り、前記広域波形クラスタップの波形のレベル変化の偏り、又は前記広域波形クラスタップの波形のピークレベル方向の偏りのうちの、少なくとも１つに基づいて、前記注目画素を前記第２のクラスにクラス分けする
請求項７に記載の学習装置。
【請求項９】
第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習方法において、
学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出ステップと、
前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に位置する複数の画素を、学習用の前記第１の画像データから抽出する近傍波形クラスタップ抽出ステップと、
前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する広域波形クラスタップ抽出ステップと、
前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類ステップと、
前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類ステップと、
前記第１のクラス及び前記第２のクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出ステップと
を含む学習方法。
【請求項１０】
第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置として、コンピュータを機能させるプログラムにおいて、
学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に位置する複数の画素を、学習用の前記第１の画像データから抽出する近傍波形クラスタップ抽出手段と、
前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する広域波形クラスタップ抽出手段と、
前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類手段と、
前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類手段と、
前記第１のクラス及び前記第２のクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関し、特に、例えば、より高画質の画像を生成することができるようにした画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関する。
【背景技術】
【０００２】
本出願人は、例えば、低解像度の画像データを、より解像度が高い高解像度の画像データに変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
【０００３】
クラス分類適応処理では、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）が決定され、注目画素の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周囲に存在する複数の画素がクラスタップとして抽出され、クラスタップを構成する複数の画素に基づいて、注目画素が複数のクラスのうちのいずれかのクラスに分類される。
【０００４】
また、クラス分類適応処理では、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素が予測タップとして抽出され、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素が予測（生成）される。
【０００５】
なお、予測係数は、学習用の教師画像データ及び生徒画像データを用いた学習により予め求められている。
【０００６】
ここで、注目画素を複数のクラスのうちのいずれかのクラスに分類するクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)(適応的ダイナミックレンジ符号化)等を採用することができる。
【０００７】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られたADRCコードにしたがって、注目画素が、複数のクラスのうちのいずれかのクラスに分類される。
【０００８】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。
【０００９】
そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００１０】
【特許文献１】特開平５−３２８１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
次に、図１を参照して、従来のクラス分類適応処理において、ADRCを用いてクラス分類を行ったときに取得されるクラスタップの波形パターンを説明する。
【００１２】
図１は、従来のクラス分類適応処理において、低解像度の画像データから抽出されるクラスタップを構成する複数の画素の変化を表す波形の一例を示す図である。
【００１３】
図１Ａには、高解像度の画像データの注目画素の位置に対応する、低解像度の画像データの対応画素（黒丸（●）で示される）を中心として水平方向に並ぶ５画素が、クラスタップとして抽出された例が示されている。
【００１４】
図１Ｂには、図１Ａと同じ低解像度の画像データから、黒丸で示す対応画素を中心として水平方向に並ぶ９画素が、クラスタップとして抽出された例が示されている。なお、図１Ａ及び図１Ｂにおいて、横軸は、画素の位置を示しており、縦軸は、画素の画素値を示している。また、図１Ａ及び図１Ｂに示す白丸（○）は、クラスタップを構成する、対応画素の近くの画素を示している。
【００１５】
例えば、従来のクラス分類適応処理によれば、図１Ａに示すように、対応画素を中心として水平方向に並ぶ５画素をクラスタップとして抽出した場合、そのクラスタップを構成する画素の画素値がADRC処理され、その結果得られたADRCコード「11011」が、対応画素を中心とする５画素の画素値の変化を表す波形パターンとして取得される。
【００１６】
しかしながら、この場合、対応画素を中心として水平方向に並ぶ９画素等の、より広範囲に存在する複数の画素の画素値の変化を表す波形パターンは取得することができなかった。
【００１７】
従って、この場合、対応画素を中心とする広範囲の波形パターンをクラス分類に反映させることができず、注目画素をクラス分類する精度が低下してしまうことがあった。
【００１８】
これに対して、図１Ｂに示すように、対応画素を中心として水平方向に並ぶ９画素をクラスタップとして抽出した場合、クラスタップの画素数が増加することから、注目画素をクラス分類する精度を向上させることが可能である。
【００１９】
しかしながら、クラス分類に用いるクラスタップの画素数を増加させた場合、図１Ｂに示すように、黒丸で示す対応画素の位置から遠くに存在する画素の値によって、ダイナミックレンジDRが大となるため、対応画素の近傍の微細な波形パターンを取得できないことがあった。
【００２０】
即ち、例えば、図１Ｂにおいて、１ビットADRC処理を用いてクラス分類を行った場合には、一番右側に位置する画素により、図１Ｂに示すクラスタップのダイナミックレンジDRが、図１Ａと比較して大きくなり、図１Ａに示す水平方向に並ぶ５画素の画素値のADRCコードが「00000」となってしまう。従って、この場合、図１Ａのように、図１Ａに示す水平方向に並ぶ５画素の微細な波形パターンを正確に取得することができない。
【００２１】
また、クラス分類に用いるクラスタップの画素数を増加させることにより、クラスの数が膨大になり、クラス分類適応処理のロバスト性が著しく低下してしまっていた。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、クラスタップ内の波形パターンを精度よく取得してより高画質の画像を予測するとともに、クラスの総数の著しい増加を抑えることができるようにするものである。
【課題を解決するための手段】
【００２３】
本発明の第１の側面の画像処理装置、又はプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理装置、又は第１の画像データを、より高画質の第２の画像データに変換する画像処理装置として、コンピュータを機能させるプログラムであって、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する近傍波形クラスタップ抽出手段と、前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する広域波形クラスタップ抽出手段と、前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類手段と、前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類手段と、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記近傍波形クラスと前記広域波形クラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記第１のクラスと前記第２のクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段とを備える画像処理装置、又は画像処理装置として、コンピュータを機能させるプログラムである。
【００２４】
本発明の第１の側面の画像処理装置においては、前記広域波形クラス分類手段では、前記広域波形クラスタップを構成する複数の画素の変化を表す波形の偏りに基づいて、前記注目画素を前記第２のクラスにクラス分けすることができる。
【００２５】
本発明の第１の側面の画像処理装置においては、前記広域波形クラス分類手段では、前記広域波形クラスタップの波形のアクティビティの偏り、前記広域波形クラスタップの波形のレベル変化の偏り、又は前記広域波形クラスタップの波形のピークレベル方向の偏りのうちの、少なくとも１つに基づいて、前記注目画素を前記第２のクラスにクラス分けすることができる。
【００２６】
本発明の第１の側面に画像処理方法は、第１の画像データを、より高画質の第２の画像データに変換する画像処理方法であって、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出ステップと、前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する近傍波形クラスタップ抽出ステップと、前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する広域波形クラスタップ抽出ステップと、前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類ステップと、前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類ステップと、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記近傍波形クラスと前記広域波形クラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記第１のクラスと前記第２のクラスとの組合せに対応する予測係数を出力する予測係数出力ステップと、前記予測係数出力ステップで出力された前記予測係数と、前記予測タップ抽出ステップで抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算ステップとを含む。
【００２７】
本発明の第１の側面においては、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出される。そして、前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素が第１のクラスにクラス分けされ、前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素が第２のクラスにクラス分けされて、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記近傍波形クラスと前記広域波形クラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記第１のクラスと前記第２のクラスとの組合せに対応する予測係数が出力され、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素が予測される。
【００２８】
本発明の第２の側面の学習装置、又はプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置、又は、第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置として、コンピュータを機能させるプログラムであって、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に位置する複数の画素を、学習用の前記第１の画像データから抽出する近傍波形クラスタップ抽出手段と、前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する広域波形クラスタップ抽出手段と、前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類手段と、前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類手段と、前記第１のクラス及び前記第２のクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段とを備える学習装置、又は学習装置として、コンピュータを機能させるプログラムである。
【００２９】
本発明の第２の側面の学習装置においては、前記広域波形クラス分類手段では、前記広域波形クラスタップを構成する複数の画素の変化を表す波形の偏りに基づいて、前記注目画素を前記第２のクラスにクラス分けすることができる。
【００３０】
本発明の第２の側面の学習装置においては、前記広域波形クラス分類手段では、前記広域波形クラスタップの波形のアクティビティの偏り、前記広域波形クラスタップの波形のレベル変化の偏り、又は前記広域波形クラスタップの波形のピークレベル方向の偏りのうちの、少なくとも１つに基づいて、前記注目画素を前記第２のクラスにクラス分けすることができる。
【００３１】
本発明の第２の側面の学習方法は、第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習方法であって、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出ステップと、前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に位置する複数の画素を、学習用の前記第１の画像データから抽出する近傍波形クラスタップ抽出ステップと、前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する広域波形クラスタップ抽出ステップと、前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第１のクラスにクラス分けする近傍波形クラス分類ステップと、前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素を第２のクラスにクラス分けする広域波形クラス分類ステップと、前記第１のクラス及び前記第２のクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出ステップとを含む。
【００３２】
本発明の第２の側面においては、学習用の第２の画像データの注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出され、前記注目画素を複数の近傍波形クラスのうちのいずれかのクラスにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に位置する複数の画素が、学習用の前記第１の画像データから抽出され、前記注目画素を複数の広域波形クラスのうちのいずれかのクラスにクラス分けする広域波形クラス分類処理に用いるための、前記近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出される。そして、前記近傍波形クラスタップを構成する複数の画素に基づいて、前記注目画素が第１のクラスにクラス分けされ、前記広域波形クラスタップを構成する複数の画素に基づいて、前記注目画素が第２のクラスにクラス分けされて、前記第１のクラス及び前記第２のクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数が求められる。
【発明の効果】
【００３３】
本発明の第１の側面によれば、クラスタップ内の波形パターンを精度よく取得してより高画質の画像を予測するとともに、クラスの総数の著しい増加を抑えることができる。
【００３４】
また、本発明の第２の側面によれば、クラスタップ内の波形パターンを精度よく取得してより高画質の画像を予測するための予測係数を学習することができる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照して本発明の実施の形態について説明する。
【００３６】
図２は、本発明の一実施の形態である画像処理装置の構成例を示している。
【００３７】
この画像処理装置１は、第１の画像データを、より高画質の第２の画像データに変換する画像変換処理を行う。
【００３８】
ここで、第１及び第２の画像データをどのように定義するかによって、画像処理装置１は様々な画像変換処理を実現することができる。
【００３９】
即ち、例えば、第１の画像データを低解像度の画像データとするとともに、第２の画像データを、第１の画像データよりも解像度が高い高解像度の画像データとすれば、画像変換処理は、解像度を向上させて高画質化させる解像度向上処理ということができる。
【００４０】
また、例えば、第１の画像データを低SNR(Signal to Noise Ratio)の画像データとするとともに、第２の画像データを、第１の画像データよりもSNRが高い高SNRの画像データとすれば、画像変換処理は、ノイズを除去して高画質化させるノイズ除去処理ということができる。
【００４１】
さらに、例えば、第１の画像データをSD（Standard Definition）画像データとするとともに、第２の画像データを、第１の画像データの画素数と解像度を大きくしたHD（High Definition）画像データとすれば、画像変換処理は、SD画像データをHD画像データに高画質化する変換処理ということができる。
【００４２】
以下、第１の画像データを低解像度の画像データとし、第２の画像データを、第１の画像データよりも解像度が高い高解像度の画像データとして、画像処理装置１における画像変換処理を説明する。
【００４３】
図３は、画像処理装置１の詳細な構成例を示すブロック図である。
【００４４】
画像処理装置１は、予測タップ抽出部３１、近傍タップ抽出部３２、近傍波形クラス分類部３３、広域タップ抽出部３４、広域波形クラス分類部３５、係数ROM(Read Only Memory)３６、及び予測演算部３７により構成される。画像処理装置１において、外部から入力される第１の画像データは、予測タップ抽出部３１、近傍タップ抽出部３２、及び広域タップ抽出部３４に供給される。
【００４５】
予測タップ抽出部３１は、第１の画像データの変換結果となる第２の画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
【００４６】
また、予測タップ抽出部３１は、注目画素（の画素値）を予測する予測演算に用いるための予測タップとして、注目画素に対応する、第１の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素（の画素値）、即ち、注目画素の位置に相当する、第１の画像データの位置に対して、空間的又は時間的に近い位置にある複数の画素を、予測タップ抽出部３１に供給された第１の画像データから抽出し、予測演算部３７に供給する。
【００４７】
なお、対応画素とは、注目画素の位置に相当する、第１の画像データの位置から最も近くに存在する第１の画像データの画素をいう。
【００４８】
近傍タップ抽出部３２は、注目画素を、複数の近傍波形クラスのうちのいずれかにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、近傍タップ抽出部３２に供給された第１の画像データから抽出し、近傍波形クラス分類部３３に供給する。
【００４９】
近傍波形クラス分類部３３は、近傍タップ抽出部３２からの近傍波形クラスタップを構成する複数の画素に基づいて、注目画素を、複数の近傍波形クラスのうちのいずれかにクラス分けする近傍波形クラス分類処理を行い、その結果得られる注目画素の近傍波形クラスに対応する近傍波形クラスコードを、係数ROM３６に供給する。なお、近傍波形クラス分類処理を行う方法としては、例えば、上述したADRC等を採用することができる。
【００５０】
広域タップ抽出部３４は、注目画素を、複数の広域波形クラスのうちのいずれかにクラス分けする広域波形クラス分類処理に用いるための広域波形クラスタップであって、近傍波形クラスタップを含み、かつ、その近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、広域タップ抽出部３４に供給された第１の画像データから抽出し、広域波形クラス分類部３５に供給する。
【００５１】
広域波形クラス分類部３５は、広域タップ抽出部３４からの広域波形クラスタップを構成する複数の画素に基づいて、注目画素を、複数の広域波形クラスのうちのいずれかにクラス分けする広域波形クラス分類処理を行い、その結果得られる注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給する。
【００５２】
係数ROM３６は、後述する学習によって予め求められた、近傍波形クラスと広域波形クラスとの複数の組合せにそれぞれ対応する予測係数のセットを記憶（保持）している。また、係数ROM３６は、記憶している予測係数のセットのうちの、近傍波形クラス分類部３３からの近傍波形クラスコードと広域波形クラス分類部３５からの広域波形クラスコードとの組合せに対応するアドレスに記憶されている予測係数（近傍波形クラス分類部３３からの近傍波形クラスコードが表す近傍波形クラス（第１のクラス）と、広域波形クラス分類部３５からの広域波形クラスコードが表す広域波形クラス（第２のクラス）との組合せに対応する予測係数）を、予測演算部３７に出力する。
【００５３】
予測演算部３７は、予測タップ抽出部３１からの予測タップを構成する複数の画素と、係数ROM３６が出力する予測係数とを用いて、注目画素を予測（生成）する所定の予測演算（例えば、線形１次演算）を行う。これにより、予測演算部３７は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【００５４】
図４は、図３の広域波形クラス分類部３５の詳細な第１の構成例を示すブロック図である。
【００５５】
図４の広域波形クラス分類部３５は、空間アクティビティ分布分類部６１及び広域クラス出力部６２により構成される。
【００５６】
空間アクティビティ分布分類部６１には、広域タップ抽出部３４から広域波形クラスタップが供給される。
【００５７】
空間アクティビティ分布分類部６１は、広域タップ抽出部３４からの広域波形クラスタップを構成する複数の画素の変化を表す波形の空間的なアクティビティの偏り、即ち、広域波形クラスタップを構成する隣接する画素どうしの差分の絶対値の空間的な分布パターンの偏りに基づいて、注目画素を、複数のアクティビティクラスのうちのいずれかのクラスにクラス分けする空間アクティビティ分布分類処理を行う。
【００５８】
また、空間アクティビティ分布分類部６１は、空間アクティビティ分布分類処理により得られた注目画素のアクティビティクラスに対応するアクティビティクラスコードを、広域クラス出力部６２に供給する。
【００５９】
広域クラス出力部６２は、空間アクティビティ分布分類部６１からのアクティビティクラスコードに基づいて、注目画素の広域波形クラスを特定し、その広域波形クラスに対応する広域波形クラスコードを、図３の係数ROM３６に供給する。
【００６０】
図５は、図４の空間アクティビティ分布分類部６１の詳細な構成例を示すブロック図である。
【００６１】
空間アクティビティ分布分類部６１は、定常方向検出部９１、タップ構築部９２、代表値取得部９３、及び代表値比較部９４により構成される。
【００６２】
定常方向検出部９１は、広域タップ抽出部３４からの広域波形クラスタップに基づいて、水平方向、左斜め上方向、垂直方向、又は右斜め上方向のうちのいずれかを、広域波形クラスタップの定常方向として検出し、広域タップ抽出部３４からの広域波形クラスタップとともに、タップ構築部９２に供給する。なお、広域波形クラスタップの定常方向を検出する検出方法の詳細は、図７を参照して後述する。
【００６３】
タップ構築部９２は、定常方向検出部９１からの広域波形クラスタップの定常方向に基づいて、定常方向検出部９１からの広域波形クラスタップから、複数の画素からなる判定タップを構築（抽出）する。なお、判定タップを構築する構築方法の詳細は、図８ないし図１１を参照して後述する。
【００６４】
また、タップ構築部９２は、広域波形クラスタップから構築した判定タップを、定常方向検出部９１からの広域波形クラスタップの定常方向とともに、代表値取得部９３に供給する。
【００６５】
代表値取得部９３は、タップ構築部９２からの判定タップにおいて、定常方向検出部９１により検出された定常方向に垂直な方向で隣接する画素どうしの差分を算出する。
【００６６】
また、代表値取得部９３は、定常方向検出部９１により検出された定常方向に基づいて、判定タップから算出した複数の差分の絶対値の中から、空間的なアクティビティの偏りを検出するために用いる２つの差分の絶対値DL及びDRを検出し、代表値として代表値比較部９４に供給する。なお、代表値DL及びDRを算出する算出方法の詳細は、図１２を参照して後述する。
【００６７】
代表値比較部９４は、代表値取得部９３からの代表値DLとDRとを比較することにより、広域波形クラスタップの波形の空間的なアクティビティの偏りが存在するか否かを判定し、その判定結果に基づいて、注目画素を、複数のアクティビティクラスのうちのいずれかのクラスにクラス分けする。
【００６８】
即ち、例えば、代表値比較部９４は、代表値取得部９３からの代表値DLとDRを比較することにより、次式（１）又は次式（２）のいずれか一方を満たすと判定した場合、広域波形クラスタップの波形が、空間的にアクティビティの偏りがある波形であるとみなし、注目画素を、空間的にアクティビティの偏りがあることを示すアクティビティクラスにクラス分けする。
【００６９】
【数１】
2009182936.tif 000003
【００７０】
【数２】
2009182936.tif 000004
【００７１】
ここで、Z1は、任意の正の整数を示しており、予めユーザ等により設定される。なお、シミュレーション（図３５ないし図３９を参照して後述する）により、Z1に設定する値として、例えば、４を採用することで、良好な結果を得ることがわかっている。
【００７２】
また、代表値比較部９４は、代表値取得部９３からの代表値DLとDRを比較することにより、式（１）及び式（２）のいずれも満たさないと判定した場合、広域波形クラスタップの波形が、空間的にアクティビティの偏りがない波形であるとみなし、注目画素を、空間的にアクティビティの偏りがないことを示すアクティビティクラスにクラス分けする。
【００７３】
さらに、代表値比較部９４は、クラス分けにより得られた注目画素のアクティビティクラスに対応するアクティビティクラスコードを、広域クラス出力部６２（図４）に供給する。
【００７４】
図６は、図３の広域タップ抽出部３４により抽出される広域波形クラスタップの一例を示す図である。
【００７５】
図６には、黒丸（●）により示す対応画素を中心として、横×縦が１３×１３個の合計１６９個の画素により構成される広域波形クラスタップが示されている。
【００７６】
図７は、図５の定常方向検出部９１が行う、広域波形クラスタップの定常方向の検出方法を説明する図である。
【００７７】
以下、同図に示すように、対応画素１１１と、対応画素１１１を中心として垂直方向に並ぶ画素１４１aないし１４１dとの合計５画素を、垂直方向に並ぶ５画素というとともに、対応画素１１１と、対応画素１１１を中心として右斜め上方向に並ぶ画素１４２aないし１４２dとの合計５画素を、右斜め上方向に並ぶ５画素という。
【００７８】
また、対応画素１１１と、対応画素１１１を中心として水平方向に並ぶ画素１４３aないし１４３dとの合計５画素を、水平方向に並ぶ５画素というとともに、対応画素１１１と、対応画素１１１を中心として左斜め上方向に並ぶ画素１４４aないし１４４dとの合計５画素を、左斜め上方向に並ぶ５画素という。
【００７９】
定常方向検出部９１は、対応画素１１１を中心として、垂直方向に並ぶ５画素、右斜め上方向に並ぶ５画素、水平方向に並ぶ５画素、及び左斜め上方向に並ぶ５画素のダイナミックレンジ（以下、DR(Dynamic Range)という）を算出する。
【００８０】
即ち、例えば、定常方向検出部９１は、対応画素１１１を中心として垂直方向に並ぶ５画素のうちの、最大の画素値MAXと最小の画素値MINとを検出し、垂直方向に並ぶ５画素のDR(=MAX-MIN)（垂直方向のDR）を算出する。
【００８１】
また、定常方向検出部９１は、対応画素１１１を中心として右斜め上方向に並ぶ５画素、対応画素１１１を中心として水平方向に並ぶ５画素、対応画素１１１を中心として左斜め上方向に並ぶ５画素についても同様に、それぞれ、右斜め上方向のDR、水平方向のDR、及び左斜め上方向のDRを算出する。
【００８２】
さらに、定常方向検出部９１は、垂直方向のDR、右斜め上方向のDR、水平方向のDR、及び左斜め上方向のDRのうちの、DRが最小の５画素が並ぶ方向を、対応画素１１１の定常方向としてタップ構築部９２に供給する。
【００８３】
図８ないし図１１は、図５のタップ構築部９２が構築する判定タップを説明する図である。
【００８４】
タップ構築部９２は、対応画素１１１を中心として定常方向に並ぶ５画素をそれぞれ中心として、定常方向に直交する方向に並ぶ９画素により構成される合計４５(=５×９)画素を判定タップとして、定常方向検出部９１からの広域波形クラスタップから構築し、代表値取得部９３に供給する。
【００８５】
即ち、例えば、定常方向が垂直方向である場合、タップ構築部９２は、図８に示すように、対応画素１１１と、画素１４１aないし１４１dとの５画素をそれぞれ中心として、定常方向に延びた線分１５１に直交する水平方向に並ぶ９画素により構成される合計４５画素を、判定タップとして構築する。
【００８６】
また、定常方向が右斜め上方向である場合、タップ構築部９２は、図９に示すように、対応画素１１１と、画素１４２aないし１４２dとの５画素をそれぞれ中心として、定常方向に延びた線分１５２に直交する左斜め上方向に並ぶ９画素により構成される合計４５画素を、判定タップとして構築する。
【００８７】
さらに、例えば、定常方向が水平方向である場合、タップ構築部９２は、図１０に示すように、対応画素１１１と、画素１４３aないし１４３dとの５画素をそれぞれ中心として、定常方向に延びた線分１５３に直交する垂直方向に並ぶ９画素により構成される合計４５画素を、判定タップとして構築する。
【００８８】
また、定常方向が左斜め上方向である場合、タップ構築部９２は、図１１に示すように、対応画素１１１と、画素１４４aないし１４４dとの５画素をそれぞれ中心として、定常方向に延びた線分１５４に直交する右斜め上方向に並ぶ９画素により構成される合計４５画素を、判定タップとして構築する。
【００８９】
タップ構築部９２は、定常方向検出部９１からの広域波形クラスタップから構築した判定タップを、代表値取得部９３に供給する。
【００９０】
図１２は、定常方向が垂直方向である場合に、代表値取得部９３が行う、代表値DL及びDRの算出方法を説明する図である。
【００９１】
図１２には、黒丸（●）で示す対応画素を中心とする横×縦が９×５個の合計４５個の判定タップが示されている。
【００９２】
代表値取得部９３は、定常方向として検出された垂直方向（線分１５１が延びる方向）に直交する水平方向に隣接する画素どうしの差分、即ち、例えば、図１２において、黒色の矢印が出ている画素の画素値から、黒色の矢印が指し示している画素の画素値を差し引いて得られる差分を算出する。これにより、図１２に示す黒色の矢印の個数だけ、水平方向に隣接する画素どうしの差分が算出される。
【００９３】
代表値取得部９３は、対応画素を通り定常方向に延びた線分１５１を境界として分割された図１２の左側の領域の矢印に対応する差分の最大の絶対値DLと、線分１５１を境界として分割された図１２の右側の領域の矢印に対応する差分の最大の絶対値DRとを検出し、代表値として、代表値比較部９４に供給する。
【００９４】
代表値比較部９４は、代表値取得部９３からの代表値DLとDRとを比較することにより、広域波形クラスタップの波形の空間的なアクティビティの偏りを判定する。
【００９５】
図１３は、代表値比較部９４により判定される、広域波形クラスタップの波形の空間的なアクティビティの偏りについて説明する図である。
【００９６】
図１３Ａないし図１３Ｃにおいて、横軸は、画素の位置を示しており、縦軸は、画素の画素値を示している。
【００９７】
図１３Ａ及び図１３Ｂにそれぞれ示す広域波形クラスタップの波形は、空間的にアクティビティの偏りがある波形を示している。図１３Ｃに示す広域波形クラスタップの波形は、空間的にアクティビティの偏りがない波形を示している。
【００９８】
即ち、図１３Ａに示す広域波形クラスタップの波形は、黒丸で示す対応画素よりも左側の位置に存在する白丸で示す４個の画素のアクティビティが小であり、対応画素よりも右側の位置に存在する白丸で示す４個の画素のアクティビティが大である波形を示している。
【００９９】
また、図１３Ｂに示す広域波形クラスタップの波形は、対応画素よりも左側の位置に存在する４個の画素のアクティビティが大であり、対応画素よりも右側の位置に存在する４個の画素のアクティビティが小である波形を示している。
【０１００】
さらに、図１３Ｃに示す広域波形クラスタップの波形は、対応画素よりも左側の位置に存在する４個の画素のアクティビティと、対応画素よりも右側の位置に存在する４個の画素のアクティビティとの大きさが同程度である波形を示している。
【０１０１】
代表値比較部９４は、代表値取得部９３からの代表値DLとDRを比較することにより、式（１）又は式（２）のいずれか一方を満たすと判定した場合、広域波形クラスタップの波形が、図１３Ａや図１３Ｂに示すような空間的にアクティビティの偏りがある波形であるとみなして、注目画素を、空間的にアクティビティの偏りがあることを示すアクティビティクラスにクラス分けし、そのアクティビティクラスに対応するアクティビティクラスコードを、広域クラス出力部６２に供給する。
【０１０２】
また、代表値比較部９４は、代表値取得部９３からの代表値DLとDRを比較することにより、式（１）及び式（２）のいずれも満たさないと判定した場合、広域波形クラスタップの波形が、図１３Ｃに示すような空間的にアクティビティの偏りがない波形であるとみなして、注目画素を、空間的にアクティビティの偏りがないことを示すアクティビティクラスにクラス分けし、そのアクティビティクラスに対応するアクティビティクラスコードを、広域クラス出力部６２に供給する。
【０１０３】
図１４は、空間的にアクティビティの偏りがある広域波形クラスタップの一例、及び空間的にアクティビティの偏りがない広域波形クラスタップの一例を示す図である。
【０１０４】
図１４Ａに示す広域波形クラスタップは、黒丸で示す対応画素を中心として横×縦が９×９個の合計８１個の画素により構成されており、空間的にアクティビティの分布に偏りがある広域波形クラスタップを示している。即ち、図１４Ａに示す広域波形クラスタップは、アクティビティが小である画素（破線１６１で囲まれた複数の画素）が左側に偏在し、アクティビティが大である画素（破線１６２で囲まれた複数の画素）が右側に偏在している広域波形クラスタップを示している。
【０１０５】
図１４Ｂに示す広域波形クラスタップは、黒丸で示す対応画素を中心として横×縦が９×９個の合計８１個の画素により構成されており、空間的にアクティビティの分布に偏りがない広域波形クラスタップを示している。即ち、図１４Ｂに示す広域波形クラスタップは、破線１６３で囲まれた左側に存在する複数の画素のアクティビティと、破線１６４で囲まれた右側に存在する複数の画素のアクティビティとが同程度である広域波形クラスタップを示している。
【０１０６】
次に、図１５のフローチャートを参照して、図３の画像処理装置１が行う画像変換処理を説明する。
【０１０７】
ステップＳ１において、予測タップ抽出部３１は、第１の画像データの変換結果となる第２の画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、ステップＳ１では、予測タップ抽出部３１は、その注目画素を予測する予測演算に用いるための予測タップとして、注目画素に対応する、第１の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素を、予測タップ抽出部３１に供給された第１の画像データから抽出し、予測演算部３７に供給する。
【０１０８】
ステップＳ２において、近傍タップ抽出部３２は、注目画素を、複数の近傍波形クラスのうちのいずれかにクラス分けする近傍波形クラス分類処理に用いるための近傍波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、近傍タップ抽出部３２に供給された第１の画像データから抽出し、近傍波形クラス分類部３３に供給する。
【０１０９】
ステップＳ３において、近傍波形クラス分類部３３は、近傍タップ抽出部３２からの近傍波形クラスタップを構成する複数の画素に基づいて、注目画素を、複数の近傍波形クラスのうちのいずれかにクラス分けする近傍波形クラス分類処理を行い、その結果得られる注目画素の近傍波形クラスに対応する近傍波形クラスコードを、係数ROM３６に供給する。
【０１１０】
ステップＳ４において、広域タップ抽出部３４は、注目画素を、複数の広域波形クラスのうちのいずれかにクラス分けする広域波形クラス分類処理に用いるための広域波形クラスタップであって、近傍波形クラスタップを含み、かつ、その近傍波形クラスタップよりも広範囲に設ける広域波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、広域タップ抽出部３４に供給された第１の画像データから抽出し、広域波形クラス分類部３５に供給する。
【０１１１】
ステップＳ５において、広域波形クラス分類部３５は、広域タップ抽出部３４からの広域波形クラスタップを構成する複数の画素に基づいて、注目画素を、複数の広域波形クラスのうちのいずれかにクラス分けする広域波形クラス分類処理を行い、その結果得られる注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給する。
【０１１２】
ステップＳ６において、係数ROM３６は、記憶している予測係数のセットのうちの、近傍波形クラス分類部３３からの近傍波形クラスコードと広域波形クラス分類部３５からの広域波形クラスコードとの組合せに対応するアドレスに記憶されている予測係数（近傍波形クラス分類部３３からの近傍波形クラスコードが表す近傍波形クラスと、広域波形クラス分類部３５からの広域波形クラスコードが表す広域波形クラスとの組合せに対応する予測係数）を、予測演算部３７に出力する。
【０１１３】
ステップＳ７において、予測演算部３７は、予測タップ抽出部３１からの予測タップを構成する複数の画素と、係数ROM３６が出力する予測係数とを用いて、注目画素を予測する所定の予測演算を行う。これにより、予測演算部３７は、注目画素の画素値、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【０１１４】
以上のようにして、第２の画像データを構成する画素すべてを注目画素とすることにより、画像処理装置１に入力された第１の画像データを、第２の画像データに変換したときに、図１５の画像変換処理は終了される。
【０１１５】
次に、図１６のフローチャートを参照して、図１５のステップＳ５における広域波形クラス分類処理の詳細を説明する。
【０１１６】
ステップＳ３１において、空間アクティビティ分布分類部６１は、広域タップ抽出部３４からの広域波形クラスタップの波形の空間的なアクティビティの偏りに基づいて、注目画素を、複数のアクティビティクラスのうちのいずれかのクラスにクラス分けする空間アクティビティ分布分類処理を行い、その結果得られた注目画素のアクティビティクラスに対応するアクティビティクラスコードを、広域クラス出力部６２に供給する。
【０１１７】
ステップＳ３２において、広域クラス出力部６２は、空間アクティビティ分布分類部６１からのアクティビティクラスコードに基づいて、注目画素を、そのアクティビティクラスコードにより特定される広域波形クラスにクラス分けする。
【０１１８】
以上のように図１６の広域波形クラス分類処理が行われた後、広域クラス出力部６２は、図１６の広域波形クラス分類処理の結果得られた注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給して、処理は、図１５のステップＳ５にリターンする。
【０１１９】
次に、図１７のフローチャートを参照して、図１６のステップＳ３１における空間アクティビティ分布分類処理の詳細を説明する。
【０１２０】
ステップＳ６１において、定常方向検出部９１は、広域タップ抽出部３４からの広域波形クラスタップに基づいて、水平方向、左斜め上方向、垂直方向、又は右斜め上方向のうちのいずれかを、広域波形クラスタップの定常方向として検出し、広域タップ抽出部３４からの広域波形クラスタップとともに、タップ構築部９２に供給する。
【０１２１】
ステップＳ６２において、タップ構築部９２は、定常方向検出部９１からの広域波形クラスタップの定常方向に基づいて、定常方向検出部９１からの広域波形クラスタップから、複数の画素からなる判定タップを構築する。
【０１２２】
また、ステップＳ６２では、タップ構築部９２は、広域波形クラスタップから構築した判定タップを、定常方向検出部９１からの広域波形クラスタップの定常方向とともに、代表値取得部９３に供給する。
【０１２３】
ステップＳ６３において、代表値取得部９３は、タップ構築部９２からの判定タップに基づいて、空間的なアクティビティの偏りを検出するために用いる２つの差分の絶対値DL及びDRを代表値として取得（検出）する領域別代表値取得処理を行う。
【０１２４】
また、ステップＳ６３では、領域別代表値取得処理により取得された代表値DL及びDRを、代表値比較部９４に供給する。
【０１２５】
ステップＳ６４において、代表値比較部９４は、代表値取得部９３からの代表値DLとDRとを比較することにより、広域波形クラスタップの波形の空間的なアクティビティの分布に偏りが存在するか否かを判定する。
【０１２６】
また、ステップＳ６４では、代表値比較部９４は、その判定結果に基づいて、注目画素を、複数のアクティビティクラスのうちのいずれかのアクティビティクラスにクラス分けする。
【０１２７】
以上のようにして、図１７の空間アクティビティ分布分類処理を行った後、代表値比較部９４は、空間アクティビティ分布分類処理の結果得られた注目画素のアクティビティクラスに対応するアクティビティクラスコードを、広域クラス出力部６２（図４）に供給して、処理は、図１６のステップＳ３１にリターンする。
【０１２８】
次に、図１８のフローチャートを参照して、図１７のステップＳ６３における領域別代表値取得処理を説明する。
【０１２９】
ステップＳ９１では、代表値取得部９３は、タップ構築部９２からの判定タップにおいて、定常方向検出部９１により検出された定常方向に垂直な方向で隣接する画素どうしの差分を算出する。これにより、例えば、図１２に示す黒色の矢印の個数だけ、水平方向に隣接する画素どうしの差分が算出される。
【０１３０】
また、ステップＳ９１では、代表値取得部９３は、判定タップから算出した複数の差分（例えば、図１２に示す黒色の矢印の個数の差分）のうちの、いずれかの差分に注目し、その注目している差分を注目差分Ｄとして、処理は、ステップＳ９２に進む。
【０１３１】
ステップＳ９２において、代表値取得部９３は、定常方向検出部９１により検出された定常方向に延びた線分１５１（図１２）を中心軸として、注目差分Ｄの算出に用いた隣接する画素どうし（注目差分Ｄに対応する黒色の矢印）が、中心軸の左側にあるか否かを判定する。
【０１３２】
ステップＳ９２において、注目差分Ｄの算出に用いた隣接する画素どうしが、中心軸の左側にあると判定された場合、処理は、ステップＳ９３に進み、代表値取得部９３は、注目差分Ｄの絶対値|Ｄ|が、代表値DLよりも大であるか否かを判定する。なお、代表値DLとしては、例えば、初期値として値０等をとるものとする。
【０１３３】
ステップＳ９３において、注目差分Ｄの絶対値|Ｄ|が、代表値DLよりも大であると判定された場合、処理は、ステップＳ９４に進み、代表値取得部９３は、注目差分Ｄの絶対値|Ｄ|を代表値DLとし、処理は、ステップＳ９７に進む。
【０１３４】
一方、ステップＳ９３において、注目差分Ｄの絶対値|Ｄ|が、代表値DLよりも大でないと判定された場合、処理は、ステップＳ９７に進む。
【０１３５】
また、ステップＳ９２において、注目差分Ｄの算出に用いた隣接する画素どうしが、中心軸の左側にない、即ち、中心軸の右側にあると判定された場合、処理は、ステップＳ９５に進み、代表値取得部９３は、注目差分Ｄの絶対値|Ｄ|が、代表値DRよりも大であるか否かを判定する。なお、代表値DRとしては、例えば、初期値として値０等をとるものとする。
【０１３６】
ステップＳ９５において、注目差分Ｄの絶対値|Ｄ|が、代表値DRよりも大であると判定された場合、処理は、ステップＳ９６に進み、代表値取得部９３は、注目差分Ｄの絶対値|Ｄ|を代表値DRとし、処理は、ステップＳ９７に進む。
【０１３７】
一方、ステップＳ９５において、注目差分Ｄの絶対値|Ｄ|が、代表値DLよりも大でないと判定された場合、処理は、ステップＳ９７に進む。
【０１３８】
ステップＳ９７において、代表値取得部９３は、ステップＳ９１で算出した複数の差分すべてを注目差分Ｄとしたか否かを判定する。
【０１３９】
ステップＳ９７において、複数の差分すべてを注目差分Ｄとしていないと判定された場合、代表値取得部９３は、複数の差分のうちのまだ注目差分としていない差分を、新たな注目差分Ｄとして、処理は、ステップＳ９２に戻り、以下、同様の処理を繰り返す。
【０１４０】
一方、ステップＳ９７において、複数の差分すべてを注目差分Ｄとしたと判定された場合、図１８の領域別代表値取得処理は終了し、処理は、図１７のステップＳ６３にリターンする。
【０１４１】
以上のように、図１５の画像変換処理では、近傍波形クラスタップを構成する複数の画素に基づいて近傍波形クラス分類処理を行うとともに、広域波形クラスタップを構成する複数の画素に基づいて広域波形クラス分類処理を行うこととしたので、対応画素の近傍に存在する近傍波形クラスタップの微細な波形パターンと、対応画素の近傍よりもより広範囲に存在する広域波形クラスタップの波形パターンとを取得することが可能である。
【０１４２】
また、図１５の画像変換処理では、従来のクラス分類適応処理において、広域波形クラスタップと同一の構造を有するタップをクラスタップとしてクラス分類を行うときにクラス分けされるクラスの総数と比較して、広域波形クラス分類処理によりクラス分けされる広域波形クラスの総数と、近傍波形クラス分類処理によりクラス分けされる近傍波形クラスの総数との組合せ数が少なくなる。
【０１４３】
従って、図１５の画像変換処理では、従来のクラス分類適応処理と比較して、近傍波形クラスタップの微細な波形パターンと広域波形クラスタップの波形パターンとを取得することができるため、高画質の画像を予測することが可能であるとともに、クラスの総数の著しい増加を抑えることが可能である。
【０１４４】
次に、図３の予測演算部３７における予測演算と、係数ROM３６に記憶された予測係数の学習について説明する。
【０１４５】
上述したように、画像変換処理として、例えば、高解像度の画像データ（高解像度画像データ）を第２の画像データとするとともに、その高解像度画像データをサブサンプリングする等してその解像度を低下させた低解像度の画像データ（低解像度画像データ）を第１の画像データとして、低解像度画像データから予測タップを抽出し、その予測タップと予測係数を用いて、高解像度画像データの画素（以下、適宜、高解像度画素という）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１４６】
所定の予測演算として、例えば、線形１次演算を採用することとすると、高解像度画素の画素値ｙは、次式（３）の線形１次式によって求められることになる。
【０１４７】
【数３】
2009182936.tif 000005
【０１４８】
但し、式（３）において、ｘnは、高解像度画素ｙについての予測タップを構成する、ｎ番目の低解像度画像データの画素（以下、適宜、低解像度画素という）の画素値を表し、ｗnは、ｎ番目の低解像度画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（３）では、予測タップが、Ｎ個の低解像度画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１４９】
ここで、高解像度画素の画素値ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１５０】
いま、第ｋサンプルの高解像度画素の画素値の真値をｙkと表すとともに、式（３）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式（４）で表される。
【０１５１】
【数４】
2009182936.tif 000006
【０１５２】
いま、式（４）の予測値ｙk'は、式（１）にしたがって求められるため、式（４）のｙk'を、式（３）にしたがって置き換えると、次式（５）が得られる。
【０１５３】
【数５】
2009182936.tif 000007
【０１５４】
但し、式（５）において、ｘn,kは、第ｋサンプルの高解像度画素についての予測タップを構成するｎ番目の低解像度画素を表す。
【０１５５】
式（５）（又は式（４））の予測誤差ｅkを０とする予測係数ｗnが、高解像度画素を予測するのに最適なものとなるが、すべての高解像度画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【０１５６】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１５７】
【数６】
2009182936.tif 000008
【０１５８】
但し、式（６）において、Ｋは、高解像度画素ｙkと、その高解像度画素ｙkについての予測タップを構成する低解像度画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１５９】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、次式（７）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１６０】
【数７】
2009182936.tif 000009
【０１６１】
一方、上述の式（５）を予測係数ｗnで偏微分すると、次式（８）が得られる。
【０１６２】
【数８】
2009182936.tif 000010
【０１６３】
式（７）と式（８）から、次式（９）が得られる。
【０１６４】
【数９】
2009182936.tif 000011
【０１６５】
式（９）のｅkに、式（５）を代入することにより、式（９）は、次式（１０）に示す正規方程式で表すことができる。
【０１６６】
【数１０】
2009182936.tif 000012
【０１６７】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１６８】
式（１０）の正規方程式を、近傍波形クラス及び広域波形クラス（の組合せ）毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、近傍波形クラス及び広域波形クラス毎（近傍波形クラスと広域波形クラスとの複数の組合せ毎）に求めることができる。
【０１６９】
図３の画像処理装置１では、以上のような近傍波形クラス及び広域波形クラス毎の予測係数を用いて、式（３）の演算を行うことにより、第１の画像データとしての低解像度画像データが、第２の画像データとしての高解像度画像データに変換される。
【０１７０】
次に、図１９は、式（１０）の正規方程式を近傍波形クラス及び広域波形クラス毎にたてて解くことにより予測係数ｗnを求める学習を行う学習装置の構成例を示している。
【０１７１】
図１９の学習装置１７１は、サブサンプリング部２０１、予測タップ抽出部２０２、近傍タップ抽出部２０３、近傍波形クラス分類部２０４、広域タップ抽出部２０５、広域波形クラス分類部２０６、足し込み部２０７、及び係数算出部２０８により構成される。
【０１７２】
サブサンプリング部２０１には、高解像度画像データに相当する画像（学習用の第２の画像データ）が供給される。以下、学習用の第２の画像データを、教師画像ともいう。
【０１７３】
サブサンプリング部２０１は、そこに供給された教師画像をサブサンプリングし、その解像度を低下させることにより低解像度画像データに相当する画像（学習用の第１の画像データ）を生成する。以下、学習用の第１の画像データを、生徒画像ともいう。
【０１７４】
サブサンプリング部２０１は、教師画像をサブサンプリングすることにより得られた生徒画像を、予測タップ抽出部２０２、近傍タップ抽出部２０３、及び広域タップ抽出部２０５に供給する。
【０１７５】
予測タップ抽出部２０２は、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部２０２は、サブサンプリング部２０１からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図３の予測タップ抽出部３１が注目画素について得る予測タップと同一のタップ構造の予測タップ（図３の予測タップ抽出部３１が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部２０７に供給する。
【０１７６】
近傍タップ抽出部２０３は、サブサンプリング部２０１から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図３の近傍タップ抽出部３２が注目画素について得る近傍波形クラスタップと同一のタップ構造の近傍波形クラスタップ（図３の近傍タップ抽出部３２が注目画素について得る近傍波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる近傍波形クラスタップ）を得て、近傍波形クラス分類部２０４に供給する。
【０１７７】
近傍波形クラス分類部２０４は、近傍タップ抽出部２０３からの近傍波形クラスタップに基づいて、図３の近傍波形クラス分類部３３と同一の近傍波形クラス分類処理を行い、その結果得られた注目画素の近傍波形クラスに対応する近傍波形クラスコードを、足し込み部２０７に供給する。
【０１７８】
広域タップ抽出部２０５は、サブサンプリング部２０１から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図３の広域タップ抽出部３４が注目画素について得る広域波形クラスタップと同一のタップ構造の広域波形クラスタップ（図３の広域タップ抽出部３４が注目画素について得る広域波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる広域波形クラスタップ）を得て、広域波形クラス分類部２０６に供給する。
【０１７９】
広域波形クラス分類部２０６は、広域タップ抽出部２０５からの広域波形クラスタップに基づいて、図３の広域波形クラス分類部３５と同一の広域波形クラス分類処理を行い、その結果得られた注目画素の広域波形クラスに対応する広域波形クラスコードを、足し込み部２０７に供給する。
【０１８０】
足し込み部２０７には、サブサンプリング部２０１から出力される生徒画像に対応する教師画像が供給される。足し込み部２０７は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部２０２からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、近傍波形クラス分類部２０４からの近傍波形クラスコード及び広域波形クラス分類部２０６からの広域波形クラスコード毎に行う。
【０１８１】
即ち、足し込み部２０７には、教師画像を構成する画素のうちの注目画素の画素値ｙk、予測タップ抽出部２０２が出力する注目画素についての予測タップを構成する生徒画像の画素の画素値ｘn,k、近傍波形クラス分類部２０４が出力する、注目画素の近傍波形クラスを表す近傍波形クラスコード、及び広域波形クラス分類部２０６が出力する、注目画素の広域波形クラスを表す広域波形クラスコードが供給される。
【０１８２】
そして、足し込み部２０７は、近傍波形クラス分類部２０４からの近傍波形クラスコードに対応する近傍波形クラス、及び広域波形クラス分類部２０６からの広域波形クラスコードに対応する広域波形クラス毎に、予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１８３】
さらに、足し込み部２０７は、やはり、近傍波形クラス分類部２０４からの近傍波形クラスコードに対応する近傍波形クラス、及び広域波形クラス分類部２０６からの広域波形クラスコードに対応する広域波形クラス毎に、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,k及び教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１８４】
即ち、足し込み部２０７は、前回、注目画素とされた教師画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）又はベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像について、その教師画像ｙk+1及び生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1又はｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
【０１８５】
そして、足し込み部２０７は、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、近傍波形クラスと広域波形クラスとの複数の組合せそれぞれについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部２０８に供給する。
【０１８６】
係数算出部２０８は、足し込み部２０７から供給された、近傍波形クラスと広域波形クラスとの複数の組合せそれぞれについての正規方程式を解くことにより、近傍波形クラスと広域波形クラスとの複数の組合せそれぞれについて、予測係数ｗnを求めて出力する。
【０１８７】
次に、図２０のフローチャートを参照して、図１９の学習装置１７１が行う学習処理を説明する。
【０１８８】
ステップＳ１２１において、サブサンプリング部２０１は、そこに供給された高解像度画像データに相当する画像である教師画像をサブサンプリングし、その解像度を低下させることにより低解像度画像データに相当する画像である生徒画像を生成し、予測タップ抽出部２０２、近傍タップ抽出部２０３、及び広域タップ抽出部２０５に供給する。
【０１８９】
ステップＳ１２２において、予測タップ抽出部２０２は、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
【０１９０】
ステップＳ１２３において、予測タップ抽出部２０２は、サブサンプリング部２０１からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図３の予測タップ抽出部３１が注目画素について得る予測タップと同一のタップ構造の予測タップ（図３の予測タップ抽出部３１が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部２０７に供給する。
【０１９１】
ステップＳ１２４において、近傍タップ抽出部２０３は、サブサンプリング部２０１から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図３の近傍タップ抽出部３２が注目画素について得る近傍波形クラスタップと同一のタップ構造の近傍波形クラスタップ（図３の近傍タップ抽出部３２が注目画素について得る近傍波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる近傍波形クラスタップ）を得て、近傍波形クラス分類部２０４に供給する。
【０１９２】
ステップＳ１２５において、近傍波形クラス分類部２０４は、近傍タップ抽出部２０３からの近傍波形クラスタップに基づいて、図３の近傍波形クラス分類部３３と同一の近傍波形クラス分類処理を行い、その結果得られた注目画素の近傍波形クラスに対応する近傍波形クラスコードを、足し込み部２０７に供給する。
【０１９３】
ステップＳ１２６において、広域タップ抽出部２０５は、サブサンプリング部２０１から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図３の広域タップ抽出部３４が注目画素について得る広域波形クラスタップと同一のタップ構造の広域波形クラスタップ（図３の広域タップ抽出部３４が注目画素について得る広域波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる広域波形クラスタップ）を得て、広域波形クラス分類部２０６に供給する。
【０１９４】
ステップＳ１２７において、広域波形クラス分類部２０６は、広域タップ抽出部２０５からの広域波形クラスタップに基づいて、図３の広域波形クラス分類部３５と同一の広域波形クラス分類処理を行い、その結果得られた注目画素の広域波形クラスに対応する広域波形クラスコードを、足し込み部２０７に供給する。
【０１９５】
ステップＳ１２８において、足し込み部２０７は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部２０２からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、近傍波形クラス分類部２０４からの近傍波形クラスコード及び広域波形クラス分類部２０６からの広域波形クラスコード毎に行う。
【０１９６】
なお、ステップＳ１２８では、足し込み部２０７は、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、近傍波形クラス及び広域波形クラスの組合せそれぞれについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部２０８に供給する。
【０１９７】
処理は、ステップＳ１２８からステップＳ１２９に進み、予測タップ抽出部２０２は、教師画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
【０１９８】
ステップＳ１２９において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ１２２に戻り、予測タップ抽出部２０２は、まだ注目画素とされていない教師画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ１２３に進み、以下、同様の処理を繰り返す。
【０１９９】
一方、ステップＳ１２９において、まだ注目画素とされていない画素が存在しないと判定された場合、即ち、足し込み部２０７においては、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、近傍波形クラス及び広域波形クラスの組合せそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部２０７は、正規方程式を、係数算出部２０８に供給する。
【０２００】
そして、処理は、ステップＳ１２９からステップＳ１３０に進み、係数算出部２０８は、足し込み部２０７から供給された近傍波形クラス及び広域波形クラスの組合せそれぞれについての正規方程式を解くことにより、近傍波形クラス及び広域波形クラスの組合せそれぞれについて、予測係数ｗnを求めて出力して、図２０の学習処理は終了される。
【０２０１】
以上のように、図２０の学習処理では、近傍波形クラスタップを構成する複数の画素に基づいて近傍波形クラス分類処理を行うとともに、広域波形クラスタップを構成する複数の画素に基づいて広域波形クラス分類処理を行うこととしたので、対応画素の近傍に存在する近傍波形クラスタップの微細な波形パターンと、対応画素の近傍よりもより広範囲に存在する広域波形クラスタップの波形パターンとを取得することが可能である。
【０２０２】
また、図２０の学習処理では、従来のクラス分類適応処理で用いる予測係数を学習する従来の学習処理において、広域波形クラスタップと同一の構造を有するタップをクラスタップとしてクラス分類を行うときにクラス分けされるクラスの総数と比較して、広域波形クラス分類処理によりクラス分けされる広域波形クラスの総数と、近傍波形クラス分類処理によりクラス分けされる近傍波形クラスの総数との組合せ数が少なくなる。
【０２０３】
従って、図２０の学習処理では、従来の学習処理と比較して、近傍波形クラスタップの微細な波形パターンと広域波形クラスタップの波形パターンとを取得することができるため、高画質の画像を予測することができる予測係数を生成することが可能であるとともに、クラスの総数の著しい増加を抑えることが可能である。
【０２０４】
次に、図２１を参照して、図３の広域波形クラス分類部３５の第２の構成例について説明する。
【０２０５】
図２１は、図３の広域波形クラス分類部３５の第２の構成例を示すブロック図である。
【０２０６】
なお、図中、図４の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２０７】
即ち、図２１の広域波形クラス分類部３５は、図４の広域クラス出力部６２に代えて、処理選択部２３１、レベル変化分類部２３２、及び広域クラス出力部２３３が設けられている。
【０２０８】
処理選択部２３１には、空間アクティビティ分布分類部６１からアクティビティクラスコードとともに、広域タップ抽出部３４から空間アクティビティ分布分類部６１を介して広域波形クラスタップが供給される。処理選択部２３１は、空間アクティビティ分布分類部６１からのアクティビティクラスコードに基づいて、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがないことを示すものであるか否かを判定する。
【０２０９】
処理選択部２３１は、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがないことを示すものであると判定した場合のみ、空間アクティビティ分布分類部６１からの広域波形クラスタップを、レベル変化分類部２３２に供給する。
【０２１０】
また、処理選択部２３１は、空間アクティビティ分布分類部６１からのアクティビティクラスコードを、広域クラス出力部２３３に供給する。
【０２１１】
レベル変化分類部２３２は、処理選択部２３１から広域波形クラスタップが供給されたことに対応し、その広域波形クラスタップの波形のレベル変化の偏り、即ち、広域波形クラスタップの隣接する画素どうしの差分のうちの、正符号の差分と負符号の差分との発生パターンの偏りに基づいて、注目画素を、複数のレベル変化クラスのうちのいずれかのクラスにクラス分けするレベル変化分類処理を行う。
【０２１２】
レベル変化分類部２３２は、レベル変化分類処理により得られた注目画素のレベル変化クラスに対応するレベル変化クラスコードを、広域クラス出力部２３３に供給する。
【０２１３】
広域クラス出力部２３３は、処理選択部２３１からのアクティビティクラスコードと、レベル変化分類部２３２からのレベル変化クラスコードとが供給された場合、アクティビティクラスコードとレベル変化クラスコードとの組合せにより特定される注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給する。
【０２１４】
また、広域クラス出力部２３３は、処理選択部２３１からのアクティビティクラスコードのみが供給された場合、そのアクティビティクラスコードにより特定される注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給する。
【０２１５】
図２２は、図２１のレベル変化分類部２３２の詳細な構成例を示すブロック図である。
【０２１６】
図２２のレベル変化分類部２３２は、定常方向検出部２６１、タップ構築部２６２、代表値取得部２６３、及び代表値比較部２６４により構成される。
【０２１７】
レベル変化分類部２３２の定常方向検出部２６１には、処理選択部２３１から広域波形クラスタップが供給される。定常方向検出部２６１は、図５の定常方向検出部９１と同様に、処理選択部２３１からの広域波形クラスタップに基づいて、広域波形クラスタップの定常方向を検出し、処理選択部２３１からの広域波形クラスタップとともに、タップ構築部２６２に供給する。
【０２１８】
タップ構築部２６２は、図５のタップ構築部９２と同様に、定常方向検出部２６１からの広域波形クラスタップの定常方向に基づいて、定常方向検出部２６１からの広域波形クラスタップから、複数の画素からなる判定タップを構築し、定常方向検出部２６１からの広域波形クラスタップの定常方向とともに、代表値取得部２６３に供給する。
【０２１９】
代表値取得部２６３は、タップ構築部２６２からの判定タップにおいて、定常方向検出部２６１により検出された定常方向に垂直な方向で隣接する画素どうしの差分を算出する。
【０２２０】
また、代表値取得部２６３は、算出した正符号の差分のうちの絶対値が最大の差分を、代表値DPとして検出するとともに、算出した負符号の差分のうちの絶対値が最大の差分の絶対値を、代表値DMとして検出し、代表値DP及びDMを代表値比較部２６４に供給する。
【０２２１】
代表値比較部２６４は、代表値取得部２６３からの２つの代表値DPとDMを比較することにより、広域波形クラスタップの波形のレベル変化の偏りが存在するか否かを判定し、その判定結果に基づいて、注目画素を、複数のレベル変化クラスのうちのいずれかのクラスにクラス分けする。
【０２２２】
即ち、例えば、代表値比較部２６４は、代表値取得部２６３からの代表値DPとDMを比較することにより、式（１１）又は式（１２）のいずれか一方を満たすと判定した場合、広域波形クラスタップの波形が、レベル変化の偏りがある波形であるとみなし、注目画素を、レベル変化の偏りがあることを示すレベル変化クラスにクラス分けする。
【０２２３】
また、代表値比較部２６４は、代表値取得部２６３からの代表値DPとDMを比較することにより、式（１１）又は式（１２）のいずれも満たさないと判定した場合、広域波形クラスタップの波形が、レベル変化の偏りがない波形であるとみなし、注目画素を、レベル変化の偏りがないことを示すレベル変化クラスにクラス分けする。
【０２２４】
【数１１】
2009182936.tif 000013
【０２２５】
【数１２】
2009182936.tif 000014
【０２２６】
ここで、Z2は、任意の正の整数を示しており、予めユーザ等により設定される。なお、シミュレーションにより、Z2に設定する値として、例えば、２を採用することで、良好な結果を得ることがわかっている。
【０２２７】
代表値比較部２６４は、クラス分けにより得られた注目画素のレベル変化クラスに対応するレベル変化クラスコードを、広域クラス出力部２３３に供給する。
【０２２８】
図２３は、代表値比較部２６４により判定される、広域波形クラスタップの波形のレベル変化の偏りについて説明する図である。
【０２２９】
図２３において、横軸は、画素の位置を示しており、縦軸は、画素の画素値を示している。
【０２３０】
図２３Ａ及び図２３Ｂにそれぞれ示す広域波形クラスタップの波形は、画素値のレベル変化の方向に偏りがある波形を示している。図２３Ｃに示す広域波形クラスタップの波形は、画素値のレベル変化の方向に偏りがない波形を示している。
【０２３１】
即ち、図２３Ａに示す広域波形クラスタップの波形は、画素の位置が、左側から右側に遷移する毎に、画素値が増加している波形を示しており、隣接する画素どうしの差分の発生パターンが負符号の差分に偏在する波形を示している。
【０２３２】
なお、隣接する画素どうしの差分とは、隣接する２つの画素において、左側に位置する画素の画素値から、右側に位置する画素の画素値を減算して得られる差分をいう。
【０２３３】
また、図２３Ｂに示す広域波形クラスタップの波形は、画素の位置が、左側から右側に遷移する毎に、画素値が減少している波形を示しており、隣接する画素どうしの差分の発生パターンが正符号の差分に偏在する波形を示している。
【０２３４】
さらに、図２３Ｃに示す広域波形クラスタップの波形は、画素の位置が、左側から右側に遷移する毎に、画素値が減少、増加、減少、そして増加している波形を示しており、隣接する画素どうしの差分の発生パターンが、正符号の差分と負符号の差分とのいずれにも偏在しない波形を示している。
【０２３５】
代表値比較部２６４は、代表値取得部２６３からの代表値DPとDMを比較することにより、式（１１）又は式（１２）のいずれか一方を満たすと判定した場合、広域波形クラスタップの波形が、図２３Ａや図２３Ｂに示すようなレベル変化の方向に偏りがある波形であるとみなして、注目画素を、レベル変化の方向に偏りがあることを示すレベル変化クラスにクラス分けし、そのレベル変化クラスに対応するレベル変化クラスコードを、広域クラス出力部２３３に供給する。
【０２３６】
また、代表値比較部２６４は、代表値取得部２６３からの代表値DPとDMを比較することにより、式（１１）及び式（１２）のいずれも満たさないと判定した場合、広域波形クラスタップの波形が、図２３Ｃに示すようなレベル変化の方向に偏りがない波形であるとみなして、注目画素を、レベル変化の方向に偏りがないことを示すレベル変化クラスにクラス分けし、そのレベル変化クラスに対応するレベル変化クラスコードを、広域クラス出力部２３３に供給する。
【０２３７】
次に、図２４のフローチャートを参照して、図２１の広域波形クラス分類部３５が行う、図１５のステップＳ５における広域波形クラス分類処理を説明する。
【０２３８】
なお、ステップＳ１６１では、図１６のステップＳ３１と同様の処理が行われる。
【０２３９】
処理は、ステップＳ１６１からステップＳ１６２に進み、処理選択部２３１は、空間アクティビティ分布分類部６１からのアクティビティクラスコードに基づいて、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがあることを示すものであるか否かを判定する。
【０２４０】
ステップＳ１６２において、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがないことを示すものであると判定された場合、処理選択部２３１は、空間アクティビティ分布分類部６１からの広域波形クラスタップを、レベル変化分類部２３２に供給して、処理は、ステップＳ１６３に進む。
【０２４１】
また、ステップＳ１６２では、処理選択部２３１は、空間アクティビティ分布分類部６１からのアクティビティクラスコードを、広域クラス出力部２３３に供給する。
【０２４２】
ステップＳ１６３において、レベル変化分類部２３２は、処理選択部２３１から広域波形クラスタップが供給されたことに対応し、その広域波形クラスタップの波形のレベル変化の偏りに基づいて、注目画素を、複数のレベル変化クラスのうちのいずれかのクラスにクラス分けするレベル変化分類処理を行う。
【０２４３】
また、ステップＳ１６３では、レベル変化分類部２３２は、レベル変化分類処理により得られた注目画素のレベル変化クラスに対応するレベル変化クラスコードを、広域クラス出力部２３３に供給して、処理は、ステップＳ１６４に進む。
【０２４４】
なお、ステップＳ１６２において、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがあることを示すものであると判定された場合、処理は、ステップＳ１６３をスキップして、ステップＳ１６４に進む。
【０２４５】
ステップＳ１６４において、広域クラス出力部２３３は、処理選択部２３１からのアクティビティクラスコードと、レベル変化分類部２３２からのレベル変化クラスコードとが供給された場合、注目画素を、そのアクティビティクラスコードとレベル変化クラスコードとの組合せにより特定される広域波形クラスにクラス分けする。
【０２４６】
また、ステップＳ１６４では、広域クラス出力部２３３は、処理選択部２３１からのアクティビティクラスコードのみが供給された場合、注目画素を、そのアクティビティクラスコードにより特定される広域波形クラスにクラス分けする。
【０２４７】
以上のようにして、図２４の広域波形クラス分類処理が行われた後、広域クラ出力部２３３は、図２４の広域波形クラス分類処理の結果得られた注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給して、処理は、図１５のステップＳ５にリターンする。
【０２４８】
次に、図２５のフローチャートを参照して、図２４のステップＳ１６３におけるレベル変化分類処理の詳細を説明する。
【０２４９】
ステップＳ１９１において、定常方向検出部２６１は、図５の定常方向検出部９１と同様に、処理選択部２３１からの広域波形クラスタップに基づいて、広域波形クラスタップの定常方向を検出し、処理選択部２３１からの広域波形クラスタップとともに、タップ構築部２６２に供給する。
【０２５０】
ステップＳ１９２において、タップ構築部２６２は、図５のタップ構築部９２と同様に、定常方向検出部２６１からの広域波形クラスタップの定常方向に基づいて、定常方向検出部２６１からの広域波形クラスタップから、複数の画素からなる判定タップを構築し、定常方向検出部２６１からの広域波形クラスタップの定常方向とともに、代表値取得部２６３に供給する。
【０２５１】
ステップＳ１９３では、代表値取得部２６３は、タップ構築部２６２からの判定タップにおいて、定常方向検出部２６１により検出された定常方向に垂直な方向で隣接する画素どうしの差分を算出し、算出した正符号の差分のうちの絶対値が最大の差分を、代表値DPとして検出するとともに、算出した負符号の差分のうちの、絶対値が最大の差分の絶対値を、代表値DMとして取得（検出）する符号別代表値取得処理を行う。
【０２５２】
また、ステップＳ１９３では、代表値取得部２６３は、符号別代表値取得処理により取得された代表値DP及びDMを、代表値比較部２６４に供給する。
【０２５３】
ステップＳ１９４において、代表値比較部２６４は、代表値取得部２６３からの２つの代表値DP及びDMを比較することにより、広域波形クラスタップのレベル変化の偏りが存在するか否かを判定し、その判定結果に基づいて、注目画素を、複数のレベル変化クラスのうちのいずれかのクラスにクラス分けする。
【０２５４】
以上のようにして、図２５のレベル変化分類処理を行った後、代表値比較部２６４は、注目画素のレベル変化クラスに対応するレベル変化クラスコードを広域クラス出力部２３３（図２１）に供給して、処理は、図２４のステップＳ１６３にリターンする。
【０２５５】
次に、図２６のフローチャートを参照して、図２５のステップＳ１９３における符号別代表値取得処理の詳細を説明する。
【０２５６】
ステップＳ２２１では、代表値取得部２６３は、タップ構築部２６２からの判定タップにおいて、定常方向検出部２６１により検出された定常方向に垂直な方向で隣接する画素どうしの差分を算出する。
【０２５７】
また、ステップＳ２２１では、代表値取得部２６３は、判定タップから算出した複数の差分のうちの、いずれかの差分に注目し、その注目している差分を注目差分Ｄとして、処理は、ステップＳ２２２に進む。
【０２５８】
ステップＳ２２２において、代表値取得部２６３は、注目差分Ｄが０以上であるか否かを判定する。
【０２５９】
ステップＳ２２２において、注目差分Ｄが０以上であると判定された場合、処理は、ステップＳ２２３に進み、代表値取得部２６３は、注目差分Ｄが、代表値DPよりも大であるか否かを判定する。なお、代表値DPとしては、例えば、初期値として値０等をとるものとする。
【０２６０】
ステップＳ２２３において、注目差分Ｄが、代表値DPよりも大であると判定された場合、処理は、ステップＳ２２４に進み、代表値取得部２６３は、注目差分Ｄを代表値DPとし、処理は、ステップＳ２２７に進む。
【０２６１】
一方、ステップＳ２２３において、注目差分Ｄが、代表値DPよりも大でないと判定された場合、処理は、ステップＳ２２７に進む。
【０２６２】
また、ステップＳ２２２において、注目差分Ｄが０以上でないと判定された場合、即ち、注目差分Ｄが負の数であると判定された場合、処理は、ステップＳ２２５に進み、代表値取得部２６３は、注目差分Ｄの絶対値|Ｄ|が、代表値DMよりも大であるか否かを判定する。なお、代表値DMとしては、例えば、初期値として値０等をとるものとする。
【０２６３】
ステップＳ２２５において、注目差分Ｄの絶対値|Ｄ|が、代表値DMよりも大であると判定された場合、処理は、ステップＳ２２６に進み、代表値取得部２６３は、注目差分Ｄの絶対値|Ｄ|を代表値DMとし、処理は、ステップＳ２２７に進む。
【０２６４】
一方、ステップＳ２２５において、注目差分Ｄの絶対値|Ｄ|が、代表値DMよりも大でないと判定された場合、処理は、ステップＳ２２７に進む。
【０２６５】
ステップＳ２２７において、代表値取得部２６３は、ステップＳ２２１で算出した複数の差分すべてを注目差分Ｄとしたか否かを判定する。
【０２６６】
ステップＳ２２７において、複数の差分すべてを注目差分Ｄとしていないと判定された場合、代表値取得部２６３は、複数の差分のうちのまだ注目差分としていない差分を、新たな注目差分Ｄとして、処理は、ステップＳ２２２に戻り、以下、同様の処理を繰り返す。
【０２６７】
一方、ステップＳ２２７において、複数の差分すべてを注目差分Ｄとしたと判定された場合、図２６の符号別代表値取得処理を終了して、処理は、図２５のステップＳ１９３にリターンする。
【０２６８】
以上のように、図２４の広域波形クラス分類処理では、空間的なアクティビティの偏りの他、レベル変化の偏りにも基づいて広域波形クラス分類を行うこととしたので、例えば、空間的なアクティビティの偏りに基づいて広域波形クラス分類を行う図１６の広域波形クラス分類処理と比較して、広域波形クラスタップの波形パターンをより詳細に取得することができる。従って、より精度が高い予測を行うことができるため、より高解像度な画像を得ることができる。
【０２６９】
次に、図２７を参照して、図３の広域波形クラス分類部３５の第３の構成例について説明する。
【０２７０】
図２７は、図３の広域波形クラス分類部３５の第３の構成例を示すブロック図である。
【０２７１】
なお、図中、図２１に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２７２】
即ち、図２７の広域波形クラス分類部３５は、図２１の広域クラス出力部２３３に代えて、処理選択部３５１、ピークレベル方向分類部３５２、及び広域クラス出力部３５３が新たに設けられている。
【０２７３】
処理選択部３５１には、適宜、レベル変化分類部２３２からのレベル変化クラスコードとともに、広域タップ抽出部３４から、空間アクティビティ分布分類部６１、処理選択部２３１、及びレベル変化分類部２３２を介して広域波形クラスタップが供給される。
【０２７４】
処理選択部３５１は、レベル変化分類部２３２からのレベル変化クラスコードに基づいて、注目画素のレベル変化クラスが、レベル変化の方向に偏りがないことを示すものであるか否かを判定する。
【０２７５】
処理選択部３５１は、注目画素のレベル変化クラスが、レベル変化の方向に偏りがないことを示すものであると判定した場合のみ、レベル変化分類部２３２からの広域波形クラスタップを、ピークレベル方向分類部３５２に供給する。
【０２７６】
また、処理選択部３５１は、レベル変化分類部２３２からのレベル変化クラスコードを、広域クラス出力部３５３に供給する。
【０２７７】
ピークレベル方向分類部３５２は、処理選択部３５１から広域波形クラスタップが供給されたことに対応し、その広域波形クラスタップの波形のピークレベル方向の偏り、即ち、広域波形クラスタップのヒストグラムの形状の偏りに基づいて、注目画素を、複数のピークレベル方向クラスのうちのいずれかのクラスにクラス分けするピークレベル方向分類処理を行う。
【０２７８】
ピークレベル方向分類部３５２は、ピークレベル方向分類処理により得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、広域クラス出力部３５３に供給する。
【０２７９】
広域クラス出力部３５３は、処理選択部２３１からのアクティビティクラスコード、処理選択部３５１からのレベル変化クラスコード、及びピークレベル方向分類部３５２からのピークレベル方向クラスコードが供給された場合、アクティビティクラスコード、レベル変化クラスコード、及びピークレベル方向クラスコードの組合せにより特定される注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給する。
【０２８０】
また、広域クラス出力部３５３は、処理選択部２３１からのアクティビティクラスコードと、処理選択部３５１からのレベル変化クラスコードとが供給された場合、アクティビティクラスコードとレベル変化クラスコードとの組合せにより特定される注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給する。
【０２８１】
さらに、広域クラス出力部３５３は、処理選択部２３１からのアクティビティクラスコードのみが供給された場合、そのアクティビティクラスコードにより特定される注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給する。
【０２８２】
図２８は、図２７のピークレベル方向分類部３５２の詳細な構成例を示すブロック図である。
【０２８３】
図２８のピークレベル方向分類部３５２は、ヒストグラム生成部３８１、最大値最小値取得部３８２、区間分割部３８３、頻度検出部３８４、及び頻度比較部３８５により構成される。
【０２８４】
ピークレベル方向分類部３５２のヒストグラム生成部３８１には、処理選択部３５１（図２７）から広域波形クラスタップが供給される。ヒストグラム生成部３８１は、処理選択部３５１からの広域波形クラスタップを構成する複数の画素の画素値のヒストグラムを生成し、最大値最小値取得部３８２に供給する。
【０２８５】
最大値最小値取得部３８２は、ヒストグラム生成部３８１からの広域波形クラスタップのヒストグラムに基づいて、広域波形クラスタップを構成する複数の画素の画素値のうちの、最大の画素値Maxと最小の画素値Minとを取得（検出）し、ヒストグラム生成部３８１からのヒストグラムとともに、区間分割部３８３に供給する。
【０２８６】
区間分割部３８３は、最大値最小値取得部３８２からの最大の画素値Maxと最小の画素値Minとに対して、次式（１３）を適用することにより区間幅stepを算出し、最大値最小値取得部３８２からのヒストグラムを、次式（１４）の区間１、及び式（１５）の区間２の２つの区間に分割し、頻度検出部３８４に供給する。
【０２８７】
【数１３】
2009182936.tif 000015
【０２８８】
なお、'[]'は、ガウス記号であり、従って、[Max-Min+1]は、Max-Min+1の整数部分を示している。
【０２８９】
【数１４】
2009182936.tif 000016
【０２９０】
【数１５】
2009182936.tif 000017
【０２９１】
頻度検出部３８４は、区間分割部３８３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出して、頻度比較部３８５に供給する。
【０２９２】
頻度比較部３８５は、頻度検出部３８４からの頻度Freqn（n=1,2）と閾値Freqthを比較することにより、次式（１６）を満たすか否かを判定し、その判定結果に基づいて、広域波形クラスタップのピークレベル方向の偏りが存在するか否かを判定する。
【０２９３】
【数１６】
2009182936.tif 000018
【０２９４】
ここで、閾値Freqthは、頻度Freq1と頻度Freq2のうちの、値が大の頻度を、任意の正の整数Z3で除算することにより得られた値であり、nは、値１及び２をとる。なお、シミュレーションにより、Z3に設定する値として、例えば、２を採用することにより、良好な結果を得ることがわかっている。
【０２９５】
頻度比較部３８５は、広域波形クラスタップのピークレベル方向の偏りが存在するか否かの判定結果に基づいて、注目画素を、複数のピークレベル方向クラスのうちのいずれかのクラスにクラス分けする。
【０２９６】
頻度比較部３８５は、クラス分けにより得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、広域クラス出力部３５３に出力する。
【０２９７】
図２９は、図２８のヒストグラム生成部３８１により生成されるヒストグラムの一例を示す図である。
【０２９８】
図２９において、横軸は、画素の画素値を示しており、縦軸は、横軸の画素値に対応する画素数（度数）を示している。
【０２９９】
ヒストグラム生成部３８１は、処理選択部３５１からの広域波形クラスタップに基づいて、広域波形クラスタップのヒストグラム（図２９）を生成し、最大値最小値取得部３８２に供給する。
【０３００】
最大値最小値取得部３８２は、ヒストグラム生成部３８１からのヒストグラムのうちの、最大の画素値Max及び最小の画素値Minを取得し、ヒストグラム生成部３８１からのヒストグラムとともに、区間分割部３８３に供給する。
【０３０１】
区間分割部３８３は、最大値最小値取得部３８２からの最大の画素値Max及び最小の画素値Minに基づいて、最大値最小値取得部３８２からのヒストグラムを、式（１４）に示す区間１、及び式（１５）に示す区間２の２つの区間に分割し、頻度検出部３８４に供給する。
【０３０２】
頻度検出部３８４は、区間分割部３８３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出して、頻度比較部３８５に供給する。
【０３０３】
頻度比較部３８５は、頻度検出部３８４からの頻度Freqnと閾値Freqthを比較することにより、式（１６）を満たすか否かを判定し、その判定結果に基づいて、広域波形クラスタップのピークレベル方向の偏りが存在するか否かを判定する。
【０３０４】
また、頻度比較部３８５は、広域波形クラスタップのピークレベル方向の偏りが存在するか否かの判定結果に基づいて、注目画素を、複数のピークレベル方向クラスのうちのいずれかのクラスにクラス分けする。
【０３０５】
さらに、頻度比較部３８５は、クラス分けにより得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、広域クラス出力部３５３に出力する。
【０３０６】
次に、図３０及び図３１を参照して、図２８の頻度比較部３８５が出力するピークレベル方向クラスコードについて説明する。
【０３０７】
図３０は、頻度比較部３８５により判定される、広域波形クラスタップの波形のピークレベル方向の偏りについて説明する図である。
【０３０８】
図３０Ａないし図３０Ｃにおいて、横軸は、画素の位置を示しており、縦軸は、画素の画素値を示している。
【０３０９】
図３０Ａ及び図３０Ｂに示す広域波形クラスタップの波形は、ピークレベル方向に偏りがある波形を示している。図３０Ｃに示す広域波形クラスタップの波形は、ピークレベル方向に偏りがない波形を示している。
【０３１０】
即ち、図３０Ａに示す広域波形クラスタップの波形は、図３０Ａの上方向に画素値のピークレベル（極値）を有する上に凸の波形であって、画素が、図３０Ａに示すピークレベルと比較して低い画素値に偏在する波形を示している。
【０３１１】
また、図３０Ｂに示す広域波形クラスタップの波形は、図３０Ｂの下方向に画素値のピークレベルを有する下に凸の波形であって、画素が、図３０Ｂに示すピークレベルと比較して高い画素値に偏在する波形を示している。
【０３１２】
さらに、図３０Ｃに示す広域波形クラスタップの波形は、上に凸の波形と、下に凸の波形とにより構成され、上方向及び下方向のいずれにも、画素値のピークレベルを有する波形を示しており、画素が、低い画素値と、高い画素値とのいずれにも偏在しない波形を示している。
【０３１３】
図３１は、広域波形クラスタップの波形が、図３０に示す３つのいずれかの波形とみなされるときの条件を示す図である。
【０３１４】
図３１において、左から１番目の欄には、注目画素が、ピークレベル方向分類処理によりクラス分けされるピークレベル方向クラスに対応するピークレベル方向クラスコードＰ１，Ｐ２及びＰ３が示されている。
【０３１５】
図３１において、左から２番目の欄には、区間１内の画素数を表す頻度Freq1が式（１６）を満たす場合、式（１６）が真であることを示す値１が示されており、区間１内の画素数を表す頻度Freq1が式（１６）を満たさない場合、式（１６）が偽であることを示す値０が示されている。
【０３１６】
また、左から３番目の欄には、区間２内の画素数を表す頻度Freq2が式（１６）を満たす場合、式（１６）が真であることを示す値１が示されており、区間２内の画素数を表す頻度Freq2が式（１６）を満たさない場合、式（１６）が偽であることを示す値０が示されている。
【０３１７】
さらに、左から４番目の欄には、ピークレベルが存在する方向を表すピークレベル方向が示されている。
【０３１８】
図２８の頻度比較部３８５は、図３１の２行目に示すように、頻度検出部３８４からの頻度Freq1についての式（１６）が真（値１）であり、かつ、頻度検出部３８４からの頻度Freq2についての式（１６）が偽（値０）である場合、広域波形クラスタップの波形が、図３０Ａに示すような、上方向にピークレベルを有し、画素が、ピークレベルと比較して低い画素値に偏在する波形であるとみなして、注目画素を、上方向にピークレベルを有し、ピークレベル方向に偏りがあることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ１を、広域クラス出力部３５３に供給する。
【０３１９】
また、頻度比較部３８５は、図３１の３行目に示すように、頻度検出部３８４からの頻度Freq1についての式（１６）が偽（値０）であり、かつ、頻度検出部３８４からの頻度Freq2についての式（１６）が真（値１）である場合、広域波形クラスタップの波形が、図３０Ｂに示すような、下方向にピークレベルを有し、画素が、ピークレベルと比較して高い画素値に偏在する波形であるとみなして、注目画素を、下方向にピークレベルを有し、ピークレベル方向に偏りがあることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ２を、広域クラス出力部３５３に供給する。
【０３２０】
さらに、頻度比較部３８５は、図３１の４行目に示すように、頻度検出部３８４からの頻度Freq1についての式（１６）、及び頻度Freq2についての式（１６）がいずれも真（値１）である場合、広域波形クラスタップの波形が、図３０Ｃに示すような、上方向及び下方向のいずれにもピークレベルを有し、画素が、低い画素値と高い画素値とのいずれにも偏在しない波形であるとみなして、注目画素を、ピークレベル方向に偏りがないことを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ３を、広域クラス出力部３５３に供給する。
【０３２１】
次に、図３２は、図２７の広域波形クラス分類部３５が行う広域波形クラス分類処理により、注目画素がクラス分けされる広域波形クラスの一例を示す図である。
【０３２２】
即ち、図３２は、図２７の広域クラス出力部３５３により特定される注目画素の広域波形クラスの一例を示す図である。
【０３２３】
図３２において、広域波形クラス１は、空間的にアクティビティの偏りがあることを示すアクティビティクラスに対応するアクティビティクラスコードＳ１のみが、広域クラス出力部３５３に供給されたときに、アクティビティクラスコードＳ１により特定される注目画素の広域波形クラスを示している。
【０３２４】
また、広域波形クラス２は、空間的にアクティビティの偏りがないことを示すアクティビティクラスに対応するアクティビティクラスコードＳ２、及びレベル変化に偏りがあることを示すレベル変化クラスに対応するレベル変化クラスコードＬ１が、広域クラス出力部３５３に供給されたときに、アクティビティクラスコードＳ２、及びレベル変化クラスコードＬ１により特定される注目画素の広域波形クラスを示している。
【０３２５】
さらに、広域波形クラス３は、空間的にアクティビティの偏りがないことを示すアクティビティクラスに対応するアクティビティクラスコードＳ２、レベル変化に偏りがないことを示すレベル変化クラスに対応するレベル変化クラスコードＬ２、及び、上方向にピークレベルを有し、ピークレベル方向に偏りがあることを示すピークレベル方向クラスコードＰ１が、広域クラス出力部３５３に供給されたときに、アクティビティクラスコードＳ２、レベル変化クラスコードＬ２、及びピークレベル方向クラスコードＰ１により特定される注目画素の広域波形クラスを示している。
【０３２６】
さらに、広域波形クラス４は、空間的にアクティビティの偏りがないことを示すアクティビティクラスに対応するアクティビティクラスコードＳ２、レベル変化に偏りがないことを示すレベル変化クラスに対応するレベル変化クラスコードＬ２、及び、下方向にピークレベルを有し、ピークレベル方向に偏りがあることを示すピークレベル方向クラスコードＰ２が、広域クラス出力部３５３に供給されたときに、アクティビティクラスコードＳ２、レベル変化クラスコードＬ２、及びピークレベル方向クラスコードＰ２により特定される注目画素の広域波形クラスを示している。
【０３２７】
また、広域波形クラス５は、空間的にアクティビティの偏りがないことを示すアクティビティクラスに対応するアクティビティクラスコードＳ２、レベル変化に偏りがないことを示すレベル変化クラスに対応するレベル変化クラスコードＬ２、及びピークレベル方向に偏りがないことを示すピークレベル方向クラスに対応するピークレベル方向クラスコードＰ３が、広域クラス出力部３５３に供給されたときに、アクティビティクラスコードＳ２、レベル変化クラスコードＬ２、及びピークレベル方向クラスコードＰ３により特定される注目画素の広域波形クラスを示している。
【０３２８】
図２７の広域クラス出力部３５３（広域波形クラス分類部３５）は、図３２に示すように、処理選択部２３１からのアクティビティクラスコード、処理選択部３５１からのレベル変化クラスコード、又はピークレベル方向分類部３５２からのピークレベル方向クラスコードに基づいて、注目画素の広域波形クラスを特定し、その注目画素の広域波形クラスに対応する広域波形クラスコードを、図３の係数ROM３６に出力する。
【０３２９】
次に、図３３のフローチャートを参照して、図２７の広域波形クラス分類部３５が行う、図１５のステップＳ５における広域波形クラス分類処理を説明する。
【０３３０】
なお、ステップＳ２８１では、図２４のステップＳ１６１と同様の処理が行われる。
【０３３１】
処理は、ステップＳ２８１からステップＳ２８２に進み、処理選択部２３１は、空間アクティビティ分布分類部６１からのアクティビティクラスコードに基づいて、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがあることを示すものであるか否かを判定する。
【０３３２】
ステップＳ２８２において、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがないことを示すものであると判定された場合、処理選択部２３１は、空間アクティビティ分布分類部６１からの広域波形クラスタップを、レベル変化分類部２３２に供給して、処理は、ステップＳ２８３に進む。
【０３３３】
また、ステップＳ２８２では、処理選択部２３１は、空間アクティビティ分布分類部６１からのアクティビティクラスコードを、広域クラス出力部３５３に供給する。
【０３３４】
ステップＳ２８３において、レベル変化分類部２３２は、図２４のステップＳ１６３と同様に、処理選択部２３１から広域波形クラスタップが供給されたことに対応し、その広域波形クラスタップの波形のレベル変化の偏りに基づいて、注目画素を、複数のレベル変化クラスのうちのいずれかのクラスにクラス分けするレベル変化分類処理を行い、その結果得られた注目画素のレベル変化クラスに対応するレベル変化クラスコードを、処理選択部２３１からの広域波形クラスタップとともに、処理選択部３５１に供給して、処理は、ステップＳ２８４に進む。
【０３３５】
なお、ステップＳ２８２において、注目画素のアクティビティクラスが、空間的にアクティビティの偏りがあることを示すものであると判定された場合、処理は、ステップＳ２８３乃至ステップＳ２８５をスキップして、ステップＳ２８６に進む。
【０３３６】
ステップＳ２８４において、処理選択部３５１は、レベル変化分類部２３２からのレベル変化クラスコードに基づいて、注目画素のレベル変化クラスが、レベル変化の方向に偏りがあることを示すものであるか否かを判定する。
【０３３７】
ステップＳ２８４において、レベル変化分類部２３２からのレベル変化クラスコードが、レベル変化の方向に偏りがあることを示すものであると判定された場合、処理は、ステップＳ２８５をスキップしてステップＳ２８６に進む。
【０３３８】
一方、ステップＳ２８４において、レベル変化分類部２３２からのレベル変化クラスコードが、レベル変化の方向に偏りがないことを示すものであると判定された場合、処理選択部３５１は、レベル変化分類部２３２からの広域波形クラスタップを、ピークレベル方向分類部３５２に供給し、処理は、ステップＳ２８５に進む。
【０３３９】
また、ステップＳ２８４では、処理選択部３５１は、レベル変化分類部２３２からのレベル変化クラスコードを、広域クラス出力部３５３に供給する。
【０３４０】
ステップＳ２８５において、ピークレベル方向分類部３５２は、処理選択部３５１から広域波形クラスタップが供給されたことに対応し、その広域波形クラスタップの波形のピークレベル方向の偏りに基づいて、注目画素を、複数のピークレベル方向クラスのうちのいずれかのクラスにクラス分けするピークレベル方向分類処理を行う。
【０３４１】
また、ステップＳ２８５では、ピークレベル方向分類部３５２は、ピークレベル方向分類処理により得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、広域クラス出力部３５３に供給して、処理は、ステップＳ２８６に進む。
【０３４２】
ステップＳ２８６において、広域クラス出力部３５３は、処理選択部２３１からのアクティビティクラスコード、処理選択部３５１からのレベル変化クラスコード、及びピークレベル方向分類部３５２からのピークレベル方向クラスコードが供給された場合、注目画素を、そのアクティビティクラスコード、レベル変化クラスコード、及びピークレベル方向クラスコードの組合せにより特定される広域波形クラスにクラス分けする。
【０３４３】
また、ステップＳ２８６では、広域クラス出力部３５３は、処理選択部２３１からのアクティビティクラスコードと、処理選択部３５１からのレベル変化クラスコードとが供給された場合、注目画素を、そのアクティビティクラスコードとレベル変化クラスコードとの組合せにより特定される広域波形クラスにクラス分けする。
【０３４４】
さらに、ステップＳ２８６では、広域クラス出力部３５３は、処理選択部２３１からのアクティビティクラスコードのみが供給された場合、注目画素を、そのアクティビティクラスコードにより特定される広域波形クラスにクラス分けする。
【０３４５】
以上のように図３３の広域波形クラス分類処理が行われた後、広域クラス出力部３５３は、図３３の広域波形クラス分類処理の結果得られた注目画素の広域波形クラスに対応する広域波形クラスコードを、係数ROM３６に供給して、処理は、図１５のステップＳ５にリターンする。
【０３４６】
次に、図３４のフローチャートを参照して、図３３のステップＳ２８５のピークレベル方向分類処理を説明する。
【０３４７】
ステップＳ３１１において、ヒストグラム生成部３８１は、処理選択部３５１からの広域波形クラスタップを構成する複数の画素の画素値のヒストグラムを生成し、最大値最小値取得部３８２に供給する。
【０３４８】
ステップＳ３１２において、最大値最小値取得部３８２は、ヒストグラム生成部３８１からの広域波形クラスタップのヒストグラムに基づいて、広域波形クラスタップを構成する複数の画素の画素値のうちの、最大の画素値Maxと最小の画素値Minとを取得（検出）し、ヒストグラム生成部３８１からのヒストグラムとともに、区間分割部３８３に供給する。
【０３４９】
ステップＳ３１３において、区間分割部３８３は、最大値最小値取得部３８２からの最大の画素値Maxと最小の画素値Minとに対して、式（１３）を適用することにより区間幅stepを算出し、最大値最小値取得部３８２からのヒストグラムを、式（１４）の区間１、及び式（１５）の区間２の２つの区間に分割し、頻度検出部３８４に供給する。
【０３５０】
ステップＳ３１４において、頻度検出部３８４は、区間分割部３８３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出し、頻度比較部３８５に供給する。
【０３５１】
ステップＳ３１５において、頻度比較部３８５は、頻度検出部３８４からの頻度Freqnと閾値Freqthを比較することにより、式（１６）を満たすか否かを判定し、その判定結果に基づいて、広域波形クラスタップのピークレベル方向の偏りが存在するか否かを判定する。
【０３５２】
また、ステップＳ３１５において、頻度比較部３８５は、広域波形クラスタップのピークレベル方向の偏りが存在するか否かの判定結果に基づいて、注目画素を、複数のピークレベル方向クラスのうちのいずれかのクラスにクラス分けする。
【０３５３】
以上のようにして、図３４のピークレベル方向分類処理を行った後、頻度比較部３８５は、図３４のピークレベル方向分類処理の結果得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、広域クラス出力部３５３に供給して、処理は、図３３のステップＳ２８５にリターンする。
【０３５４】
以上のように、図３３の広域波形クラス分類処理では、空間的なアクティビティの偏り、及びレベル変化の偏りの他、ピークレベル方向の偏りにも基づいて広域波形クラス分類を行うこととしたので、例えば、空間的なアクティビティの偏りとともに、レベル変化方向の偏りに基づいて広域波形クラス分類を行う図２４の広域波形クラス分類処理と比較して、広域波形クラスタップの波形パターンをより詳細に取得することができる。従って、より精度が高い予測を行うことができるため、より高画質な画像を得ることができる。
【０３５５】
次に、図３５ないし図３９を参照して、図２７の広域波形クラス分類部３５により広域波形クラス分類される図３の画像処理装置１が画像変換処理を行うことにより、低解像度画像データを高解像度画像データに変換したときの高解像度画像データのSNRと、近傍波形クラスタップよりも広範囲に設ける複数の画素からなる拡大クラスタップを用いて従来のクラス分類適応処理を行うことにより、低解像度画像データを高解像度画像データに変換したときの高解像度画像データのSNRとを比較したシミュレーション結果を説明する。
【０３５６】
なお、図３５ないし図３９においては、高解像度画像データは、低解像度画像データの４倍の解像度を有しているものとする。
【０３５７】
図３５は、シミュレーションに用いたクラスタップを示す図である。
【０３５８】
図３５Ａは、従来のクラス分類適応処理において、黒丸で示す対応画素を中心として十字形に並ぶ９画素をクラスタップとして、１ビットADRC処理によりクラス分類を行うことによりクラス分けされるクラスの総数は５１２（=２9）クラスであることを示している。
【０３５９】
図３５Ｂは、画像変換処理（図１５及び図３３）において、黒丸で示す対応画素を中心として十字形に並ぶ９画素を近傍波形クラスタップとして、１ビットADRC処理により近傍波形クラス分類処理を行うことによりクラス分けされる近傍波形クラスの総数は５１２クラスであり、図２７の広域波形クラス分類部３５が行う広域波形クラス分類処理によりクラス分けされる広域波形クラスの総数は５クラスであることを示している。
【０３６０】
図３５Ｃは、従来のクラス分類適応処理において、黒丸で示す対応画素を中心として十字形に並ぶ１３画素を拡大クラスタップとして、１ビットADRC処理によりクラス分類を行うことによりクラス分けされるクラスの総数は8192（=２13）クラスであることを示している。
【０３６１】
ここで、従来のクラス分類適応処理において、クラスタップを、黒丸で示す対応画素を中心として十字形に並ぶ９画素として、予測タップを、黒丸で示す対応画素を中心として正方形に並ぶ２５画素として、予測画像（高解像度画像データ）を予測する処理を、以下、従来の画像変換処理という。
【０３６２】
また、画像変換処理（図１５及び図３３）において、図３５Ｂに示す対応画素を中心として十字形に並ぶ９画素を近傍波形クラスタップとして、近傍波形クラス分類処理を行い、図６に示す対応画素を中心として正方形に並ぶ１６９画素の波形の偏りに基づいて、広域波形クラス分類処理を行うとともに、予測タップ抽出部３１が抽出する予測タップを、黒丸で示す対応画素を中心として正方形に並ぶ２５画素として、予測画像を予測する処理を、以下、本発明の画像変換処理という。
【０３６３】
さらに、従来のクラス分類適応処理において、クラスタップを、図３５Ｃに示す対応画素を中心として十字形に並ぶ１３画素として、予測タップを、黒丸で示す対応画素を中心として正方形に並ぶ２５画素として、予測画像を予測する処理を、以下、従来のタップ拡大画像変換処理という。
【０３６４】
図３６は、予測係数の学習に用いた生徒画像から、予測画像を予測した場合のSNRを計測したシミュレーション結果を示している。
【０３６５】
図３６において、白色で示す棒グラフは、従来の画像変換処理により変換された高解像度画像データの画素（高解像度画素）のSNRを示しており、斜線で示す棒グラフは、本発明の画像変換処理により変換された高解像度画素のSNRを示している。また、黒色で示す棒グラフは、従来のタップ拡大画像変換処理により変換された高解像度画素のSNRを示している。
【０３６６】
なお、図３６において、横軸の広域波形クラス１ないし５は、それぞれ、広域波形クラス１ないし５それぞれにクラス分けされる高解像度画素を示すとともに、横軸のtotalはすべての高解像度画素を示している。また、縦軸は、SNRを示している。
【０３６７】
即ち、白色で示す棒グラフ、斜線で示す棒グラフ、及び黒色で示す棒グラフは、それぞれ、本発明の画像変換処理を適用した場合に広域波形クラス１ないし５それぞれにクラス分けされる高解像度画素のSNR、及びすべての高解像度画素のSNRを示している。
【０３６８】
図３７は、図３６において、従来の画像変換処理により変換された高解像度画素のSNRを基準として、本発明の画像変換処理により変換された高解像度画素のSNRと、従来のタップ拡大画像変換処理により変換された高解像度画素のSNRとを示す図である。
【０３６９】
図３７において、斜線で示す棒グラフは、本発明の画像変換処理により変換された高解像度画素のSNRから、従来の画像変換処理により変換された高解像度画素のSNRを減算して得られた差分を示している。
【０３７０】
また、黒色で示す棒グラフは、従来のタップ拡大画像変換処理により変換された高解像度画素のSNRから、従来の画像変換処理により変換された高解像度画素のSNRを減算して得られた差分を示している。
【０３７１】
なお、図３７において、横軸の広域波形クラス１ないし５は、それぞれ、広域波形クラス１ないし５それぞれにクラス分けされる高解像度画素を示すとともに、横軸のtotalはすべての高解像度画素を示している。また、縦軸は、従来の画像変換処理により変換された高解像度画素のSNRとの差分を示している。
【０３７２】
生徒画像から予測画像を予測する場合には、図３７に示すように、クラスの総数が多い従来のタップ拡大画像変換処理の方が、本発明の画像変換処理と比較して、全体的に、予測画像の予測精度が高いことがわかる。
【０３７３】
図３８は、予測係数の学習に用いた生徒画像とは異なる、低解像度画像データとしての画像から、予測画像を予測した場合のSNRを計測したシミュレーション結果を示している。
【０３７４】
なお、図３８に示す棒グラフは、図３６に示す棒グラフと同様であることから、説明は省略する。
【０３７５】
図３９は、図３８において、従来の画像変換処理により変換された高解像度画素のSNRを基準として、本発明の画像変換処理により変換された高解像度画素のSNRと、従来のタップ拡大画像変換処理により変換された高解像度画素のSNRとを示す図である。
【０３７６】
なお、図３９に示す棒グラフは、図３７に示す棒グラフと同様であることから、説明は省略する。
【０３７７】
予測係数の学習に用いた生徒画像とは異なる画像から予測画像を予測する場合には、図３９に示すように、本発明の画像変換処理の方が、従来のタップ拡大画像変換処理と比較して、全体的に、予測画像の予測精度が高いことがわかる。
【０３７８】
予測画像を予測する場合、予測画像の予測に用いる画像が、予測係数の学習に用いた生徒画像と同一の画像であることは極めて稀であることから、予測係数の学習に用いた生徒画像とは異なる画像から、予測精度が高い予測画像を予測する本発明の画像変換処理は、非常に有用である。
【０３７９】
上述した図１６の広域波形クラス分類処理では、空間的なアクティビティの偏りに基づいて、注目画素の広域波形クラスを特定することを説明したが、例えば、レベル変化の偏り、又はピークレベル方向の偏りのうちのいずれか一方に基づいて、注目画素の広域波形クラスを特定することが可能である。
【０３８０】
また、上述した図２４の広域波形クラス分類処理では、空間的なアクティビティの偏り、及びレベル変化の偏りに基づいて、注目画素の広域波形クラスを特定することを説明したが、例えば、空間的なアクティビティの偏り、及びピークレベル方向の偏りに基づいて、注目画素の広域波形クラスを特定することが可能であり、また、レベル変化の偏り、及びピークレベル方向の偏りに基づいて、注目画素の広域波形クラスを特定することが可能である。
【０３８１】
さらに、図１９の学習装置１７１では、高解像度画像データに相当する画像を教師画像とするとともに、教師画像をサブサンプリングすることにより得られた低解像度画像データに相当する画像を生徒画像として、近傍波形クラス及び広域波形クラス毎の予測係数を算出することとしたが、その他、同一の被写体を解像度が異なるカメラで撮像し、解像度が高いカメラで撮像して得られた画像を教師画像とするとともに、解像度が低いカメラで撮像して得られた画像を生徒画像として、近傍波形クラス及び広域波形クラス毎の予測係数を算出するようにすることが可能である。
【０３８２】
なお、本発明を適用した画像処理装置としては、例えば、テレビジョン受像機や、ハードディスクレコーダ等を採用することができる。
【０３８３】
ところで、上述した図３の画像処理装置１、及び図１９の学習装置１７１が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０３８４】
図４０は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０３８５】
CPU（Central Processing Unit）４１１は、ROM（Read Only Memory）４１２、または記憶部４１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４１３には、CPU４１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU４１１、ROM４１２、およびRAM４１３は、バス４１４により相互に接続されている。
【０３８６】
CPU４１１にはまた、バス４１４を介して入出力インタフェース４１５が接続されている。入出力インタフェース４１５には、キーボード、マウス、マイクロホンなどよりなる入力部４１６、ディスプレイ、スピーカなどよりなる出力部４１７が接続されている。CPU４１１は、入力部４１６から入力される指令に対応して各種の処理を実行する。そして、CPU４１１は、処理の結果を出力部４１７に出力する。
【０３８７】
入出力インタフェース４１５に接続されている記憶部４１８は、例えばハードディスクからなり、CPU４１１が実行するプログラムや各種のデータを記憶する。通信部４１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３８８】
また、通信部４１９を介してプログラムを取得し、記憶部４１８に記憶してもよい。
【０３８９】
入出力インタフェース４１５に接続されているドライブ４２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部４１８に転送され、記憶される。
【０３９０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図４０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４２１、または、プログラムが一時的もしくは永続的に格納されるROM４１２や、記憶部４１８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部４１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３９１】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３９２】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３９３】
【図１】従来のクラス分類適応処理において、低解像度の画像データから抽出されるクラスタップの複数の画素の変化の一例を示す図である。
【図２】本発明の一実施の形態である画像処理装置の構成例を示す図である。
【図３】図２の画像処理装置１の詳細な構成例を示すブロック図である。
【図４】図３の広域波形クラス分類部３５の第１の構成例を示すブロック図である。
【図５】図４の空間アクティビティ分布分類部６１の構成例を示すブロック図である。
【図６】広域波形クラスタップの一例を示す図である。
【図７】広域波形クラスタップの定常方向の検出方法を説明する図である。
【図８】定常方向が垂直方向である場合の判定タップを示す図である。
【図９】定常方向が右斜め上方向である場合の判定タップを示す図である。
【図１０】定常方向が水平方向である場合の判定タップを示す図である。
【図１１】定常方向が左斜め上方向である場合の判定タップを示す図である。
【図１２】代表値DL及びDRの算出方法を説明する図である。
【図１３】空間的にアクティビティの偏りがある波形及び空間的にアクティビティの偏りがない波形の一例を示す図である。
【図１４】空間的にアクティビティの偏りがある広域波形クラスタップ、及び空間的にアクティビティの偏りがない広域波形クラスタップを示す図である。
【図１５】図３の画像処理装置が行う画像変換処理を説明するフローチャートである。
【図１６】図１５のステップＳ４における広域波形クラス分類を説明する第１のフローチャートである。
【図１７】図１６のステップＳ３１における空間アクティビティ空間分類処理を説明するフローチャートである。
【図１８】図１７のステップＳ６３における領域別代表値取得処理を説明するフローチャートである。
【図１９】学習装置の構成例を示すブロック図である。
【図２０】図１９の学習装置が行う学習処理を説明するフローチャートである。
【図２１】図３の広域波形クラス分類部３５の第２の構成例を示すブロック図である。
【図２２】図２１のレベル変化分類部２３２の構成例を示すブロック図である。
【図２３】レベル変化の方向に偏りがある波形、及びレベル変化の方向に偏りがない波形の一例を示す図である。
【図２４】図２１の広域波形クラス分類部３５が行う広域波形クラス分類処理を説明するフローチャートである。
【図２５】図２４のステップＳ１６３におけるレベル変化分類処理を説明するフローチャートである。
【図２６】図２５のステップＳ１９３における符号別代表値取得処理を説明するフローチャートである。
【図２７】図３の広域波形クラス分類部３５の第３の構成例を示すブロック図である。
【図２８】図２７のピークレベル方向分類部３５２の構成例を示すブロック図である。
【図２９】ヒストグラムの一例を示す図である。
【図３０】ピークレベル方向に偏りがある波形、及びピークレベル方向に偏りがない波形の一例を示す図である。
【図３１】ピークレベル方向クラスコードについて説明する図である。
【図３２】広域波形クラスの一例を示す図である。
【図３３】図２７の広域波形クラス分類部３５が行う広域波形クラス分類処理を説明するフローチャートである。
【図３４】図３３のステップＳ２８５におけるピークレベル方向分類処理を説明するフローチャートである。
【図３５】シミュレーションに用いたクラスタップを示す図である。
【図３６】シミュレーション結果を示す第１の図である。
【図３７】シミュレーション結果を示す第２の図である。
【図３８】シミュレーション結果を示す第３の図である。
【図３９】シミュレーション結果を示す第４の図である。
【図４０】コンピュータの構成例を示す図である。
【符号の説明】
【０３９４】
１  画像処理装置，  ３１  予測タップ抽出部，  ３２  近傍タップ抽出部，  ３３  近傍波形クラス分類部，  ３４  広域タップ抽出部，  ３５  広域波形クラス分類部，  ３６  係数ROM，  ３７  予測演算部，  ６１  空間アクティビティ分布分類部，  ６２  広域クラス出力部，  ９１  定常方向検出部，  ９２  タップ構築部，  ９３  代表値取得部，  ９４  代表値比較部，  １７１  学習装置，  ２０１  サブサンプリング部，  ２０２  予測タップ抽出部，  ２０３  近傍タップ抽出部，  ２０４  近傍波形クラス分類部，  ２０５  広域タップ抽出部，  ２０６  広域波形クラス分類部，  ２０７  足し込み部，  ２０８  係数算出部，  ２３１  処理選択部２３１，  ２３２  レベル変化分類部，  ２３３  広域クラス出力部，  ２６１  定常方向検出部，  ２６２  タップ構築部，  ２６３  代表値取得部，  ２６４  代表値比較部，  ３５１  処理選択部，  ３５２  ピークレベル方向分類部，  ３５３  広域クラス出力部，  ３８１  ヒストグラム生成部，  ３８２  最大値最小値取得部，  ３８３  区間分割部，  ３８４  頻度検出部，  ３８５  頻度比較部
【図１】
2009182936.tif 000019
【図２】
2009182936.tif 000020
【図３】
2009182936.tif 000021
【図４】
2009182936.tif 000022
【図５】
2009182936.tif 000023
【図６】
2009182936.tif 000024
【図７】
2009182936.tif 000025
【図８】
2009182936.tif 000026
【図９】
2009182936.tif 000027
【図１０】
2009182936.tif 000028
【図１１】
2009182936.tif 000029
【図１２】
2009182936.tif 000030
【図１３】
2009182936.tif 000031
【図１４】
2009182936.tif 000032
【図１５】
2009182936.tif 000033
【図１６】
2009182936.tif 000034
【図１７】
2009182936.tif 000035
【図１８】
2009182936.tif 000036
【図１９】
2009182936.tif 000037
【図２０】
2009182936.tif 000038
【図２１】
2009182936.tif 000039
【図２２】
2009182936.tif 000040
【図２３】
2009182936.tif 000041
【図２４】
2009182936.tif 000042
【図２５】
2009182936.tif 000043
【図２６】
2009182936.tif 000044
【図２７】
2009182936.tif 000045
【図２８】
2009182936.tif 000046
【図２９】
2009182936.tif 000047
【図３０】
2009182936.tif 000048
【図３１】
2009182936.tif 000049
【図３２】
2009182936.tif 000050
【図３３】
2009182936.tif 000051
【図３４】
2009182936.tif 000052
【図３５】
2009182936.tif 000053
【図３６】
2009182936.tif 000054
【図３７】
2009182936.tif 000055
【図３８】
2009182936.tif 000056
【図３９】
2009182936.tif 000057
【図４０】
2009182936.tif 000058