(57)【特許請求の範囲】
【請求項１】
第１の画像データを、より高画質の第２の画像データに変換する画像処理装置において、
前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出手段と、
前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、
前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
を備える画像処理装置。
【請求項２】
前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、
前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段と
をさらに備え、
前記レベル制限クラス分類手段は、
前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、
前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、
前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記学習によりあらかじめ求められて保持されている予測係数は、前記レベル制限クラスと前記波形パターンクラスの他、前記ピークレベル方向クラスとの複数の組合せにそれぞれ対応しており、
前記予測係数出力手段は、前記学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素のピークレベル方向クラスとの組合せに対応する予測係数を出力する
請求項２に記載の画像処理装置。
【請求項４】
第１の画像データを、より高画質の第２の画像データに変換する画像処理装置の画像処理方法において、
前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出ステップと、
前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、
前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出ステップと、
前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、
前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力ステップと、
前記予測係数出力ステップで出力された前記予測係数と、前記予測タップ抽出ステップで抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算ステップと
を含む画像処理方法。
【請求項５】
第１の画像データを、より高画質の第２の画像データに変換する画像処理装置として、コンピュータを機能させるプログラムにおいて、
前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出手段と、
前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、
前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
して、コンピュータを機能させるプログラム。
【請求項６】
第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置において、
学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出手段と、
前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
を備える学習装置。
【請求項７】
前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、
前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段と
をさらに備え、
前記レベル制限クラス分類手段は、
前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、
前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、
前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段と
を有する
請求項６に記載の学習装置。
【請求項８】
前記予測係数算出手段は、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素の前記ピークレベル方向クラスとの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める
請求項７に記載の学習装置。
【請求項９】
第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置の学習方法において、
学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出ステップと、
前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、
前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出ステップと、
前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、
前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、
前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出ステップと
を含む学習方法。
【請求項１０】
第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置として、コンピュータを機能させるプログラムにおいて、
学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、
前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出手段と、
前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関し、特に、例えば、より高画質の画像に変換できるようにした画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関する。
【背景技術】
【０００２】
本出願人は、例えば、低解像度の画像データを、より解像度が高い高解像度の画像データに変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
【０００３】
クラス分類適応処理では、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）が決定され、注目画素の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周囲に存在する複数の画素がクラスタップとして抽出され、クラスタップを構成する複数の画素に基づいて、注目画素が複数のクラスのうちのいずれかのクラスに分類される。
【０００４】
また、クラス分類適応処理では、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素が予測タップとして抽出され、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素が予測（生成）される。
【０００５】
なお、予測係数は、学習用の教師画像データ及び生徒画像データを用いた学習により予め求められている。
【０００６】
【特許文献１】特開平５−３２８１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
次に、図１は、従来のクラス分類適応処理を行う画像処理装置に入力される入力信号と、その画像処理装置により、入力信号に対してクラス分類適応処理が行われて出力される出力信号との関係を示す図である。
【０００８】
図１において、縦軸は、画素の画素値を示している。なお、入力信号及び出力信号は、いずれも８ビットの信号であり、下限レベル０から上限レベル２５５の範囲内で、入力信号及び出力信号の画素値が表現される。
【０００９】
図１左下に示す入力信号Ａは、画素値が下限レベル０に近い複数の画素の画素値を示す信号であって、かつ、上に凸の形状を有する信号を示している。図１右下に示す出力信号Ａ'は、入力信号Ａにクラス分類適応処理を行うことにより得られた信号を示している。
【００１０】
また、図１左上に示す入力信号Ｂは、画素値が上限レベル２５５に近い複数の画素の画素値を示す信号であって、かつ、上に凸の形状を有する信号を示している。図１右上に示す出力信号Ｂ'は、入力信号Ｂにクラス分類適応処理を行うことにより得られた信号を示している。
【００１１】
従来のクラス分類適応処理においては、図１右下に示すように、入力信号Ａに対してクラス分類適応処理を行うことにより予測された出力信号Ａ'の画素の画素値が、８ビットで表現可能な許容範囲（下限レベル０以上であって、上限レベル２５５以下の範囲）内となる場合、そのまま、出力信号Ａ'が出力される。
【００１２】
しかしながら、図１右上に示すように、入力信号Ｂに対してクラス分類適応処理を行うことにより予測された出力信号Ｂ'の画素の画素値が、上限レベル２５５を上回り、許容範囲外となる場合、上限レベル２５５を超えた信号が、上限レベル２５５にまで低減されて出力される。
【００１３】
この場合、クラス分類適応処理の処理結果として、本来出力されるべき出力信号Ｂ'とは全く異なる信号が出力されることになり、出力信号Ｂ'をそのまま出力するときと比較して、画質が劣化する。
【００１４】
ここで、上に凸の形状を有する入力信号に対して、クラス分類適応処理を行う場合、一般的には、処理対象である入力信号の画素値よりも大きい画素値が、処理結果である出力信号として得られる。
【００１５】
従って、クラス分類適応処理において、入力信号（入力信号Ａ又はＢ）の画素値の分布が上限レベル２５５に近い程、出力信号の画素値は、上限レベル２５５を上回ることが多くなり、上述した画質の劣化が生じやすくなる。
【００１６】
また、クラス分類適応処理では、図２及び図３で後述するように、入力信号のダイナミックレンジが大きい程、出力信号の画素値は大きくなる。従って、入力信号のダイナミックレンジが大きい程、出力信号の画素値は、上限レベル２５５を超えることが多くなり、やはり、上述した画質の劣化が生じやすくなる。
【００１７】
なお、入力信号のダイナミックレンジとは、入力信号が示す複数の画素の画素値のうち、最大の画素値から最小の画素値を減算して得られる値をいう。
【００１８】
次に、図２及び図３を参照して、入力信号のダイナミックレンジが大きい程、出力信号の画素値は大きくなることを説明する。
【００１９】
図２は、従来のクラス分類適応処理において、入力信号のダイナミックレンジと、入力信号から得られる出力信号との関係を示している。
【００２０】
図２左側に示す入力信号αは、対応画素x0を中心として、水平方向に並ぶ３画素x0,x1、及びx2の画素値を示している。また、入力信号αのダイナミックレンジDR(Dynamic Range)αはΔx1である。
【００２１】
図２右側に示す入力信号βは、図２左側に示す対応画素x0の画素値と同一の画素値をとる対応画素x0を中心として、水平方向に並ぶ３画素x0,x1、及びx2の画素値を示している。また、入力信号βのダイナミックレンジDRβは2Δx1である。
【００２２】
従来のクラス分類適応処理では、例えば、入力信号に対応する複数の画素x0，x1，x2と、あらかじめ求めておいた予測係数w0，w1，w2との予測演算（積和演算）により、出力信号が予測される。
【００２３】
従って、入力信号αから予測される出力信号y1'は、w0x0+w1(x0-Δx1)+w2(x0-Δx2)=(w0+w1+w2)x0-(w1Δx1+w2Δx2)となり、-(w1Δx1+w2Δx2)をΔy'とおけば、出力信号はy1'≒x0+Δy'となる。
【００２４】
なお、予測係数w0，w1、及びw2は、w0+w1+w2≒1.0及びw1Δx1+w2Δx2<0を満たしている。
【００２５】
また、入力信号βから予測される出力信号y2'は、w0x0+w1(x0-2Δx1)+w2(x0-2Δx2)=(w0+w1+w2)x0-2(w1Δx1+w2Δx2)≒x0+2Δy'となる。
【００２６】
従って、入力信号のダイナミックレンジが大きい程、入力信号から予測される出力信号は大きな値となる。
【００２７】
次に、図３は、対応画素x0が上限レベル２５５に近い場合であって、図２の入力信号α及びβが、８ビットの信号である場合に、入力信号αから予測される出力信号、及び入力信号βから予測される出力信号について説明する図である。
【００２８】
図３左側において、入力信号αから予測される出力信号y1'は、上限レベル２５５に近い値となるが、上限レベル２５５以下の値であるため、許容範囲内となる。
【００２９】
図３右側において、入力信号βのダイナミックレンジDRβ（=2Δx1）は、入力信号αのダイナミックレンジDRα（=Δx1）よりも大きいダイナミックレンジとなるため、入力信号βから予測される出力信号y2'は、入力信号αから予測される出力信号y1'と比較して大きな値となり、上限レベル２５５を上回って、許容範囲外となる。
【００３０】
このように、対応画素x0から上限レベル２５５までの範囲が同一であっても、ダイナミックレンジの大きさによっては、入力信号から予測される出力信号が上限レベル２５５を上回ってしまうことがある。
【００３１】
従って、上述したように、入力信号のダイナミックレンジが大きい程、出力信号の画素値は、上限レベル２５５を超えることが多くなるため、やはり、画質の劣化が生じやすくなる。
【００３２】
以上のように、一般的に、入力信号のダイナミックレンジが大きい程、出力信号は、大きな値となり、上限レベルを上回るものになってしまう傾向がある。また、入力信号の画素値の分布が上限レベルに近い程、出力信号は、上限レベルを上回るものになってしまう傾向がある。
【００３３】
なお、下に凸の形状を有する入力信号に対して、クラス分類適応処理を行う場合、一般的には、処理対象である入力信号の画素値よりも小さい画素値が、処理結果である出力信号として得られる。従って、入力信号が下に凸の形状を有する場合についても同様に、入力信号のダイナミックレンジが大きい程、また、入力信号の画素値の分布が下限レベルに近い程、出力信号は、下限レベルを下回るものになってしまう傾向がある。
【００３４】
本発明はこのような状況に鑑みてなされたものであり、出力信号が、可能な限り、上限レベルを上回らないとともに、下限レベルを下回らないようにすることにより、高画質の画像を得ることができるようにするものである。
【課題を解決するための手段】
【００３５】
本発明の第１の側面の画像処理装置、又はプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理装置、又は、第１の画像データを、より高画質の第２の画像データに変換する画像処理装置として、コンピュータを機能させるプログラムであって、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出手段と、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段とを備える画像処理装置、又は画像処理装置として、コンピュータを機能させるプログラムである。
【００３６】
前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段とをさらに設けることができ、前記レベル制限クラス分類手段には、前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段とを有するようにすることができる。
【００３７】
前記学習によりあらかじめ求められて保持されている予測係数は、前記レベル制限クラスと前記波形パターンクラスの他、前記ピークレベル方向クラスとの複数の組合せにそれぞれ対応しており、前記予測係数出力手段では、前記学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素のピークレベル方向クラスとの組合せに対応する予測係数を出力することができる。
【００３８】
本発明の第１の側面の画像処理方法は、第１の画像データを、より高画質の第２の画像データに変換する画像処理装置の画像処理方法であって、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出ステップと、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出ステップと、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力ステップと、前記予測係数出力ステップで出力された前記予測係数と、前記予測タップ抽出ステップで抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算ステップとを含む画像処理方法である。
【００３９】
本発明の第１の側面においては、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理が行われ、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理が行われる。そして、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数が出力され、前記予測係数と、前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素が予測される。
【００４０】
本発明の第２の側面の学習装置、又はプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置、又は第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置として、コンピュータを機能させるプログラムであって、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出手段と、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段とを備える学習装置、又は学習装置として、コンピュータを機能させるプログラムである。
【００４１】
前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段とをさらに設けることができ、前記レベル制限クラス分類手段には、前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段とを有するようにすることができる。
【００４２】
前記予測係数算出手段では、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素の前記ピークレベル方向クラスとの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求めることができる。
【００４３】
本発明の第２の側面の学習方法は、第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置の学習方法であって、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出ステップと、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出ステップと、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出ステップとを含む学習方法である。
【００４４】
本発明の第２の側面においては、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出され、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出され、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出され、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理が行われ、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理が行われる。そして、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数が求められる。
【発明の効果】
【００４５】
本発明の第１の側面によれば、より高画質の画像を予測することができる。
【００４６】
また、本発明の第２の側面によれば、より高画質の画像を予測するための予測係数を学習することができる。
【発明を実施するための最良の形態】
【００４７】
以下、図面を参照して本実施の形態について説明する。
【００４８】
図４は、本発明の一実施の形態である画像処理装置の構成例を示している。
【００４９】
この画像処理装置１は、第１の画像データを、より高画質の第２の画像データに変換する画像変換処理を行う。
【００５０】
ここで、第１及び第２の画像データをどのように定義するかによって、画像処理装置１は様々な画像変換処理を実現することができる。
【００５１】
即ち、例えば、第１の画像データを低解像度の画像データとするとともに、第２の画像データを、第１の画像データよりも解像度が高い高解像度の画像データとすれば、画像変換処理は、解像度を向上させて高画質化させる解像度向上処理ということができる。
【００５２】
また、例えば、第１の画像データを低SNR(Signal to Noise Ratio)の画像データとするとともに、第２の画像データを、第１の画像データよりもSNRが高い高SNRの画像データとすれば、画像変換処理は、ノイズを除去して高画質化させるノイズ除去処理ということができる。
【００５３】
さらに、例えば、第１の画像データをSD（Standard Definition）画像データとするとともに、第２の画像データを、第１の画像データの画素数と解像度を大きくしたHD（High Definition）画像データとすれば、画像変換処理は、SD画像データをHD画像データに高画質化する変換処理ということができる。
【００５４】
以下、第１の画像データを低解像度の画像データとし、第２の画像データを、第１の画像データよりも解像度が高い高解像度の画像データとして、画像処理装置１における画像変換処理を説明する。
【００５５】
図５は、画像処理装置１の詳細な構成例を示している。
【００５６】
画像処理装置１は、予測タップ抽出部３０、ピークレベル方向クラスタップ抽出部３１、波形クラスタップ抽出部３２、レベル成分クラス分類部３３、波形パターンクラス分類部３４、係数ROM(Read Only Memory)３５、及び予測演算部３６により構成される。画像処理装置１において、外部から入力される第１の画像データは、予測タップ抽出部３０、ピークレベル方向クラスタップ抽出部３１、及び波形クラスタップ抽出部３２に供給される。
【００５７】
予測タップ抽出部３０は、第１の画像データの変換結果となる第２の画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
【００５８】
予測タップ抽出部３０は、注目画素（の画素値）を予測する予測演算に用いるための予測タップとして、注目画素に対応する、第１の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素（の画素値）、即ち、注目画素の位置に相当する、第１の画像データの位置に対して、空間的又は時間的に近い位置にある複数の画素を、供給された第１の画像データから抽出し、予測演算部３６に供給する。
【００５９】
なお、対応画素とは、注目画素の位置に相当する、第１の画像データの位置から最も近くに存在する第１の画像データの画素をいう。
【００６０】
また、予測タップ抽出部３０は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるレベル制限クラス分類処理に用いるためのレベル制限クラスタップ（後述する図８Ｂ）として、第１の画像データから抽出した予測タップを、レベル成分クラス分類部３３に供給する。
【００６１】
ここで、レベル制限クラスタップは、予測タップと同一のタップ構造（注目画素に対する同一の位置関係）を有するものとする他、異なるタップ構造を有するものとすることも可能であるが、予測タップとレベル制限クラスタップは、同一のタップ構造を有することが望ましい。
【００６２】
従って、本実施の形態では、予測タップ抽出部３０において、予測タップを、レベル制限クラスタップとして、レベル成分クラス分類部３３に供給している。
【００６３】
ピークレベル方向クラスタップ抽出部３１は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるピークレベル方向分類処理に用いるためのピークレベル方向クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、レベル成分クラス分類部３３に供給する。
【００６４】
波形クラスタップ抽出部３２は、注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、波形パターンクラス分類部３４に供給する。
【００６５】
レベル成分クラス分類部３３は、予測タップ抽出部３０からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップに基づいて、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理を行い、その結果得られる注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に供給する。
【００６６】
なお、レベル成分クラス分類部３３の詳細は、図６ないし図１５を参照して後述する。
【００６７】
波形パターンクラス分類部３４は、波形クラスタップ抽出部３２からの波形クラスタップを構成する複数の画素の画素値の変化を表す波形（波形クラスタップの波形）に基づいて、注目画素を、複数の波形パターンクラスのうち、波形クラスタップ抽出部３２からの波形クラスタップの波形の特徴を表すクラスにクラス分けする波形パターンクラス分類処理を行い、その結果得られる注目画素の波形パターンクラスに対応する波形パターンクラスコードを、係数ROM３５に供給する。
【００６８】
ここで、波形パターンクラス分類処理を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding) (適応的ダイナミックレンジ符号化)等を採用することができる。
【００６９】
ADRCを用いる方法では、波形クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素の波形パターンクラスが決定される。
【００７０】
なお、KビットADRCにおいては、例えば、波形クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、波形クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、波形クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、波形クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。
【００７１】
そして、以上のようにして得られる、波形クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、波形クラスタップが、例えば、１ビットADRC処理された場合には、その波形クラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７２】
なお、波形パターンクラス分類部３４には、例えば、波形クラスタップを構成する画素の画素値のレベル分布のパターンを、そのまま波形パターンクラスコードとして出力させることも可能である。しかしながら、この場合、波形クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、波形パターンクラス分類部３４が出力する波形パターンクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００７３】
従って、波形パターンクラス分類部３４においては、波形クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、波形パターンクラス分類処理を行うのが好ましい。
【００７４】
係数ROM３５は、後述する学習によって予め求められた、レベル成分クラスと波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数のセットを記憶（保持）している。
【００７５】
また、係数ROM３５は、記憶している予測係数のセットのうち、レベル成分クラス分類部３３からのレベル成分クラスコードと波形パターンクラス分類部３４からの波形パターンクラスコードとの組合せに対応するアドレスに記憶されている予測係数（レベル成分クラス分類部３３からのレベル成分クラスコードが表すレベル成分クラスと、波形パターンクラス分類部３４からの波形パターンクラスコードが表す波形パターンクラスとの組合せに対応する予測係数）を、予測演算部３６に出力する。
【００７６】
予測演算部３６は、予測タップ抽出部３０からの予測タップを構成する複数の画素と、係数ROM３５が出力する予測係数とを用いて、注目画素を予測（生成）する所定の予測演算（例えば、線形１次演算）を行う。これにより、予測演算部３６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【００７７】
図６は、図５のレベル成分クラス分類部３３の詳細な構成例を示している。
【００７８】
レベル成分クラス分類部３３は、ピークレベル方向分類部６１、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３により構成される。
【００７９】
ピークレベル方向分類部６１には、ピークレベル方向クラスタップ抽出部３１からピークレベル方向クラスタップが供給される。
【００８０】
ピークレベル方向分類部６１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムに基づいて、注目画素を、複数のピークレベル方向クラスのうち、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップのピークレベル方向を表すクラスにクラス分けするピークレベル方向分類処理を行う。
【００８１】
なお、ピークレベル方向とは、ピークレベル方向クラスタップを構成する複数の画素の画素値のピークレベル（極値）が存在する方向をいう。具体的には、例えば、図１に示されたように、上下方向にとった画素値を表す縦軸であって、かつ、上方向である程に画素値が大きくなる縦軸をとり、左右方向に画素の位置を表す横軸をとった場合に、ピークレベル方向クラスタップを構成する複数の画素の画素値の変化を表す波形（以下、ピークレベル方向クラスタップの波形ともいう）が凸となっている方向をいう。
【００８２】
従って、ピークレベル方向クラスタップの波形が上に凸の波形である場合には、ピークレベル方向クラスタップのピークレベル方向は上方向となる。この場合、注目画素は、ピークレベル方向が上方向であることを表すピークレベル方向クラスにクラス分けされる。
【００８３】
また、ピークレベル方向クラスタップの波形が下に凸の波形である場合には、ピークレベル方向クラスタップのピークレベル方向は下方向となる。この場合、注目画素は、ピークレベル方向が下方向であることを表すピークレベル方向クラスにクラス分けされる。
【００８４】
さらに、ピークレベル方向クラスタップの波形が上と下との両方に凸の波形である場合には、ピークレベル方向クラスタップのピークレベル方向は上方向と下方向との両方向となる。この場合、注目画素は、ピークレベル方向が両方向であることを表すピークレベル方向クラスにクラス分けされる。
【００８５】
ピークレベル方向分類部６１は、ピークレベル方向分類処理により得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
【００８６】
レベル制限クラス分類部６２は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向と、予測タップ抽出部３０からのレベル制限クラスタップとに応じて求められる許容レベル幅LWと、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRとの比に基づいて、注目画素を、複数のレベル制限クラスのうち、許容レベル幅LWとダイナミックレンジDRとの比に対応するクラスにクラス分けするレベル制限クラス分類処理を行う。
【００８７】
ここで、許容レベル幅LWとは、レベル制限クラスタップを構成する複数の画素の画素値の最大値から、所定の予測演算により予測される注目画素がとり得る画素値の上限を表す上限レベルまでの範囲、及び、所定の予測演算により予測される注目画素がとり得る画素値の下限を表す下限レベルから、レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のうち、注目画素の真値が存在する範囲の大きさ（幅）をいう。
【００８８】
レベル制限クラス分類部６２は、レベル制限クラス分類処理により得られた注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に供給する。
【００８９】
レベル成分クラス特定部６３は、ピークレベル方向分類部６１からのピークレベル方向クラスコード、及びレベル制限クラス分類部６２からのレベル制限クラスコードの組合せに基づいて、注目画素のレベル成分クラスを、複数のレベル成分クラスの中から特定する。
【００９０】
レベル成分クラス特定部６３は、特定された注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に出力する。
【００９１】
次に、図７は、図６のピークレベル方向分類部６１の詳細な構成例を示している。
【００９２】
ピークレベル方向分類部６１は、ヒストグラム生成部９１、最大値最小値取得部９２、区間分割部９３、頻度検出部９４、及び頻度比較部９５により構成される。
【００９３】
ヒストグラム生成部９１には、ピークレベル方向クラスタップ抽出部３１からピークレベル方向クラスタップが供給される。ヒストグラム生成部９１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムを生成し、最大値最小値取得部９２に供給する。
【００９４】
最大値最小値取得部９２は、ヒストグラム生成部９１からのピークレベル方向クラスタップのヒストグラムに基づいて、ピークレベル方向クラスタップを構成する複数の画素の画素値のうち、最大の画素値Maxと最小の画素値Minとを取得（検出）し、ヒストグラム生成部９１からのヒストグラムとともに、区間分割部９３に供給する。
【００９５】
区間分割部９３は、最大値最小値取得部９２からの最大の画素値Maxと最小の画素値Minとに対して、次式（１）を適用することにより区間幅stepを算出し、最大値最小値取得部９２からのヒストグラムを、次式（２）の区間１（画素値が小さい区間）、及び式（３）の区間２（画素値が大きい区間）の２つの区間に分割し、頻度検出部９４に供給する。
【００９６】
【数１】
0005050944.tif 000002
【００９７】
なお、'[]'は、ガウス記号であり、従って、[Max-Min+1]は、Max-Min+1の整数部分を示している。
【００９８】
【数２】
0005050944.tif 000003
【００９９】
【数３】
0005050944.tif 000004
【０１００】
頻度検出部９４は、区間分割部９３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出して、頻度比較部９５に供給する。
【０１０１】
頻度比較部９５は、頻度検出部９４からの頻度Freqn（n=1,2）と閾値Freqthを比較することにより、次式（４）を満たすか否かを判定し、その判定結果に基づいて、ピークレベル方向クラスタップのピークレベル方向を認識（検出）する。
【０１０２】
【数４】
0005050944.tif 000005
【０１０３】
ここで、閾値Freqthは、頻度Freq1と頻度Freq2のうち、値が大の頻度を、任意の正の整数Zで除算することにより得られた値であり、nは、値１及び２をとる。なお、シミュレーションにより、Zに設定する値として、例えば、２を採用することにより、良好な結果が得られることがわかっている。
【０１０４】
即ち、例えば、頻度Freq1が閾値Freqth以上であって、かつ、頻度Freq2が閾値Freqth未満である場合、ピークレベル方向クラスタップを構成する複数の画素の画素値は、画素値が小さい区間１に多くの画素値が偏在する。
【０１０５】
この場合、ピークレベル方向クラスタップの波形は、上に凸の形状の波形となるため、頻度比較部９５は、ピークレベル方向クラスタップのピークレベル方向を上方向であると認識する。
【０１０６】
また例えば、頻度Freq1が閾値Freqth未満であって、かつ、頻度Freq2が閾値Freqth以上である場合、ピークレベル方向クラスタップを構成する複数の画素の画素値は、画素値が大きい区間２に多くの画素値が偏在する。
【０１０７】
この場合、ピークレベル方向クラスタップの波形は、下に凸の形状の波形となるため、頻度比較部９５は、ピークレベル方向クラスタップのピークレベル方向を下方向であると認識する。
【０１０８】
さらに、例えば、頻度Freq1が閾値Freqth以上であって、かつ、頻度Freq2が閾値Freqth以上である場合、ピークレベル方向クラスタップを構成する複数の画素の画素値は、同程度、画素値が小さい区間１と、画素値が大きい区間２とに存在する。
【０１０９】
この場合、ピークレベル方向クラスタップの波形は、上に凸であって、かつ、下に凸の形状の波形となるため、頻度比較部９５は、ピークレベル方向クラスタップのピークレベル方向を上方向と下方向との両方向であると認識する。
【０１１０】
頻度比較部９５は、ピークレベル方向クラスタップの波形から認識されたピークレベル方向に基づいて、注目画素を、複数のピークレベル方向クラスのうち、ピークレベル方向クラスタップの波形から認識されたピークレベル方向（上方向、下方向、又は両方向）を表すクラスにクラス分けし、そのクラス分けにより得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に出力する。
【０１１１】
図８は、図５の予測タップ抽出部３０により抽出されるレベル制限クラスタップ、ピークレベル方向クラスタップ抽出部３１により抽出されるピークレベル方向クラスタップ、及び波形クラスタップ抽出部３２により抽出される波形クラスタップの一例を示している。
【０１１２】
図８Ａには、黒丸（●）により示す対応画素を中心として、横×縦が９×９個の合計８１個の画素により構成されるピークレベル方向クラスタップが示されている。
【０１１３】
また、図８Ｂには、黒丸（●）により示す対応画素を中心として、菱形１３個の画素により構成されるレベル制限クラスタップ（予測タップ）が示されている。
【０１１４】
さらに、図８Ｃには、黒丸（●）により示す対応画素を中心として、十字型９個の画素により構成される波形クラスタップが示されている。
【０１１５】
次に、図９を参照して、ピークレベル方向分類部６１が行うピークレベル方向分類処理を説明する。
【０１１６】
図９は、ピークレベル方向分類部６１のヒストグラム生成部９１により生成されるヒストグラムの一例を示している。
【０１１７】
図９において、横軸は、画素の画素値を示しており、縦軸は、横軸の画素値に対応する画素数（度数）を示している。
【０１１８】
ヒストグラム生成部９１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップ（図８Ａ）に基づいて、ピークレベル方向クラスタップのヒストグラム（図９）を生成し、最大値最小値取得部９２に供給する。
【０１１９】
最大値最小値取得部９２は、ヒストグラム生成部９１からのヒストグラムのうち、最大の画素値Max及び最小の画素値Minを取得し、ヒストグラム生成部９１からのヒストグラムとともに、区間分割部９３に供給する。
【０１２０】
区間分割部９３は、最大値最小値取得部９２からの最大の画素値Max及び最小の画素値Minに基づいて、最大値最小値取得部９２からのヒストグラムを、式（２）に示す区間１、及び式（３）に示す区間２の２つの区間に分割し、頻度検出部９４に供給する。
【０１２１】
頻度検出部９４は、区間分割部９３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出して、頻度比較部９５に供給する。
【０１２２】
頻度比較部９５は、頻度検出部９４からの頻度Freqnと閾値Freqthを比較することにより、式（４）を満たすか否かを判定し、その判定結果に基づいて、ピークレベル方向クラスタップのピークレベル方向を認識する。
【０１２３】
また、頻度比較部９５は、判定結果により認識されたピークレベル方向に基づいて、注目画素を、複数のピークレベル方向クラスのうち、判定結果により認識された認識されたピークレベル方向を表すクラスにクラス分けし、そのクラス分けにより得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に出力する。
【０１２４】
次に、ピークレベル方向クラスタップのピークレベル方向を認識し、そのピークレベル方向から得られる注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを出力する頻度比較部９５について、図１０及び図１１を参照して説明する。
【０１２５】
図１０は、ピークレベル方向が、上方向、下方向、又は両方向であるピークレベル方向クラスタップの波形の一例を示している。
【０１２６】
図１０Ａないし図１０Ｃにおいて、横軸は、画素の位置を示しており、縦軸は、画素の画素値を示している。
【０１２７】
図１０Ａには、ピークレベル方向が上方向であるピークレベル方向クラスタップの波形が示されている。ピークレベル方向が上方向であるピークレベル方向クラスタップの波形は、図１０Ａの上方向に画素値のピークレベル（極値）を有する上に凸の波形であって、ピークレベル方向クラスタップを構成する複数の画素の画素値が、図１０Ａに示すピークレベルと比較して低い画素値に偏在する波形を示している。
【０１２８】
また、図１０Ｂには、ピークレベル方向が下方向であるピークレベル方向クラスタップの波形が示されている。ピークレベル方向が下方向であるピークレベル方向クラスタップの波形は、図１０Ｂの下方向に画素値のピークレベルを有する下に凸の波形であって、ピークレベル方向クラスタップを構成する複数の画素の画素値が、図１０Ｂに示すピークレベルと比較して高い画素値に偏在する波形を示している。
【０１２９】
さらに、図１０Ｃには、ピークレベル方向が両方向であるピークレベル方向クラスタップの波形が示されている。ピークレベル方向が両方向であるピークレベル方向クラスタップの波形は、上に凸の波形と、下に凸の波形とにより構成され、上方向及び下方向のいずれにも、画素値のピークレベルを有する波形であって、ピークレベル方向クラスタップを構成する複数の画素の画素値が、同程度、低い画素値と高い画素値とに存在する波形を示している。
【０１３０】
図１１は、頻度比較部９５から出力されるピークレベル方向クラスコードを示している。
【０１３１】
図１１において、左から１番目の欄には、注目画素が、ピークレベル方向分類処理によりクラス分けされるピークレベル方向クラスに対応するピークレベル方向クラスコードＰ１，Ｐ２及びＰ３が示されている。
【０１３２】
図１１において、左から２番目の欄には、区間１内の画素数を表す頻度Freq1が式（４）を満たす場合、式（４）が真であることを示す値１が示されており、区間１内の画素数を表す頻度Freq1が式（４）を満たさない場合、式（４）が偽であることを示す値０が示されている。
【０１３３】
また、左から３番目の欄には、区間２内の画素数を表す頻度Freq2が式（４）を満たす場合、式（４）が真であることを示す値１が示されており、区間２内の画素数を表す頻度Freq2が式（４）を満たさない場合、式（４）が偽であることを示す値０が示されている。
【０１３４】
さらに、左から４番目の欄には、ピークレベル方向クラスタップのピークレベル方向が示されている。
【０１３５】
図１１の２行目に示すように、頻度検出部９４からの頻度Freq1についての式（４）が真（値１）であり、かつ、頻度検出部９４からの頻度Freq2についての式（４）が偽（値０）である場合、ピークレベル方向クラスタップの波形は、図１０Ａに示したように、画素値がピークレベルと比較して低い画素値に偏在し、ピークレベル方向が上方向の波形となる。
【０１３６】
この場合、頻度比較部９５は、注目画素を、ピークレベル方向クラスタップのピークレベル方向が上方向であることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ１を、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
【０１３７】
また、図１１の３行目に示すように、頻度検出部９４からの頻度Freq1についての式（４）が偽（値０）であり、かつ、頻度検出部９４からの頻度Freq2についての式（４）が真（値１）である場合、ピークレベル方向クラスタップの波形は、図１０Ｂに示したように、画素値がピークレベルと比較して高い画素値に偏在し、ピークレベル方向が下方向の波形となる。
【０１３８】
この場合、頻度比較部９５は、注目画素を、ピークレベル方向クラスタップのピークレベル方向が下方向であることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ２を、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
【０１３９】
さらに、図１１の４行目に示すように、頻度検出部９４からの頻度Freq1についての式（４）、及び頻度Freq2についての式（４）がいずれも真（値１）である場合、ピークレベル方向クラスタップの波形は、図１０Ｃに示したように、画素値が低い画素値と高い画素値とに同程度に存在し、ピークレベル方向が両方向の波形となる。
【０１４０】
この場合、頻度比較部９５は、注目画素を、ピークレベル方向クラスタップのピークレベル方向が両方向であることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ３を、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
【０１４１】
次に、図１２は、図６のレベル制限クラス分類部６２の詳細な構成例を示している。
【０１４２】
レベル制限クラス分類部６２は、許容レベル幅算出部１２１、DR算出部１２２、及びレベル制限クラス特定部１２３により構成される。
【０１４３】
許容レベル幅算出部１２１には、予測タップ抽出部３０から、レベル制限クラスタップとともに、ピークレベル方向分類部６１から、注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードが供給される。
【０１４４】
許容レベル幅算出部１２１は、予測タップ抽出部３０からのレベル制限クラスタップを構成する複数の画素の画素値のうち、最大の画素値又は最小の画素値のいずれか一方、及びピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向に基づいて、注目画素の許容レベル幅LWを取得する許容レベル幅取得処理を行う。
【０１４５】
許容レベル幅算出部１２１は、許容レベル幅取得処理により得られた注目画素の許容レベル幅LWを、レベル制限クラス特定部１２３に供給する。
【０１４６】
DR算出部１２２には、予測タップ抽出部３０から、レベル制限クラスタップが供給される。
【０１４７】
DR算出部１２２は、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRを算出し、レベル制限クラス特定部１２３に供給する。
【０１４８】
レベル制限クラス特定部１２３は、許容レベル幅算出部１２１からの許容レベル幅LWを、DR算出部１２２からのレベル制限クラスタップのダイナミックレンジDRにより除算することにより、許容レベル幅LWとダイナミックレンジDRとの比ratio（=LW/DR）を算出する。
【０１４９】
また、レベル制限クラス特定部１２３は、許容レベル幅LW、及びダイナミックレンジDRから算出した比ratioに基づいて、その比ratioに対応するレベル制限クラスを、注目画素のレベル制限クラスとして、複数のレベル制限クラスの中から特定する。
【０１５０】
即ち、例えば、注目画素を、レベル制限クラス１とレベル制限クラス２との２つのクラスのうちのいずれかのクラスにクラス分けする場合、レベル制限クラス特定部１２３は、比ratioが、閾値０以上であって、かつ、閾値０．５以下であるとき、注目画素のレベル制限クラスをレベル制限クラス１に特定し、比ratioが、閾値０．５以上であるとき、注目画素のレベル制限クラスをレベル制限クラス２に特定する。
【０１５１】
なお、レベル制限クラスは、レベル制限クラス１とレベル制限クラス２との２つのクラスに限定されるものではなく、レベル制限クラス特定部１２３は、閾値の設定の仕方により、３以上のレベル制限クラスの中から、注目画素のレベル制限クラスを特定することが可能である。
【０１５２】
レベル制限クラス特定部１２３は、注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に出力する。
【０１５３】
次に、図１３及び図１４を参照して、図１２の許容レベル幅算出部１２１が行う許容レベル幅取得処理の詳細を説明する。
【０１５４】
なお、許容レベル幅取得処理では、ピークレベル方向クラスコードに応じて、それぞれ異なる取得方法により、許容レベル幅LWを取得する。
【０１５５】
図１３は、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として上方向又は下方向を示す場合に、許容レベル幅LWを取得する取得方法を説明する図である。
【０１５６】
図１３において、縦軸は、画素の画素値を示している。なお、図１４においても同様である。
【０１５７】
また、図１３左側には、ピークレベル方向が上方向であるピークレベル方向クラスタップの波形が示されている。さらに、図１３右側には、ピークレベル方向が下方向であるピークレベル方向クラスタップの波形が示されている。
【０１５８】
なお、図１３左側及び図１３右側に示されるピークレベル方向クラスタップの波形は、対応画素（黒色で示す）を中心として、水平方向に並ぶ９画素により構成されるピークレベル方向クラスタップの波形を示している。
【０１５９】
また、ピークレベル方向クラスタップは、レベル制限クラスタップを含むように構成されており、レベル制限クラスタップは、対応画素と、その対応画素に水平方向に隣接する２画素との合計３画素により構成されている。このことは、図１４においても同様である。
【０１６０】
許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として上方向を示している場合、図１３左側に示すように、上限レベル（値255）から、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出する。
【０１６１】
ここで、レベル制限クラスタップ（を含むピークレベル方向クラスタップ）の波形が上に凸の波形である場合、注目画素の予測値は、レベル制限クラスタップを構成する複数の画素それぞれの画素値よりも大きな値となる。従って、レベル制限クラスタップを構成する複数の画素の画素値が上限レベル２５５付近に存在する場合に、注目画素の予測値は、上限レベル２５５を上回りやすい傾向にある。
【０１６２】
そして、注目画素の予測値は、上限レベル２５５を上回ったとき、上限レベル２５５に置き換えられてしまう。
【０１６３】
従って、この場合、注目画素の予測値が真値として許容される範囲は、レベル制限クラスタップを構成する複数の画素それぞれの画素値（画素値Maxp）以上であって、上限レベル２５５以下の範囲となり、この範囲の幅を、許容レベル幅LWとしている。
【０１６４】
また、許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として下方向を示している場合、図１３右側に示すように、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最小の画素値Minp（=Minp-0）を、そのまま、許容レベル幅LWとする。
【０１６５】
ここで、レベル制限クラスタップの波形が下に凸の波形である場合、注目画素の予測値は、レベル制限クラスタップを構成する複数の画素それぞれの画素値よりも小さな値となる。従って、レベル制限クラスタップを構成する複数の画素の画素値が下限レベル０付近に存在する場合に、注目画素の予測値は、下限レベル０を下回りやすい傾向にある。
【０１６６】
そして、注目画素の予測値は、下限レベル０を下回ったとき、下限レベル０に置き換えられてしまう。
【０１６７】
従って、この場合、注目画素の予測値が真値として許容される範囲は、レベル制限クラスタップを構成する複数の画素それぞれの画素値（画素値Minp）以下であって、下限レベル０以上の範囲となり、この範囲の幅を、許容レベル幅LWとしている。
【０１６８】
図１４は、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として両方向を示す場合に、許容レベル幅LWを取得する取得方法を説明する図である。
【０１６９】
図１４左側及び図１４右側には、ピークレベル方向が両方向であるピークレベル方向クラスタップの波形が示されている。
【０１７０】
また、図１４左側に示されたピークレベル方向クラスタップの対応画素の画素値は、Minp+[Maxp-Minp+1]/2以上であり、図１４右側に示されたピークレベル方向クラスタップの対応画素の画素値は、Minp+[Maxp-Minp+1]/2未満である。
【０１７１】
許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として両方向を示している場合、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であるか否かを判定し、その判定結果に基づいて、許容レベル幅LWを算出する。
【０１７２】
即ち、例えば、許容レベル幅算出部１２１は、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であると判定したとき、図１４左側に示すように、上限レベルから、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出する。
【０１７３】
また、例えば、許容レベル幅算出部１２１は、対応画素の画素値が、Minp+[Maxp-Minp+1]/2未満であると判定したとき、図１４右側に示すように、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最小の画素値Minpを、そのまま、許容レベル幅LWとする。
【０１７４】
許容レベル幅算出部１２１は、許容レベル幅取得処理により取得された許容レベル幅LWを、レベル制限クラス特定部１２３に供給する。
【０１７５】
レベル制限クラス特定部１２３は、許容レベル幅算出部１２１からの許容レベル幅LWを、DR算出部１２２からのレベル制限クラスタップのダイナミックレンジDRにより除算することにより、許容レベル幅LWとダイナミックレンジDRとの比ratio（=LW/DR）を算出する。
【０１７６】
次に、図１５を参照して、図１２のレベル制限クラス特定部１２３により算出される比ratioの一例を説明する。
【０１７７】
波形Ａ（図１５左側）、波形Ｂ（図１５中央）、及び波形Ｃ（図１５右側）は、それぞれ、対応画素（黒丸で示す）を中心として、水平方向に並ぶ９個の画素により構成されるレベル制限クラスタップの波形であって、上に凸の形状を有する波形である。
【０１７８】
なお、図１３及び図１４において、レベル制限クラスタップは、対応画素と対応画素に水平方向に隣接する２画素との合計３画素により構成されることとしたが、図１５では、レベル制限クラスタップは、対応画素を中心として、水平方向に並ぶ９個の画素により構成されることとして説明している。
【０１７９】
波形Ａにおいて画素値が最大の対応画素xAの画素値は、波形Ｂにおいて画素値が最大の対応画素xBの画素値よりも大きいため、波形Ａの許容レベル幅LWAは、波形Ｂの許容レベル幅LWBよりも狭い幅となっている。また、波形Ｂにおいて画素値が最大の対応画素xBの画素値は、波形Ｃにおいて画素値が最大の対応画素xCの画素値と同一の値であるため、波形Ｂの許容レベル幅LWBと波形Ｃの許容レベル幅LWCとは、同一の広さの幅となっている。
【０１８０】
波形ＡのダイナミックレンジDRAは、波形ＢのダイナミックレンジDRBと同一の値であり、波形ＣのダイナミックレンジDRCは、波形ＡのダイナミックレンジDRAよりも大きな値である。
【０１８１】
上述したように、波形Ａの許容レベル幅LWAは、波形Ｂの許容レベル幅LWBよりも狭いとともに、波形ＡのダイナミックレンジDRAと、波形ＢのダイナミックレンジDRBとは同一の値であるため、波形Ａにおける比ratio（=LWA/DRA）は、波形Ｂにおける比ratio（=LWB/DRB）よりも小さいものとなる。
【０１８２】
また、上述したように、波形Ｂの許容レベル幅LWBは、波形Ｃの許容レベル幅LWCと同一の値であるとともに、波形ＢのダイナミックレンジDRBは、波形ＣのダイナミックレンジDRCよりも小さいため、波形Ｂにおける比ratio（=LWB/DRB）は、波形Ｃにおける比ratio（=LWC/DRC）よりも大きいものとなる。
【０１８３】
ところで、許容レベル幅LWが狭い程、ダイナミックレンジDRが大きい程、注目画素の予測値は、上限レベル２５５を上回ってしまう傾向にある。
【０１８４】
従って、上限レベルを上回ったり、下限レベルを下回ったりする注目画素の予測値が予測されにくくするために、レベル制限クラス特定部１２３では、許容レベル幅LW、及びダイナミックレンジDRから算出した比ratio(=LW/DR)に対応するレベル制限クラスを、注目画素のレベル制限クラスとして、複数のレベル制限クラスの中から特定している。
【０１８５】
次に、図１６のフローチャートを参照して、図５の画像処理装置１が行う画像変換処理を説明する。
【０１８６】
ステップＳ１において、予測タップ抽出部３０は、第１の画像データの変換結果となる第２の画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
【０１８７】
また、ステップＳ１では、予測タップ抽出部３０は、その注目画素を予測する予測演算に用いるための予測タップとして、注目画素に対応する、第１の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、予測演算部３６に供給する。
【０１８８】
さらに、ステップＳ１において、予測タップ抽出部３０は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、第１の画像データから抽出した予測タップを、レベル成分クラス分類部３３に供給する。
【０１８９】
ステップＳ２において、ピークレベル方向クラスタップ抽出部３１は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるピークレベル方向分類処理に用いるためのピークレベル方向クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、レベル成分クラス分類部３３に供給する。
【０１９０】
ステップＳ３において、波形クラスタップ抽出部３２は、注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、波形パターンクラス分類部３４に供給する。
【０１９１】
ステップＳ４において、レベル成分クラス分類部３３は、予測タップ抽出部３０からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップに基づいて、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理を行い、その結果得られる注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に供給する。
【０１９２】
ステップＳ５において、波形パターンクラス分類部３４は、波形クラスタップ抽出部３２からの波形クラスタップの波形に基づいて、注目画素を、複数の波形パターンクラスのうち、波形クラスタップ抽出部３２からの波形クラスタップの波形の特徴を表すクラスにクラス分けする波形パターンクラス分類処理を行い、その結果得られる注目画素の波形パターンクラスに対応する波形パターンクラスコードを、係数ROM３５に供給する。
【０１９３】
ステップＳ６において、係数ROM３５は、記憶している予測係数のセットのうち、レベル成分クラス分類部３３からのレベル成分クラスコードと波形パターンクラス分類部３４からの波形パターンクラスコードとの組合せに対応するアドレスに記憶されている予測係数（レベル成分クラス分類部３３からのレベル成分クラスコードが表すレベル成分クラスと、波形パターンクラス分類部３４からの波形パターンクラスコードが表す波形パターンクラスとの組合せに対応する予測係数）を、予測演算部３６に出力する。
【０１９４】
ステップＳ７において、予測演算部３６は、予測タップ抽出部３０からの予測タップを構成する複数の画素と、係数ROM３５が出力する予測係数とを用いて、注目画素を予測する所定の予測演算を行う。
【０１９５】
以上のようにして、第２の画像データを構成する画素すべてを注目画素とすることにより、画像処理装置１に入力された第１の画像データを、第２の画像データに変換したときに、図１６の画像変換処理は終了される。
【０１９６】
次に、図１７のフローチャートを参照して、図１６のステップＳ４におけるレベル成分クラス分類処理の詳細を説明する。
【０１９７】
ステップＳ３１において、ピークレベル方向分類部６１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムに基づいて、注目画素を、複数のピークレベル方向クラスのうち、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップのピークレベル方向を表すクラスにクラス分けするピークレベル方向分類処理を行い、その結果得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
【０１９８】
ステップＳ３２において、レベル制限クラス分類部６２は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向と、予測タップ抽出部３０からのレベル制限クラスタップとに応じて求められる許容レベル幅LWと、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRとの比に基づいて、注目画素を、複数のレベル制限クラスのうち、許容レベル幅LWとダイナミックレンジDRとの比に対応するクラスにクラス分けするレベル制限クラス分類処理を行い、その結果得られた注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に供給する。
【０１９９】
ステップＳ３３において、レベル成分クラス特定部６３は、ピークレベル方向分類部６１からのピークレベル方向クラスコード、及びレベル制限クラス分類部６２からのレベル制限クラスコードの組合せに基づいて、注目画素のレベル成分クラスを、複数のレベル成分クラスの中から特定する。
【０２００】
以上のように図１７のレベル成分クラス分類処理が行われた後、レベル成分クラス特定部６３は、特定された注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に出力して、処理は、図１６のステップＳ４にリターンされる。
【０２０１】
次に、図１８のフローチャートを参照して、図１７のステップＳ３１のピークレベル方向分類処理の詳細を説明する。
【０２０２】
ステップＳ６１において、ヒストグラム生成部９１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムを生成し、最大値最小値取得部９２に供給する。
【０２０３】
ステップＳ６２において、最大値最小値取得部９２は、ヒストグラム生成部９１からのピークレベル方向クラスタップのヒストグラムに基づいて、ピークレベル方向クラスタップを構成する複数の画素の画素値のうち、最大の画素値Maxと最小の画素値Minとを取得（検出）し、ヒストグラム生成部９１からのヒストグラムとともに、区間分割部９３に供給する。
【０２０４】
ステップＳ６３において、区間分割部９３は、最大値最小値取得部９２からの最大の画素値Maxと最小の画素値Minとに対して、式（１）を適用することにより区間幅stepを算出し、最大値最小値取得部９２からのヒストグラムを、式（２）の区間１、及び式（３）の区間２の２つの区間に分割し、頻度検出部９４に供給する。
【０２０５】
ステップＳ６４において、頻度検出部９４は、区間分割部９３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出し、頻度比較部９５に供給する。
【０２０６】
ステップＳ６５において、頻度比較部９５は、頻度検出部９４からの頻度Freqnと閾値Freqthを比較することにより、式（４）を満たすか否かを判定し、その判定結果に基づいて、ピークレベル方向クラスタップのピークレベル方向を認識する。
【０２０７】
また、ステップＳ６５において、頻度比較部９５は、判定結果により認識されたピークレベル方向クラスタップのピークレベル方向に基づいて、注目画素を、複数のピークレベル方向クラスのうちのいずれかのクラスにクラス分けする。
【０２０８】
以上のようにして、図１８のピークレベル方向分類処理が行われた後、頻度比較部９５は、図１８のピークレベル方向分類処理の結果得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給して、処理は、図１７のステップＳ３１にリターンされる。
【０２０９】
次に、図１９のフローチャートを参照して、図１７のステップＳ３２におけるレベル制限クラス分類処理の詳細を説明する。
【０２１０】
ステップＳ９１において、許容レベル幅算出部１２１は、予測タップ抽出部３０からのレベル制限クラスタップを構成する複数の画素の画素値のうち、最大の画素値又は最小の画素値のいずれか一方、及びピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向に基づいて、注目画素の許容レベル幅LWを算出する許容レベル幅取得処理を行い、その結果得られた許容レベル幅LWを、レベル制限クラス特定部１２３に供給する。
【０２１１】
ステップＳ９２において、DR算出部１２２は、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRを算出し、レベル制限クラス特定部１２３に供給する。
【０２１２】
ステップＳ９３において、レベル制限クラス特定部１２３は、許容レベル幅算出部１２１からの許容レベル幅LWを、DR算出部１２２からのレベル制限クラスタップのダイナミックレンジDRにより除算することにより、許容レベル幅LWとダイナミックレンジDRとの比ratio（=LW/DR）を算出し、その比ratioに対応するレベル制限クラスを、注目画素のレベル制限クラスとして、複数のレベル制限クラスの中から特定する。
【０２１３】
以上のようにして、図１９のレベル制限クラス分類処理が行われた後、レベル制限クラス特定部１２３は、特定された注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に出力して、処理は、図１７のステップＳ３２にリターンされる。
【０２１４】
次に、図２０のフローチャートを参照して、図１９のステップＳ９１における許容レベル幅取得処理の詳細を説明する。
【０２１５】
ステップＳ１２１において、許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップ抽出部３１が出力したピークレベル方向クラスタップのピークレベル方向として、上方向、下方向、又は両方向のいずれを示しているかを判定する。
【０２１６】
ステップＳ１２１で、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として上方向を示していると判定された場合、処理は、ステップＳ１２２に進められ、許容レベル幅算出部１２１は、上限レベル（値２５５）から、レベル制限クラスタップを構成する複数の画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出して、許容レベル幅取得処理は終了される。
【０２１７】
また、ステップＳ１２１で、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として下方向を示していると判定された場合、処理は、ステップＳ１２４に進められ、許容レベル幅算出部１２１は、レベル制限クラスタップを構成する複数の画素の画素値のうちの最小の画素値Minpを、そのまま、許容レベル幅LWとして、許容レベル幅取得処理は終了される。
【０２１８】
さらに、ステップＳ１２１で、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として両方向を示していると判定された場合、処理は、ステップＳ１２３に進められ、許容レベル幅算出部１２１は、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であるか否かを判定する。
【０２１９】
ステップＳ１２３において、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であると判定された場合、処理は、ステップＳ１２２に進められ、ピークレベル方向クラスコードが上方向を示している場合と同様に、許容レベル幅算出部１２１は、上限レベル（値255）から、レベル制限クラスタップを構成する複数の画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出する。
【０２２０】
また、ステップＳ１２３において、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上でないと判定された場合、処理は、ステップＳ１２４に進められ、ピークレベル方向クラスコードが下方向を示している場合と同様に、許容レベル幅算出部１２１は、画素値Minpを、そのまま、許容レベル幅LWとする。
【０２２１】
以上のようにして、図２０の許容レベル幅取得処理が行われた後、処理は、図１９のステップＳ９１にリターンされる。
【０２２２】
上述したように、注目画素のレベル制限クラスは、図１９のレベル制限クラス分類処理において、許容レベル幅LWと、レベル制限クラスタップのダイナミックレンジDRとの比ratio（=LW/DR）に基づいて特定される。
【０２２３】
また、注目画素のレベル成分クラスは、図１７のレベル成分クラス分類処理において、注目画素のレベル制限クラスに基づいて特定される。
【０２２４】
従って、図１７のレベル成分クラス分類処理では、許容レベル幅LWと、レベル制限クラスタップのダイナミックレンジDRとの比ratioを、注目画素を複数のレベル成分クラスのうちのいずれかのクラスにクラス分けするために用いている。
【０２２５】
さらに、許容レベル幅LWが狭い程、またダイナミックレンジDRが大きい程、注目画素の予測値は、上限レベルを上回ってしまったり、下限レベルを下回ってしまう傾向にある。
【０２２６】
そこで、図１６の画像変換処理（レベル成分クラス分類処理を含む）では、許容レベル幅LW、及びレベル制限クラスタップのダイナミックレンジDRを考慮しつつ、注目画素をクラス分けするようにした。これにより、従来のクラス分類適応処理と比較して、注目画素の予測値として、上限レベルを上回ったり、下限レベルを下回ったりすることが抑止されるので、高画質の画像を予測することが可能となる。
【０２２７】
次に、図５の予測演算部３６における予測演算と、係数ROM３５に記憶された予測係数の学習について説明する。
【０２２８】
上述したように、画像変換処理として、例えば、高解像度の画像データ（高解像度画像データ）を第２の画像データとするとともに、その高解像度画像データをサブサンプリングする等してその解像度を低下させた低解像度の画像データ（低解像度画像データ）を第１の画像データとして、低解像度画像データから予測タップを抽出し、その予測タップと予測係数を用いて、高解像度画像データの画素（以下、適宜、高解像度画素という）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０２２９】
所定の予測演算として、例えば、線形１次演算を採用することとすると、高解像度画素の画素値ｙは、次式（５）の線形１次式によって求められることになる。
【０２３０】
【数５】
0005050944.tif 000006
【０２３１】
但し、式（５）において、ｘnは、高解像度画素ｙについての予測タップを構成する、ｎ番目の低解像度画像データの画素（以下、適宜、低解像度画素という）の画素値を表し、ｗnは、ｎ番目の低解像度画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（５）では、予測タップが、Ｎ個の低解像度画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０２３２】
ここで、高解像度画素の画素値ｙは、式（５）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２３３】
いま、第ｋサンプルの高解像度画素の画素値の真値をｙkと表すとともに、式（５）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式（６）で表される。
【０２３４】
【数６】
0005050944.tif 000007
【０２３５】
いま、式（６）の予測値ｙk’は、式（５）にしたがって求められるため、式（６）のｙk’を、式（５）にしたがって置き換えると、次式（７）が得られる。
【０２３６】
【数７】
0005050944.tif 000008
【０２３７】
但し、式（７）において、ｘn,kは、第ｋサンプルの高解像度画素についての予測タップを構成するｎ番目の低解像度画素を表す。
【０２３８】
式（７）（又は式（６））の予測誤差ｅkを０とする予測係数ｗnが、高解像度画素を予測するのに最適なものとなるが、すべての高解像度画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【０２３９】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（８）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２４０】
【数８】
0005050944.tif 000009
【０２４１】
但し、式（８）において、Ｋは、高解像度画素ｙkと、その高解像度画素ｙkについての予測タップを構成する低解像度画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０２４２】
式（８）の自乗誤差の総和Ｅの最小値（極小値）は、次式（９）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０２４３】
【数９】
0005050944.tif 000010
【０２４４】
一方、上述の式（７）を予測係数ｗnで偏微分すると、次式（１０）が得られる。
【０２４５】
【数１０】
0005050944.tif 000011
【０２４６】
式（９）と式（１０）から、次式（１１）が得られる。
【０２４７】
【数１１】
0005050944.tif 000012
【０２４８】
式（１１）のｅkに、式（７）を代入することにより、式（１１）は、次式（１２）に示す正規方程式で表すことができる。
【０２４９】
【数１２】
0005050944.tif 000013
【０２５０】
式（１２）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０２５１】
式（１２）の正規方程式を、波形パターンクラス及びレベル成分クラス（の組合せ）毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、波形パターンクラス及びレベル成分クラス毎（波形パターンクラスとレベル成分クラスとの複数の組合せ毎）に求めることができる。
【０２５２】
図５の画像処理装置１では、以上のような波形パターンクラス及びレベル成分クラス毎の予測係数を用いて、式（５）の演算を行うことにより、第１の画像データとしての低解像度画像データが、第２の画像データとしての高解像度画像データに変換される。
【０２５３】
次に、図２１は、式（１２）の正規方程式を波形パターンクラス及びレベル成分クラス毎にたてて解くことにより予測係数ｗnを求める学習を行う学習装置の構成例を示している。
【０２５４】
図２１の学習装置１５１は、サブサンプリング部１８０、予測タップ抽出部１８１、ピークレベル方向クラスタップ抽出部１８２、波形クラスタップ抽出部１８３、レベル成分クラス分類部１８４、波形パターンクラス分類部１８５、足し込み部１８６、及び係数算出部１８７により構成される。
【０２５５】
サブサンプリング部１８０には、高解像度画像データに相当する画像（学習用の第２の画像データ）が供給される。以下、学習用の第２の画像データを、教師画像ともいう。
【０２５６】
サブサンプリング部１８０は、そこに供給された教師画像をサブサンプリングし、その解像度を低下させることにより低解像度画像データに相当する画像（学習用の第１の画像データ）を生成する。以下、学習用の第１の画像データを、生徒画像ともいう。
【０２５７】
サブサンプリング部１８０は、教師画像をサブサンプリングすることにより得られた生徒画像を、予測タップ抽出部１８１、ピークレベル方向クラスタップ抽出部１８２及び波形クラスタップ抽出部１８３に供給する。
【０２５８】
予測タップ抽出部１８１は、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１８１は、サブサンプリング部１８０からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップ（図５の予測タップ抽出部３０が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部１８６に供給する。
【０２５９】
また、予測タップ抽出部１８１は、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップを、レベル制限クラスタップとして、レベル成分クラス分類部１８４に供給する。
【０２６０】
ピークレベル方向クラスタップ抽出部１８２は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップと同一のタップ構造のピークレベル方向クラスタップ（図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなるピークレベル方向クラスタップ）を得て、レベル成分クラス分類部１８４に供給する。
【０２６１】
波形クラスタップ抽出部１８３は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップと同一のタップ構造の波形クラスタップ（図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる波形クラスタップ）を得て、波形パターンクラス分類部１８５に供給する。
【０２６２】
レベル成分クラス分類部１８４は、予測タップ抽出部１８１からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部１８２からのピークレベル方向クラスタップに基づいて、図５のレベル成分クラス分類部３３と同一のレベル成分クラス分類処理を行い、その結果得られた注目画素のレベル成分クラスに対応するレベル成分クラスコードを、足し込み部１８６に供給する。
【０２６３】
波形パターンクラス分類部１８５は、波形クラスタップ抽出部１８３からの波形クラスタップの波形に基づいて、図５の波形パターンクラス分類部３４と同一の波形パターンクラス分類処理を行い、その結果得られた注目画素の波形パターンクラスに対応する波形パターンクラスコードを、足し込み部１８６に供給する。
【０２６４】
足し込み部１８６には、サブサンプリング部１８０から出力される生徒画像に対応する教師画像が供給される。足し込み部１８６は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部１８１からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、レベル成分クラス分類部１８４からのレベル成分クラスコード及び波形パターンクラス分類部１８５からの波形パターンクラスコード毎に行う。
【０２６５】
即ち、足し込み部１８６には、教師画像を構成する画素のうちの注目画素の画素値ｙk、予測タップ抽出部１８１が出力する注目画素についての予測タップを構成する生徒画像の画素の画素値ｘn,k、レベル成分クラス分類部１８４が出力する、注目画素のレベル成分クラスを表すレベル成分クラスコード、及び波形パターンクラス分類部１８５が出力する、注目画素の波形パターンクラスを表す波形パターンクラスコードが供給される。
【０２６６】
そして、足し込み部１８６は、レベル成分クラス分類部１８４からのレベル成分クラスコードに対応するレベル成分クラス、及び波形パターンクラス分類部１８５からの波形パターンクラスコードに対応する波形パターンクラス毎に、予測タップ（生徒画像）ｘn,kを用い、式（１２）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２６７】
さらに、足し込み部１８６は、やはり、レベル成分クラス分類部１８４からのレベル成分クラスコードに対応するレベル成分クラス、及び波形パターンクラス分類部１８５からの波形パターンクラスコードに対応する波形パターンクラス毎に、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１２）の右辺のベクトルにおける生徒画像ｘn,k及び教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２６８】
即ち、足し込み部１８６は、前回、注目画素とされた教師画像について求められた式（１２）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）又はベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像について、その教師画像ｙk+1及び生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1又はｘn,k+1ｙk+1を足し込む（式（１２）のサメーションで表される加算を行う）。
【０２６９】
そして、足し込み部１８６は、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、レベル成分クラスと波形パターンクラスとの複数の組合せそれぞれについて、式（１２）に示した正規方程式をたてると、その正規方程式を、係数算出部１８７に供給する。
【０２７０】
係数算出部１８７は、足し込み部１８６から供給された、レベル成分クラスと波形パターンクラスとの複数の組合せそれぞれについての正規方程式を解くことにより、レベル成分クラスと波形パターンクラスとの複数の組合せそれぞれについて、予測係数ｗnを求めて出力する。
【０２７１】
次に、図２２のフローチャートを参照して、図２１の学習装置１５１が行う学習処理を説明する。
【０２７２】
ステップＳ１５１において、サブサンプリング部１８０は、供給された教師画像をサブサンプリングして、その解像度を低下させることにより生徒画像を生成し、予測タップ抽出部１８１、ピークレベル方向クラスタップ抽出部１８２及び波形クラスタップ抽出部１８３に供給する。
【０２７３】
ステップＳ１５２において、予測タップ抽出部１８１は、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
【０２７４】
ステップＳ１５３において、予測タップ抽出部１８１は、サブサンプリング部１８０からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップ（図５の予測タップ抽出部３０が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部１８６に供給する。
【０２７５】
また、ステップＳ１５３において、予測タップ抽出部１８１は、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップを、レベル制限クラスタップとして、レベル成分クラス分類部１８４に供給する。
【０２７６】
ステップＳ１５４において、ピークレベル方向クラスタップ抽出部１８２は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップと同一のタップ構造のピークレベル方向クラスタップ（図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなるピークレベル方向クラスタップ）を得て、レベル成分クラス分類部１８４に供給する。
【０２７７】
ステップＳ１５５において、波形クラスタップ抽出部１８３は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップと同一のタップ構造の波形クラスタップ（図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる波形クラスタップ）を得て、波形パターンクラス分類部１８５に供給する。
【０２７８】
ステップＳ１５６において、レベル成分クラス分類部１８４は、予測タップ抽出部１８１からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部１８２からのピークレベル方向クラスタップに基づいて、図５のレベル成分クラス分類部３３と同一のレベル成分クラス分類処理を行い、その結果得られた注目画素のレベル成分クラスに対応するレベル成分クラスコードを、足し込み部１８６に供給する。
【０２７９】
ステップＳ１５７において、波形パターンクラス分類部１８５は、波形クラスタップ抽出部１８３からの波形クラスタップの波形に基づいて、図５の波形パターンクラス分類部３４と同一の波形パターンクラス分類処理を行い、その結果得られた注目画素の波形パターンクラスに対応する波形パターンクラスコードを、足し込み部１８６に供給する。
【０２８０】
ステップＳ１５８において、足し込み部１８６は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部１８１からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、レベル成分クラス分類部１８４からのレベル成分クラスコード及び波形パターンクラス分類部１８５からの波形パターンクラスコード毎に行う。
【０２８１】
処理は、ステップＳ１５８からステップＳ１５９に進められ、予測タップ抽出部１８１は、教師画像を構成する画素のうち、まだ注目画素とされていない画素が存在するか否かを判定する。
【０２８２】
ステップＳ１５９において、まだ注目画素とされていない画素が存在すると判定された場合、ステップＳ１５２に戻り、予測タップ抽出部１８１は、まだ注目画素とされていない教師画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ１５３に進められ、以下、同様の処理を繰り返す。
【０２８３】
一方、ステップＳ１５９において、まだ注目画素とされていない画素が存在しないと判定された場合、即ち、足し込み部１８６においては、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、レベル成分クラス及び波形パターンクラスの組合せそれぞれについて、式（１２）に示した正規方程式が得られた場合、処理は、ステップＳ１６０に進められ、足し込み部１８６は、正規方程式を、係数算出部１８７に供給する。
【０２８４】
そして、処理は、ステップＳ１６０からステップＳ１６１に進められ、係数算出部１８７は、足し込み部１８６から供給された、レベル成分クラス及び波形パターンクラスの組合せそれぞれについての正規方程式を解くことにより、レベル成分クラス及び波形パターンクラスの組合せそれぞれについて、予測係数ｗnを求めて出力して、図２２の学習処理は終了される。
【０２８５】
以上のように、図２２の学習処理におけるステップＳ１５６のレベル成分クラス分類処理では、許容レベル幅LWと、レベル制限クラスタップのダイナミックレンジDRとの比ratioを、注目画素を複数のレベル成分クラスのうちのいずれかのクラスにクラス分けするために用いている。
【０２８６】
さらに、許容レベル幅LWが狭い程、またダイナミックレンジDRが大きい程、注目画素の予測値は、上限レベルを上回ってしまったり、下限レベルを下回ってしまう傾向にある。
【０２８７】
そこで、図２２の学習処理では、許容レベル幅LW、及びレベル制限クラスタップのダイナミックレンジDRを考慮しつつ、注目画素をクラス分けするようにした。これにより、従来のクラス分類適応処理と比較して、注目画素の予測値として、上限レベルを上回ったり、下限レベルを下回ったりすることを抑止する予測係数、即ち、高画質の画像を予測できる予測係数を学習（生成）することが可能となる。
【０２８８】
次に、図２３は、レベル成分クラス分類処理、及び波形パターンクラス分類処理を行う図１６の画像変換処理により、図２２の学習処理に用いた生徒画像を用いて、その生徒画像に対応する教師画像を予測した場合と、レベル成分クラス分類処理を行わずに波形パターンクラス分類処理のみを行う従来の画像変換処理により、生徒画像を用いて、その生徒画像に対応する教師画像を予測した場合とで、予測された教師画像の予測値が上限レベル以上、又は下限レベル未満となる教師画像の画素数を比較したシミュレーションの結果を示している。
【０２８９】
なお、シミュレーションに用いた生徒画像は８bitの画像データであり、上限レベルは２５５、下限レベルは０である。
【０２９０】
図２３に示すように、レベル成分クラス分類処理を行わずに波形パターンクラス分類のみを行う従来の画像変換処理では、予測された教師画像の予測値が下限レベル未満になる画素数が、231687個であり、予測値が上限レベル以上になる画素数が、896917個である。
【０２９１】
また、レベル成分クラス分類処理を行うとともに、波形パターンクラス分類を行う図１６の画像変換処理では、予測された教師画像の予測値が下限レベル未満になる画素数が、160357個であり、予測値が上限レベル以上になる画素数が、710933個である。
【０２９２】
図２３に示すシミュレーションの結果から、図１６の画像変換処理では、従来の画像変換処理と比較して、予測された教師画像の予測値が、下限レベル未満、又は上限レベル以上になりにくいことがわかる。従って、図１６の画像変換処理によれば、より高画質の画像を予測することが可能であるといえる。
【０２９３】
上記実施の形態において、図１７のレベル成分クラス分類処理におけるステップＳ３３では、図６のレベル成分クラス特定部６３が、ピークレベル方向分類部６１からのピークレベル方向クラスコード、及びレベル制限クラス分類部６２からのレベル制限クラスコードの組合せに基づいて、注目画素のレベル成分クラスを特定し、特定された注目画素のレベル成分クラスに対応するレベル成分クラスコードを出力することとしたが、注目画素のレベル制限クラスに対応するレベル制限クラスコードを、そのまま、注目画素のレベル成分クラスに対応するレベル成分クラスコードとして採用するようにしてもよい。
【０２９４】
すなわち、例えば、図１７のレベル成分クラス分類処理におけるステップＳ３２において、図６のレベル制限クラス分類部６２が、注目画素を、複数のレベル制限クラスのうちのいずれかのクラスにクラス分けするレベル制限クラス分類処理を行い、その結果得られた注目画素のレベル制限クラスに対応するレベル制限クラスコードを、注目画素のレベル成分クラスに対応するレベル成分クラスコードとして、係数ROM３５に出力するようにしてもよい。
【０２９５】
この場合、図１７のレベル成分クラス分類処理におけるステップＳ３３を省略することができるため、ステップＳ３３の処理を行う場合と比較して、レベル成分クラス分類処理を迅速に行うことが可能となる。
【０２９６】
また、上記実施の形態において、図２１の学習装置１５１では、高解像度画像データに相当する画像を教師画像とするとともに、教師画像をサブサンプリングすることにより得られた低解像度画像データに相当する画像を生徒画像として、レベル成分クラス及び波形パターンクラス毎の予測係数を算出することとしたが、その他、同一の被写体を解像度が異なるカメラで撮像し、解像度が高いカメラで撮像して得られた画像を教師画像とするとともに、解像度が低いカメラで撮像して得られた画像を生徒画像として、レベル成分クラス及び波形パターンクラス毎の予測係数を算出するようにすることが可能である。
【０２９７】
なお、本発明を適用した画像処理装置としては、例えば、テレビジョン受像機や、ハードディスクレコーダ等を採用することができる。
【０２９８】
ところで、上述した図１６の画像変換処理、及び図２２の学習処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０２９９】
図２４は、上述した図１６の画像変換処理、及び図２２の学習処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０３００】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【０３０１】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０３０２】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３０３】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０３０４】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０３０５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２４に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３０６】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３０７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３０８】
【図１】入力信号と出力信号との関係を示す図である。
【図２】入力信号のダイナミックレンジと、入力信号から得られる出力信号との関係を示す図である。
【図３】入力信号αから得られる出力信号、及び入力信号βから得られる出力信号について説明する図である。
【図４】本発明の一実施の形態である画像処理装置のブロック図である。
【図５】図４の画像処理装置の詳細な構成例を示すブロック図である。
【図６】図５のレベル成分クラス分類部の詳細な構成例を示すブロック図である。
【図７】図６のピークレベル方向分類部の詳細な構成例を示すブロック図である。
【図８】ピークレベル方向クラスタップ、レベル制限クラスタップ、及び波形クラスタップの一例を示す図である。
【図９】ヒストグラムの一例を示す図である。
【図１０】ピークレベル方向クラスタップの波形の一例を示す図である。
【図１１】ピークレベル方向クラスコードについて説明する図である。
【図１２】図６のレベル制限クラス分類部の詳細な構成例を示すブロック図である。
【図１３】許容レベル幅LWを取得する取得方法を説明する第１の図である。
【図１４】許容レベル幅LWを取得する取得方法を説明する第２の図である。
【図１５】図１２のレベル制限クラス特定部により算出される比ratioを説明する図である。
【図１６】画像変換処理を説明するフローチャートである。
【図１７】レベル成分クラス分類処理の詳細を説明するフローチャートである。
【図１８】ピークレベル方向分類処理の詳細を説明するフローチャートである。
【図１９】レベル制限クラス分類処理の詳細を説明するフローチャートである。
【図２０】許容レベル幅取得処理の詳細を説明するフローチャートである。
【図２１】学習装置の構成例を示すブロック図である。
【図２２】学習処理を説明するフローチャートである。
【図２３】シミュレーションの結果を示す図である。
【図２４】コンピュータの構成例を示す図である。
【符号の説明】
【０３０９】
１  画像処理装置，  ３０  予測タップ抽出部，  ３１  ピークレベル方向クラスタップ抽出部，  ３２  波形クラスタップ抽出部，  ３３  レベル成分クラス分類部，  ３４  波形パターンクラス分類部，  ３５  係数ROM，  ３６  予測演算部，  ６１  ピークレベル方向分類部，  ６２  レベル制限クラス分類部，  ６３  レベル成分クラス特定部，  ９１  ヒストグラム生成部，  ９２  最大値最小値取得部，  ９３  区間分割部，  ９４  頻度検出部，  ９５  頻度比較部，  １２１  許容レベル幅算出部，  １２２  DR算出部，  １２３  レベル制限クラス特定部，  １５１  学習装置，  １８０  サブサンプリング部，  １８１  予測タップ抽出部，  １８２  ピークレベル方向クラスタップ抽出部，  １８３  波形クラスタップ抽出部，  １８４  レベル成分クラス分類部，  １８５  波形パターンクラス分類部，  １８６  足し込み部，  １８７  係数算出部
【図１】
0005050944.tif 000014
【図２】
0005050944.tif 000015
【図３】
0005050944.tif 000016
【図４】
0005050944.tif 000017
【図５】
0005050944.tif 000018
【図６】
0005050944.tif 000019
【図７】
0005050944.tif 000020
【図８】
0005050944.tif 000021
【図９】
0005050944.tif 000022
【図１０】
0005050944.tif 000023
【図１１】
0005050944.tif 000024
【図１２】
0005050944.tif 000025
【図１３】
0005050944.tif 000026
【図１４】
0005050944.tif 000027
【図１５】
0005050944.tif 000028
【図１６】
0005050944.tif 000029
【図１７】
0005050944.tif 000030
【図１８】
0005050944.tif 000031
【図１９】
0005050944.tif 000032
【図２０】
0005050944.tif 000033
【図２１】
0005050944.tif 000034
【図２２】
0005050944.tif 000035
【図２３】
0005050944.tif 000036
【図２４】
0005050944.tif 000037