(57)【要約】【課題】汎用性に富んだ画像の高画質化処理を、より効率的、かつ高速に行うことができるようにする。【解決手段】回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値から、注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を学習する。回帰予測部２３は、生徒画像の注目画素とその周辺の画素値からなるタップを取得して予測値を演算する。ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類する。判別係数学習部２５は、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値の演算に用いられる係数を学習する。判別予測部２７は、生徒画像の注目画素とその周辺の画素値からなるタップを取得して予測値を演算する。クラス分割部２８は、判別予測部２７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡに属する画素と判別クラスＢに属する画素とに分割する。【選択図】図１
2010103981.tif 000002
【特許請求の範囲】
【請求項１】
第１の信号の画像から、注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、
前記算出された前記回帰係数と、前記第１の信号の画像から得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、
前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、
前記付与された判別情報に基づいて、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、
前記算出された前記判別係数と、前記第１の信号の画像から得られたタップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、
前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、
前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する
係数学習装置。
【請求項２】
前記回帰係数算出手段が前記判別クラス毎に算出した前記回帰係数により前記回帰予測値算出手段が前記判別クラス毎に算出した前記回帰予測値に基づいて、前記判別情報付与手段が判別情報を付与する処理、前記判別係数算出手段が前記判別係数を算出する処理、および前記判別予測値算出手段が前記判別予測値を算出する処理を繰り返し実行する
請求項１に記載の係数学習装置。
【請求項３】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０未満である場合、前記注目画素は、第１の判別クラスに属する画素であると判別される
請求項１に記載の係数学習装置。
【請求項４】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が予め設定された閾値以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が前記閾値未満である場合、前記注目画素は、第２の判別クラスに属する画素であると判別される
請求項１に記載の係数学習装置。
【請求項５】
第１の信号の画像から、注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出し、
前記算出された前記回帰係数と、前記第１の信号の画像から得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出し、
前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与し、
前記付与された判別情報に基づいて、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出し、
前記算出された前記判別係数と、前記第１の信号の画像から得られたタップに基づいて前記判別予測演算を行って判別予測値を算出し、
前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、
前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出するステップ
を含む係数学習方法。
【請求項６】
コンピュータを、
第１の信号の画像から、注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、
前記算出された前記回帰係数と、前記第１の信号の画像から得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、
前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、
前記付与された判別情報に基づいて、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、
前記算出された前記判別係数と、前記第１の信号の画像から得られたタップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、
前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、
前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置として機能させる
プログラム。
【請求項７】
第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、
前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、
前記分類の結果に基づいて、前記第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算する回帰予測手段とを備える
画像処理装置。
【請求項８】
前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の信号の画像の画素のそれぞれを、分類する処理を繰り返し実行する
請求項７に記載の画像処理装置。
【請求項９】
第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求め、
前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、
前記分類の結果に基づいて、前記第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算するステップ
を含む画像処理方法。
【請求項１０】
コンピュータを、
第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、
前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、
前記分類の結果に基づいて、前記第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算する回帰予測手段とを備える画像処理装置として機能させる
プログラム。
【請求項１１】
請求項７または請求項１２に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、汎用性に富んだ画像の高画質化処理を、より効率的、かつ高速に行うことができるようにする係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
劣化を含んだ生徒（入力）画像から教師画像を予測する上で、全画面を生徒（入力）画像の線形和で表されるような1つのモデルで処理するには精度に問題がある。そのため、生徒（入力）画像を局所の特徴量に応じてクラス分類し、クラス毎に回帰係数を切り替える手段が行われる。従来より、クラス分類に1bitADRCやK-meansアルゴリズムを用いるものが提案されている。
【０００３】
例えば、標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換するために、クラス分類適応処理を用いる手法が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。
【０００５】
クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。
【０００６】
【特許文献１】特開平７−７９４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、クラスタップ数が増えるほど，1bitADRCのようなクラス分類を行うと、総クラス数が指数関数的に増加してしまう。また、一般的に膨大な生徒画像と教師画像の集団から，効率的なクラス分類と回帰予測を行う手段を見つけ出すことは難しい。特許文献１など従来の手法は生徒(入力)画像の局所特徴量だけに応じた決め打ちのクラス分類になってしまうために、生徒(入力)と教師画像の間を結ぶ回帰係数という意味では、必ずしも問題に応じた効率的な分類になっていないという問題がある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、汎用性に富んだ画像の高画質化処理を、より効率的、かつ高速に行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、第１の信号の画像から、注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数と、前記第１の信号の画像から得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、前記付与された判別情報に基づいて、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、前記算出された前記判別係数と、前記第１の信号の画像から得られたタップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置である。
【００１０】
前記回帰係数算出手段が前記判別クラス毎に算出した前記回帰係数により前記回帰予測値算出手段が前記判別クラス毎に算出した前記回帰予測値に基づいて、前記判別情報付与手段が判別情報を付与する処理、前記判別係数算出手段が前記判別係数を算出する処理、および前記判別予測値算出手段が前記判別予測値を算出する処理を繰り返し実行するようにすることができる。
【００１１】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０未満である場合、前記注目画素は、第１の判別クラスに属する画素であると判別されるようにすることができる。
【００１２】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が予め設定された閾値以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が前記閾値未満である場合、前記注目画素は、第２の判別クラスに属する画素であると判別されるようにすることができる。
【００１３】
本発明の第１の側面は、第１の信号の画像から、注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出し、前記算出された前記回帰係数と、前記第１の信号の画像から得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出し、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与し、前記付与された判別情報に基づいて、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出し、前記算出された前記判別係数と、前記第１の信号の画像から得られたタップに基づいて前記判別予測演算を行って判別予測値を算出し、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出するステップを含む係数学習方法である。
【００１４】
本発明の第１の側面は、コンピュータを、第１の信号の画像から、注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数と、前記第１の信号の画像から得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、前記付与された判別情報に基づいて、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、前記算出された前記判別係数と、前記第１の信号の画像から得られたタップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置として機能させるプログラムである。
【００１５】
本発明の第１の側面においては、第１の信号の画像から、注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数が算出され、前記算出された前記回帰係数と、前記第１の信号の画像から得られたタップに基づいて前記回帰予測演算を行って回帰予測値が算出され、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報が付与され、前記付与された判別情報に基づいて、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数が算出され、前記算出された前記判別係数と、前記第１の信号の画像から得られたタップに基づいて前記判別予測演算を行って判別予測値が算出され、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれが、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類される。また、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出される。
【００１６】
本発明の第２の側面は、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、前記分類の結果に基づいて、前記第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算する回帰予測手段とを備える画像処理装置である。
【００１７】
前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の信号の画像の画素のそれぞれを、分類する処理を繰り返し実行するようにすることができる。
【００１８】
本発明の第２の側面は、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求め、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、前記分類の結果に基づいて、前記第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算するステップを含む画像処理方法である。
【００１９】
本発明の第２の側面は、コンピュータを、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、前記分類の結果に基づいて、前記第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算する回帰予測手段とを備える画像処理装置として機能させるプログラムである。
【００２０】
本発明の第２の側面においては、第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値が求められ、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれが、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類され、前記分類の結果に基づいて、前記第１の信号の画像から注目画素に対応する複数の線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値が演算される。
【発明の効果】
【００２１】
本発明によれば、汎用性に富んだ画像の高画質化処理を、より効率的、かつ高速に行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【図２】タップの要素となる画素の例を示す図である。
【図３】水平微分絶対値および垂直微分絶対値の演算に用いられるフィルタの例を示す図である。
【図４】水平微分値の演算例を説明する図である。
【図５】図１のラベリング部の処理を説明するヒストグラムである。
【図６】反復して行われる判別係数の学習を説明する図である。
【図７】反復して行われる判別係数の学習を説明する図である。
【図８】入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。
【図９】図１の学習装置に対応する画像処理装置の構成例を示すブロック図である。
【図１０】図１の学習装置による判別回帰係数学習処理の例を説明するフローチャートである。
【図１１】ラベリング処理の例を説明するフローチャートである。
【図１２】回帰係数演算処理の例を説明するフローチャートである。
【図１３】判別係数演算処理の例を説明するフローチャートである。
【図１４】図９の画像処理装置による判別回帰予測処理の例を説明するフローチャートである。
【図１５】判別処理の例を説明するフローチャートである。
【図１６】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図１７】従来のクラス分類適応処理のクラスタップの例を説明する図である。
【図１８】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図１９】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図２０】非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について説明する図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２４】
図１は、本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【００２５】
この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる係数を生成するようになされている。ここで、高画質化処理は、例えば、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理、あるいはそれらの複合問題を解決する処理などとされる。
【００２６】
学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像において注目画素に対応する画素の値を演算する線形一次式に用いられる係数とされる。なお、回帰係数は、後述するクラス番号毎に学習される。
【００２７】
また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかにクラス分けする。すなわち、学習装置１０は、入力画像の注目画素のそれぞれが、高画質化処理のためのどのクラスに属する画素であるかを特定するための判別係数を学習するようになされている。詳細は後述するが、判別係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとする線形一次式に用いられる係数とされる。
【００２８】
すなわち、学習装置１０により学習された判別係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を繰り返し実行することにより、高画質化処理のためのクラスが特定されるようになされている。そして、特定されたクラスに対応する回帰係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。
【００２９】
学習装置１０においては、例えば、教師画像としてノイズのない画像を入力され、生徒画像として教師画像に対してノイズを付加した画像が入力される。
【００３０】
生徒画像のデータは、回帰係数学習部２１、回帰予測部２３、判別係数学習部２５、および判別予測部２７に供給される。
【００３１】
回帰係数学習部２１は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値から、注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を、例えば、最小二乗法を用いて学習する。
【００３２】
教師画像の画素値ti（i＝１，２，．．N）とし、予測値yi（i＝１，２，．．N）とおくと、式（1）が成立する。ここでNは、生徒画像の画素と教師画像の画素との全サンプル数を表すものとする。
【００３３】
【数１】
2010103981.tif 000003
【００３４】
ここで、εi（i＝１，２，．．N）は、誤差項である。
【００３５】
予測値yiは、回帰係数wを用いた線形モデルを仮定すると、生徒画像の画素値xij（i＝１，２，．．N，j=１，２，・・・M）を用いて、式（2）のように表現できる。
【００３６】
【数２】
2010103981.tif 000004
【００３７】
なお、wTは、行列式として表されるwの転置行列を表している。ｗoは、バイアスパラメータであり、定数項である。なお、Mの値は、後述するタップの要素数に対応する。
【００３８】
式（２）において、パラメータとして用いられるｘiは、生徒画像の注目画素を中心とする所定の位置の画素の値のそれぞれを要素するベクトルとされる。以下、式（２）において、パラメータとして用いられるｘiを、タップと称することにする。
【００３９】
図２は、タップの要素となる画素の例を示す図である。同図は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の２５個の画素（ｘi1乃至xi25）によりタップが構成されている。いまの場合、注目画素は、xi13の画素であり、xi13の画素の位置が、式（２）により予測される教師画像の画素の位置（位相）に対応する。
【００４０】
回帰係数学習部２２は、式（２）の係数wおよびバイアスパラメータｗoを学習して、回帰係数記憶部２２に記憶するようになされている。
【００４１】
上記においては、注目画素の周辺の２５個の画素（ｘi1乃至xi25）の値によりタップが構成される例について説明した。この場合、タップは、生徒画像から得られる線形特徴量により構成されていることになる。
【００４２】
しかしながら、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値が挙げられる。
【００４３】
注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値の演算に用いる式の例を式（３）に示す。
【００４４】
【数３】
2010103981.tif 000005
【００４５】
式（３）における水平微分絶対値および垂直微分絶対値の演算には、ソーベル演算子が用いられており、ｘijで表される注目画素を中心として、図３に示されるようなフィルタ処理を施すことにより水平微分絶対値および垂直微分絶対値が求められる。
【００４６】
図３は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の９個の画素のそれぞれを対象とするフィルタが示されている。図中円で示される部分に示される数値が、それぞれの位置の画素値に乗じられることになる。
【００４７】
図４は、水平微分値の演算の例を説明する図である。同図の例では、ｘi12と記された画素とその周辺の９個の画素それぞれを対象とするフィルタ処理の演算例が示されている。なお、同図では、図中円で示された画素にそれぞれ記されたｘi12などの値が、そのまま画素値を表すものとする。
【００４８】
式（３）により、水平微分絶対値および垂直微分絶対値を求める場合、注目画素を中心としたＭ個の画素のそれぞれに対応する水平微分絶対値および垂直微分絶対値が求められることになる。例えば、図２に示されるように注目画素とその周辺の画素２５個をタップに含める場合、Ｍの値が２５となるから、１つの注目画素に対して水平微分絶対値が２５個、垂直微分絶対値が２５個求められることになる。
【００４９】
また、生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値が挙げられる。注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値は、式（４）により求めることができる。
【００５０】
【数４】
2010103981.tif 000006
【００５１】
このように、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。詳細は後述するが、例えば、ノイズが含まれた入力画像に基づいてノイズのない画像の画素値を予測する場合、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、画像のS/N比を０．３から０．５ｄＢ（デシベル）向上させることができる。
【００５２】
回帰予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（５）により演算する。
【００５３】
【数５】
2010103981.tif 000007
【００５４】
そして、式（５）の誤差項の全サンプル分の自乗和Eが最小となるような、回帰係数をつぎのようにして導出する。
【００５５】
【数６】
2010103981.tif 000008
【００５６】
式（６）のＳ(xx)、Ｓ(xt)は、それぞれ生徒画像、教師画像の分散・共分散を要素とする行列とベクトルであり、各要素は、式（７）により求めることができる。
【００５７】
【数７】
2010103981.tif 000009
【００５８】
【数８】
2010103981.tif 000010
【００５９】
また、式（２）のバイアスパラメータｗoは、式（６）を用いて式（９）のように求めることができる。
【００６０】
【数９】
2010103981.tif 000011
【００６１】
なお、式（２）において定数項であるバイアスパラメータｗoは含まれないようにすることも可能である。
【００６２】
このようにして得られる係数wは、上述したタップの要素数と同じ要素数のベクトルとなる。回帰係数学習部２１により得られた係数wは、回帰予測によって、高画質化された画像の画素値を予測するための演算に用いられる係数であり、回帰係数wと称することにする。なお、バイアスパラメータｗoも広義の回帰係数であるものとし、必要に応じて回帰係数wに対応付けられて記憶されるものとする。
【００６３】
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、回帰係数wのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、回帰係数wのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、回帰係数wのベクトルの要素数も７９個となる。
【００６４】
図１に戻って、回帰係数学習部２１により得られた回帰係数wは、回帰係数記憶部２２に記憶される。
【００６５】
回帰予測部２３は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰予測部２３は、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップを取得する。
【００６６】
回帰予測部２３は、式（２）にタップと回帰係数w（必要に応じてバイアスパラメータｗoも含む）を代入して予測値yiを演算する。
【００６７】
ラベリング部２４は、回帰予測部２３により演算された予測値yiを、教師画像の画素値である真値tiと比較する。ラベリング部２４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類するのである。
【００６８】
図５は、ラベリング部２４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
【００６９】
同図に示されるように、回帰予測部２３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、回帰予測部２３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、回帰係数学習部２１により回帰係数wが学習されたので、式（２）により正確な予測値が演算される可能性は高いといえる。
【００７０】
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な回帰係数wを学習する余地があると考えられる。
【００７１】
本発明では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができると仮定する。このため、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類する。
【００７２】
そして、この後、判別係数学習部２５の処理によって、生徒画像の画素値に基づいて、各画素を判別クラスＡと判別クラスＢに分類するための予測演算に用いられる係数が学習されるのである。すなわち、本発明においては、真値が不明であっても、入力画像の画素値に基づいて各画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
【００７３】
ここでは、ラベリング部２４が生徒画像の各画素をラベリングすると説明したが、ラベリングの単位は、正確には教師画像の画素値である真値tiに対応する生徒画像のタップ（注目画素周辺画素値や非線形特徴量を含むベクトル）毎に1個ずつラベリングされることになる。
【００７４】
また、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
【００７５】
図１に戻って、判別係数学習部２５は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、判別係数学習部２５は、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値の演算に用いられる係数を、例えば、最小二乗法を用いて学習する。
【００７６】
判別係数の学習においては、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値ｙiが式（１０）により求められるものとする。
【００７７】
【数１０】
2010103981.tif 000012
【００７８】
なお、zTは、行列式として表されるzの転置行列を表している。zoは、バイアスパラメータであり、定数項である。なお、Mの値は、タップの要素数に対応する。
【００７９】
式（２）の場合と同様に、式（１０）において、パラメータとして用いられるｘiをタップと称する。判別係数の学習におけるタップは、回帰係数の学習におけるタップと同様とする。すなわち、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップとされる。
【００８０】
判別係数学習部２５は、式（１０）の係数zおよびバイアスパラメータｚoを学習して、判別係数記憶部２６に記憶するようになされている。
【００８１】
判別予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（１１）により演算する。
【００８２】
【数１１】
2010103981.tif 000013
【００８３】
式（１１）のＳ(AB)は、式（１２）により求められる値を要素とする行列である。
【００８４】
【数１２】
2010103981.tif 000014
【００８５】
式（１２）のＮAとＮBは、それぞれ判別クラスＡと判別クラスＢに属するサンプルの総数である。
【００８６】
また、式（１２）のＳAjkとＳBjkは、それぞれ判別クラスＡと判別クラスＢに属するサンプル（タップ）を用いて求めた分散・共分散値であり、式（１３）により求められる。
【００８７】
【数１３】
2010103981.tif 000015
【００８８】
【数１４】
2010103981.tif 000016
【００８９】
式（１０）のバイアスパラメータｚoは、式（１１）を用いて式（１５）のように求めることができる。
【００９０】
【数１５】
2010103981.tif 000017
【００９１】
なお、式（１５）において定数項であるバイアスパラメータｚoは含まれないようにすることも可能である。
【００９２】
このようにして得られる係数zは、上述したタップの要素数と同じ要素数のベクトルとなる。判別係数学習部２５により得られた係数zは、所定の注目画素が判別クラスＡまたは判別クラスＢのいずれに属するかを予測するための演算に用いられる係数であり、判別係数zと称することにする。なお、バイアスパラメータｚoも広義の判別係数であるものとし、必要に応じて判別係数zに対応付けられて記憶されるものとする。
【００９３】
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、判別係数zのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、判別係数zのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、判別係数zのベクトルの要素数も７９個となる。
【００９４】
このようにして学習された係数zを用いて判別予測部２７により予測値が演算されて生徒画像の注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部２７は、式（１０）にタップと判別係数z（必要に応じてバイアスパラメータｚoも含む）を代入して予測値yiを演算する。
【００９５】
そして、判別予測部２７による演算の結果、予測値yiが０以上となったタップの注目画素は、判別クラスＡに属する画素であり、予測値yiが０未満となったタップの注目画素は、判別クラスＢに属する画素であるものと推定できる。
【００９６】
しかしながら、判別予測部２７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（１０）にタップと判別係数zを代入して演算された予測値yiは、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
【００９７】
そこで、本発明においては、反復して判別係数を学習させることにより、より精度の高い予測を可能とする。
【００９８】
すなわち、クラス分割部２８が、判別予測部２７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡに属する画素と判別クラスＢに属する画素とに分割する。
【００９９】
そして、回帰係数学習部２１が、クラス分割部２８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に回帰係数wを学習して回帰係数記憶部２２に記憶する。回帰予測部２３は、クラス分割部２８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１００】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＡに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１０１】
また、回帰係数学習部２１が、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰係数wを学習する。回帰予測部２３は、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１０２】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＢに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１０３】
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第２の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。第３の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第４の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。
【０１０４】
この後、判別係数学習部２５は、上述した４つの集合のうち、第１の集合と第２の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第１の集合の画素（サンプル）の総数と第２の集合の画素（サンプル）の総数とされる。また、判別係数学習部２５は、上述した４つの集合のうち、第３の集合と第４の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第３の集合の画素（サンプル）の総数と第４の集合の画素（サンプル）の総数とされる。
【０１０５】
図６と図７は、反復して行われる判別係数の学習を説明する図である。
【０１０６】
図６は、生徒画像から得られたタップ値であって、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。すなわち、同図においては、説明を簡単にするために、仮想的にタップの要素数を２個として生徒画像において存在し得る全てのタップを２次元空間上に表している。従って、同図においては、タップが２個の要素からなるベクトルであるものと仮定する。
【０１０７】
同図に示される円７１は、ラベリング部２４が最初に判別クラスＡとラベリングした画素に対応するタップの集合を表しており、円７２は、ラベリング部２４が最初に判別クラスＢとラベリングした画素に対応するタップの集合を表している。円７１に示される記号７３は、円７１に含まれるタップの要素の値の平均値の位置を表しており、円７１に示される記号７４は、円７２に含まれるタップの要素の値の平均値の位置を表している。
【０１０８】
同図に示されるように、円７１と円７２は、互いに重なり合っているので、生徒画像から得られたタップの要素の値のみに基づいて、正確に判別クラスＡとラベリングした画素に対応するタップと判別クラスＢとラベリングした画素に対応するタップとを判別することはできなかったことになる。
【０１０９】
しかしながら、記号７３と記号７４とに基づいて、おおよそ２つのクラスを判別するための境界線７５を特定することは可能である。ここで、境界線７５を特定する処理が、判別係数学習部２５により行われる第１回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測の処理に対応することになる。なお、境界線７５上に位置するタップが、式（１０）により演算された予測値ｙiが０となったタップである。
【０１１０】
境界線７５の図中右側に位置するタップの集合を識別するために、クラス分割部２８がそれらのタップに対応する画素にクラスコードビット１を付与する。また、境界線７５の図中左側に位置するタップの集合を識別するために、図１のクラス分割部２８がそれらのタップに対応する画素にクラスコードビット０を付与する。
【０１１１】
なお、第１回目の学習により得られた判別係数zは、第１回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。また、第１回目の判別予測の結果に基づいて、クラスコードビット１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。同様に、第１回目の判別予測の結果に基づいて、クラスコードビット０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。
【０１１２】
そして、クラスコードビット１が付与された画素群と、クラスコードビット０が付与された画素群のそれぞれに基づいて判別係数の学習が繰り返される。その結果、クラスコードビット１が付与された画素群がさらに２つに分割され、クラスコードビット２が付与された画素群もさらに２つに分割されることになる。このときの分割は、判別係数学習部２５により行われる第２回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測によりなされることになる。
【０１１３】
なお、第２回目の学習により得られた判別係数zは、第２回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。第２回目の学習により得られる判別係数zは、第１回目の判別予測によりクラスコードビット１が付与された画素群と、第１回目の判別予測によりクラスコードビット０が付与された画素群のそれぞれを対象として行われる判別予測に用いられるので、いずれの画素群を対象とする判別予測に用いられるものであるのかを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。すなわち、第２回目の判別予測に用いられる判別係数zは、２種類記憶されることになる。
【０１１４】
また、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。同様に、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。さらに、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット０１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われ、クラスコードビット００が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。
【０１１５】
このような処理を繰り返すことにより、図６に示される空間が図７に示されるように分割される。
【０１１６】
図７は、図６と同様に、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。同図では、判別係数学習部２５により３回反復して判別係数の学習が行われた場合の例が示されている。すなわち、第１回目の学習により得られた判別係数zを用いた判別予測により境界線７５が特定され、第２回目の学習により得られた判別係数zを用いた判別予測により境界線７６−１と境界線７６−２が特定される。第３回目の学習により得られた判別係数zを用いた判別予測により境界線７７−１乃至境界線７７−４が特定される。
【０１１７】
図１のクラス分割部２８は、境界線７５により分割されたタップの集合を識別するために、第１ビット目のクラスコードビットを付与し、境界線７６−１と境界線７６−２により分割されたタップの集合を識別するために、第２ビット目のクラスコードビットを付与し、境界線７７−１乃至境界線７７−４により分割されたタップの集合を識別するために、第３ビット目のクラスコードビットを付与する。
【０１１８】
従って、図７に示されるように、生徒画像のタップのそれぞれは、３ビットのクラスコードに基づいて特定されるクラス番号Ｃ0乃至Ｃ7の８つのクラスに分割（分類）されることになる。
【０１１９】
図７に示されるようにクラス分類された場合、図１の判別係数記憶部２６に、第１回目の判別予測に用いられる判別係数zが１種類記憶され、第２回目の判別予測に用いられる判別係数zが２種類記憶され、第３回目の判別予測に用いられる判別係数zが４種類記憶されていることになる。
【０１２０】
また、図７に示されるようにクラス分類された場合、図１の回帰係数記憶部２２に、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが記憶されていることになる。ここで、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wは、第３回目の判別予測の結果、クラス番号Ｃ0乃至Ｃ7のそれぞれに分類された生徒画像の注目画素のタップと、注目画素に対応する教師画像の画素値とをサンプルとし、それぞれのクラス番号毎にあらためて回帰係数の学習が行われて記憶される。
【０１２１】
このように、生徒画像と教師画像を用いて予め判別係数zを学習しておき、入力された画像について反復して判別予測を繰り返せば、入力画像の画素をクラス番号Ｃ0乃至Ｃ7の８つのクラスに分類することが可能となる。そして、８つのクラスに分類された画素に対応するタップと、それぞれのクラスに対応する回帰係数wを用いて回帰予測を行えば、適切な高画質化処理を行うことが可能となる。
【０１２２】
図８は、入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。入力画像の各画素が、第１回目の判別予測によって、第１ビットのクラスコードビット１または０が付与された画素に分類される。このとき、判別予測に用いられる判別係数zは、反復コード１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２３】
第１ビットのクラスコードビット１が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。同様に、第１ビットのクラスコードビット０が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２４】
第１ビットおよび第２ビットのクラスコードビット１１が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。第１ビットおよび第２ビットのクラスコードビット１０が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２５】
同様に、第１ビットおよび第２ビットのクラスコードビット０１または００が付与された画素も、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。そして、反復コード３３または反復コード３４に対応する判別係数zが図１の判別係数記憶部２６に記憶されているものとする。
【０１２６】
このように、３回反復して判別を行うことにより、入力画像の画素のそれぞれに３ビットからなるクラスコードが設定され、クラス番号が特定される。そして特定されたクラス番号に対応する回帰係数wも特定される。
【０１２７】
この例では、クラスコードビットを反復回数順に、上位から下位ビットに繋げた値がクラス番号に対応している。従って、最終的なクラスコードに対応するクラス番号Ｃkは、例えば、式（１６）のようにして特定される。
【０１２８】
【数１６】
2010103981.tif 000018
【０１２９】
また、図８に示されるように，反復回数ｐと最終的なクラス数Ｎcとの関係は、式（１７）により表される。
【０１３０】
【数１７】
2010103981.tif 000019
【０１３１】
なお、最終的なクラス数Ｎcは、最終的に使用する回帰係数wの総数Ｎmと等しくなる。
【０１３２】
判別係数zの総数Ｎdは、式（１８）により表される。
【０１３３】
【数１８】
2010103981.tif 000020
【０１３４】
なお、後述する画像処理装置を用いた高画質化処理における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には図８の各分岐において用いられた回帰係数も必要になるので、回帰係数の総数は式（１９）により表されるものとなる。
【０１３５】
【数１９】
2010103981.tif 000021
【０１３６】
ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０１３７】
図９は、本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された判別係数を用いて入力画像の各画素のそれぞれのクラスを判別する。そして、画像処理装置１００は、判別されたクラスに対応する回帰係数であって、学習装置１０により学習された判別係数を用いて入力画像から得られるタップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。
【０１３８】
すなわち、画像処理装置１００の判別係数記憶部１２２には、学習装置１０の判別係数記憶部２６に記憶されていた判別係数zが予め記憶される。画像処理装置１００の回帰係数記憶部１２４には、学習装置１０の回帰係数記憶部２２に記憶されていた回帰係数wが予め記憶される。
【０１３９】
同図の判別予測部１２１は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（１０）を参照して予測した演算を行う。このとき、判別予測部１２１は、反復回数と判別予測の対象とする画素群に基づいて反復コードを特定し、判別係数記憶部１２２から反復コードに対応する判別係数zを読み出すようになされている。
【０１４０】
クラス分割部１２３は、判別予測部１２１の予測結果に基づいて、注目画素にクラスコードビットを付与していくことで、入力画像の画素を２つの集合に分割する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０１４１】
クラス分割部１２３の処理を経て、判別予測部１２１は、反復して判別予測を行い、クラス分割部１２３によってさらなる分割がなされる。判別予測は、予め設定された回数だけ反復して行われる。例えば、判別予測が３回反復して行われる場合、例えば、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されることになる。
【０１４２】
なお、画像処理装置１００における判別予測の反復回数は、学習装置１０による判別係数の学習の反復回数と同じとなるように設定される。
【０１４３】
クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０１４４】
回帰予測部１２５は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（２）を参照して予測した演算を行う。このとき、回帰予測部１２５は、注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを、回帰係数記憶部１２４から読み出すようになされている。
【０１４５】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０１４６】
このように、本発明によれば、入力画像に対して判別予測を行うことにより、入力画像を構成する各画素（実際には、注目画素に対応するタップ）を、高画質化処理に適したクラスに分類することができる。
【０１４７】
従来の技術では、例えば、１ビットＡＤＲＣなどを用いた入力画像の局所特徴量だけに応じた決め打ちのクラス分類になってしまうために、入力画像と教師画像の間を結ぶ回帰係数という意味では、必ずしも効率的な分類になっていないという問題があった。
【０１４８】
これに対して、本発明では、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理など、高画質化処理の目的に応じた適切なクラス分類方式が自動的に学習されるようにすることができる。
【０１４９】
また、本発明では、反復して判別予測を行うことにより、より適切にクラス分類することが可能となる。さらに、反復して行われる判別予測の処理の途中において、入力画像の画素値などに処理を施した中間データなどを生成する必要がないので、処理を高速化することが可能である。すなわち、出力画像を予測する際に，どの画素に対しても高々（ｐ＋１）回の予測式（式（２））の演算で、クラス分類と回帰予測を行うことができるので高速な処理が可能である。また、クラス分類と回帰予測を行う際に、タップの演算の中間データなどを用いることなく、常に入力に対する演算のみで完結しているために、実装においてパイプライン構造を利用することが可能となる。
【０１５０】
次に、図１０のフローチャートを参照して、判別係数回帰係数学習処理の詳細について説明する。この処理は、図１の学習装置１０により実行される。
【０１５１】
ステップＳ１０１において、判別係数学習部２５は、反復コードを特定する。いまの場合、第１回目の学習の処理であるから反復コードは１と特定される。
【０１５２】
ステップＳ１０２において、回帰係数学習部２１乃至ラベリング部２４は、図１１を参照して後述するラベリング処理を実行する。ここで、図１１のフローチャートを参照して図１０のステップＳ１０２のラベリング処理の詳細な例について説明する。
【０１５３】
ステップＳ１３１において、回帰係数学習部２１は、図１２を参照して後述する回帰係数学習処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる回帰係数wが求められる。
【０１５４】
ステップＳ１３２において、回帰予測部２３は、ステップＳ１３１の処理により求められた回帰係数wを用いて回帰予測値を演算する。このとき、例えば、式（２）の演算が行われ、予測値ｙiが求められる。
【０１５５】
ステップＳ１３３において、ラベリング部２４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
【０１５６】
ステップＳ１３４において、ラベリング部２４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。これにより、例えば、図５を参照して上述したように、判別クラスＡまたは判別クラスＢのラベリングがなされる。
【０１５７】
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１５８】
このようにしてラベリング処理が実行される。
【０１５９】
次に、図１２のフローチャートを参照して、図１１のステップＳ１３１の回帰係数演算処理の詳細な例について説明する。
【０１６０】
ステップＳ１５１において、回帰係数学習部２１は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、その注目画素に対応する教師画像の画素との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１６１】
ステップＳ１５２において、回帰係数学習部２１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１）にサンプルのタップと教師画像の画素値が足しこまれていく。
【０１６２】
ステップＳ１５３において、回帰係数学習部２１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５２の処理が繰り返し実行される。
【０１６３】
ステップＳ１５４において、回帰係数学習部２１は、式（６）乃至式（９）の演算により回帰係数wを導出する。
【０１６４】
このようにして、回帰係数演算処理が実行される。
【０１６５】
以上により図１０のステップＳ１０２のラベリング処理が終了し、処理は、図１０のステップＳ１０３の判別係数演算処理に進む。
【０１６６】
ステップＳ１０３において、判別係数学習部２５は、図１３を参照して後述する判別係数演算処理を実行する。ここで、図１３のフローチャートを参照して、図１０のステップＳ１０３の判別係数演算処理の詳細な例について説明する。
【０１６７】
ステップＳ１７１において、判別係数学習部２５は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１６８】
ステップＳ１７２において、判別係数学習部２５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１１）にサンプルのタップと、判別クラスＡまたは判別クラスＢのラベリングの結果に基づく数値が足しこまれていく。
【０１６９】
ステップＳ１７３において、判別係数学習部２５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７２の処理が繰り返し実行される。
【０１７０】
ステップＳ１７４において、判別係数学習部２５は、式（１２）乃至式（１５）の演算により判別係数zを導出する。
【０１７１】
このようにして、判別係数演算処理が実行される。
【０１７２】
図１０に戻って、ステップＳ１０４において、判別予測部２３は、ステップＳ１０３の処理により求められた係数zと、生徒画像から得られるタップを用いて、判別予測値を演算する。このとき、例えば、式（１０）の演算が行われ、予測値ｙi（判別予測値）が求められる。
【０１７３】
ステップＳ１０５において、クラス分割部２８は、ステップＳ１０４の処理により求められた判別予測値が０以上であるか否かを判定する。
【０１７４】
ステップＳ１０５において、判別予測値が０以上であると判定された場合、処理は、ステップＳ１０６に進み、当該注目画素（実際にはタップ）にクラスコードビット１が設定される。一方、ステップＳ１０５において、判別予測値が０未満であると判定された場合、処理は、ステップＳ１０７に進み、当該注目画素（実際にはタップ）にクラスコードビット０が設定される。
【０１７５】
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１７６】
ステップＳ１０６、またはステップＳ１０７の処理の後、処理は、ステップＳ１０８に進み、判別係数記憶部２６は、ステップＳ１０３の処理で求められた判別係数zを、ステップＳ１０１で特定された反復コードに対応付けて記憶する。
【０１７７】
ステップＳ１０９において、学習装置１０は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１０１に戻る。
【０１７８】
そして、ステップＳ１０１において、あらためて反復コードが特定される。いまの場合、第２回目の学習の最初の処理であるから、反復コードは２１と特定される。
【０１７９】
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。このとき、上述したように、ステップＳ１０２の処理と、ステップＳ１０３の処理では、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定されることになる。
【０１８０】
そして、ステップＳ１０９で反復が終了したか否かが判定される。
【０１８１】
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０８の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で反復コードは３４であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
【０１８２】
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、７種類の判別係数zが、それぞれ反復コードに対応付けられて判別係数記憶部２６に記憶されたことになる。
【０１８３】
ステップＳ１０９において、反復は終了したと判定された場合、処理は、ステップＳ１１０に進む。
【０１８４】
ステップＳ１１０において、回帰係数学習部２１は、回帰係数演算処理を実行する。この処理は、図１２のフローチャートを参照して上述した場合と同様なので、詳細な説明は省略するが、いまの場合、ステップＳ１５１では、反復コードに対応するサンプルが特定されるのではなく、各クラス番号に対応するサンプルがそれぞれ特定される。
【０１８５】
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、生徒画像の各画素は、クラス番号Ｃ0乃至Ｃ7のいずれかのクラスに分類されたことになる。従って、生徒画像のクラス番号Ｃ0の画素を、注目画素としてサンプルが特定されて、第１の回帰係数wが導出される。また、生徒画像のクラス番号Ｃ１の画素を、注目画素としてサンプルが特定されて、第２の回帰係数wが導出され、生徒画像のクラス番号Ｃ２の画素を、注目画素としてサンプルが特定されて、第３の回帰係数wが導出され、・・・生徒画像のクラス番号Ｃ７の画素を、注目画素としてサンプルが特定されて、第８の回帰係数wが導出される。
【０１８６】
つまり、ステップＳ１１０の回帰係数演算処理においては、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが求められることになる。
【０１８７】
ステップＳ１１１において、回帰係数記憶部２２は、ステップＳ１１０の処理により求められた８種類の回帰係数wのそれぞれを、クラス番号に対応付けて記憶する。
【０１８８】
このようにして、判別回帰係数学習処理が実行される。
【０１８９】
なお、ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０１９０】
次に、図１４のフローチャートを参照して、判別回帰予測処理の例について説明する。この処理は、図９の画像処理装置１００により実行される。また、処理の実行に先立って、画像処理装置１００の判別係数記憶部１２２と回帰係数記憶部１２４には、それぞれ、図１０の判別回帰係数学習処理によって、判別係数記憶部２６に記憶された７種類の判別係数zと、回帰係数記憶部２２に記憶された８種類の回帰係数wとが記憶されているものとする。
【０１９１】
ステップＳ１９１において、判別予測部１２１は、反復コードを特定する。いまの場合、第１回目の判別の処理であるから反復コードは１と特定される。
【０１９２】
ステップＳ１９２において、判別予測部１２１は、図１５を参照して後述する判別処理を実行する。ここで、図１５のフローチャートを参照して、図１４のステップＳ１９２の判別処理の詳細な例について説明する。
【０１９３】
ステップＳ２１１において、判別予測部１２１は、反復コードに対応する注目画素を設定する。例えば、反復コードが１であれば、第１回目の判別の処理なので、入力画像の全画素のそれぞれが注目画素として設定される。例えば、反復コードが２１であれば、第２回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定される。例えば、反復コードが３４であれば、第３回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット０が付与され、２回目の判別の処理でクラスコードビット０が付与された画素のそれぞれが注目画素として設定される。
【０１９４】
ステップＳ２１２において、判別予測部１２１は、ステップＳ２１１で設定された注目画素に対応するタップを取得する。
【０１９５】
ステップＳ２１３において、判別予測部１２１は、ステップＳ２１１の処理で特定された反復コードに対応する判別係数zを特定し、判別係数記憶部１２２から読み出す。
【０１９６】
ステップＳ２１４において、判別予測部１２１は、判別予測値を演算する。このとき、例えば、上述した式（１０）の演算が行われることになる。
【０１９７】
ステップＳ２１５において、クラス分割部１２３は、ステップＳ２１４の処理で演算された判別予測値に基づいて、注目画素にクラスコードビットを設定（付与）する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０１９８】
なお、ステップＳ２１１乃至ステップＳ２１５の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１９９】
このようにして、判別処理が実行される。
【０２００】
図１４に戻って、ステップＳ１９２の処理の後、ステップＳ１９３において、判別予測部１２１は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１９１に戻る。
【０２０１】
この後、ステップＳ１９１では反復コードが２１と特定され、同様に、ステップＳ１９２の処理が実行される。このとき、上述したように、ステップＳ１９２の処理では、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定されることになる。
【０２０２】
そして、ステップＳ１９３で反復が終了したか否かが判定される。
【０２０３】
このように、ステップＳ１９３において反復が終了したと判定されるまで、ステップＳ１９１乃至Ｓ１９３の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１９１で反復コードは３４であると特定された後、ステップＳ１９２の処理が実行され、ステップＳ１９３において、反復は終了したと判定されることになる。
【０２０４】
ステップＳ１９３においては、反復が終了したと判定された場合、処理は、ステップＳ１９４に進む。なお、ここまでの処理により、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されていることになる。また、上述したように、クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０２０５】
ステップＳ１９４において、回帰予測部１２５は、入力画像において注目画素を設定する。
【０２０６】
ステップＳ１９５において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素に対応するタップを取得する。
【０２０７】
ステップＳ１９６において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを特定し、回帰係数記憶部１２４から読み出す。
【０２０８】
ステップＳ１９７において、回帰予測部１２５は、ステップＳ１９５で取得したタップと、ステップＳ１９６で特定して読み出した回帰係数wを用いて式（２）の演算を行い、回帰予測値を演算する。
【０２０９】
なお、ステップＳ１９１乃至ステップＳ１９７の処理は、入力画像の各画素のそれぞれを対象として行われる。
【０２１０】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０２１１】
このようにして判別予測処理が実行される。このようにすることで、画像の高画質化処理を、より効率的で高速に行うことができる
【０２１２】
図１６は、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２１３】
同図は、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２１４】
ここで、従来の画像処理装置による画像処理は、図１７に示されるようなクラスタップを用いて行われるクラス分類適応処理による画像処理である。すなわち、従来の画像処理装置による画像処理は、入力画像について、図１７の図中ハッチングされた円で示される画素を注目画素とし、９（＝３×３）個の画素の画素値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、その１bitADRCコード毎にクラス分類するものである。従来のクラス分類適応処理による画像処理については、例えば、特開平７−７９４１８号公報などに詳細に記載されている。
【０２１５】
図１７に示されるようなクラスタップを取得して従来のクラス分類適応処理による画像処理を行う場合、入力画像の各画素は、それぞれ５１２（＝２9）通りのクラスに分類されることになる。本発明の学習装置１０において、９回反復して判別係数の学習を行った場合、入力画像の各画素が５１２通りのクラスに分類されることになるから、同図において、本発明の画像処理装置１００による画像処理の反復回数９回に対応する位置に、従来の画像処理装置による画像処理が施された画像の特性値が記されている。実際には、従来の画像処理装置による画像処理の反復回数は１回のみである（そもそも従来のクラス分類適応処理による画像処理では反復が想定されていない）。
【０２１６】
また、本発明の画像処理装置１００においては、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。本発明の画像処理装置１００において反復回数ｐの値を９とした場合、判別係数zの種類の数Nd、および回帰係数wの種類の数Nmは、式（２０）により表される。
【０２１７】
【数２０】
2010103981.tif 000022
【０２１８】
図１６においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。
【０２１９】
【数２１】
2010103981.tif 000023
【０２２０】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約１dBほどS/N比の値が改善されている。
【０２２１】
図１８は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２２２】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２２３】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２２４】
図１８においては、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている
【０２２５】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
【０２２６】
図１９は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２２７】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２２８】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２２９】
図１９においては、空間的に水平／垂直方向に１／３のサイズに縮小されて帯域劣化した入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理（いまの場合、画像の拡大処理）している。すなわち、図１９の例は、ダウンコン劣化した画像をアップコン（３×３倍）するものである。同図のS/N比の値の評価式は、式（２１）を用いている
【０２３０】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.２dBほどS/N比の値が改善されている。
【０２３１】
図１６、図１８、図１９に示されるように、本発明により、従来と比較してより効果的な高画質化処理を行うことが可能となる。
【０２３２】
すなわち、本発明によれば、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像の場合、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像の場合、ダウンコン劣化した入力画像の場合のいずれにおいても従来の方式よりも適切に高画質化処理を行うことが可能である。また、図１６、図１８、図１９に示した例以外にも、本発明を、画像の高画質化に関係する様々なアプリケーションプログラムなどに応用することが可能である。例えば、本発明を、ノイズ除去、符号化歪除去、ボケ除去、解像度創造、階調創造、デモザイキング、IP変換等に関係する高画質化処理のアプリケーションプログラムなどに適用することが可能である。
【０２３３】
さらに、本発明によれば、ノイズ除去、符号化歪除去、ボケ除去、・・・など画像の劣化原因が複数あった場合でも適切に高画質化処理を行うことができる。例えば、ノイズ、符号化歪、およびボケを含んだ画像であっても、本発明により適切に高画質化処理を施すことが可能である。また、本発明では、このように、画像の劣化原因が複雑化した場合であっても、判別係数zまたは回帰係数wの要素数および種類の数を増やすことなく、適切に高画質化処理を施すことが可能である。
【０２３４】
ところで、本発明においては、上述したように、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について、図２０を参照して説明する。
【０２３５】
図２０は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２３６】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中四角形（菱形）の記号でプロットされた点が、従来の画像処理装置１００による画像処理を施して得られた画像の特性を示している。
【０２３７】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２３８】
図２０においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。同図の点線が、図２に示される生徒画像から得られる線形特徴量のみのタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。また、同図の実線が、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。
【０２３９】
同図に示されるように、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
【０２４０】
また、図２０の菱形でプロットされた点が、図１７に示される線形特徴量のみのタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。また、同図の四角形でプロットされた点が、図１７に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。
【０２４１】
同図に示されるように、従来の方式においても、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.４dBほどS/N比の値が改善されている。
【０２４２】
非線形特徴量を加えたタップを用いる高画質化処理を従来のクラス分類適応処理に適用する場合、例えば、次のような処理となる。
【０２４３】
入力画像において、クラスタップについては、線形特徴量のみのタップを用いる場合と同じように図１７に示されるタップを取得する。そのため、９個の要素の値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、算出された１bitADRCコード毎に、注目画素をクラス分類する。
【０２４４】
また、予測タップとしては、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものを用いる。そのタップの要素のそれぞれに回帰係数wを乗じることで、式（２）を参照して上述した回帰演算を行った予測値を演算する。そして、得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになり、その出力画像の特性は、上述したように、線形特徴量のみのタップを用いる場合と比較してS/N比の値が改善されたものとなる。
【０２４５】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２４６】
図２１において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２４７】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２４８】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２４９】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２５０】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２５１】
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２５２】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０２５３】
１０  学習装置，  ２１  回帰係数学習部，  ２２  回帰係数記憶部，  ２３  回帰予測部，  ２４  ラベリング部，  ２５  判別係数学習部，  ２６  判別係数記憶部，  ２７  判別予測部，  ２８  クラス分割部，  １００  画像処理装置，  １２１  判別予測部，  １２２  判別係数記憶部，  １２３  クラス分割部，  １２４  回帰係数記憶部，  １２５  回帰予測部，  ７０１  ＣＰＵ，  ７０２  ROM，  ７１１  リムーバブルメディア
【図１】
2010103981.tif 000024
【図２】
2010103981.tif 000025
【図３】
2010103981.tif 000026
【図４】
2010103981.tif 000027
【図５】
2010103981.tif 000028
【図６】
2010103981.tif 000029
【図７】
2010103981.tif 000030
【図８】
2010103981.tif 000031
【図９】
2010103981.tif 000032
【図１０】
2010103981.tif 000033
【図１１】
2010103981.tif 000034
【図１２】
2010103981.tif 000035
【図１３】
2010103981.tif 000036
【図１４】
2010103981.tif 000037
【図１５】
2010103981.tif 000038
【図１６】
2010103981.tif 000039
【図１７】
2010103981.tif 000040
【図１８】
2010103981.tif 000041
【図１９】
2010103981.tif 000042
【図２０】
2010103981.tif 000043
【図２１】
2010103981.tif 000044