(57)【特許請求の範囲】
【請求項１】
入力データを、より高質な出力データに変換する信号処理装置において、
前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第１のデータ抽出手段と、
前記第１のデータ抽出手段により抽出された前記複数のデータを正規化し、前記注目データの正規化データを求める正規化演算手段と、
前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成する処理係数生成手段と、
前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第２のデータ抽出手段と、
前記第２のデータ抽出手段により抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する予測手段と
を備える信号処理装置。
【請求項２】
前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有する
請求項１に記載の信号処理装置。
【請求項３】
前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段
をさらに備え、
前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成する
請求項１に記載の信号処理装置。
【請求項４】
入力データを、より高質な出力データに変換する信号処理装置の信号処理方法において、
前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、
前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、
前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する
ステップを含む信号処理方法。
【請求項５】
入力データを、より高質な出力データに変換する信号処理を、コンピュータに行わせるプログラムにおいて、
前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、
前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、
前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する
ステップを含む信号処理をコンピュータに行わせるプログラム。
【請求項６】
生徒としての入力データより求められる正規化データと第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒としての入力データとの演算により、その生徒としての入力データよりも高質な教師としての出力データを生成する関係式を解法するために、前記生徒としての入力データと前記教師としての出力データを用いて正規方程式を生成する正規方程式生成手段と、
前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段と
を備える学習装置。
【請求項７】
前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有し、
前記係数生成手段は、前記正規方程式を解法することにより、前記起点係数と前記偏差係数を生成する
請求項６に記載の学習装置。
【請求項８】
前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段
をさらに備え、
前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記入力データと前記注目データを用いて、前記正規方程式を生成する
請求項６に記載の学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法、およびプログラム、並びに学習装置に関し、特に、より高質なデータを生成することができるようにした信号処理装置、信号処理方法、およびプログラム、並びに学習装置に関する。
【背景技術】
【０００２】
本出願人は、SD（Standard Definition）画像から、そのSD画像より画素数の多いHD（High Definition）画像を生成する解像度創造処理を先に提案している（例えば、特許文献１参照）。この解像度創造処理では、SD画像から求められるHD画像の画素である注目画素の周囲に存在する、そのSD画像の複数の周辺画素の特性に応じて、注目画素をパターンに分類し、そのパターンに対応する、予め記憶されている予測係数と、SD画像の線形１次式を演算することにより、SD画像からHD画像を生成する、いわゆるクラス分類適応処理が用いられている。
【０００３】
なお、クラス分類適応処理は、解像度創造処理に用いられるだけでなく、画像の劣化を除去する劣化除去処理などにも用いられる。
【０００４】
【特許文献１】特開平８−３１７３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、従来のクラス分類適応処理では、１つのクラスに対して１つの予測係数が決定されるため、図１に示すように、同一のクラスに分類される注目画素を、予測係数において区別することができない。その結果、クラスが離散的となり、より高画質なHD画像を生成することは困難であった。
【０００６】
そこで、例えば、2ビットADRC(Adaptive Dynamic Range Coding)（適応的ダイナミックレンジ符号化）や3ビットADRCなどを用いてクラスを求めることにより、図２に示すように、1ビットADRCを用いてクラスを求める場合に比べてクラスを細分化し、1ビットADRCで求めた場合同一のクラスに分類される注目画素を、予測係数において区別することが考えられている。
【０００７】
しかしながら、この場合、クラス数が飛躍的に増大するため、予測係数を学習する際のクラス当たりのサンプル数が減少し、容易に学習限界に達してしまう。その結果、予測係数の学習精度が悪くなり、HD画像の画質を充分に高めることができない。
【０００８】
また、図３に示すように、隣接するクラスの予測係数を用いて予測係数を補間することにより、同一のクラスに分類される注目画素を予測係数において区別することも考えられるが、本来のクラスと異なるクラスの予測係数が混合されるため、HD画像にぼけが生じてしまう。以上により、従来のクラス分類適応処理では、より高画質なHD画像を生成することは困難であった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、より高質なデータを生成することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面の信号処理装置は、入力データを、より高質な出力データに変換する信号処理装置において、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第１のデータ抽出手段と、前記第１のデータ抽出手段により抽出された前記複数のデータを正規化し、前記注目データの正規化データを求める正規化演算手段と、前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成する処理係数生成手段と、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第２のデータ抽出手段と、前記第２のデータ抽出手段により抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する予測手段とを備える。
【００１１】
本発明の第１の側面の信号処理装置において、前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有することができる。
【００１２】
本発明の第１の側面の信号処理装置は、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段をさらに備え、前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成することができる。
【００１３】
本発明の第１の側面の信号処理方法は、入力データを、より高質な出力データに変換する信号処理装置の信号処理方法において、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成するステップを含む。
【００１４】
本発明の第１の側面のプログラムは、入力データを、より高質な出力データに変換する信号処理を、コンピュータに行わせるプログラムにおいて、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成するステップを含む信号処理をコンピュータに行わせる。
【００１５】
本発明の第２の側面の学習装置は、生徒としての入力データより求められる正規化データと第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒としての入力データとの演算により、その生徒としての入力データよりも高質な教師としての出力データを生成する関係式を解法するために、前記生徒としての入力データと前記教師としての出力データを用いて正規方程式を生成する正規方程式生成手段と、前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段とを備える。
【００１６】
本発明の第２の側面の学習装置において、前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有し、前記係数生成手段は、前記正規方程式を解法することにより、前記起点係数と前記偏差係数を生成することができる。
【００１７】
本発明の第２の側面の学習装置は、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段をさらに設け、前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記入力データと前記注目データを用いて、前記正規方程式を生成することができる。
【００１８】
本発明の第１の側面においては、入力データより高質な出力データ内の注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータが抽出され、その抽出された複数のデータが正規化されて、注目データの正規化データが求められ、入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、生徒としてのデータとの演算により、その生徒としてのデータよりも高質な出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された第１の処理係数と、注目データの正規化データとの演算により、第２の処理係数が生成され、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータが抽出され、その抽出された複数のデータと、第２の処理係数との演算により、注目データが生成される。
【００１９】
本発明の第２の側面においては、生徒としての入力データより求められる正規化データと第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒としての入力データとの演算により、その生徒としての入力データよりも高質な教師としての出力データを生成する関係式を解法するために、生徒としての入力データと教師としての出力データを用いて正規方程式が生成され、正規方程式を解法することにより、第１の処理係数が生成される。
【発明の効果】
【００２０】
以上のように、本発明の第１の側面によれば、より高質なデータを生成することができる。
【００２１】
また、本発明の第２の側面によれば、より高質なデータを生成するための処理係数を生成することができる。
【発明を実施するための最良の形態】
【００２２】
図４は、本発明の原理を表している。
【００２３】
図４に示すように、本発明のクラス分類適応処理では、同一のクラスに分類される出力データ内の注目データに対する予測係数Ｗが、起点係数Ｗ0を基準として、入力データの距離ベクトルｄに応じた連続関数で求められる。なお、距離ベクトルｄとは、クラス内の予測係数Ｗの変化を顕著に表す、入力データの線形和では求められない非線形特徴量のベクトルである。
【００２４】
具体的には、起点係数Ｗ0を元に、距離ベクトルｄを用いて予測係数Ｗの係数空間を展開すると、予測係数Ｗは以下の式（１）で表される。
【００２５】
【数１】
0005099429.tif 000002
【００２６】
なお、式（１）において、予測係数Ｗをn個の予測係数からなるn次元ベクトル（Ｗ（=ｗ0,ｗ1,・・・,ｗn-1））とし、距離ベクトルｄをm種類の非線形特徴量からなるm次元ベクトル（ｄ（=ｄ0,ｄ1,・・・,ｄm-1））とする。ｐは展開の最大の次数である。
【００２７】
また、式（１）は起点係数Ｗ0を高次微分展開した形になっているが、その値がクラス内部において距離ベクトルｄによって変化しないものとして、定数項である1/r!を含めて新たな係数
【数２】
0005099429.tif 000003
とし、さらに変数として重複する項を削除して簡潔に表現すると、式（１）は式（２）になる。
【００２８】
【数３】
0005099429.tif 000004
【００２９】
なお、式（２）において、
【数４】
0005099429.tif 000005
は、予測係数Ｗと起点係数Ｗ0との偏差を距離ベクトルｄとともに表す係数であり、以下では、これらの係数をまとめて偏差係数という。
【００３０】
また、式（２）において次数ｒに対する項数Ｓrは、以下の式（３）で表される。
【００３１】
【数５】
0005099429.tif 000006
【００３２】
従って、予測係数Ｗの総変数の数Ｓは、以下の式（４）で表される。
【００３３】
【数６】
0005099429.tif 000007
【００３４】
なお、式（４）において、ｐ=0のとき、S=nであるものとする。
【００３５】
以上により、本発明のクラス分類適応処理では、式（２）にしたがって、起点係数Ｗ0および偏差係数、並びに距離ベクトルｄを用いて、同一のクラス内の予測係数Ｗが求められる。これにより、同一のクラスに分類される注目データを、予測係数において区別することができる。その結果、より高質な出力データを生成することができる。
【００３６】
また、本発明のクラス分類適応処理では、同一のクラスに分類される注目データを予測係数において区別するために、クラスを細分化する必要がないので、クラス数は増大せず、予測係数の学習精度は悪化しない。さらに、本発明のクラス分類適応処理では、本来のクラスの起点係数Ｗ0を基準として予測係数Ｗが求められるので、本来のクラスと異なるクラスの予測係数が混合されることによる出力データの劣化を防止することができる。
【００３７】
図５は、本発明を適用した信号処理装置の第１の実施の形態の構成例を示している。
【００３８】
図５の信号処理装置１０は、クラスタップ抽出部１１、クラス分類部１２、係数記憶部１３、距離ベクトルタップ抽出部１４、距離ベクトル演算部１５、予測係数生成部１６、予測タップ抽出部１７、および予測部１８により構成される。
【００３９】
信号処理装置１０は、これから生成される出力データ内の注目データに対するクラスを生成し、そのクラスの起点係数Ｗ0を基準として求められた予測係数Ｗと入力データを用いて、その入力データより高質な出力データの予測値を生成することにより、クラス分類適応処理を行う。これにより、入力データが、より高質な出力データに変換される。
【００４０】
詳細には、信号処理装置１０において、クラスタップ抽出部１１は、これから生成される出力データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。クラスタップ抽出部１１は、その注目データをクラスに分類するために用いる、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータを、入力データからクラスタップとして抽出する。クラスタップ抽出部１１は、クラスタップをクラス分類部１２に供給する。
【００４１】
クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。注目データをクラスに分類する方法としては、例えば、ADRCなどを採用することができる。ADRCを用いる方法では、クラスタップを構成するデータがADRC処理され、その結果得られるADRCコードにしたがって、注目データのクラスが決定される。
【００４２】
なお、KビットADRCにおいては、例えば、クラスタップを構成するデータの最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数のデータの集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数のデータそれぞれがKビットに再量子化される。即ち、クラスタップとしての各データから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップとしてのKビットのデータを、所定の順番で並べたビット列が、ADRCコードとされる。
【００４３】
従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップとしての各データは、最小値MINが減算された後に、最大値MAXと最小値MINとの差の1/2で除算され（小数点以下切り捨て）、これにより、各データが１ビットとされる（２値化される）。そして、その１ビットのデータを所定の順番で並べたビット列が、ADRCコードとされる。クラス分類部１２により生成された注目データに対するクラスは、係数記憶部１３に供給される。
【００４４】
係数記憶部１３は、後述する学習によって求められているクラスごとの起点係数Ｗ0と偏差係数を記憶している。係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１６に供給する。
【００４５】
距離ベクトルタップ抽出部１４は、クラスタップ抽出部１１と同様に、出力データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。距離ベクトルタップ抽出部１４は、注目データに対応する距離ベクトルｄを演算するために用いる、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータを、入力データから距離ベクトルタップとして抽出する。距離ベクトルタップ抽出部１４は、距離ベクトルタップを距離ベクトル演算部１５に供給する。
【００４６】
距離ベクトル演算部１５は、距離ベクトルタップ抽出部１４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、予測係数生成部１６に供給する。
【００４７】
予測係数生成部１６は、係数記憶部１３から供給される起点係数Ｗ0および偏差係数と、距離ベクトル演算部１５から供給される距離ベクトルｄとを用いて、式（２）の演算を行うことにより、予測係数Ｗを生成する。予測係数生成部１６は、予測係数Ｗを予測部１８に供給する。
【００４８】
予測タップ抽出部１７は、クラスタップ抽出部１１や距離ベクトルタップ抽出部１４と同様に、出力データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。予測タップ抽出部１７は、注目データを予測するために用いる、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータを、入力データから予測タップとして抽出する。予測タップ抽出部１７は、予測タップを予測部１８に供給する。
【００４９】
予測部１８は、予測係数生成部１６から供給される予測係数Ｗと、予測タップ抽出部１７から供給される予測タップとを用いて、注目データを予測する予測演算を行い、注目データの予測値を、出力データを構成する注目データとして生成する。予測部１８は、予測演算により生成されたデータから構成される出力データを出力する。
【００５０】
次に、図６のフローチャートを参照して、図５の信号処理装置１０による信号処理について説明する。
【００５１】
ステップＳ１１において、クラスタップ抽出部１１、距離ベクトルタップ抽出部１４、および予測タップ抽出部１７は、出力データを構成する複数のデータのうちのまだ注目データとされていない１つを、注目データとして決定する。ステップＳ１２において、クラスタップ抽出部１１は、入力データから、注目データに対応するクラスタップを抽出し、クラス分類部１２に供給する。
【００５２】
ステップＳ１３において、クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。そして、クラス分類部１２は、生成された注目データに対するクラスを係数記憶部１３に供給する。
【００５３】
ステップＳ１４において、距離ベクトルタップ抽出部１４は、入力データから、注目データに対応する距離ベクトルタップを抽出し、距離ベクトル演算部１５に供給する。ステップＳ１５において、距離ベクトル演算部１５は、距離ベクトルタップ抽出部１４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、予測係数生成部１６に供給する。
【００５４】
ステップＳ１６において、係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１６に供給する。
【００５５】
ステップＳ１７において、予測係数生成部１６は、係数記憶部１３から供給される起点係数Ｗ0および偏差係数と、距離ベクトル演算部１５から供給される距離ベクトルｄとを用いて、式（２）の演算を行うことにより、予測係数Ｗを生成する。予測係数生成部１６は、予測係数Ｗを予測部１８に供給する。
【００５６】
ステップＳ１８において、予測タップ抽出部１７は、入力データから、注目データに対応する予測タップを抽出し、予測部１８に供給する。
【００５７】
ステップＳ１９において、予測部１８は、予測係数生成部１６から供給される予測係数Ｗと、予測タップ抽出部１７から供給される予測タップとを用いて予測演算を行い、注目データの予測値を、出力データを構成する注目データとして生成する。ステップＳ２０において、クラスタップ抽出部１１、距離ベクトルタップ抽出部１４、および予測タップ抽出部１７は、出力データを構成する全てのデータを注目データに決定したかを判定する。
【００５８】
ステップＳ２０で、出力データを構成する全てのデータをまだ注目データに決定していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
【００５９】
一方、ステップＳ２０で、出力データを構成する全てのデータを注目データに決定したと判定された場合、ステップＳ２１において、予測部１８は、予測演算により生成されたデータから構成される出力データを出力し、処理は終了する。
【００６０】
以上のように、信号処理装置１０は、クラスごとの起点係数Ｗ0および偏差係数を用いて予測係数Ｗを生成することにより、同一のクラスに分類される注目データを予測係数Ｗにおいて区別するので、より高質な出力データを生成することができる。
【００６１】
なお、信号処理装置１０で予測係数Ｗの生成に用いられる起点係数Ｗ0および偏差係数は、例えば、最小自乗法を利用した学習によって求めることができる。
【００６２】
具体的には、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、出力データを構成するデータyは、次の線形１次式によって求められることになる。
【００６３】
【数７】
0005099429.tif 000008
【００６４】
但し、式（５）において、Ｘは、出力データのデータyについての予測タップを構成する入力データのn個のデータからなるn次元ベクトル（X=（x0,x1,・・・,xn））である。即ち、予測タップを構成するデータの個数と、予測係数Ｗを構成する予測係数の個数は同一である。
【００６５】
ここで、出力データのデータyは、式（５）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００６６】
いま、第kサンプルの出力データの真値をykと表し、その第kサンプルの出力データについての予測タップを構成する入力データのn次元ベクトルＸをＸk（Ｘk=（xk0,xk1,・・・,xkn））と表し、予測係数Ｗが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最小化関数Qは、以下の式（６）で表される。
【００６７】
【数８】
0005099429.tif 000009
【００６８】
なお、式（６）において、Ｎは、出力データのデータykと、そのデータykについての予測タップを構成する入力データのn次元ベクトルとのセット学習に用いるサンプル数（学習用のサンプルの数）である。また、tkは、各サンプルの重みであり、例えば距離ベクトルｄの大きさに応じて決定される定数である。
【００６９】
式（６）の最小化関数Qの最小値（極小値）は、最小化関数Qを全ての変数で偏微分したものを0とする起点係数Ｗ0および偏差係数によって与えられる。従って、式（６）の最小化関数Qを全ての変数で偏微分し、その値が0となるように構築された図７の足し込み行列の連立一次方程式を解くことにより、最適な起点係数Ｗ0および偏差係数が求められる。
【００７０】
図７の足し込み行列は、小ブロック（左辺の左側の行列の場合n×n行列からなる小ブロック、左辺の右側の行列と右辺の行列の場合n×1行列からなる小ブロック）に分けられ、左辺の左側の行列および右辺の行列の各小ブロックは、従来のクラス分類適応処理における線形１次予測演算に対応する足し込み行列の各要素に対して、その小ブロックの位置に応じた距離ベクトルｄの値を乗算することにより構成される。なお、図７において、iおよびj（0≦i,j≦n）は、予測タップ内のデータの位置を表している。
【００７１】
なお、この足し込み行列は、クラスごとに生成され、最適な起点係数Ｗ0および偏差係数がクラスごとに求められる。
【００７２】
信号処理装置１０のクラス分類適応処理によれば、以上のようにして求められるクラスごとの起点係数Ｗ0および偏差係数を用いて、式（２）の演算を行うことにより予測係数Ｗが生成され、その予測係数Ｗを用いて式（５）の予測演算を行うことにより、入力データが出力データに変換される。
【００７３】
図８は、図５の信号処理装置１０により用いられる起点係数Ｗ0および偏差係数を学習する学習装置３０の構成例を示している。
【００７４】
図８の学習装置３０は、学習対記憶部３１、クラスタップ抽出部３２、クラス分類部３３、距離ベクトルタップ抽出部３４、距離ベクトル演算部３５、予測タップ抽出部３６、正規方程式生成部３７、係数生成部３８、および係数記憶部３９により構成される。
【００７５】
学習装置３０において、学習対記憶部３１は、起点係数Ｗ0および偏差係数の学習における生徒としての、信号処理装置１０における入力データに相当するデータ（以下、生徒データという）と、教師としての、その入力データから変換された理想的な出力データに相当するデータ（以下、教師データという）とのセットを、学習対データとして記憶している。
【００７６】
そして、学習対記憶部３１は、学習対データのうちの生徒データを、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６に出力し、教師データを正規方程式生成部３７に出力する。
【００７７】
クラスタップ抽出部３２は、図５のクラスタップ抽出部１１と同様に、教師データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。クラスタップ抽出部３２は、その注目データをクラスに分類するために用いる、注目データの位置およびその周辺の位置に対応する生徒データ内の複数のデータを、生徒データからクラスタップとして抽出する。クラスタップ抽出部３２は、クラスタップをクラス分類部３３に供給する。
【００７８】
クラス分類部３３は、図５のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
【００７９】
距離ベクトルタップ抽出部３４は、クラスタップ抽出部３２と同様に、教師データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。距離ベクトルタップ抽出部３４は、図５の距離ベクトルタップ抽出部１４と同様に、注目データに対応する距離ベクトルｄを演算するために用いる、注目データの位置およびその周辺の位置に対応する生徒データ内の複数のデータを、生徒データから距離ベクトルタップとして抽出する。距離ベクトルタップ抽出部３４は、距離ベクトルタップを距離ベクトル演算部３５に供給する。
【００８０】
距離ベクトル演算部３５は、図５の距離ベクトル演算部１５と同様に、距離ベクトルタップ抽出部３４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、正規方程式生成部３７に供給する。
【００８１】
予測タップ抽出部３６は、クラスタップ抽出部３２や距離ベクトルタップ抽出部３４と同様に、教師データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。予測タップ抽出部３６は、図５の予測タップ抽出部１７と同様に、注目データを予測するために用いる、注目データの位置およびその周辺の位置に対応する生徒データ内の複数のデータを、生徒データから予測タップとして抽出する。予測タップ抽出部３６は、その予測タップを正規方程式生成部３７に供給する。
【００８２】
正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、距離ベクトル演算部３５から供給される距離ベクトルｄ、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師データを用いて足し込みを行った足し込み行列（図７）を、正規方程式として生成する。
【００８３】
具体的には、正規方程式生成部３７は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する各データをＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師データの注目データをykとして代入し、その注目データに対応する距離ベクトルｄを代入することにより、正規方程式を生成する。
【００８４】
なお、足し込み行列は、上述したように、式（６）の最小化関数を0にするものである。従って、正規方程式生成部３７により生成される正規方程式は、距離ベクトルｄと起点係数Ｗ0および偏差係数とにより求められた予測係数Ｗと、生徒データの予測タップとの乗算により、教師データの注目データを生成する式（５）に相当する式を解法して、起点係数Ｗ0および偏差係数を求めるための式であるといえる。正規方程式生成部３７により生成された正規方程式は、係数生成部３８に供給される。
【００８５】
係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成する。係数生成部３８は、その起点係数Ｗ0と偏差係数を係数記憶部３９に記憶させる。以上のようにして学習され、係数生成部３８に記憶された起点係数Ｗ0と偏差係数は、図５の係数記憶部１３に記憶され、信号処理装置１０において用いられる。
【００８６】
次に、図９のフローチャートを参照して、図８の学習装置３０による学習処理について説明する。
【００８７】
ステップＳ３０において、学習対記憶部３１は、記憶している学習対データのうちのまだ出力していない学習対データを出力する。具体的には、学習対記憶部３１は、学習対データのうちの生徒データを、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６に入力し、教師データを正規方程式生成部３７に入力する。
【００８８】
ステップＳ３１において、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６は、図５のクラスタップ抽出部１１と同様に、教師データを構成する複数のデータのうちのまだ注目データとされていない１つを、注目データとして決定する。
【００８９】
ステップＳ３２において、クラスタップ抽出部３２は、生徒データから注目データに対応するクラスタップを抽出し、クラス分類部３３に供給する。
【００９０】
ステップＳ３３において、クラス分類部３３は、図５のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
【００９１】
ステップＳ３４において、距離ベクトルタップ抽出部３４は、図５の距離ベクトルタップ抽出部１４と同様に、生徒データから、注目データに対応する距離ベクトルタップを抽出し、距離ベクトル演算部３５に供給する。
【００９２】
ステップＳ３５において、距離ベクトル演算部３５は、図５の距離ベクトル演算部１５と同様に、距離ベクトルタップ抽出部３４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、正規方程式生成部３７に供給する。
【００９３】
ステップＳ３６において、予測タップ抽出部３６は、図５の予測タップ抽出部１７と同様に、生徒データから注目データに対応する予測タップを抽出し、正規方程式生成部３７に供給する。
【００９４】
ステップＳ３７において、正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、距離ベクトル演算部３５から供給される距離ベクトルｄ、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師データを用いて、足し込み行列（図７）に対して足し込みを行う。
【００９５】
ステップＳ３８において、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６は、教師データを構成する全てのデータを注目データに決定したかを判定する。ステップＳ３８で教師データを構成する全てのデータをまだ注目データに決定していないと判定された場合、処理はステップＳ３１に戻り、上述した処理が繰り返される。
【００９６】
一方、ステップＳ３８で、教師データを構成する全てのデータを注目データに決定したと判定された場合、ステップＳ３９において、学習対記憶部３１は、全ての学習対データに対してステップＳ３０乃至Ｓ３８の処理が行われたか、即ち、記憶している全ての学習対データを出力したかを判定する。ステップＳ３９で、まだ全ての学習対データに対してステップＳ３０乃至Ｓ３８の処理が行われていないと判定された場合、処理はステップＳ３０に戻り、上述した処理が繰り返される。
【００９７】
また、ステップＳ３９で、全ての学習対データに対してステップＳ３０乃至Ｓ３８の処理が行われたと判定された場合、正規方程式生成部３７は、ステップＳ３７で足し込みが行われることにより生成された正規方程式を、係数生成部３８に供給する。
【００９８】
そして、ステップＳ４０において、係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成し、係数記憶部３９に記憶させる。
【００９９】
以上のように、学習装置３０は、起点係数Ｗ0と偏差係数をクラスごとに学習するので、信号処理装置１０は、その学習により求められたクラスごとの起点係数Ｗ0および偏差係数と、距離ベクトルｄとを用いて、予測係数Ｗを生成することができる。これにより、同一のクラスに分類される注目データが予測係数Ｗにおいて区別されるので、信号処理装置１０は、より高質な出力データを生成することができる。
【０１００】
なお、上述した信号処理装置１０および学習装置３０で処理されるデータは、どのようなデータであってもよいが、そのデータの一例として画像データが適用された場合について以下に示す。
【０１０１】
図１０は、本発明を適用した信号処理装置の第２の実施の形態の構成例を示している。
【０１０２】
図１０の信号処理装置１１０は、クラスタップ抽出部１１１、クラス分類部１１２、係数記憶部１１３、正規化レベルタップ抽出部１１４、正規化レベル演算部１１５、予測係数生成部１１６、予測タップ抽出部１１７、および予測部１１８により構成される。
【０１０３】
信号処理装置１１０は、これから生成される出力データとしてのHD画像の各画素の画素値からなる画像データ（以下、HD画像データという）に対応するHD画像の注目画素に対するクラスを生成し、そのクラスの起点係数Ｗ0を基準として求められた予測係数Ｗと、入力データとしてのSD画像の各画素の画素値からなる画像データ(以下、SD画像データ)を用いて、HD画像の各画素の画素値の予測値をHD画像データとして生成することにより、クラス分類適応処理を行う。これにより、SD画像データが、より高解像度のHD画像データに変換される。
【０１０４】
詳細には、信号処理装置１１０において、クラスタップ抽出部１１１は、これから生成されるHD画像データに対応するHD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。クラスタップ抽出部１１１は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データからクラスタップとして抽出する。クラスタップ抽出部１１１は、クラスタップをクラス分類部１１２に供給する。
【０１０５】
クラス分類部１１２は、クラスタップ抽出部１１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成し、そのクラスを係数記憶部１１３に供給する。
【０１０６】
係数記憶部１１３は、後述する学習装置１３０(図１２)により学習された、クラスごとの起点係数Ｗ0と偏差係数を記憶している。係数記憶部１１３は、クラス分類部１１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１１６に供給する。
【０１０７】
正規化レベルタップ抽出部１１４は、クラスタップ抽出部１１１と同様に、HD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。正規化レベルタップ抽出部１１４は、注目画素に対応する1次元の距離ベクトルｄとしての画素値の正規化レベルのベクトル(以下、正規化レベルベクトルという)を演算するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データから正規化レベルタップとして抽出する。正規化レベルタップ抽出部１１４は、正規化レベルタップを正規化レベル演算部１１５に供給する。
【０１０８】
正規化レベル演算部１１５は、正規化レベルタップ抽出部１１４から供給される正規化レベルタップを構成する画素値を正規化する。具体的には、正規化レベル演算部１１５は、例えば、正規化レベルタップを構成する画素値Lそれぞれについて、画素値Lから、正規化レベルタップを構成する画素値の最小値Lminを減算したものを、正規化レベルタップを構成する画素値の最大値Lmaxから最小値Lminを減算したもので除算し、正規化後の画素値ＩLevelを求める。
【０１０９】
正規化レベル演算部１１５は、正規化レベルタップの正規化後の各画素値ＩLevelを表す1次元のベクトルを、正規化レベルベクトルとして、予測係数生成部１１６に供給する。
【０１１０】
予測係数生成部１１６は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数と、正規化レベル演算部１１５から供給される正規化レベルベクトルとを用いて、予測係数Ｗを生成する。具体的には、予測係数生成部１１６は、式（２）においてm=1とし、起点係数Ｗ0および偏差係数を代入し、さらに、正規化レベルベクトルを距離ベクトルｄ0として代入することにより、予測係数Ｗを求める。予測係数生成部１１６は、予測係数Ｗを予測部１１８に供給する。
【０１１１】
予測タップ抽出部１１７は、クラスタップ抽出部１１１や正規化レベルタップ抽出部１１４と同様に、HD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。予測タップ抽出部１１７は、注目画素の画素値を予測するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データから予測タップとして抽出する。予測タップ抽出部１１７は、予測タップを予測部１１８に供給する。
【０１１２】
予測部１１８は、予測係数生成部１１６から供給される予測係数Ｗと、予測タップ抽出部１１７から供給される予測タップとを用いて、上述した式（５）の予測演算を行い、注目画素の画素値の予測値を、HD画像を構成する注目画素の画素値として生成する。予測部１１８は、予測演算により生成された画素値からなるHD画像データを出力する。
【０１１３】
次に、図１１のフローチャートを参照して、図１０の信号処理装置１１０による画像処理について説明する。
【０１１４】
ステップＳ１１１において、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７は、HD画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。ステップＳ１１２において、クラスタップ抽出部１１１は、注目画素に対応するクラスタップを抽出し、クラス分類部１１２に供給する。
【０１１５】
ステップＳ１１３において、クラス分類部１１２は、クラスタップ抽出部１１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。そして、クラス分類部１１２は、生成された注目画素に対するクラスを係数記憶部１１３に供給する。
【０１１６】
ステップＳ１１４において、正規化レベルタップ抽出部１１４は、SD画像データから注目画素に対応する正規化レベルタップを抽出し、正規化レベル演算部１１５に供給する。
【０１１７】
ステップＳ１１５において、正規化レベル演算部１１５は、正規化レベルタップ抽出部１１４から供給される正規化レベルタップから、正規化レベルベクトルを演算する。具体的には、正規化レベル演算部１１５は、正規化レベルタップを構成する画素値を正規化し、その結果得られる画素値を表す１次元のベクトルを、正規化レベルベクトルとして求める。正規化レベル演算部１１５は、正規化レベルベクトルを予測係数生成部１１６に供給する。
【０１１８】
ステップＳ１１６において、係数記憶部１１３は、クラス分類部１１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１１６に供給する。ステップＳ１１７において、予測係数生成部１１６は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数と、正規化レベル演算部１１５から供給される正規化レベルベクトルとを用いて、予測係数Ｗを生成する。予測係数生成部１１６は、予測係数Ｗを予測部１１８に供給する。
【０１１９】
ステップＳ１１８において、予測タップ抽出部１１７は、SD画像データから注目画素に対応する予測タップを抽出し、予測部１１８に供給する。
【０１２０】
ステップＳ１１９において、予測部１１８は、予測係数生成部１１６から供給される予測係数Ｗと、予測タップ抽出部１１７から供給される予測タップとを用いて、上述した式（５）の予測演算を行い、注目画素の画素値の予測値を、HD画像を構成する注目画素の画素値として生成する。ステップＳ２０において、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７は、HD画像を構成する全ての画素を注目画素に決定したかを判定する。
【０１２１】
ステップＳ１２０で、HD画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１１１に戻り、上述した処理が繰り返される。
【０１２２】
一方、ステップＳ１２０で、HD画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ１２１において、予測部１１８は、予測演算により生成された画素値からなるHD画像データを出力し、処理は終了する。
【０１２３】
図１２は、図１０の信号処理装置１１０により用いられる起点係数Ｗ0および偏差係数を学習する学習装置１３０の構成例を示している。
【０１２４】
図１２の学習装置１３０は、学習対記憶部１３１、クラスタップ抽出部１３２、クラス分類部１３３、正規化レベルタップ抽出部１３４、正規化レベル演算部１３５、予測タップ抽出部１３６、正規方程式生成部１３７、係数生成部１３８、および係数記憶部１３９により構成される。
【０１２５】
学習装置１３０において、学習対記憶部１３１は、起点係数Ｗ0および偏差係数の学習における生徒としての、信号処理装置１１０におけるSD画像データに相当するデータ(以下、生徒画像データという)と、教師としての、そのSD画像データから変換された理想的なHD画像データに相当するデータ（以下、教師画像データという）とのセットを、学習対データとして記憶している。
【０１２６】
そして、学習対記憶部１３１は、学習対データのうちの生徒画像データを、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６に出力し、教師画像データを正規方程式生成部１３７に出力する。なお、以下では、生徒画像データに対応するSD画像を生徒画像といい、教師画像データに対応するHD画像を教師画像という。
【０１２７】
クラスタップ抽出部１３２は、図１０のクラスタップ抽出部１１１と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。クラスタップ抽出部１３２は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データからクラスタップとして抽出する。クラスタップ抽出部１３２は、クラスタップをクラス分類部１３３に供給する。
【０１２８】
クラス分類部１３３は、図１０のクラス分類部１１２と同様に、クラスタップ抽出部１３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部１３３は、そのクラスを正規方程式生成部１３７に供給する。
【０１２９】
正規化レベルタップ抽出部１３４は、クラスタップ抽出部１３２と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。正規化レベルタップ抽出部１３４は、図１０の正規化レベルタップ抽出部１１４と同様に、注目画素に対応する正規化レベルベクトルを演算するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データから正規化レベルタップとして抽出する。正規化レベルタップ抽出部１３４は、正規化レベルタップを正規化レベル演算部１３５に供給する。
【０１３０】
正規化レベル演算部１３５は、図１０の正規化レベル演算部１１５と同様に、正規化レベルタップ抽出部１３４から供給される正規化レベルタップを構成する画素値を正規化し、正規化レベルベクトルを演算する。正規化レベル演算部１３５は、その正規化レベルベクトルを正規方程式生成部１３７に供給する。
【０１３１】
予測タップ抽出部１３６は、クラスタップ抽出部１３２や正規化レベルタップ抽出部１３４と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。予測タップ抽出部１３６は、図１０の予測タップ抽出部１１７と同様に、注目画素の画素値を予測するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データから予測タップとして抽出する。予測タップ抽出部１３６は、その予測タップを正規方程式生成部１３７に供給する。
【０１３２】
正規方程式生成部１３７は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて足し込みを行った、図７においてm=1の足し込み行列を、正規方程式として生成する。
【０１３３】
具体的には、正規方程式生成部１３７は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する各画素値をＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師画像データの注目画素の画素値をykとして代入し、その注目画素に対応する正規化レベルベクトルをｄ0として代入することにより、正規方程式を生成する。そして、正規方程式生成部１３７は、その正規方程式を係数生成部１３８に供給する。
【０１３４】
係数生成部１３８は、正規方程式生成部１３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成する。係数生成部１３８は、その起点係数Ｗ0と偏差係数を係数記憶部１３９に記憶させる。以上のようにして学習され、係数生成部１３８に記憶された起点係数Ｗ0と偏差係数は、図１０の係数記憶部１１３に記憶され、信号処理装置１１０において用いられる。
【０１３５】
次に、図１３のフローチャートを参照して、図１２の学習装置１３０による学習処理について説明する。
【０１３６】
ステップＳ１３０において、学習対記憶部１３１は、記憶している学習対データのうちのまだ出力していない学習対データを出力する。具体的には、学習対記憶部１３１は、学習対データのうちの生徒画像データを、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６に入力し、教師画像データを正規方程式生成部１３７に入力する。
【０１３７】
ステップＳ１３１において、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６は、図１０のクラスタップ抽出部１１１と同様に、教師画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。
【０１３８】
ステップＳ１３２において、クラスタップ抽出部１３２は、生徒画像データから注目画像に対応するクラスタップを抽出し、クラス分類部１３３に供給する。
【０１３９】
ステップＳ１３３において、クラス分類部１３３は、図１０のクラス分類部１１２と同様に、クラスタップ抽出部１３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部１３３は、そのクラスを正規方程式生成部１３７に供給する。
【０１４０】
ステップＳ１３４において、正規化レベルタップ抽出部１３４は、図１０の正規化レベルタップ抽出部１１４と同様に、生徒画像データから注目画素に対応する正規化レベルタップを抽出し、正規化レベル演算部１３５に供給する。
【０１４１】
ステップＳ１３５において、正規化レベル演算部１３５は、図１０の正規化レベル演算部１１５と同様に、正規化レベルタップ抽出部１３４から供給される正規化レベルタップから、注目画素に対応する正規化レベルベクトルを演算し、正規方程式生成部１３７に供給する。
【０１４２】
ステップＳ１３６において、予測タップ抽出部１３６は、図１０の予測タップ抽出部１１７と同様に、生徒画像データから注目画素に対応する予測タップを抽出し、正規方程式生成部１３７に供給する。
【０１４３】
ステップＳ１３７において、正規方程式生成部１３７は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて、図７においてm=1の足し込み行列に対して足し込みを行う。
【０１４４】
ステップＳ１３８において、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６は、教師画像を構成する全ての画素を注目画素に決定したかを判定する。ステップＳ１３８で教師画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１３１に戻り、上述した処理が繰り返される。
【０１４５】
一方、ステップＳ１３８で、教師画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ１３９において、学習対記憶部１３１は、全ての学習対データに対してステップＳ１３０乃至Ｓ１３８の処理が行われたかを判定する。ステップＳ１３９で、まだ全ての学習対データに対してステップＳ１３０乃至Ｓ１３８の処理が行われていないと判定された場合、処理はステップＳ１３０に戻り、上述した処理が繰り返される。
【０１４６】
また、ステップＳ１３９で、全ての学習対データに対してステップＳ１３０乃至Ｓ１３８の処理が行われたと判定された場合、正規方程式生成部１３７は、ステップＳ１３７で足し込みが行われることにより生成された正規方程式を、係数生成部１３８に供給する。
【０１４７】
そして、ステップＳ１４０において、係数生成部１３８は、正規方程式生成部１３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成し、係数記憶部１３９に記憶させる。
【０１４８】
次に、図１４を参照して、図１０の信号処理装置１１０により得られるHD画像データ(以下、適宜、本発明HD画像データという)と、従来のクラス分類適応処理により得られるHD画像データ（以下、従来HD画像データという）のS/N比の差分値（以下、SN差分値という）の実験結果について説明する。
【０１４９】
なお、図１４における実験では、実験の対象として、112枚のSD画像データを用いている。また、信号処理装置１１０におけるクラス分類適応処理において、正規化レベルとして、正規化レベルタップの中心画素との正規化距離（中心画素の画素値をLCとし、その他の画素の画素値をLとしたとき、｜LC−L｜）を用いるとともに、注目画素をクラスに分類する方法として1ビットADRCを用い、展開の最大の次数ｐを１としている。
【０１５０】
一方、従来のクラス分類適応処理において、注目画素をクラスに分類する方法として2ビットADRCを用いている。また、信号処理装置１１０におけるクラス分類適応処理と従来のクラス分類適応処理において、クラスタップおよび予測タップを構成する画素の数を9個としている。
【０１５１】
従って、図１４における実験では、信号処理装置１１０のクラス分類適応処理で用いられる予測係数の総数は、46080(=512×9×10)個となる。また、従来のクラス分類適応処理で用いられる予測係数の総数は、理論上取り得ないクラスについては数に含めないものとすると、147456（=512×9×32）個となる。
【０１５２】
図１４の棒グラフは、以上のような条件での実験により得られた本発明HD画像データのS/N比から、従来HD画像データのS/N比を減算したSN差分値の出現頻度を表している。なお、図１４において、横軸はSN差分値を表し、縦軸はSN差分値が出現した出現頻度を表している。
【０１５３】
図１４における実験では、上述したように、信号処理装置１１０のクラス分類適応処理で用いられる予測係数の総数は46080個であり、従来のクラス分類適応処理で用いられる予測係数の総数である147456個に比べて少ないが、実験結果では、図１４に示すように、0より大きいSN差分値が出現する出現頻度が多くなっている。即ち、大体の入力画像データにおいて、本発明HD画像データのS/N比が、従来HD画像データのS/N比より大きくなっている。
【０１５４】
従って、この実験から、信号処理装置１１０では、従来のクラス分類適応処理を行う場合に比べて、より高画質なHD画像データを生成することができることがわかる。換言すれば、信号処理装置１１０では、学習により得られた起点係数Ｗ0および偏差係数と正規化レベルベクトルとを用いて、予測係数Ｗを生成することで、より最適な予測係数Ｗを生成することができることがわかる。
【０１５５】
図１５は、本発明を適用した信号処理装置の第３の実施の形態の構成例を示している。
【０１５６】
図１５の信号処理装置２１０は、図１０の信号処理装置１１０に、さらに輝度レベルタップ抽出部２１１と輝度レベル演算部２１２を設け、予測係数生成部２１３の代わりに、予測係数生成部２１３を設けることにより構成される。信号処理装置２１０では、距離ベクトルｄとして、正規化レベルベクトルと輝度レベルを表すベクトル（以下、輝度レベルベクトルという）からなる2次元のベクトルが用いられる。
【０１５７】
即ち、信号処理装置２１０において、輝度レベルタップ抽出部２１１は、クラスタップ抽出部１１１と同様に、HD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。輝度レベルタップ抽出部２１１は、注目画素に対応する輝度レベルベクトルを演算するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データから輝度レベルタップとして抽出する。輝度レベルタップ抽出部２１１は、輝度レベルタップを輝度レベル演算部２１２に供給する。
【０１５８】
輝度レベル演算部２１２は、輝度レベルタップ抽出部２１１から供給される輝度レベルタップを構成する各画素値を輝度レベルとして、その輝度レベルを表す輝度レベルベクトルを演算し、予測係数生成部２１３に供給する。
【０１５９】
予測係数生成部２１３は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数、正規化レベル演算部１１５から供給される正規化レベルベクトル、並びに、輝度レベル演算部２１２から供給される輝度レベルベクトルを用いて、予測係数Ｗを生成する。具体的には、予測係数生成部２１３は、式（２）においてm=2とし、起点係数Ｗ0および偏差係数を代入し、さらに、正規化レベルベクトルを距離ベクトルｄ0として代入するとともに、輝度レベルベクトルを距離ベクトルｄ1として代入することにより、予測係数Ｗを求める。予測係数生成部２１３は、予測係数Ｗを予測部１１８に供給する。
【０１６０】
次に、図１６のフローチャートを参照して、図１５の信号処理装置２１０による画像処理について説明する。
【０１６１】
図１６の画像処理において、ステップＳ２１１乃至Ｓ２１５の処理は、図１１のステップＳ１１１乃至Ｓ１１５の処理と同様であるので、説明は省略する。但し、ステップＳ２１１の処理では、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７だけでなく、輝度レベルタップ抽出部２１１も注目画素を決定する。
【０１６２】
図１６のステップＳ２１６において、輝度レベルタップ抽出部２１１は、SD画像データから注目画素に対応する輝度レベルタップを抽出し、輝度レベル演算部２１２に供給する。
【０１６３】
ステップＳ２１７において、輝度レベル演算部２１２は、輝度レベルタップ抽出部２１１から供給される輝度レベルタップから輝度レベルベクトルを演算し、予測係数生成部２１３に供給する。
【０１６４】
ステップＳ２１８において、係数記憶部１１３は、図１１のステップＳ１１６の処理と同様に、クラス分類部１１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１１６に供給する。
【０１６５】
ステップＳ２１９において、予測係数生成部２１３は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数、正規化レベル演算部１１５から供給される正規化レベルベクトル、並びに輝度レベル演算部２１２から供給される輝度レベルベクトルを用いて、予測係数Ｗを生成する。予測係数生成部１１６は、予測係数Ｗを予測部１１８に供給する。
【０１６６】
ステップＳ２２０乃至Ｓ２２３の処理は、図１１のステップＳ１１８乃至Ｓ１２１の処理と同様であるので、説明は省略する。但し、ステップＳ２２２の処理では、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７だけでなく、輝度レベルタップ抽出部２１１も判定を行う。
【０１６７】
図１７は、図１５の信号処理装置２１０により用いられる起点係数Ｗ0および偏差係数を学習する学習装置２３０の構成例を示している。
【０１６８】
図１７の学習装置２３０は、図１２の学習装置１３０に、さらに輝度レベルタップ抽出部２３１と輝度レベル演算部２３２を設け、正規方程式生成部１３７の代わりに、正規方程式生成部２３３を設けることにより構成される。
【０１６９】
即ち、学習装置２３０において、輝度レベルタップ抽出部２３１は、クラスタップ抽出部１３２と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。輝度レベルタップ抽出部２３１は、図１５の輝度レベルタップ抽出部２１１と同様に、注目画素に対応する輝度レベルベクトルを演算するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データから輝度レベルタップとして抽出する。輝度レベルタップ抽出部２３１は、輝度レベルタップを輝度レベル演算部２３２に供給する。
【０１７０】
輝度レベル演算部２３２は、図１５の輝度レベル演算部２１２と同様に、輝度レベルタップ抽出部２３１から供給される輝度レベルタップを構成する各画素値を輝度レベルとして、その輝度レベルを表す輝度レベルベクトルを、正規方程式生成部２３３に供給する。
【０１７１】
正規方程式生成部２３３は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、輝度レベル演算部２３２から供給される輝度レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて足し込みを行った、図７においてm=2の足し込み行列を、正規方程式として生成する。
【０１７２】
具体的には、正規方程式生成部２３３は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する各画素値をＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師画像データの注目画素の画素値をykとして代入し、その注目画素に対応する正規化レベルベクトルをｄ0として代入するとともに、輝度レベルベクトルをｄ1として代入することにより、正規方程式を生成する。そして、正規方程式生成部２３３は、その正規方程式を係数生成部１３８に供給する。
【０１７３】
次に、図１８のフローチャートを参照して、図１７の学習装置２３０による学習処理について説明する。
【０１７４】
図１８の学習処理において、ステップＳ２３０乃至Ｓ２３５の処理は、図１３のステップＳ１３０乃至Ｓ１３５の処理と同様であるので、説明は省略する。但し、ステップＳ２３１の処理では、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６だけでなく、輝度レベルタップ抽出部２３１も注目画素を決定する。
【０１７５】
図１８のステップＳ２３６において、輝度レベルタップ抽出部２３１は、図１５の輝度レベルタップ抽出部２１１と同様に、生徒画像データから注目画素に対応する輝度レベルタップを抽出し、輝度レベル演算部２３２に供給する。
【０１７６】
ステップＳ２３７において、輝度レベル演算部２３２は、図１５の輝度レベル演算部２１２と同様に、輝度レベルタップ抽出部２３１から供給される輝度レベルタップから輝度レベルベクトルを演算し、正規方程式生成部２３３に供給する。
【０１７７】
ステップＳ２３８において、予測タップ抽出部１３６は、図１３のステップＳ１３６の処理と同様に、生徒画像データから注目画素に対応する予測タップを抽出し、正規方程式生成部１３７に供給する。
【０１７８】
ステップＳ２３９において、正規方程式生成部２３３は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、輝度レベル演算部２３２から供給される輝度レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて、図７においてm=2の足し込み行列に対して足し込みを行う。
【０１７９】
ステップＳ２４０において、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、予測タップ抽出部１３６、および輝度レベルタップ抽出部２３１は、教師画像を構成する全ての画素を注目画素に決定したかを判定する。ステップＳ２４０で教師画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ２３１に戻り、上述した処理が繰り返される。
【０１８０】
一方、ステップＳ２４０で、教師画像を構成する全ての画素を注目画素に決定したと判定された場合、処理はステップＳ２４１に進む。ステップＳ２４１およびＳ２４２の処理は、図１３のステップＳ１３９およびＳ１４０の処理と同様であるので、説明は省略する。
【０１８１】
なお、信号処理装置１１０や２１０における距離ベクトルｄとしては、正規化レベルベクトルや輝度レベルベクトルのほか、SD画像のダイナミックレンジを表すベクトルなどを用いてもよい。
【０１８２】
また、信号処理装置１１０や２１０では、入力データをSD画像データとするとともに、出力データをHD画像データとして、入力データを出力データに変換する画像処理を行ったが、この画像処理によれば、入力データと出力データをどのように定義するかによって、様々な処理を実現することができる。
【０１８３】
即ち、例えば、入力データをボケを含んだ画像の画像データとし、出力データをボケを除去した画像の画像データとすれば、画像変換処理は、ボケを除去するボケ除去処理ということができる。また、入力データをノイズを含んだ画像の画像データとし、出力データをノイズを除去した画像の画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
【０１８４】
信号処理装置１１０や２１０が、ボケ除去処理を行う場合、距離ベクトルとしては、リンギング特徴量を表すベクトルやボケ量推定値を表すベクトルなどを用いることができる。なお、リンギング特徴量は、例えば、入力データとしてのボケを含んだ画像の画像データの動き量に基づく距離ずつ注目画素から離れた位置に対応する入力画像内の各画素と隣接する画素との差分の絶対値である。また、ボケ量推定値は、例えば、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の隣接する画素どうしの差分の絶対値である。
【０１８５】
また、信号処理装置１１０や２１０が、ノイズ除去処理を行う場合、距離ベクトルとしては、ノイズの統計分布推定値を表すベクトルなどを用いることができる。なお、ノイズの統計分布推定値は、例えば、画素値に対応する値であり、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値それぞれから求められる。
【０１８６】
次に、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８７】
そこで、図１９は、上述した一連の処理をプログラムにより実行するコンピュータ３００のハードウエアの構成例を示している。
【０１８８】
コンピュータ３００において、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１８９】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１９０】
以上のように構成されるコンピュータ３００では、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インターフェース３０５およびおバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９１】
コンピュータ３００のCPU３０１が実行するプログラムは、例えば、リムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９２】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１９３】
なお、コンピュータ３００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９５】
【図１】従来のクラス分類適応処理における予測係数について説明する図である。
【図２】従来の他のクラス分類適応処理における予測係数について説明する図である。
【図３】従来のさらに他のクラス分類適応処理における予測係数について説明する図である。
【図４】本発明の原理を表す図である。
【図５】本発明を適用した信号処理装置の第１の実施の形態の構成例を示すブロック図である。
【図６】図５の信号処理装置による信号処理について説明するフローチャートである。
【図７】足し込み行列を示す図である。
【図８】図５の信号処理装置により用いられる起点係数および偏差係数を学習する学習装置の構成例を示すブロック図である。
【図９】図８の学習装置による学習処理について説明するフローチャートである。
【図１０】本発明を適用した信号処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１１】図１０の信号処理装置による画像処理について説明するフローチャートである。
【図１２】図１０の信号処理装置により用いられる起点係数および偏差係数を学習する学習装置の構成例を示すブロック図である。
【図１３】図１２の学習装置による学習処理について説明するフローチャートである。
【図１４】SN差分値の実験結果について説明する図である。
【図１５】本発明を適用した信号処理装置の第３の実施の形態の構成例を示すブロック図である。
【図１６】図１５の信号処理装置による画像処理について説明するフローチャートである。
【図１７】図１５の信号処理装置により用いられる起点係数および偏差係数を学習する学習装置の構成例を示すブロック図である。
【図１８】図１７の学習装置による学習処理について説明するフローチャートである。
【図１９】コンピュータのハードウエアの構成例を示すブロック図である。
【符号の説明】
【０１９６】
１０  信号処理装置,  １３  クラス分類部，  １４  距離ベクトルタップ抽出部,  １５  距離ベクトル演算部,  １６  予測係数生成部,  １７  予測タップ抽出部，  １８  予測部，  ３０  学習装置,  ３３  クラス分類部,  ３７  正規方程式生成部,  ３８  係数生成部,  １１０  信号処理装置，  １１２  クラス分類部，  １１４  正規化レベルタップ抽出部，  １１５  正規化レベル演算部，  １１６  予測係数生成部，  １１７  予測タップ抽出部，  １１８  予測部，  １３０  学習装置，  １３３  クラス分類部，  １３７  正規方程式生成部，  １３８  係数生成部，  ２１０  信号処理装置，  ２１１  輝度レベルタップ抽出部，  ２１２  輝度レベル演算部，  ２１３  予測係数生成部，  ２３０  学習装置，  ２３１  輝度レベルタップ抽出部，  ２３２  輝度レベル演算部，２３３  正規方程式生成部
【図１】
0005099429.tif 000010
【図２】
0005099429.tif 000011
【図３】
0005099429.tif 000012
【図４】
0005099429.tif 000013
【図５】
0005099429.tif 000014
【図６】
0005099429.tif 000015
【図７】
0005099429.tif 000016
【図８】
0005099429.tif 000017
【図９】
0005099429.tif 000018
【図１０】
0005099429.tif 000019
【図１１】
0005099429.tif 000020
【図１２】
0005099429.tif 000021
【図１３】
0005099429.tif 000022
【図１４】
0005099429.tif 000023
【図１５】
0005099429.tif 000024
【図１６】
0005099429.tif 000025
【図１７】
0005099429.tif 000026
【図１８】
0005099429.tif 000027
【図１９】
0005099429.tif 000028