"動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部とを備える画像処理装置。前記予測演算部は、前記観測低解像度画像と前記推定低解像度画像の差分情報、及び、算出された前記特徴量に基づいて、生成する前記画像の画素を所定のクラスにクラス分類したときのクラスに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する請求項1に記載の画像処理装置。前記予測演算部は、前記クラス分類したときのクラスに対応する前記パラメータとしての予測係数と、生成する前記画像の画素に対応して前記観測低解像度画像及び前記高解像度画像から取得される複数の画素の画素値との積和演算により、前記高解像度画像を高画質化した画像を予測して生成する請求項2に記載の画像処理装置。前記予測演算部は、前記差分情報から得られるクラスコードと、算出された前記特徴量から得られるクラスコードを結合したクラスコードを、生成する前記画像の画素を前記クラス分類したときのクラスのクラスコードとし、そのクラスコードに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する請求項2に記載の画像処理装置。前記特徴量算出部は、前記特徴量として、前記観測低解像度画像から、前記空間特徴量を算出する請求項1に記載の画像処理装置。前記空間特徴量は、前記観測低解像度画像の波形パターンである請求項5に記載の画像処理装置。前記空間特徴量は、前記観測低解像度画像の周波数帯域である請求項5に記載の画像処理装置。前記特徴量算出部は、前記特徴量として、前記高解像度画像から、前記時間特徴量を算出する請求項1に記載の画像処理装置。前記時間特徴量は、前記動き補償処理で検出される前記高解像度画像の動き量である請求項8に記載の画像処理装置。前記時間特徴量は、前記高解像度画像を高画質化した画像を予測して生成する処理を行った処理回数である請求項8に記載の画像処理装置。前記観測モデルは、ボケを付加するボケ付加処理も行う請求項1に記載の画像処理装置。動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成するステップを含む画像処理方法。コンピュータに、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する処理を実行させるためのプログラム。請求項13に記載のプログラムが記録されている記録媒体。しかしながら、通常、正確な観測モデルを構築することは困難である。観測モデルが正確でない場合には、高解像度画像を適切に補正できないことになり、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が発生し、さらには大きな画質破綻へと繋がる。これらの弊害への対策として、画像の事前情報から画質破綻やノイズの強調を防止する技術が考えられている。しかし、これらの手法は画像の事前情報に性能が大きく依存し、エイリアシング除去性能の向上、解像度感の向上、オーバーシュートの抑制、ノイズの抑制について、全てを満たす制御を、画素毎空間毎または時間ごとに適切に行うのは困難である。本技術は、このような状況に鑑みてなされたものであり、より高速かつ最適なアップコンバート画像を生成することができるようにするものである。本技術の一側面の画像処理装置は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部とを備える。本技術の一側面の画像処理方法は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成するステップとを含む。本技術の一側面のプログラムは、コンピュータに、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する処理を実行させるためのものである。本技術の一側面においては、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像が生成され、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量が算出され、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像が予測されて生成される。なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。画像処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。本技術の一側面によれば、より高速かつ最適なアップコンバート画像を生成することができる。[従来のモデルベース処理部の構成例]初めに、[背景技術]の欄で説明したモデルベース処理を行うモデルベース処理部の構成について説明する。図2は、モデルベース処理を行うモデルベース処理部10の構成例を示すブロック図である。モデルベース処理部10は、動き検出部20、動き補償部21、ボケ付加部22、ダウンサンプラ23、加算器24、アップサンプラ25、ボケ除去部26、乗算器27、および加算器28により構成されている。動き検出部20は、加算器28から供給されるフィードバックされる高解像度画像を、1単位時間前、例えば、1フレーム前の高解像度画像と比較して、各画素の動き量動きベクトルを検出する。動き補償部21は、動き検出部20で検出された動き量に基づく動き補償を行う。なお、動き補償部21から出力された画像を、適宜、動き補償後の1フレーム前の高解像度画像と称することにする。動き補償後の1フレーム前の高解像度画像は、ボケ付加部22と加算器28に供給される。ボケ付加部22は、動き補償後の1フレーム前の高解像度画像に、カメラで撮影された場合に生じるようなボケを付加する。ここでは、ボケ付加部22が、所定の画像に、カメラのPSFや光学ぼけなどを推定模擬した画像を生成する処理を、ボケを付加する処理と称している。ボケが付加された動き補償後の1フレーム前の高解像度画像は、ダウンサンプラ23に供給される。ダウンサンプラ23は、ボケが付加された動き補償後の1フレーム前の高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。加算器24は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値誤差を演算する。加算器24の演算結果である差分情報は、アップサンプラ25に供給される。アップサンプラ25は、加算器24の演算結果である低解像度の差分情報を、高解像度画像の差分情報にアップサンプルする。即ち、アップサンプラ25は、低解像度画像の各画素に対応する差分値から、高解像度の各画素に対応する差分値を生成し、ボケ除去部26に供給する。ボケ除去部26は、アップサンプラ25から供給される高解像度の差分情報に対し、ボケ付加部22が行う処理と反対のボケ除去処理を行う。即ち、ボケ除去部26は、ボケ付加部22で付加されたボケを除去するような処理を、高解像度の差分情報に対して施す。なお、観測モデルにおいて、ボケを考慮しない場合には、ボケ付加部22とボケ除去部26は省略することができる。乗算器27は、ボケ除去部26から出力された高解像度の差分情報に所定のゲインを乗じ、加算器28に出力する。加算器28は、動き補償後の1フレーム前の高解像度画像の各画素の画素値輝度値と、乗算器27の差分情報差分値とを加算し、その加算結果を高解像度画像として出力する。また、加算器28は、生成した高解像度画像を、動き検出部20にも供給するフィードバックする。上述したモデルベース処理部10の処理ブロック図は、概念的には、図3に示すように表すことができる。即ち、モデルベース処理部10は、差分情報生成部31と加算部32とからなり、差分情報生成部31が、1フレーム前の高解像度画像と、観測低解像度画像とから、高解像度画像を更新するための差分情報を生成する。そして、生成された差分情報を、加算部32において1フレーム前の高解像度画像に加算することで、更新後の高解像度画像を生成する処理が、繰り返し実行される。このような従来のモデルベース処理部10においては、生成される差分情報が、生成される高解像度画像の各画素について一律の値として求められていた。従って、1枚の高解像度画像を画質破綻なく出力するために、ある程度の回数の繰り返し演算を行わなければ、高解像度画像の全ての画素について、推定低解像度画像と観測低解像度画像の誤差が十分小さくなるようなものが得られなかった。[本技術の予測装置及び学習装置の概念図]一方、図3の従来のモデルベース処理部10を概念的に示したブロック図に対応するように、本技術が適用される画像処理装置としての予測装置を示すと図4のようになる。本技術が適用される予測装置40は、差分情報予測部51と加算部52とからなる。差分情報生成部51は、1フレーム前の高解像度画像と観測低解像度画像の時空間特徴量に対応する予測係数を用いて、更新する高解像度画像の画素ごとに最適な差分情報を生成する。そして、生成された画素毎に最適な差分情報が、加算部52において、1フレーム前の高解像度画像に加算されて、更新後の高解像度画像が生成される。差分情報生成部51で使用される予測係数は、後述する図5の学習装置60で予め学習される。図4の予測装置40では、1枚の高解像度画像を出力するためには、繰り返し演算は不要であり、画素ごとに1回の加算で高解像度画像を得ることができる。なお、図4の高解像度画像のフィードバックは、1フレーム後の高解像度画像生成のためのものである。図5は、図4の予測装置40で使用される予測係数を学習する学習装置を概念的に示したブロック図である。図5の学習装置60は、差分情報学習部71と加算部72とからなる。差分情報学習部71は、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像の対データ、及び、生成される高解像度画像を用いて、生成される高解像度画像と理想高解像度画像との誤差を最小とするような予測係数を学習する。予測係数の学習には、予測処理時と同様、高解像度画像と観測低解像度画像の時空間特徴量が使用される。なお、実際には、学習装置60は、以下に説明するように、差分情報を最適化するような予測係数を学習するのではなく、1フレーム前の高解像度画像と観測低解像度画像から、注目フレームの高解像度画像そのものを最適化する、即ち、高画質化した高解像度画像を予測するための予測係数を学習する。そして、予測装置40は、学習装置60により学習された予測係数を用いて、差分情報を生成するのではなく、出力される高解像度画像を、直接、生成する。[学習装置の概略構成]図6は、図1の従来のモデルベース処理に対応させた学習装置60の概略構成を示している。初めに、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像が用意される。そして、モデルベース処理部の観測モデルにより、1フレーム前の高解像度画像から生成された推定低解像度画像が、教師画像と生徒画像とともに学習処理部81に入力される。学習処理部81は、高解像度画像を生成する予測演算式に含まれる予測係数であって、教師画像である理想高解像度画像との誤差が最小となるような予測係数を算出する。学習する。この学習において、予測係数は、複数のクラスに分類したクラスごとに求めることができ、学習処理部81は、生徒画像の空間特徴量と、1フレーム前の高解像度画像の時間特徴量とに基づいてクラス分類したときのクラスごとに予測係数を算出する。そして、学習処理部81により算出されたクラスごとの予測係数が、学習データベース82に記憶される。[予測装置の概略構成]図7は、図1の従来のモデルベース処理に対応させた予測装置40の概略構成を示している。予測装置40の学習データベース91には、図6の学習装置60で学習されたクラスごとの予測係数が記憶されている。即ち、図7の学習データベース91は図6の学習データベース82と同一か、または、学習データベース82内のデータが学習データベース91に転送されている。予測処理部92は、学習装置60の学習により得られた予測係数を用いた予測演算式を演算することにより、高解像度画像を生成する。より具体的には、予測処理部92は、観測低解像度画像の空間特徴量と、1フレーム前の高解像度画像の時間特徴量とに基づいてクラス分類を行う。そして、予測処理部92は、クラス分類したときの分類結果であるクラスに対応する予測係数を学習データベース91から取得し、予測演算に使用する。以下、学習装置60と予測装置40のさらに詳細な構成について、順に説明する。[学習装置60の詳細構成ブロック図]図8は、学習装置60の詳細な構成例を示すブロック図である。図8において、上述した部分と対応する部分については同一の符号を付してあり、その説明は適宜省略する。学習装置60は、モデルベース処理部80、学習処理部81、および学習データベース82により構成されている。モデルベース処理部80は、基本的に、図2を参照して説明したモデルベース処理部10と同様の構成を有し、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成する。ただし、本技術を適用した学習装置60は、従来のモデルベース処理と異なり、差分情報を一律に1フレーム前の高解像度画像に付与するものではないため、乗算器27と加算器28は省略されている。学習処理部81は、空間特徴量算出部101、時間特徴量算出部102、差分情報クラス分類部103、および係数学習部104により構成される。空間特徴量算出部101と時間特徴量算出部102は、生成する高解像度画像に対して設定された注目画素の空間特徴量または時間特徴量を算出し、算出された特徴量に基づいて、注目画素を所定のクラスに分類するクラス分類部として機能する。また、差分情報クラス分類部103も、ボケ除去部26から供給される差分情報に基づいて、注目画素を所定のクラスに分類するクラス分類部の一つである。空間特徴量算出部101には、生徒画像としての観測低解像度画像が供給される。また、時間特徴量算出部102には、モデルベース処理部80の動き検出部20で検出された動き量が供給されるとともに、係数学習部104から、注目画素の処理回数処理枚数が供給される。[空間特徴量算出部101と時間特徴量算出部102の説明]図9及び図10を参照して、空間特徴量算出部101と時間特徴量算出部102について説明する。図9は、空間特徴量算出部101と時間特徴量算出部102の詳細構成例を示すブロック図である。空間特徴量算出部101は、クラスタップ抽出部111、波形パターン分類部112、および帯域分類部113により構成される。クラスタップ抽出部111は、注目画素に対応する生徒画像観測低解像度画像の画素の周辺に位置する複数の画素周辺画素を、空間特徴量に基づくクラスを設定するためのクラスタップに設定し、抽出する。抽出したクラスタップを示す情報は、波形パターン分類部112に供給される。波形パターン分類部112は、クラスタップとして設定された周辺画素の波形パターンに基づいて、注目画素を所定の波形クラスに分類し、分類結果としての波形クラスを示すクラスコードを係数学習部104図8に出力する。帯域分類部113は、注目画素の周辺画素の周波数帯域に基づいて、注目画素を所定の帯域クラスに分類し、分類結果としての帯域クラスを示すクラスコードを係数学習部104に出力する。時間特徴量算出部102は、動き量分類部121と履歴カウンタ分類部122により構成される。動き量分類部121は、動き検出部20から供給される動き量に基づいて、注目画素を所定の動き量クラスに分類し、分類結果としての動き量クラスを示すクラスコードを係数学習部104図8に出力する。より具体的には、動き量分類部121は、動き検出部20から供給される動き量の画素以下の位相ごとに注目画素をクラス分類する。例えば、動き量の検出精度検出分解能が1/4位相1/4画素である場合、動き検出部20から供給される動き量の小数点以下は、00,25,50,75の4つの値のいずれかとなるので、動き量分類部121は、この4つの値で注目画素をクラス分類する。より具体的には、動き検出部20から供給される動き量が、000100200等である場合にはクラス0とされ、025125225等である場合にはクラス1とされ、050150250等である場合にはクラス2とされ、075175275等である場合にはクラス3とされる。動き量の検出精度検出分解能が1/N位相1/N画素である場合には、動き量クラスはNクラスに分類されることになる。履歴カウンタ分類部122には、注目画素に設定されている画素の位置が、これまでに処理された処理回数処理枚数が、係数学習部104から供給される。履歴カウンタ分類部122は、その供給される処理回数の値を、注目画素を所定の履歴クラスに分類した履歴クラスを示すクラスコードとして、係数学習部104に出力する。例えば、まだ処理されていない初回は初期値のクラス0とされ、注目画素がこれまでに2フレーム処理されている場合はクラス2、3フレーム処理されている場合はクラス3とされる。図10は、波形パターン分類部112と帯域分類部113のクラス分類処理の例を説明する図である。図10Aは、波形パターン分類部112が、波形パターンに基づいて注目画素を所定の波形クラスに分類する波形クラス分類処理として、1ビットADRC処理を行う例を示している。KビットADRC処理K≧1では、周辺画素を構成する画素の画素値の最大値MAXと最小値MINが検出され、DRMAXMINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、周辺画素を構成する画素値がKビットに再量子化される。即ち、周辺画素を構成する各画素の画素値から、最小値MINが減算され、その減算値がDR2Kで除算量子化される。そして、以上のようにして得られる、周辺画素を構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。1ビットADRC処理された場合には、その周辺画素を構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され小数点以下切り捨て、各画素の画素値が平均値以上であれば1、平均値未満であれば0とされる2値化される。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。図10Aに示される例では、クラスタップに設定された5画素が、所定の順に0,0,1,1,1と判定されたとすると、00111=7が、波形クラスのクラスコードとして出力される。図10Bは、帯域分類部113が、注目画素周辺の9画素を用いて、所定の帯域クラスに分類する例を示している。帯域分類部113は、注目画素周辺の9画素に対して、水平方向の差分絶対値水平差分、垂直方向の差分絶対値垂直差分、並びに、右上斜め方向および右下斜め方向の差分絶対値斜め差分を計算する。そして、帯域分類部113は、計算結果の各差分絶対値のなかの最大値を選択し、帯域クラスを示すクラスコードとして、係数学習部104に出力する。なお、注目画素を所定の帯域クラスに分類するために選択される注目画素周辺の画素は、図10Bに示した9画素に限らず、適宜設定することができる。図8に戻り、以上のように、係数学習部104には、注目画素を、波形クラス、帯域クラス、動き量クラス、および履歴クラスのそれぞれにクラス分類した結果であるクラスコードが供給される。また、差分情報クラス分類部103からも、ボケ除去部26から供給される差分情報差分値に基づいて、注目画素を所定の差分クラスに分類した結果である差分クラスを示すクラスコードが供給される。さらに、係数学習部104には、モデルベース処理部80の動き補償部21から、動き補償後の1フレーム前の高解像度画像が供給される。また、生徒画像としての観測低解像度画像と、教師画像としての理想高解像度画像も供給される。係数学習部104は、教師画像としての理想高解像度画像の各画素を、注目する注目画素に設定し、注目画素に対応する生徒画像の複数の画素を予測タップとして抽出し、その予測タップと予測係数を用いた所定の予測演算により高画質の高解像度画像を求めるための予測係数を算出する学習する。いま、所定の予測演算として、例えば、線形1次予測演算を採用することとすると、時刻tt番目のフレームの高画質の高解像度画像の画素値ytは、次の線形1次式によって求められることになる。但し、式1において、xiは、高解像度画像の注目画素ytについての予測タップを構成する、生徒画像のi番目の画素以下、適宜、生徒画像画素というの画素値を表し、wiは、i番目の生徒画像画素の画素値と乗算されるi番目の予測係数を表す。また、xjは、高解像度画像の注目画素ytについての予測タップを構成する、動き補償後の1フレーム前t-1番目のフレームのの高解像度画像のj番目の画素以下、適宜、前高解像度画像画素というの画素値を表し、wjは、j番目の前高解像度画像画素の画素値と乗算されるj番目の予測係数を表す。なお、式1では、予測タップが、生徒画像画素についてはN個の生徒画像画素x1,x2,,xNで構成され、前高解像度画像画素についてはM個の生徒画像画素x1,x2,,xMで構成されるものとしてある。M,Nを大きくすると、予測係数の個数は多くなるが、超解像効果の収束が早くなる、孤立点的な過強調や破綻が軽減する、などの性能向上が見込まれる。高解像度画像の画素値ytは、式1に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。式1は、MN個の線形1次式であるが、説明を簡単にするため、MNをNと置き換えてMN⇒N、式2のように単純化するとともに、第kサンプルの教師画像画素の画素値の真値をykと表すとともに、式2によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式3で表される。いま、式3の予測値yk’は、式2にしたがって求められるため、式3のyk’を、式2にしたがって置き換えると、次式4が得られる。但し、式4において、xnkは、第kサンプルの教師画像画素についての予測タップを構成するn番目の生徒画像画素を表す。式4または式3の予測誤差ekを0とする予測係数wnが、教師画像画素を予測するのに最適なものとなるが、すべての教師画像画素について、そのような予測係数wnを求めることは、一般には困難である。そこで、予測係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数wnは、次式5で表される自乗誤差の総和Eを最小にすることで求めることができる。但し、式5において、Kは、教師画像画素ykと、その教師画像画素ykについての予測タップを構成する生徒画像画素x1k,x2k,,xNkとのセットのサンプル数学習用のサンプルの数を表す。式5の自乗誤差の総和Eの最小値極小値は、式6に示すように、総和Eを予測係数wnで偏微分したものを0とするwnによって与えられる。そこで、上述の式4を予測係数wnで偏微分すると、次式7が得られる。式6と式7から、次式8が得られる。式8のekに、式4を代入することにより、式8は、式9に示す正規方程式で表すことができる。式9の正規方程式は、例えば、掃き出し法GaussJordanの消去法などを用いることにより、予測係数wnについて解くことができる。式1の場合も同様に、予測係数wiと予測係数wjを求めることができる。さらに、式9の正規方程式をクラスごとにたてて解くことにより、最適な予測係数ここでは、自乗誤差の総和Eを最小にする予測係数wiと予測係数wjを、クラスごとに求めることもできる。[係数学習部104の詳細構成例]図11は、図8における係数学習部104の詳細な構成例を示すブロック図である。係数学習部104は、注目画素設定部131、教師画像記憶部132、生徒画像記憶部133、予測タップ抽出部134、足し込み部135、および予測係数算出部136により構成される。注目画素設定部131は、教師画像を構成する各画素を、順次、注目画素に設定する。どこを注目画素に設定したかを示す情報は、係数学習部104内の各部に供給される。教師画像記憶部132は、入力される教師画像としての理想高解像度画像を記憶する。生徒画像記憶部133は、入力される生徒画像としての観測低解像度画像を記憶する。予測タップ抽出部134は、生徒画像記憶部133に記憶された生徒画像を構成する画素のなかから、注目画素に対応する画素周辺の周辺画素を予測タップとして抽出し、足し込み部135に供給する。足し込み部135は、教師画像記憶部132から注目画素の画素値を読み出し、その注目画素の画素値と、注目画素について構成された予測タップを構成する生徒画像の画素の画素値とを対象とした足し込みを、供給される各クラスコードで特定されるクラスコードごとに行う。クラスコードは、例えば、波形クラス、帯域クラス、動き量クラス、履歴クラス、および差分クラスそれぞれのクラスコードを所定の順番で並べたビット列が、最終的なクラスコードとされる。即ち、足し込み部135は、供給される各クラスコードに基づいて決定された最終的なクラスコードに対応するクラスごとに、予測タップ生徒画像xnkを用い、式9の左辺の行列における生徒画像どうしの乗算xnkxnkと、サメーションΣに相当する演算を行う。さらに、足し込み部135は、やはり、最終的なクラスコードに対応するクラスごとに、予測タップ生徒画像xnkと教師画像ykを用い、式9の右辺のベクトルにおける生徒画像xnkおよび教師画像ykの乗算xnkykと、サメーションΣに相当する演算を行う。即ち、足し込み部135は、前回、注目画素とされた教師データについて求められた式9における左辺の行列のコンポーネントΣxnkxnkと、右辺のベクトルのコンポーネントΣxnkykを、その内蔵するメモリ図示せずに記憶しており、その行列のコンポーネントΣxnkxnkまたはベクトルのコンポーネントΣxnkykに対して、新たに注目画素とされた教師画像について、その教師画像yk1および生徒画像xnk1を用いて計算される、対応するコンポーネントxnk1xnk1またはxnk1yk1を足し込む式9のサメーションで表される加算を行う。そして、足し込み部135は、教師画像記憶部132に記憶された教師画像すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式9に示した正規方程式をたてると、その正規方程式を、予測係数算出部136に供給する。予測係数算出部136は、足し込み部135から供給される各クラスについての正規方程式を解くことにより、各クラスについて、式2の最適パラメータとしての予測係数wn式1の予測係数wiとwjを求める。得られた各クラスについての予測係数wiとwjは、学習データベース82図8に記憶される。[予測係数学習処理のフローチャート]次に、図12のフローチャートを参照して、図8の学習装置60による予測係数学習処理について説明する。なお、この処理の開始前に、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像が、教師画像記憶部132と生徒画像記憶部133に記憶されているものとする。初めに、ステップS21において、係数学習部104は、高解像度画像の初期値を設定する。式1から明らかなように、予測演算式には1つ前のフレームの高解像度画像が必要となるが、処理の開始当初は存在しないため、例えば、生徒画像の低解像度画像をアップコンバートするなどして、初期値としての高解像度画像が生成される。ステップS22において、注目画素設定部131は、教師画像である高解像度画像の所定の画素を注目画素に設定する。ステップS23において、モデルベース処理部80は、図13を参照して後述するモデルベース処理を実行する。図13のフローチャートを参照して、図12のステップS23として行われるモデルベース処理の詳細について説明する。ステップS41において、動き検出部20は、係数学習部104から供給されるフィードバックされる1フレーム前の高解像度画像を、注目フレームと比較して、注目画素の動き量動きベクトルを検出する。そして、動き検出部20は、検出結果の動き量を、学習処理部81の時間特徴量算出部102に供給する。なお、1フレーム前の高解像度画像が存在しない1回目の処理では、検出結果として予め設定した値例えば、NULLが出力される。ステップS42において、動き補償部21は、動き検出部20で検出された動き量に基づき、高解像度画像の動き補償を行う。ステップS43において、ボケ付加部22は、動き補償後の1フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。なお、ここでは、所定の画像に基づいて、カメラのPSFや光学ぼけなどを推定模擬した画像を生成することを、ボケを付加すると称している。ステップS44において、ダウンサンプラ23は、ボケが付加された動き補償後の1フレーム前の高解像度画像の画素を間引くダウンサンプルするなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。ステップS45において、加算器24は、推定低解像度画像と、生徒画像である観測低解像度画像の対応する画素どうしの差分値を演算する。加算器24の演算結果である差分情報は、アップサンプラ25に供給される。ステップS46において、アップサンプラ25は、加算器24の演算結果である低解像度の差分情報を、高解像度画像の差分情報にアップサンプルする。即ち、アップサンプラ25は、低解像度画像の各画素に対応する差分値から、高解像度の補間した画素に対応する差分値を生成し、ボケ除去部26に供給する。ステップS47において、ボケ除去部26は、アップサンプラ25から供給される高解像度の差分情報に対し、ボケ付加部22が行う処理と反対のボケ除去処理を行う。即ち、ボケ除去部26は、ボケ付加部22で付加されたボケを除去するような処理を、高解像度の差分情報に対して施す。以上でモデルベース処理が終了し、処理が図12に戻り、ステップS24に進む。ステップS24において、学習処理部81は、図14を参照して後述するサンプル蓄積処理を実行する。図14のフローチャートを参照して、図12のステップS24として行われるサンプル蓄積処理の詳細について説明する。初めに、ステップS61において、差分情報クラス分類部103は、ボケ除去部26から供給される差分情報差分値に基づいて、注目画素を所定の差分クラスに分類する。分類結果である差分クラスを示すクラスコードは、係数学習部104に供給される。ステップS62において、空間特徴量算出部101は、注目画素に対して所定のクラスタップを設定し、クラスタップとして抽出された周辺画素を用いた空間特徴量に基づいて、クラス分類を行う空間特徴量クラス分類処理を実行する。ステップS63において、時間特徴量算出部102は、注目画素の時間特徴量に基づいて、クラス分類を行う時間特徴量クラス分類処理を実行する。ここで、図15および図16を参照して、ステップS62の空間特徴量クラス分類処理と、ステップS63の時間特徴量クラス分類処理について説明する。図15は、ステップS62の空間特徴量クラス分類処理の詳細なフローチャートを示している。初めに、ステップS81において、クラスタップ抽出部111は、注目画素に対して、空間特徴量に基づくクラスを設定するためのクラスタップを設定し、抽出する。ステップS82において、波形パターン分類部112は、クラスタップとして抽出された周辺画素の波形パターンに基づいて、注目画素を所定の波形クラスに分類し、分類結果としての波形クラスを示すクラスコードを係数学習部104に出力する。ステップS83において、帯域分類部113は、注目画素の周辺画素の周波数帯域に基づいて、注目画素を所定の帯域クラスに分類し、分類結果としての帯域クラスを示すクラスコードを係数学習部104に出力する。以上により、図14のステップS62の空間特徴量クラス分類処理が終了する。図16は、ステップS63の時間特徴量クラス分類処理の詳細なフローチャートを示している。初めに、ステップS91において、動き量分類部121は、動き検出部20から供給される動き量に基づいて、注目画素を所定の動き量クラスに分類し、分類結果としての動き量クラスを示すクラスコードを係数学習部104に出力する。ステップS92において、履歴カウンタ分類部122は、係数学習部104から供給された処理回数に基づいて、注目画素を所定の履歴クラスに分類し、分類結果としての履歴クラスを示すクラスコードを係数学習部104に出力する。以上により、図14のステップS63の時間特徴量クラス分類処理が終了する。図14に戻り、ステップS64において、足し込み部135は、注目画素の画素値と、その注目画素について抽出された予測タップを構成する生徒画像の画素の画素値とを対象とした式9に相当する足し込みを、ステップS61乃至S63の各クラスコードで特定されるクラスコードクラスごとに行う。以上で、図14のサンプル蓄積処理が終了して図12に戻り、処理がステップS24からステップS25に進む。図12のステップS25において、係数学習部104の注目画素設定部131は、まだ注目画素に設定していない画素があるかを判定する。ステップS25で、まだ注目画素に設定していない画素があると判定された場合、処理はステップS22に戻り、それ以降の処理が繰り返し実行される。一方、ステップS25で、全ての画素を注目画素に設定したと判定された場合、処理はステップS26に進む。ステップS26において、係数学習部104の予測係数算出部136は、足し込み部135から供給されるクラスごとの式9に相当する正規方程式を解くことにより、クラスごとに予測係数wiとwjを算出する。ステップS27において、予測係数算出部136は、ステップS26の処理で算出された予測係数wiとwjを、クラスごとに学習データベース82に記憶させる。以上により、予測係数学習処理が終了する。[予測装置40の詳細構成ブロック図]図17は、予測装置40の詳細な構成例を示すブロック図である。図17において、上述した部分と対応する部分については同一の符号を付してあり、その説明は適宜省略する。予測装置40は、モデルベース処理部80、学習データベース91、及び予測処理部92により構成されている。学習データベース91には、学習装置60で学習され、学習データベース82に記憶されたクラスごとの予測係数wiとwjが、コピーされて記憶されている。予測処理部92は、空間特徴量算出部101、時間特徴量算出部102、差分情報クラス分類部103、および予測部151により構成される。予測処理部92には、外部から入力された観測低解像度画像が供給される。また、モデルベース処理部80からは、学習装置60と同様、動き検出部20で検出された動き量、動き補償後の1フレーム前の高解像度画像、及び、差分情報が供給される。予測部151は、生成する高解像度画像の各画素を、注目する注目画素に設定し、注目画素に対応する観測低解像度画像の複数の画素を予測タップとして抽出し、その予測タップと予測係数の積和演算である式1の予測演算を行う。これにより、予測部151は、予測演算により予測生成した高解像度画像を出力する。[予測部151の詳細構成例]図18は、予測部151の詳細な構成例を示すブロック図である。予測部151は、注目画素設定部171、予測係数取得部172、予測タップ抽出部173、および予測演算部174により構成される。注目画素設定部171は、生成する高解像度画像を構成する各画素を、順次、注目画素に設定する。どこを注目画素に設定したかを示す情報は、予測処理部92内の各部に供給される。予測係数取得部172には、空間特徴量算出部101、時間特徴量算出部102、及び差分情報クラス分類部103のそれぞれから、注目画素を所定のクラスに分類した結果であるクラスコードが供給される。予測係数取得部172は、波形クラス、帯域クラス、動き量クラス、履歴クラス、および差分クラスそれぞれのクラスコードを所定の順番で並べたビット列を、最終的なクラスコードに決定する。そして、予測係数取得部172は、注目画素の最終的なクラスコードに対応する予測係数wiとwjを、学習データベース91から取得し、予測演算部174に供給する。予測タップ抽出部173は、供給された観測低解像度画像を構成する画素のなかから、注目画素に対応する画素周辺の周辺画素を予測タップとして抽出し、予測演算部174に供給する。予測演算部174は、学習時と同一の予測演算、即ち、式1の予測演算を行うことにより、注目画素の画素値を予測生成する。[高解像度画像生成処理のフローチャート]次に、図19のフローチャートを参照して、図17の予測装置40による高解像度画像生成処理ついて説明する。なお、この処理が開始される前に、学習装置60で学習されたクラスごとの予測係数wiとwjが、学習データベース91に記憶されているものとする。この処理は、例えば、観測低解像度画像が入力されたとき開始される。ステップS101乃至S103の処理は、学習装置60による図12のステップS21乃至S23と同様である。即ち、ステップS101において、予測部151は、高解像度画像の初期値を設定する。ステップS102において、注目画素設定部171は、生成する高解像度画像の所定の画素を注目画素に設定する。ステップS103において、モデルベース処理部80は、図13を参照して説明したモデルベース処理を実行する。そして、ステップS104において、予測部151は、図20を参照して後述する予測処理を実行する。図20のフローチャートを参照して、図19のステップS104として行われる予測処理の詳細について説明する。ステップS121乃至S123は、上述した図14のステップS61乃至S63と同様であるので、その説明は省略する。ステップS124において、予測係数取得部172は、空間特徴量算出部101、時間特徴量算出部102、及び差分情報クラス分類部103のそれぞれから供給されたクラスコードから最終的なクラスコードを決定する。そして、予測係数取得部172は、注目画素の最終的なクラスコードに対応する予測係数wiとwjを、学習データベース91から取得し、予測演算部174に供給する。ステップS125において、予測タップ抽出部173は、注目画素に対応する観測低解像度画像の複数の画素を、予測タップとして抽出する。ステップS126において、予測演算部174は、予測タップ抽出部173により抽出された予測タップと、注目画素の最終的なクラスコードに対応して学習データベース91から取得された予測係数wiとwjを用いて、式1の予測演算を行う。これにより、注目画素の画素値が得られる。以上により予測処理が終了し、図19に戻り、処理がステップS104からステップS105に進む。図19のステップS105において、予測部151は、まだ注目画素に設定していない画素があるかを判定する。ステップS105で、まだ注目画素に設定していない画素があると判定された場合、処理はステップS102に戻り、それ以降の処理が繰り返し実行される。一方、ステップS105で、全ての画素を注目画素に設定したと判定された場合、処理はステップS106に進み、予測部151の予測演算部174は、生成した高解像度画像を出力して、処理を終了する。予測装置40から出力された高解像度画像は、例えば、LCDディスプレイ等の表示装置に入力され、表示される。以上により、高解像度画像生成処理が終了する。上述した予測装置40の高解像度画像生成処理では、注目画素に対して空間特徴量および時間特徴量を算出し、それらの特徴量に基づいて注目画素をクラス分類し、分類されたクラスに対応する、予め学習された予測係数を用いて予測演算を行うことにより、高解像度画像が生成される。従来のモデルベース処理部10のように、生成される差分情報に対して一様に補正をかけるのではなく、各画素の特徴量に基づいて最適な補正をかけることができるので、最適な高解像度画像を生成することができる。具体的には、エイリアシング除去性能および解像度感を向上させた高解像度画像が生成可能である。また、例えば、カメラモデルや位置合わせに推定誤差が生じたとしても、例えば、エッジやディテールの過強調や孤立点的な破綻を防止することができる。カメラモデルや位置合わせに推定誤差が生じたとしても、その推定誤差を含んだ状態から理想画像に近い画像を生成するための予測係数が学習装置60で学習されているからである。また、予め最適に求められた予測係数を用いて画素値を求めるので、従来のモデルベース処理のように所定数繰り返し演算を行わずに、1フレームにつき1回の補正で、最適な高解像度画像を生成することができる。従って、短時間で高解像度画像を得ることができ、高速処理の実現が容易になる。従って、本技術が適用された予測装置40および学習装置60によれば、より高速かつ最適なアップコンバート画像を生成することができる。上述した実施の形態では、注目画素をクラス分類するための特徴量として、観測低解像度画像と推定低解像度画像の差分情報の他、空間特徴量として、波形パターンおよび周波数帯域が、時間特徴量として、動き量および処理回数が、それぞれ使用されていた。しかし、これらの空間特徴量及び時間特徴量は、必ずしも全てが必要なわけではなく、上述した特徴量のうちの1つのみを使用したり、所定の2つまたは3つの組合せを用いてもよい。即ち、上述した空間特徴量及び時間特徴量は、少なくとも1つを使用するものであればよい。また、これらの空間特徴量及び時間特徴量以外の異なる特徴量を採用してもよい。さらには、予測および学習のアルゴリズムとして、注目画素をクラス分類し、分類結果に応じて適応的に処理するクラス分類適応処理以外のアルゴリズム、例えば、ニューラルネットワークやサポートベクタマシンなどを採用するようにしてもよい。上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。図21は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、CPUCentralProcessingUnit201,ROMReadOnlyMemory202,RAMRandomAccessMemory203は、バス204により相互に接続されている。バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。入力部206は、キーボード、マウス、マイクロホンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体211を駆動する。以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。コンピュータでは、プログラムは、リムーバブル記録媒体211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。なお、本技術は以下のような構成も取ることができる。1動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部とを備える画像処理装置。2前記予測演算部は、前記観測低解像度画像と前記推定低解像度画像の差分情報、及び、算出された前記特徴量に基づいて、生成する前記画像の画素を所定のクラスにクラス分類したときのクラスに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する前記1に記載の画像処理装置。3前記予測演算部は、前記クラス分類したときのクラスに対応する前記パラメータとしての予測係数と、生成する前記画像の画素に対応して前記観測低解像度画像及び前記高解像度画像から取得される複数の画素の画素値との積和演算により、前記高解像度画像を高画質化した画像を予測して生成する前記2に記載の画像処理装置。4前記予測演算部は、前記差分情報から得られるクラスコードと、算出された前記特徴量から得られるクラスコードを結合したクラスコードを、生成する前記画像の画素を前記クラス分類したときのクラスのクラスコードとし、そのクラスコードに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する前記2または3のいずれかに記載の画像処理装置。5前記特徴量算出部は、前記特徴量として、前記観測低解像度画像から、前記空間特徴量を算出する前記1乃至4のいずれかに記載の画像処理装置。6前記空間特徴量は、前記観測低解像度画像の波形パターンである前記5に記載の画像処理装置。7前記空間特徴量は、前記観測低解像度画像の周波数帯域である前記5または6のいずれかに記載の画像処理装置。8前記特徴量算出部は、前記特徴量として、前記高解像度画像から、前記時間特徴量を算出する前記1乃至7のいずれかに記載の画像処理装置。9前記時間特徴量は、前記動き補償処理で検出される前記高解像度画像の動き量である前記8に記載の画像処理装置。10前記時間特徴量は、前記高解像度画像を高画質化した画像を予測して生成する処理を行った処理回数である前記8または9に記載の画像処理装置。11前記観測モデルは、ボケを付加するボケ付加処理も行う前記1乃至10のいずれかに記載の画像処理装置。12動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成するステップを含む画像処理方法。13コンピュータに、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する処理を実行させるためのプログラム。14前記13に記載のプログラムが記録されている記録媒体。"