(57)【要約】【課題】入力情報から得られる複数の特徴量の不均質な分布に応じて、より的確に出力情報をクラス分類する。【解決手段】特徴量ベクトル生成部１２は、内挿フレームの着目画素に対応して２つの入力フレームの画像から得られる特徴量ベクトルを生成し、クラス状態ベクトルメモリ１３は、クラス分類に用いるクラスに対応するクラス状態ベクトルを記憶し、その中から、クラス分類部１４は、特徴量ベクトルとの距離が小さいクラス状態ベクトルを検出してそのクラスに着目画素を分類し、予測係数メモリ１５は、予測係数をクラスごとに記憶し、予測特徴量ベクトル生成部１６は、着目画素に対応して予測特徴量ベクトルを生成し、内挿画素生成部１７は、その予測特徴量ベクトルと分類されたクラスに対応する予測係数とに基づいて着目画素の画素値を求める。本発明は、例えば、画像処理装置に適用できる。【選択図】図４
2009071469.tif 000002
【特許請求の範囲】
【請求項１】
入力情報から得られる複数の特徴量である特徴量セットに基づいて出力情報を生成する情報処理装置において、
前記出力情報の着目情報に対応して第１の特徴量セットを取得する第１の取得手段と、
前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットをあらかじめ複数記憶する第１の記憶手段と、
前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、前記第１の取得手段により取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類手段と、
前記着目情報を予測する予測演算に用いる予測係数をクラスごとに記憶する第２の記憶手段と、
前記着目情報に対応して前記予測演算に用いる第２の特徴量セットを取得する第２の取得手段と、
前記第２の取得手段により取得された前記第２の特徴量セットと、前記クラス分類手段により分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報を生成する生成手段と
を備える情報処理装置。
【請求項２】
前記第１の記憶手段に記憶された各前記クラス特徴量セットを、前記第１の取得手段により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類手段により分類されたクラスに基づいて更新する更新手段をさらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記クラス分類手段は、前記複数のクラス特徴量セットの中から、前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを複数検出し、検出した複数の前記クラス特徴量セットに対応する複数のクラスに前記着目情報を分類し、
前記生成手段は、前記クラス分類手段により分類された複数のクラスに対応する複数の前記予測係数を合成し、合成した前記予測係数と、前記第２の取得手段により取得された前記第２の特徴量セットとに基づく前記予測演算により、前記着目情報を生成する
請求項１に記載の情報処理装置。
【請求項４】
前記入力情報は、時間軸上で隣接する２つの入力画像であり、
前記出力情報は、前記２つの入力画像の間に挿入する内挿画像である
請求項１に記載の情報処理装置。
【請求項５】
前記第１の取得手段は、前記２つの入力画像間の動きを示す動きベクトルで前記内挿画像の着目画素において動き補償した前記２つの入力画像から第１の特徴量を演算し、複数の前記動きベクトルに対して演算される複数の前記第１の特徴量を前記第１の特徴量セットとして取得し、
前記第２の取得手段は、前記２つの入力画像間の動きを示す動きベクトルで前記着目画素において動き補償した前記２つの入力画像から第２の特徴量を演算し、複数の前記動きベクトルに対して演算される複数の前記第２の特徴量を前記第２の特徴量セットとして取得する
請求項４に記載の情報処理装置。
【請求項６】
前記動きベクトルを、前記内挿画像の各画素に割付ベクトルとして割り付ける割付手段をさらに備え、
前記第１の取得手段は、前記割付ベクトルで動き補償した前記２つの入力画像から前記第１の特徴量を演算し、
前記第２の取得手段は、前記割付ベクトルで動き補償した前記２つの入力画像から前記第２の特徴量を演算する
請求項５に記載の情報処理装置。
【請求項７】
前記第１の取得手段は、
前記着目画素に対する前記割付ベクトルを取得する割付ベクトル取得手段と、
前記着目画素において前記割付ベクトルで動き補償した前記２つの入力画像上の前記着目画素に対応する点の画素値である対応画素値を取得する対応画素値取得手段と、
前記対応画素値の差分値を前記第１の特徴量として演算する特徴量演算手段と
を備え、
複数の前記割付ベクトルに対して演算される複数の前記第１の特徴量を前記第１の特徴量セットとする
請求項６に記載の情報処理装置。
【請求項８】
前記第２の取得手段は、
前記着目画素に対する前記割付ベクトルを取得する割付ベクトル取得手段と、
前記着目画素において前記割付ベクトルで動き補償した前記２つの入力画像上の前記着目画素に対応する点の画素値である対応画素値を取得する対応画素値取得手段と、
前記対応画素値の差分値を前記第２の特徴量として演算する特徴量演算手段と
を備え、
複数の前記割付ベクトルに対して演算される複数の前記第２の特徴量を前記第２の特徴量セットとする
請求項７に記載の情報処理装置。
【請求項９】
前記入力情報は、第１の画像であり、
前記出力情報は、前記第１の画像より高解像度の画像である
請求項１に記載の情報処理装置。
【請求項１０】
前記第１の取得手段は、前記第２の画像の着目画素に対応する前記第１の画像上の点に対して第１の位置関係にある複数の画素の輝度値を前記第１の特徴量セットとして取得し、
前記第２の取得手段は、前記第２の画像の着目画素に対応する前記第１の画像上の点に対して第２の位置関係にある複数の画素の輝度値を前記第２の特徴量セットとして取得する
請求項９に記載の情報処理装置。
【請求項１１】
入力情報から得られる複数の特徴量である特徴量セットに基づいて出力情報を生成する情報処理方法において、
前記出力情報の着目情報に対応して第１の特徴量セットを取得する第１の取得ステップと、
前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットをあらかじめ第１の記憶手段に複数記憶する第１の記憶ステップと、
前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、前記第１の取得ステップの処理により取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップと、
前記着目情報を予測する予測演算に用いる予測係数をクラスごとに第２の記憶手段に記憶する第２の記憶ステップと、
前記着目情報に対応して前記予測演算に用いる第２の特徴量セットを取得する第２の取得ステップと、
前記第２の取得ステップの処理により取得された前記第２の特徴量セットと、前記クラス分類ステップの処理により分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報を生成する生成ステップと
を含む情報処理方法。
【請求項１２】
入力情報から得られる複数の特徴量である特徴量セットに基づいて出力情報を生成する情報処理をコンピュータに実行させるプログラムにおいて、
前記出力情報の着目情報に対応して第１の特徴量セットを取得する第１の取得ステップと、
前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットをあらかじめ第１の記憶手段に複数記憶する第１の記憶ステップと、
前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、前記第１の取得ステップの処理により取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップと、
前記着目情報を予測する予測演算に用いる予測係数をクラスごとに第２の記憶手段に記憶する第２の記憶ステップと、
前記着目情報に対応して前記予測演算に用いる第２の特徴量セットを取得する第２の取得ステップと、
前記第２の取得ステップの処理により取得された前記第２の特徴量セットと、前記クラス分類ステップの処理により分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報を生成する生成ステップと
を含む情報処理をコンピュータに実行させるプログラム。
【請求項１３】
入力情報から得られる複数の特徴量である特徴量セットに基づく出力情報の生成で用いる、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットを生成する情報処理装置において、
前記出力情報の着目情報に対応して特徴量セットを取得する取得手段と、
前記クラス特徴量セットをあらかじめ複数記憶する記憶手段と、
前記複数のクラス特徴量セットの中から、前記取得手段により取得された前記特徴量セットと類似する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類手段と、
前記第記憶手段に記憶された各前記クラス特徴量セットを、前記取得手段により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類手段により分類されたクラスに基づいて更新する更新手段と
を備える情報処理装置。
【請求項１４】
入力情報から得られる複数の特徴量である特徴量セットに基づく出力情報の生成で用いる、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットを生成する情報処理方法において、
前記出力情報の着目情報に対応して特徴量セットを取得する取得ステップと、
前記クラス特徴量セットをあらかじめ記憶手段に複数記憶する記憶ステップと、
前記複数のクラス特徴量セットの中から、前記取得ステップの処理により取得された前記特徴量セットと類似する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップと、
前記第記憶手段に記憶された各前記クラス特徴量セットを、前記取得ステップの処理により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類ステップの処理により分類されたクラスに基づいて更新する更新ステップと
を含む情報処理方法。
【請求項１５】
入力情報から得られる複数の特徴量である特徴量セットに基づく出力情報の生成で用いる、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットを生成する情報処理をコンピュータに実行させるプログラムにおいて、
前記出力情報の着目情報に対応して特徴量セットを取得する取得ステップと、
前記クラス特徴量セットをあらかじめ記憶手段に複数記憶する記憶ステップと、
前記複数のクラス特徴量セットの中から、前記取得ステップの処理により取得された前記特徴量セットと類似する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップと、
前記第記憶手段に記憶された各前記クラス特徴量セットを、前記取得ステップの処理により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類ステップの処理により分類されたクラスに基づいて更新する更新ステップと
を含む情報処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置及び方法、並びにプログラムに関し、特に、例えば、入力情報から得られる複数の特徴量の不均質な分布に応じて、より的確に出力情報をクラス分類することができるようにする情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、時間軸上の２つのフレーム（またはフィールド、以下、同様）の画像からその２つのフレーム間に挿入する内挿フレームの画像を生成したり、ある画像からより高解像度の画像を生成したりすることが行われている。
【０００３】
例えば、インタレースから順次走査への変換において、時間軸上の２つのフィールド間の動きベクトルを利用して動き補償したその２つのフィールドの画像から所定の他のフィールドの画像を生成する方法がある（例えば、特許文献１参照）。
【０００４】
また内挿フレームの画像を生成する際に、その内挿フレームの着目画素を、入力フレームの画像を用いてクラスに分類し（以下、クラス分類と称する）、そのクラスに対応して着目画素を生成する方法がある（例えば、特許文献２参照）。
【０００５】
また、このクラス分類では、クラスを求めるために選択される入力フレームの複数の画素（の画素値）（以下、クラスタップと称する）について、例えばADRC(Adaptive Dynamic Range Coding)方式等を用いてその情報量が縮退される。
【特許文献１】特開平０６−１３３２８０号公報
【特許文献２】特開２０００−３２４４９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したクラス分類では、特徴量数とクラス数との間に密接な関係があるため、現実的に扱えるクラス数を考慮すると、使用できる特徴量数は限られてしまう。
【０００７】
例えば、図１に示すように、クラスタップとする５個の画素c0乃至c4から、情報量が8bitの特徴量f0乃至f4（例えば、各画素の輝度値）が取得され、これらの特徴量の情報量40bit（この各ビットにクラスが対応するとすると、240個、すなわち1テラ個を超えるクラス数に相当）が、各特徴量fi（0≦i≦4）の情報量を例えば最小の1bitにすることにより5bit（25個のクラス数に相当）に縮退される。そして、この縮退された特徴量fiを並べたビット列の数値がクラスコードとされ、そのままクラスを識別するクラス番号とされる。そのため、特徴量数（クラスタップの大きさ）が増加すると、すなわちビット列のビット数がnbitに増加すると、クラス数が指数関数的に2n個に増加するので、その結果、現実的に扱えるクラス数を考慮すると、使用できる特徴量数は制限される。
【０００８】
例えば図２に示すように特徴量数を３個から４個に増加させた場合、クラス数は８（=23）個から１６(=24)個に増加する。このように特徴量を１個増加させると、特徴量数が３個の場合の８クラスのそれぞれに対して、新たに追加された特徴量f3が取りうる値「0」と「1」の２通りが組み合されてクラス数が１６（=８×２）個になる（図中の点線で囲まれた部分を参照）。
【０００９】
また各特徴量の情報量が一様に1bitに縮退されたクラスコードによりクラス分類されるので、（縮退された）各特徴量を座標軸とするクラス空間においてクラスの分割が均質に行われる。すなわち、特徴量数の増加に応じて指数関数的に増加した各クラスの必要性（有用性）に関する考慮が行われていないので、特徴量の不均質な分布を想定すると、クラスの一部は有効に利用されない可能性が高い。
【００１０】
図２の例において、例えば、この特徴量f3の値が0に偏る場合、全１6クラスのうちの特徴量f3の値が1である半数のクラスが有効に利用されない。
【００１１】
また、このクラス分類に用いるクラスは、近傍クラスどうしの類似性が考慮されたものではなかった。
【００１２】
例えば、図１に示した５タップを利用したクラスタップについて、1bitADRC方式を用いてその特徴量が所定の閾値THとの大小関係により0または1に縮退される場合、図３左上に示すようなクラス番号１５（すなわちクラスコード01111）のクラスと、図３右上に示すようなクラス番号１６（すなわちクラスコード10000）のクラスとは、クラス番号が連続しているが（即ち近いクラス番号であるが）、その特徴量の分布はあまり類似しておらず相関性が低い。
【００１３】
一方、図３左上に示すようなクラス番号１５（すなわちクラスコード01111）のクラスと、図３左下に示すようなクラス番号１１のクラス（すなわちクラスコード01011）のクラスとは、図３左上と図３右上の例の場合に比べてクラス番号は近くない（クラス番号の相関性が低い）が、その特徴量の分布は類似しており相関性が高い。
【００１４】
このように（縮退された）特徴量を並べたビット列をクラスコードとし、そのままクラス番号にする方法では、クラス番号の大小と特徴量（例えば、その分布）には関連性がない。従って、クラスどうしの類似性を例えばクラス番号の並びの近さとして意味付けることができない。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、例えば、入力情報から得られる複数の特徴量の不均質な分布に応じて、より的確に出力情報をクラス分類するができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面の情報処理装置は、入力情報から得られる複数の特徴量である特徴量セットに基づいて出力情報を生成する情報処理装置において、前記出力情報の着目情報に対応して第１の特徴量セットを取得する第１の取得手段と、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットをあらかじめ複数記憶する第１の記憶手段と、前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、前記第１の取得手段により取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類手段と、前記着目情報を予測する予測演算に用いる予測係数をクラスごとに記憶する第２の記憶手段と、前記着目情報に対応して前記予測演算に用いる第２の特徴量セットを取得する第２の取得手段と、前記第２の取得手段により取得された前記第２の特徴量セットと、前記クラス分類手段により分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報を生成する生成手段とを備える。
【００１７】
本発明の第１の側面の情報処理装置には、前記第１の記憶手段に記憶された各前記クラス特徴量セットを、前記第１の取得手段により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類手段により分類されたクラスに基づいて更新する更新手段をさらに設けることができる。
【００１８】
本発明の第１の側面の情報処理装置には、前記動きベクトルを、前記内挿画像の各画素に割付ベクトルとして割り付ける割付手段をさらに設け、前記第１の取得手段には、前記割付ベクトルで動き補償した前記２つの入力画像から前記第１の特徴量を演算させ、前記第２の取得手段には、前記割付ベクトルで動き補償した前記２つの入力画像から前記第２の特徴量を演算させることができる。
【００１９】
前記第１の取得手段には、前記着目画素に対する前記割付ベクトルを取得する割付ベクトル取得手段と、前記着目画素において前記割付ベクトルで動き補償した前記２つの入力画像上の前記着目画素に対応する点の画素値である対応画素値を取得する対応画素値取得手段と、前記対応画素値の差分値を前記第１の特徴量として演算する特徴量演算手段とを設け、複数の前記割付ベクトルに対して演算される複数の前記第１の特徴量を前記第１の特徴量セットとさせることができる。
【００２０】
前記第２の取得手段には、前記着目画素に対する前記割付ベクトルを取得する割付ベクトル取得手段と、前記着目画素において前記割付ベクトルで動き補償した前記２つの入力画像上の前記着目画素に対応する点の画素値である対応画素値を取得する対応画素値取得手段と、前記対応画素値の差分値を前記第２の特徴量として演算する特徴量演算手段とを設け、複数の前記割付ベクトルに対して演算される複数の前記第２の特徴量を前記第２の特徴量セットとさせることができる。
【００２１】
本発明の第１の側面の情報処理方法またはプログラムは、入力情報から得られる複数の特徴量である特徴量セットに基づいて出力情報を生成する情報処理方法または情報処理をコンピュータに実行させるプログラムであり、前記出力情報の着目情報に対応して第１の特徴量セットを取得する第１の取得ステップと、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットをあらかじめ第１の記憶手段に複数記憶する第１の記憶ステップと、前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、前記第１の取得ステップの処理により取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップと、前記着目情報を予測する予測演算に用いる予測係数をクラスごとに第２の記憶手段に記憶する第２の記憶ステップと、前記着目情報に対応して前記予測演算に用いる第２の特徴量セットを取得する第２の取得ステップと、前記第２の取得ステップの処理により取得された前記第２の特徴量セットと、前記クラス分類ステップの処理により分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報を生成する生成ステップとを含む。
【００２２】
本発明の第２の側面の情報処理装置は、入力情報から得られる複数の特徴量である特徴量セットに基づく出力情報の生成で用いる、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットを生成する情報処理装置において、前記出力情報の着目情報に対応して特徴量セットを取得する取得手段と、前記クラス特徴量セットをあらかじめ複数記憶する記憶手段と、前記複数のクラス特徴量セットの中から、前記取得手段により取得された前記特徴量セットと類似する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類手段と、前記第記憶手段に記憶された各前記クラス特徴量セットを、前記取得手段により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類手段により分類されたクラスに基づいて更新する更新手段とを備える。
【００２３】
本発明の第２の側面の情報処理方法またはプログラムは、入力情報から得られる複数の特徴量である特徴量セットに基づく出力情報の生成で用いる、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットを生成する情報処理方法または情報処理をコンピュータに実行させるプログラムであり、前記出力情報の着目情報に対応して特徴量セットを取得する取得ステップと、前記クラス特徴量セットをあらかじめ記憶手段に複数記憶する記憶ステップと、前記複数のクラス特徴量セットの中から、前記取得ステップの処理により取得された前記特徴量セットと類似する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップと、前記第記憶手段に記憶された各前記クラス特徴量セットを、前記取得ステップの処理により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類ステップの処理により分類されたクラスに基づいて更新する更新ステップとを含む。
【００２４】
本発明の第１の側面においては、出力情報の着目情報に対応して第１の特徴量セットが取得され、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットがあらかじめ第１の記憶手段に複数記憶され、前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットが検出され、検出された前記クラス特徴量セットに対応するクラスに前記着目情報が分類され、前記着目情報を予測する予測演算に用いる予測係数が第２の記憶手段にクラスごとに記憶され、前記着目情報に対応して前記予測演算に用いる第２の特徴量セットが取得され、取得された前記第２の特徴量セットと、分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報が生成される。
【００２５】
本発明の第２の側面においては、出力情報の着目情報に対応して特徴量セットが取得され、前記クラス特徴量セットがあらかじめ記憶手段に複数記憶され、前記複数のクラス特徴量セットの中から、取得された前記特徴量セットと類似する所定の前記クラス特徴量セットが検出され、検出された前記クラス特徴量セットに対応するクラスに前記着目情報が分類され、前記第記憶手段に記憶された各前記クラス特徴量セットが、取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び分類されたクラスに基づいて更新される。
【発明の効果】
【００２６】
本発明の第１の側面によれば、例えば、入力情報から得られる複数の特徴量の不均質な分布に応じて、より的確に出力情報をクラス分類することができる。
【００２７】
本発明の第２の側面によれば、例えば、入力情報から得られる複数の特徴量の不均質な分布に応じて、より的確に出力情報をクラス分類するためのクラス特徴量セットを生成することができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
本発明の第１の側面の情報処理装置は、
入力情報から得られる複数の特徴量である特徴量セットに基づいて出力情報を生成する情報処理装置（例えば、図４の画像処理装置１）において、
前記出力情報の着目情報に対応して第１の特徴量セットを取得する第１の取得手段（例えば、図４の特徴量ベクトル生成部１２）と、
前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットをあらかじめ複数記憶する第１の記憶手段（例えば、図４のクラス状態ベクトルメモリ１３）と、
前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、前記第１の取得手段により取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類手段（例えば、図４のクラス分類部１４）と、
前記着目情報を予測する予測演算に用いる予測係数をクラスごとに記憶する第２の記憶手段（例えば、図４の予測係数メモリ１５）と、
前記着目情報に対応して前記予測演算に用いる第２の特徴量セットを取得する第２の取得手段（例えば、図４の予測特徴量ベクトル生成部１６）と、
前記第２の取得手段により取得された前記第２の特徴量セットと、前記クラス分類手段により分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報を生成する生成手段（例えば、図４の内挿画素生成部１７）と
を備える。
【００３０】
本発明の第１の側面の情報処理装置には、前記第１の記憶手段に記憶された各前記クラス特徴量セットを、前記第１の取得手段により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類手段により分類されたクラスに基づいて更新する更新手段（例えば、図１５の更新部５０）をさらに設けることができる。
【００３１】
本発明の第１の側面の情報処理装置には、前記動きベクトルを、前記内挿画像の各画素に割付ベクトルとして割り付ける割付手段（例えば、図４の割付処理部１１）をさらに設け、
前記第１の取得手段には、前記割付ベクトルで動き補償した前記２つの入力画像から前記第１の特徴量を演算させ、前記第２の取得手段には、前記割付ベクトルで動き補償した前記２つの入力画像から前記第２の特徴量を演算させることができる。
【００３２】
前記第１の取得手段には、
前記着目画素に対する前記割付ベクトルを取得する割付ベクトル取得手段（例えば、図６の割付ベクトル取得部１２Ａ）と、
前記着目画素において前記割付ベクトルで動き補償した前記２つの入力画像上の前記着目画素に対応する点の画素値である対応画素値を取得する対応画素値取得手段（例えば、図６の対応画素値取得部１２Ｂ）と、
前記対応画素値の差分値を前記第１の特徴量として演算する特徴量演算手段（例えば、図６の特徴量演算部１２Ｃ）と
を設け、
複数の前記割付ベクトルに対して演算される複数の前記第１の特徴量を前記第１の特徴量セットとさせることができる。
【００３３】
前記第２の取得手段には、
前記着目画素に対する前記割付ベクトルを取得する割付ベクトル取得手段（例えば、図１１の割付ベクトル取得部１６Ａ）と、
前記着目画素において前記割付ベクトルで動き補償した前記２つの入力画像上の前記着目画素に対応する点の画素値である対応画素値を取得する対応画素値取得手段（例えば、図１１の対応画素値取得部１６Ｂ）と、
前記対応画素値の差分値を前記第２の特徴量として演算する特徴量演算手段（例えば、図１１の特徴量演算部１６Ｃ）と
を設け、
複数の前記割付ベクトルに対して演算される複数の前記第２の特徴量を前記第２の特徴量セットとさせることができる。
【００３４】
本発明の第１の側面の情報処理方法またはプログラムは、
入力情報から得られる複数の特徴量である特徴量セットに基づいて出力情報を生成する情報処理方法または情報処理をコンピュータに実行させるプログラムであり、
前記出力情報の着目情報に対応して第１の特徴量セットを取得する第１の取得ステップ（例えば、図４の特徴量ベクトル生成部１２による図７の特徴量ベクトル生成処理）と、
前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットをあらかじめ第１の記憶手段に複数記憶する第１の記憶ステップ（例えば、図４のクラス状態ベクトルメモリ１３による処理）と、
前記第１の記憶手段に記憶された前記複数のクラス特徴量セットの中から、前記第１の取得ステップの処理により取得された前記第１の特徴量セットに対応する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップ（例えば、図４のクラス分類部１４による図１０のクラス分類処理）と、
前記着目情報を予測する予測演算に用いる予測係数をクラスごとに第２の記憶手段に記憶する第２の記憶ステップ（例えば、図４の予測係数メモリ１５による処理）と、
前記着目情報に対応して前記予測演算に用いる第２の特徴量セットを取得する第２の取得ステップ（例えば、図４の予測特徴量ベクトル生成部１６による処理）と、
前記第２の取得ステップの処理により取得された前記第２の特徴量セットと、前記クラス分類ステップの処理により分類されたクラスに対応する前記予測係数とに基づく前記予測演算により、前記着目情報を生成する生成ステップ（例えば、図４の内挿画素生成部１７による処理）
を含む。
【００３５】
本発明の第２の側面の情報処理装置は、
入力情報から得られる複数の特徴量である特徴量セットに基づく出力情報の生成で用いる、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットを生成する情報処理装置（例えば、図１２のクラス状態ベクトル生成装置３１）において、
前記出力情報の着目情報に対応して特徴量セットを取得する取得手段（例えば、図１２の特徴量ベクトル生成部４２）と、
前記クラス特徴量セットをあらかじめ複数記憶する記憶手段（例えば、図１２のクラス状態ベクトルメモリ４３）と、
前記複数のクラス特徴量セットの中から、前記取得手段により取得された前記特徴量セットと類似する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類手段（例えば、図１２のクラス分類部４４）と、
前記第記憶手段に記憶された各前記クラス特徴量セットを、前記取得手段により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類手段により分類されたクラスに基づいて更新する更新手段（例えば、図１２の更新部４５）と
を備える。
【００３６】
本発明の第２の側面の情報処理方法またはプログラムは、
入力情報から得られる複数の特徴量である特徴量セットに基づく出力情報の生成で用いる、前記出力情報のクラス分類に用いるクラスに対応するクラス特徴量セットを生成する情報処理方法または情報処理をコンピュータに実行させるプログラムであり、
前記出力情報の着目情報に対応して特徴量セットを取得する取得ステップ（例えば、図１３のステップ６５）と、
前記クラス特徴量セットをあらかじめ記憶手段に複数記憶する記憶ステップ（例えば、図１２のクラス状態ベクトルメモリ４３による処理）と、
前記複数のクラス特徴量セットの中から、前記取得ステップの処理により取得された前記特徴量セットと類似する所定の前記クラス特徴量セットを検出し、検出した前記クラス特徴量セットに対応するクラスに前記着目情報を分類するクラス分類ステップ（例えば、図１３のステップＳ６６乃至ステップＳ７２）と、
前記第記憶手段に記憶された各前記クラス特徴量セットを、前記取得ステップの処理により取得された前記第１の特徴量セット、前記クラス特徴量セットのクラス、及び前記クラス分類ステップの処理により分類されたクラスに基づいて更新する更新ステップ（例えば、図１３のステップＳ７５）と
を含む。
【００３７】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００３８】
図４は、本発明を適用した画像処理装置１の機能的構成例を示す図である。
【００３９】
画像処理装置１は、例えば、外部からそこに入力された入力フレームごとの画像に基づいて、時間軸上で隣り合う２つの入力フレームの間に挿入する内挿フレームの画像を生成する。この画像生成では、生成しようとする内挿フレームの各画素に対してクラス分類が行われ、そのクラスに対応して各画素が生成される。
【００４０】
画像処理装置１は、割付処理部１１、特徴量ベクトル生成部１２、クラス状態ベクトルメモリ１３、クラス分類部１４、予測係数メモリ１５、予測特徴量ベクトル生成部１６、及び内挿画素生成部１７から構成される。
【００４１】
割付処理部１１は、後述するような、画像処理装置１に入力された時間軸上で隣接する２つの入力フレームの画像を用いて、内挿フレームの各画素に割り付ける動きベクトル（以下、割付ベクトルと称する）を検出し、内挿フレームの各画素に割り付ける割付処理を行う。そして、割付処理部１１は、この割付ベクトルを時間軸上で隣接する２つの入力フレームの画像とともに特徴量ベクトル生成部１２及び予測特徴量ベクトル生成部１６に供給する。
【００４２】
特徴量ベクトル生成部１２は、割付処理部１１から供給される割付ベクトル及び時間軸上で隣接する２つの入力フレームの画像に基づいて、その２つの入力フレームの内挿フレームの画素に対する後述の特徴量ベクトルを生成し（以下、特徴量ベクトル生成処理と称する）、クラス分類部１４に供給する。
【００４３】
クラス状態ベクトルメモリ１３は、所定の特徴量ベクトルであるクラス状態ベクトルをクラス番号に対応付けて記憶している。なお、このクラス状態ベクトルは、例えば、後述するクラス状態ベクトル生成装置３１（図１２）で生成され、クラス状態ベクトルメモリ１３に供給されて記憶される。
【００４４】
クラス分類部１４は、特徴量ベクトル生成部１２から特徴量ベクトルが供給されると、クラス状態ベクトルメモリ１３に記憶されている各クラス状態ベクトルと、特徴量ベクトルとの間の距離を演算する。そして、クラス分類部１４は、特徴量ベクトルとの間の距離が例えば最も小さいクラス状態ベクトルを探索（検出）し、そのクラス状態ベクトルに対応付けられたクラス番号に応じて、予測係数メモリ１５に記憶されたそのクラス番号に対応する（内挿フレームの画素に対する）予測係数を、内挿画素生成部１７に読み出させる。
【００４５】
これにより、内挿フレームの画素がクラス番号に対応するクラスに分類される。
【００４６】
予測係数メモリ１５は、内挿フレームの画素を生成するための予測演算に用いる所定の予測係数をクラスごとに記憶している。なお、この予測係数は、例えば、後述する予測係数生成装置６１（図１６）で生成され、予測係数メモリ１５に供給されて記憶される。
【００４７】
予測特徴量ベクトル生成部１６は、割付処理部１１から供給される割付ベクトル及び時間軸上で隣接する２つの入力フレームに基づいて、その２つの入力フレームの内挿フレームの画素に対する後述の予測特徴量ベクトルを生成し（以下、予測特徴量ベクトル生成処理と称する）、内挿画素生成部１７に供給する。なお、この予測特徴量ベクトルは、この内挿フレームの画素を生成するための予測演算で用いられる。
【００４８】
内挿画素生成部１７は、予測係数メモリ１５から読み出した予測係数と、予測特徴量ベクトル生成部１６から供給される予測特徴量ベクトルとに基づいて、後述する所定の予測演算を行うことにより内挿フレームの画素の画素値を予測する。内挿画素生成部１７は、このようにして生成した内挿フレームの生成画素を外部に出力する。
【００４９】
次に、割付処理部１１の内部構成例について説明する。
【００５０】
割付処理部１１は、フレーム遅延部１１Ａ及び動きベクトル検出割付部１１Ｂから構成される。
【００５１】
フレーム遅延部１１Ａ及び動きベクトル検出割付部１１Ｂには、割付処理部１１に入力された入力フレームの画像が供給される。
【００５２】
フレーム遅延部１１Ａは、そこに供給された入力フレームを１フレームだけ遅延して動きベクトル検出割付部１１Ｂ及び予測特徴量ベクトル生成部１６に供給する。
【００５３】
動きベクトル検出割付部１１Ｂは、そこに供給される入力フレームの画像とフレーム遅延部１１Ａから供給される１フレームだけ遅延された入力フレームの画像、すなわち時間軸上で隣接する２つの入力フレームの画像から、その２つの入力フレームの内挿フレームの各画素に割り付ける動きベクトルを検出する。なお、この動きベクトルの検出には、例えばブロックマッチング法や位相相関法、反復勾配法等が用いられる。
【００５４】
例えば、図５の例では、図５の最上段に示すように、時間軸上の隣接する２つの入力フレームの時刻T0のフレームF0と時刻T1のフレームF1に対して、フレームF0を基準とした両者の間の動きベクトルMV1乃至MV4が検出される。また、これらの動きベクトルのうちの図５の中段に示すように、内挿フレームのいま着目している画素であってこれから画素値を予測する画素（以下、着目画素と称する）の付近を通過する動きベクトルMV2及びMV3が、着目画素に割り付ける割付ベクトルの候補とされる。
【００５５】
なお、図５の各段の縦軸は時間を、横軸は各フレームの画像の横方向の位置をそれぞれ示している。
【００５６】
そして、割付ベクトルの候補の取捨選択がさらに行なわれ、図５の下段に示すような、そのうちの尤もらしい動きベクトルMV3が割付ベクトルとされて、着目画素に割り付けられる。なお内挿フレームの画素に動きベクトルを割り付ける処理の具体的な例については、例えば、特開２００５−２０４０７５号公報に開示されている。
【００５７】
割付処理部１１は、内挿フレームの全画素に割り付けられた割付ベクトルとその割付ベクトルの割り付けに用いた２つの入力フレームの画像を一時的に記憶する。
【００５８】
次に、図６を参照して、特徴量ベクトル生成部１２の内部構成例について説明する。
【００５９】
特徴量ベクトル生成部１２は、割付ベクトル取得部１２Ａ、対応画素値取得部１２Ｂ、及び特徴量演算部１２Ｃから構成される。
【００６０】
割付ベクトル取得部１２Ａは、着目画素と、着目画素に対して所定の位置関係にある内挿フレーム上の複数の画素（以下、参照画素と称する）に対して割り付けられた割付ベクトルを、図４の割付処理部１１から取得し、対応画素値取得部１２Ｂに供給する。
【００６１】
対応画素値取得部１２Ｂは、割付処理部１１から時間軸上で隣接する２つの入力フレームの画像を取得し、その２つの入力フレームの画像に対して、割付ベクトル取得部１２Ａで取得された参照画素の各割付ベクトル毎に、割付ベクトルに基づく動き補償（MC(Motion Compensation)）を行い、その結果得られる２つの入力フレームの画像上の対応画素値を特徴量演算部１２Ｃに供給する。
【００６２】
特徴量演算部１２Ｃは、対応画素値取得部１２Ｂから供給される、各割付ベクトルに基づく動き補償の結果得られた対応画素値毎にそれを用いた所定の特徴量の演算を行い、その結果得られた特徴量を成分とする特徴量ベクトルを生成し、クラス分類部１４に出力（供給）する。
【００６３】
次に、特徴量ベクトル生成部１２による特徴量ベクトル生成処理を、図７のフローチャートを参照して説明する。
【００６４】
ステップＳ１において、対応画素値取得部１２Ｂは、割付処理部１１から時間軸上で隣接する２つの入力フレームの画像を取得する。
【００６５】
例えば図８左上に示すフレームF0及びF1が取得される。この図８左上の縦軸は時間を、また横軸は各フレームの画像の横方向の位置をそれぞれ示している。
【００６６】
ステップＳ２において、割付ベクトル取得部１２Ａは、（これから生成しようとする）内挿フレームの画素の中の１つの画素を、着目画素に設定する。
【００６７】
ステップＳ３において、割付ベクトル取得部１２Ａは、複数の参照画素（即ち着目画素と、着目画素近傍の内挿フレーム上の所定の複数の画素）のうちのまだ参照していない参照画素に対する割付ベクトルを割付処理部１１から取得し、対応画素値取得部１２Ｂに供給する。
【００６８】
例えば、図８左上の内挿フレームを２次元平面で表現した図８右上の例では、画素p5が着目画素に設定され、その着目画素p5近傍の９つの画素p1乃至p9（着目画素の画素p5を含む）が参照画素とされるので、その中の１つの例えば、画素p1の割付ベクトルが取得され、対応画素値取得部１２Ｂに供給される。なお、参照画素数は９個に限らず、したがって、以下においては、正の整数のN個であるものとする。
【００６９】
ステップＳ４において、対応画素値取得部１２Ｂは、割付ベクトル取得部１２Ａから供給された割付ベクトル（即ちいま参照している参照画素に対する割付ベクトル）を着目画素に対する動きベクトルとみなして動き補償を行い、動き補償したフレームF0及びF1の画像における着目画素の位置に対応する点の画素値である（２つの）対応画素値を取得し、特徴量演算部１２Ｃに供給する。
【００７０】
例えば、図８下の例では、いま参照している参照画素pi（0≦i≦9）に対する割付ベクトルを着目画素に対する動きベクトルとみなして動き補償が行われ、すなわち参照画素piの割付ベクトルを着目画素にシフトして動き補償が行われ、動き補償したフレームF0上の着目画素の位置に対応する点の画素値であるsi0と、動き補償したフレームF1上の着目画素の位置に対応する点の画素値であるsi1が演算されて取得される。
【００７１】
ステップＳ５において、特徴量演算部１２Ｃは、対応画素値取得部１２Ｂから供給される対応画素値に基づく特徴量、すなわち例えばその２つの対応画素値の差分値を演算する。
【００７２】
ステップＳ６において、割付ベクトル取得部１２Ａは、全参照画素に対する参照が終了したかを判定する。ステップＳ６において、全参照画素に対する参照が終了していないと判定された場合、処理はステップＳ３に戻り、新たな参照画素が参照され、それ以降の処理が同様に行われる。
【００７３】
一方、ステップＳ６において、全参照画素に対する参照が終了したと判定された場合、ステップＳ７において、特徴量演算部１２Ｃは、ステップＳ５で算出した特徴量を成分とする特徴量ベクトルを生成し、クラス分類部１４に出力（供給）する。
【００７４】
具体的には、式（１）に示すように、特徴量diとしての対応画素値si0及びsi1の差分値（=si0-si1)を、参照画素piに対応する成分とする特徴量ベクトルStatVecが生成される。
【００７５】
【数１】
2009071469.tif 000003
【００７６】
参照画素数がN個であるとき、特徴量ベクトルはN次元のベクトルとなる。
【００７７】
ステップＳ８において、割付ベクトル取得部１２Ａは、内挿フレームの全ての画素を着目画素に設定したかを判定する。ステップＳ８において、内挿フレームの全ての画素を着目画素に設定していないと判定された場合、処理はステップＳ２に戻り、着目画素に設定されていない画素の１つが、着目画素に設定され、それ以降の処理が同様に行われる。
【００７８】
一方、ステップＳ８において、内挿フレームの全ての画素を着目画素に設定したと判定された場合、特徴量ベクトル生成処理は終了する。
【００７９】
なお、参照画素は、図８右上に示したものに限らず、例えば、図９上に示すような、着目画素の画素P3と、その着目画素が含まれるブロック（図中の中央の点線の枠）に対して１ブロック隔てて上下左右のそれぞれの方向に隣接している各ブロックの画素（例えばP1，P2，P4，P5）等としてもよい。そして、図９下に示すような、各参照画素に対して割り付けられた５個の割付ベクトルが特徴量ベクトルの生成に用いられる。
【００８０】
また、特徴量ベクトルの特徴量としては、上述したものの他、例えば、着目画素近傍に割り付けられた割付ベクトルのノルムや分散情報、動き補償された入力フレームの画像の波形情報、着目画素近傍の空間波形情報等を利用することができる。
【００８１】
ここでは、内挿フレームは、時間軸上の２つの入力フレームの中間に挿入するようにしたが、その他、時間軸上の２つの入力フレームの間の中間とは異なる位置に挿入するようにしてもよく、その場合、その時間軸上の位置に対応した動き補償が行われる。
【００８２】
次に、図４のクラス分類部１４によるクラス分類処理を、図１０のフローチャートを参照して説明する。
【００８３】
クラス分類処理は、特徴量ベクトル生成部１２からクラス分類部１４に特徴量ベクトル（即ち着目画素近傍の参照画素の割付ベクトルに基づく動き補償により得られた対応画素値から得られた特徴量を成分とするベクトル）が供給されると開始される。なお、この特徴量ベクトルは、上述したように、特徴量ベクトル生成部１２により内挿フレームの画素ごとに生成されてクラス分類部１４に供給される。
【００８４】
なお、クラス状態ベクトルメモリ１３には、後述するクラス状態ベクトル生成処理で生成されたクラス状態ベクトルとクラス番号とが対応付けられてあらかじめ記憶されているものとする。
【００８５】
ステップＳ２１において、クラス分類部１４は、保持している、特徴量ベクトルとクラス状態ベクトルの距離を評価するのに用いる評価値を例えば0に初期化する。
【００８６】
ステップＳ２２において、クラス分類部１４は、まだ取得していないクラス状態ベクトルを、クラス状態ベクトルメモリ１３から１つ取得する。
【００８７】
ステップＳ２３において、クラス分類部１４は、特徴量ベクトル生成部１２から供給された特徴量ベクトルと取得したクラス状態ベクトルの間の例えばノルム距離を演算する。
【００８８】
ステップＳ２４において、クラス分類部１４は、評価値を更新するかを判定する。ステップＳ２４において、評価値を更新すると判定した場合、すなわち例えば、演算したノルム距離が保持している評価値より小さい場合、ステップＳ２５において、クラス分類部１４は、評価値を演算したノルム距離で更新するとともに、暫定クラス番号をこのクラス状態ベクトルに対応付けられているクラス番号に更新する。
【００８９】
一方、ステップＳ２４において、評価値を更新しないと判定した場合、すなわち例えば、演算したノルム距離が保持している評価値より大きい場合、ステップＳ２５の処理はスキップされる。なお、演算したノルム距離が評価値と等しい場合には、暫定クラス番号をそのクラス状態ベクトルのクラス番号に更新するようにしてもよく、また更新しないようにしてもよい。
【００９０】
ステップＳ２６において、クラス分類部１４は、クラス状態ベクトルメモリ１３に記憶されている全クラス状態ベクトルに対する処理を終了したかを判定する。ステップＳ２６において、クラス状態ベクトルメモリ１３に記憶されている全クラス状態ベクトルに対する処理を終了していないと判定した場合、処理はステップＳ２２に戻り、クラス分類部１４は、まだ取得していないクラス状態ベクトルを、クラス状態ベクトルメモリ１３から１つ取得し、それ以降の処理を同様に行う。
【００９１】
一方、ステップＳ２６において、クラス状態ベクトルメモリ１３に記憶されている全クラス状態ベクトルに対する処理を終了したと判定した場合、ステップＳ２７において、クラス分類部１４は、そのとき保持している暫定クラス番号をクラス番号として予測係数メモリ１５に出力（供給）する。そして、クラス分類処理は終了する。
【００９２】
これにより、特徴量ベクトル生成部１２からの特徴量ベクトルに基づいて、着目画素がクラス分類される。
【００９３】
次に、図１１を参照して、予測特徴量ベクトル生成部１６の内部構成例について説明する。
【００９４】
予測特徴量ベクトル生成部１６は、割付ベクトル取得部１６Ａ、対応画素値取得部１６Ｂ、及び特徴量演算部１６Ｃから構成される。
【００９５】
この例では、図１１の予測特徴量ベクトル生成部１６において、割付ベクトル取得部１６Ａ、対応画素値取得部１６Ｂ、及び特徴量演算部１６Ｃは、それぞれ図６における特徴量ベクトル生成部１２の割付ベクトル取得部１２Ａ、対応画素値取得部１２Ｂ、及び特徴量演算部１２Ｃと基本的に同様の処理を実行する。したがって、予測特徴量ベクトル生成部１６では、特徴量ベクトル生成部１２と同様にして特徴量ベクトルが生成される。
【００９６】
すなわち、割付ベクトル取得部１６Ａは、着目画素と、着目画素に対して所定の位置関係にある内挿フレーム上の複数の参照画素に対して割り付けられた割付ベクトルを、図４の割付処理部１１から取得し、対応画素値取得部１６Ｂに供給する。
【００９７】
対応画素値取得部１６Ｂは、割付処理部１１から時間軸上で隣接する２つの入力フレームの画像を取得し、その２つの入力フレームの画像に対して、割付ベクトル取得部１６Ａで取得された参照画素の各割付ベクトル毎に、割付ベクトルに基づく動き補償を行い、その結果得られた２つの入力フレームの画像上の（２つの）対応画素値を特徴量演算部１６Ｃに供給する。
【００９８】
特徴量演算部１６Ｃは、対応画素値取得部１６Ｂから供給される対応画素値毎にそれを用いた所定の特徴量の演算を行い、その結果得られた特徴量を成分とする予測特徴量ベクトルを生成し、内挿画素生成部１７に出力（供給）する。
【００９９】
なお、ここでは、予測特徴量ベクトル生成部１６により用いられる参照画素と、特徴量ベクトル生成部１２により用いられる参照画素とを同じものにするようにしたが、その他、予測特徴量ベクトル生成部１６により用いられる参照画素として、特徴量ベクトル生成部１２により用いられる参照画素と異なるもの、すなわち例えば、着目画素に対する位置関係や参照画素数が異なるものを用いるようにしてもよい。ただし、その場合、予測係数メモリ１５に記憶される予測係数として、その参照画素に対応したものを用意する。このことは、他の場合についても同様である。
【０１００】
また、ここでは、予測特徴量ベクトル生成部１６で用いられる特徴量と、特徴量ベクトル生成部１２で用いられる特徴量とを同じものにするようにしたが、その他、予測特徴量ベクトル生成部１６で用いられる特徴量として、特徴量ベクトル生成部１２で用いられる特徴量と異なるものを用いるようにしてもよく、その場合の特徴量としては、前述したような種々のものを用いることができる。
【０１０１】
さらに、そもそも、予測特徴量ベクトル生成部１６は、内挿フレームの着目画素に対応して入力フレームの画像から得られる複数の特徴量を成分とする特徴量ベクトルを生成すればよく、その範囲内で任意の生成方式を採用することができる。
【０１０２】
次に、内挿画素生成部１７による予測演算と、予測係数メモリ１５に記憶された予測係数の学習について説明する。
【０１０３】
いま、この予測演算として、線形１次結合のものを採用することとすると、内挿フレームの画素（以下、内挿画素と称する）（の画素値）yは、予測特徴量ベクトル生成部１６で生成される予測特徴量ベクトルと、予測係数メモリ１５に記憶された予測係数とを用いて、次の線形１次式（積和演算）によって求められる。
【０１０４】
【数２】
2009071469.tif 000004
【０１０５】
但し、式（２）において、xnは、内挿画素yについての予測特徴量ベクトルのn番目の成分（以下、予測成分と称する）を表し、wnは、その予測成分xnと乗算されるn番目の予測係数を表す。なお、式（２）では、予測特徴量ベクトルが、N個の成分x1，x2，・・・，xNからなるものとしている。
【０１０６】
ここで、内挿画素yは、式（２）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１０７】
いま、学習に用いている第kサンプルの内挿画素の画素値の真値をykと表すとともに、式（２）で得られるその真値ykの予測値をyk'と表すこととすると、その予測誤差ekは、次式で表される。
【０１０８】
【数３】
2009071469.tif 000005
【０１０９】
式（３）の予測値ｙk'は、式（２）にしたがって求められるため、式（３）のｙk'を、式（２）にしたがって置き換えると、次式が得られる。
【０１１０】
【数４】
2009071469.tif 000006
【０１１１】
但し、式（４）において、xn,kは、第kサンプルの内挿画素についての予測特徴量ベクトルのn番目の成分（予測成分）を表す。
【０１１２】
式（４）の予測誤差ekを0とする予測係数wnが、内挿画素を予測するのに最適なものとなるが、すべての内挿画素について、そのような予測係数wnを求めることは、一般には困難である。
【０１１３】
そこで、予測係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数wnは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
【０１１４】
【数５】
2009071469.tif 000007
【０１１５】
但し、式（５）において、Kは、内挿画素ykと、その内挿画素ykについての予測成分x1,k，x2,k，・・・，xN,kとのセットのサンプル数を表す。
【０１１６】
式（５）の自乗誤差の総和Eを最小（極小）にする予測係数wnは、その総和Eを予測係数wnで偏微分したものを0とするものであり、従って、次式を満たす必要がある。
【０１１７】
【数６】
2009071469.tif 000008
【０１１８】
そこで、上述の式（４）を予測係数wnで偏微分すると、次式が得られる。
【０１１９】
【数７】
2009071469.tif 000009
【０１２０】
式（６）と（７）から、次式が得られる。
【０１２１】
【数８】
2009071469.tif 000010
【０１２２】
式（８）のekに、式（４）を代入することにより、式（８）は、式（９）に示す正規方程式で表すことができる。
【０１２３】
【数９】
2009071469.tif 000011
【０１２４】
式（９）の正規方程式は、内挿画素ykと予測成分xn,kのセットを、ある程度の数だけ用意することで、求めるべき予測係数wnの数と同じ数だけたてることができ、従って、式（９）を解くことで（但し、式（９）を解くには、式（９）において、予測係数wnにかかる左辺の行列が正則である必要がある）、最適な予測係数wnを求めることができる。なお、式（９）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【０１２５】
以上のように、多数の内挿画素y1，y2，・・・，yKを、予測係数の学習の教師となる教師データとするとともに、各内挿画素ykについての予測成分x1,k，x2,k，・・・，xN,kを、予測係数の学習の生徒となる生徒データとして、式（９）を解くことにより、最適な予測係数wnを求める学習を行っておき、さらに、その予測係数wnを用い、式（２）により、予測特徴量ベクトルから、内挿画素を求めるのが予測演算である。
【０１２６】
次に、画像処理装置１のクラス状態ベクトルメモリ１３に記憶されるクラス状態ベクトルを生成するクラス状態ベクトル生成装置３１の構成例について、図１２を参照して説明する。
【０１２７】
クラス状態ベクトル生成装置３１には、外部から学習用の入力フレームの画像が供給される。
【０１２８】
クラス状態ベクトル生成装置３１は、そこに供給される学習用の入力フレームの画像に基づいて、クラス状態ベクトルを生成するクラス状態ベクトル生成処理を行う。クラス状態ベクトル生成装置３１で生成されたクラス状態ベクトルは、画像処理装置１のクラス状態ベクトルメモリ１３に供給され記憶される。
【０１２９】
クラス状態ベクトル生成装置３１は、割付処理部４１、特徴量ベクトル生成部４２、クラス状態ベクトルメモリ４３、クラス分類部４４、及び更新部４５から構成される。
【０１３０】
なお、このクラス状態ベクトル生成装置３１において、割付処理部４１、特徴量ベクトル生成部４２、クラス状態ベクトルメモリ４３、及びクラス分類部４４は、それぞれ、図４における画像処理装置１の割付処理部１１、特徴量ベクトル生成部１２、クラス状態ベクトルメモリ１３、及びクラス分類部１４と基本的には同様の処理を実行する。したがって、クラス状態ベクトル生成装置３１では、画像処理装置１と同様に割付処理、特徴量ベクトル生成処理、及びクラス分類処理が行われる。
【０１３１】
すなわち、割付処理部４１は、クラス状態ベクトル生成装置３１に入力された時間軸上で隣接する２つの入力フレームの画像を用いて、内挿フレームの各画素に割り付ける動きベクトルを検出し、内挿フレームの各画素に割付ベクトルとして割り付ける。割付処理部４１は、その割付ベクトルを、２つの入力フレームの画像とともに、特徴量ベクトル生成部４２に供給する。
【０１３２】
特徴量ベクトル生成部４２は、割付処理部４１から供給される割付ベクトル及び時間軸上で隣接する２つの入力フレームの画像に基づいて、その２つの入力フレームの内挿フレームの画素に対する特徴量ベクトルを生成し、クラス分類部４４に供給する。
【０１３３】
クラス状態ベクトルメモリ４３は、所定の特徴量ベクトルであるクラス状態ベクトルをクラス番号に対応付けて記憶している。
【０１３４】
クラス分類部４４は、特徴量ベクトル生成部４２から特徴量ベクトルが供給されると、クラス状態ベクトルメモリ４３に記憶されている各クラス状態ベクトルと、特徴量ベクトルとの間の距離を演算する。そして、クラス分類部４４は、特徴量ベクトルとの間の距離が例えば最も小さいクラス状態ベクトルを探索（検出）して、それに対応付けられているクラス番号を、特徴量ベクトルとともに更新部４５に供給する。
【０１３５】
更新部４５は、クラス分類部４４から供給されるクラス番号及び特徴量ベクトルに基づいて、クラス状態ベクトルメモリ４３に記憶されたクラス状態ベクトルを更新する更新処理を行う。
【０１３６】
次に、クラス状態ベクトル生成装置３１によるクラス状態ベクトル生成処理について、説明する。
【０１３７】
このクラス状態ベクトル生成処理には、例えばSOM(Self-organizing maps)に基づく更新型の学習手法を用いる（その基本的な処理内容については、例えば「T.KOHONEN ”The Self-Organizing Map”,IEEE,Proceedings.Vol.78,pp.1464-1480.Sept.1990」を参照）。
【０１３８】
この処理の準備作業として、まず最初に、クラス状態ベクトル生成装置３１に、クラスを示すクラス番号を各座標軸とするクラス空間の次元数（例えばクラス番号の桁数）とそのクラス空間を分割するクラス数が設定される。そして設定されたクラス空間の次元数とクラス数により、図１４に示すように、各クラス番号が、クラス空間上に配置される。
【０１３９】
図１４上の例では、クラス番号空間の次元数が２に、クラス数が２５に設定されており、２次元のクラス空間（２次元平面）にクラスCuv(0≦u≦4，0≦v≦4)が例えば格子状に配置される。ここで、Cuvの添え字u及びvが、それぞれ、図１４上の縦軸及び横軸とするクラス番号である。
【０１４０】
即ちクラス状態ベクトルメモリ４３には、２５通りのクラス番号に対応付けられたクラスベクトルが保持される。また更新部４５には、図１４上に示したような各クラス番号の位置情報が提供され、更新部４５で保持される。
【０１４１】
クラス状態ベクトル生成装置３１にまた、クラス状態ベクトルの成分の数（即ち次元数）が設定される。このクラス状態ベクトルの次元数は、例えば画像処理装置１で用いる特徴量ベクトルの次元数（即ち成分の数）に合わせたものを用いる。以下の例では、このクラス状態ベクトルの次元数を５次元として説明する。
【０１４２】
即ち特徴量ベクトル生成部４２は、設定された次元数の特徴量ベクトルを生成する。
【０１４３】
さらにクラス状態ベクトル生成装置３１に、クラス状態ベクトルの成分とする特徴量の種類が設定される。以下の例では、画像処理装置１で用いられる着目画素近傍の割付ベクトルに基づく対応画素値の差分値を利用する。
【０１４４】
即ち特徴量ベクトル生成部４２は、設定された種類の特徴量を演算して、その特徴量を成分とする特徴量ベクトルを生成する。
【０１４５】
次に、クラス状態ベクトル生成装置３１によるクラス状態ベクトル生成処理を、図１３のフローチャートを参照して説明する。
【０１４６】
クラス状態ベクトル生成処理は、例えば、外部から学習用の入力フレームの画像が入力されると開始される。
【０１４７】
なお、割付処理部４１では、前述したように外部から入力された入力フレームの画像に対して順次、割付処理が行われる。
【０１４８】
ステップＳ６１において、更新部４５は、クラス状態ベクトルメモリ４３に設定されたクラス番号（図１４上の例では、２５個のクラス番号）に対応付けられるクラス状態ベクトルを、その成分をそれぞれランダマイズすることにより初期化する。
【０１４９】
この初期化された各クラス状態ベクトルは、クラス空間において、例えば、図１４左下に示すように比較的小さな領域に配置される。ただし、この図１４では、簡単のために、特徴量が２つ、すなわち２次元のクラス空間の場合について示してある。
【０１５０】
ステップＳ６２において、更新部４５は、クラス状態ベクトルの更新回数をカウントする変数tを0に初期化する。
【０１５１】
ステップＳ６３において、特徴量ベクトル生成部４２は、時間軸上で隣接する２つの入力フレームの画像と、その内挿フレームの各画素に割り付けられた割付ベクトルとを、割付処理部４１から取得する（読み込む）。また、更新部４５は、後述するステップＳ７３で更新するクラス状態ベクトルの後述する差分値Δを0に初期化する。
【０１５２】
ステップＳ６４において、特徴量ベクトル生成部４２は、内挿フレームのまだ設定していない画素を着目画素に設定する。
【０１５３】
ステップＳ６５において、特徴量ベクトル生成部４２は、取得した割付ベクトル及び２つの入力フレームの画像に基づいて、着目画素に対する特徴量ベクトルを生成し、クラス分類部４４に供給する。この特徴量ベクトルは、着目画素近傍の参照画素（図８右上）の割付ベクトルに基づく動き補償の結果得られた２つの対象画素値（図８下）から得られた特徴量を成分として生成される。
【０１５４】
ステップＳ６６において、クラス分類部４４は、クラス状態ベクトルメモリ４３から全てのクラス状態ベクトルを取得する。
【０１５５】
ステップＳ６７において、クラス分類部４４は、保持している、特徴量ベクトルとクラス状態ベクトルの距離を評価するのに用いる評価値を0に初期化する。
【０１５６】
ステップＳ６８において、クラス分類部４４は、特徴量ベクトル生成部４２から供給された（着目画素に対する）特徴量ベクトルと、取得したクラス状態ベクトルのうちの演算対象とする対象クラス状態ベクトルとの例えばノルム距離を演算する。
【０１５７】
ステップＳ６９において、クラス分類部４４は、評価値を更新するかを判定する。ステップＳ６９において、評価値を更新すると判定した場合、すなわち例えば、演算したノルム距離が評価値より小さい場合、ステップＳ７０において、クラス分類部４４は、評価値を演算したノルム距離で更新するとともに、最近傍クラス番号をこのクラス状態ベクトルに対応付けられているクラス番号に更新する。
【０１５８】
一方、ステップＳ６９において、評価値を更新しないと判定した場合、すなわち例えば、演算したノルム距離が評価値より大きい場合、ステップＳ７０の処理はスキップされる。なお、演算したノルム距離が評価値と等しい場合には、暫定クラス番号をそのクラス状態ベクトルのクラス番号に更新するようにしてもよく、また更新しないようにしてもよい。
【０１５９】
ステップＳ７１において、クラス分類部４４は、クラス状態ベクトルメモリ４３に記憶されている全クラス状態ベクトルに対する処理を終了したかを判定する。ステップＳ７１において、クラス状態ベクトルメモリ４３に記憶されている全クラス状態ベクトルに対する処理を終了していないと判定した場合、すなわち対象クラス状態ベクトルとしていないクラス状態ベクトルが存在する場合、処理はステップＳ６８に戻り、まだ対象クラス状態ベクトルとしていないクラス状態ベクトルを対象クラス状態ベクトルにして、それ以降の処理を同様に行う。
【０１６０】
一方、ステップＳ７１において、クラス状態ベクトルメモリ４３に記憶されている全クラス状態ベクトルに対する処理を終了したと判定した場合、すなわち全クラス状態ベクトルが対象クラス状態ベクトルとされた場合、ステップＳ７２において、クラス分類部４４は、そのとき保持している最近傍クラス番号であるクラス番号と、特徴量ベクトルとを更新部４５に出力（供給）する。
【０１６１】
これにより、着目画素が、最近傍クラス番号に対応するクラス（以下、代表クラスと称する）に分類される。
【０１６２】
ステップＳ７３において、更新部４５は、クラス分類部４４から供給されるクラス番号及び特徴量ベクトルに基づいて、クラス状態ベクトルの差分値の要素を求め、いままで求められた差分値の要素の累積値に加算する（更新する）。
【０１６３】
具体的には、クラス状態ベクトルメモリ４３に記憶されている全クラス状態ベクトルについて、いまクラス分類部４４から供給されたクラス番号及び特徴量ベクトルに基づいて、式（１０）及び（１１）に示す差分値の要素Δa及びΔbが演算される。
【０１６４】
【数１０】
2009071469.tif 000012
【０１６５】
式（１０）中、Vtは、クラス状態ベクトルメモリ１３にクラス番号に対応付けられて記憶されているクラス状態ベクトルの成分を示し、Xは、クラス分類部４４から供給された特徴量ベクトルの、クラス状態ベクトルの成分に対応する成分を示している。
【０１６６】
式（１０）及び式（１１）中、ωclassは、差分値の要素が更新されるクラス番号と、その更新時にクラス分類部４４から供給されたクラス番号との間のノルム距離（以下、クラス間距離と称する）dclassに応じた重みであり、式（１２）により求められる。
【０１６７】
このクラス間距離dclassは、例えば図１４上に示したように配置された各クラス番号の位置情報に基づいて算出される。また式（１２）中、kは所定の定数を、cwはクラス番号のクラス空間の大きさを示している。
【０１６８】
式（１１）中、ωvecは、差分値の要素が更新されるクラス状態ベクトルVtと、その更新時にクラス分類部４４から供給された特徴量ベクトルXとの間のノルム距離（以下、ベクトル間距離と称する）dvecに応じた重みであり、式（１３）により求められる。式（１３）中、dminvecは、例えばベクトル間距離の最小値を示している。
【０１６９】
ステップＳ７３の処理は、後述するように内挿フレームの全画素が着目画素に設定される毎に繰り返し行われる。従ってこのようにいま演算された差分値の要素Δa及びΔbが、1つ前のステップＳ７３の処理までに累積された差分値の要素Δa及びΔbの累積値に更に加算される。
【０１７０】
差分値の要素Δa及びΔbが更新されると、ステップＳ７４において、特徴量ベクトル生成部４２は、クラス状態ベクトルの更新間隔に対応する例えば１フレーム分のサンプル（画素）全てに対する処理を終了したかを判定する。ステップＳ７４において、全サンプルに対する処理を終了していないと判定された場合、すなわち例えば、着目画素に設定していないサンプルが存在すると判定された場合、処理はステップＳ６４に戻り、以下、同様の処理が繰り返される。
【０１７１】
一方、ステップＳ７４において、全サンプルに対する処理を終了したと判定された場合、すなわち例えば、全サンプルを着目画素に設定したと判定された場合、ステップＳ７５において、更新部４５は、クラス状態ベクトルメモリ４３に記憶されている各クラス状態ベクトルを、そのときに保持している差分値の要素に基づいて更新する。
【０１７２】
具体的には、式（１４）に従って、更新後の各クラス状態ベクトルが求められる。
【０１７３】
【数１１】
2009071469.tif 000013
【０１７４】
Vt+1は、更新後のクラス状態ベクトルの成分を示し、Vtは、更新前のクラス状態ベクトルの、更新後のクラス状態ベクトルの成分に対応する成分を示している。また内挿フレームの全画素毎に演算された差分値の要素Δa及びΔbは、累積されるので（ステップＳ７３）、分母及び分子のサメーション（Σ）は、内挿フレームの全画素毎に対して取られる和を示している。
【０１７５】
なおこのようにクラス状態ベクトルの更新をサンプル単位ではなくフレーム単位などの一定量のサンプルを入力した後に行うことで、サンプルの順序による影響を軽減することができる。
【０１７６】
ステップＳ７６において、特徴量ベクトル生成部４２は、学習用の全フレームについて処理したかを判定する。ステップＳ７６において、学習用の全フレームについて処理していないと判定された場合、ステップＳ７７において、特徴量ベクトル生成部４２は、変数tを１だけインクリメントして、処理はステップＳ６３に戻り、以下、同様の処理が繰り返される。
【０１７７】
一方、ステップＳ７６において、学習用の全フレームについて処理したと判定された場合、更新部４５は、そのときにクラス状態ベクトルメモリ４３に記憶されている全てのクラス状態ベクトルを、クラス状態ベクトルメモリ１３に供給（出力）して記憶させる。そして、クラス状態ベクトル生成処理を終了する。
【０１７８】
以上のように、クラス番号とクラス状態ベクトルに対応付け（図４のクラス状態ベクトルメモリ１３）、着目画素を、その参照画素から得られる１つの特徴量ベクトルに対応するクラス状態ベクトルに対応付けられているクラス番号のクラスに分類するようにしたので（図４のクラス分類部１４）、例えば参照画素の数が増加しても、クラス数はそれに応じて増加しないので、クラス数の制限を受けることなく、参照画像の数、即ち特徴量ベクトルの成分としての特徴量の数を増やすことができる。
【０１７９】
またクラス数は、ユーザが設定することができるので、ユーザの好みに応じて変更することができる。
【０１８０】
また以上のように、着目画素のクラス分類に用いるクラス状態ベクトル（即ちクラスの分割）を、ベクトル間距離を含めて決定するようにしたので（式（１４））、特徴量の分布が不均質となる入力画像に対しても、利用されないクラス状態ベクトルが生成されて保持されるようなことを防止することができる。その結果、例えば、比較的少ないクラス数のクラスをより効率的に利用することができるので、情報処理量を削減することができる。
【０１８１】
またクラスの分割を、クラス間距離をさらに含めて決定するようにしたので（式（１４））、クラス番号と特徴量の分布と間に関連性を持たせることができる。その結果、クラス間の領域に意味付けを行うことができ、例えばクラス番号を決定する際、予め決められたクラス番号ではなく、特徴量ベクトルに応じた他のクラス番号（例えば、予め決められたクラス番号間の中間の番号）とすることもできる。
【０１８２】
なお、上述したクラス分類の処理では、特徴量ベクトルが、単一のクラスに分類されるようにしたが、その他、特徴量ベクトルが、評価値の高い（特徴量ベクトルとの距離が近い）複数のクラスに分類されるようにしてもよい。
【０１８３】
例えば、画像処理装置１のクラス分類部１４で（他の装置のクラス分類でも同様）、クラス状態ベクトルメモリ１３で記憶されているクラス状態ベクトルの中の、特徴量ベクトル生成部１２からの特徴量ベクトルとの評価値が高い（距離が近い）複数のクラス状態ベクトルが検出されて、その複数のクラス番号が予測係数メモリ１５に出力（供給）される。
【０１８４】
そして、予測演算で用いる予測係数としては、分類された複数のクラスに対応する予測係数を合成したものが用いられる。
【０１８５】
例えば、画像処理装置１の予測係数メモリ１５で、クラス分類部１４から供給される複数のクラス番号に対応する複数の予測係数が、内挿画素生成部１７に供給される。そして、内挿画素生成部１７で、予測係数メモリ１５から供給される複数の予測係数が例えば平均化されることにより合成され、その合成された予測係数と、予測特徴量ベクトル生成部１６から供給される予測特徴量ベクトルとに基づいて、予測演算を行うことにより内挿フレームの画素の画素値が予測される。
【０１８６】
このように、有意な複数のクラスから得られる複数の予測係数から予測演算に用いる予測係数を求めることができるので、画像生成処理の安定性を向上させることができる。
【０１８７】
また、クラス状態ベクトル生成装置３１の更新部４５による更新処理を、画像処理装置１で行うこともできる。
【０１８８】
図１５は、その更新処理を画像処理装置１が行う場合の画像処理装置１の構成例を示している。
【０１８９】
なお、図１５において、図４における対応する部分には同一の符号を付してあり、以下、その説明は適宜省略する。
【０１９０】
図１５の画像処理装置１では、図１２の更新部４５と同様に構成される更新部５０が新たに追加され、従って、画像処理装置１では、クラス状態ベクトル生成装置３１と同様の更新処理が行われる。
【０１９１】
また、更新部５０には、クラス分類部１４から、クラス番号に加えて、特徴量ベクトル生成部１２からの特徴量ベクトルが供給されるものとする。
【０１９２】
すなわち、更新部５０は、クラス分類部４４から供給されるクラス番号及び特徴量ベクトルを用いて、例えば、式（１４）に従って、クラス状態ベクトルメモリ４３に記憶されたクラス状態ベクトルを更新する。
【０１９３】
これにより、各クラスを常に有効に利用されるよう保つことが可能となる。
【０１９４】
なお、この更新処理は、常時行う必要はなく、定期的または不定期に、あるいは、所定の条件、例えば入力フレームの画像の所定の変化等をトリガとして行われるようにすることができる。
【０１９５】
次に、図１６を参照して、予測係数生成装置６１の構成例について説明する。
【０１９６】
予測係数生成装置６１には、予測係数学習用の、時間軸上で隣接する２つの入力フレームの画像とその内挿フレームの画像のセットである学習対データを例えば外部から入力して学習対データベース７１にあらかじめ記憶されているものとする。
【０１９７】
予測係数生成装置６１は、その学習対データに基づいて、予測係数生成処理を行うことにより予測係数を生成し、画像処理装置１の予測係数メモリ１５に出力（供給）する。なお、この予測係数生成処理では、クラス分類処理が行われるが、その際に画像処理装置１のクラス状態ベクトルメモリ１３が参照される。
【０１９８】
予測係数生成装置６１の内部構成例について説明する。
【０１９９】
予測係数生成装置６１は、学習対データベース７１、割付処理部７２、特徴量ベクトル生成部７３、クラス分類部７４、予測特徴量ベクトル生成部７５、足し込み部７６、及び予測係数演算部７７から構成される。
【０２００】
なお、この割付処理部７２、特徴量ベクトル生成部７３、クラス分類部７４、及び予測特徴量ベクトル生成部７５は、それぞれ、図４の画像処理装置１の割付処理部１１、特徴量ベクトル生成部１２、クラス分類部１４、及び予測特徴量ベクトル生成部１６と同様に構成され、したがって、予測係数生成装置６１では、画像処理装置１と同様に、割付処理、特徴量ベクトル生成処理、クラス分類処理、及び予測特徴量ベクトル生成処理が行われる。
【０２０１】
学習対データベース７１は、上述した学習対データをあらかじめ記憶している。学習対データベース７１は、記憶している学習対データのうちの一方の２つの入力フレームの画像を割付処理部７２に供給するとともに、記憶している学習対データのうちの他方の内挿フレームの画像を足し込み部７６に供給する。
【０２０２】
割付処理部７２は、そこに供給された入力フレームの画像に対して割付処理を行い、その結果得られる割付ベクトルを、時間軸上で隣接する２つの入力フレームの画像とともに特徴量ベクトル生成部７３及び予測特徴量ベクトル生成部７５に供給する。
【０２０３】
特徴量ベクトル生成部７３は、割付処理部７２から供給される割付ベクトル及び２つの入力フレームの画像に基づいて、その２つの入力フレームの内挿フレームの画素に対する特徴量ベクトルを生成し、クラス分類部７４に供給する。
【０２０４】
クラス分類部７４は、特徴量ベクトル生成部７３から特徴量ベクトルが供給されると、クラス状態ベクトルメモリ１３からクラス状態ベクトルを取得し、その特徴量ベクトルとの間の距離を演算する。そして、クラス分類部７４は、その特徴量ベクトルとの間の距離が例えば最も小さいクラス状態ベクトルを探索（検出）して、そのクラス番号を足し込み部７６に出力（供給）する。
【０２０５】
これにより、内挿フレームの画素がクラス番号に対応するクラスに分類される。
【０２０６】
予測特徴量ベクトル生成部７５は、割付処理部７２から供給される割付ベクトル及び２つの入力フレームに基づいて、その２つの入力フレームの内挿フレームの画素に対する予測特徴量ベクトルを生成し、足し込み部７６に供給する。
【０２０７】
足し込み部７６及び予測係数演算部７７は、学習対データベース７１に記憶された学習対データにおける、学習の教師とされる内挿フレームの着目画素（教師データ）と、学習の生徒とされる予測特徴量ベクトル生成部７５から供給される予測特徴量ベクトル（生徒データ）とを用い、教師データと生徒データとの関係を、クラス分類部７４から供給されるクラスごとに学習することにより、クラスごとの予測係数を求める。
【０２０８】
すなわち、足し込み部７６は、クラス分類部７４から供給されるクラス番号ごとに、予測特徴量ベクトル生成部７５から供給される予測特徴量ベクトルと、学習対データベース７１に記憶された学習対データにおける、内挿フレームの内挿画素（教師データ）とを対象とした、式（９）の足し込みを行う。
【０２０９】
具体的には、足し込み部７６は、クラス分類部７４から供給されるクラス番号に対応するクラスごとに、予測特徴量ベクトルの生徒データとしての予測成分xn,kを用い、式（９）の左辺の行列における予測成分どうしの乗算（xn,kxn',k）と、サメーション（Σ）に相当する演算を行う。
【０２１０】
さらに、足し込み部７６は、やはり、クラス分類部７４から供給されるクラス番号に対応するクラスごとに、予測特徴量ベクトルの生徒データとしての予測成分xn,kと内挿フレームの教師データとしての内挿画素ykを用い、式（９）の右辺のベクトルにおける予測成分xn,kおよび内挿画素ykの乗算（xn,kyk）と、サメーション（Σ）に相当する演算を行う。
【０２１１】
足し込み部７６は、学習対データベース７１に記憶された学習対データにおける教師データとしての内挿フレームの内挿画素すべてについて、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式をたてると、その正規方程式を、予測係数演算部７７に供給する。
【０２１２】
予測係数演算部７７は、足し込み部７６から、各クラスについての式（９）の正規方程式を受信し、その正規方程式を解くことにより、クラスごとの予測係数を求めて画像処理装置１の予測係数メモリ１５に出力（供給）する。
【０２１３】
これにより、予測係数が生成されて予測係数メモリ１５に記憶される。
【０２１４】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２１５】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２１６】
コンピュータにおいて、CPU９１，ROM（Read Only Memory）９２，RAM（Random Access Memory）９３は、バス９４により相互に接続されている。
【０２１７】
バス９４には、さらに、入出力インタフェース９５が接続されている。入出力インタフェース９５には、キーボード、マウス、マイクロホンなどよりなる入力部９６、ディスプレイ、スピーカなどよりなる出力部９７、ハードディスクや不揮発性のメモリなどよりなる記憶部９８、ネットワークインタフェースなどよりなる通信部９９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１０１を駆動するドライブ１００が接続されている。
【０２１８】
以上のように構成されるコンピュータでは、CPU９１が、例えば、記憶部９８に記憶されているプログラムを、入出力インタフェース９５及びバス９４を介して、RAM９３にロードして実行することにより、上述した一連の処理が行われる。
【０２１９】
コンピュータ（CPU９１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１０１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２２０】
そして、プログラムは、リムーバブルメディア１０１をドライブ１００に装着することにより、入出力インタフェース９５を介して、記憶部９８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９９で受信し、記憶部９８にインストールすることができる。その他、プログラムは、ROM９２や記憶部９８に、あらかじめインストールしておくことができる。
【０２２１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２３】
例えば、他の実施の形態として、所定の第１の画像を例えばより高解像度の第２の画像に変換する画像処理装置がある。
【０２２４】
この画像処理装置では、第２の画像の着目画素に対応する第１の画像上の点に対して第１の位置関係にある複数の画素の輝度値を成分とする特徴量ベクトルが生成され、第２の画像の着目画素に対応する第１の画像上の点に対して第２の位置関係にある複数の画素の輝度値を成分とする予測特徴量ベクトルが生成される。そして、それらを用いて画像処理装置１と同様のクラス分類及び予測演算が行われ、第２の画像の着目画素が生成される。
【０２２５】
また、画像処理装置に対する入力情報と出力情報は、上述したように画像に限る必要はなく、複数の特徴量が得られる任意の入力情報、その複数の特徴量から生成できる任意の出力情報を用いることが可能である。
【図面の簡単な説明】
【０２２６】
【図１】クラス分類における特徴量の処理の様子を示す図である。
【図２】特徴量数とクラス数の関係を説明するための図である。
【図３】複数の特徴量とクラス番号の関係を説明するための図である。
【図４】画像処理装置１の構成例を示すブロック図である。
【図５】割付処理部１１による割付処理を説明するための図である。
【図６】特徴量ベクトル生成部１２の内部構成例を示すブロック図である。
【図７】特徴量ベクトル生成部１２による特徴量ベクトル生成処理を示すフローチャートである。
【図８】特徴量ベクトル生成部１２による特徴量ベクトル生成処理を説明するための図である。
【図９】参照画素の他の例を示す図である。
【図１０】クラス分類部１４によるクラス分類処理を示すフローチャートである。
【図１１】予測特徴量ベクトル生成部１６の内部構成例を示すブロック図である。
【図１２】クラス状態ベクトル生成装置３１の構成例を示すブロック図である。
【図１３】クラス状態ベクトル生成装置３１によるクラス状態ベクトル生成処理を示すフローチャートである。
【図１４】クラス状態ベクトル生成装置３１により生成されるクラスとクラス状態ベクトルを示す図である。
【図１５】画像処理装置１の他の構成例を示すブロック図である。
【図１６】予測係数生成装置６１の構成例を示すブロック図である。
【図１７】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２２７】
１  画像処理装置，  １１  割付処理部，  １１Ａ  フレーム遅延部，  １１Ｂ  動きベクトル検出割付部，  １２  特徴量ベクトル生成部，  １２Ａ  割付ベクトル取得部，  １２Ｂ  対応画素値取得部，  １２Ｃ  特徴量演算部，  １３  クラス状態ベクトルメモリ，  １４  クラス分類部，  １５  予測係数メモリ，  １６  予測特徴量ベクトル生成部，  １６Ａ  割付ベクトル取得部，  １６Ｂ  対応画素値取得部，  １６Ｃ  特徴量演算部，  １７  内挿画素生成部，  ３１  クラス状態ベクトル生成装置，  ４１  割付処理部，  ４２  特徴量ベクトル生成部，  ４３  クラス状態ベクトルメモリ，  ４４  クラス分類部，  ４５  更新部，  ５０  更新部，  ６１  予測係数生成装置，  ７１  学習対データベース，  ７２  割付処理部，  ７３  特徴量ベクトル生成部，  ７４  クラス分類部，  ７５  予測特徴量ベクトル生成部，  ７６  足し込み部，  ７７  予測係数演算部，  ９１  CPU，  ９２  ROM，  ９３  RAM，  ９４  バス，  ９５  入出力インタフェース，  ９６  入力部，  ９７  出力部，  ９８  記憶部，  ９９  通信部，  １００  ドライブ，  １０１  リムーバブルメディア
【図１】
2009071469.tif 000014
【図２】
2009071469.tif 000015
【図３】
2009071469.tif 000016
【図４】
2009071469.tif 000017
【図５】
2009071469.tif 000018
【図６】
2009071469.tif 000019
【図７】
2009071469.tif 000020
【図８】
2009071469.tif 000021
【図９】
2009071469.tif 000022
【図１０】
2009071469.tif 000023
【図１１】
2009071469.tif 000024
【図１２】
2009071469.tif 000025
【図１３】
2009071469.tif 000026
【図１４】
2009071469.tif 000027
【図１５】
2009071469.tif 000028
【図１６】
2009071469.tif 000029
【図１７】
2009071469.tif 000030