(57)【要約】【課題】ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成する。【解決手段】クラス生成部３１は、第1の画像における注目画素を含むｎ×ｍ画素により構成されるクラスタップを抽出し、注目画素と、第１の画像と同一フレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、注目画素と、第１の画像と異なるフレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、これらの相関係数に基づいた特徴量に応じて、注目画素をクラス分けするクラスを決定する。予測タップ選択部５１は、クラスに応じて、予測タップを抽出し、係数選択部５４は、クラスに応じて、予測係数を選択し、積和演算部５６は、予測タップと、予測係数とを用いて、第２の画像における注目画素を予測する。本発明は、例えば、画像を変換する画像処理装置に適用することができる。【選択図】図１
2009284207.tif 000002
【特許請求の範囲】
【請求項１】
第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出手段と、
前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出手段と、
前記第１の算出手段によって得られる第１の相関係数と、前記第２の算出手段によって得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定手段と、
前記クラスに応じて、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とするパターンで配置された、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、
前記クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする予測係数を選択する係数選択手段と、
前記予測タップと、前記予測係数とを用いて、前記第２の画像における前記注目画素を予測する予測演算手段と
を備える画像処理装置。
【請求項２】
前記予測タップ抽出手段は、前記クラスに応じて、前記クラス毎に予め学習で得られた前記パターンで配置された前記予測タップを抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の相関係数をＮビットで非線形量子化する第１の量子化手段と、
前記第２の相関係数をＮビットで非線形量子化する第２の量子化手段と
をさらに備え、
前記クラス決定手段は、前記第１の量子化手段によって量子化された前記第１の相関係数と、前記第２の量子化手段によって量子化された前記第２の相関係数とを統合して得られた前記特徴量に応じて、前記クラスを決定する
請求項１に記載の画像処理装置。
【請求項４】
第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、
前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、
前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、
前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、
前記クラスに応じて、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とするパターンで配置された、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出ステップと、
前記クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする予測係数を選択する係数選択ステップと、
前記予測タップと、前記予測係数とを用いて、前記第２の画像における前記注目画素を予測する予測演算ステップと
を含む画像処理方法。
【請求項５】
第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、
前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、
前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、
前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、
前記クラスに応じて、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とするパターンで配置された、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出ステップと、
前記クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする予測係数を選択する係数選択ステップと、
前記予測タップと、前記予測係数とを用いて、前記第２の画像における前記注目画素を予測する予測演算ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項６】
第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出手段と、
前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出手段と、
前記第１の算出手段によって得られる第１の相関係数と、前記第２の算出手段によって得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定手段と、
前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される複数のパターンの予測タップを抽出する予測タップ抽出手段と、
前記クラス毎に、前記予測タップの複数のパターンのうち、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする画素の配置のパターンを決定するパターン決定手段と、
前記クラス毎に、複数のパターンの前記予測タップによる予測演算に用いられる複数の予測係数を算出する係数算出手段と、
前記クラス毎に、複数の前記予測係数のうち、予測演算の結果と、前記誤差を最小とする前記予測係数を決定する係数決定手段と
を備える学習装置。
【請求項７】
第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、
前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、
前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、
前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、
前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される複数のパターンの予測タップを抽出する予測タップ抽出ステップと、
前記クラス毎に、前記予測タップの複数のパターンのうち、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする画素の配置のパターンを決定するパターン決定ステップと、
前記クラス毎に、複数のパターンの前記予測タップによる予測演算に用いられる複数の予測係数を算出する係数算出ステップと、
前記クラス毎に、複数の前記予測係数のうち、予測演算の結果と、前記誤差を最小とする前記予測係数を決定する係数決定ステップと
を含む学習方法。
【請求項８】
第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出手段と、
前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出手段と、
前記第１の算出手段によって得られる第１の相関係数と、前記第２の算出手段によって得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定手段と、
前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、
前記クラス毎に、前記予測タップによる予測演算に用いられる予測係数を算出する係数算出手段と、
前記予測係数の係数値のうち、所定の値より小さい係数値を間引きすることで得られる前記予測係数のパターンを基に、前記予測タップにおける画素の配置のパターンを決定するパターン決定手段と、
前記クラス毎の前記予測係数として、所定の値より小さい係数値が間引きされた前記予測係数を決定する係数決定手段と
を備える学習装置。
【請求項９】
第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、
前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、
前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、
前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、
前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出ステップと、
前記クラス毎に、前記予測タップによる予測演算に用いられる予測係数を算出する係数算出ステップと、
前記予測係数の係数値のうち、所定の値より小さい係数値を間引きすることで得られる前記予測係数のパターンを基に、前記予測タップにおける画素の配置のパターンを決定するパターン決定ステップと、
前記クラス毎の前記予測係数として、所定の値より小さい係数値が間引きされた前記予測係数を決定する係数決定ステップと
を含む学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに学習装置および方法に関し、特に、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成できるようにする画像処理装置および方法、プログラム、並びに学習装置および方法に関する。
【背景技術】
【０００２】
従来から、先に提案されているクラス分類適応処理によって、入力画像からより高画質な出力画像を生成することは行われてきた。クラス分類適応処理は、入力画像の所定の領域の複数の画素の画素値と、教師画像および生徒画像を用いた学習により予め求めておいた係数群との線形１次式（予測演算式）を演算することにより、入力画像から高画質な出力画像を求める信号処理である。
【０００３】
しかしながら、入力画像には、ディテールの多い高周波成分を含む領域と、平坦な部分やグラデーションのかかった部分などが多い低周波成分を含む領域とが混在していることがある。この場合、従来のADRC（Adaptive Dynamic Range Coding）量子化による空間パターンに対するクラス分類適応処理では、十分な高画質化が実現されなかった。
【０００４】
一方、画面全体の自己相関係数から、画像のボケ具合を判定し、タップの間引きの間隔を変えることにより、空間解像度をあげる手法が提案されている（例えば、特許文献１乃至４参照）。
【０００５】
【特許文献１】特開平１１−２７５６４号公報
【特許文献２】特開２０００−３２４０２号公報
【特許文献３】特開２０００−７８３５４号公報
【特許文献４】特開２０００−９２４５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１乃至４の手法は、画像全体に対する画一的な処理であるため、高周波成分と低周波成分とが混在する画像に対しては、十分な高画質化を実現することはできなかった。すなわち、ローカルな空間内における周波数分布を、明確に反映できるクラス分類適応処理は提案されていなかった。
【０００７】
ところで、フレーム間の動きに対応して処理を最適化するために、フレーム間の差分の大きさをいくつかの段階に分類する手法や、動きベクトルの大きさと向きからクラス分類する手法が提案されている。しかしながら、これらの手法では、演算処理のハード規模や精度に課題があり、十分な高画質化が実現されなかった。
【０００８】
VHS（Video Home System）（商標）方式で記録された画像や、MPEG（Moving Picture Experts Group）方式で圧縮された画像は、それぞれのフォーマットによって画素数が決められているが、実際の画像の帯域は、ベースバンド処理で記録された画像より低いことが一般的に知られている。
【０００９】
このような画像について、DRC処理で解像度をあげるには、帯域に応じて画素を間引いたタップを用いて処理することで、ローカルな領域のアクティビティを抽出でき、解像度が上がることが知られている。さらに、帯域を簡単に判定する手法として、局所的な相関係数を用いることが有効であることが知られている。
【００１０】
また、最近のデジタル放送は、HD（High Definition）放送等、フォーマット上、画素数が多いものになっているが、実際の画像は、MPEG圧縮された画像やSD（Standard Definition）画像をアップコンバートした画像であるため、帯域が不足してしまう。さらに、最近は、クロック周波数が上がっているので、計算速度を上げる必要があり、よりロバストで簡単に帯域を判定する必要性がある。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の画像処理装置は、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出手段と、前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出手段と、前記第１の算出手段によって得られる第１の相関係数と、前記第２の算出手段によって得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定手段と、前記クラスに応じて、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とするパターンで配置された、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、前記クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする予測係数を選択する係数選択手段と、前記予測タップと、前記予測係数とを用いて、前記第２の画像における前記注目画素を予測する予測演算手段とを備える。
【００１３】
前記予測タップ抽出手段には、前記クラスに応じて、前記クラス毎に予め学習で得られた前記パターンで配置された前記予測タップを抽出させることができる。
【００１４】
前記画像処理装置には、前記第１の相関係数をＮビットで非線形量子化する第１の量子化手段と、前記第２の相関係数をＮビットで非線形量子化する第２の量子化手段とをさらに設け、前記クラス決定手段には、前記第１の量子化手段によって量子化された前記第１の相関係数と、前記第２の量子化手段によって量子化された前記第２の相関係数とを統合して得られた前記特徴量に応じて、前記クラスを決定させることができる。
【００１５】
本発明の第１の側面の画像処理方法は、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、前記クラスに応じて、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とするパターンで配置された、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出ステップと、前記クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする予測係数を選択する係数選択ステップと、前記予測タップと、前記予測係数とを用いて、前記第２の画像における前記注目画素を予測する予測演算ステップとを含む。
【００１６】
本発明の第１の側面のプログラムは、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、前記クラスに応じて、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とするパターンで配置された、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出ステップと、前記クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする予測係数を選択する係数選択ステップと、前記予測タップと、前記予測係数とを用いて、前記第２の画像における前記注目画素を予測する予測演算ステップとを含む処理をコンピュータに実行させる。
【００１７】
本発明の第２の側面の学習装置は、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出手段と、前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出手段と、前記第１の算出手段によって得られる第１の相関係数と、前記第２の算出手段によって得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定手段と、前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される複数のパターンの予測タップを抽出する予測タップ抽出手段と、前記クラス毎に、前記予測タップの複数のパターンのうち、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする画素の配置のパターンを決定するパターン決定手段と、前記クラス毎に、複数のパターンの前記予測タップによる予測演算に用いられる複数の予測係数を算出する係数算出手段と、前記クラス毎に、複数の前記予測係数のうち、予測演算の結果と、前記誤差を最小とする前記予測係数を決定する係数決定手段とを備える。
【００１８】
本発明の第２の側面の学習方法は、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される複数のパターンの予測タップを抽出する予測タップ抽出ステップと、前記クラス毎に、前記予測タップの複数のパターンのうち、予測演算の結果と、前記第２の画像における前記注目画素の画素値との誤差を最小とする画素の配置のパターンを決定するパターン決定ステップと、前記クラス毎に、複数のパターンの前記予測タップによる予測演算に用いられる複数の予測係数を算出する係数算出ステップと、前記クラス毎に、複数の前記予測係数のうち、予測演算の結果と、前記誤差を最小とする前記予測係数を決定する係数決定ステップとを含む。
【００１９】
本発明の第３の側面の学習装置は、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出手段と、前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出手段と、前記第１の算出手段によって得られる第１の相関係数と、前記第２の算出手段によって得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定手段と、前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、前記クラス毎に、前記予測タップによる予測演算に用いられる予測係数を算出する係数算出手段と、前記予測係数の係数値のうち、所定の値より小さい係数値を間引きすることで得られる前記予測係数のパターンを基に、前記予測タップにおける画素の配置のパターンを決定するパターン決定手段と、前記クラス毎の前記予測係数として、所定の値より小さい係数値が間引きされた前記予測係数を決定する係数決定手段とを備える。
【００２０】
本発明の第３の側面の学習方法は、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップを抽出するクラスタップ抽出ステップと、前記注目画素と、前記第１の画像と同一のフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第１の算出ステップと、前記注目画素と、前記第１の画像と異なるフレームにおいて前記クラスタップを構成する複数の画素に対応する画素との相関係数を算出する第２の算出ステップと、前記第１の算出ステップにおいて得られる第１の相関係数と、前記第２の算出ステップにおいて得られる第２の相関係数とに基づいた特徴量に応じて、前記注目画素をクラス分けするクラスを決定するクラス決定ステップと、前記クラス毎に、前記第１の画像よりも高画質な第２の画像における前記注目画素を予測する予測演算に用いるための画素であって、前記第１の画像における前記注目画素に対応して設定される複数の画素により構成される予測タップを抽出する予測タップ抽出ステップと、前記クラス毎に、前記予測タップによる予測演算に用いられる予測係数を算出する係数算出ステップと、前記予測係数の係数値のうち、所定の値より小さい係数値を間引きすることで得られる前記予測係数のパターンを基に、前記予測タップにおける画素の配置のパターンを決定するパターン決定ステップと、前記クラス毎の前記予測係数として、所定の値より小さい係数値が間引きされた前記予測係数を決定する係数決定ステップとを含む。
【００２１】
本発明の第１の側面においては、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップが抽出され、注目画素と、第１の画像と同一のフレームにおいてクラスタップを構成する複数の画素に対応する画素との相関係数が算出され、注目画素と、第１の画像と異なるフレームにおいてクラスタップを構成する複数の画素に対応する画素との相関係数が算出され、得られる第１の相関係数と、得られる第２の相関係数とに基づいた特徴量に応じて、注目画素をクラス分けするクラスが決定され、クラスに応じて、第１の画像よりも高画質な第２の画像における注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とするパターンで配置された、第1の画像における注目画素に対応して設定される複数の画素により構成される予測タップが抽出され、クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とする予測係数が選択され、予測タップと、予測係数とを用いて、第２の画像における注目画素が予測される。
【００２２】
本発明の第２の側面においては、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップが抽出され、注目画素と、第１の画像と同一のフレームにおいてクラスタップを構成する複数の画素に対応する画素との相関係数が算出され、注目画素と、第１の画像と異なるフレームにおいてクラスタップを構成する複数の画素に対応する画素との相関係数が算出され、得られる第１の相関係数と、得られる第２の相関係数とに基づいた特徴量に応じて、注目画素をクラス分けするクラスが決定され、クラス毎に、第１の画像よりも高画質な第２の画像における注目画素を予測する予測演算に用いるための画素であって、第1の画像における注目画素に対応して設定される複数の画素により構成される複数のパターンの予測タップが抽出され、クラス毎に、予測タップの複数のパターンのうち、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とする画素の配置のパターンが決定され、クラス毎に、複数のパターンの予測タップによる予測演算に用いられる複数の予測係数が算出され、クラス毎に、複数の予測係数のうち、予測演算の結果と、誤差を最小とする予測係数が決定される。
【００２３】
本発明の第３の側面においては、第1の画像における注目画素に対応して設定される複数の画素により構成されるクラスタップが抽出され、注目画素と、第１の画像と同一のフレームにおいてクラスタップを構成する複数の画素に対応する画素との相関係数が算出され、注目画素と、第１の画像と異なるフレームにおいてクラスタップを構成する複数の画素に対応する画素との相関係数が算出され、得られる第１の相関係数と、得られる第２の相関係数とに基づいた特徴量に応じて、注目画素をクラス分けするクラスが決定され、クラス毎に、第１の画像よりも高画質な第２の画像における注目画素を予測する予測演算に用いるための画素であって、第1の画像における注目画素に対応して設定される複数の画素により構成される予測タップが抽出され、クラス毎に、予測タップによる予測演算に用いられる予測係数が算出され、予測係数の係数値のうち、所定の値より小さい係数値を間引きすることで得られる予測係数のパターンを基に、予測タップにおける画素の配置のパターンが決定され、クラス毎の予測係数として、所定の値より小さい係数値が間引きされた予測係数が決定される。
【発明の効果】
【００２４】
本発明の第１乃至第３の側面によれば、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について図を参照して説明する。
【００２６】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２７】
図１の画像処理装置１１は、入力信号としての第１の画像を、より高画質な、出力信号としての第２の画像に変換する画像変換処理を行う。
【００２８】
ここで、第１および第２の画像をどのように定義するかによって、画像処理装置１１は様々な画像変換処理を実現することができる。
【００２９】
すなわち、例えば、第１の画像を低解像度の画像とするとともに、第２の画像を、第１の画像よりも解像度が高い高解像度の画像とすれば、画像変換処理は、解像度を向上させて高画質化させる解像度向上処理ということができる。
【００３０】
また、例えば、第１の画像を低SN(Signal to Noise)比の画像とするとともに、第２の画像を、第１の画像よりもSN比が高い高SN比の画像とすれば、画像変換処理は、ノイズを除去して高画質化させるノイズ除去処理ということができる。
【００３１】
さらに、例えば、第１の画像をSD画像とするとともに、第２の画像を、第１の画像の画素数と解像度を大きくしたHD画像とすれば、画像変換処理は、SD画像をHD画像に高画質化する変換処理ということができる。
【００３２】
以下、第１の画像を低解像度の画像とし、第２の画像を、第１の画像よりも解像度が高い高解像度の画像として、画像処理装置１１における画像変換処理を説明する。
【００３３】
図１の画像処理装置は、クラスタップ抽出部４１、相関係数算出部４２、量子化部４３、フレーム遅延部４４、クラスタップ抽出部４５，４６、相関係数算出部４７、量子化部４８、クラス合成部４９、遅延部５０、予測タップ選択部５１、パターンメモリ５２、遅延部５３、係数選択部５４、係数メモリ５５、および積和演算部５６から構成される。また、クラスタップ抽出部４１、相関係数算出部４２、量子化部４３、フレーム遅延部４４、クラスタップ抽出部４５，４６、相関係数算出部４７、量子化部４８、およびクラス合成部４９を併せて、クラス生成部３１と適宜称することとする。外部から入力される第１の画像は、クラスタップ抽出部４１、フレーム遅延部４４、クラスタップ抽出部４６、および遅延部５０に供給される。
【００３４】
クラスタップ抽出部４１は、入力された第1の画像のフレーム上の注目すべき注目画素に対応して設定される複数の画素（注目画素に対して、所定の位置に配置される画素の画素値）により構成され、生成しようとする第２の画像をクラス分けするためのクラスタップを、注目画素（注目画素に対して、所定の位置に配置される画素の画素値）とともに抽出する。クラスタップ抽出部４１は、抽出したクラスタップおよび注目画素を、相関係数算出部４２に供給する。
【００３５】
相関係数算出部４２は、クラスタップ抽出部４１から供給されたクラスタップを構成する複数の画素の空間内において、注目画素と、クラスタップを構成する複数の画素との相関係数を算出し、量子化部４３に供給する。
【００３６】
相関係数は、例えば、特許文献１乃至４で用いられている自己相関係数であり、０乃至１の値で表される。相関係数は、その値が１に近いほど、注目画素および他の画素間の相関が強いことを表し、注目画素から遠くなるに従って、その値は小さくなる。なお、相関係数は、特許文献１乃至４で用いられたものに限らず、他の手法により求められる係数であってもよい。
【００３７】
量子化部４３は、相関係数算出部４２からの相関係数を、Ｎビットで非線形量子化する。量子化部４３は、量子化された（Ｎビットで表された）相関係数を、クラスタップを構成する複数の画素の空間内の特徴量（空間内量子化コード）として、クラス合成部４９に供給する。
【００３８】
フレーム遅延部４４は、入力された第１の画像のフレームを１フレームだけ遅延してクラスタップ抽出部４５に供給する。
【００３９】
クラスタップ抽出部４５は、フレーム遅延部４４から供給されたフレーム（以下、適宜、遅延フレームと称する）における、クラスタップ抽出部４１（または、クラスタップ抽出部４６）により抽出されるクラスタップを構成する複数の画素に対応する（注目画素に対して同一の位置に配置された）画素により構成されるクラスタップを抽出する。クラスタップ抽出部４５は、抽出したクラスタップを、相関係数算出部４７に供給する。
【００４０】
クラスタップ抽出部４６は、入力された第1の画像のフレーム（現フレーム）上の注目画素に対応して設定される複数の画素により構成されるクラスタップを、注目画素とともに抽出し、相関係数算出部４７に供給する。クラスタップ抽出部４６によって抽出されるクラスタップは、クラスタップ抽出部４１によって抽出されるクラスタップと同一であってもよいし、同一でなくてもよい。また、クラスタップ抽出部４６は、入力された第1の画像のフレーム（現フレーム）上の注目画素のみを抽出し、相関係数算出部４７に供給するようにしてもよい。
【００４１】
相関係数算出部４７は、クラスタップ抽出部４６からの現フレーム上の注目画素と、現フレーム上のクラスタップを構成する画素に対応する（注目画素に対して同一の位置に配置された）、クラスタップ抽出部４５からの遅延フレーム上のクラスタップを構成する画素との相関係数を算出し、量子化部４８に供給する。
【００４２】
量子化部４８は、相関係数算出部４７からの相関係数を、Ｎビットで非線形量子化する。量子化部４８は、量子化された相関係数を、クラスタップを構成する複数の画素のフレーム間の特徴量（フレーム間量子化コード）として、クラス合成部４９に供給する。
【００４３】
クラス合成部４９は、所定の演算を行うことにより、量子化部４３からの空間内量子化コードと、量子化部４８からのフレーム間量子化コードとを合成する。例えば、クラス合成部４９は、Ｎビットの空間内量子化コードと、Ｎビットのフレーム間量子化コードとを加算し、２Ｎビットの量子化コードを算出する。クラス合成部４９は、合成した量子化コードを基に、注目画素が属するクラスを示すクラスコードを生成し、予測タップ選択部５１および遅延部５３に供給する。
【００４４】
遅延部５０は、入力された第１の画像のフレームの予測タップ選択部５１への供給を、クラス生成部３１の処理速度に対応する時間だけ遅延させる。
【００４５】
予測タップ選択部５１は、クラス合成部４９からのクラスコードと、パターンメモリ５２に記憶されている予測タップのパターンとに基づいて、遅延部５０から供給される第１の画像から所定の画素（の画素値）を選択（抽出）し、予測タップとして、積和演算部５６に供給する。
【００４６】
予測タップ選択部５１によって選択される予測タップは、第２の画像における注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とするパターンで配置された、第1の画像における注目画素に対応して設定される複数の画素により構成される。
【００４７】
パターンメモリ５２は、後述する学習によって求められた複数のクラス（クラスコード）それぞれに対応する予測タップのパターンを記憶している。パターンメモリ５２に記憶されている予測タップのパターンは、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とするパターンである。
【００４８】
遅延部５３は、クラス合成部４９から供給されたクラスコードの係数選択部５４への供給を、予測タップ選択部５１の処理速度に対応する時間だけ遅延させる。
【００４９】
係数選択部５４は、遅延部５３からのクラスコードに応じて、係数メモリ５５から、予測演算に用いられる予測係数を選択し、積和演算部５６に供給する。
【００５０】
係数選択部５４によって選択される予測係数は、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とする係数である。
【００５１】
係数メモリ５５は、後述する学習によって求められた複数のクラス（クラスコード）それぞれに対応する予測係数を記憶している。
【００５２】
積和演算部５６は、予測タップ選択部５１からの注目画素についての予測タップの画素値と、係数選択部５４からの予測係数とから、予測演算（積和演算）を行うことにより、注目画素の画素値を求める。積和演算部５６は、予測演算の結果得られる注目画素の画素値を外部に出力する。
【００５３】
次に、図２のフローチャートを参照して、図１の画像処理装置における画像変換処理の例について説明する。
【００５４】
ステップＳ１１において、クラスタップ抽出部４１は、第１の画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。
【００５５】
ステップＳ１２において、クラスタップ抽出部４１は、入力された第１の画像から、注目画素に対応し、ｎ×ｍ（ｎ，ｍは、１以上の整数）個の画素（以下、ｎ×ｍ画素と称する）から構成されるクラスタップを、注目画素とともに抽出し、相関係数算出部４２に供給する。
【００５６】
ステップＳ１３において、相関係数算出部４２は、クラスタップ抽出部４１から供給されたクラスタップを構成するｎ×ｍ画素の空間内において、注目画素と、クラスタップを構成するｎ×ｍ画素との相関係数を算出する。
【００５７】
例えば、相関係数算出部４２は、図３に示される、注目画素を中心とした５×５画素から構成されるクラスタップにおいて、注目画素と、注目画素を含む５×５画素との相関係数を算出する。
【００５８】
図４は、図３で示したクラスタップに対応した画素の位置における相関係数を示している。
【００５９】
図４においては、図３の５×５画素それぞれに対応する相関係数を表す０．５乃至１．０の値の数字が、５×５で配置されている。図４に示される相関係数においては、上述したように、その値が１に近いほど、注目画素との相関が強いことを表している。例えば、図４において、５×５で配置された値のうち、その中心に配置されている値は、図３の５×５画素における注目画素自身との相関係数であるので、その値は１．０となる。また、図４における他の値は、図３の５×５画素における注目画素と、その周辺との相関係数であり、その値は、注目画素から遠くなるに従って小さくなる傾向にある。
【００６０】
相関係数算出部４２は、算出した相関係数を量子化部４３に供給する。
【００６１】
ステップＳ１４において、量子化部４３は、相関係数算出部４２からの相関係数を、Ｎビットで非線形量子化する。例えば、量子化部４３は、図５に示される関係（特性）を用いることで、相関係数算出部４２からの相関係数を、３ビットで非線形量子化する。
【００６２】
図５に示される特性によれば、例えば、０．５である相関係数は、‘０１０’（１０進数で‘２’）に、０．８である相関係数は、‘１０１’（１０進数で‘５’）に、また、１．０である相関係数は、‘１１１’（１０進数で‘７’）に、それぞれ量子化される。
【００６３】
図６は、図５の特性を用いて、図４に示される相関係数を３ビットで非線形量子化し、１０進数で表したものである。
【００６４】
量子化部４３は、このようにして量子化した相関係数を、ｎ×ｍ画素の空間内の特徴量（空間内量子化コード）として、クラス合成部４９に供給する。
【００６５】
ステップＳ１５において、クラスタップ抽出部４５は、フレーム遅延部４４から供給される遅延フレーム上の、クラスタップ抽出部４１（または、クラスタップ抽出部４６）において抽出されるｎ×ｍ画素に対応するｎ×ｍ画素をクラスタップとして抽出し、相関係数算出部４７に供給する。また、このとき、クラスタップ抽出部４６は、入力された第１の画像の現フレーム上のｎ×ｍ画素により構成されるクラスタップを、注目画素とともに抽出し、相関係数算出部４７に供給する。
【００６６】
ステップＳ１６において、相関係数算出部４７は、クラスタップ抽出部４６からの現フレーム上の注目画素と、現フレーム上のｎ×ｍ画素に対応する、クラスタップ抽出部４５からの遅延フレーム上のｎ×ｍ画素との相関係数を算出する。
【００６７】
例えば、相関係数算出部４７は、図７に示される、クラスタップ抽出部４６からの時刻ｔにおけるフレーム上の注目画素と、その注目画素を中心とした５×５画素と同一位相である、クラスタップ抽出部４５からの時刻ｔ−１におけるフレーム上の５×５画素との相関係数を算出する。
【００６８】
図８は、図７で示した、時刻ｔにおけるフレーム上の注目画素と、その注目画素を中心とした５×５画素と同一位相である時刻ｔ−１におけるフレーム上の５×５画素との相関係数を示している。
【００６９】
図８においては、図７の時刻ｔ−１における５×５画素それぞれに対応する相関係数を表す０．５乃至１．０の値の数字が、５×５で配置されている。図８に示される相関係数においても、図４と同様、その値が１に近いほど、注目画素との相関が強いことを表している。
【００７０】
ここで、図８においては、５×５で配置された値のうち、１．０である値の位置が、図４の場合と異なり、左側に１画素分ずれている。これは、時刻ｔにおける注目画素は、時刻ｔにおいて注目画素を中心とした５×５画素に対応する時刻ｔ−１における５×５画素内では、中心より１画素分左側に位置していたことを表す。すなわち、時刻ｔ−１から時刻ｔの間で、注目画素は１画素分右側にシフトしており、このことは等価的に、画像に動きがあったことを表している。
【００７１】
相関係数算出部４７は、このように算出した相関係数を量子化部４８に供給する。
【００７２】
ステップＳ１７において、量子化部４８は、相関係数算出部４７からの相関係数を、Ｎビットで非線形量子化する。例えば、量子化部４８は、量子化部４３と同様にして、図５に示される関係（特性）を用いることで、相関係数算出部４７からの相関係数を、３ビットで非線形量子化する。
【００７３】
図９は、図５の特性を用いて、図８に示される相関係数を３ビットで非線形量子化し、１０進数で表したものである。
【００７４】
量子化部４８は、このようにして量子化した相関係数を、ｎ×ｍ画素のフレーム間の特徴量（フレーム間量子化コード）として、クラス合成部４９に供給する。
【００７５】
ステップＳ１８において、所定の演算を行うことにより、クラス合成部４９は、量子化部４３からの空間内量子化コードと、量子化部４８からのフレーム間量子化コードとを合成する。クラス合成部４９は、合成した量子化コードを基に、注目画素が属するクラスを示すクラスコードを生成し、予測タップ選択部５１および遅延部５３に供給する。
【００７６】
ステップＳ１９において、予測タップ選択部５１は、クラス合成部４９からのクラスコードと、パターンメモリ５２に記憶されている予測タップのパターンとに基づいて、遅延部５０から供給される第１の画像から所定の画素（の画素値）を選択し、予測タップとして、積和演算部５６に供給する。
【００７７】
ステップＳ２０において、係数選択部５４は、遅延部５３から遅延して供給されたクラスコードに応じて、係数メモリ５５から、予測演算に用いられる予測係数を選択し、積和演算部５６に供給する。
【００７８】
ステップＳ２１において、積和演算部５６は、予測タップ選択部５１からの注目画素についての予測タップの画素値と、係数選択部５４からの予測係数とから、予測演算（積和演算）を行うことにより、注目画素の画素値を求める。
【００７９】
ステップＳ２２において、クラスタップ抽出部４１，４５，４６、予測タップ選択部５１は、画像全体を構成する全ての画素を注目画素に決定したかを判定する。
【００８０】
ステップＳ２２で、画像全体を構成する全ての画素を注目画素に決定していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
【００８１】
一方、ステップＳ２２で、画像全体を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ２２において、積和演算部５６は、予測演算の結果得られた注目画素の画素値から構成される画像を外部に出力して、処理は終了する。
【００８２】
以上の処理により、複数の画素の空間内における相関係数と、現フレームの複数の画素に対応する、異なるフレームの画素との相関係数とを算出し、これらの相関係数に基づいたクラス（クラスコード）に応じて、予測タップおよび予測係数を選択することができる。
【００８３】
結果として、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。
【００８４】
なお、上述した説明では、注目画素は、クラスタップや予測タップを構成する画素に含まれるようにしたが、必ずしもクラスタップや予測タップを構成する画素に含まれる必要はない。
【００８５】
次に、図１の積和演算部５６における予測演算と、係数メモリ５５に記憶された予測係数の学習について説明する。
【００８６】
いま、高画質な画像である第２の画像をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（例えば、解像度）を低下させた低画質な画像（低画質画像）である第１の画像から予測タップを選択し、その予測タップと予測係数を用いて、高画質な第２の画像の画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００８７】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【００８８】
【数１】
2009284207.tif 000003
【００８９】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００９０】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００９１】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００９２】
【数２】
2009284207.tif 000004
【００９３】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【００９４】
【数３】
2009284207.tif 000005
【００９５】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【００９６】
式（３）（または式（２））の予測誤差ｅkを０とする予測係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【００９７】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９８】
【数４】
2009284207.tif 000006
【００９９】
但し、式（４）において、ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１００】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１０１】
【数５】
2009284207.tif 000007
【０１０２】
そこで、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
【０１０３】
【数６】
2009284207.tif 000008
【０１０４】
式（５）と（６）から、次式が得られる。
【０１０５】
【数７】
2009284207.tif 000009
【０１０６】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１０７】
【数８】
2009284207.tif 000010
【０１０８】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１０９】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラス毎に求めることができる。
【０１１０】
図１０は、クラス毎に式（８）の正規方程式をたてて解くことにより、クラス毎に最適な予測係数ｗn、および、その予測係数ｗnに対応する予測タップのパターンを求める学習を行う学習装置の構成例を示している。
【０１１１】
図１０の学習装置７１は、正規方程式生成ブロック９１、正規方程式記憶部９２、クラス番号設定部９３、予測タップ番号設定部９４、正規方程式読込部９５、係数算出部９６、係数バッファ９７、最小自乗誤差テーブル記憶部９８、最小値検出部９９、パターン決定部１００、および係数決定部１０１から構成される。学習装置７１は、求めた予測タップのパターンおよび予測係数ｗnを、それぞれ、パターンメモリ５２および係数メモリ５５に供給する。
【０１１２】
正規方程式生成ブロック９１は、複数の予測タップについて、クラス毎に、式（８）の正規方程式を生成し、正規方程式記憶部９２に供給する。
【０１１３】
より具体的には、正規方程式生成ブロック９１は、入力された第１の画像を基にクラス（クラスコード）を生成するとともに、第１の画像から複数のパターンの予測タップを抽出する。さらに、正規方程式生成ブロック９１は、第１の画像の教師画像としての第２の画像と、クラスコードおよび予測タップとに基づいて、複数のクラスタップについて、クラス毎の正規方程式を生成し、正規方程式記憶部９２に記憶させる。
【０１１４】
なお、正規方程式記憶部９２に記憶される正規方程式は、クラスコードを表すクラス番号と、予測タップのパターンを表す予測タップ番号とに対応付けられている。
【０１１５】
クラス番号設定部９３は、正規方程式記憶部９２に記憶されている正規方程式のうち、学習装置７１内で解かれる正規方程式のクラス番号を設定する。
【０１１６】
予測タップ番号設定部９４は、正規方程式記憶部９２に記憶されている正規方程式のうち、学習装置７１内で解かれる正規方程式の予測タップ番号を設定する。
【０１１７】
正規方程式読込部９５は、クラス番号設定部９３で設定されたクラス番号と、予測タップ番号設定部９４で設定された予測タップ番号とに対応づけられている正規方程式を正規方程式記憶部９２から読み込み、係数算出部９６に供給する。
【０１１８】
係数算出部９６は、正規方程式読込部９５から供給された正規方程式（連立方程式）を解くことにより、予測係数ｗnおよび最小自乗誤差を算出し、それぞれ、そのときのクラス番号および予測タップ番号とともに、係数バッファ９７および最小自乗誤差テーブル記憶部９８に供給する。
【０１１９】
係数バッファ９７は、係数算出部９６によって算出された予測係数ｗnを、クラス番号および予測タップ番号に対応付けて一時記憶する。
【０１２０】
最小自乗誤差テーブル記憶部９８は、係数算出部９６によって算出された最小自乗誤差を、クラス番号および予測タップ番号に対応付けた最小自乗誤差テーブルに記憶する。
【０１２１】
最小値検出部９９は、最小自乗誤差テーブル記憶部９８の最小自乗誤差テーブルにおいて、最小自乗誤差の最小値を検出する。最小値検出部９９は、検出した最小値となる最小自乗誤差に対応付けられたクラス番号および予測タップ番号を、パターン決定部１００および係数決定部１０１それぞれに供給する。
【０１２２】
パターン決定部１００は、最小値検出部９９からの予測タップ番号、および、正規方程式生成ブロック９１において抽出された予測タップに基づいて、その予測タップ番号に対応する予測タップのパターンを決定する。パターン決定部１００は、決定した予測タップのパターンを、最小値検出部９９からのクラス番号（クラスコード）とともにパターンメモリ５２に供給し記憶させる。
【０１２３】
係数決定部１０１は、係数バッファ９７に一時記憶されている予測係数ｗnの中から、最小値検出部９９からのクラス番号および予測タップ番号に対応付けられている予測係数を、そのクラス番号の表すクラスにおいて最適な予測係数として決定する。係数決定部１０１は、決定した予測係数を、最小値検出部９９からのクラス番号（クラスコード）とともに係数メモリ５５に供給し記憶させる。
【０１２４】
次に、図１１のブロック図を参照して、正規方程式生成ブロック９１の構成例について説明する。
【０１２５】
図１１の正規方程式生成ブロック９１は、クラス生成部１３１、インデックスデコーダ１３２、遅延部１３３、予測タップ抽出部１３４−１乃至１３４−Ｑ、スイッチ（以下、ＳＷと称する）１３５−１−１乃至１３５−Ｑ−Ｐ、および正規方程式生成部１３６−１−１乃至１３６−Ｑ−Ｐから構成される。
【０１２６】
クラス生成部１３１は、図１の画像処理装置１１におけるクラス生成部３１と同様の構成であり、その機能も同様である。すなわち、クラス生成部１３１は、入力された第１の画像に対して、複数の画素の空間内における相関係数を非線形量子化するとともに、異なるフレームにおける複数の画素に対応する画素との相関係数を非線形量子化することで、クラスコードを生成する。クラス生成部１３１は、生成したクラスコードをインデックスデコーダ１３２に供給する。
【０１２７】
インデックスデコーダ１３２は、クラス生成部１３１からのクラスコードに応じて、クラス毎にインデックスを生成し、そのインデックスを用いて、予測タップ抽出部１３４−１乃至１３４−Ｑから供給される予測タップを構成する画素の画素値ｘn、および、教師画像としての第２の画像を構成する画素の画素値ｙnの、正規方程式生成部１３６−１−１乃至１３６−Ｑ−Ｐへの供給を、ＳＷ１３５−１−１乃至１３５−Ｑ−Ｐを介して制御する。
【０１２８】
遅延部１３３は、入力された第１の画像のフレームの予測タップ選択部１３４−１乃至１３４−Ｑへの供給を、クラス生成部１３１およびインデックスデコーダ１３２の処理速度に対応する時間だけ遅延させる。
【０１２９】
予測タップ抽出部１３４−１は、遅延部１３３から供給される第１の画像から、ｎ×ｍ画素から所定の画素を間引いた画素（の画素値）を抽出し、予測タップとして、それぞれ、正規方程式生成部１３６−１−１乃至１３６−１−Ｐに供給する。
【０１３０】
同様にして、予測タップ抽出部１３４−２乃至１３４−Ｑは、遅延部１３３から供給される第１の画像から、ｎ×ｍ画素から所定の画素を間引いた画素（の画素値）を抽出し、予測タップとして、それぞれ、正規方程式生成部１３６−ｑ−１乃至１３６−ｑ−Ｐ（ｑは、２乃至Ｑの整数）に供給する。
【０１３１】
予測タップ抽出部１３４−１乃至１３４−Ｑのそれぞれにおいて所定の画素が間引かれるｎ×ｍ画素のパターンは、例えば、それぞれユーザによって決定される。さらに、予測タップのパターンの数Ｑも、ユーザによって決定されるようにすることができる。
【０１３２】
ＳＷ１３５−１−１乃至１３５−Ｑ−Ｐは、インデックスデコーダ１３２の制御の下、予測タップ抽出部１３４−１乃至１３４−Ｑから供給される予測タップを構成する画素の画素値ｘn、および、教師画像としての第２の画像を構成する画素の画素値ｙnの、正規方程式生成部１３６−１−１乃至１３６−Ｑ−Ｐへ供給するよう動作する。
【０１３３】
正規方程式生成部１３６−１−１乃至１３６−Ｑ−１は、ＳＷ１３５−１−１乃至１３５−Ｑ−１の制御に応じて供給される、予測タップ抽出部１３４−１乃至１３４−Ｑからの予測タップの画素値ｘnと、教師画像の画素値ｙnとから、正規方程式を生成する。正規方程式生成部１３６−１−１乃至１３６−Ｑ−１は、生成した正規方程式それぞれを、予測タップ番号１乃至Ｑのそれぞれと、クラス番号１とに対応付けて、正規方程式記憶部９２に供給し、記憶させる。
【０１３４】
正規方程式生成部１３６−１−ｐ乃至１３６−Ｑ−ｐ（ｐは、２乃至Ｐの整数）も、正規方程式生成部１３６−１−１乃至１３６−Ｑ−１と同様の処理を行う。このとき、クラス番号はｐとなる。
【０１３５】
次に、図１２のフローチャートを参照して、図１０の学習装置７１の学習処理について説明する。
【０１３６】
ステップＳ４１において、正規方程式生成ブロック９１は、図１３を参照して後述する正規方程式生成処理を実行し、複数の予測タップについて、クラス毎に、正規方程式を生成し、正規方程式記憶部９２に供給して、記憶させる。
【０１３７】
ステップＳ４２において、クラス番号設定部９３は、学習装置７１内で解かれる正規方程式のクラス番号の初期設定を行う。より具体的には、クラス番号設定部９３は、クラス番号を０に設定する。
【０１３８】
ステップＳ４３において、クラス番号設定部９３は、クラス番号を１インクリメントする。
【０１３９】
ステップＳ４４において、予測タップ番号設定部９４は、学習装置７１内で解かれる正規方程式の予測タップ番号の初期設定を行う。より具体的には、予測タップ番号設定部９４は、予測タップ番号を０に設定する。
【０１４０】
ステップＳ４５において、予測タップ番号設定部９４は、予測タップ番号を１インクリメントする。
【０１４１】
ステップＳ４６において、正規方程式読込部９５は、クラス番号設定部９３で設定されたクラス番号と、予測タップ番号設定部９４で設定された予測タップ番号とに対応づけられている正規方程式を正規方程式記憶部９２から読み込み、係数算出部９６に供給する。例えば、１回目のステップＳ４６においては、正規方程式読込部９５は、クラス番号が１であり、予測タップ番号が１である正規方程式（図１１の正規方程式生成部１３６−１−１によって生成された正規方程式）を読み込む。
【０１４２】
ステップＳ４７において、係数算出部９６は、正規方程式読込部９５から供給された正規方程式（連立方程式）を解き、ステップＳ４８において、予測係数ｗnおよび最小自乗誤差を算出し、それぞれ、そのときのクラス番号および予測タップ番号とともに、係数バッファ９７および最小自乗誤差テーブル記憶部９８に供給する。
【０１４３】
ステップＳ４９において、最小自乗誤差テーブル記憶部９８は、係数算出部９６によって算出された最小自乗誤差を、クラス番号および予測タップ番号に対応付けた最小自乗誤差テーブルを作成し、記憶する。また、このとき、係数バッファ９７は、係数算出部９６によって算出された予測係数ｗnをクラス番号に対応付けて一時記憶する。
【０１４４】
ステップＳ５０において、正規方程式読込部９５は、全ての予測タップについて処理を終えたか否か、すなわち、Ｑパターンの予測タップに対する、所定のクラス（クラス番号）における正規方程式の解法を終えたか否かを判定する。
【０１４５】
ステップＳ５０において、全ての予測タップについて処理を終えていないと判定された場合、処理は、ステップＳ４５に戻り、ステップＳ４５乃至Ｓ５０の処理が繰り返される。
【０１４６】
一方、ステップＳ５０において、全ての予測タップについて処理を終えたと判定された場合、処理は、ステップＳ５１に進み、最小値検出部９９は、最小自乗誤差テーブルの最小値を検出する。すなわち、最小値検出部９９は、所定のクラスにおいて、Ｑパターンの予測タップについて算出された最小自乗誤差の最小値を検出し、その最小自乗誤差に対応付けられたクラス番号および予測タップ番号を、パターン決定部１００および係数決定部１０１それぞれに供給する。
【０１４７】
ステップＳ５２において、パターン決定部１００は、最小値検出部９９からの予測タップ番号、および、正規方程式生成ブロック９１において抽出された予測タップに基づいて、その予測タップ番号に対応する予測タップのパターンを決定する。パターン決定部１００は、決定した予測タップのパターンを、最小値検出部９９からのクラス番号（クラスコード）とともにパターンメモリ５２に供給し記憶させる。
【０１４８】
ステップＳ５３において、係数決定部１０１は、係数バッファ９７に一時記憶されている予測係数ｗnの中から、最小値検出部９９からのクラス番号および予測タップ番号に対応付けられている予測係数を、そのクラス番号の表すクラスにおいて最適な予測係数として決定する。係数決定部１０１は、決定した予測係数を、最小値検出部９９からのクラス番号（クラスコード）とともに係数メモリ５５に供給し記憶させる。
【０１４９】
ステップＳ５４において、正規方程式読込部９５は、全てのクラスについて処理を終えたか否か、すなわち、Ｑパターンの予測タップに対する、Ｐ番目のクラス（クラス番号）における正規方程式の解法を終えたか否かを判定する。
【０１５０】
ステップＳ５４において、全てのクラスについて処理を終えていないと判定された場合、処理は、ステップＳ４３に戻り、ステップＳ４３乃至Ｓ５４の処理が繰り返される。
【０１５１】
一方、ステップＳ５４において、全ての予測タップについて処理を終えたと判定された場合、処理は終了する。
【０１５２】
以上の処理により、複数の画素の空間内における相関係数と、異なるフレームにおける複数の画素に対応する画素との相関係数とに基づいたクラス（クラスコード）毎に、予測タップのパターンおよび予測係数を決定することができる。
【０１５３】
したがって、クラス毎に、最適な予測タップのパターンと予測係数とを学習することができ、結果として、画像処理装置において、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。
【０１５４】
なお、上述した説明においては、最小自乗誤差が最小となるときの予測タップのパターンを、パターンメモリ５２に記憶するようにしたが、最小となる最小自乗誤差が複数存在する場合（精度を下げる等して同値とみなされた場合）、パターン決定部１００は、それらの最小自乗誤差に対応するパターンのうちの、水平方向の間引きの度合いが強いパターンを、優先的に予測タップのパターンとして決定し、パターンメモリ５２に記憶するようようにすることができる。これは、一般に、画像においては、水平方向の画素は、垂直方向の画素よりも相関が高く、予測演算の際に間引かれても、予測演算結果への影響は少ないことによる。
【０１５５】
次に、図１３のフローチャートを参照して、図１２のフローチャートのステップＳ４１に対応する、正規方程式生成処理の詳細を説明する。
【０１５６】
ステップＳ７１において、クラス生成部１３１は、所定のクラスコードを生成し、インデックスデコーダ１３２に供給する。
【０１５７】
ステップＳ７２において、予測タップ抽出部１３４−１乃至１３４−Ｑは、遅延部１３３から供給される第１の画像から、ｎ×ｍ画素から所定の画素を間引いた画素（の画素値）を抽出し、予測タップとして、それぞれ、正規方程式生成部１３６−１−１，・・・，１３６−１−Ｐ乃至１３６−Ｑ−１，・・・，１３６−Ｑ−Ｐに供給する。
【０１５８】
図１４は、予測タップ抽出部１３４−１乃至１３４−Ｑによって抽出される予測タップのパターンの例を示している。
【０１５９】
図１４Ａは、注目画素を中心とした５×５画素を示しており、図１４Ｂ乃至Ｇは、図１４Ａに示される５×５画素から、所定の画素を間引いたときの画素（予測タップ）が配置されるパターンを示している。
【０１６０】
図１４Ｂは、規則的に水平方向に１／２ずつ画素を間引いたときの予測タップのパターンを示しており、図１４Ｃは、規則的に水平方向に１／２ずつ画素を間引いたときの予測タップのパターンを示している。また、図１４Ｄは、規則的に五の目格子状に画素を間引いたときの予測タップのパターンを示している。特に、図１４Ｂに示される間引きのパターンは、画像を構成する画素において、水平方向に対して相関が高い場合に適用され、図１４Ｃに示される間引きのパターンは、垂直方向に対して相関が高い場合に適用される。
【０１６１】
図１４Ｅは、注目画素の垂直方向および水平方向の延長線上に位置する画素、並びに５×５画素の４頂点に位置する画素以外の画素を間引いたときの予測タップのパターンを示している。さらに、図１４Ｆは、注目画素の周囲に位置する（隣接する）８画素と、注目画素の水平方向延長線上に位置する画素以外の画素を間引いたときの予測タップのパターンを示している。
【０１６２】
このように、予測タップ抽出部１３４−１乃至１３４−Ｑは、例えば、ユーザの決定に応じて、規則的なパターンの予測タップを抽出することができる。
【０１６３】
また、図１４Ｇに示されるように、予測タップ抽出部１３４−１乃至１３４−Ｑは、規則的な間引きパターンを有さない予測タップを抽出することもできる。
【０１６４】
図１３のフローチャートの説明に戻り、ステップＳ７３において、正規方程式生成部１３６−１−ｐ乃至１３６−Ｑ−ｐ（ここでは、ｐは、１乃至Ｐの整数であり、クラス番号と同じ）は、ＳＷ１３５−１−１乃至１３５−Ｑ−１の制御に応じて供給される、予測タップ抽出部１３４−１乃至１３４−Ｑからの予測タップの画素値ｘnと、教師画像の画素値ｙnとから、正規方程式を生成する。
【０１６５】
具体的には、例えば、インデックスデコーダ１３２は、クラスコードに応じて、０，１の情報であるインデックスを生成し、そのインデックスを用いて、ＳＷ１３５−１−１のオン、オフを制御する。正規方程式生成部１３６−１−１は、ＳＷ１３５−１−１の動作に応じて供給される、予測タップ抽出部１３４−１からの予測タップの画素値ｘnと、教師画像の画素値ｙnとから、正規方程式を生成する。
【０１６６】
ステップＳ７４において、正規方程式生成部１３６−ｑ−１（ここでは、ｑは、１乃至Ｑの整数であり、予測タップ番号と同じ）は、生成した正規方程式それぞれを、予測タップ番号ｑそれぞれと、クラス番号ｐとに対応付けて、正規方程式記憶部９２に供給し、記憶させる。
【０１６７】
ステップＳ７５において、正規方程式記憶部９２は、全ての予測タップについての処理を終えたか否か、すなわち、クラス番号ｐで示されるクラスにおいて、Ｑパターンの予測タップについての正規方程式を生成したか否かを判定する。
【０１６８】
ステップＳ７５において、全ての予測タップについての処理を終えていないと判定された場合、処理は、ステップＳ７３に戻り、ステップＳ７３乃至Ｓ７５の処理が繰り返される。
【０１６９】
一方、ステップＳ７５において、全ての予測タップについての処理を終えたと判定された場合、処理は、ステップＳ７６に進み、正規方程式記憶部９２は、全てのクラスについての処理を終えたか否か、すなわち、クラス番号Ｐで示されるクラスにおいて、Ｑパターンの予測タップについての正規方程式を生成したか否かを判定する。
【０１７０】
ステップＳ７６において、全ての予測タップについての処理を終えていないと判定された場合、処理は、ステップＳ７１に戻り、ステップＳ７１乃至Ｓ７５の処理が繰り返される。
【０１７１】
一方、ステップＳ７６において、全ての予測タップについての処理を終えたと判定された場合、処理は、図１２のフローチャートのステップＳ４１にリターンする。
【０１７２】
以上の処理により、様々な間引きパターンを有する予測タップについて、複数の画素の空間内における相関係数と、異なるフレームにおける複数の画素に対応する画素との相関係数とに基づいたクラス（クラスコード）毎に、正規方程式を生成することができる。
【０１７３】
以上においては、ユーザによって決められた複数のパターンの予測タップを用いて、クラス毎に学習を行った結果、最適なパターンの予測タップおよび予測係数を特定する構成について説明してきたが、間引きのない予測タップを用いて学習を行い、最適なパターンの予測タップおよび予測係数を特定するようにすることもできる。
【０１７４】
図１５は、間引きのない予測タップを用いて学習を行い、最適なパターンの予測タップおよび予測係数を特定するようにした学習装置の構成例を示している。
【０１７５】
図１５の学習装置１７１は、正規方程式生成ブロック１９１、正規方程式記憶部１９２、クラス番号設定部１９３、正規方程式読込部１９４、係数算出部１９５、係数バッファ１９６、クラス番号設定部１９７、係数読出部１９８、間引き部１９９、パターン決定部２００、および係数決定部２０１から構成される。学習装置１７１は、求めた予測タップのパターンおよび予測係数ｗnを、それぞれ、パターンメモリ５２および係数メモリ５５に供給する。
【０１７６】
正規方程式生成ブロック１９１は、クラス毎に、式（８）の正規方程式を生成し、正規方程式記憶部１９２に供給する。
【０１７７】
より具体的には、正規方程式生成ブロック１９１は、入力された第１の画像を基にクラス（クラスコード）を生成するとともに、第１の画像からｎ×ｍ画素の予測タップを抽出する。さらに、正規方程式生成ブロック１９１は、第１の画像の教師画像としての第２の画像と、クラスコードおよび予測タップとに基づいて、クラス毎の正規方程式を生成し、正規方程式記憶部１９２に記憶させる。
【０１７８】
なお、正規方程式記憶部１９２に記憶される正規方程式は、クラスコードを表すクラス番号に対応付けられている。
【０１７９】
クラス番号設定部１９３は、正規方程式記憶部１９２に記憶されている正規方程式のうち、学習装置１７１内で解かれる正規方程式のクラス番号を設定する。
【０１８０】
正規方程式読込部１９４は、クラス番号設定部１９３で設定されたクラス番号に対応づけられている正規方程式を正規方程式記憶部１９２から読み込み、係数算出部１９５に供給する。
【０１８１】
係数算出部１９５は、正規方程式読込部１９４から供給された正規方程式（連立方程式）を解くことにより、予測係数ｗnを算出し、そのときのクラス番号とともに、係数バッファ１９６に供給する。
【０１８２】
係数バッファ１９６は、係数算出部１９５によって算出された予測係数ｗnを、クラス番号に対応付けて一時記憶する。
【０１８３】
クラス番号設定部１９７は、係数バッファ１９６に記憶されている予測係数のうち、係数読出部１９８に読み出される予測係数が対応付けられているクラス番号を設定する。
【０１８４】
係数読出部１９８は、クラス番号設定部１９７で設定されたクラス番号に対応付けられている予測係数を係数バッファ１９６から読出し、クラス番号とともに、間引き部１９９に供給する。
【０１８５】
間引き部１９９は、係数読出部１９８から供給された予測係数の係数値のうち、０に近い係数値を間引きする。より具体的には、間引き部１９９は、係数読出部１９８から供給された予測係数の係数値のうち、所定の値より小さい係数値を０に置き換える。
【０１８６】
パターン決定部２００は、間引き部１９９によって０に置き換えられた係数値に対応する位置の画素を、正規方程式生成ブロック１９１において抽出された予測タップを構成する画素から間引いたパターンを、予測タップのパターンとして決定する。パターン決定部２００は、決定した予測タップのパターンを、間引き部１９９のクラス番号（クラスコード）とともにパターンメモリ５２に供給し記憶させる。
【０１８７】
係数決定部２０１は、間引き部１９９によって０に近い係数値が０に置き換えられた予測係数を、そのクラス番号の表すクラスにおいて最適な予測係数として決定する。係数決定部２０１は、決定した予測係数を、間引き部１９９のクラス番号（クラスコード）とともに係数メモリ５５に供給し記憶させる。
【０１８８】
次に、図１６のブロック図を参照して、正規方程式生成ブロック１９１の構成例について説明する。
【０１８９】
図１６の正規方程式生成ブロック１９１は、クラス生成部２３１、インデックスデコーダ２３２、遅延部２３３、予測タップ抽出部２３４、スイッチ（ＳＷ）２３５−１乃至２３５−Ｐ、および正規方程式生成部２３６−１乃至２３６−Ｐから構成される。
【０１９０】
クラス生成部２３１は、図１の画像処理装置１１におけるクラス生成部３１と同様の構成であり、その機能も同様であるので、その説明は省略する。
【０１９１】
インデックスデコーダ２３２は、クラス生成部２３１からのクラスコードに応じて、クラス毎にインデックスを作成し、そのインデックスを用いて、予測タップ抽出部２３４から供給される予測タップを構成する画素の画素値ｘn、および、教師画像としての第２の画像を構成する画素の画素値ｙnの、正規方程式生成部２３６−１乃至２３６−Ｐへの供給を、ＳＷ２３５−１乃至２３５−Ｐを介して制御する。
【０１９２】
遅延部２３３は、入力された第１の画像のフレームの予測タップ選択部２３４への供給を、クラス生成部２３１およびインデックスデコーダ２３２の処理速度に対応する時間だけ遅延させる。
【０１９３】
予測タップ抽出部２３４は、遅延部２３３から供給される第１の画像から、ｎ×ｍ画素（の画素値）を抽出し、予測タップとして、正規方程式生成部２３６−１乃至２３６−Ｐに供給する。
【０１９４】
ＳＷ２３５−１乃至２３５−Ｐは、インデックスデコーダ２３２の制御の下、予測タップ抽出部２３４から供給される予測タップを構成する画素の画素値ｘn、および、教師画像としての第２の画像を構成する画素の画素値ｙnを、正規方程式生成部２３６−１乃至２３６−Ｐへ供給するよう動作する。
【０１９５】
正規方程式生成部２３６−１乃至２３６−Ｐは、ＳＷ２３５−１乃至２３５−Ｐの制御に応じて供給される、予測タップ抽出部２３４からの予測タップの画素値ｘnと、教師画像の画素値ｙnとから、正規方程式を生成する。正規方程式生成部２３６−１乃至２３６−Ｐは、生成した正規方程式それぞれを、クラス番号１乃至Ｐに対応付けて、正規方程式記憶部１９２に供給し、記憶させる。
【０１９６】
次に、図１７のフローチャートを参照して、図１５の学習装置１７１の学習処理について説明する。
【０１９７】
ステップＳ１４１において、正規方程式生成ブロック１９１は、図１９のフローチャートを参照して後述する正規方程式生成処理を実行し、クラス毎に正規方程式を生成し、正規方程式記憶部１９２に供給し、記憶させる。
【０１９８】
ステップＳ１４２において、クラス番号設定部１９３は、学習装置１７１内で解かれる正規方程式のクラス番号の初期設定を行う。より具体的には、クラス番号設定部１９３は、クラス番号を０に設定する。
【０１９９】
ステップＳ１４３において、クラス番号設定部１９３は、クラス番号を１インクリメントする。
【０２００】
ステップＳ１４４において、正規方程式読込部１９４は、クラス番号設定部１９３で設定されたクラス番号に対応づけられている正規方程式を正規方程式記憶部１９２から読み込み、係数算出部１９５に供給する。例えば、１回目のステップＳ１４４においては、正規方程式読込部１９４は、クラス番号が１である正規方程式（図１６の正規方程式生成部２３６−１によって生成された正規方程式）を読み込む。
【０２０１】
ステップＳ１４６において、係数算出部１９５は、正規方程式読込部１９４から供給された正規方程式（連立方程式）を解くことにより、予測係数ｗnを算出し、そのときのクラス番号とともに、係数バッファ１９６に供給する。
【０２０２】
ステップＳ１４７において、係数バッファ１９６は、係数算出部１９５によって算出された予測係数ｗnを、クラス番号に対応付けて一時記憶する。
【０２０３】
ステップＳ１４８において、係数算出部１９５は、全てのクラスについての処理を終えたか否か、すなわち、Ｐ番目のクラス（クラス番号）における正規方程式の解法および予測係数の算出を終えたか否かを判定する。
【０２０４】
ステップＳ１４８において、全てのクラスについての処理を終えていないと判定された場合、処理は、ステップＳ１４３に戻り、ステップＳ１４３乃至Ｓ１４８の処理が繰り返される。
【０２０５】
一方、ステップＳ１４８において、全てのクラスについての処理を終えたと判定された場合、処理は、ステップＳ１４９に進み、クラス番号設定部１９７は、係数読出部１９８に読み出される予測係数が対応付けられているクラス番号の初期設定を行う。より具体的には、クラス番号設定部１９７は、クラス番号を０に設定する。
【０２０６】
ステップＳ１５０において、クラス番号設定部１９７は、クラス番号を１インクリメントする。
【０２０７】
ステップＳ１５１において、係数読出部１９８は、クラス番号設定部１９７で設定されたクラス番号に対応付けられている予測係数を係数バッファ１９６から読出し、クラス番号とともに、間引き部１９９に供給する。
【０２０８】
ステップＳ１５２において、間引き部１９９は、係数読出部１９８から供給された予測係数の係数値のうち、所定の値より小さい係数値を間引きする。より具体的には、間引き部１９９は、係数読出部１９８から供給された予測係数の係数値のうち、０に近い係数値を０に置き換える。
【０２０９】
ステップＳ１５３において、パターン決定部２００は、間引き部１９９によって０に置き換えられた係数値に対応する位置の画素を、正規方程式生成ブロック１９１において抽出された予測タップを構成する画素から間引いたパターンを、予測タップのパターンとして決定する。パターン決定部２００は、決定した予測タップのパターンを、間引き部１９９のクラス番号（クラスコード）とともにパターンメモリ５２に供給し記憶させる。
【０２１０】
ステップＳ１５４において、係数決定部２０１は、間引き部１９９によって０に近い係数値が０に置き換えられた予測係数を、そのクラス番号の表すクラスにおいて最適な予測係数として決定する。係数決定部２０１は、決定した予測係数を、間引き部１９９のクラス番号（クラスコード）とともに係数メモリ５５に供給し記憶させる。
【０２１１】
ここで、図１８を参照して、予測係数の係数値および予測タップの画素の間引きについて説明する。
【０２１２】
図１８Ａは、正規方程式生成ブロック１９１によって抽出される予測タップの例であり、注目画素を中心として、７×７画素で構成されている。
【０２１３】
図１８Ｂは、図１８Ａの予測タップの画素値、教師画像としての第２の画像の画素値、およびクラスコードに基づいて、係数算出部１９５によって算出される予測係数の例である。
【０２１４】
図１８Ｂにおいて、予測係数の係数値は、小数点第１位までの値で示されている。図１８Ｂにおいて、丸で囲まれている係数値は、‘０．０’となっているが、実際は、例えば０．０４等の値であり、厳密には０でない。しかしながら、これらの係数値は、ほぼ０であり、０とみなしても影響ない（予測演算結果に寄与しない）ので、間引き部１９９は、係数読出部１９８から供給された予測係数の係数値のうち、例えば、０．０５より小さい係数値を０に置き換える。なお、係数値を０が置き換えられる閾値は、０．０５に限らず、精度に応じて、０に近い他の値であってもよい。
【０２１５】
図１８Ｃは、図１８Ｂにおいて、０に置き換えられた予測係数の係数値に対応する位置の画素を、図１８Ａに示される予測タップから間引いたときの予測タップを示している。図１８においては、破線で示される円が間引かれた画素を示している。すなわち、パターン決定部２００は、図１８Ｂに示される予測係数において０に置き換えられた係数値に対応する位置の画素を、図１８Ａに示される予測タップを構成する画素から間引いたパターンを、予測タップのパターンとして決定する。
【０２１６】
図１７のフローチャートに戻り、ステップＳ１５５において、係数決定部２０１は、全てのクラスについての処理を終えたか否か、すなわち、Ｐ番目のクラス（クラス番号）についての予測タップのパターンおよび予測係数の決定を終えたか否かを判定する。
【０２１７】
ステップＳ１５５において、全てのクラスについて処理を終えていないと判定された場合、処理は、ステップＳ１５０に戻り、ステップＳ１５０乃至Ｓ１５５の処理が繰り返される。
【０２１８】
一方、ステップＳ１５５において、全ての予測タップについて処理を終えたと判定された場合、処理は終了する。
【０２１９】
以上の処理により、複数の画素の空間内における相関係数と、異なるフレームにおける複数の画素に対応する画素との相関係数とに基づいたクラス（クラスコード）毎に、予測タップのパターンおよび予測係数を決定することができる。
【０２２０】
したがって、クラス毎に、最適な予測タップのパターンと予測係数とを学習することができ、結果として、画像処理装置において、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。
【０２２１】
また、上述したように、予測演算結果に影響の小さい画素を間引くように処理を行うので、より少ない計算量で、最適な予測タップのパターンを決定することができる。
【０２２２】
図１９は、図１７のフローチャートのステップＳ１４１に対応する、正規方程式生成処理の詳細を説明している。
【０２２３】
ステップＳ１７１において、クラス生成部２３１は、所定のクラスコードを生成し、インデックスデコーダ２３２に供給する。
【０２２４】
ステップＳ１７２において、予測タップ抽出部２３４は、遅延部２３３から供給される第１の画像から、ｎ×ｍ画素（の画素値）を抽出し、予測タップとして、正規方程式生成部２３６−１乃至２３６−Ｐに供給する。
【０２２５】
ステップＳ１７３において、正規方程式生成部２３６−ｐは、ＳＷ２３５−ｐの制御に応じて供給される、予測タップ抽出部２３４からの予測タップの画素値ｘnと、教師画像の画素値ｙnとから、正規方程式を生成する。
【０２２６】
具体的には、例えば、インデックスデコーダ２３２は、クラスコードに応じて、０，１の情報であるインデックスを生成し、そのインデックスを用いて、ＳＷ２３５−１のオン、オフを制御する。正規方程式生成部２３６−１は、ＳＷ２３５−１の動作に応じて供給される、予測タップ抽出部２３４からの予測タップの画素値ｘnと、教師画像の画素値ｙnとから、正規方程式を生成する。
【０２２７】
ステップＳ１７４において、正規方程式生成部２３６−ｐは、生成した正規方程式を、クラス番号ｐに対応付けて、正規方程式記憶部１９２に供給し、記憶させる。
【０２２８】
ステップＳ１７５において、正規方程式記憶部１９２は、全てのクラスについての処理を終えたか否か、すなわち、クラス番号Ｐで示されるクラスについての正規方程式を生成したか否かを判定する。
【０２２９】
ステップＳ１７５において、全ての予測タップについての処理を終えていないと判定された場合、処理は、ステップＳ１７１に戻り、ステップＳ１７１乃至Ｓ１７５の処理が繰り返される。
【０２３０】
一方、ステップＳ１７５において、全ての予測タップについての処理を終えたと判定された場合、処理は、図１７のフローチャートのステップＳ１４１にリターンする。
【０２３１】
以上の処理により、予め、様々な間引きパターンを有する予測タップを用意することなく、複数の画素の空間内における相関係数と、異なるフレームにおける複数の画素に対応する画素との相関係数とに基づいたクラス（クラスコード）毎に、正規方程式を生成することができる。
【０２３２】
したがって、正規方程式１９１は、図１１の正規方程式生成ブロック９１のように煩雑な構成にならず、回路規模を小さくすることができる。
【０２３３】
以上のように、画像処理装置１１では、第1の画像における注目画素に対応して設定される複数の画素（ｎ×ｍ画素）により構成されるクラスタップを抽出し、注目画素と、第１の画像と同一のフレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、注目画素と、第１の画像と異なるフレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、これらの相関係数に基づいた特徴量に応じて、注目画素をクラス分けするクラスを決定し、クラスに応じて、第１の画像よりも高画質な第２の画像における注目画素を予測する予測演算に用いるための画素であって、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とするパターンで配置された、第1の画像における注目画素に対応して設定される複数の画素により構成される予測タップを抽出し、クラスに応じて、予測演算に用いられる係数であって、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とする予測係数を選択し、予測タップと、予測係数とを用いて、第２の画像における注目画素を予測するので、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。
【０２３４】
また、学習装置７１では、第1の画像における注目画素に対応して設定される複数の画素（ｎ×ｍ画素）により構成されるクラスタップを抽出し、注目画素と、第１の画像と同一のフレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、注目画素と、第１の画像と異なるフレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、これらの相関係数とに基づいた特徴量に応じて、注目画素をクラス分けするクラスを決定し、クラス毎に、第１の画像よりも高画質な第２の画像における注目画素を予測する予測演算に用いるための画素であって、第1の画像における注目画素に対応して設定されるｎ×ｍ画素により構成される複数のパターンの予測タップを抽出し、クラス毎に、予測タップの複数のパターンのうち、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とする画素の配置のパターンを決定し、クラス毎に、複数のパターンの予測タップによる予測演算に用いられる複数の予測係数を算出し、クラス毎に、複数の予測係数のうち、予測演算の結果と、誤差を最小とする予測係数を決定するので、クラス毎に、最適な予測タップのパターンと予測係数とを学習することができ、結果として、画像処理装置１１において、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。クラス毎に、予測演算に用いられる予測係数を算出し、予測係数の係数値のうち、所定の値より小さい係数値を間引きすることで得られる予測係数のパターンにより、予測タップにおける画素の配置のパターンを決定し、クラス毎に、予測係数として、所定の値より小さい係数値が間引きされた予測係数を決定するので、クラス毎に、最適な予測タップのパターンと予測係数とを学習することができ、結果として、画像処理装置１１において、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。
【０２３５】
さらに、学習装置１７１では、第1の画像における注目画素に対応して設定される複数の画素（ｎ×ｍ画素）により構成されるクラスタップを抽出し、注目画素と、第１の画像と同一のフレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、注目画素と、第１の画像と異なるフレームにおいてクラスタップを構成するｎ×ｍ画素に対応する画素との相関係数を算出し、これらの相関係数とに基づいた特徴量に応じて、注目画素をクラス分けするクラスを決定し、クラス毎に、第１の画像よりも高画質な第２の画像における注目画素を予測する予測演算に用いるための画素であって、第1の画像における注目画素に対応して設定されるｎ×ｍ画素により構成される予測タップを抽出し、クラス毎に、予測タップにおいて、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とする画素の配置のパターンを決定し、クラス毎に、予測演算に用いられる予測係数を算出し、クラス毎に、予測係数において、予測演算の結果と、第２の画像における注目画素の画素値との誤差を最小とする予測係数を決定するので、クラス毎に、最適な予測タップのパターンと予測係数とを学習することができ、結果として、画像処理装置１１において、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。クラス毎に、予測演算に用いられる予測係数を算出し、予測係数の係数値のうち、所定の値より小さい係数値を間引きすることで得られる予測係数のパターンにより、予測タップにおける画素の配置のパターンを決定し、クラス毎に、予測係数として、所定の値より小さい係数値が間引きされた予測係数を決定するので、クラス毎に、最適な予測タップのパターンと予測係数とを学習することができ、結果として、画像処理装置１１において、ローカルな空間内における周波数分布、およびフレーム間の動きに対応して、より高画質な画像を生成することができる。
【０２３６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２３７】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２３９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２４０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２４１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２４２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２４３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２４４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２４５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２４６】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。
【図２】図１の画像処理装置における画像処理について説明するフローチャートである。
【図３】クラスタップの例を示す図である。
【図４】図３で示したクラスタップに対応した画素の位置における相関係数を示す図である。
【図５】非線形量子化の特性を示す図である。
【図６】非線形量子化された相関係数を示す図である。
【図７】クラスタップの例を示す図である。
【図８】時刻ｔにおける注目画素と、その注目画素を中心とした５×５画素と同一位相である時刻ｔ−１における５×５画素との相関係数を示す図である。
【図９】非線形量子化された相関係数を示す図である。
【図１０】予測係数を学習する学習装置の構成例を示すブロック図である。
【図１１】図１０の学習装置の正規方程式生成ブロックの構成例を示すブロック図である。
【図１２】図１０の学習装置の学習処理について説明するフローチャートである。
【図１３】正規方程式生成処理について説明するフローチャートである。
【図１４】予測タップのパターンの例を説明する図である。
【図１５】予測係数を学習する学習装置の他の構成例を示すブロック図である。
【図１６】図１５の学習装置の正規方程式生成ブロックの構成例を示すブロック図である。
【図１７】図１５の学習装置の学習処理について説明するフローチャートである。
【図１８】予測係数の係数値および画素の間引きについて説明する図である。
【図１９】正規方程式生成処理について説明するフローチャートである。
【図２０】本発明が適用される画像処理装置および学習装置として機能するコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２４７】
１１  画像処理装置，  ３１  クラス生成部，  ４１  クラスタップ抽出部，  ４２  相関係数算出部，  ４３  量子化部，  ４５，４６  クラスタップ抽出部，  ４７  相関係数算出部，  ４８  量子化部，  ４９  クラス合成部，  ５１  予測タップ選択部，  ５２  パターンメモリ，  ５４  係数選択部，  ５５  係数メモリ，  ５６  積和演算部，  ７１  学習装置，  ９１  正規方程式生成ブロック，  ９２  正規方程式記憶部，  ９５  正規方程式読込部，  ９６  係数算出部，  ９７  係数バッファ，  ９８  最小自乗誤差テーブル記憶部，  ９９  最小値検出部，  １００  パターン決定部，  １０１  係数決定部，  １３１  クラス生成部，  １３２  インデックスデコーダ，  １３４−１乃至１３４−Ｑ  予測タップ抽出部，  １３５−１−１乃至１３５−Ｑ−Ｐ  ＳＷ，  １３６−１−１乃至１３６−Ｑ−Ｐ  正規方程式生成部，  １７１  学習装置，  １９１  正規方程式生成ブロック，  １９２  正規方程式記憶部，  １９４  正規方程式読込部，  １９５  係数算出部，  １９６  係数バッファ，  １９７  係数読出部，  １９９  間引き部，  ２００  パターン決定部，  ２０１  係数決定部，  ２３１  クラス生成部，  ２３２  インデックスデコーダ，  ２３４  予測タップ抽出部，  ２３５−１乃至２３５−Ｐ  ＳＷ，  ２３６−１乃至２３６−Ｐ  正規方程式生成部
【図１】
2009284207.tif 000011
【図２】
2009284207.tif 000012
【図３】
2009284207.tif 000013
【図４】
2009284207.tif 000014
【図５】
2009284207.tif 000015
【図６】
2009284207.tif 000016
【図７】
2009284207.tif 000017
【図８】
2009284207.tif 000018
【図９】
2009284207.tif 000019
【図１０】
2009284207.tif 000020
【図１１】
2009284207.tif 000021
【図１２】
2009284207.tif 000022
【図１３】
2009284207.tif 000023
【図１４】
2009284207.tif 000024
【図１５】
2009284207.tif 000025
【図１６】
2009284207.tif 000026
【図１７】
2009284207.tif 000027
【図１８】
2009284207.tif 000028
【図１９】
2009284207.tif 000029
【図２０】
2009284207.tif 000030