(57)【要約】【課題】所定の処理ブロック単位で処理された画像の画質を向上させる。【解決手段】MPEG復号により得られた復号画像データの、注目している注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ複数の境界付近画素を含む画素を、クラスタップとして選択し、クラスタップとしての複数の境界付近画素のうちの、画素値の変化が最大の画素などの、画素値に所定の変化がある特定変化画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。本発明は、例えば、MPEG復号により得られた復号画像データを、ブロック歪みを除去した高画質の画像データに変換する場合等に適用できる。【選択図】図１１
2008118519.tif 000002
【特許請求の範囲】
【請求項１】
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する画像変換装置において、
前記第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像から選択する予測タップ選択手段と、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記第１の画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択手段と、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記クラスごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算手段と
を備え、
前記クラスタップ選択手段は、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素を、クラスタップとして選択し、
前記クラス分類手段は、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う
画像変換装置。
【請求項２】
前記クラス分類手段は、前記位置情報に基づくクラス分類として、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値の変化が最大の画素の位置を表す位置情報を少なくとも用いるクラス分類を行う
請求項１に記載の画像変換装置。
【請求項３】
前記第１の画像は、MPEG(Moving Picture Experts Group)方式で復号された復号画像である
請求項１に記載の画像変換装置。
【請求項４】
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する画像変換方法において、
前記第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像から選択する予測タップ選択ステップと、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記第１の画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップと、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記クラスごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力ステップと、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算ステップと
を含み、
前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素を、クラスタップとして選択し、
前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う
画像変換方法。
【請求項５】
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する画像変換処理を、コンピュータに実行させるプログラムにおいて、
前記第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像から選択する予測タップ選択ステップと、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記第１の画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップと、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記クラスごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力ステップと、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算ステップと
を含み、
前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素を、クラスタップとして選択し、
前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う
画像変換処理を、コンピュータに実行させるプログラム。
【請求項６】
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する予測演算に用いられるタップ係数を求める学習装置において、
前記第２の画像に相当する教師画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像に相当する生徒画像から選択する予測タップ選択手段と、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記生徒画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択手段と、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、
前記予測タップを用いた前記予測演算の結果と、前記注目画素の画素値との誤差を最小にする前記タップ係数を、前記クラスごとに求めるタップ係数算出手段と
を備え、
前記クラスタップ選択手段は、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素を、クラスタップとして選択し、
前記クラス分類手段は、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う
学習装置。
【請求項７】
前記クラス分類手段は、前記位置情報に基づくクラス分類として、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値の変化が最大の画素の位置を表す位置情報を少なくとも用いるクラス分類を行う
請求項６に記載の学習装置。
【請求項８】
前記教師画像は、MPEG(Moving Picture Experts Group)方式で符号化される前の画像である原画像であり、
前記生徒画像は、前記教師画像を、MPEG方式で符号化して復号することにより得られる復号画像である
請求項６に記載の学習装置。
【請求項９】
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する予測演算に用いられるタップ係数を求める学習方法において、
前記第２の画像に相当する教師画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像に相当する生徒画像から選択する予測タップ選択ステップと、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記生徒画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップと、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記予測タップを用いた前記予測演算の結果と、前記注目画素の画素値との誤差を最小にする前記タップ係数を、前記クラスごとに求めるタップ係数算出ステップと
を含み、
前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素を、クラスタップとして選択し、
前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う
学習方法。
【請求項１０】
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する予測演算に用いられるタップ係数を求める学習処理を、コンピュータに実行させるプログラムにおいて、
前記第２の画像に相当する教師画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像に相当する生徒画像から選択する予測タップ選択ステップと、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記生徒画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップと、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記予測タップを用いた前記予測演算の結果と、前記注目画素の画素値との誤差を最小にする前記タップ係数を、前記クラスごとに求めるタップ係数算出ステップと
を含み、
前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素を、クラスタップとして選択し、
前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う
学習処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラムに関し、特に、例えば、MPEG(Moving Picture Experts Group)方式で復号された復号画像などの、所定の処理ブロック単位で処理された画像の画質を向上させることができるようにする画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、MPEG方式の符号化及び復号（MPEG符号化及びMPEG復号）では、横×縦が8×8画素等のブロックの単位で、各種の処理が行われる。
【０００３】
すなわち、MPEG符号化では、空間（時間）領域の画像データが、ブロック単位でのDCT(Discrete Cosine Transform)変換によって、周波数領域のデータのDCT係数に変換され、さらに、ブロック単位のDCT係数が量子化される。また、MPEG復号でも、ブロック単位で、逆量子化や逆DCT等の処理が行われる。
【０００４】
MPEG符号化及びMPEG復号では、画像データを、ブロック単位で、空間上での相関関係を、特に考慮することなく処理する。このため、MPEG復号の結果得られる復号画像（データ）には、ブロックの境界部分、すなわち、水平方向と垂直方向に、等間隔で、直線状に、ブロック歪みと呼ばれるノイズが発生する。
【０００５】
ブロック歪みを低減する方法としては、ブロックの境界付近や、復号画像の全体に、フィルタ（ローパスフィルタ）をかける方法がある。
【０００６】
具体的には、例えば、ブロックの境界付近の画素の画素値に基づき、ブロック歪みが見えやすいかどうかが判定され、ブロック歪みが見えやすい部分に対して、フィルタがかけられる。
【０００７】
なお、フィルタをかける際には、復号画像の全体の動き（全画面動き）や、MPEG復号の対象の符号化データのビットレート、復号画像（MPEG符号化の対象の、MPEG符号化される前の画像（原画像））のサイズ等の付加情報に基づき、フィルタの強度（例えば、高周波成分を除去する程度）が調整されることがある。
【０００８】
また、H.264/AVC方式では、ブロック歪みを低減等するために、デブロッキングフィルタがかけられることがある。
【０００９】
ここで、本件出願人は、復号画像のブロック歪み等を、効率的に除去する方法の１つを、先に提案している（例えば、特許文献１を参照）。
【００１０】
【特許文献１】特開２００３−３２４７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、復号画像にフィルタをかけることにより、ブロック歪みを低減することができる。しかしながら、復号画像にフィルタをかけると、復号画像の全体が平滑化されることがあるため、ブロック歪みが低減される他に、復号画像の全体がぼやけ、その結果、鮮鋭感が損なわれることがある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、例えば、MPEG復号された復号画像などの、所定の処理ブロック単位で処理された画像の画質を向上させることができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の第１の側面の画像変換装置は、所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する画像変換装置であり、前記第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像から選択する予測タップ選択手段と、前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記第１の画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択手段と、前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記クラスごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段と、前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算手段とを備え、前記クラスタップ選択手段が、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素を、クラスタップとして選択し、前記クラス分類手段が、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００１４】
本発明の第１の側面の画像変換方法、又はプログラムは、所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する画像変換方法、又は画像変換処理を、コンピュータに実行させるプログラムであり、前記第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像から選択する予測タップ選択ステップと、前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記第１の画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップと、前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記クラスごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力ステップと、前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算ステップとを含み、前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素を、クラスタップとして選択し、前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００１５】
以上のような第１の側面においては、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素が、クラスタップとして選択され、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類が行われる。
【００１６】
本発明の第２の側面の学習装置は、所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する予測演算に用いられるタップ係数を求める学習装置であり、前記第２の画像に相当する教師画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像に相当する生徒画像から選択する予測タップ選択手段と、前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記生徒画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択手段と、前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、前記予測タップを用いた前記予測演算の結果と、前記注目画素の画素値との誤差を最小にする前記タップ係数を、前記クラスごとに求めるタップ係数算出手段とを備え、前記クラスタップ選択手段が、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素を、クラスタップとして選択し、前記クラス分類手段が、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００１７】
本発明の第２の側面の学習方法、又はプログラムは、所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する予測演算に用いられるタップ係数を求める学習方法、又は学習処理を、コンピュータに実行させるプログラムであり、前記第２の画像に相当する教師画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像に相当する生徒画像から選択する予測タップ選択ステップと、前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記生徒画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップと、前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、前記予測タップを用いた前記予測演算の結果と、前記注目画素の画素値との誤差を最小にする前記タップ係数を、前記クラスごとに求めるタップ係数算出ステップとを含み、前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素を、クラスタップとして選択し、前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００１８】
以上のような第２の側面においては、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素が、クラスタップとして選択され、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類が行われる。
【００１９】
なお、プログラムは、伝送媒体を介して伝送することもできるし、記録媒体に記録することもできる。
【発明の効果】
【００２０】
本発明の第１及び第２の側面によれば、所定の処理ブロック単位で処理された画像の画質を向上させることができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
本発明の第１の側面の画像変換装置は、
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する画像変換装置（例えば、図１の画像変換装置）であり、
前記第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像から選択する予測タップ選択手段（例えば、図１の予測タップ選択部１１２）と、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記第１の画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択手段（例えば、図１のクラスタップ選択部１１３）と、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段（例えば、図１のクラス分類部１１４）と、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記クラスごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段（例えば、図１の係数出力部１１５）と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算手段（例えば、図１の予測演算部１１６）と
を備え、
前記クラスタップ選択手段は、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素を、クラスタップとして選択し、
前記クラス分類手段は、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００２３】
本発明の第１の側面の画像変換方法、又はプログラムは、
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する画像変換方法、又は画像変換処理を、コンピュータに実行させるプログラムであり、
前記第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像から選択する予測タップ選択ステップ（例えば、図６のステップＳ１１２）と、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記第１の画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップ（例えば、図６のステップＳ１１２）と、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップ（例えば、図６のステップＳ１１３）と、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記クラスごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力ステップ（例えば、図６のステップＳ１１４）と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算ステップ（例えば、図６のステップＳ１１５）と
を含み、
前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記第１の画像の複数の画素を、クラスタップとして選択し、
前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００２４】
本発明の第２の側面の学習装置は、
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する予測演算に用いられるタップ係数を求める学習装置（例えば、図７の学習装置）であり、
前記第２の画像に相当する教師画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像に相当する生徒画像から選択する予測タップ選択手段（例えば、図８の予測タップ選択部１４２）と、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記生徒画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択手段（例えば、図８のクラスタップ選択部１４３）と、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段（例えば、図８のクラス分類部１４４）と、
前記予測タップを用いた前記予測演算の結果と、前記注目画素の画素値との誤差を最小にする前記タップ係数を、前記クラスごとに求めるタップ係数算出手段（例えば、図８のタップ係数算出部１４６）と
を備え、
前記クラスタップ選択手段は、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素を、クラスタップとして選択し、
前記クラス分類手段は、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００２５】
本発明の第２の側面の学習方法、又はプログラムは、
所定の処理ブロック単位で処理された第１の画像を、前記第１の画像よりも高画質の第２の画像に変換する予測演算に用いられるタップ係数を求める学習方法、又は学習処理を、コンピュータに実行させるプログラムであり、
前記第２の画像に相当する教師画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる複数の画素を、前記第１の画像に相当する生徒画像から選択する予測タップ選択ステップ（例えば、図９のステップＳ１２３）と、
前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いられるクラスタップとなる複数の画素を、前記生徒画像の、前記注目画素に対応する対応画素を含む処理ブロックである注目ブロックと、前記注目ブロックに隣接する処理ブロックである隣接ブロックとから選択するクラスタップ選択ステップ（例えば、図９のステップＳ１２３）と、
前記注目画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップ（例えば、図９のステップＳ１２４）と、
前記予測タップを用いた前記予測演算の結果と、前記注目画素の画素値との誤差を最小にする前記タップ係数を、前記クラスごとに求めるタップ係数算出ステップ（例えば、図９のステップＳ１２７）と
を含み、
前記クラスタップ選択ステップにおいて、前記注目ブロックと前記隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、前記生徒画像の複数の画素を、クラスタップとして選択し、
前記クラス分類ステップにおいて、前記クラスタップとしての一列に並ぶ複数の画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００２６】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２７】
図１は、本発明を適用した画像変換装置の一実施の形態の構成例を示すブロック図である。
【００２８】
図１の画像変換装置では、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理が行われる。
【００２９】
ここで、第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。
【００３０】
即ち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
【００３１】
また、例えば、第１の画像データを所定の画素数（画像サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理（サイズ変換）ということができる。
【００３２】
また、例えば、第１の画像データを低時間解像度の画像データとするとともに、第２の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
【００３３】
さらに、例えば、第１の画像データを、MPEG符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、MPEG符号化される前の原画像データとすれば、画像変換処理は、MPEG符号化及びMPEG復号によって生じるブロック歪み等の各種のノイズを除去するノイズ除去処理ということができる。
【００３４】
以上のように、画像変換処理によれば、第１及び第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。
【００３５】
図１の画像変換装置では、所定の処理ブロック単位で処理された第１の画像データを、その第１の画像よりも高画質の第２の画像データに変換する画像変換処理が、クラス分類適応処理によって行われる。
【００３６】
具体的には、例えば、横×縦が8×8画素のブロックの単位で処理されることによりMPEG復号された復号画像データを、第１の画像データとするとともに、その復号画像データよりも高画質の画像データ、すなわち、ここでは、復号画像データからブロック歪みを除去した歪み除去画像データを、第２の画像データとして、第１の画像データとしての復号画像データを、第２の画像データとしての歪み除去画像データに変換する画像変換処理が、クラス分類適応処理によって行われる。
【００３７】
クラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を、所定の一定の規則に従って複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた予測演算により、注目画素（の画素値）が求められる。なお、クラス分類適応処理の詳細については、後述する。
【００３８】
図１において、画像変換装置は、注目画素選択部１１１、予測タップ選択部１１２、クラスタップ選択部１１３、クラス分類部１１４、係数出力部１１５、及び予測演算部１１６から構成され、予測タップ選択部１１２及びクラスタップ選択部１１３には、図示せぬデコーダから、MPEG復号された復号画像データが、第１の画像データとして供給される。
【００３９】
注目画素選択部１１１は、第２の画像データとしての歪み除去画像データ（ここでは、まだ存在しないが、仮想的に想定する）を構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【００４０】
予測タップ選択部１１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択し、予測演算部１１６に供給する。
【００４１】
具体的には、予測タップ選択部１１２は、例えば、第１の画像データの画素のうちの、注目画素の位置に対応する位置（注目画素の時空間の位置に一致する、第１の画像データにおける時空間の位置）に最も近い画素を、対応画素として、その対応画素の近傍にある第１の画像データの複数の画素を、予測タップとして選択する。
【００４２】
クラスタップ選択部１１３は、注目画素を、一定の規則に従って、複数のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択し、クラス分類部１１４に供給する。
【００４３】
すなわち、クラスタップ選択部１１３は、例えば、予測タップ選択部１１２が予測タップを選択するのと同様に、対応画素の近傍にある第１の画像データの複数の画素を、クラスタップを選択する。
【００４４】
なお、予測タップとクラスタップは、同一のタップ構造（対応画素に対する位置関係）を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【００４５】
クラスタップ（さらには、予測タップ）とする第１の画像データの複数の画素の選択の具体的な方法については、後述する。
【００４６】
クラス分類部１１４は、クラスタップ選択部１１３からのクラスタップの特徴量に基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１１５に供給する。なお、クラス分類を行う具体的な方法については、後述する。
【００４７】
係数出力部１１５は、後述する学習によって求められたクラスごとのタップ係数を記憶しており、さらに、その記憶しているタップ係数のうちの、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１１６に供給される。
【００４８】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【００４９】
予測演算部１１６は、予測タップ選択部１１２から供給される予測タップと、係数出力部１１５が出力するタップ係数とを取得（受信）し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値（の予測値）、すなわち、第２の画像データとしての歪み除去画像データを構成する画素の画素値を求めて出力する。
【００５０】
次に、図２及び図３を参照して、図１のクラスタップ選択部１１３によるクラスタップの選択の方法について説明する。
【００５１】
図２は、第１の画像データとしての復号画像データのブロックを示している。
【００５２】
復号画像データは、横×縦が8×8画素のブロックの単位で処理されることによりMPEG復号された画像データであり、いま、8×8画素のブロックのうちの、対応画素を含むブロックを、注目ブロックというとともに、注目ブロックの上下左右に隣接するブロックを隣接ブロックということとする。
【００５３】
クラスタップ選択部１１３は、注目ブロックと、注目ブロックの上下左右それぞれの隣接ブロックとから、少なくとも、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ複数の画素を、クラスタップとして選択する。
【００５４】
すなわち、クラスタップ選択部１１３は、注目ブロックにおいて、対応画素（図２において、黒塗りの正方形で示す）、対応画素と同一の行に位置する、対応画素以外の７画素（図２において、右上がりの斜線を付した正方形で示す）、及び対応画素と同一の列に位置する、対応画素以外の７画素（図２において、右上がりの斜線を付した正方形で示す）の、合計で１５画素を、クラスタップとして選択する。
【００５５】
さらに、クラスタップ選択部１１３は、左の隣接ブロックにおいて、対応画素と同一の行に位置する、対応画素により近い２画素、右の隣接ブロックにおいて、対応画素と同一の行に位置する、対応画素により近い２画素、上の隣接ブロックにおいて、対応画素と同一の列に位置する、対応画素により近い２画素、及び下の隣接ブロックにおいて、対応画素と同一の列に位置する、対応画素により近い２画素の、合計で８画素（図２において、左上がりの斜線を付して示す）を、クラスタップとして選択する。
【００５６】
以上のように、クラスタップ選択部１１３は、対応画素を中心として、いわば、略十字形に並ぶ、全部で２３画素（＝１５画素＋８画素）を、クラスタップとして選択する。
【００５７】
ここで、図３に示すように、クラスタップ選択部１１３がクラスタップとして選択する２３画素において、水平方向に並ぶ１２画素のうちの左からh番目の画素を、画素H#hと記載するとともに、垂直方向に並ぶ１２画素のうちの上からv番目の画素を、画素V#vと記載する。
【００５８】
なお、対応画素は、クラスタップとしての２３画素において、水平方向に並ぶ画素H#hでもあり、垂直方向に並ぶ画素V#vでもある。
【００５９】
以上のように、クラスタップ選択部１１３は、注目ブロックの１５画素と、上下左右の隣接ブロックそれぞれの２画素との、合計で２３画素を、クラスタップとして選択する。その結果、クラスタップは、少なくとも、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ複数の画素を含むことになる。
【００６０】
すなわち、クラスタップは、注目ブロックと左の隣接ブロックとの境界に隣接する画素H#2及びH#3を含んで一列に並ぶ複数の画素としての、例えば、４画素H#1ないしH#4、注目ブロックと右の隣接ブロックとの境界に隣接する画素H#10及びH#11を含んで一列に並ぶ複数の画素としての、例えば、４画素H#9ないしH#12、注目ブロックと上の隣接ブロックとの境界に隣接する画素V#2及びV#3を含んで一列に並ぶ複数の画素としての、例えば、４画素V#1ないしV#4、並びに注目ブロックと下の隣接ブロックとの境界に隣接する画素V#10及びV#11を含んで一列に並ぶ複数の画素としての、例えば、４画素V#9ないしV#12を含む。
【００６１】
ここで、以下、適宜、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、例えば、上述した４画素のような複数の画素を、境界付近画素ともいう。
【００６２】
なお、予測タップ選択部１１２でも、クラスタップ選択部１１３がクラスタップとして選択する上述の２３画素を、予測タップとして選択することができる。
【００６３】
次に、図４及び図５を参照して、図１のクラス分類部１１４によるクラス分類の方法について説明する。
【００６４】
クラス分類部１１４は、クラスタップとしての一列に並ぶ複数の画素、すなわち、境界付近画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００６５】
具体的には、クラス分類部１１４は、図４上に示すように、クラスタップとしての２３画素において、注目ブロック内で水平方向に並ぶ８画素である水平画素H#3ないしH#10のうちの、隣接する水平画素H#hとH#h+1との画素値（例えば、輝度値）どうしの差分の絶対値（以下、適宜、画素間差分という）を、注目ブロック内の画素値の変化量として求める。
【００６６】
また、クラス分類部１１４は、図４下に示すように、クラスタップとしての２３画素において、注目ブロック内で垂直方向に並ぶ８画素である垂直画素V#3ないしV#10のうちの、隣接する水平画素V#vとV#v+1との画素値どうしの差分の絶対値である画素間差分を、やはり、注目ブロック内の画素値の変化量として求める。
【００６７】
ここで、注目ブロック内の画素値の変化量としての画素間差分は、水平方向と垂直方向のそれぞれについて、７個ずつ求められるので、合計で１４個の画素間差分が求められる。
【００６８】
クラス分類部１１４は、注目ブロック内の画素値の変化量としての１４個の画素間差分のうちの、最大値dmaxと最小値dminとを検出し、その最大値dmax及び最小値dminを用いて、１４個の画素間差分のダイナミックレンジdrとしての、最大値dmaxと最小値dminとの差分dmax-dminを求める。
【００６９】
そして、クラス分類部１１４は、注目ブロック内の画素値の変化量としての１４個の画素間差分と比較する閾値dthを、ダイナミックレンジdrに基づいて決定する。すなわち、クラス分類部１１４は、例えば、式dth=dr/4+dminを計算することにより、閾値dthを求める。
【００７０】
その後、クラス分類部１１４は、注目ブロック内の画素値の変化量としての１４個の画素間差分それぞれと、閾値dthとを比較し、その比較結果に基づき、各画素間差分に対して、閾値dthとの大小関係を表す１ビットの大小フラグ（タグ）を割り当てる。
【００７１】
すなわち、クラス分類部１１４は、閾値dth未満の画素間差分に対しては、値が0の大小フラグを割り当て、閾値dth以上の画素間差分に対しては、値が1の大小フラグを割り当てる。
【００７２】
そして、クラス分類部１１４は、注目ブロック内の画素値の変化量としての１４個の画素間差分それぞれに割り当てられた大小フラグを、所定の順番で並べ、その結果得られる、大小フラグの１４ビットのビット列を、第１のクラスコードdclassとする。
【００７３】
また、クラス分類部１１４は、図５上に示す、クラスタップとしての２３画素における、注目ブロックと隣接ブロックとの境界部分の境界付近画素、すなわち、注目ブロックと左の隣接ブロックとの境界付近の４画素である境界付近画素H#1ないしH#4、注目ブロックと右の隣接ブロックとの境界部分の４画素である境界付近画素H#9ないしH#12、注目ブロックと上の隣接ブロックとの境界付近の４画素である境界付近画素V#1ないしV#4、並びに注目ブロックと下の隣接ブロックとの境界付近の４画素である境界付近画素V#9ないしV#12のそれぞれについて、隣接する画素の画素値どうしの差分の絶対値である画素間差分を、注目ブロックの境界付近の画素値の変化量として求める。
【００７４】
ここで、注目ブロックと左の隣接ブロックとの境界付近の境界付近画素H#1ないしH#4を、左側境界付近画素と、注目ブロックと右の隣接ブロックとの境界部分の境界付近画素H#9ないしH#12を、右側境界付近画素と、注目ブロックと上の隣接ブロックとの境界付近の境界付近画素V#1ないしV#4を、上側境界付近画素と、注目ブロックと下の隣接ブロックとの境界付近の境界付近画素V#9ないしV#12を、下側境界付近画素と、それぞれいうこととすると、注目ブロックの境界付近の画素値の変化量としての画素間差分は、４画素の左側境界付近画素、４画素の右側境界付近画素、４画素の上側境界付近画素、又は４画素の下側境界付近画素のそれぞれについて、３個ずつ求められるので、図５下に両方向の矢印で示すように、合計で１２個の画素間差分が求められる。
【００７５】
なお、図５下において、横軸は画素の位置を表し、縦軸は画素値を表す。
【００７６】
クラス分類部１１４は、注目ブロックの境界付近の画素値の変化量としての１２個の画素間差分のうちの、最大値bmaxと最小値bminとを検出し、その最大値bmax及び最小値bminを用いて、１２個の画素間差分のダイナミックレンジbrとしての、最大値bmaxと最小値bminとの差分bmax-bminを求める。
【００７７】
そして、クラス分類部１１４は、注目ブロックの境界付近の画素値の変化量としての１２個の画素間差分と比較する閾値bthを、ダイナミックレンジbrに基づいて決定する。すなわち、クラス分類部１１４は、例えば、式bth=br/4+bminを計算することにより、閾値bthを求める。
【００７８】
その後、クラス分類部１１４は、注目ブロックの境界付近の画素値の変化量としての１２個の画素間差分それぞれと、閾値bthとを比較し、その比較結果に基づき、各画素間差分に対して、閾値bthとの大小関係を表す１ビットの大小フラグを割り当てる。
【００７９】
すなわち、クラス分類部１１４は、閾値bth未満の画素間差分に対しては、値が0の大小フラグを割り当て、閾値bth以上の画素間差分に対しては、値が1の大小フラグを割り当てる。
【００８０】
そして、クラス分類部１１４は、注目ブロックの境界付近の画素値の変化量としての１２個の画素間差分それぞれに割り当てられた大小フラグを、所定の順番で並べ、その結果得られる、大小フラグの１２ビットのビット列を、第２のクラスコードbclassとする。
【００８１】
さらに、クラス分類部１１４は、４画素の左側境界付近画素H#1ないしH#4、４画素の右側境界付近画素H#9ないしH#12、４画素の上側境界付近画素V#1ないしV#4、及び４画素の下側境界付近画素V#9ないしV#12の、合計で１６画素の境界付近画素のうちの、画素値に所定の変化がある画素を、特定変化画素として検出する。
【００８２】
すなわち、クラス分類部１１４は、１６画素の境界付近画素のうちの、画素値の変化が最大の画素、つまり、画素間差分が最大値bmaxとなる画素を検出する。例えば、図５下では、上側境界付近画素V#3とV#4の画素値どうしの画素間差分が最大値bmaxとなっており、この場合、上側境界付近画素V#3とV#4が、特定変化画素として検出される。
【００８３】
そして、クラス分類部１１４は、特定変化画素としての上側境界付近画素V#3とV#4の位置、すなわち、例えば、上側境界付近画素V#3とV#4との間の位置を表す位置情報としてのビット列を、第３のクラスコードbposとする。
【００８４】
ここで、図５の実施の形態では、注目ブロックの境界付近の画素値の変化量としての画素間差分は、１２個であり、したがって、画素間差分が最大値bmaxとなる特定変化画素は１２通り存在する。１２通りを表すことができる最小のビット列は４ビットであり、このため、第３のクラスコードbposとしては、４ビットが採用される。
【００８５】
クラス分類部１１４は、以上の、１４ビットの第１のクラスコードdclass、１２ビットの第２のクラスコードbclass、及び４ビットの第３のクラスコードbposを１つのビット列として並べ、その結果得られる３０ビットのビット列を、注目画素のクラスを表すクラスコードとして出力する。
【００８６】
以上のように、クラスタップ選択部１１３において、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、復号画像データの複数の境界付近画素を含む画素を、クラスタップとして選択し、クラス分類部１１４において、クラスタップとしての複数の境界付近画素のうちの、画素値の変化が最大の画素などの、画素値に所定の変化がある特定変化画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【００８７】
したがって、例えば、ブロック歪み等によって、画素値の変化が大になっている画素（特定変化画素）の位置を考慮して、クラス分類が行われるので、予測演算部１１６（図１）において、例えば、ブロック歪みが生じている位置に応じて、そのブロック歪みを低減するようなクラスのタップ係数を用いた予測演算が行われるようになり、高画質の歪み除去画像データとしての第２の画像データを得ることができる。
【００８８】
なお、上述の場合には、クラスコードが３０ビットであるため、クラスの総数が、２30クラスになる。係数出力部１１５が記憶すべきタップ係数の総数は、クラスの総数に比例するため、クラスの総数が大であると、係数出力部１１５として、容量の大きなメモリが必要となる。そこで、クラスの総数は、例えば、タップ係数が類似する値の複数のクラスを１つのクラスにするような、クラス数の縮退をして、ある程度の数以下にすることが望ましい。この場合、係数出力部１１５として採用するメモリの容量を小さくすることができる。
【００８９】
次に、図６のフローチャートを参照して、図１の画像変換装置による画像変換処理について説明する。
【００９０】
ステップＳ１１１において、注目画素選択部１１１は、画像変換装置に供給される第１の画像データとしての復号画像データに対する第２の画像データとしての歪み除去画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、処理は、ステップＳ１１２に進む。すなわち、注目画素選択部１１１は、例えば、第２の画像データとしての歪み除去画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものを、注目画素として選択する。
【００９１】
ステップＳ１１２において、予測タップ選択部１１２とクラスタップ選択部１１３が、そこに供給される第１の画像データとしての歪み除去画像データから、注目画素についての予測タップとクラスタップとする画素を、それぞれ選択する。
【００９２】
すなわち、クラスタップ選択部１１３は、図２及び図３で説明したように、注目画素について、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、復号画像データの４×４画素の境界付近画素を含む２３画素を、クラスタップとして選択し、クラス分類部１１４に供給する。
【００９３】
予測タップ選択部１１２は、注目画素について、クラスタップと同一の２３画素を、予測タップとして選択し、予測演算部１１６に供給する。
【００９４】
その後、処理は、ステップＳ１１２からステップＳ１１３に進み、クラス分類部１１４は、クラスタップ選択部１１３からの、注目画素についてのクラスタップに基づき、注目画素をクラス分類する。
【００９５】
すなわち、クラス分類部１１４は、図４及び図５で説明したように、注目画素についてのクラスタップとしての４×４画素の境界付近画素のうちの、画素値の変化が最大の画素を、特定変化画素として、その特定変化画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行い、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１１５に出力する。
【００９６】
そして、処理は、ステップＳ１１３からステップＳ１１４に進み、係数出力部１１５が、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、すなわち、注目画素のクラスのタップ係数を読み出して出力する。さらに、ステップＳ１１４では、予測演算部１１６が、係数出力部１１５が出力するタップ係数を取得し、処理は、ステップＳ１１５に進む。
【００９７】
ステップＳ１１５では、予測演算部１１６が、予測タップ選択部１１２が出力する予測タップと、係数出力部１１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値、すなわち、第２の画像データとしての歪み除去画像データの画素の画素値を求めて出力し、処理は、ステップＳ１１６に進む。
【００９８】
ステップＳ１１６では、注目画素選択部１１１が、まだ、注目画素としていない第２の画像データとしての歪み除去画像データの画素があるかどうかを判定する。ステップＳ１１６において、まだ、注目画素としていない第２の画像データの画素があると判定された場合、処理は、ステップＳ１１１に戻り、以下、同様の処理が繰り返される。
【００９９】
また、ステップＳ１１６において、まだ、注目画素とされていない第２の画像データの画素がないと判定された場合、画像変換処理は終了する。
【０１００】
次に、図１の予測演算部１１６における予測演算と、係数出力部１１５に記憶されたタップ係数の学習について説明する。
【０１０１】
いま、例えば、MPEG符号化される前の、ブロック歪みのない高画質の原画像データを第２の画像データとするとともに、その原画像データをMPEG符号化し、さらにMPEG復号して得られる復号画像データを第１の画像データとして、第１の画像データとしての復号画像データから予測タップを選択し、その予測タップとタップ係数を用いて、第２の画像データとしての原画像データの画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１０２】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、原画像データの画素（以下、適宜、高画質画素という）の画素値ｙは、次の線形１次式によって求められることになる。
【０１０３】
【数１】
2008118519.tif 000003
・・・（１）
【０１０４】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の復号画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１０５】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１０６】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によっ<て得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１０７】
【数２】
2008118519.tif 000004
・・・（２）
【０１０８】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１０９】
【数３】
2008118519.tif 000005
・・・（３）
【０１１０】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１１１】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１１２】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１１３】
【数４】
2008118519.tif 000006
・・・（４）
【０１１４】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１１５】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１１６】
【数５】
2008118519.tif 000007
・・・（５）
【０１１７】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１１８】
【数６】
2008118519.tif 000008
・・・（６）
【０１１９】
式（５）と（６）から、次式が得られる。
【０１２０】
【数７】
2008118519.tif 000009
・・・（７）
【０１２１】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１２２】
【数８】
2008118519.tif 000010
・・・（８）
【０１２３】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１２４】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１２５】
次に、図７は、式（８）の正規方程式をたてて解くことによりタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０１２６】
図７において、学習装置の学習用画像記憶部１３１は、タップ係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度が高い等高画質の画像データを用いることができる。
【０１２７】
教師画像データ生成部１３２は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、教師画像データ生成部１３２は、学習用画像データから、タップ係数の学習の教師（真値）、すなわち、式（１）による予測演算としての写像の写像先の画素値となる教師画像データを生成し、教師画像データ記憶部１３３に供給する。ここでは、教師画像データ生成部１３２は、例えば、学習用画像データの画素数を間引く等することにより、第２の画像データとしての歪み除去画像データ、つまり、図１の画像変換装置に供給される第１の画像データとしての復号画像データの元の、MPEG符号化される前の原画像データに相当する画像データを教師画像データとして生成し、教師画像データ記憶部１３３に供給する。
【０１２８】
教師画像データ記憶部１３３は、教師画像データ生成部１３２から供給される教師画像データを記憶する。
【０１２９】
生徒画像データ生成部１３４は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、生徒画像データ生成部１３４は、学習用画像データから、タップ係数の学習の生徒、すなわち、式（１）による予測演算としての写像による変換対象の画素値となる生徒画像データを生成し、生徒画像データ記憶部１３５に供給する。
【０１３０】
ここで、本実施の形態では、生徒画像データは、第１の画像データとしての復号画像データに相当し、生徒画像データ生成部１３４は、学習用画像データから教師画像データを生成し、さらに、その教師画像データをMPEG符号化し、MPEG復号することにより、復号画像データに相当する生徒画像データを生成する。
【０１３１】
生徒画像データ記憶部１３５は、生徒画像データ生成部１３４から供給される生徒画像データを記憶する。
【０１３２】
学習部１３６は、教師画像データ記憶部１３３に記憶された、原画像データに相当する教師画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒画像データ記憶部１３５に記憶された、復号画像データに相当する生徒画像データを構成する画素のうちの、図１の予測タップ選択部１１２が選択するのと同一のタップ構造の画素を、予測タップとして選択する。
【０１３３】
さらに、学習部１３６は、注目画素について、生徒画像データ記憶部１３５に記憶された生徒画像データを構成する画素のうちの、図１のクラスタップ選択部１１３が選択するのと同一のタップ構造の画素を、クラスタップとして選択し、そのクラスタップに基づき、図１のクラス分類部１１４と同一のクラス分類を行う。
【０１３４】
そして、学習部１３６は、教師画像データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
【０１３５】
すなわち、図８は、図７の学習部１３６の構成例を示している。
【０１３６】
注目画素選択部１４１は、教師画像データ記憶部１３３に記憶されている教師画像データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【０１３７】
予測タップ選択部１４２は、注目画素について、生徒画像データ記憶部１３５に記憶された生徒画像データを構成する画素から、図１の予測タップ選択部１１２が選択するの同一の画素を選択し、これにより、予測タップ選択部１１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部１４５に供給する。
【０１３８】
クラスタップ選択部１４３は、注目画素について、生徒画像データ記憶部１３５に記憶された生徒画像データとしての復号画像データを構成する画素から、図１のクラスタップ選択部１１３が選択するのと同一の画素を選択し、これにより、クラスタップ選択部１１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部１４４に供給する。
【０１３９】
クラス分類部１４４は、クラスタップ選択部１４３が出力するクラスタップに基づき、図１のクラス分類部１１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力する。
【０１４０】
足し込み部１４５は、教師画像データ記憶部１３３から、注目画素となっている教師画像データの画素を読み出し、その注目画素と、予測タップ選択部１４２から供給される注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部１４４から供給されるクラスコードごとに行う。
【０１４１】
すなわち、足し込み部１４５には、教師画像データ記憶部１３３に記憶された教師画像データ（注目画素）ｙk、予測タップ選択部１４２が出力する予測タップ（生徒画像データの画素）ｘn,k、クラス分類部１４４が出力するクラスコードが供給される。
【０１４２】
そして、足し込み部１４５は、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画像データの画素）ｘn,kを用い、式（８）の左辺の行列における生徒画像データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１４３】
さらに、足し込み部１４５は、やはり、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画像データの画素）ｘn,kと教師画像データ（注目画素）ｙkを用い、式（８）の右辺のベクトルにおける生徒画像データｘn,k及び教師画像データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１４４】
すなわち、足し込み部１４５は、前回、注目画素とされた教師画像データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、それぞれ、新たに注目画素とされた教師画像データについて、その教師画像データｙk+1及び生徒画像データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１４５】
そして、足し込み部１４５は、教師画像データ記憶部１３３（図７）に記憶された教師画像データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１４６に供給する。
【０１４６】
タップ係数算出部１４６は、足し込み部１４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１４７】
図１の画像変換装置における係数出力部１１５には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０１４８】
次に、図９のフローチャートを参照して、図７の学習装置の処理（学習処理）について、説明する。
【０１４９】
まず最初に、ステップＳ１２１において、教師画像データ生成部１３２と生徒画像データ生成部１３４が、学習用画像記憶部１３１に記憶された学習用画像データから、教師画像データと生徒画像データを生成し、教師画像データ記憶部１３３と生徒画像データ記憶部１３５にそれぞれ供給して記憶させる。
【０１５０】
その後、処理は、ステップＳ１２１からステップＳ１２２に進み、学習部１３６（図８）において、注目画素選択部１４１は、教師画像データ記憶部１３３に記憶された教師画像データのうち、まだ、注目画素としていない画素を、注目画素として選択し、処理は、ステップＳ１２３に進む。ステップＳ１２３では、予測タップ選択部１４２が、注目画素について、生徒画像データ記憶部１３５に記憶された生徒画像データから予測タップとする生徒画像データの画素を選択し、足し込み部１４５に供給するとともに、クラスタップ選択部１４３が、やはり、注目画素について、生徒画像データ記憶部１３５に記憶された生徒画像データからクラスタップとする生徒画像データの画素を選択し、クラス分類部１４４に供給する。
【０１５１】
そして、処理は、ステップＳ１２３からステップＳ１２４に進み、クラス分類部１４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力して、処理は、ステップＳ１２５に進む。
【０１５２】
ステップＳ１２５では、足し込み部１４５は、教師画像データ記憶部１３３から、注目画素を読み出し、その注目画素と、予測タップ選択部１４２から供給される注目画素について選択された予測タップを構成する生徒画像データの画素とを対象とした式（８）の足し込みを、クラス分類部１４４から供給されるクラスコードごとに行い、処理は、ステップＳ１２６に進む。
【０１５３】
ステップＳ１２６では、注目画素選択部１４１が、教師画像データ記憶部１３３に、まだ、注目画素としていない教師画像データが記憶されているかどうかを判定する。ステップＳ１２６において、注目画素としていない教師画像データが、まだ、教師画像データ記憶部１３３に記憶されていると判定された場合、処理は、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
【０１５４】
また、ステップＳ１２６において、注目画素としていない教師画像データが、教師画像データ記憶部１３３に記憶されていないと判定された場合、足し込み部１４５は、いままでのステップＳ１２２乃至Ｓ１２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部１４６に供給し、処理は、ステップＳ１２７に進む。
【０１５５】
ステップＳ１２７では、タップ係数算出部１４６は、足し込み部１４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１５６】
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１４６は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１５７】
以上のように、図７の学習装置では、学習部１３６（図８）のクラスタップ選択部１４３において、図１のクラスタップ選択部１１３と同一のタップ構造のクラスタップを選択し、クラス分類部１４４において、図１のクラス分類部１１４と同一のクラス分類が行われる。
【０１５８】
すなわち、クラスタップ選択部１４３において、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、復号画像データに相当する生徒画像データの複数の境界付近画素を含む画素を、クラスタップとして選択し、クラス分類部１４４において、クラスタップとしての複数の境界付近画素のうちの、画素値の変化が最大の画素などの、画素値に所定の変化がある特定変化画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【０１５９】
したがって、例えば、ブロック歪み等によって、画素値の変化が大になっている画素の特定変化画素の位置を考慮して、クラス分類が行われるので、ブロック歪みが生じている位置に応じて、そのブロック歪みを低減するようなクラスのタップ係数を得ることができる。
【０１６０】
さらに、図１の画像変換装置では、そのようなタップ係数を用いた予測演算が行われ、高画質の歪み除去画像データとしての第２の画像データを得ることができる。
【０１６１】
なお、図１の画像変換装置、及び図７の学習装置によれば、ブロック歪みの他、モスキートノイズを低減することも可能である。
【０１６２】
次に、図１０は、図１の予測タップ選択部１１２（及び図８の予測タップ選択部１４２）で予測タップとして選択する第１の画像データの画素の他の実施の形態を示している。
【０１６３】
予測タップとしては、図１０に示すように、対応画素、対応画素の左に連続して隣接する４画素、対応画素の左に連続して隣接する４画素、対応画素の上に連続して隣接する４画素、及び対応画素の下に連続して隣接する４画素の、合計で１７画素を選択することができる。
【０１６４】
以上のように、対応画素、対応画素の左に連続して隣接する４画素、対応画素の左に連続して隣接する４画素、対応画素の上に連続して隣接する４画素、及び対応画素の下に連続して隣接する４画素の、合計で１７画素を、予測タップとして選択することにより、予測タップには、注目ブロックの上下左右に隣接する４つの隣接ブロックのうちの、対応画素により近い２つの隣接ブロックの境界の画素が含まれることになるので、注目ブロックの画素のみならず、隣接ブロックの画素を加味して予測演算を行うこと（及び予測演算に用いるタップ係数の学習を行うこと）ができる。
【０１６５】
なお、その他、予測タップとしては、対応画素の左斜め方向や右斜め方向に連続して隣接する１以上の画素をも含めて選択することができる。
【０１６６】
次に、図１１ないし図１４は、図１のクラスタップ選択部１１３（及び図８のクラスタップ選択部１４３）でクラスタップとして選択する第１の画像データの画素の他の実施の形態を示している。
【０１６７】
クラスタップとしては、例えば、図１１ないし図１４に示すように、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ複数の画素である、図２ないし図５で説明した４画素の左側境界付近画素（画素H#1ないしH#4（図３））、４画素の右側境界画素（画素H#9ないしH#12）、４画素の上側境界付近画素（画素V#1ないしV#4）、及び４画素の下側境界付近画素（画素V#9ないしV#12）のうちの、対応画素により近い２セットの境界付近画素である８画素を選択することができる。
【０１６８】
すなわち、対応画素が、8×8画素の注目ブロックの左上の横×縦が4×4画素のうちのいずれかである場合には、図１１に示すように、４画素の左側境界付近画素と、４画素の上側境界付近画素とを、クラスタップとして選択することができる。
【０１６９】
また、対応画素が、注目ブロックの左下の4×4画素のうちのいずれかである場合には、図１２に示すように、４画素の左側境界付近画素と、４画素の下側境界付近画素とを、クラスタップとして選択することができる。
【０１７０】
さらに、対応画素が、注目ブロックの右下の4×4画素のうちのいずれかである場合には、図１３に示すように、４画素の右側境界付近画素と、４画素の下側境界付近画素とを、クラスタップとして選択することができる。
【０１７１】
また、対応画素が、注目ブロックの右上の4×4画素のうちのいずれかである場合には、図１４に示すように、４画素の右側境界付近画素と、４画素の上側境界付近画素とを、クラスタップとして選択することができる。
【０１７２】
なお、MPEG符号化し、MPEG復号することにより得られる復号画像データ（生徒画像データ）から、クラスタップ（予測タップについても同様）として、注目ブロックの画素と、隣接ブロックの画素とを選択する場合には、いわば位置関係の相関がある画素（位置関係が対応する画素）を選択するために、DCTタイプを考慮して、クラスタップとする画素を選択することが望ましい。
【０１７３】
すなわち、MPEG符号化では、マクロブロックに、フィールドDCT、又はフレームDCTのうちのいずれかのDCTタイプが設定されて、そのマクロブロックを構成するブロックに、DCT等の処理が施される。
【０１７４】
ここで、図１５は、輝度信号の、横×縦が２×２個のブロックを有するマクロブロックを示している。
【０１７５】
すなわち、図１５左は、横×縦が16×16画素のマクロブロックを示している。
【０１７６】
マクロブロックのDCTタイプが、フレームDCTである場合、MPEG符号化では、マクロブロックは、図１５右上に示すように、奇数ラインの画素（図中、斜線を付してある部分）と、偶数ラインの画素（図中、白抜きの部分）とが交互に並んだ、いわゆるフレーム構造の8×8画素のブロックに分割されて処理される。
【０１７７】
一方、マクロブロックのDCTタイプが、フィールドDCTである場合、MPEG符号化では、マクロブロックは、図１５右下に示すように、奇数ラインの画素のみのブロックと、偶数ラインの画素のみのブロックとの、いわゆるフィールド構造の8×8画素のブロックに分割されて処理される。
【０１７８】
したがって、クラスタップとして、垂直方向に並ぶ４画素の上側境界付近画素、又は４画素の下側境界付近画素を選択する場合には、DCTタイプを考慮することが望ましい。
【０１７９】
すなわち、例えば、いま、説明を簡単にするため、マクロブロックの２×２個のブロックのうちの、左上のブロックを注目ブロックとして、４画素の上側境界付近画素を、クラスタップとして選択することとし、また、注目ブロックを含むマクロブロックの上に隣接するマクロブロックのDCTタイプが、フレームDCTであるとする。
【０１８０】
図１６は、注目ブロックを含むマクロブロックのDCTタイプがフレームDCTである場合に、クラスタップとして選択すべき４画素の上側境界付近画素（図中、黒で塗りつぶした正方形で示す部分）を示している。
【０１８１】
４画素の上側境界付近画素は、注目ブロックの上から１番目の画素及び２番目の画素と、注目ブロックの上に隣接するブロック（以下、適宜、上側ブロックという）の２つの画素とからなる。
【０１８２】
注目ブロックを含むマクロブロックのDCTタイプがフレームDCTであり、したがって、注目ブロックがフレーム構造となっている場合、図１６に示すように、フレーム構造の注目ブロックの上から１番目の画素と２番目の画素との位置関係は、注目ブロックと同一のフレーム構造の上側ブロックの上から８番目（下から１番目）の画素と、上から７番目（下から２番目）の画素との位置関係に対応する。
【０１８３】
したがって、位置関係の相関がある画素をクラスタップとして選択するには、注目ブロックの上から１番目の画素及び２番目の画素と、上側ブロックの上から８番目（下から１番目）の画素、及び上から７番目（下から２番目）の画素との、４画素を、クラスタップとして選択する必要がある。
【０１８４】
一方、図１７は、注目ブロックを含むマクロブロックのDCTタイプがフィールドDCTである場合に、クラスタップとして選択すべき４画素の上側境界付近画素（図中、黒で塗りつぶした正方形で示す部分）を示している。
【０１８５】
注目ブロックを含むマクロブロックのDCTタイプがフィールドDCTであり、したがって、注目ブロックがフィールド構造となっている場合、図１６に示すように、フィールド構造の注目ブロックは、その注目ブロックを含むマクロブロックの奇数ラインの画素だけから構成される。そして、かかるフィールド構造の注目ブロックの上から１番目の画素と２番目の画素との位置関係は、注目ブロックと異なるフレーム構造の上側ブロックの奇数ラインの画素である、上から７番目の画素と、上から５番目の画素との位置関係に対応する。
【０１８６】
したがって、位置関係の相関がある画素をクラスタップとして選択するには、注目ブロックの上から１番目の画素及び２番目の画素と、上側ブロックの上から７番目の画素、及び上から５番目の画素との、４画素を、クラスタップとして選択する必要がある。
【０１８７】
次に、図１８を参照して、図１１ないし図１４で説明したように、クラスタップとして、対応画素により近い２セットの境界付近画素である８画素が選択される場合の、図１のクラス分類部１１４（及び図８のクラス分類部１４４）で行われるクラス分類について説明する。
【０１８８】
図１８上から１番目は、対応画素が、注目ブロックの左上の横×縦が4×4画素のうちのいずれかである場合に選択される２セットの境界付近画素を示している。
【０１８９】
図１１で説明したように、対応画素が、注目ブロックの左上の横×縦が4×4画素のうちのいずれかである場合には、４画素の左側境界付近画素と、４画素の上側境界付近画素とが、クラスタップとして選択される。
【０１９０】
ここで、図２ないし図５の場合と同様に、４画素の左側境界付近画素のうちの左からh番目の画素を、画素H#hと表すとともに、４画素の上側境界付近画素のうちの上からv番目の画素を、画素V#vと表す。
【０１９１】
クラス分類部１１４は、クラスタップとしての一列に並ぶ複数の画素、すなわち、境界付近画素のうちの、画素値に所定の変化がある画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行う。
【０１９２】
具体的には、クラス分類部１１４は、図１８上から２番目に示すように、４画素の左側境界付近画素H#1ないしH#4について、隣接する画素の画素値どうしの差分の絶対値である画素間差分を、注目ブロックの境界付近の画素値の変化量として求める。
【０１９３】
ここで、４画素の左側境界付近画素H#1ないしH#4については、画素H#1とH#2との間の画素間差分diff[0]、画素H#2とH#3との間の画素間差分diff[1]、及び画素H#3とH#4との間の画素間差分diff[2]の、３個の画素間差分が、注目ブロックの境界付近の画素値の変化量として求められる。
【０１９４】
また、クラス分類部１１４は、図１８上から２番目に示すように、４画素の左側境界付近画素H#1ないしH#4の画素値のうちの、最大値と最小値との差分であるダイナミックレンジDRを求める。なお、ダイナミックレンジDRは、４画素の左側境界付近画素H#1ないしH#4の画素値の並びが表す波形のアクティビディ（変化量）を表す。
【０１９５】
そして、クラス分類部１１４は、注目ブロックの境界付近の画素値の変化量としての３個の画素間差分diff[0]ないし画素間差分diff[2]と比較する閾値dthを、ダイナミックレンジDRに基づいて決定する。すなわち、クラス分類部１１４は、例えば、式Dth=DR/2を計算することにより、閾値Dthを求める。
【０１９６】
その後、クラス分類部１１４は、注目ブロックの境界付近の画素値の変化量としての３個の画素間差分diff[0]ないし画素間差分diff[2]それぞれと、閾値Dthとを比較し、その比較結果に基づき、画素間差分diff[0]ないし画素間差分diff[2]のそれぞれに対して、閾値Dthとの大小関係を表す１ビットの大小フラグclass[0]ないしclass[2]それぞれを割り当てる。
【０１９７】
すなわち、クラス分類部１１４は、図１８上から３番目に示すように、閾値Dth未満の画素間差分diff[i](i=0,1,2)に対しては、値が0の大小フラグclass[i]を割り当て、閾値Dth以上の画素間差分diff[i]に対しては、値が1の大小フラグclass[i]を割り当てる。
【０１９８】
さらに、クラス分類部１１４は、４画素の左側境界付近画素H#1ないしH#4のうちの、画素値に所定の変化がある画素の位置を表す位置情報を検出する。
【０１９９】
すなわち、クラス分類部１１４は、４画素の左側境界付近画素H#1ないしH#4のうちの、画素値の変化が最大の画素の位置、つまり、画素間差分diff[0]ないし画素間差分diff[2]のうちの、最大の画素間差分diff[i]のサフィックス#iを検出し、画素値に所定の変化がある画素の位置を表す位置情報（がセットされる変数）maxposにセットする。
【０２００】
なお、ここでは、画素間差分diff[i]のサフィックス#iは、0,1,2のいずれかをとるので、そのサフィックス#iがセットされる位置情報maxposとしては、２ビットの変数を採用することができる。
【０２０１】
クラス分類部１１４は、以上の、大小フラグclass[0]ないしclass[2]と、２ビットの位置情報maxposとを、１つのビット列として並べ、その結果得られる５ビットのビット列を、注目画素の、いわば水平方向についてのクラスを表すクラスコードとして得る。
【０２０２】
さらに、クラス分類部１１５は、４画素の上側境界付近画素V#1ないしV#4についても、４画素の左側境界付近画素H#1ないしH#4と同様の処理を行い、５ビットのビット列を、注目画素の、いわば垂直方向についてのクラスを表すクラスコードとして得る。
【０２０３】
そして、クラス分類部１１４は、例えば、５ビットの水平方向についてのクラスを表すクラスコードと、５ビットの垂直方向についてのクラスを表すクラスコードとを、１つのビット列として並べた１０ビットのビット列を、注目画素のクラスを表すクラスコードとして出力する。
【０２０４】
なお、大小フラグclass[0]ないしclass[2]と、２ビットの位置情報maxposとを、１つのビット列として並べた５ビットのビット列であるクラスコードのうちの、位置情報maxposは、注目ブロックの境界付近での画素値の大きな変化が、ブロック歪みであるか、又はエッジであるのかを判定するための、いわば位相情報として機能する。つまり、位置情報maxposによれば、境界付近画素どうしの画素間差分が最大となる位置が、ブロックの境界か否かによって、注目画素が異なるクラスにクラス分類される。
【０２０５】
また、大小フラグclass[0]ないしclass[2]と、２ビットの位置情報maxposとを、１つのビット列として並べた５ビットのビット列であるクラスコードのうちの、大小フラグclass[0]ないしclass[2]は、境界付近画素の画素値の並びが表す波形の変化の具合を表す。したがって、大小フラグclass[0]ないしclass[2]によれば、ブロック歪みが目立つかどうかによって、注目画素が異なるクラスにクラス分類される。
【０２０６】
すなわち、境界付近画素の画素値の並びが表す波形の変化が複雑である場合、ブロック歪みは目立ちにくい。また、境界付近画素のうちの、注目ブロックの境界の画素の画素値の変化（注目ブロックの境界に接する画素の画素値どうしの差分）が、他の画素の画素値の変化に比べて大である場合には、ブロック歪みが目立つ。
【０２０７】
一方、境界付近画素の画素値の並びが表す波形の変化が複雑である場合と、境界付近画素のうちの、注目ブロックの境界の画素の画素値の変化が、他の画素の画素値の変化に比べて大である場合とで、３ビットのビット列である大小フラグclass[0]ないしclass[2]は、異なる値となる。したがって、大小フラグclass[0]ないしclass[2]によれば、注目ブロックのブロック歪みが目立つかどうかによって、注目画素が異なるクラスにクラス分類される。
【０２０８】
次に、図１９及び図２０は、本件発明者が行ったシミュレーションの結果を示している。
【０２０９】
すなわち、図１９は、MPEG復号の結果得られた復号画像データと、その復号画像データを第１の画像データとして、図１の画像変換装置で画像変換処理を行うことにより得られた第２の画像データとしての歪み除去画像データとを示している。
【０２１０】
なお、図１９において、横軸は、水平方向に並ぶ画素の位置を表し、縦軸は、画素値のうちの輝度を表す。
【０２１１】
図１９によれば、歪み除去画像データにおいて、復号画像データで生じているブロック歪み（図中、楕円で囲んである部分）が低減されている。
【０２１２】
図２０は、MPEG復号の結果得られた復号画像データと、その復号画像データを第１の画像データとして、図１の画像変換装置で画像変換処理を行うことにより得られた第２の画像データとしての歪み除去画像データとのそれぞれの画素間差分の総和を示している。
【０２１３】
すなわち、シミュレーションでは、６つのコンテンツAないしFを原画像データとして、その原画像データAないしFそれぞれを、MPEG符号化し、MPEG復号して、復号画像データを得た。
【０２１４】
さらに、シミュレーションでは、６つの原画像データAないしFに対応する復号画像データを第１の画像データとして、位置情報を含まないクラスコードを出力するクラス分類（位置情報なしのクラス分類）を用いた画像変換処理と、位置情報を含むクラスコードを出力するクラス分類（位置情報ありのクラス分類）を用いた画像変換処理とを行い、第２の画像データとしての歪み除去画像データを求めた。
【０２１５】
図２０において、「MPEG復号画像」の欄は、６つの原画像データAないしFに対応する復号画像データそれぞれの画素間差分の総和を示している。また、「歪み除去画像X」の欄は、６つの原画像データAないしFに対応する復号画像データに対して位置情報なしのクラス分類を用いた画像変換処理を施すことによって得られた歪み除去画像データそれぞれの画素間差分の総和を示している。さらに、「歪み除去画像Y」の欄は、６つの原画像データAないしFに対応する復号画像データに対して位置情報ありのクラス分類を用いた画像変換処理を施すことによって得られた歪み除去画像データそれぞれの画素間差分の総和を示している。
【０２１６】
なお、図２０において、画素間差分の総和として示してある値は、４０フレーム分の画素間差分の総和の、１フレームあたりの平均値である。また、かっこ内の値は、原画像データを信号成分としたSNR(Signal to Noise Ratio)の平均値である。
【０２１７】
図２０から、位置情報なしのクラス分類を用いた画像変換処理よりも、位置情報ありのクラス分類（位置情報に基づくクラス分類）を用いた画像変換処理の方が、効果的であることが分かる。
【０２１８】
以上のように、注目ブロックと隣接ブロックとの境界に隣接する画素を含んで一列に並ぶ、復号画像データ（生徒画像データ）の複数の境界付近画素を含む画素を、クラスタップとして選択し、クラスタップとしての複数の境界付近画素のうちの、画素値の変化が最大の画素などの、画素値に所定の変化がある特定変化画素の位置を表す位置情報を少なくとも用いるクラス分類である位置情報に基づくクラス分類を行うことにより、画像の鮮鋭度を損なわずに、ブロック歪みを除去（低減）し、高画質の歪み除去画像データを得ることができる。
【０２１９】
なお、位置情報に基づくクラス分類は、そのクラス分類により得られたクラスコードに基づき、復号画像データをフィルタリングするフィルタのフィルタ強度を切り替えることに適用することが可能である。
【０２２０】
また、地上波ディジタル放送では、送信側において、横×縦が1920×1080画素の画像を、1440×1080画素の画像に縮小してから、MPEG符号化し、 受信側で、1440×1080画素の画像をMPEG復号してから、元の1920×1080画素のサイズの復号画像に拡大することが行われるが、位置情報に基づくクラス分類を用いた画像変換処理は、そのような拡大画像を対象として行うこともできる。但し、拡大画像を対象とする場合には、予測タップ、及びクラスタップとしては、拡大画像上のブロックの境界をまたぐ、より多くの画素を選択し、また、クラスコードには、位相および波形の情報が含まれるようにすることが望ましい。
【０２２１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２２】
そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０２２４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２２５】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２２６】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２２７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２２９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３０】
すなわち、例えば、境界付近画素は、４画素に限定されるものではなく、２画素や、３画素、５画素以上であってもよい。
【０２３１】
さらに、クラスコードに含める位置情報としては、境界付近画素どうしの画素間差分が最大の位置の他、画素間差分が最小の位置や、画素間差分が２番目に大きい位置、あるいは、それらの位置の２以上の情報を採用することが可能である。
【０２３２】
また、本実施の形態では、MPEG復号によって得られる復号画像データを、画像変換処理の対象の第１の画像データとしたが、画像変換処理の対象は、MPEG復号して得られる復号画像データに限られるものではない。
【０２３３】
すなわち、画像変換処理は、所定の処理ブロック単位で処理された画像データ、具体的には、例えば、ベクトル量子化を利用して処理された画像データや、ADRC(Adaptive Dynamic Range Coding)を利用した処理された画像データ等を採用することができる。
【０２３４】
ここで、ベクトル量子化を利用して処理された画像データとは、例えば、画像データを所定の処理ブロックに分割し、その処理ブロックの各画素の画素値をコンポーネントとするベクトルをベクトル量子化し、ベクトル逆量子化して得られる画像データである。
【０２３５】
また、ADRCを利用して処理された画像データとは、ADRC符号化され、ADRC復号された画像データである。
【０２３６】
なお、ADRC符号化では、画像データが所定の処理ブロックに分割され、処理ブロックを構成する画素の画素値の最大値MAXと最小値MINが検出され、D=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDに基づいて、処理ブロックを構成する各画素の画素値がKビットに再量子化される。すなわち、処理ブロックを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、処理ブロックを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRC符号化の結果として出力される。一方、ADRC復号では、ADRC符号化の結果としてのビット列を構成する各画素のKビットの画素値に対して、ADRC符号化の逆の手順の処理が施される。
【図面の簡単な説明】
【０２３７】
【図１】本発明を適用した画像変換装置の一実施の形態の構成例を示すブロック図である。
【図２】クラスタップの例を示す図である。
【図３】クラスタップの例を示す図である。
【図４】クラス分類の例を説明する図である。
【図５】クラス分類の例を説明する図である。
【図６】画像変換装置による画像変換処理を説明するフローチャートである。
【図７】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図８】学習装置の学習部１３６の構成例を示すブロック図である。
【図９】学習装置による学習処理を説明するフローチャートである。
【図１０】予測タップの例を示す図である。
【図１１】クラスタップの例を示す図である。
【図１２】クラスタップの例を示す図である。
【図１３】クラスタップの例を示す図である。
【図１４】クラスタップの例を示す図である。
【図１５】DCTタイプを説明する図である。
【図１６】DCTタイプがフレームDCTである場合のクラスタップを示す図である。
【図１７】DCTタイプがフィールドDCTである場合のクラスタップを示す図である。
【図１８】クラス分類の例を説明する図である。
【図１９】シミュレーションの結果を示す図である。
【図２０】シミュレーションの結果を示す図である。
【図２１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２３８】
１１１  注目画素選択部，  １１２  予測タップ選択部，１１３  クラスタップ選択部，  １１４  クラス分類部，  １１５  係数出力部，  １１６  予測演算部，  １３１  学習用画像記憶部，  １３２  教師画像データ生成部，  １３３  教師画像データ記憶部，  １３４  生徒画像データ生成部，  １３５  生徒画像データ記憶部，  １３６  学習部，  １４１  注目画素選択部，  １４２  予測タップ選択部，１４３  クラスタップ選択部，  １４４  クラス分類部，  １４５  足し込み部，  １４６  タップ係数算出部，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2008118519.tif 000011
【図２】
2008118519.tif 000012
【図３】
2008118519.tif 000013
【図４】
2008118519.tif 000014
【図５】
2008118519.tif 000015
【図６】
2008118519.tif 000016
【図７】
2008118519.tif 000017
【図８】
2008118519.tif 000018
【図９】
2008118519.tif 000019
【図１０】
2008118519.tif 000020
【図１１】
2008118519.tif 000021
【図１２】
2008118519.tif 000022
【図１３】
2008118519.tif 000023
【図１４】
2008118519.tif 000024
【図１５】
2008118519.tif 000025
【図１６】
2008118519.tif 000026
【図１７】
2008118519.tif 000027
【図１８】
2008118519.tif 000028
【図１９】
2008118519.tif 000029
【図２０】
2008118519.tif 000030
【図２１】
2008118519.tif 000031