(57)【要約】【課題】効果的にノイズを除去して、高画質の画像データを得る。【解決手段】画像縮小フィルタ１０１は、所定のブロック単位で符号化された画像データを、所定のブロック単位で復号することで得られた出力画像データを、第１の縮小拡大画像データに縮小し、画像変換部１０２は、所定の係数を用いて、第１の縮小拡大画像データを、第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換する。画像拡大フィルタ１０３は、第２の縮小拡大画像データを、出力画像データと同一の画素数の画像データに拡大する。本発明は、例えば、テレビジョン受像機に適用することができる。【選択図】図２
2008124641.tif 000002
【特許請求の範囲】
【請求項１】
所定のブロック単位で符号化された画像データを、前記所定のブロック単位で復号するデコーダが出力する出力画像データを処理する画像処理装置において、
前記出力画像データを、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大する第１の縮小拡大手段と、
前記所定のブロック単位で符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データを、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換する画像変換手段と、
前記第２の縮小拡大画像データを、前記出力画像データと同一の画素数の画像データに、縮小または拡大する第２の縮小拡大手段と
を備える画像処理装置。
【請求項２】
前記画像変換手段は、
前記第１の縮小拡大画像データの注目している画素である注目画素に対応する、前記第２の縮小拡大画像データの画素を予測する前記予測演算に用いる複数の画素を、前記第１の縮小拡大画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の縮小拡大画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記学習によりあらかじめ求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、
前記係数出力手段により出力された係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記第２の縮小拡大画像データの画素を求める予測演算手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記デコーダは、原画像を前記所定の画素数に縮小または拡大して得られる画像データを、前記所定のブロック単位で符号化した符号化結果を対象に、前記所定のブロック単位で復号を行い、その復号によって得られる復号画像データを、前記原画像と同一の画素数の画像データに縮小または拡大した画像データを、前記出力画像データとして出力する
請求項１に記載の画像処理装置。
【請求項４】
前記出力画像データにおける前記所定のブロックのブロックサイズを判定する判定手段をさらに備え、
前記画像変換手段は、
前記出力画像データにおける前記所定のブロックのブロックサイズと、前記デコーダが復号を行うことによって得られる復号画像データにおける前記所定のブロックのブロックサイズとが異なる場合に、前記第１の縮小拡大画像データと前記所定の係数とを用いて、前記第１の縮小拡大画像データを、前記第２の縮小拡大画像データに変換し、
前記出力画像データにおける前記所定のブロックのブロックサイズと、前記デコーダが復号を行うことによって得られる復号画像データにおける前記所定のブロックのブロックサイズとが一致する場合に、前記出力画像データと前記所定の係数とを用いて、前記出力画像データを、前記出力画像データよりも高画質の画像データに変換する
請求項１に記載の画像処理装置。
【請求項５】
所定のブロック単位で符号化された画像データを、前記所定のブロック単位で復号するデコーダが出力する出力画像データを処理する画像処理装置の画像処理方法において、
前記出力画像データを、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大し、
前記所定のブロック単位で符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データを、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換し、
前記第２の縮小拡大画像データを、前記出力画像データと同一の画素数の画像データに、縮小または拡大する
ステップを含む画像処理方法。
【請求項６】
所定のブロック単位で符号化された画像データを、前記所定のブロック単位で復号するデコーダが出力する出力画像データを処理する画像処理装置の画像処理をコンピュータに実行させるプログラムにおいて、
前記出力画像データを、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大し、
前記所定のブロック単位で符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データを、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換し、
前記第２の縮小拡大画像データを、前記出力画像データと同一の画素数の画像データに、縮小または拡大する
ステップを含む画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、効果的にノイズを除去して、高画質の画像データを得ることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、MPEG-2（Moving Picture Experts Group phase 2）などの符号化および復号方式により、画像を、所定のブロックごとに符号化し、復号することで得られる復号画像は、ブロック歪やモスキートノイズなどのノイズを含むノイズ画像となる。かかるノイズ画像から、ノイズを除去するノイズ除去方法として、符号化および復号の処理単位である８×８画素（横×縦）のブロックをノイズ除去の処理単位として、ノイズ除去処理を行う技術が、特許文献１や２に開示されている。
【特許文献１】特開２００３−３２４７３８号公報
【特許文献２】特開２００４−７６０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、地上デジタル放送においては、図１に示されるように、放送局３１側で、放送すべき１９２０×１０８０画素（横×縦）の原画像が横方向に３/４倍されることで縮小され、その結果得られる縮小画像が、８×８画素のブロック単位で、MPEG-2などの符号化方式により符号化されて、MPEG符号化画像として各家庭などに送信される。
【０００４】
一方、各家庭側では、放送局３１から送信されてくるMPEG符号化画像を受信し、各家庭に設置されたデコーダ３２により、符号化時と同一の８×８画素のブロック単位で、MPEG-2などの符号化方式に対応した復号を行うことで、MPEG符号化画像が復号されたMPEG復号画像を得る。
【０００５】
また、デコーダ３２は、MPEG復号画像を、横方向に４/３倍することで、画素数が原画像と同一の、１９２０×１０８０画素の拡大MPEG復号画像に拡大し、その拡大MPEG復号画像を図示せぬテレビジョン受像機などに表示させる。
【０００６】
拡大MPEG復号画像では、MPEG-2などによる符号化および復号の処理単位である、８×８画素のブロックは横方向に４/３倍されて、１０．６６６（正確には、１０．６６６・・・）×８画素（横×縦）のブロックとなっている。
【０００７】
従って、拡大MPEG復号画像には、１０．６６６×８画素のブロックの境界（付近）に、モスキートノイズやブロック歪が生じているが、拡大MPEG復号画像に生じているノイズを除去するノイズ除去方法として、例えば、上述の、特許文献１や２に開示された技術を用いたノイズ除去処理を採用した場合には、ノイズを効果的に除去することができないことがある。
【０００８】
即ち、特許文献１や２に開示された技術は、例えば、MPEG-2の符号化および復号の処理単位と一致する８×８画素のブロックの境界に生じるノイズを対象に、ノイズ除去処理が行われるようになっており、１０．６６６×８画素のブロック単位で、ノイズ除去処理を行うようになっていない。
【０００９】
そして、特許文献１や２に開示された技術を用いたノイズ除去処理の対象の８×８画素のブロックと、拡大MPEG復号画像上にノイズが生じる単位としての１０．６６６×８画素のブロックとが一致していない、いわば位相ずれが生じている場合には、ノイズ除去処理の対象のブロックとノイズが生じるブロックとが一致している位相ずれのない場合と比較して、効果的にノイズを除去することができないことがある。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、効果的にノイズを除去して、高画質の画像データを得ることができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像処理装置は、所定のブロック単位で符号化された画像データを、前記所定のブロック単位で復号するデコーダが出力する出力画像データを処理する画像処理装置において、前記出力画像データを、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大する第１の縮小拡大手段と、前記所定のブロック単位で符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データを、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換する画像変換手段と、前記第２の縮小拡大画像データを、前記出力画像データと同一の画素数の画像データに、縮小または拡大する第２の縮小拡大手段とを備える。
【００１２】
前記画像変換手段は、前記第１の縮小拡大画像データの注目している画素である注目画素に対応する、前記第２の縮小拡大画像データの画素を予測する前記予測演算に用いる複数の画素を、前記第１の縮小拡大画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の縮小拡大画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、前記学習によりあらかじめ求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、前記係数出力手段により出力された係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記第２の縮小拡大画像データの画素を求める予測演算手段とを有することができる。
【００１３】
前記デコーダでは、原画像を前記所定の画素数に縮小または拡大して得られる画像データを、前記所定のブロック単位で符号化した符号化結果を対象に、前記所定のブロック単位で復号を行い、その復号によって得られる復号画像データを、前記原画像と同一の画素数の画像データに縮小または拡大した画像データを、前記出力画像データとして出力させることができる。
【００１４】
前記出力画像データにおける前記所定のブロックのブロックサイズを判定する判定手段をさらに設けることができ、前記画像変換手段では、前記出力画像データにおける前記所定のブロックのブロックサイズと、前記デコーダが復号を行うことによって得られる復号画像データにおける前記所定のブロックのブロックサイズとが異なる場合に、前記第１の縮小拡大画像データと前記所定の係数とを用いて、前記第１の縮小拡大画像データを、前記第２の縮小拡大画像データに変換させ、前記出力画像データにおける前記所定のブロックのブロックサイズと、前記デコーダが復号を行うことによって得られる復号画像データにおける前記所定のブロックのブロックサイズとが一致する場合に、前記出力画像データと前記所定の係数とを用いて、前記出力画像データを、前記出力画像データよりも高画質の画像データに変換させることができる。
【００１５】
本発明の一側面の画像処理方法、またはプログラムは、所定のブロック単位で符号化された画像データを、前記所定のブロック単位で復号するデコーダが出力する出力画像データを処理する画像処理装置の画像処理方法、または所定のブロック単位で符号化された画像データを、前記所定のブロック単位で復号するデコーダが出力する出力画像データを処理する画像処理装置の画像処理をコンピュータに実行させるプログラムにおいて、前記出力画像データを、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大し、前記所定のブロック単位で符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データを、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換し、前記第２の縮小拡大画像データを、前記出力画像データと同一の画素数の画像データに、縮小または拡大するステップを含む。
【００１６】
本発明の一側面においては、前記出力画像データが、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大され、前記所定のブロック単位で符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データが、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換される。さらに、前記第２の縮小拡大画像データが、前記出力画像データと同一の画素数の画像データに、縮小または拡大される。
【発明の効果】
【００１７】
本発明の一側面によれば、効果的にノイズを除去して、高画質の画像データを得ることができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の画像処理装置は、
所定のブロックごとに符号化された画像データ（例えば、図１のMPEG符号化画像）を、前記所定のブロック単位で復号するデコーダ（例えば、図１のデコーダ３２）が出力する出力画像データ（例えば、図１の拡大MPEG復号画像）を処理する画像処理装置（例えば、図２の画像処理装置６１）において、
前記出力画像データを、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大する第１の縮小拡大手段（例えば、図２の画像縮小フィルタ１０１）と、
前記所定のブロックごとに符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データを、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換する画像変換手段（例えば、図２の画像変換部１０２）と、
前記第２の縮小拡大画像データを、前記出力画像データと同一の画素数の画像データに、縮小または拡大する第２の縮小拡大手段（例えば、図２の画像拡大フィルタ１０３）と
を備える。
【００２０】
前記画像変換手段（例えば、図４の画像変換部１０２）は、
前記第１の縮小拡大画像データの注目している画素である注目画素に対応する、前記第２の縮小拡大画像データの画素を予測する前記予測演算に用いる複数の画素を、前記第１の縮小拡大画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図４の予測タップ抽出部１３１）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の縮小拡大画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図４のクラスタップ抽出部１３２）と、
前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段（例えば、図４のクラス分類部１３３）と、
前記学習によりあらかじめ求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段（例えば、図４の係数記憶部１３４）と、
前記係数出力手段により出力された係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記第２の縮小拡大画像データの画素を求める予測演算手段（例えば、図４の予測演算部１３５）と
を有する。
【００２１】
前記デコーダ（例えば、図１のデコーダ３２）は、原画像（例えば、図１の原画像）を前記所定の画素数に縮小または拡大して得られる画像データ（例えば、図１の縮小画像）を、前記所定のブロックごとに符号化した符号化結果（例えば、図１のMPEG符号化画像）を対象に、前記所定のブロック単位で復号を行い、その復号によって得られる復号画像データ（例えば、図１のMPEG復号画像）を、前記原画像と同一の画素数の画像データに縮小または拡大した画像データ（例えば、図１の拡大MPEG復号画像）を、前記出力画像データとして出力する。
【００２２】
前記出力画像データにおける前記所定のブロックのブロックサイズを判定する判定手段（例えば、図９のブロックサイズ判定部２５２）をさらに備え、
前記画像変換手段（例えば、図９の画像変換部１０２および画像変換部２５３）は、
前記出力画像データにおける前記所定のブロックのブロックサイズと、前記デコーダが復号を行うことによって得られる復号画像データにおける前記所定のブロックのブロックサイズとが異なる場合に、前記第１の縮小拡大画像データと前記所定の係数とを用いて、前記第１の縮小拡大画像データを、前記第２の縮小拡大画像データに変換し、
前記出力画像データにおける前記所定のブロックのブロックサイズと、前記デコーダが復号を行うことによって得られる復号画像データにおける前記所定のブロックのブロックサイズとが一致する場合に、前記出力画像データと前記所定の係数とを用いて、前記出力画像データを、前記出力画像データよりも高画質の画像データに変換する。
【００２３】
本発明の一側面の画像処理方法、またはプログラムは、
所定のブロックごとに符号化された画像データ（例えば、図１のMPEG符号化画像）を、前記所定のブロック単位で復号するデコーダ（例えば、図１のデコーダ３２）が出力する出力画像データ（例えば、図１の拡大MPEG復号画像）を処理する画像処理装置の画像処理方法、または所定のブロックごとに符号化された画像データを、前記所定のブロック単位で復号するデコーダが出力する出力画像データを処理する画像処理装置の画像処理をコンピュータに実行させるプログラムにおいて、
前記出力画像データを、画素数が所定の画素数の第１の縮小拡大画像データに、縮小または拡大し（例えば、図５のステップＳ３１）、
前記所定のブロックごとに符号化された画像データを前記所定のブロック単位で復号して得られる復号画像データと所定の係数とを用いた予測演算により求められる、前記復号画像データよりも高画質の高画質画像データを予測した予測値と、前記高画質画像データとの誤差を最小にする学習により求められた前記所定の係数を用いて、前記第１の縮小拡大画像データを、前記第１の縮小拡大画像データよりも高画質の第２の縮小拡大画像データに変換し（例えば、図５のステップＳ３２）、
前記第２の縮小拡大画像データを、前記出力画像データと同一の画素数の画像データに、縮小または拡大する（例えば、図５のステップＳ３３）
ステップを含む。
【００２４】
以下、図を参照して、本発明の実施の形態について説明する。
【００２５】
図２は、本発明を適用した画像処理装置の一実施の形態を示すブロック図である。
【００２６】
図２の画像処理装置６１は、画像縮小フィルタ１０１、画像変換部１０２、および画像拡大フィルタ１０３により構成される。
【００２７】
図２の画像処理装置６１は、例えば、図１のデコーダ３２が出力する拡大MPEG復号画像などである出力画像データを、その出力画像データよりも高画質の画像データに変換する画像変換処理を行う。
【００２８】
即ち、図２の画像処理装置６１は、例えば、図１のデコーダ３２が出力する出力画像データに生じたブロック歪やモスキートノイズを除去するノイズ除去処理を行う。
【００２９】
ここで、図１のデコーダ３２が出力する出力画像データは、MPEG-2の復号によって直接得られる１４４０×１０８０画素のMPEG復号画像（図１）の横方向を４/３倍に拡大した１９２０×１０８０画素の拡大MPEG復号画像（図１）である。
【００３０】
従って、出力画像データにおいては、MPEG-2による符号化および復号の処理単位（以下、MPEG処理単位という）である８×８画素のブロックも横方向に４/３倍されて、１０．６６６×８画素のブロックとなっている。
【００３１】
図２の画像処理装置６１には、図１のデコーダ３２から、MPEG処理単位の８×８画素のブロックが１０．６６６×８画素のブロックに拡大されている１９２０×１０８０画素の出力画像データが供給され、この出力画像データは、画像縮小フィルタ１０１に供給される。
【００３２】
画像縮小フィルタ１０１は、そこに供給された１９２０×１０８０画素の出力画像データを、横方向に３/４倍することで、１４４０×１０８０画素の縮小画像データに縮小する。
【００３３】
画像縮小フィルタ１０１において、１９２０×１０８０画素の出力画像データが横方向に３/４倍されることで得られた１４４０×１０８０画素の縮小画像データにおいては、出力画像データの１０．６６６×８画素のブロックも横方向に３/４倍されて、MPEG処理単位の８×８画素のブロックとなる。
【００３４】
画像縮小フィルタ１０１は、１９２０×１０８０画素の出力画像データを縮小することで得られた１４４０×１０８０画素の縮小画像データを、画像変換部１０２に供給する。
【００３５】
画像変換部１０２は、MPEG-2による復号によって直接得られるMPEG復号画像を、そのMPEG復号画像におけるMPEG処理単位の８×８画素のブロックの境界に生じているブロック歪などのノイズを除去したノイズ除去画像に変換する画像変換処理を行う。
【００３６】
即ち、画像変換部１０２は、画像縮小フィルタ１０１から供給された１４４０×１０８０画素の縮小画像データを対象として画像変換処理を行い、画像縮小フィルタ１０１からの１４４０×１０８０画素の縮小画像データを、その縮小画像データよりも高画質の１４４０×１０８０画素の高画質縮小画像データに変換し、画像拡大フィルタ１０３に供給する。
【００３７】
画像拡大フィルタ１０３は、画像変換部１０２から供給された１４４０×１０８０画素の高画質縮小画像データを、横方向に４/３倍することで、出力画像データと同一の画素数である、１９２０×１０８０画素の画像データに拡大して出力する。
【００３８】
なお、画像を縮小する画像縮小フィルタ１０１や、画像を拡大する画像拡大フィルタ１０３としては、例えば、Lanczosフィルタを採用することができる。
【００３９】
Lanczosフィルタのフィルタ係数Lanczos(x)は、フィルタリングの対象の画素を基準とする画素の水平方向の位置をxとして、以下の式（１）により示される。
【００４０】
【数１】
2008124641.tif 000003
・・・（１）
【００４１】
ここで、図３に、式（１）で表されるLanczosフィルタのフィルタ係数Lanczos(x)を示す。
【００４２】
次に、図４は、図２の画像変換部１０２の詳細な構成例を示すブロック図である。
【００４３】
画像変換部１０２は、予測タップ抽出部１３１、クラスタップ抽出部１３２、クラス分類部１３３、係数記憶部１３４、および予測演算部１３５により構成され、例えば、特開２００３−３２４７３８号公報に記載されている方法により、MPEG復号画像をノイズ除去画像に変換する画像変換処理を行う。
【００４４】
予測タップ抽出部１３１およびクラスタップ抽出部１３２には、図２の画像縮小フィルタ１０１から、MPEG処理単位のブロックがMPEG復号画像と同一の８×８画素のブロックとなっている１４４０×１０８０画素の縮小画像データが供給される。
【００４５】
予測タップ抽出部１３１は、画像縮小フィルタ１０１から供給される縮小画像データの８×８画素のブロックを、順次、注目ブロックとし、その注目ブロックの各画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。
【００４６】
また、予測タップ抽出部１３１は、注目画素に対応する、縮小画像データからノイズを除去したノイズ除去画像に相当する高画質縮小画像データの画素のうちの、注目画素に対応する画素（の画素値）を予測する予測演算に用いる複数の画素を、縮小画像データから予測タップとして抽出する。
【００４７】
即ち、予測タップ抽出部１３１は、例えば、注目ブロックの画素のうちの、注目画素、注目画素の上、下、左、右、左上、左下、右上、右下に隣接する画素、さらには、注目ブロックの上に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の列にある画素、注目ブロックの下に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の列にある画素、注目ブロックの左に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の行にある画素、注目ブロックの右に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の行にある画素、注目画素と同一の位置にある、注目画素のフレームの前後のフレームの画素などを、予測タップとして抽出する。
【００４８】
予測タップ抽出部１３１は、注目画素についての予測タップを、予測演算部１３５に供給する。
【００４９】
クラスタップ抽出部１３２は、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分けするためのクラス分類に用いる複数の画素を、画像縮小フィルタ１０１から供給される縮小画像データからクラスタップとして抽出する。
【００５０】
即ち、クラスタップ抽出部１３２は、例えば、注目ブロックの画素のうちの、注目画素、注目画素と同一の列にある、注目画素以外の７画素、注目画素と同一の行にある、注目画素以外の７画素、さらには、注目ブロックの上に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の列にある画素、注目ブロックの下に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の列にある画素、注目ブロックの左に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の行にある画素、注目ブロックの右に隣接するブロックの、注目ブロックの境界に隣接する画素のうちの、注目画素と同一の行にある画素を、クラスタップとして抽出する。
【００５１】
なお、予測タップとクラスタップとは、同一のタップ構造（注目画素に対する位置関係）の複数の画素であってもよいし、異なるタップ構造の複数の画素であってもよい。
【００５２】
クラスタップ抽出部１３２は、注目画素のクラスタップを、クラス分類部１３３に供給する。
【００５３】
クラス分類部１３３は、クラスタップ抽出部１３２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【００５４】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００５５】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００５６】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５７】
その他、クラス分類部１３３では、例えば、クラスタップを構成する画素のうちの、隣接する画素同士の画素値の差分の絶対値（以下、適宜、画素間差分という）を求め、各画素間差分の大小を表す１ビットのフラグを、画素間差分の数だけ並べたビット列を、クラスコードとして出力するクラス分類を行うことなどが可能である。
【００５８】
係数記憶部１３４は、後述する学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶し、さらに、その記憶しているタップ係数のセットのうちの、クラス分類部１３３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１３３から供給されるクラスコードが表す、注目画素のクラスに対応するタップ係数）を出力する。
【００５９】
予測演算部１３５は、予測タップ抽出部１３１が出力する予測タップと、係数記憶部１３４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素に対応する、高画質縮小画像データの画素の画素値（予測値）を求める所定の予測演算を行う。
【００６０】
そして、予測演算部１３５は、所定の予測演算を行うことで得られる高画質縮小画像データの画素の画素値を出力する。
【００６１】
次に、図５のフローチャートを参照して、図２の画像処理装置６１における画像処理を説明する。
【００６２】
図２の画像処理装置６１の画像縮小フィルタ１０１には、図１のデコーダ３２が出力する出力画像データが供給される。このとき、画像縮小フィルタ１０１には、図１のデコーダ３２から、MPEG処理単位の８×８画素のブロックが、１０．６６６×８画素のブロックに拡大されている１９２０×１０８０画素の出力画像データが供給される。
【００６３】
ステップＳ３１において、画像縮小フィルタ１０１は、図１のデコーダ３１からの１９２０×１０８０画素の出力画像データを、横方向に３/４倍することで、１４４０×１０８０画素の縮小画像データに縮小する。この１４４０×１０８０画素の縮小画像データでは、MPEG処理単位の１０．６６６×８画素のブロックが、８×８画素のブロックとなる。
【００６４】
画像縮小フィルタ１０１は、１９２０×１０８０画素の出力画像データを縮小することで得られた１４４０×１０８０画素の縮小画像データを、画像変換部１０２に供給して、処理は、ステップＳ３１からステップＳ３２に進む。
【００６５】
ステップＳ３２において、画像変換部１０２は、画像縮小フィルタ１０１から供給された１４４０×１０８０画素の縮小画像データに画像変換処理を施すことで、その１４４０×１０８０画素の縮小画像データを、ブロック歪などのノイズが除去された１４４０×１０８０画素の高画質縮小画像データに変換し、画像拡大フィルタ１０３に供給する。
【００６６】
ステップＳ３２の処理の終了後、処理は、ステップＳ３３に進み、画像拡大フィルタ１０３は、画像変換部１０２から供給された１４４０×１０８０画素の高画質縮小画像データを、横方向に４/３倍することで、出力画像データと同一の画素数である、１９２０×１０８０画素の画像データに拡大し、その画像データを出力して、処理は、終了する。
【００６７】
次に、図６のフローチャートを参照して、図２の画像変換部１０２が行う、図５のステップＳ３２の画像変換処理を説明する。
【００６８】
ステップＳ６１において、予測タップ抽出部１３１は、画像縮小フィルタ１０１から供給された縮小画像データから、その縮小画像データにおけるブロック、即ち、縮小画像データにおけるMPEG処理単位の８×８画素のブロックを、順次、注目ブロックとし、その注目ブロックの各画素を、ラスタスキャン順に、順次、注目画素とする。
【００６９】
ステップＳ６１の処理の終了後、処理は、ステップＳ６２に進み、予測タップ抽出部１３１は、画像縮小フィルタ１０１からの縮小画像データから、注目画素の予測タップとする複数の画素を抽出し、予測演算部１３５に供給して、処理は、ステップＳ６３に進む。
【００７０】
ステップＳ６３において、クラスタップ抽出部１３２は、画像縮小フィルタ１０１から供給される縮小画像データから、注目画素のクラスタップとする複数の画素を抽出し、クラス分類部１３３に供給して、処理は、ステップＳ６４に進む。
【００７１】
ステップＳ６４において、クラス分類部１３３は、クラスタップ抽出部１３２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数記憶部１３４に出力して、処理は、ステップＳ６５に進む。
【００７２】
ステップＳ６５において、係数記憶部１３４は、後述する学習によってあらかじめ求められたクラスごとのタップ係数のうちの、クラス分類部１３３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（注目画素のクラスに対応するタップ係数）を、予測演算部１３５に出力する。
【００７３】
その後、ステップＳ６５の処理の終了後、処理は、ステップＳ６６に進み、予測演算部１３５は、予測タップ抽出部１３１が出力する予測タップと、係数記憶部１３４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素に対応する、高画質縮小画像データの画素の画素値を求める所定の予測演算を行う。さらに、ステップＳ６６において、予測演算部１３５は、所定の予測演算を行うことで得られる高画質縮小画像データの画素の画素値を出力して、処理は、ステップＳ６７に進む。
【００７４】
ステップＳ６７において、予測タップ抽出部１３１は、注目ブロックすべての画素を、注目画素としたか否かを判定する。
【００７５】
ステップＳ６７において、注目ブロックすべての画素を、注目画素としていないと判定された場合、処理は、ステップＳ６１に戻り、予測タップ抽出部１３１は、注目ブロックの各画素のうちの、まだ注目画素とされていない画素を、注目画素として、処理は、ステップＳ６２に進み、以下、同様の処理を繰り返す。
【００７６】
一方、ステップＳ６７において、注目ブロックすべての画素を、注目画素としたと判定された場合、処理は、ステップＳ６８に進む。
【００７７】
ステップＳ６８において、予測タップ抽出部１３１は、画像縮小フィルタ１０１から供給される縮小画像データの８×８画素のブロックすべてを、注目ブロックとしたか否かを判定する。
【００７８】
ステップＳ６８において、画像縮小フィルタ１０１から供給される縮小画像データの８×８画素のブロックすべてを、注目ブロックとしていないと判定された場合、処理は、ステップＳ６１に戻り、予測タップ抽出部１３１は、画像縮小フィルタ１０１から供給される縮小画像データから、まだ注目ブロックとして選択されていないブロックを、注目ブロックとして新たに選択し、さらに、注目ブロックの画素から、注目画素を選択して、処理は、ステップＳ６２に進み、以下、同様の処理を繰り返す。
【００７９】
一方、ステップＳ６８において、画像縮小フィルタ１０１から供給される縮小画像データの８×８画素のブロックすべてを、注目ブロックとしたと判定された場合、処理は、図５のステップＳ３２にリターンする。
【００８０】
図２の画像処理装置６１では、以上のように、MPEG処理単位の８×８画素のブロックが１０．６６６×８画素のブロックになっている１９２０×１０８０画素の出力画像データを、横方向に３/４倍することで、MPEG処理単位の１０．６６６×８画素のブロックが８×８画素のブロックとなる１４４０×１０８０画素の縮小画像データに縮小し、その縮小画像データを対象として、MPEG復号画像を、ブロック歪などのノイズを除去したノイズ除去画像に変換する画像変換処理を行って、１４４０×１０８０画素の高画質縮小画像データを得るので、MPEG処理単位の８×８画素のブロックが１０．６６６×８画素のブロックになっている出力画像データの、その１０．６６６×８画素のブロックの境界に生じているブロック歪などのノイズを、効果的に除去することができる。
【００８１】
次に、図４の予測演算部１３５における予測演算と、係数記憶部１３４に記憶されたタップ係数の学習について説明する。
【００８２】
いま、８×８画素のブロック単位で復号されたMPEG復号画像から予測タップを抽出し、その予測タップとタップ係数とを用いて、MPEG復号画像からブロック歪などのノイズを除去した高画質のノイズ除去画像の画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００８３】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質のノイズ除去画像の画素（以下、適宜、高画質画素という）の画素値ｙは、次の線形１次式によって求められることになる。
【００８４】
【数２】
2008124641.tif 000004
・・・（２）
【００８５】
但し、式（２）において、ｘnは、高画質画素ｙについての予測タップを構成するｎ番目のMPEG復号画像の画素（以下、適宜、復号画素という）の画素値を表し、ｗnは、ｎ番目の復号画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（２）では、予測タップが、Ｎ個の復号画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしている。
【００８６】
ここで、高画質画素の画素値ｙは、式（２）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００８７】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（２）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００８８】
【数３】
2008124641.tif 000005
・・・（３）
【００８９】
いま、式（３）の予測値ｙk'は、式（２）にしたがって求められるため、式（３）のｙk'を、式（２）にしたがって置き換えると、次式が得られる。
【００９０】
【数４】
2008124641.tif 000006
・・・（４）
【００９１】
但し、式（４）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の復号画素を表す。
【００９２】
式（４）（または式（３））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００９３】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９４】
【数５】
2008124641.tif 000007
・・・（５）
【００９５】
但し、式（５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する復号画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９６】
式（５）の自乗誤差の総和Ｅの最小値（極小値）は、式（６）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００９７】
【数６】
2008124641.tif 000008
・・・（６）
【００９８】
一方、上述の式（４）をタップ係数ｗnで偏微分すると、次式が得られる。
【００９９】
【数７】
2008124641.tif 000009
・・・（７）
【０１００】
式（６）と式（７）から、次式が得られる。
【０１０１】
【数８】
2008124641.tif 000010
・・・（８）
【０１０２】
式（８）のｅkに、式（４）を代入することにより、式（８）は、式（９）に示す正規方程式で表すことができる。
【０１０３】
【数９】
2008124641.tif 000011
・・・（９）
【０１０４】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１０５】
式（９）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１０６】
図４の画像変換部１０２では、以上のようなクラスごとのタップ係数を用いて、式（２）の演算を行うことにより、１４４０×１０８０画素の縮小画像データが、１４４０×１０８０画素の高画質縮小画像データに変換される。
【０１０７】
次に、図７は、式（９）の正規方程式をクラスごとにたてて解くことによりタップ係数ｗnを求める学習を行う学習装置の構成例を示すブロック図である。
【０１０８】
学習装置１６１は、学習用画像記憶部１９１、ノイズ付加部１９２、予測タップ抽出部１９３、クラスタップ抽出部１９４、クラス分類部１９５、足し込み部１９６、およびタップ係数算出部１９７により構成される。
【０１０９】
学習用画像記憶部１９１には、タップ係数ｗnの学習に用いられる画像である学習用画像が記憶されている。
【０１１０】
ここで、学習用画像は、上述のノイズ除去画像に相当する画像である教師画像である。
【０１１１】
ノイズ付加部１９２は、学習用画像記憶部１９１から教師画像を読み出し、その教師画像をMPEG符号化し、さらに、MPEG復号することで、画像変換部１０２が画像変換処理の対象とする、MPEG処理単位のブロックが８×８画素のブロックとなっているMPEG復号画像に相当する画像である生徒画像を生成する。
【０１１２】
また、ノイズ付加部１９２は、生徒画像を、予測タップ抽出部１９３およびクラスタップ抽出部１９４に供給する。
【０１１３】
予測タップ抽出部１９３は、ノイズ付加部１９２から供給される生徒画像の８×８画素のブロックを、順次、注目ブロックとして選択し、さらに、その注目ブロックの各画素を、例えば、ラスタスキャン順に、順次、注目画素として選択する。
【０１１４】
さらに、予測タップ抽出部１９３は、注目画素について、ノイズ付加部１９２から供給される生徒画像を構成する画素のうちの所定のものを抽出することにより、図４の予測タップ抽出部１３１が注目画素について得る予測タップと同一のタップ構造の予測タップ（図４の予測タップ抽出部１３１が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部１９６に供給する。
【０１１５】
クラスタップ抽出部１９４は、注目画素について、ノイズ付加部１９２から供給される生徒画像を構成する画素のうちの所定のものを抽出することにより、図４のクラスタップ抽出部１３２が注目画素について得るクラスタップと同一のタップ構造のクラスタップ（図４のクラスタップ抽出部１３２が注目画素について得るクラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなるクラスタップ）を得て、クラス分類部１９５に供給する。
【０１１６】
クラス分類部１９５は、クラスタップ抽出部１９４が出力するクラスタップに基づき、図４のクラス分類部１３３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９６に出力する。
【０１１７】
足し込み部１９６は、学習用画像記憶部１９１から教師画像を読み出し、注目画素に対応する、教師画像の画素（以下、適宜、教師画素という）と、予測タップ抽出部１９３から供給される注目画素についての予測タップを構成する生徒画像の画素（以下、適宜、生徒画素という）とを対象とした足し込みを、クラス分類部１９５から供給されるクラスコードごとに行う。
【０１１８】
即ち、足し込み部１９６には、学習用画像記憶部１９１に記憶された教師画像の画素のうちの、注目画素に対応する教師画素（の画素値）ｙk、予測タップ抽出部１９３が出力する予測タップを構成する生徒画素（の画素値）ｘn,k、クラス分類部１９５が出力する、注目画素のクラスを表すクラスコードが供給される。
【０１１９】
そして、足し込み部１９６は、クラス分類部１９５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）ｘn,kを用い、式（９）の左辺の行列における生徒画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１２０】
さらに、足し込み部１９６は、やはり、クラス分類部１９５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）ｘn,kと教師画素ｙkを用い、式（９）の右辺のベクトルにおける生徒画素ｘn,kおよび教師画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１２１】
即ち、足し込み部１９６は、前回の、注目画素について求められた式（９）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たな注目画素について、教師画素ｙk+1および生徒画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を、それぞれ足し込む（式（９）のサメーションで表される加算を行う）。
【０１２２】
そして、足し込み部１９６は、学習用画像記憶部１９１に記憶された教師画像から生成された生徒画像すべての生徒画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１９７に供給する。
【０１２３】
タップ係数算出部１９７は、足し込み部１９６から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１２４】
次に、図８のフローチャートを参照して、図７の学習装置１６１における学習処理を説明する。
【０１２５】
ステップＳ１０１において、ノイズ付加部１９２は、学習用画像記憶部１９１から教師画像を読み出し、その教師画像をMPEG符号化し、さらに、MPEG復号することで、画像変換部１０２が画像変換処理の対象とする、MPEG処理単位のブロックが８×８画素のブロックとなっているMPEG復号画像に相当する画像である生徒画像を生成する。
【０１２６】
ノイズ付加部１９２は、生徒画像を、予測タップ抽出部１９３およびクラスタップ抽出部１９４に供給して、処理は、ステップＳ１０１からステップＳ１０２に進む。
【０１２７】
ステップＳ１０２において、予測タップ抽出部１９３は、ノイズ付加部１９２から供給される生徒画像の８×８画素のブロックを、順次、注目ブロックとして選択し、さらに、その注目ブロックの各画素を、例えば、ラスタスキャン順に、順次、注目画素として選択し、処理は、ステップＳ１０３に進む。
【０１２８】
ステップＳ１０３において、予測タップ抽出部１９３は、注目画素について、ノイズ付加部１９２から供給される生徒画像を構成する画素のうちの所定のものを抽出することにより、図４の予測タップ抽出部１３１が注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部１９６に供給する。
【０１２９】
ステップＳ１０３の処理の終了後、処理は、ステップＳ１０４に進み、クラスタップ抽出部１９４は、注目画素について、ノイズ付加部１９２から供給される生徒画像を構成する画素のうちの所定のものを抽出することにより、図４のクラスタップ抽出部１３２が注目画素について得るクラスタップと同一のタップ構造のクラスタップを得て、クラス分類部１９５に供給する。
【０１３０】
その後、処理は、ステップＳ１０４からステップＳ１０５に進み、クラス分類部１９５は、クラスタップ抽出部１９４が出力するクラスタップに基づき、図４のクラス分類部１３３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９６に出力して、処理は、ステップＳ１０６に進む。
【０１３１】
ステップＳ１０６において、足し込み部１９６は、学習用画像記憶部１９１から教師画像を読み出し、注目画素に対応する教師画素と、予測タップ抽出部１９３から供給される注目画素についての予測タップを構成する生徒画素とを対象とした足し込みを、クラス分類部１９５から供給されるクラスコードごとに行い、処理は、ステップＳ１０７に進む。
【０１３２】
ステップＳ１０７において、予測タップ抽出部１９３は、注目ブロックすべての画素を、注目画素としたか否かを判定する。
【０１３３】
ステップＳ１０７において、注目ブロックすべての画素を、注目画素としていないと判定された場合、処理は、ステップＳ１０２に戻り、予測タップ抽出部１９３は、注目ブロックの各画素のうちの、まだ注目画素とされていない画素を、注目画素として、処理は、ステップＳ１０３に進み、以下、同様の処理を繰り返す。
【０１３４】
一方、ステップＳ１０７において、注目ブロックすべての画素を、注目画素としたと判定された場合、処理は、ステップＳ１０８に進む。
【０１３５】
ステップＳ１０８において、予測タップ抽出部１９３は、ノイズ付加部１９２から供給される生徒画像の８×８画素のブロックすべてを、注目ブロックとしたか否かを判定する。
【０１３６】
ステップＳ１０８において、ノイズ付加部１９２から供給される生徒画像の８×８画素のブロックすべてを、注目ブロックとしていないと判定された場合、処理は、ステップＳ１０２に戻り、予測タップ抽出部１９３は、ノイズ付加部１９２から供給される生徒画像から、まだ注目ブロックとして選択されていないブロックを、注目ブロックとして新たに選択し、さらに、注目ブロックの画素から、注目画素を選択して、処理は、ステップＳ１０３に進み、以下、同様の処理を繰り返す。
【０１３７】
一方、ステップＳ１０８において、ノイズ付加部１９２から供給される生徒画像の８×８画素のブロックすべてを、注目ブロックとしたと判定された場合、即ち、足し込み部１９６においては、学習用画像記憶部１９１に記憶された教師画像から生成された生徒画像すべての生徒画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式がたてられた場合、足し込み部１９６は、その正規方程式を、タップ係数算出部１９７に供給して、処理は、ステップＳ１０９に進む。
【０１３８】
ステップＳ１０９において、タップ係数算出部１９７は、足し込み部１９６から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力し、処理は、終了する。
【０１３９】
図９は、本発明を適用した画像処理装置の他の一実施の形態を示すブロック図である。
【０１４０】
なお、図中、図２の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０１４１】
即ち、図９の画像処理装置２２１は、ブロックサイズ検出部２５１、ブロックサイズ判定部２５２、および図２の画像変換部１０２と同一の処理を行う画像変換部２５３が新たに設けられているほかは、図２の画像処理装置６１と同様に構成されている。
【０１４２】
図９の画像処理装置２２１には、８×８画素のブロック単位でMPEG復号を行うデコーダが出力する出力画像データが供給される。
【０１４３】
ここで、MPEG復号を行うデコーダには、MPEG復号によって直接得られるMPEG復号画像を、出力画像データとして出力するデコーダと、図１のデコーダ３２のように、MPEG復号によって直接得られるMPEG復号画像を拡大して、MPEG処理単位の８×８画素のブロックが、１０．６６６×８画素のブロックとなっている拡大MPEG復号画像を、出力画像データとして出力するデコーダがある。
【０１４４】
デコーダから画像処理装置２２１に供給される出力画像データは、ブロックサイズ検出部２５１に供給される。
【０１４５】
ブロックサイズ検出部２５１は、そこに供給された出力画像データにおけるブロックのブロックサイズを検出し、出力画像データとともに、ブロックサイズ判定部２５２に供給する。
【０１４６】
ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から供給された出力画像データと、その出力画像データにおけるブロックのブロックサイズを取得する。
【０１４７】
また、ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から取得した出力画像データにおけるブロックのブロックサイズが、MPEG復号画像における８×８画素のブロックのブロックサイズと一致するか、または、拡大MPEG復号画像における１０．６６６×８画素のブロックのブロックサイズと一致するかを判定する。
【０１４８】
出力画像データにおけるブロックのブロックサイズが、MPEG復号画像における８×８画素のブロックのブロックサイズと一致する場合、ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から取得した出力画像データを、画像変換部２５３に供給する。
【０１４９】
一方、出力画像データにおけるブロックのブロックサイズが、拡大MPEG復号画像における１０．６６６×８画素のブロックのブロックサイズと一致する場合、ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から取得した出力画像データを、画像縮小フィルタ１０１に供給する。
【０１５０】
画像変換部２５３は、図２の画像変換部１０２と同様に、ブロックサイズ判定部２５２からの出力画像データ、即ち、MPEG復号画像を対象として、画像変換処理を行うことで、ブロックサイズ判定部２５２から供給された出力画像データを、その出力画像データからブロック歪などのノイズを除去した高画質の画像データに変換して出力する。
【０１５１】
次に、図１０のフローチャートを参照して、図９の画像処理装置２２１が行う画像処理を説明する。
【０１５２】
ステップＳ１３１において、ブロックサイズ検出部２５１は、そこに供給された出力画像データにおけるブロックのブロックサイズを検出し、出力画像データとともに、ブロックサイズ判定部２５２に供給する。
【０１５３】
ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から供給された出力画像データと、その出力画像データにおけるブロックのブロックサイズを取得して、処理は、ステップＳ１３１からステップＳ１３２に進む。
【０１５４】
ステップＳ１３２において、ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から取得した出力画像データにおけるブロックのブロックサイズが、MPEG復号画像における８×８画素のブロックのブロックサイズ、または、拡大MPEG復号画像における１０．６６６×８画素のブロックのブロックサイズと一致するかを判定する。
【０１５５】
ステップＳ１３２において、出力画像データにおけるブロックのブロックサイズが、拡大MPEG復号画像における１０．６６６×８画素のブロックのブロックサイズと一致する場合、ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から取得した出力画像データを、画像縮小フィルタ１０１に供給して、処理は、ステップＳ１３３に進み、ステップＳ１３３乃至ステップＳ１３５において、図５のステップＳ３１乃至ステップＳ３３と同様の処理が行われ、処理は、終了する。
【０１５６】
一方、ステップＳ１３２において、出力画像データにおけるブロックのブロックサイズが、MPEG復号画像における８×８画素のブロックのブロックサイズと一致する場合、ブロックサイズ判定部２５２は、ブロックサイズ検出部２５１から取得した出力画像データを、画像変換部２５３に供給して、処理は、ステップＳ１３６に進む。
【０１５７】
ステップＳ１３６において、画像変換部２５３は、図２の画像変換部１０２と同様に、ブロックサイズ判定部２５２からの出力画像データ、即ち、MPEG復号画像を対象として、画像変換処理を行うことで、ブロックサイズ判定部２５２から供給された出力画像データを、その出力画像データからブロック歪などのノイズを除去した高画質の画像データに変換して出力し、処理は、終了する。
【０１５８】
以上のように図９の画像処理装置２２１では、出力画像データにおけるブロックのブロックサイズを判定し、出力画像データにおけるブロックのブロックサイズがMPEG復号画像におけるブロックのブロックサイズと一致する場合には、その出力画像データをそのまま画像変換処理の対象とし、異なる場合、即ち、拡大MPEG復号画像におけるブロックのブロックサイズと一致する場合には、出力画像データを縮小し、その縮小後の画像を画像変換処理の対象とするようにしたので、出力画像データが、MPEG復号画像、または、拡大MPEG復号画像のうちのいずれであっても、効果的にブロック歪やモスキートノイズなどのノイズを除去することができる。
【０１５９】
なお、図９では、画像変換部１０２のほかに、画像変換部１０２と同一の画像変換処理を行う画像変換部２５３を設けるようにしたが、出力画像データにおけるブロックのブロックサイズが、拡大MPEG復号画像における１０．６６６×８画素のブロックのブロックサイズと一致する場合には、出力画像データをブロックサイズ判定部２５２から画像縮小フィルタ１０１に供給し、出力画像データにおけるブロックのブロックサイズが、MPEG復号画像における８×８画素のブロックのブロックサイズと一致する場合には、出力画像データを、ブロックサイズ判定部２５２から、画像縮小フィルタ１０１をバイパスして、画像変換部１０２に供給するとともに、画像変換部１０２の画像変換処理の結果得られる画像データを、画像拡大フィルタ１０３をバイパスして出力するようにすることにより、画像変換部２５３を設けずに、画像処理装置２２１を構成することができる。
【０１６０】
図１１および図１２は、ブロックサイズが１０．６６６×８の出力画像データ、つまり、拡大MPEG復号画像を対象として、画像変換部１０２による画像変換処理を行った場合と、画像処理装置６１による画像処理を行った場合とのシミュレーションの結果を示す図である。
【０１６１】
なお、シミュレーションでは、７本のコンテンツの原画像pic１乃至pic７を用意し、その原画像pic１乃至pic７を、図１で説明したように処理することにより、出力画像データとしての拡大MPEG復号画像を得て、画像変換部１０２による画像変換処理と、画像処理装置６１による画像処理の対象とした。
【０１６２】
また、シミュレーションは、ビットレートが１２Mbps(mega bits per second)と１５Mbpsとの２種類の拡大MPEG復号画像を対象として行った。
【０１６３】
図１１は、ビットレートが１２Mbpsの拡大MPEG復号画像を対象として、画像変換部１０２による画像変換処理と、画像処理装置６１による画像処理とを行った結果得られる画像それぞれの（原画像と比較した）SNR（signal to noise Ratio）を示している。
【０１６４】
図１２は、ビットレートが１５Mbpsの拡大MPEG復号画像を対象として、画像変換部１０２による画像変換処理と、画像処理装置６１による画像処理とを行った結果得られる画像それぞれの（原画像と比較した）SNRを示している。
【０１６５】
図１１および図１２から、画像変換部１０２による画像変換処理よりも、画像処理装置６１による画像処理の方が、SNRが高い（高画質の）画像を得ることができ、従って、ブロック歪やモスキートノイズなどのノイズが効果的に除去されていることがわかる。
【０１６６】
次に、上述した図２の画像処理装置６１および図９の画像処理装置２２１、図７の学習装置１６１が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム格納媒体からインストールされる。
【０１６７】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０１６８】
CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７０３には、CPU７０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７０１、ROM７０２、およびRAM７０３は、バス７０４により相互に接続されている。
【０１６９】
CPU７０１にはまた、バス７０４を介して入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。CPU７０１は、入力部７０６から入力される指令に対応して各種の処理を実行する。そして、CPU７０１は、処理の結果を出力部７０７に出力する。
【０１７０】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、CPU７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１７１】
また、通信部７０９を介してプログラムを取得し、記憶部７０８に記憶してもよい。
【０１７２】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され、記憶される。
【０１７３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７１１、または、プログラムが一時的もしくは永続的に格納されるROM７０２や、記憶部７０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部７０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１７４】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７５】
ここで、図２の画像処理装置６１および図９の画像処理装置２２１は、例えば、MPEG復号などの所定のブロック単位で復号を行うデコーダが出力する出力画像データを扱う装置、即ち、例えば、テレビジョン受像機や、ハードディスクレコーダ、DVDレコーダなどに適用することができる。
【０１７６】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１７７】
【図１】地上デジタル放送において行われる処理を説明する図である。
【図２】本発明を適用した画像処理装置６１を示すブロック図である。
【図３】画像を拡大または縮小する場合に用いられるLanczosフィルタを示す図である。
【図４】図２の画像変換部１０２の詳細な構成例を示すブロック図である。
【図５】図２の画像処理装置６１における画像処理を説明するフローチャートである。
【図６】図２の画像変換部１０２が行う画像変換処理を説明するフローチャートである。
【図７】タップ係数ｗnを求める学習を行う学習装置１６１を示すブロック図である。
【図８】図７の学習装置１６１における学習処理を説明するフローチャートである。
【図９】本発明を適用した画像処理装置２２１を示すブロック図である。
【図１０】図９の画像処理装置２２１が行う画像処理を説明するフローチャートである。
【図１１】シミュレーションの結果を示す図である。
【図１２】シミュレーションの結果を示す他の図である。
【図１３】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７８】
６１  画像処理装置，  １０１  画像縮小フィルタ，  １０２  画像変換部，  １０３  画像拡大フィルタ，  １３１  予測タップ抽出部，  １３２  クラスタップ抽出部，  １３３  クラス分類部，  １３４  係数記憶部，  １３５  予測演算部，  １６１  学習装置，  １９１  学習用画像記憶部，  １９２  ノイズ付加部，  １９３  予測タップ抽出部，  １９４  クラスタップ抽出部，  １９５  クラス分類部，  １９６  足し込み部，  １９７  タップ係数算出部，  ２２１  画像処理装置，  ２５１  ブロックサイズ検出部，  ２５２  ブロックサイズ判定部，  ２５３  画像変換部
【図１】
2008124641.tif 000012
【図２】
2008124641.tif 000013
【図３】
2008124641.tif 000014
【図４】
2008124641.tif 000015
【図５】
2008124641.tif 000016
【図６】
2008124641.tif 000017
【図７】
2008124641.tif 000018
【図８】
2008124641.tif 000019
【図９】
2008124641.tif 000020
【図１０】
2008124641.tif 000021
【図１１】
2008124641.tif 000022
【図１２】
2008124641.tif 000023
【図１３】
2008124641.tif 000024