(57)【特許請求の範囲】
【請求項１】
入力画像を処理して、処理画像を生成する画像処理装置であって、
前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する画素値演算手段と
を備える画像処理装置。
【請求項２】
前記平滑化手段は、
前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定する
請求項１に記載の画像処理。
【請求項３】
前記平滑化手段は、
前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記処理対象画像を平滑化する
請求項１に記載の画像処理装置。
【請求項４】
前記クラスコード決定手段は、
前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成する
請求項１に記載の画像処理装置。
【請求項５】
前記クラスコード決定手段は、
前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行う
請求項４に記載の画像処理装置。
【請求項６】
入力画像を処理して、処理画像を生成する画像処理装置の画像処理方法であって、
前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、
前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、
前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算するステップ
を含む画像処理方法。
【請求項７】
コンピュータを、
入力画像を処理して、処理画像を生成する画像処理装置であって、
前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記係数を乗じて処理画像の画素値を演算する画素値演算手段とを備える画像処理装置として機能させる
プログラム。
【請求項８】
入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、
原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、
前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、
前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段と
を備える学習装置。
【請求項９】
前記平滑化手段は、
前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定する
請求項８に記載の学習装置。
【請求項１０】
前記平滑化手段は、
前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記復号画像を平滑化する
請求項８に記載の学習装置。
【請求項１１】
前記クラスコード決定手段は、
前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成する
請求項８に記載の学習装置。
【請求項１２】
前記クラスコード決定手段は、
前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行う
請求項１１に記載の学習装置。
【請求項１３】
入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置の学習方法であって、
原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、
前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出し、
前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め、
前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するステップ
を含む学習方法。
【請求項１４】
コンピュータを、
入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、
原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、
前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、
前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段とを備える学習装置として機能させる
プログラム。
【請求項１５】
請求項７または請求項１４に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関し、特に、ノイズ感を低減させながら、解像度感の高い画像を生成することができるようにする画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
画像のデータを伝送、蓄積などする場合、JPEG、MPEG、H264/AVCなどによる圧縮符号化の処理が用いられることが多い。例えば、MPEGやJPEGで用いる離散コサイン変換では画面を8×8ドットの範囲を最小単位として、その中の変化が少ない部分を削除することで圧縮する。このため、ビットレートが十分でない場合、デコードしたときに元の画像を再現し切れず、ブロックの境目がハッキリ見えるようになり、ブロックノイズが生じることがある。
【０００３】
従来より、エンコードされてデコードされたデジタル画像などにおいて生じるブロックノイズを低減する方式として、例えば、H264/AVCのデブロッキングフィルタのようなブロック間（または全画面）に対してフィルタ処理を行う手法が採用されている。
【０００４】
例えば、H264/AVCのデブロッキングフィルタの処理においては、ブロック境界とその周囲の画素の関係からブロックノイズが見え易いかを判定し、その判定の結果を用いてブロック境界周辺に対してフィルタ処理を行ない、ノイズが目立たないように画像の画素値を平滑化する。
【０００５】
なお、H264/AVCのデブロッキングフィルタの処理については、非特許文献１などに詳細に開示されている。
【０００６】
また、デブロッキングフィルタの処理において、全画面動きやビットレート、画サイズなどの付加情報を参考にしてフィルタ強度を求める方式も存在する。
【０００７】
例えば、ＭＰＥＧ２方式による符号化処理では、符号化処理に汎用性を持たせ、また、符号化による圧縮の効率を向上させるために、符号化された画像データと共に、復号処理用の付加情報を伝送している。付加情報は、ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号装置に対して伝送される。
【０００８】
復号によって得られる画像信号の特性は、適用される符号化復号方式によって大きく異なる。例えば輝度信号、色差信号、三原色信号などの信号種類に応じてその物理的な特性（周波数特性等）が大きく相違する。この相違が符号化復号処理を経た復号信号にも残ることになる。また、一般的に画像の符号化復号処理では、時空間の間引き処理を導入することによって、符号化の対象となる画素数を低減することが多い。間引き方法によって、画像の時空間解像度の特性が大きく相違する。さらに、時空間解像度特性の相違が小さい場合においても、符号化における圧縮率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量などの画質特性が大きく異なる。
【０００９】
出願人は、先に、クラス分類適応処理を提案している。これは、予め（オフラインで）学習処理において、実際の画像信号（教師信号および生徒信号）を使用して予測係数をクラス毎に求め、蓄積しておき、実際の画像変換処理では、入力画像信号からクラスを求め、クラスに対応する予測係数と入力画像信号の複数の画素値との予測演算によって、出力画素値を求めるものである。クラスは、作成する画素の空間的、時間的近傍の画素値の分布、波形に対応して決定される。実際の画像信号を使用して予測係数を演算し、また、クラス毎に予測係数を演算することによって、種々の信号処理が可能なものである。例えば時空間の解像度を入力信号以上とする解像度創造の処理、サブサンプリングによって間引かれた画素の補間、ノイズの低減、エラーの修整等の処理が可能である。
【００１０】
符号化復号の処理を経たデジタル情報信号に対して付加情報を基づいて、クラス分類または予測演算に使用する複数のデータの抽出範囲または位置を変更することよって、予測精度を向上することが可能なデジタル信号処理についての技術も提案されている（例えば、特許文献１参照）。
【００１１】
また、真値に近い補間画素値を求めることができるように、補間対象とすべき位置を中心としてその周辺における複数の画素で構成されたブロックのうち、中心の近傍における平坦度を検出し、その平坦度が大きいほど、選択対象とすべき中心における周辺画素の選択数が多くなるように、周辺画素を選択し、周辺画素のレベル分布のパターンに応じて、生成対象とされる画素のクラスを分類することも提案されている（例えば、特許文献２参照）。
【００１２】
【非特許文献１】IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003  Adaptive Deblocking Filter  Peter List, Anthony Joch, Jani Lainema, Gisle Bjontegaard, and Marta Karczewicz
【特許文献１】特開２００１−２８５８７０号公報
【特許文献２】特開２００６−１４１０４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、ブロックノイズの除去にあたっては、画像のどの部分がブロックノイズであるかの判断が難しい。例えば、H264/AVCのデブロッキングフィルタの処理は、デコードの処理に伴って実行されるのでH264/AVC方式でのエンコード時のブロック化の情報を用いることができるため、ブロック境界を特定しやすいが、他の方式（例えば、MPEG）によりエンコードされた画像に対してはこのような処理を実行してもノイズを低減させる効果が期待できない。
【００１４】
また、例えば、エンコードされた画像とは異なるアスペクト比のデコード画像を表示する場合、仮にエンコード時のブロック化の情報を用いることができたとしても、その情報に基づいてブロック境界を特定することは難しい。
【００１５】
勿論、ブロック境界を特定せずに画面全体を平滑化してノイズ感を低減させることも可能であるが、この場合、平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われてしまう。すなわち、本来ブロックノイズではない、画像のディテールなどによる画素の輝度の振幅までが誤って平滑化されてしまい、画像の解像度感が薄れてしまう。
【００１６】
さらに、従来のノイズ低減のためのフィルタ処理では、注目画素を中心とする複数の画素に対して係数が加重されるようにして注目画素の画素値を求めているが、注目画素自身がノイズを含んでいる場合、フィルタ処理後においても、そのノイズ成分が見えてしまう可能性が生じる。
【００１７】
本発明はこのような状況に鑑みてなされたものであり、ノイズ感を低減させながら、解像度感の高い画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の第１の側面は、入力画像を処理して、処理画像を生成する画像処理装置であって、前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する画素値演算手段とを備える画像処理装置である。
【００１９】
前記平滑化手段は、前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定するようにすることができる。
【００２０】
前記平滑化手段は、前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記処理対象画像を平滑化するようにすることができる。
【００２１】
前記クラスコード決定手段は、前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成するようにすることができる。
【００２２】
前記クラスコード決定手段は、前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行うようにすることができる。
【００２３】
本発明の第１の側面は、入力画像を処理して、処理画像を生成する画像処理装置の画像処理方法であって、前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算するステップを含む画像処理方法である。
【００２４】
本発明の第１の側面は、コンピュータを、入力画像を処理して、処理画像を生成する画像処理装置であって、前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記係数を乗じて処理画像の画素値を演算する画素値演算手段とを備える画像処理装置として機能させるプログラムである。
【００２５】
本発明の第１の側面においては、入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップが抽出されて前記タップ内の画素値に基づいて平滑化され、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップが抽出され、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードが生成され、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードが決定され、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値が演算される。
【００２６】
本発明の第２の側面は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段とを備える学習装置である。
【００２７】
前記平滑化手段は、前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定するようにすることができる。
【００２８】
前記平滑化手段は、前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記復号画像を平滑化するようにすることができる。
【００２９】
前記クラスコード決定手段は、前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成するようにすることができる。
【００３０】
前記クラスコード決定手段は、前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行うようにすることができる。
【００３１】
本発明の第２の側面は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置の学習方法であって、原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出し、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め、前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するステップを含む学習方法である。
【００３２】
本発明の第２の側面は、コンピュータを、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段とを備える学習装置として機能させるプログラムである。
【００３３】
本発明の第２の側面においては、原画像を圧縮符号化し復号して得られる復号画像が、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化され、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップが抽出され、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードが決定され、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップが抽出され、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め、前記求められたタップ係数が、前記クラスコード毎に記憶部に記憶される。
【発明の効果】
【００３４】
本発明によれば、ノイズ感を低減させながら、解像度感の高い画像を生成することができる。
【発明を実施するための最良の形態】
【００３５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３６】
本発明の第１の側面の画像処理装置は、入力画像を処理して、処理画像を生成する画像処理装置であって、前記入力画像である処理対象画像（例えば、MPEG画像）を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段（例えば、図３の平滑化処理部７２）と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段（例えば、図８のステップＳ８１の処理を実行する図３のクラス分類輝度値演算部７３）と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段（例えば、図７のステップＳ６２の処理を実行する図３のクラス分類輝度値演算部７３）と、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する画素値演算手段（例えば、図１３のステップＳ１４８、Ｓ１４９の処理を実行する図３のクラス分類輝度値演算部５３）とを備える。
【００３７】
本発明の第１の側面の画像処理方法は、入力画像を処理して、処理画像を生成する画像処理装置の画像処理方法であって、前記入力画像である処理対象画像（例えば、MPEG画像）を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化し（例えば、図１３のＳ１４３の処理）、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し（例えば、図８のステップＳ８１の処理）、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し（例えば、図７のステップＳ６２の処理）、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する（例えば、図１３のステップＳ１４８、Ｓ１４９の処理）ステップを含む。
【００３８】
本発明の第２の側面の学習装置は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、原画像を圧縮符号化し復号して得られる復号画像（例えば、MPEG画像）を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段（例えば、図２の平滑化処理部５２）と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段（例えば、図８のステップＳ８１の処理を実行する図２のクラス分類係数生成部５３）と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段（例えば、図７のステップＳ６２の処理を実行する図２のクラス分類係数生成部５３）と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段（例えば、図９のステップＳ１０１の処理を実行する図２のクラス分類係数生成部５３）と、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段（例えば、図７のステップＳ６３の処理、および図１２のステップＳ１２１乃至Ｓ１２３の処理を実行する図２のクラス分類係数生成部５３）と、前記求められたタップ係数を、前記クラスコード毎に記憶部（例えば、図２、図３の係数記憶部５４）に記憶するタップ係数記憶手段（例えば、図１２のステップＳ１２４の処理を実行する図２のクラス分類係数生成部５３）とを備える。
【００３９】
本発明の第２の側面の学習方法は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置の学習方法であって、原画像を圧縮符号化し復号して得られる復号画像（例えば、MPEG画像）を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化し（例えば、図４のステップＳ１３の処理）、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成
されるクラスタップを抽出し（例えば、図８のステップＳ８１の処理）、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し（例えば、図７のステップＳ６２の処理）、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出し（例えば、図９のステップＳ１０１の処理）、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め（例えば、図７のステップＳ６３の処理、および図１２のステップＳ１２１乃至Ｓ１２３の処理）、前記求められたタップ係数を、前記クラスコード毎に記憶部（例えば、図２、図３の係数記憶部５４）に記憶する（例えば、図１２のステップＳ１２４の処理）ステップを含む。
【００４０】
以下、図面を参照して、本発明の実施の形態について説明する。
【００４１】
図１は、本発明の一実施の形態に係る画像処理装置１０の構成例を示すブロック図である。この画像処理装置１０は、例えば、MPEG（Motion Picture Expert Group）などの所定の圧縮符号化方式により圧縮符号化された画像を復号した画像に基づいて、ブロックノイズなどのノイズを除去し、かつ解像度感の高い画像を生成するようになされている。
【００４２】
図１の画像処理装置１０は、係数生成処理部３１と画素値生成処理部３２とを有する構成とされている。
【００４３】
係数生成処理部３１は、入力された係数生成用画像のデータに基づいて、画素値生成処理部３２の処理において用いられる係数を生成するようになされている。ここで、係数生成用画像は、圧縮符号化されていない画像とされる。
【００４４】
画素値生成処理部３２は、入力された処理対象画像のデータに対して、ブロックノイズなどのノイズを除去するための平滑化の処理を行い、その平滑化された画像を構成する各画素に対して係数生成処理部３１により生成された係数を用いた演算を行うことにより、ブロックノイズなどのノイズが除去され、かつ解像度感の高い画像の画素値を生成するようになされている。
【００４５】
このように画素値が生成された画素により構成される画像のデータが、処理画像のデータとして、画像処理装置１０から出力されることになる。
【００４６】
なお、係数生成処理部３１と画素値生成処理部３２は、必ずしも一体化されて構成される必要はなく、例えば、それぞれが別の装置として構成されるようにしてもよい。
【００４７】
図２は、係数生成処理部３１の詳細な構成例を示すブロック図である。同図に示されるように、係数生成処理部３１には、圧縮符号化されていない画像である原画像のデータが入力される。ここで、原画像は、図１の係数生成用画像に対応するものである。入力された原画像は、エンコーダ・デコーダ５１とクラス分類係数生成部５３に供給される。
【００４８】
エンコーダ・デコーダ５１は、所定の圧縮符号化方式により原画像を圧縮符号化し、さらにその圧縮符号化した画像を復号して得られる画像のデータを生成する。この例では、エンコーダ・デコーダ５１がMPEG方式で原画像を圧縮符号化し、さらに復号するものとする。圧縮符号化されて復号された画像には、例えば、MPEGによる圧縮符号化および復号の処理により生じたブロックノイズなどのノイズが含まれる。
【００４９】
平滑化処理部５２は、エンコーダ・デコーダ５１から出力されたMPEG画像（圧縮符号化されて復号された画像）のデータに対して後述するように平滑化の処理を行う。そして、平滑化処理部５２は、平滑化されたMPEG画像のデータと、平滑化の処理において用いられたタップのタップ長を表すコードをクラス分類係数生成部５３に供給するようになされている。
【００５０】
クラス分類係数生成部５３は、平滑化されたMPEG画像の個々の画素に対してADRC(Adaptive Dynamic Range Coding)処理を行ってADRCコードを算出し、平滑化処理部５２から供給されたタップ長のコードとADRCコードとに基づいて、個々の画素に対応するクラスコードを特定する。
【００５１】
また、クラス分類係数生成部５３は、平滑化されたMPEG画像の個々の画素を注目画素として、注目画素を中心とする予測タップの画素の画素値と、原画像において注目画素に対応する画素の画素値との関係を表す行列式をクラスコード毎に生成する。
【００５２】
そして、クラス分類係数生成部５３は、上述した行列式の逆行列を演算して、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値に乗じられる係数であって、原画像において注目画素に対応する画素の画素値を求めるための係数を算出する。この係数は、上述したクラスコード毎に算出されることになる。
【００５３】
クラス分類係数生成部５３により算出（生成）された係数は、クラスコードに対応付けられて係数記憶部５４に記憶されることになる。
【００５４】
図３は、画素値生成処理部３２の詳細な構成例を示すブロック図である。同図に示されるように、画素値生成処理部３２には、MPEG画像（圧縮符号化されて復号された画像）のデータが入力される。ここで、MPEG画像は、図１の処理対象画像に対応するものであって、例えば、MPEGによる圧縮符号化および復号の処理により生じたブロックノイズなどのノイズが含まれる画像とされる。
【００５５】
MPEG画像は、平滑化処理部７２に入力され、後述するように平滑化の処理が施される。これにより、平滑化されたMPEG画像のデータが出力されることになる。平滑化されたMPEG画像は、ブロックノイズなどのノイズが除去されているが、一方で平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われ、画像の解像度感が薄れた画像となる。
【００５６】
また、平滑化処理部７２は、平滑化されたMPEG画像のデータと、平滑化の処理において用いられたタップのタップ長を表すコードをクラス分類輝度値演算部７３に供給するようになされている。
【００５７】
なお、画素値生成処理部３２の平滑化処理部７２と係数生成処理部３１の平滑化処理部５２とが同一の機能ブロックとして構成されるようにしてもよい。
【００５８】
クラス分類輝度値演算部７３は、平滑化処理部７２から供給された平滑化されたMPEG画像の個々の画素に対してADRC処理を行ってADRCコードを算出し、平滑化処理部７２から供給されたタップ長のコードとADRCコードとに基づいて、個々の画素に対応するクラスコードを特定する。
【００５９】
そしてクラス分類輝度値演算部７３は、当該注目画素のクラスコードに対応する係数を係数記憶部５４から読み出して、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値にそれらの係数を乗じることで、処理画像の各画素の画素値を演算していくようになされている。
【００６０】
次に、本発明の画像処理装置１０によるクラス別係数生成処理について、図４のフローチャートを参照して説明する。この処理は、例えば、係数生成用画像（原画像）のデータが入力されたとき、係数生成処理部３１により実行される。
【００６１】
ステップＳ１１において、平滑化処理部５２は、注目画素の位置を設定する。ここで、注目画素の位置は、エンコーダ・デコーダ５１により原画像が圧縮符号化され、さらにその圧縮符号化された画像を復号して得られるMPEG画像の画面左上に設定される。
【００６２】
ステップＳ１２において、平滑化処理部５２は、MPEG画像の平滑化の処理に用いるタップサイズに対応するコードCls_aを「０」に設定し、タップ内の画素のダイナミックレンジの閾値DRthと、タップサイズの最大値Tmaxを設定する。
【００６３】
ステップＳ１３において、平滑化処理部５２は、図５を参照して後述する平滑化処理を実行する。
【００６４】
ここで、図５のフローチャートを参照して、図４のステップＳ１３の平滑化処理の詳細について説明する。
【００６５】
ステップＳ３１において、平滑化処理部５２は、タップサイズを表す変数Taを初期化する。ここでは、例えば、注目画素を中心とする９（＝３×３）個の画素により構成されるタップのサイズが初期値として設定される。ここで初期化されるタップサイズは、後述するように注目画素の値（輝度値）を平滑化するために用いられるタップのタップサイズである。
【００６６】
ステップＳ３２において、平滑化処理部５２は、タップサイズTaが最大値Tmaxを超えているか否かを判定し、タップサイズTaが最大値Tmaxを超えていないと判定された場合、処理は、ステップＳ３３に進む。
【００６７】
ステップＳ３３において、平滑化処理部５２は、注目画素を中心とするタップサイズTaのタップ内の画素値のダイナミックレンジDR_1を算出する。いまの場合、注目画素を中心とする９個の画素により構成されるタップ内の各画素の画素値のうちの最大のものと、最小のものに基づいてダイナミックレンジDR_1が算出される。
【００６８】
ステップＳ３４において、平滑化処理部５２は、ダイナミックレンジDR_1は、閾値DRth未満か否かを判定し、ダイナミックレンジDR_1が閾値DRth未満であると判定された場合、処理は、ステップＳ３５に進む。
【００６９】
ステップＳ３５において、平滑化処理部５２は、コードCls_aをインクリメントし、ステップＳ３６において、タップサイズTaを拡大する。
【００７０】
このとき、例えば、図６に示されるように、タップのサイズが拡大される。同図において、図中黒い正方形で示される位置の画素が注目画素となる。この例では、注目画素を中心とする９（＝３×３）個の画素により構成される矩形のタップから、注目画素を中心とする４９（＝７×７）個の画素により構成される矩形のタップへとタップのサイズが拡大される。なお、平滑化処理で用いられるタップは矩形のものに限られるものではなく、また、タップサイズも９（＝３×３）個の画素、または４９（＝７×７）個の画素に限られるものではない。
【００７１】
このように、タップのサイズが拡大されることにより、タップ内の画素の数が増えるのでダイナミックレンジDR_1の値が大きくなる可能性が高くなる。
【００７２】
そして、処理は、ステップＳ３２に戻り、ステップＳ３２乃至ステップＳ３６の処理が繰り返し実行されることになる。すなわち、タップサイズが最大値を超えるか、またはタップ内の画素の値のダイナミックレンジが閾値以上となるまでタップサイズが拡大されていくことになる。
【００７３】
ステップＳ３２において、タップサイズTaが最大値Tmaxを超えていると判定された場合、または、ステップＳ３４において、ダイナミックレンジDR_1が閾値DRth未満ではないと判定された場合、処理は、ステップＳ３７に進む。
【００７４】
ステップＳ３７において、平滑化処理部５２は、注目画素の位置と、コードCls_aとを対応付けて内部のメモリなどに記憶する。なお、コードCls_aは、平滑化処理で用いられたタップサイズ（タップ長）を表すコードとなり、例えば、２ビットで構成されるコードとして記憶されるものとする。
【００７５】
ステップＳ３８において、平滑化処理部５２は、注目画素の画素値をタップサイズTaのタップ内の画素値の平均値とする。すなわち、この処理により注目画素の画素値が平滑化されたことになる。
【００７６】
なお、従来より、注目画素に対して大きな重みがつくガウシアン等のフィルタにより画素値を平滑化する方式が採用されているが、従来の方式では、例えば、注目画素にノイズ成分が重畳されている場合、平滑化してもノイズ成分が消えないことがある。そこで、本発明においては、タップ内の画素に重みを付けることなく、画素値の平均値を演算して平滑化することとしている。
【００７７】
ステップＳ３９において、平滑化処理部５２は、注目画素の位置をラスター方向に移動させる。このとき、例えば、画素の位置が画面の水平方向右側に画素１個分移動させられる。
【００７８】
ステップＳ４０において、平滑化処理部５２は、注目画素の位置は水平方向の画枠外か否かを判定し、水平方向の画枠内であると判定された場合、処理は、ステップＳ３１に戻り、新たな注目画素に対してステップＳ３１乃至ステップＳ３９の処理が繰り返し実行される。
【００７９】
一方、ステップＳ４０において、注目画素の位置は水平方向の画枠外であると判定された場合、処理は、ステップＳ４１に進み、平滑化処理部５２は、注目画素の位置を画面の垂直方向の１ライン下左側に移動させる。
【００８０】
ステップＳ４２において、平滑化処理部５２は、注目画素の位置は垂直方向の画枠外か否かを判定し、垂直方向の画枠内であると判定された場合、処理は、ステップＳ３１に戻り、新たな注目画素に対してステップＳ３１乃至ステップＳ４１の処理が繰り返し実行される。
【００８１】
ステップＳ４２において、注目画素の位置は垂直方向の画枠外であると判定された場合、平滑化処理は終了する。
【００８２】
図４に戻って、ステップＳ１２の処理の後、ステップＳ１４において、平滑化処理部５２は、平滑化されたMPEG画像のデータを出力する。このとき出力されるデータが、図２の平滑化されたMPEG画像に対応している。
【００８３】
ステップＳ１５において、平滑化処理部５２は、ステップＳ３７の処理で記憶されている、コードCls_aを注目画素の位置を表す情報に対応付けて出力する。このとき出力されるコードCls_aのそれぞれが、図２のタップ長のコードに対応している。
【００８４】
ステップＳ１６において、クラス分類係数生成部５３は、図７を参照して後述する係数算出処理を実行する。
【００８５】
ここで、図７のフローチャートを参照して、図４のステップＳ１６の係数算出処理の詳細について説明する。
【００８６】
ステップＳ６１において、クラス分類係数生成部５３は、ステップＳ１４の処理で出力された平滑化されたMPEG画像の中で注目画素の位置を設定する。例えば、最初の注目画素として、平滑化されたMPEG画像の画面左上の画素が注目画素として設定される。
【００８７】
ステップＳ６２において、クラス分類係数生成部５３は、図８を参照して後述するクラスコード特定処理を実行する。これにより、平滑化されたMPEG画像の個々の画素に対してADRC処理を行ってADRCコードが算出され、ステップＳ１５の処理で出力されたコードCls_a（タップ長のコード）とADRCコードとに基づいて、個々の画素に対応するクラスコードが特定される。
【００８８】
ステップＳ６３において、クラス分類係数生成部５３は、図１１を参照して後述するクラスコード別行列式生成処理を実行する。これにより、平滑化されたMPEG画像の個々の画素を注目画素として、注目画素を中心とする予測タップの画素の画素値と、原画像において注目画素に対応する画素の画素値との関係を表す行列式がクラスコード毎に生成される。
【００８９】
ステップＳ６４において、クラス分類係数生成部５３は、次の画素があるか否かを判定し、次の画素があると判定された場合、処理は、ステップＳ６１に戻る。そして、ステップＳ６１では、次の画素が注目画素として設定されることになる。このように、平滑化されたMPEG画像において注目画素の位置が、例えば、ラスター順に移動していく。
【００９０】
さらに、上述したように、ステップＳ６２でそれぞれの注目画素のクラスコードが特定され、それぞれの注目画素を中心とする予測タップの画素の画素値と、原画像において注目画素に対応する画素の画素値との関係を表す行列式が生成されて、クラスコード別の行列式としてステップＳ６３で足しこまれていくことになる。
【００９１】
ステップＳ６４において、次の画素がないと判定された場合、すなわち、平滑化されたMPEG画像を構成する全ての画素が、それぞれ注目画素とされてステップＳ６１乃至Ｓ６３の処理が実行された後、処理は、ステップＳ６５に進む。
【００９２】
ステップＳ６５において、クラス分類係数生成部５３は、図１２を参照して後述する行列式演算処理を実行する。これにより、上述した行列式の逆行列が演算され、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値に乗じられる係数であって、原画像において注目画素に対応する画素の画素値を求めるための係数がクラスコード毎に算出されるとともに、算出された係数が、クラスコードに対応付けられて係数記憶部５４に記憶される。
【００９３】
次に、図８のフローチャートを参照して、図７のステップＳ６２のクラスコード特定処理の詳細について説明する。
【００９４】
ステップＳ８１において、クラス分類係数生成部５３は、ステップＳ６１の処理で設定された注目画素を中心とするクラスタップを抽出する。このとき、例えば、図９に示されるように、平滑化されたMPEG画像において、注目画素を中心とする９個の画素で構成される十字型のタップが抽出される。クラスタップは、注目画素を中心とする複数の画素の値の変化の特徴を、後述するようにクラス分類するために用いられるタップである。
【００９５】
なお、図９の例では、クラスタップを構成する個々の画素を区別できるように、各画素の位置に「１」乃至「９」の番号が付されており、いまの場合、番号が「５」の位置の画素が注目画素となる。
【００９６】
ステップＳ８２において、クラス分類係数生成部５３は、この後実行されるADRCの処理において用いられる閾値dimthを演算する。閾値dimthは、式（１）により演算される。
【００９７】
dimth= Dr_c/2 + Min_c  ・・・（１）
【００９８】
ここで、Dr_cは、ステップＳ８１で抽出されたクラスタップ内の画素の値のダイナミックレンジを表し、Min_cは、ステップＳ８１で抽出されたクラスタップ内の画素の値のうち、最小のものを表すこととする。
【００９９】
ステップＳ８３において、クラス分類係数生成部５３は、ステップＳ８２の処理の結果得られた閾値を用いて、ステップＳ８１で抽出されたクラスタップを構成する画素について後述するように、ADRC処理を行いコードCls_bを特定する。
【０１００】
このとき、例えば、図１０に示されるような処理が行われ、コードCls_bが特定される。図１０は、横軸が画素位置を表し、縦軸が画素値を表すものとされ、例えば、図９に示されるクラスタップの個々の画素の値を波形１０１として表すグラフである。同図に示される四角形で囲まれた「１」乃至「９」の数字は、それぞれ図９の「１」乃至「９」の番号が付された位置の画素の値をプロットした点を示すものとする。
【０１０１】
図１０の例では、番号「９」に対応する画素の値が最大（max）であり、番号「７」に対応する画素の値が最小（min）である。そして、図中の点線で示される位置がステップＳ８２の処理で求めた閾値dimthとなる。なお、いまの場合、番号「７」に対応する画素の値が最小（min）であるので、この値が式（１）のMin_cに対応する。
【０１０２】
さらに、ADRC処理では、個々の画素値が閾値dimthを超えているか否かが判定され、画素値が閾値dimthを超えている場合、その画素にビットコード「１」が設定され、画素値が閾値dimthを超えていない場合、その画素にビットコード「０」が設定されるようになされている。
【０１０３】
図１０の例において、番号「１」乃至「９」に対応する画素のそれぞれのビットコードを連続して記述すると、９ビットのコード「１１１１１０００１」となる。ステップＳ８４では、この９ビットのコードがコードCls_bとして特定される。このように、コードCls_bは、クラスタップ内の画素値の変化の波形の特徴を表すコードとなる。
【０１０４】
図８に戻って、ステップＳ８４において、クラス分類係数生成部５３は、ステップＳ１５の処理で出力されたコードCls_aであって、ステップＳ６１の処理で設定されているいまの注目画素に対応するコードCls_aを取得し、コードCls_aと、ステップＳ８３で特定されたコードCls_bからクラスコードCls_cを生成する。
【０１０５】
例えば、コードCls_aが「０１」であり、コードCls_bが「１１１１１０００１」であった場合、クラスコードCls_cは、１１ビットのコード「０１１１１１１０００１」とされる。
【０１０６】
ステップＳ８５において、クラス分類係数生成部５３は、クラスコードCls_cを注目画素に対応するクラスコードとして設定する。
【０１０７】
このようにして、クラスコードが特定される。このようにすることで、クラスコードは、平滑化されたMPEG画像内の注目画素のそれぞれについて、平滑化処理で用いられたタップ長と、クラスタップ内の画素値の変化の波形の特徴とを表すコードとなり、11ビットで構成される場合、最大で２０４８（=２11）通りにクラス分類されることになる。
【０１０８】
次に、図１１のフローチャートを参照して、図７のステップＳ６３のクラスコード別行列式生成処理の詳細について説明する。
【０１０９】
ステップＳ１０１において、クラス分類係数生成部５３は、平滑化されたMPEG画像においてステップＳ６１の処理で設定された注目画素を中心とする予測タップを抽出する。予測タップは、平滑化されたMPEG画像の画素により構成されるタップであって、処理画像の画素を生成するために用いられるタップである。
【０１１０】
このとき、例えば、図９を参照して上述したような、注目画素を中心とする９個の画素で構成される十字型のタップが予測タップとして抽出されるようにしてもよいし、また、図９とは異なるタップが予測タップとして抽出されるようにしてもよい。すなわち、予測タップは、クラスタップと同じであってもよいし、クラスタップとは異なるものであってもよい。なお、予測タップがクラスタップとは異なる場合であっても、予測タップの画素数がクラスタップの画素数と等しく設定されることが好ましい。
【０１１１】
また、ステップＳ１０１において、クラス分類係数生成部５３は、予測タップ内の画素の輝度値Ytd[m]を保持する。予測タップの画素数（タップ長）がLdである場合、m＝（0,1,・・・Ld）となり、輝度値Ytd[0]、Ytd[2]、・・・Ytd[Ld]がそれぞれ保持される。ここで、[0]乃至[Ld]は、予測タップ内の画素の位置を表す番号となる。
【０１１２】
ステップＳ１０２において、クラス分類係数生成部５３は、原画像において、注目画素に対応する画素を抽出し、その抽出した画素の輝度値Ytを保持する。
【０１１３】
ステップＳ１０３において、クラス分類係数生成部５３は、輝度値Ytd[m]と輝度値Ytとの関係を表す行列式を生成する。このとき、例えば、式（２）に示されるような行列式が生成される。
【０１１４】
【数１】
0004835949.tif 000002
【０１１５】
ここで［cls］は、個々のクラスコードを表すものとする。
【０１１６】
ステップＳ１０４において、クラス分類係数生成部５３は、ステップＳ１０３の処理で生成された行列式を、ステップＳ６２の処理で特定されたクラスコードCls_cに対応付けられた行列式として保持する。
【０１１７】
なお、図１１のクラスコード別行列式生成処理は、注目画素毎に実行されることになるので、平滑化されたMPEG画像の画素のそれぞれについて式（２）のような行列式が生成されることになる。例えば、複数の注目画素において同じクラスコードが設定されている場合、１つのクラスコードに対応して複数の行列式が生成されることになるが、この場合、ステップＳ１０４の処理で、行列式の足しこみが行われることになる。
【０１１８】
すなわち、同一のクラスコードを有する注目画素に対応して得られた輝度値Ytd[m]と輝度値Ytは、式（２）の行列式におけるΣにより足しこまれていくことになり、同一のクラスコードを有する注目画素の数だけ行列式が足しこまれていくことになる。
【０１１９】
次に、図１２のフローチャートを参照して、図７のステップＳ６５の行列式演算処理の詳細について説明する。この処理は、上述した式（２）における係数coef［0］［cls］乃至coef［Ld］［cls］を求めるための処理である。すなわち、クラスコード毎に、平滑化されたMPEG画像から抽出された複数の予測タップの画素の輝度値と原画像の画素の輝度値を用いて、二乗誤差を最小にする係数値が決定される。これは、いわゆる、最小二乗法による解法である。
【０１２０】
ステップＳ１２１において、クラス分類係数生成部５３は、行列式演算処理の処理対象のクラスコード、すなわちこれから係数を算出すべきクラスコードを設定する。なお、後述するステップＳ１２２乃至ステップＳ１２４の処理は、１のクラスコードに対して１回ずつ実行されていくことになる。
【０１２１】
ステップＳ１２２において、クラス分類係数生成部５３は、逆行列を演算する。このとき、式（２）に示される最も左の行列の逆行列が演算される。
【０１２２】
ステップＳ１２３において、クラス分類係数生成部５３は、式（２）の最も右側の行列とステップＳ１２２の処理で演算された逆行列との積を演算してクラスコードに対応する係数を算出する。
【０１２３】
例えば、ステップＳ１２１で設定されたクラスコードが「x（実際には、１１ビットのビット列で表されるコード）」であった場合、係数coef［0］［x］乃至coef［Ld］［x］がステップＳ１２３でそれぞれ算出されることになる。
【０１２４】
ステップＳ１２４において、クラス分類係数生成部５３は、ステップＳ１２３で算出された係数をクラスコードに対応付けて係数記憶部５４に記憶する。
【０１２５】
ステップＳ１２５において、クラス分類係数生成部５３は、次のクラスコードがあるか否かを判定し、次のクラスコードがあると判定された場合、処理は、ステップＳ１２１に戻り、あらたなクラスコードが設定されて、ステップＳ１２１乃至ステップＳ１２５の処理が繰り返し実行される。
【０１２６】
ステップＳ１２５において、次のクラスコードがないと判定された場合、すなわち、全てのクラスコードについて式（２）における係数coef［0］［cls］乃至coef［Ld］［cls］が求められた場合、行列式演算処理は終了する。また、これにより、図７の係数算出処理も終了することになるので、図４のクラス別係数生成処理が終了したことになる。
【０１２７】
このようにして、クラスコード毎に係数が算出されて記憶される。この係数は、式（２）に基づいて得られる係数なので、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値に乗じられる係数であって、原画像において注目画素に対応する画素の画素値を求めるために最適な係数となる。
【０１２８】
また、本発明によれば、平滑化されたMPEG画像内の注目画素のそれぞれが、平滑化処理で用いられたタップ長と、クラスタップ内の画素値の変化の波形の特徴とを表すコードとからなるクラスコードによりクラス分類される。
【０１２９】
平滑化処理で用いられるタップ長（タップのサイズ）は、図６を参照して上述したように、MPEG画像から抽出された注目画素およびその周辺の画素の値のダイナミックレンジにより変化するようになされているので、MPEG画像に含まれていたノイズの強度に対応するクラス分類を行うことができる。さらに、クラスタップ内の画素値の変化の波形の特徴は、図１０を参照して上述したようにコード化されるので、注目画素およびその周辺の画素の値の変化の特徴を詳細に特定してクラス分類を行うことができる。
【０１３０】
すなわち、本発明によれば、圧縮符号化されて復号された画像のノイズを平滑化により除去することを前提とし、その平滑化された画像の画素の値と原画像の画素の値との対応付けを行うにあたり最適なクラス分類を行うことが可能となる。
【０１３１】
ここまで、図４乃至図１２を参照して、図１の係数生成処理部３１の処理について詳細に説明した。例えば、画像処理装置１０に、予め複数の係数生成用画像を入力し、原画像において注目画素に対応する画素の画素値を求めるために最適な係数を係数記憶部５４に記憶させておくようにするとよい。
【０１３２】
係数生成処理部３１によりクラスコード毎に係数が算出されて記憶された後は、例えば、任意のMPEG画像を処理対象画像として入力し、画素値生成処理部３２の処理により、ブロックノイズなどのノイズが除去され、かつ解像度感の高い画像の画素値を生成して、それらの画素により構成される処理画像を出力させることができる。
【０１３３】
次に、図１３のフローチャートを参照して、本発明の画像処理装置１０による画素値生成処理について説明する。この処理は、例えば、処理対象画像（MPEG画像）のデータが入力されたとき、画素値生成処理部３２により実行される。
【０１３４】
ステップＳ１４１において、平滑化処理部７２は、注目画素の位置を処理対象画像の画面左上に設定する。
【０１３５】
ステップＳ１４２において、平滑化処理部７２は、処理対象画像の平滑化の処理に用いるタップサイズに対応するコードCls_aを「０」に設定し、タップ内の画素のダイナミックレンジの閾値DRthと、タップサイズの最大値Tmaxを設定する。
【０１３６】
ステップＳ１４３において、平滑化処理部７２は、平滑化処理を実行する。この処理は、図５を参照して上述した処理と同様なので詳細な説明は省略するが、これにより、平滑化されたMPEG画像のデータが生成されることになる。上述したように、平滑化されたMPEG画像は、ブロックノイズなどのノイズが除去されているが、一方で平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われ、画像の解像度感が薄れた画像となる。また、平滑化の処理において用いられたタップのタップ長を表すコードも生成されることになる。
【０１３７】
なお、図５を参照して上述した場合と同様に、本発明の平滑化処理においては、タップ内の画素に重みを付けることなく、画素値の平均値を演算して平滑化することとしている。注目画素に対して大きな重みがつくガウシアン等のフィルタなど従来の方式では、例えば、注目画素にノイズ成分が重畳されている場合、平滑化してもノイズ成分が消えないことがあるからである。
【０１３８】
ステップＳ１４４において、平滑化処理部７２は、ステップＳ１４３の処理により生成された平滑化されたMPEG画像のデータを出力する。このとき出力されるデータが、図３の平滑化されたMPEG画像に対応している。
【０１３９】
ステップＳ１４５において、平滑化処理部７２は、図５のステップＳ３７の処理で記憶されている、コードCls_aを注目画素の位置を表す情報に対応付けて出力する。このとき出力されるコードCls_aのそれぞれが、図３のタップ長のコードに対応している。
【０１４０】
ここまで、平滑化処理部７２による処理が行われ、この後、クラス分類輝度値演算部７３による処理が行われる。
【０１４１】
ステップＳ１４６において、クラス分類輝度値演算部７３は、ステップＳ１４４の処理で出力された平滑化されたMPEG画像の中で注目画素の位置を設定する。例えば、最初の注目画素として、平滑化されたMPEG画像の画面左上の画素が注目画素として設定される。
【０１４２】
ステップＳ１４７において、クラス分類輝度値演算部７３は、クラスコード特定処理を実行する。この処理は、図８を参照して上述した処理と同様なので詳細な説明は省略するが、これにより、平滑化されたMPEG画像の個々の画素に対してADRC処理を行ってADRCコードが算出され、ステップＳ１４５の処理で出力されたコードCls_a（タップ長のコード）とADRCコード（コードCls_b）とに基づいて、個々の画素に対応するクラスコードCls_cが特定される。
【０１４３】
ステップＳ１４８において、クラス分類輝度値演算部７３は、ステップＳ１４７の処理で特定されたクラスコードに対応する係数を、係数記憶部５４から読み出す。
【０１４４】
ステップＳ１４９において、クラス分類輝度値演算部７３は、図１４を参照して後述する画素値演算処理を実行する。
【０１４５】
ここで、図１４のフローチャートを参照して、図１３のステップＳ１４９の画素値演算処理の詳細について説明する。
【０１４６】
ステップＳ１７１において、クラス分類輝度値演算部７３は、ステップＳ１４６の処理で設定された注目画素を中心とする予測タップを抽出する。このとき、例えば、ステップＳ１４７のクラスコード特定処理で用いられたクラスタップと同じタップが予測タップとして用いられるようにしてもよいし、クラスタップとは異なるタップが予測タップとして用いられるようにしてもよい。
【０１４７】
また、ステップＳ１７１において、クラス分類輝度値演算部７３は、予測タップ内の画素の輝度値Ytp［m］を保持する。予測タップの画素数（タップ長）がLdである場合、m＝（0,1,・・・Ld）となり、輝度値Ytp[0]、Ytd[2]、・・・Ytp[Ld]がそれぞれ保持される。ここで、[0]乃至[Ld]は、予測タップ内の画素の位置を表す番号となる。
【０１４８】
ステップＳ１７２において、クラス分類輝度値演算部７３は、輝度値Ytp［m］に、ステップＳ１４８で読み出された係数を乗じて処理画像における注目画素の輝度値Ymを求める。
【０１４９】
このとき、式（３）で示される線形一次演算が実行されることになる。
【０１５０】
【数２】
0004835949.tif 000003
【０１５１】
ここで、変数ｉは、予測タップ内の画素の位置を表す番号に対応するものとなる。
【０１５２】
このようにして演算された輝度値Ymが処理画像における注目画素の値とされていく。
【０１５３】
図１３に戻って、ステップＳ１４９の処理の後、処理は、ステップＳ１５０に進み、クラス分類輝度値演算部７３は、次の画素があるか否かを判定し、次の画素があると判定された場合、処理は、ステップＳ１４６に戻る。そして、ステップＳ１４６では、次の画素が注目画素として設定されることになる。このように、平滑化されたMPEG画像において注目画素の位置が、例えば、ラスター順に移動していく。
【０１５４】
ステップＳ１５０において、次の画素がないと判定された場合、すなわち、平滑化されたMPEG画像を構成する全ての画素が、それぞれ注目画素とされてステップＳ１４７乃至Ｓ１４９の処理が実行された後、処理は、ステップＳ１５１に進む。
【０１５５】
ステップＳ１５１において、クラス分類輝度値演算部７３は、ステップＳ１７２の処理で輝度値が演算された画素により構成される画像のデータを、処理画像のデータとして出力する。このとき出力される処理画像のデータが図３の処理画像に対応している。処理画像は、上述したように、平滑化されたMPEG画像の注目画素の値（輝度値）のそれぞれが、式（３）により得られる値に置き換えられたものとなる。
【０１５６】
このようにして処理画像のデータが出力される。処理画像は、処理対象画像（MPEG画像）が、平滑化処理部７２により平滑化され、平滑化されたMPEG画像に対してさらに、クラス分類輝度値演算部７３による画素値生成処理が施されて生成される画像となる。従って、圧縮符号化された画像が復号された場合に生じるブロックノイズなどのノイズが除去され、かつ解像度感の高い画像を生成することができる。
【０１５７】
以上においては、MPEG方式により圧縮符号化されて復号された画像（MPEG画像）を処理する例について説明したが、MPEG方式以外の方式により圧縮符号化されて復号された画像に対しても本発明を適用することができる。
【０１５８】
例えば、H264/AVCのデブロッキングフィルタの処理は、デコードの処理に伴って実行されるのでH264/AVC方式でのエンコード時のブロック化の情報を用いることができるため、ブロック境界を特定しやすいが、他の方式（例えば、MPEG）によりエンコードされた画像に対してはこのような処理を実行してもノイズを低減させる効果が期待できない。また、例えば、エンコードされた画像とは異なるアスペクト比のデコード画像を表示する場合、仮にエンコード時のブロック化の情報を用いることができたとしても、その情報に基づいてブロック境界を特定することは難しい。
【０１５９】
本発明によれば、例えば、画像のアスペクト比の如何によらず、また、圧縮符号化の方式の如何によらず、美しい画像を生成することが可能となる。
【０１６０】
また、ブロック境界を特定せずに画面全体を平滑化してノイズ感を低減させることも可能であるが、この場合、平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われてしまう。すなわち、本来ブロックノイズではない、画像のディテールなどによる画素の輝度の振幅までが誤って平滑化されてしまい、画像の解像度感が薄れてしまう。
【０１６１】
本発明によれば、係数生成用画像（原画像）を処理して係数記憶部５４に記憶されている係数を用いて処理画像の画素の輝度値が演算されるようにしたので、原画像の特徴をより精度高く再現でき、平滑化された後も画像のディテール感が損なわれないようにすることが可能となる。
【０１６２】
さらに、従来のノイズ低減のためのフィルタ処理では、注目画素を中心とする複数の画素に対して係数が加重されるようにして注目画素の画素値を求めているが、注目画素自身がノイズを含んでいる場合、フィルタ処理後においても、そのノイズ成分が見えてしまう可能性が生じる。
【０１６３】
本発明によれば、上述したように、タップ内の画素に重みを付けることなく、画素値の平均値を演算して平滑化することとしているので、注目画素自身がノイズを含んでいる場合であっても、その影響を小さくすることができる。
【０１６４】
図１５と図１６は、本発明の効果を説明するための画像の例を示す図である。図１５は、原画像がMPEG方式で圧縮符号化されて復号された画像１５０を示す図であり、図１６は、画像１５０を本発明の画像処理装置１０に処理対象画像として入力した場合に得られる処理画像の画像１７０を示す図である。
【０１６５】
図１５において、画像１５０の図中右側のＸ字型の図形１９１を含んだ部分を拡大した図が領域１５１に示されている。領域１５１内の画像は、ブロックノイズが充分に視認可能となる程度に表示されている。
【０１６６】
図１６においても、画像１７０の図中右側のＸ字型の図形１９１を含んだ部分を拡大した図が領域１７１に示されている。なお、図１５の領域１５１に表示されているオブジェクト（この例では、建物の一部）と図１６の領域１７１に表示されているオブジェクトは同じものである。領域１７１内の画像は、ブロックノイズがほとんど視認できない程度に除去されて表示されている。
【０１６７】
また、画像１５０と画像１７０とを見比べた場合、画像１７０には充分なディテール感があり、解像度感が損なわれていない。
【０１６８】
このように、同じ原画像から得られた画像１５０と画像１７０において、画像１７０は、よりノイズが少なく感じられるとともに、解像度感が損なわれた印象を受けることもない。
【０１６９】
このように、本発明によれば、ノイズ感を低減させながら、解像度感の高い画像を生成することができる。
【０１７０】
ところで、以上においては、平滑化により、主にブロックノイズを除去すると説明したが、除去されるノイズは、ブロックノイズに限られるものではない。例えば、平滑化によりホワイトノイズが除去されるようにすることも、勿論可能である。
【０１７１】
図１７と図１８は、本発明の効果を説明するための別の画像の例を示す図である。図１７は、原画像に何らかの処理が施されて生成された画像であって、ホワイトノイズが含まれるようになった画像２００を示す図であり、図１８は、画像２００を本発明の画像処理装置１０に処理対象画像として入力した場合に得られる処理画像の画像２１０を示す図である。
【０１７２】
図１７において、画像２００の図中上側のＸ字型の図形２２１を含んだ部分を拡大した図が領域２０１に示されている。領域２０１内の画像は、ホワイトノイズが充分に視認可能となる程度に表示されている。
【０１７３】
図１８においても、画像２１０の図中上側のＸ字型の図形２２１を含んだ部分を拡大した図が領域２１１に示されている。なお、図１７の領域２０１に表示されているオブジェクトと図１８の領域２１１に表示されているオブジェクトは同じものである。領域２１１内の画像は、ホワイトノイズがほとんど視認できない程度に除去されて表示されている。
【０１７４】
また、画像２００と画像２１０とを見比べた場合、画像２１０には充分なディテール感があり、解像度感が損なわれていない。
【０１７５】
このように、同じ原画像から得られた画像２００と画像２１０において、画像２１０は、よりノイズが少なく感じられるとともに、解像度感が損なわれた印象を受けることもない。
【０１７６】
このように、本発明によれば、ホワイトノイズが含まれる画像であっても、やはりノイズ感を低減させながら、解像度感の高い画像を生成することができる。
【０１７７】
ただし、本発明の画像処理装置１０によりホワイトノイズを除去させる場合、係数生成処理部３１において、デコーダ・エンコーダ５１（またはそれに代わる機能ブロック）がホワイトノイズを含む画像を生成し、そのホワイトノイズを含む画像を平滑化処理部５２で平滑化してクラス分類係数生成部５３の処理を実行させる必要がある。すなわち、本発明の画像処理装置１０によりホワイトノイズを除去させる場合、ブロックノイズの除去に適した係数とは異なる係数を予め求めて係数記憶部５４に記憶させておく必要がある。
【０１７８】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１９に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１７９】
図１９において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８０】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１８１】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８２】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１８３】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１８４】
なお、この記録媒体は、図１９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１８５】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１８６】
【図１】本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図２】図１の係数生成処理部の詳細な構成例を示すブロック図である。
【図３】図１の画素値生成処理部の詳細な構成例を示すブロック図である。
【図４】クラス別係数生成処理を説明するフローチャートである。
【図５】平滑化処理を説明するフローチャートである。
【図６】平滑化処理において用いられるタップの例を示す図である。
【図７】係数算出処理を説明するフローチャートである。
【図８】クラスコード特定処理を説明するフローチャートである。
【図９】クラスタップまたは予測タップの例を示す図である。
【図１０】ADRCの処理により生成されるコードを説明する図である。
【図１１】クラスコード別行列式生成処理を説明するフローチャートである。
【図１２】行列式演算処理を説明するフローチャートである。
【図１３】画素値生成処理を説明するフローチャートである。
【図１４】画素値演算処理を説明するフローチャートである。
【図１５】原画像がMPEG方式で圧縮符号化されて復号された画像を示す図である。
【図１６】図１５の画像を本発明の画像処理装置に処理対象画像として入力した場合に得られる処理画像を示す図である。
【図１７】原画像が処理されてホワイトノイズが含まれるようになった画像を示す図である。
【図１８】図１７の画像を本発明の画像処理装置に処理対象画像として入力した場合に得られる処理画像を示す図である。
【図１９】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１８７】
１０  画像処理装置，  ３１  係数生成処理部，  ３２  画素値生成処理部，  ５１  エンコーダ・デコーダ，  ５２  平滑化処理部，  ５３  クラス分類係数生成部，  ５４  係数記憶部，  ７２  平滑化処理部，  ７３  クラス分類輝度値演算部，  ７０１  CPU，  ７１１  リムーバブルメディア
【図１】
0004835949.tif 000004
【図２】
0004835949.tif 000005
【図３】
0004835949.tif 000006
【図４】
0004835949.tif 000007
【図５】
0004835949.tif 000008
【図６】
0004835949.tif 000009
【図７】
0004835949.tif 000010
【図８】
0004835949.tif 000011
【図９】
0004835949.tif 000012
【図１０】
0004835949.tif 000013
【図１１】
0004835949.tif 000014
【図１２】
0004835949.tif 000015
【図１３】
0004835949.tif 000016
【図１４】
0004835949.tif 000017
【図１５】
0004835949.tif 000018
【図１６】
0004835949.tif 000019
【図１７】
0004835949.tif 000020
【図１８】
0004835949.tif 000021
【図１９】
0004835949.tif 000022