(57)【要約】【課題】直交変換によって得られた圧縮画像を縮小して再生するにあたり、ブロックノイズの低減と処理の高速化との両立を図ること。【解決手段】本発明は、画像データ１を空間領域から周波数領域に直交変換して成る圧縮画像から縮小画像データを生成する画像処理装置であり、直交変換係数のＭ行×Ｍ列データ（Ｍは自然数）を逆直交変換してＭ行×Ｍ列画素のデータを生成するＩＤＣＴ処理部３と、直交変換係数のうち直流成分を取得し１×１画素のデータを生成するＤＣ成分抽出部４と、ＩＤＣＴ処理部３で生成したＭ行×Ｍ列画素のデータと、ＤＣ成分抽出４で抽出した直流成分とを組み合わせるとともに、Ｍ行×Ｍ列画素のデータを必要に応じて平滑化して画像データを生成する平滑化処理部５と、平滑化処理部５で生成された画像データから任意サイズの縮小画像データを生成する任意サイズ縮小部６とを備えている。【選択図】図１
2006165609.tif 000002
【特許請求の範囲】
【請求項１】
画像データを空間領域から周波数領域に直交変換して成る圧縮画像から縮小画像データを生成する画像処理装置において、
直交変換係数のＭ行×Ｍ列データ（Ｍは自然数）を逆直交変換してＭ行×Ｍ列画素のデータを生成する逆変換処理部と、
前記直交変換係数のうち直流成分を取得し１×１画素のデータを生成する直流成分抽出部と、
前記逆変換処理部で生成した前記Ｍ行×Ｍ列画素のデータと、前記直流成分抽出で抽出した直流成分とを組み合わせるとともに、前記Ｍ行×Ｍ列画素のデータを必要に応じて平滑化して画像データを生成する平滑化処理部と、
前記平滑化処理部で生成された画像データから任意サイズの縮小画像データを生成する縮小部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像データの縮小率に応じて前記逆変換処理部での前記Ｍ行×Ｍ列の値を選択する縮小処理制御部を備えている
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記逆変換処理部は、前記Ｍ行×Ｍ列の複数サイズの逆変換を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記平滑化処理部は、前記画像データのブロック内におけるエッジ部分を抽出し、前記エッジ部分が無いと判断したブロックのみを平滑化する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記平滑化処理部は、前記画像データの縮小率と量子化テーブル値とによって平滑化するか否かを選択する
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
画像データを空間領域から周波数領域に直交変換して成る圧縮画像から縮小画像データを生成する画像処理方法において、
直交変換係数のＭ行×Ｍ列データ（Ｍは自然数）を逆直交変換してＭ行×Ｍ列画素のデータを生成する工程と、
前記直交変換係数のうち直流成分を取得し１×１画素のデータを生成する処理とを選択する工程と、
前記逆直交変換して得た前記Ｍ行×Ｍ列画素のデータと、前記直流成分とを組み合わせるとともに、前記Ｍ行×Ｍ列画素のデータを必要に応じて平滑化して画像データを生成する工程と、
生成した前記画像データから任意サイズの縮小画像データを生成する工程と
を有することを特徴とする画像処理方法。
【請求項７】
前記逆直交変換を行う工程では、前記画像データの縮小率に応じて前記Ｍ行×Ｍ列の値を選択する
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記逆直交変換を行う工程では、前記Ｍ行×Ｍ列の複数サイズの逆変換を行う
ことを特徴とする請求項６記載の画像処理方法。
【請求項９】
前記画像データのブロック内におけるエッジ部分を抽出し、前記エッジ部分が無いと判断したブロックのみ前記平滑化を行う
ことを特徴とする請求項６記載の画像処理方法。
【請求項１０】
前記画像データの縮小率と量子化テーブル値とによって前記平滑化を行うか否かを選択する
ことを特徴とする請求項６記載の画像処理方法。
【請求項１１】
画像データを空間領域から周波数領域に直交変換して成る圧縮画像から縮小画像データを生成する画像処理プログラムにおいて、
直交変換係数のＭ行×Ｍ列データ（Ｍは自然数）を逆直交変換してＭ行×Ｍ列画素のデータを生成するステップと、
前記直交変換係数のうち直流成分を取得し１×１画素のデータを生成する処理とを選択するステップと、
前記逆直交変換して得た前記Ｍ行×Ｍ列画素のデータと、前記直流成分とを組み合わせるとともに、前記Ｍ行×Ｍ列画素のデータを必要に応じて平滑化して画像データを生成するステップと、
生成した前記画像データから任意サイズの縮小画像データを生成するステップと
を有することを特徴とする画像処理プログラム。
【請求項１２】
前記逆直交変換を行うステップでは、前記画像データの縮小率に応じて前記Ｍ行×Ｍ列の値を選択する
ことを特徴とする請求項１１記載の画像処理プログラム。
【請求項１３】
前記逆直交変換を行うステップでは、前記Ｍ行×Ｍ列の複数サイズの逆変換を行う
ことを特徴とする請求項１１記載の画像処理プログラム。
【請求項１４】
前記画像データのブロック内におけるエッジ部分を抽出し、前記エッジ部分が無いと判断したブロックのみ前記平滑化を行う
ことを特徴とする請求項１１記載の画像処理プログラム。
【請求項１５】
前記画像データの縮小率と量子化テーブル値とによって前記平滑化を行うか否かを選択する
ことを特徴とする請求項１１記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＤＣＴ（Discrete Cosine Transform）等の圧縮画像から縮小画像を生成するにあたり、ブロックノイズを除去することができる画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、特許文献１（特開２００３−２３４９０７号公報）では、ＪＰＥＧ（Joint Photographic Experts Group）伸長処理で、ＤＣＴ係数の低周波成分と高周波成分とを分離し、低周波成分を隣接する複数ブロックから平滑化して求めた値に置き換えることでブロックノイズを低減している。また、特許文献２（特開２００１−１８９９３７号公報）では、２次元ブロック単位で画像を処理する際、各ブロックに平滑化を行うための重み付け係数の情報を付加し、係数の値に応じて平滑化度合いを変えることによってブロックノイズを除去している。
【０００３】
【特許文献１】特開２００３−２３４９０７号公報
【特許文献２】特開２００１−１８９９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されている方法では、隣接するブロックの低周波成分を平滑化した値を用いるため、ブロックノイズだけでなくエッジ情報まで除去されてしまうという問題がある。また、エッジに近いブロックは逆にノイズが増加するという問題がある。また、特許文献２に記載されている方法では、ブロックごとにあらかじめ平滑化を行うための重み付け係数の情報を付加しておく必要があり、処理が複雑になるため画像復号化処理の高速化には適していない。
【課題を解決するための手段】
【０００５】
本発明はこのような課題を解決するために成されたものである。すなわち、本発明は、画像データを空間領域から周波数領域に直交変換して成る圧縮画像から縮小画像データを生成する画像処理装置であり、直交変換係数のＭ行×Ｍ列データ（Ｍは自然数）を逆直交変換してＭ行×Ｍ列画素のデータを生成する逆変換処理部と、直交変換係数のうち直流成分を取得し１×１画素のデータを生成する直流成分抽出部と、逆変換処理部で生成したＭ行×Ｍ列画素のデータと、直流成分抽出で抽出した直流成分とを組み合わせるとともに、Ｍ行×Ｍ列画素のデータを必要に応じて平滑化して画像データを生成する平滑化処理部と、平滑化処理部で生成された画像データから任意サイズの縮小画像データを生成する縮小部とを備えている。
【０００６】
また、本発明は、画像データを空間領域から周波数領域に直交変換して成る圧縮画像から縮小画像データを生成する画像処理方法であり、直交変換係数のＭ行×Ｍ列データ（Ｍは自然数）を逆直交変換してＭ行×Ｍ列画素のデータを生成する工程と、直交変換係数のうち直流成分を取得し１×１画素のデータを生成する工程と、逆直交変換して得たＭ行×Ｍ列画素のデータと、直流成分とを組み合わせるとともに、Ｍ行×Ｍ列画素のデータを必要に応じて平滑化して画像データを生成する工程と、生成した画像データから任意サイズの縮小画像データを生成する工程とを有する方法である。
【０００７】
また、本発明は、画像データを空間領域から周波数領域に直交変換して成る圧縮画像から縮小画像データを生成する画像処理プログラムであり、直交変換係数のＭ行×Ｍ列データ（Ｍは自然数）を逆直交変換してＭ行×Ｍ列画素のデータを生成するステップと、直交変換係数のうち直流成分を取得し１×１画素のデータを生成するステップと、逆直交変換して得たＭ行×Ｍ列画素のデータと、直流成分とを組み合わせるとともに、Ｍ行×Ｍ列画素のデータを必要に応じて平滑化して画像データを生成するステップと、生成した画像データから任意サイズの縮小画像データを生成するステップとを有するプログラムである。
【０００８】
このような本発明では、直交変換係数のある大きさであるＭ行×Ｍ列データを逆直交変換してＭ行×Ｍ列の画素データを得るとともに、直流成分による１×１画素のデータを生成し、これらを組み合わせるとともにＭ行×Ｍ列画素のデータを必要に応じて平滑化するため、直流成分のみで縮小画像を生成する場合に比べてＭ行×Ｍ列画素のデータを用いることでエッジ成分の再現性に優れ、また直流成分を用いることによる演算時間の短縮化を図ることができる。
【発明の効果】
【０００９】
したがって、本発明によれば、直交変換によって圧縮された画像を縮小して再現するにあたり、直交変換係数の低周波成分から１／２、１／４、１／８等の縮小画像を生成する処理部を備え、縮小率に応じていずれかの逆変換処理を行い、また量子化テーブルの値や縮小率からブロックノイズ除去方法を切り換えることにより、画像縮小処理の高速化とブロックノイズ低減との両方を実現させることが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図に基づき説明する。図１は、本実施形態に係る画像処理装置を説明するブロック図である。本実施形態の画像処理装置は、画像データを空間領域から周波数領域に直交変換する、例えばＤＣＴ（Discrete Cosine Transform）による圧縮画像から縮小画像データを生成するものであり、構成として、縮小処理制御部２、ＩＤＣＴ（Inverse DCT）処理部３、ＤＣ（直流）成分抽出部４、平滑化処理部５、任意サイズ縮小部６を備えている。
【００１１】
入力データ１は、ＪＰＥＧ（Joint Photographic Experts Group）画像などのＤＣＴ圧縮された画像データと縮小後のサイズ情報とが含まれ、縮小処理制御部２に渡される。縮小処理制御部２は、入力された画像の幅、高さ情報と縮小後の画像サイズ情報から縮小率を求め、ＩＤＣＴ処理、平滑化処理、任意サイズ縮小処理それぞれの方式を選択する。
【００１２】
まず、入力画像の幅、高さと縮小後のサイズから、縦横それぞれの縮小率を求める。次に、縦横の縮小率のうち大きい方の値が（１）１／２より大、（２）１／２以下、（３）１／４以下、（４）１／８以下のどれに当てはまるかを調べ、（１）の場合は８×８ＩＤＣＴ処理部、（２）の場合は４×４ＩＤＣＴ処理部、（３）の場合は２×２ＩＤＣＴ処理部、（４）の場合はＤＣ成分抽出部を選択する。
【００１３】
ＩＤＣＴ処理部３は、図２に示すように８×８サイズのＩＤＣＴ処理を行う８×８ＩＤＣＴ処理部３２、４×４ＩＤＣＴ処理部３３、２×２ＩＤＣＴ処理部３４、これらの３種類のＩＤＣＴ処理を選択する処理選択部３１を備えている。
【００１４】
８×８サイズのＤＣＴ係数をＩＤＣＴ処理すると、図３（ａ）に示すように８×８画素の画像データが得られる。Ｙ成分のＩＤＣＴ処理は数式１で表される。ここでは、ｕ、ｖ座標のＤＣＴ係数をＦY（ｕ，ｖ）とする。
【００１５】
【数１】
2006165609.tif 000003
【００１６】
同様に、４×４サイズ、２×２サイズのＤＣＴ係数をＩＤＣＴ処理すると、それぞれ図３（ｂ）、（ｃ）に示すように４×４画素、２×２画素の画像データが得られる。
【００１７】
次に、平滑化処理部５では、所定サイズの画像データとＤＣ成分による画像データとを組み合わせるとともに、量子化テーブルの値によって平滑化処理を行う。まず、量子化テーブルの平均値を計算し、値が閾値以上の場合は低周波成分が多く含まれエッジ情報が少ないと判断し、平滑化処理を行う。逆に、量子化テーブルの平均値が閾値未満の場合はエッジ情報が多く含まれると判断し、平滑化処理を行わない。また、量子化テーブルの平均値を計算する代わりに、ＤＣ成分の量子化テーブル値を用いてもよい。
【００１８】
平滑化処理は、まず左右の隣接するブロックのＤＣ成分を抽出し、注目ブロックのＤＣ成分値と比較する。左ブロックとの差と、右ブロックとの差がどちらも閾値以下の場合はエッジ情報が含まれていないブロックと判断し、平滑化を行う。逆に、差が閾値以上の場合はエッジ情報を含んでいるブロックと判断し、平滑化は行わない。
【００１９】
平滑化処理を行う場合、左右のブロックのＤＣ成分を平均した値と注目ブロックのＤＣ成分値との差ｄを求め、平滑化係数ｓ（０≦s≦１）を掛けた値を注目ブロックのＤＣ成分に加える。これらの処理をすべてのブロックについて行う。ただし、左端、右端ブロックは平滑化を行わない。
【００２０】
平滑化を行わない場合には、所定サイズの画像データとＤＣ成分による画像データとを市松模様状に配列する。例えば、１／４の縮小を行う場合、ＩＤＣＴ処理によって得た２×２画素のデータとＤＣ成分で生成した２×２画素のデータとをブロック毎に交互に配置する。これにより、エッジ成分はＩＤＣＴ処理による２×２画素のデータによって再現されるとともに、ＤＣ成分で生成した２×２画素のデータを用いることで処理の高速化も図ることができる。
【００２１】
ＤＣ成分抽出部４では、ＤＣＴ係数のＤＣ成分を抽出し、ＩＤＣＴ処理を行う。縮小率が１／８以下の場合は８×８ＤＣＴ係数のデータに対し、ＩＤＣＴ処理を行った１×１画素のデータを出力する。ＤＣ成分だけのＩＤＣＴ処理は数式２で表される。
【００２２】
【数２】
2006165609.tif 000004
【００２３】
次に、ＩＤＣＴ処理部と同様に平滑化処理を行う。ただし、ここでは量子化テーブルの値によらず、常に平滑化処理を行う。処理の内容はＩＤＣＴ処理部での平滑化処理と同様である。
【００２４】
また、平滑化処理部５は、画像の縮小率と量子化テーブルの平均値に応じて、隣接ブロックとの境界部分の画素値の平滑化を行う。なお、ＩＤＣＴ処理部３またはＤＣ成分抽出部４で平滑化処理を行った場合は、ここでは平滑化を行わない。また、縮小率が１／８以下で、量子化テーブルの平均値が閾値以上の場合も、ブロック境界部分の平滑化は行わない。
【００２５】
任意サイズ縮小部６は、ＩＤＣＴ処理部またはＤＣ成分抽出部でＩＤＣＴ変換した画像を任意サイズに縮小する。縮小する際の補間方法としては線形補間が考えられるが、投影法などでもかまわない。これらの処理を行うことによって所望のサイズに縮小された出力画像が得られる。
【００２６】
また、上記の処理の流れをフローチャートで示すと図４のようになる。先ず、縮小処理制御部２によって縮小後の画像サイズから圧縮率を求める（ステップＳ１）。次いで、求めた圧縮率によってＩＤＣＴ処理のサイズを選択し（ステップＳ２）、その選択したＩＤＣＴ処理を行う（ステップＳ３）。
【００２７】
次に、注目ブロックにおけるＤＣ成分の値と隣接ブロックのＤＣ成分の値とを比較してその差が閾値以上であるか否かを判断し（ステップＳ４）、閾値未満である場合にはエッジ成分を含まないとして平滑化処理部５による平滑化を行う（ステップＳ５）。
【００２８】
一方、閾値以上である場合にはステップＳ６へ進み、量子化テーブル値が閾値以上であるか否かを判断する。ここで閾値未満である場合にはエッジ成分を含まないとして平滑化処理部５による平滑化を行う（ステップＳ７）。一方、閾値以上である場合にはエッジ成分を含むとして平滑化処理を行わない。その後、画像データを任意のサイズへ縮小することで（ステップＳ８）、所望の縮小画像データを出力する。以上の処理をすべてのブロックに対して行い、エッジ部分以外を平滑化した縮小画像を生成する。
【００２９】
上記フローチャートに沿った画像処理方法は、各ステップをプログラム処理によって実現することが可能である。すなわち、この画像処理方法をプログラム処理によって実現することで、パーソナルコンピュータ等で実行されるグラフィックスソフトウェアでの一機能として本実施形態の画像処理方法をプログラムとして組み込んだり、本実施形態の画像処理方法もしくはこれが組み込まれたソフトウェアをＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の媒体に格納して流通させたり、ネットワークを介して配信することが可能となる。
【００３０】
なお、上記説明した本実施形態では、主として直交変換後の圧縮画像のブロックが８×８サイズである場合を例としたが、本発明はこれに限定されるものではなく、２n×２nサイズ（ｎは自然数）のブロックであれば適用可能である。この場合、ＩＤＣＴ処理部は２n-1×２n-1サイズ〜２×２サイズまでの処理部を各々用意すればよい。
【図面の簡単な説明】
【００３１】
【図１】本実施形態に係る画像処理装置を説明するブロック図である。
【図２】ＩＤＣＴ処理部の内部構成を説明するブロック図である。
【図３】各サイズのＩＤＣＴ処理を説明する模式図である。
【図４】本実施形態に係る画像処理方法を説明するフローチャートである。
【符号の説明】
【００３２】
１…入力データ、２…縮小処理制御部、３…ＩＤＣＴ処理部、４…ＤＣ成分抽出部、５…平滑化処理部、６…任意サイズ縮小部、７…出力データ、３１…処理選択部、３２…８×８ＩＤＣＴ処理部、３３…４×４ＩＤＣＴ処理部、３４…２×２ＩＤＣＴ処理部
【図１】
2006165609.tif 000005
【図２】
2006165609.tif 000006
【図３】
2006165609.tif 000007
【図４】
2006165609.tif 000008