(57)【要約】【課題】  符号化歪みの低減やエッジの強調や解像度の変換を行うための処理が施された画像のぼかしを軽減し、入力画像本来の細部を維持することである。【解決手段】  画像信号処理装置１は、入力端子１１と、ＤＣＴ変換器１３と、ローパスフィルタ１４と、ＤＣＴ変換器１６と、関数演算処理器１７と、逆ＤＣＴ変換器１８とを少なくとも備える。入力端子１１に画像が入力されると、ＤＣＴ変換器１３は、入力画像の周波数成分を取得する。一方で、ローパスフィルタ１４は、入力端子１１に入力された画像に対してフィルタリング処理を施し、フィルタリング済み画像を生成する。ＤＣＴ変換器１６は、この画像の周波数成分を取得する。関数演算処理器１７は、フィルタリング前後の画像の周波数成分の一部を関数演算し、関数演算済み画像の周波数成分を生成する。逆ＤＣＴ変換器１８は、この周波数成分を画素値に変換して出力させる。【選択図】  図２
2005141722.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像を入力する入力ステップと、
前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する生成ステップと、
前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算する演算ステップと
を含むことを特徴とする画像信号処理方法。
【請求項２】
処理対象画像を入力する入力ステップと、
前記処理対象画像の周波数成分を取得する第１取得ステップと、
前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する第１生成ステップと、
前記フィルタリング済み画像の周波数成分を取得する第２取得ステップと、
前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算し、関数演算済み画像の周波数成分を生成する第２生成ステップと、
前記関数演算済み画像の周波数成分を画素値に変換する変換ステップと
を含むことを特徴とする画像信号処理方法。
【請求項３】
前記フィルタリング処理は、前記フィルタリング済み画像を前記処理対象画像と異なる解像度に変換する処理を含むことを特徴とする請求項１または２に記載の画像信号処理方法。
【請求項４】
処理対象画像を入力する入力手段と、
前記処理対象画像の周波数成分を取得する第１取得手段と、
前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する第１生成手段と、
前記フィルタリング済み画像の周波数成分を取得する第２取得手段と、
前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算し、関数演算済み画像の周波数成分を生成する第２生成手段と、
前記関数演算済み画像の周波数成分を画素値に変換する変換手段と
を備えることを特徴とする画像信号処理装置。
【請求項５】
前記第２生成手段は、前記フィルタリング済み画像の周波数成分の少なくとも一部を、前記処理対象画像の周波数成分の少なくとも一部により差し替えることにより、関数演算済み画像の周波数成分を生成することを特徴とする請求項４に記載の画像信号処理装置。
【請求項６】
前記第２生成手段は、前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを重み付き加算することにより、関数演算済み画像の周波数成分を生成することを特徴とする請求項４に記載の画像信号処理装置。
【請求項７】
前記フィルタリング処理は、前記フィルタリング済み画像を前記処理対象画像と異なる解像度に変換する処理を含むことを特徴とする請求項４〜６の何れか一項に記載の画像信号処理装置。
【請求項８】
処理対象画像を入力する入力機能と、
前記処理対象画像の周波数成分を取得する第１取得機能と、
前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する第１生成機能、
前記フィルタリング済み画像の周波数成分を取得する第２取得機能と、
前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算し、関数演算済み画像の周波数成分を生成する第２生成機能と、
前記関数演算済み画像の周波数成分を画素値に変換する変換機能と
をコンピュータに実現させることを特徴とする画像信号処理プログラム。
【請求項９】
前記フィルタリング処理は、前記フィルタリング済み画像を前記処理対象画像と異なる解像度に変換する処理を含むことを特徴とする請求項８に記載の画像信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理方法、画像信号処理装置、及び画像信号プログラムに関し、特に、画像歪みを除去したり画像のシャープネスを強調したりする手法に関するものである。
【背景技術】
【０００２】
従来、静止画像や動画像のデータの伝送や蓄積を効率良く行うために、圧縮符号化技術が用いられている。圧縮符号化技術としては、静止画像の場合にはＪＰＥＧ（Joint Photographic Expert Group）、動画像の場合にはＭＰＥＧ（Moving Picture Expert Group）の方式が一般的である。
【０００３】
画像を圧縮符号化することによって一部の信号が除去されるため、再生された画像には、ブロック歪みやリンギングなどの符号化歪みが現れる。具体的には、データ量を削減するための量子化処理によって、画像信号の高周波数成分が除去される。とりわけＪＰＥＧやＭＰＥＧ方式が用いられる場合には、量子化処理はブロック単位で行われるため、高周波数成分の量子化によってブロックの境界に不連続性が生じる。その結果、ブロックノイズが現れる。符号化歪みの影響を低減するためには、再生された画像の高周波成分を遮断するためのローパスフィルタをかけることが有効である。また、フィルタリングされた画像のシャープネスを強調するためには、エッジ部分の強調処理が有効である。
【０００４】
圧縮された画像に限らず非圧縮の画像に関しても、カメラ等の撮影装置に固有のノイズや、撮影環境の光源不足によって、撮影された画像にノイズが生じる場合がある。このようなノイズを除去するためには、ノイズ除去フィルタをかけることが効果的である。
【０００５】
ノイズの軽減やシャープネスの強調に関する方法は、例えば、下記の非特許文献１に記載されている。
【非特許文献１】ANIL K.Jain,“Fundamentals of Digital Image Processing”, Prentice Hall 1989, 第7章
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ローパスフィルタをかけたりエッジ部分を強調したりすると、入力画像本来の周波数成分にも影響を与えることとなる。すなわち、ローパスフィルタを使用すると、入力画像に無かった高周波成分の係数が復元される一方で、入力画像本来の低周波数成分の係数の値も大きく変わってしまう。また、エッジ部分を強調する処理は、エッジ部分に対しては有効であるが、これ以外の部分は全く強調されない。このため、ローパスフィルタによる影響が残り、画像がぼかされるという難点がある。
【０００７】
図１（ａ）、図１（ｂ）を参照して具体的に説明する。図１（ａ）は、入力画像に存在するブロックＢ１の周波数成分の係数を示す図である。図１（ｂ）は、フィルタリング及びエッジ強調処理後における同一の入力画像に存在するブロックＢ２の周波数成分の係数を示す図である。両図を比較すると、ブロックＢ１の低周波数成分Ｅ１は、処理後に、ブロックＢ２の低周波数成分Ｅ２に値が変わったことがわかる。この周波数成分の変化によって、ブロックの細部（ディテール）がとび、入力画像のぼかしが発生する。このような問題点は、画像の解像度を変換する際、特に画像サイズをアップサンプリングするときにも生じる。
【０００８】
本発明の課題は、符号化歪みの低減やエッジの強調、解像度の変換を行うための処理が施された画像のぼかしを軽減し、入力画像本来の細部を維持することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る画像信号処理方法は、処理対象画像を入力する入力ステップと、前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する生成ステップと、前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算する演算ステップとを含む。
【００１０】
本発明に係る画像信号処理方法は、処理対象画像を入力する入力ステップと、前記処理対象画像の周波数成分を取得する第１取得ステップと、前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する第１生成ステップと、前記フィルタリング済み画像の周波数成分を取得する第２取得ステップと、前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算し、関数演算済み画像の周波数成分を生成する第２生成ステップと、前記関数演算済み画像の周波数成分を画素値に変換する変換ステップとを含む。
【００１１】
本発明に係る画像信号処理装置は、処理対象画像を入力する入力手段と、前記処理対象画像の周波数成分を取得する第１取得手段と、前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する第１生成手段と、前記フィルタリング済み画像の周波数成分を取得する第２取得手段と、前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算し、関数演算済み画像の周波数成分を生成する第２生成手段と、前記関数演算済み画像の周波数成分を画素値に変換する変換手段とを備える。
【００１２】
これらの発明によれば、入力画像に所定のフィルタリング処理を施した後に、当該処理前の入力画像の周波数成分の一部又は全部を、処理後の入力画像に反映させる。これにより、入力画像本来の信号特性を維持しつつ、フィルタリング処理の効果も得ることができる。特に、処理後の入力画像の周波数成分の一部または全部と、処理前の入力画像の周波数成分の一部または全部とを、関数演算することで、符号化歪みの低減やエッジの強調に起因する画像細部の劣化を抑える。その結果、画質が向上する。
【００１３】
また、本発明に係る画像信号処理プログラムは、処理対象画像を入力する入力機能と、前記処理対象画像の周波数成分を取得する第１取得機能と、前記処理対象画像に対して所定のフィルタリング処理を施すことにより、フィルタリング済み画像を生成する第１生成機能、前記フィルタリング済み画像の周波数成分を取得する第２取得機能と、前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを関数演算し、関数演算済み画像の周波数成分を生成する第２生成機能と、前記関数演算済み画像の周波数成分を画素値に変換する変換機能とをコンピュータに実現させる。このようなプログラムを製造及び頒布することで、上述した作用効果に加えて、本発明に係る画像信号処理装置の機能を、従来のコンピュータにおいても簡易迅速に実現させることができる。
【００１４】
本発明に係る画像信号処理装置においては、前記第２生成手段は、前記フィルタリング済み画像の周波数成分の少なくとも一部を、前記処理対象画像の周波数成分の少なくとも一部により差し替えることにより、関数演算済み画像の周波数成分を生成することができる。
【００１５】
更に、本発明に係る画像信号処理装置においては、前記第２生成手段は、前記フィルタリング済み画像の周波数成分の少なくとも一部と、前記処理対象画像の周波数成分の少なくとも一部とを重み付き加算することにより、関数演算済み画像の周波数成分を生成するものとしもよい。本発明によれば、重み付き加算に使用される重みの値を適宜選択することで、画質の改善に際して、フィルタリング処理の効果をどの程度残すかを容易に調整することができる。
【００１６】
上述した画像信号処理方法、画像信号処理装置、及び画像信号プログラムにおいて、前記フィルタリング処理は、前記フィルタリング済み画像を前記処理対象画像と異なる解像度（画像サイズ）に変換する処理を含む。これにより、符号化歪みの低減処理やエッジの強調処理が施された画像はもとより、解像度の変換処理が施された画像に関しても、周波数成分の変化に伴って生じるぼかしを軽減することができる。その結果、入力画像本来の細部を維持することが可能となる。
【発明の効果】
【００１７】
本発明によれば、符号化歪みの低減やエッジの強調、解像度変換を行うための処理が施された画像のぼかしを軽減し、入力画像本来の細部を維持することが可能となる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施形態）
以下、図２〜図７を参照して、本発明の第１の実施形態について説明する。
まず、構成を説明する。図２は、本実施の形態における画像信号処理装置の機能的構成を示すブロック図である。図２に示す様に、画像信号処理装置１は、入力端子１１（入力手段に対応）と、ブロック化器１２と、離散コサイン（ＤＣＴ：Discrete Cosine Transform）変換器１３（第１取得手段に対応）と、ローパスフィルタ１４（第１生成手段に対応）と、ブロック化器１５と、ＤＣＴ変換器１６（第２取得手段に対応）と、関数演算処理器１７（第２生成手段に対応）と、逆ＤＣＴ変換器１８（変換手段に対応）と、出力端子１９とを備える。
【００１９】
入力端子１１には、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４に対応した復号化装置から出力された画像が入力される。入力画像は、Ｈ．２６４の他に、ＭＰＥＧ−１、Ｈ．２６３などの符号化方式に対応した復号化装置から出力されるものであってもよい。更には、静止画及び動画の撮影装置やスキャナーから出力されるものであってもよい。
【００２０】
ブロック化器１２は、入力端子１１より入力された画像を、Ｎ×Ｍ画素から成る複数のブロックに分割する。本実施の形態ではＮ＝Ｍ＝４とするが、ブロックの画素数は、入力画像の総画素数よりも十分に小さい整数であれば、この値に限るものではない。
【００２１】
ＤＣＴ変換器１３は、ブロック化器１２にて分割されたブロックを周波数領域の信号に変換する。本実施の形態では４×４のＤＣＴ変換を用いるが、ブロック化器１２からの入力を周波数領域に変換できるものであればこれに限らない。ＤＣＴ変換器１３は、出力信号Ａ（ｉ，ｊ）を信号線Ｌ３経由で関数演算処理器１７に出力する。
【００２２】
ローパスフィルタ１４は、入力端子１１から入力された画像の高周波成分を遮断して出力する。本実施の形態では（１，２，１）の３タップフィルタを用いるが、これに限らない。入力画像が圧縮から復元された画像の場合には、ローパスフィルタ１４は、当該画像の圧縮に使用された量子化パラメータ、あるいは、予測方法を示す符号化モード等の情報を用いて、適応的にフィルタの強度を調整する。但しこの場合には、上記情報を外部装置（図示せず）から入力する必要がある。
【００２３】
ローパスフィルタ１４は、入力画像のシャープネスを強調するための処理を実行することもできる。シャープネスを強調するには、ローパスフィルタ１４は、入力画像のエッジ部分を検出し、検出されたエッジ部分の微分信号を算出した上で、算出結果を元の画像のエッジ部分に加算する。
【００２４】
ブロック化器１５は、ブロック化器１２と同様の機能を有する。ブロック化器１５は、フィルタリング処理が施された画像がローパスフィルタ１４から入力されると、この画像を、４×４画素から成るブロックに分割する。
【００２５】
ＤＣＴ変換器１６は、ＤＣＴ変換器１３と同様の機能を有する。ＤＣＴ変換器１６は、ブロック化器１５にて分割されたブロックを周波数領域の信号Ｂ（ｉ，ｊ）に変換する。なお、本実施の形態では、ブロック化器１５はローパスフィルタ１４の後段に位置するものとしたが、配置が逆の場合には、ＤＣＴ変換器１６は、ブロック化された入力画像の各ブロックに対してフィルタリングを行う。この場合、ＤＣＴ変換器１６は、隣接するブロックを跨いでフィルタリング処理を実行する。
【００２６】
関数演算処理器１７は、ＤＣＴ変換後の信号Ａ（ｉ，ｊ），Ｂ（ｉ，ｊ）が入力されると、所定の関数演算を用いて、信号Ｃ（ｉ，ｊ）を出力する。演算処理の詳細に関しては後述するが、関数演算処理器１７は、信号Ａ（ｉ，ｊ）の一部の周波数成分を信号Ｂ（ｉ，ｊ）に反映させ、信号Ｃ（ｉ，ｊ）として出力する。
【００２７】
逆ＤＣＴ変換器１８は、入力された信号Ｃ（ｉ，ｊ）を、周波数領域の信号から空間領域の画像信号に戻した上で出力端子１９に出力する。
出力端子１９には、図示しないフレームメモリが接続されている。逆変換された画像信号は、フレームメモリに一時的に蓄えられ、画像一枚分の画像信号が蓄積された時点で表示装置（図示せず）に出力される。
【００２８】
なお、本実施の形態では、信号Ａ（ｉ，ｊ）を得るために、ブロック化器１２とＤＣＴ変換器１３とを経由させたが、４×４のＤＣＴ係数が外部から与えられる場合には、ブロック化器１２、ＤＣＴ変換器１３は必須の構成要素ではない。特に、Ｈ．２６４に準拠した復号装置を入力端子１１に接続する場合には、この復号装置から関数演算処理器１７にＤＣＴ係数を直接入力してもよい。
【００２９】
次に、動作を説明する。併せて、本発明に係る画像信号処理方法を構成する各ステップについて説明する。
まず図３のＳ１では、処理の対象となる画像が画像信号処理装置１に入力される。入力画像は、例えば、圧縮画像を復元した画像、撮影装置で撮影された画像である。Ｓ２では、入力画像は、Ｎ×ＮのブロックＡに分割される。本実施の形態ではＮ＝４とする。続いて、Ｎ×ＮのブロックＡがＤＣＴ変換される（Ｓ４）。
【００３０】
Ｓ５において入力画像にフィルタリング処理が施された後、当該画像は、Ｎ×ＮのブロックＢに分割される（Ｓ６）。分割後の画像を構成するＮ×ＮのブロックＢはＤＣＴ変換される（Ｓ７）。Ｓ８では、Ｓ４及びＳ７で得られた変換係数に対して関数演算が行われる。本実施の形態では、ブロックＡの変換係数の一部または全部により、これに対応するブロックＢの変換係数を差し替えることで、ブロックＣが生成される。その後、ブロックＣは逆ＤＣＴ変換され（Ｓ８）、画像信号として出力される。
Ｓ１〜Ｓ８に示した一連の処理は、一つの入力画像を構成する全てのブロックに関して行われる。
【００３１】
次に、関数演算処理器１７により実行される関数演算処理（図３に示したＳ７）について、図４のフローチャートを参照して説明する。
まずＳ７１にて、周波数領域に変換されたブロックＡ（元の入力画像のブロック）と周波数領域に変換されたブロックＢ（フィルタリング処理済画像のブロック）とが入力される。ここで、ブロックＡは、フィルタリング処理前の画像において、フィルタリング処理後の画像に含まれるブロックＢに対応する位置にあるブロックである。
【００３２】
Ｓ７２では、ブロックＡの信号Ａ（ｉ，ｊ）を基に、ブロックＢにおいて関数演算の対象となるＤＣＴ係数、すなわち差替えの対象となるＤＣＴ係数が決定される。かかる係数の決定は、以下に挙げる三種類の手法のうち、何れか１つの手法により実現される。
【００３３】
第一の手法では、Ｍ×Ｍ個の低周波数成分を関数演算の対象とする。Ｍは例えば２であるが、これに限らない。
第二の手法では、ブロックＡの周波数成分の内、その絶対値が所定の閾値を超えたものを関数演算の対象とする。閾値は例えば１６であるが、これに限らない。
第三の手法では、ブロックＡにエッジ部分が含まれるか否かを判定する。第三の手法に関して、図５のフローチャートを参照して詳述する。
【００３４】
ＤＣＴ係数決定処理は、関数演算処理器１７が実行する。
Ｓ７２１では、ブロックＡの画素データが関数演算処理器１７に入力される。かかる入力は、ブロック化器１２からの出力が、ＤＣＴ変換器を経ずに直接に関数演算処理器１７に入力されることにより可能である。次いで、入力された画素データを用いて、ブロックＡにおけるエッジ部分の検出が試行される（Ｓ７２２）。エッジ検出処理は、周知慣用の画像解析技術であるので、その図示及び詳細な説明は省略するが、例えばＳｏｂｅｌ法、Ｃａｎｎｙ法を用いて実現される。
【００３５】
上記試行の結果、エッジ部分が検出された場合には（Ｓ７２３；ＹＥＳ）、Ｓ７２４に移行し、差替えの対象となる係数の個数は“０”と判定される。したがって、フィルタリング処理済のブロックＢは、そのままブロックＣとして出力される。これに対して、エッジ部分が検出されなかった場合には（Ｓ７２３；ＮＯ）、ブロックＡにはエッジが存在しないものと判断され、Ｓ７２５に移行する。Ｓ７２５では、Ｎ×Ｎ個（Ｎ＝２）の低周波成分が差替えの対象に決定される。
【００３６】
図４に戻り、関数演算の対象となる係数が決定されると、ブロックＡの各係数とブロックＢの各係数とにそれぞれ乗算される重み値が決定される（Ｓ７３、Ｓ７４）。特に、第三の手法においては、ＤＣＴ係数決定処理（図５参照）によって、強調されたエッジ部分のブロックはそのまま出力される。同時に、エッジ部分が含まれないブロックには、オリジナル信号の一部が反映されることになる。これにより、シャープで高画質な画像の出力が可能となる。
【００３７】
図６（ａ）は、Ｓ７３で決定される重み値の一例を示す図である。図６（ａ）に示す様に、ブロックＡ（オリジナル画像のブロック）の各係数に乗算される重み値は、成分によって異なる。例えば、２×２個の低周波成分Ｅ３に対する重み値は“１”であり、それ以外の成分に対する重み値は全て“０”である。
【００３８】
Ｓ７４で決定される重み値の一例を図６（ｂ）に示す。このように、ブロックＢ（フィルタリング処理済のブロック）の各係数に乗算される重み値も、成分によって異なる。例えば、２×２個の低周波成分Ｅ４に対する重み値は“０”であり、それ以外の成分に対する重み値は全て“１”である。
【００３９】
関数演算処理器１７は、Ｓ７３で決定された重み値をブロックＡの各係数に乗算すると共に、Ｓ７４で決定された重み値をブロックＢの各係数に乗算した上で、これらの乗算結果を加算する。これにより、ブロックＣが生成され（Ｓ７５）、逆ＤＣＴ変換器１８に対して出力される（Ｓ７６）。
【００４０】
なお、図６（ａ）と図６（ｂ）に示す重み値を使用した場合には、ブロックＢの２×２個の低周波成分をブロックＡの２×２個の低周波成分で単純に差し替えた場合と同じ結果となる。したがって、図６（ａ）と図６（ｂ）に示す重み値を使用した場合には、図４のＳ７２〜Ｓ７４の処理を省略することもできる。
【００４１】
図７（ａ）は、Ｓ７３で決定される重み値の別の一例を示す図である。図７（ａ）に示す様に、ブロックＡ（オリジナル画像のブロック）の各係数のうち、２×２個の低周波成分Ｅ５に対する重み値は“０．６”であり、それ以外の成分に対する重み値は全て“０”である。また、図７（ｂ）に示す様に、ブロックＢ（フィルタリング処理済のブロック）の各係数のうち、２×２個の低周波成分Ｅ６に対する重み値は“０．４”であり、それ以外の成分に対する重み値は全て“１”である。
【００４２】
上述の様に決定された重み値を用いて、ブロックＡ，Ｂの重み付き加算がされた結果、ブロックＣが生成される。この場合には、関数演算処理器１７が、ブロックＡの２×２個の低周波成分を一定の割合でブロックＢに加算することにより、フィルタリング処理の効果を残しながら、画質低下を改善するという効果が得られる。なお、本実施の形態では、ブロックＡとブロックＢとの重み値の組合せとして、“０と１”、“０．６と０．４”、“１と０”を例示したが、その値の組合せは任意である。
【００４３】
なお、本発明は、上記実施の形態に記載の内容に限定されるものではなく、その趣旨を逸脱しない範囲において適宜変形態様を採ることも可能である。例えば、本実施の形態では、２次元の空間方向に分割された画像の空間周波数領域における処理を想定した。しかし、時間的に連続する複数枚の画像をまとめて時間方向でブロックに分割し、時間軸上で、フィルタリング処理、周波数変換処理、関数演算処理を行ってもよい。また、ＤＣＴ変換の変わりにウエブレット変換を用いてもよい。
【００４４】
最後に、図８を参照して、本発明に係る画像信号処理方法を実現するためのプログラムについて説明する。
図８に示す様に、画像信号処理プログラム２１は、記録媒体２０内に形成されたプログラム格納領域２０ａに格納されている。画像信号処理プログラム２１は、携帯端末を含むコンピュータにより実行可能である。画像信号処理プログラム２１は、画像信号処理を統括するメインモジュール２１ａと、後述の入力モジュール２１ｂと、ブロック化モジュール２１ｃと、ＤＣＴ変換モジュール２１ｄと、フィルタリングモジュール２１ｅと、ブロック化モジュール２１ｆと、ＤＣＴ変換モジュール２１ｇと、関数演算処理モジュール２１ｈと、逆ＤＣＴ変換モジュール２１ｉと、出力モジュール２１ｊとを有する。これら各モジュールを実行させることによって実現する機能は、上述した画像信号処理装置１の各構成部分の有する機能とそれぞれ同様である。
【００４５】
画像信号処理プログラム２１は、記録媒体２０にこれを記録することにより、上記実施の形態で説明した処理を、携帯端末を含むコンピュータに容易に実行させることが可能となる。より具体的には、画像信号処理プログラム２１は、例えば図９（ａ）に示す物理フォーマットを有するフロッピィディスクのプログラム格納領域２０ａに格納される。プログラム格納領域２０ａには、同心円状に外周から内周に向かって複数のトラックＴが形成され、更に、各トラックＴは、角度方向に１６のセクタＳに分割されている。
【００４６】
図９（ｂ）に示す様に、プログラム格納領域２０ａがフロッピィディスクケースＣに内蔵されることにより、記録媒体２０としてのフロッピィディスクが構成される。図９（ｃ）に示す様に、周知慣用のコンピュータシステム３０にケーブル接続されたフロッピィディスクドライブ３１に記録媒体２０が装着されると、図８に示した画像信号処理プログラム２１は、記録媒体２０から読み出し可能となる。そして、画像信号処理プログラム２１は、フロッピィディスクドライブ３１を介してコンピュータシステム３０に転送された後、実行される。
【００４７】
なお、記録媒体２０は、フロッピィディスクに限らず、ハードディスク、ＩＣ（Integrated Circuit）カード、ＲＯＭ（Read Only Memory）等、プログラムを記録可能なものであれば、その種類は任意である。
【００４８】
（第２の実施形態）
第１の実施形態ではローパスフィルタ１４（図２参照）を用いたが、アップサンプリング・フィルタをこれに代用して、入力端子から入力された画像の解像度（画像サイズ）を変換するようにしてもよい。
【００４９】
以下、本実施の形態の第１の実施形態との差異について説明する。
図１０は、本実施の形態における画像信号処理装置の機能的構成を示すブロック図である。図１０に示す様に、画像信号処理装置２は、入力端子２１（入力手段に対応）と、ブロック化器２２と、ＤＣＴ変換器２３（第１取得手段に対応）と、アップサンプリング・フィルタ２４（第１生成手段に対応）と、ブロック化器２５と、ＤＣＴ変換器２６（第２取得手段に対応）と、関数演算処理器２７（第２生成手段に対応）と、逆ＤＣＴ変換器２８（変換手段に対応）と、出力端子２９とを備える。
【００５０】
入力端子２１とブロック化器２２の機能は、それぞれ上述の入力端子１１とブロック化器１２の機能と同様であるので、その説明は省略する。
ＤＣＴ変換器２３は、ブロック化器２２にて分割されたブロックを周波数領域の信号に変換する。本実施の形態では４×４のＤＣＴ変換を想定する。ＤＣＴ変換器２３は、出力信号Ａ（ｉ，ｊ）を信号線Ｍ３経由で関数演算処理器２７に出力する。Ａ（ｉ，ｊ）の一例を、図１１（ａ）のＣ１に示す。
【００５１】
アップサンプリング・フィルタ２４は、入力端子２１から入力された画像に補間処理を施すことで、入力画像と異なる解像度の画像を生成する。本実施の形態では、一例として、水平と垂直に分離型の２タップフィルタ（１，１）を用いて、入力画像のサイズを４倍（縦方向２倍、垂直方向２倍）にする態様を説明する。なお、アップサンプリング処理として、例えば、反復型の超解像度処理を用いてもよい。また、アップサンプリング処理の代わりにダウンサンプリング処理を適用してもよい。
【００５２】
ブロック化器２５は、アップサンプリング処理が施された画像が入力されると、この画像を、８×８画素から成るブロックに分割する。
ＤＣＴ変換器２６は、８×８のＤＣＴ変換を用いて、ブロック化器２５にて分割されたブロックを周波数領域の信号Ｂ（ｉ，ｊ）に変換する。Ｂ（ｉ，ｊ）の一例を、図１１（ａ）のＣ２に示す。アップサンプリング画像は入力画像の４倍のサイズになったため、ブロック分割もＤＣＴ変換も、入力画像に対する処理よりも高い次元で行われる。
【００５３】
関数演算処理器２７は、ＤＣＴ変換後の信号Ａ（ｉ，ｊ），Ｂ（ｉ，ｊ）が入力されると、所定の関数演算を用いて信号Ｃ（ｉ，ｊ）を出力する。このとき、関数演算処理器２７は、信号Ａ（ｉ，ｊ）の一部の周波数成分を信号Ｂ（ｉ，ｊ）に反映させた上で、信号Ｃ（ｉ，ｊ）として出力する。本実施の形態では、図１１（ｂ）に示すように、係数Ｄ２を係数Ｃ２に置き換える、あるいは、係数Ｄ３を係数Ｃ１に置き換える処理を用いているが、重み付け加算を用いることもできる。
【００５４】
逆ＤＣＴ変換器２８は、入力された信号Ｃ（ｉ，ｊ）を、周波数領域の信号から空間領域の画像信号に戻した後、出力端子２９に出力する。
出力端子２９には、図示しないフレームメモリが接続されており、逆変換された画像信号は、このフレームメモリに一時的に蓄えられる。そして、画像一枚分の画像信号が蓄積された時点で表示装置（図示せず）に出力される。
【００５５】
このように、本実施の形態における画像信号処理装置２によれば、符号化歪みの低減やエッジの強調を行う際に生じるぼかしのみならず、画像の解像度を変換する際に生じ得る入力画像のぼかしを軽減することができる。したがって、解像度変換が施された入力画像においても、その画像本来の細部を維持することが可能となる。
【図面の簡単な説明】
【００５６】
【図１】図１（ａ）は、入力画像に存在するブロックの周波数成分の係数を示す図である。図１（ｂ）は、従来技術において、フィルタリング及びエッジ強調後の入力画像に存在するブロックの周波数成分の係数を示す図である。
【図２】本発明の第１の実施形態における画像信号処理装置の機能的構成を示すブロック図である。
【図３】画像信号処理を説明するためのフローチャートである。
【図４】画像信号処理の一過程として実行される関数演算処理を説明するためのフローチャートである。
【図５】関数演算処理の一過程として実行されるＤＣＴ係数決定処理を説明するためのフローチャートである。
【図６】図６（ａ）は、ブロックＡのＤＣＴ係数に対する重み値の一例を示す図である。図６（ｂ）は、ブロックＢのＤＣＴ係数に対する重み値の一例を示す図である。
【図７】図７（ａ）は、ブロックＡのＤＣＴ係数に対する重み値の別の一例を示す図である。図７（ｂ）は、ブロックＢのＤＣＴ係数に対する重み値の別の一例を示す図である。
【図８】本発明に係る画像信号処理プログラムのデータ構成を示す図である。
【図９】図９（ａ）は、画像信号処理プログラムの格納領域の構成例を示す図である。図９（ｂ）は、画像信号処理プログラムが格納される記録媒体の一例を示す概観図である。図９（ｃ）は、コンピュータに接続されたドライブに上記記録媒体が装着される様子を示す模式図である。
【図１０】本発明の第２の実施形態における画像信号処理装置の機能的構成を示すブロック図である。
【図１１】図１１（ａ）は、第２の実施形態において、分割されたブロックが周波数領域の信号Ａ（ｉ，ｊ）とＢ（ｉ，ｊ）とにＤＣＴ変換された様子を示す図である。図１１（ｂ）は、係数Ｄ２が係数Ｃ２に、あるいは、係数Ｄ３が係数Ｃ１に置き換えられた様子を示す図である。
【符号の説明】
【００５７】
１，２…画像信号処理装置、１１，２１…入力端子、１２，２２…ブロック化器、１３，２３…ＤＣＴ変換器、１４，２４…ローパスフィルタ、１５，２５…ブロック化器、１６，２６…ＤＣＴ変換器、１７，２７…関数演算処理器、１８，２８…逆ＤＣＴ変換器、１９，２９…出力端子、２１…画像信号処理プログラム、Ａ，Ｂ，Ｂ１，Ｂ２，Ｃ１，Ｃ２，Ｄ１〜Ｄ３…ブロック、Ｅ１〜Ｅ６…低周波成分
【図１】
2005141722.tif 000003
【図２】
2005141722.tif 000004
【図３】
2005141722.tif 000005
【図４】
2005141722.tif 000006
【図５】
2005141722.tif 000007
【図６】
2005141722.tif 000008
【図７】
2005141722.tif 000009
【図８】
2005141722.tif 000010
【図９】
2005141722.tif 000011
【図１０】
2005141722.tif 000012
【図１１】
2005141722.tif 000013