(57)【特許請求の範囲】
【請求項１】
ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号する画像処理装置であって、
上記符号化データを可変長復号する可変長復号手段と、
上記可変長復号手段での復号後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大手段と、
上記拡大手段での処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換手段と、
上記逆変換手段での処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて元のサイズに縮小処理する縮小手段とを備えることを特徴とする画像処理装置。
【請求項２】
ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号する画像処理装置であって、
上記符号化データを可変長復号する可変長復号手段と、
上記可変長復号手段での復号後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大手段と、
上記拡大手段での処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換手段と、
上記逆変換手段での処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小手段とを備えることを特徴とする画像処理装置。
【請求項３】
画像の拡大処理を行なう画像処理装置であって、
対象画像データに対して直交変換処理を施す直交変換手段と、
上記直交変換手段での処理後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大手段と、
上記拡大手段での処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換手段と、
上記逆変換手段での処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小手段とを備えることを特徴とする画像処理装置。
【請求項４】
上記縮小手段は、縮小処理前後の画素の面積比に基づく線形縮小処理を実行することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
上記縮小手段は、ブロック境界付近の補間画素において、ブロック境界の格子点の周囲の４画素で、且つブロック境界線に隣接する画素の面積比を最も均等にする位置で、補完画素値を生成することを特徴とする請求項４記載の画像処理装置。
【請求項６】
上記縮小手段は、縮小処理前後の画素の位置関係に基づく線形縮小処理を実行することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項７】
上記縮小手段は、ブロック境界付近の補間画素において、ブロック境界の格子点の周囲の４画素で、且つブロック境界線に隣接する画素の中心との距離比を最も均等にする位置で、補完画素値を生成することを特徴とする請求項６記載の画像処理装置。
【請求項８】
複数の機器が互いに通信可能に接続されてなる画像処理システムであって、
上記複数の機器のうち少なくとも１つの機器は、請求項１〜７の何れか１項に記載の画像処理装置の機能を有することを特徴とする画像処理システム。
【請求項９】
ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号するための画像処理方法であって、
上記符号化データを、可変長復号する可変長復号ステップと、
上記可変長復号ステップでの復号化後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大ステップと、
上記拡大ステップでの処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換ステップと、
上記逆変換ステップでの処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて元のサイズに縮小処理する縮小ステップとを含むことを特徴とする画像処理方法。
【請求項１０】
ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号するための画像処理方法であって、
上記符号化データを、可変長復号する可変長復号ステップと、
上記可変長復号ステップでの復号化後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大ステップと、
上記拡大ステップでの処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換ステップと、
上記逆変換ステップでの処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小ステップとを含むことを特徴とする画像処理方法。
【請求項１１】
画像の拡大処理を行なうための画像処理方法であって、
対象画像データに対して直交変換処理を施す直交変換ステップと、
上記直交変換ステップでの処理後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大ステップと、
上記拡大ステップでの処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換ステップと、
上記逆変換ステップでの処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小ステップとを含むことを特徴とする画像処理方法。
【請求項１２】
請求項１〜７の何れか１項に記載の画像処理装置、又は請求項８記載の画像処理システムの各手段としてコンピュータを機能させるためのプログラムを記憶したことを特徴とするコンピュータ読取可能な記憶媒体。
【請求項１３】
請求項９〜１１の何れか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを記憶したことを特徴とするコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、画像信号の復号化処理や拡大処理等の画像処理を行なう装置或はシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、及びそれを実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より例えば、ブロック単位の直交変換による符号化方式としては、ＭＰＥＧ等がある。このような符号化方式により得られた符号化データを復号する際、ブロックの境界部分に格子状のエッジが発生してしまう。このようなエッジの発生は、所謂“ブロック歪み”と呼ばれる。これは、復号化画像の画質低下を招く。
また、復号時において、周波数領域での“０”挿入等による画像拡大処理を行なう場合、上記ブロック歪みがより強調されてしまい、さらに画質が低下してしまう。
【０００３】
そこで、上記の問題を解決するために、例えば、ブロックの境界部分に対して、ローパスフィルタ処理を施すことで、ブロック歪みを低減する画像処理方法が提案されている。
【０００４】
具体的には例えば、上記の画像処理方法を適用した装置としては、特開平５−１４７３５号公報等に記載されている。図１４は、当該装置（画像処理装置）４００の構成の一例を示したものである。
画像処理装置４００は、上記図１４に示すように、入力端子４０７、可変長復号化部４０１、逆量子化部４０２、ＤＣＴ逆変換部４０３、動き補償処理部４０４、ローパスフィルタ４０５、及び出力端子４０６を備えている。
【０００５】
上記図１４の画像処理装置４００において、入力端子４０７には、ＭＰＥＧ等の符号化方式により得られた、ブロックサイズがＭ×Ｍ画素の符号化データが入力される。ここでは、説明の簡単のため、Ｍ＝８として、８画素×８画素のブロックサイズとする。
【０００６】
可変長復号化部４０１は、入力端子４０７に入力された符号化データを可変長復号化する。
逆量子化部４０２は、可変長復号化部４０１での復号化後のデータを逆量子化して、図１５の“４２０”に示すように、ブロック毎のＤＣＴ係数を取得する。ＤＣＴ逆変換部４０３は、上記図１５の“４２１”に示すように、逆量子化部４０２で得られたブロック毎のＤＣＴ係数を、８画素×８画素の空間領域データに変換する。
【０００７】
動き補償処理部４０４は、ＤＣＴ逆変換部４０３で得られたデータに対して動き補償処理を施す。
ローパスフィルタ４０５は、上記図１５の“４２２”に示すように、動き補償処理部４０４での処理後のデータにおいて、ブロック境界の画素データにローパスフィルタによるフィルタ処理を施し、その処理結果である画素値を出力端子４０６に対して出力する。
【０００８】
また、例えば、特開平６−３２５１６３号公報等には、ブロックの境界部分の高周波成分を維持することを考慮しつつ、ブロック歪みを低減する画像処理方法が提案されている。図１６は、当該装置（画像処理装置）４００の構成の一例を示したものである。
画像処理装置５００は、上記図１６に示すように、入力端子５０７、Ｍ×ＭＤＣＴ変換部５０１、０挿入部５０２、Ｎ／Ｍ係数乗算部５０３、ＤＣＴ逆変換部５０４、ブロック境界画素生成部５０５、及び出力端子５０６を備えている。
【０００９】
上記図１６の画像処理装置４００において、例えば、Ｍ＝８、Ｎ＝９として、５／４倍の拡大画像を経由して９／８倍の拡大画像を出力する場合、先ず、入力端子５０７には、処理対象画像の空間領域データが入力される。
ＤＣＴ変換部５０１は、図１７の“５２０”に示すように、入力端子５０７に入力された空間領域データを、８画素×８画素のブロックに分割し、同図の“５２１”に示すように、当該ブロック単位のＤＣＴ係数を取得する。
【００１０】
０挿入部５０２は、上記図１７の“５２２”に示すように、ＤＣＴ変換部５０１で得られたＤＣＴ係数において、高周波成分に対応する１７個のＤＣＴ係数を“０”として、９画素×９画素のブロックを生成する。
Ｎ／Ｍ係数乗算部５０３は、０挿入部５０２で得られたブロックのＤＣＴ係数に対して、９／８を乗算する。
【００１１】
ＤＣＴ逆変換部５０４は、上記図１７の“５２３”に示すように、Ｎ／Ｍ係数乗算部５０３で乗算処理されたブロックに対して、位相のずれたＤＣＴ変換を施し、１０画素×１０画素のブロックサイズの空間領域データを生成する。
ブロック境界画素生成部５０５は、上記図１７の“５２４”に示すように、ＤＣＴ逆変換部５０４で得られた空間領域データにおいて、ブロック境界周辺の画素のみ自ブロックの３６個の境界部画素と周辺ブロックの４４個の境界部画素より画素値を算出し、その結果を出力端子５０６に対して出力する。
したがって、出力端子５０６からは、ブロックサイズが９画素×９画素の空間領域データが出力される。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記図１４に示したような従来の画像処理装置４００は、ブロックの境界部分にローパスフィルタによる処理を施す構成であるため、ブロックの境界部分の高周波成分が低下してしまう。
また、上記図１６に示したような画像処理装置５００は、目的の拡大倍率Ｎ／ＭよりもＭ分の１大きい拡大処理の後、ブロック中心の（Ｎ−１）×（Ｎ−１）個の画素をそのまま用いて処理（拡大処理）し、ブロック境界部周辺の画素については、自ブロックと隣接するブロックとのブロック境界部の画素を用いて処理（縮小処理）する構成であるため、これを再生した場合、空間的に歪んだ画像になってしまう。
【００１３】
そこで、本発明は、上記の欠点を除去するために成されたもので、ブロック単位の直交変換による符号化方式で得られた符号化データを復号する際、ブロック境界の高周波成分を低下させることなく、且つ画像全体を歪ませることなく、ブロック歪みを低減し良好な画質の画像を提供できる、画像処理装置、画像処理システム、画像処理方法、及びそれを実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体を提供することを目的とする。
【００１４】
また、本発明は、上記の欠点を除去するために成されたもので、画像を拡大する際、ブロック境界の高周波成分を低下させることなく、且つ画像全体を歪ませることなく、ブロック歪みを低減し良好な画質の画像を提供できる、画像処理装置、画像処理システム、画像処理方法、及びそれを実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体を提供することを目的とする。
【００１５】
【課題を解決するための手段】
斯かる目的下において、第１の発明は、ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号する画像処理装置であって、上記符号化データを可変長復号する可変長復号手段と、上記可変長復号手段での復号後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大手段と、上記拡大手段での処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換手段と、上記逆変換手段での処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて元のサイズに縮小処理する縮小手段とを備えることを特徴とする。
【００１６】
第２の発明は、ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号する画像処理装置であって、上記符号化データを可変長復号する可変長復号手段と、上記可変長復号手段での復号後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大手段と、上記拡大手段での処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換手段と、上記逆変換手段での処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小手段とを備えることを特徴とする。
【００１７】
第３の発明は、画像の拡大処理を行なう画像処理装置であって、対象画像データに対して直交変換処理を施す直交変換手段と、上記直交変換手段での処理後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大手段と、上記拡大手段での処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換手段と、上記逆変換手段での処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小手段とを備えることを特徴とする。
【００１９】
第４の発明は、上記第１〜３の何れかの発明において、上記縮小手段は、縮小処理前後の画素の面積比に基づく線形縮小処理を実行することを特徴とする。
【００２０】
第５の発明は、上記第４の発明において、上記縮小手段は、ブロック境界付近の補間画素において、ブロック境界の格子点の周囲の４画素で、且つブロック境界線に隣接する画素の面積比を最も均等にする位置で、補完画素値を生成することを特徴とする。
【００２１】
第６の発明は、上記第１〜３の何れかの発明において、上記縮小手段は、縮小処理前後の画素の位置関係に基づく線形縮小処理を実行することを特徴とする。
【００２２】
第７の発明は、上記第６の発明において、上記縮小手段は、ブロック境界付近の補間画素において、ブロック境界の格子点の周囲の４画素で、且つブロック境界線に隣接する画素の中心との距離比を最も均等にする位置で、補完画素値を生成することを特徴とする。
【００２３】
第８の発明は、複数の機器が互いに通信可能に接続されてなる画像処理システムであって、上記複数の機器のうち少なくとも１つの機器は、上記の何れかに記載の画像処理装置の機能を有することを特徴とする。
【００２４】
第９の発明は、ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号するための画像処理方法であって、上記符号化データを、可変長復号する可変長復号ステップと、上記可変長復号ステップでの復号化後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大ステップと、上記拡大ステップでの処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換ステップと、上記逆変換ステップでの処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて元のサイズに縮小処理する縮小ステップとを含むことを特徴とする。
【００２５】
第１０の発明は、ブロック単位の直交変換処理及び符号化処理により得られた符号化データを復号するための画像処理方法であって、上記符号化データを、可変長復号する可変長復号ステップと、上記可変長復号ステップでの復号化後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大ステップと、上記拡大ステップでの処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換ステップと、上記逆変換ステップでの処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小ステップとを含むことを特徴とする。
【００２６】
第１１の発明は、画像の拡大処理を行なうための画像処理方法であって、対象画像データに対して直交変換処理を施す直交変換ステップと、上記直交変換ステップでの処理後のデータに対して、上記直交変換による係数の高周波成分に対して"０"を挿入することにより拡大処理を施す拡大ステップと、上記拡大ステップでの処理後のデータに対して、上記直交変換の逆変換処理を施す逆変換ステップと、上記逆変換ステップでの処理後のデータに対して、各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて任意のサイズに縮小処理する縮小ステップとを含むことを特徴とする。
【００２７】
第１２の発明は、上記の何れかに記載の画像処理装置、又は上記画像処理システムの各手段としてコンピュータを機能させるためのプログラムをコンピュータ読取可能な記憶媒体に記憶したことを特徴とする。
【００２８】
第１３の発明は、上記の何れかに記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムをコンピュータ読取可能な記憶媒体に記憶したことを特徴とする。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３０】
[第１の実施の形態]
本発明は、例えば、図１に示すような画像処理装置１００に適用される。
本実施の形態の画像処理装置１００は、ブロック単位の直交変換を用いて符号化された画像データを復号する装置であり、特に、当該画像データに対して、可変長復号化、逆量子化、周波数領域拡大、直交逆変換、及び動き補償の各処理を施した後、補間画素が各ブロックの境界上に位置するように、元のサイズに縮小する機能を有する。
【００３１】
＜画像処理装置１００の全体構成＞
画像処理装置１００は、上記図１に示すように、入力端子１０９、可変長復号化部１０１、逆量子化部１０２、０挿入部１０３、Ｎ／Ｍ（Ｍ＜Ｎ）係数乗算部１０４、ＤＣＴ逆変換部１０５、動き補償処理部１０６、縮小処理部１０７、及び出力端子１０８を備えている。
【００３２】
＜画像処理装置１００の動作：例１＞
ここでは、本実施の形態では説明の簡単のため、例えば、Ｍ＝８、Ｎ＝１６とし、ブロックサイズが８画素×８画素の入力符号化データに対して、２倍の拡大画像を経由して復号画像を出力するものとした場合、画像処理装置１００の動作について説明する。
【００３３】
先ず、入力端子１０９には、ＭＰＥＧ等の符号化方式により得られた、ブロックサイズがＭ×Ｍ画素（８画素×８画素）の符号化データが入力される。
【００３４】
可変長復号化部１０１は、入力端子１０９に入力された符号化データを可変長復号化する。
逆量子化部１０２は、可変長復号化部１０１での復号化後のデータを逆量子化して、図２の“１２０”に示すように、ブロック毎のＤＣＴ係数を取得する。
【００３５】
０挿入部１０３は、上記図２の“１２１”に示すように、逆量子化部１０２で得られたＤＣＴ係数において、高周波成分に対応する１９２個のＤＣＴ係数を“０”として、１６画素×１６画素のブロックを生成する。
Ｎ／Ｍ係数乗算部１０４は、０挿入部１０３で得られたブロックのＤＣＴ係数に対して、Ｎ／Ｍ＝１６／８＝２を乗算する。
【００３６】
ＤＣＴ逆変換部１０５は、上記図２の“１２２”に示すように、Ｎ／Ｍ係数乗算部１０４で乗算処理されたブロックから、１６画素×１６画素のブロックサイズの空間領域データを生成する。
動き補償処理部１０６は、ＤＣＴ逆変換部１０５で得られたデータに対して動き補償処理を施す。
【００３７】
縮小処理部１０７は、面積比によるＭ／Ｎ（＝８／１６＝１／２）倍線形縮小処理を行なうものであり、上記図２の“１２３”に示すように、動き補償処理部１０６での処理後のデータに対して、当該１／２倍線形縮小処理を施す。
したがって、出力端子１０８からは、ブロックサイズが８画素×８画素の復号化データが出力される。
【００３８】
図３は、縮小処理部１０７での処理を具体的に示したものである。
縮小処理部１０７での処理では、２画素×２画素から１画素を生成する。
【００３９】
上記図３において、点線の画素枠１４０は、縮小処理前の画素配置を示し、線細の画素枠１４１は、縮小処理後の画素配置を示す。また、太線１４２，１４３は、縮小処理前の１６画素×１６画素のブロックの境界を示す。
上記図３に示されるように、縮小処理後の画素枠は、縮小処理前の画素枠の１／２倍となり、縮小処理前の１６画素×１６画素の画素枠の面積と、縮小処理後の８画素×８画素の画素枠の面積とが同じになる。
【００４０】
ここで、上記図３の“１４４”（斜線部分）で示される縮小処理後の画素枠において、１６画素×１６画素のブロックの境界１４２，１４３を境に、左右又は上下の方向に同じ面積となるように、縮小処理前の１６画素×１６画素の画素枠と、縮小処理後の８画素×８画素の画素枠とを配置する。
【００４１】
上述のような画素の位置関係において、縮小処理前の画素枠内に位置する画素の値及び面積に基づいて、縮小処理後の画素の値を算出する。具体的には、上記図３に示すように、縮小処理後の画素Ａは、縮小処理前の画素ａ，ｂ，ｃ，ｄの上に位置しており、これらの面積比は、１：１：１：１であるので、縮小処理後の画素Ａの値は、
（画素Ａの値）＝｛（画素ａの値）×１＋（画素ｂの値）×１＋
（画素ｃの値）×１＋（画素ｄの値）×１｝÷４
なる式により得られる。
【００４２】
＜画像処理装置１００の動作：例２＞
ここでは、本実施の形態では説明の簡単のため、例えば、Ｍ＝８、Ｎ＝９とし、ブロックサイズが８画素×８画素の入力符号化データに対して、９／８倍の拡大画像を経由して復号画像を出力するものとした場合、画像処理装置１００の動作について説明する。
【００４３】
先ず、入力端子１０９には、ＭＰＥＧ等の符号化方式により得られた、ブロックサイズがＭ×Ｍ画素（８画素×８画素）の符号化データが入力される。
【００４４】
可変長復号化部１０１は、入力端子１０９に入力された符号化データを可変長復号化する。
逆量子化部１０２は、可変長復号化部１０１での復号化後のデータを逆量子化して、図４の“１５０”に示すように、ブロック毎のＤＣＴ係数を取得する。
【００４５】
０挿入部１０３は、上記図４の“１５１”に示すように、逆量子化部１０２で得られたＤＣＴ係数において、高周波成分に対応する１７個のＤＣＴ係数を“０”として、９画素×９画素のブロックを生成する。
Ｎ／Ｍ係数乗算部１０４は、０挿入部１０３で得られたブロックのＤＣＴ係数に対して、Ｎ／Ｍ＝９／８を乗算する。
【００４６】
ＤＣＴ逆変換部１０５は、上記図４の“１５２”に示すように、Ｎ／Ｍ係数乗算部１０４で乗算処理されたブロックから、９画素×９画素のブロックサイズの空間領域データを生成する。
動き補償処理部１０６は、ＤＣＴ逆変換部１０５で得られたデータに対して動き補償処理を施す。
【００４７】
縮小処理部１０７は、面積比によるＭ／Ｎ（＝８／９）倍線形縮小処理を行なうものであり、上記図４の“１５３”に示すように、動き補償処理部１０６での処理後のデータに対して、当該８／９倍線形縮小処理を施す。
したがって、出力端子１０８からは、ブロックサイズが８画素×８画素の復号化データが出力される。
【００４８】
図５は、縮小処理部１０７での処理を具体的に示したものである。
縮小処理部１０７での処理では、９画素×９画素から８画素×８画素を生成する。
【００４９】
上記図５において、点線の画素枠１７０は、縮小処理前の画素配置を示し、線細の画素枠１７１は、縮小処理後の画素配置を示す。また、太線１７２，１７３は、縮小処理前の９画素×９画素のブロックの境界を示す。
上記図５に示されるように、縮小処理後の画素枠は、縮小処理前の画素枠の８／９倍となり、縮小処理前の９画素×９画素の画素枠の面積と、縮小処理後の８画素×８画素の画素枠の面積とが同じになる。
【００５０】
ここで、上記図５の“１７４”（斜線部分）で示される縮小処理後の画素枠において、９画素×９画素のブロックの境界１７２，１７３を境に、左右又は上下の方向に同じ面積となるように、縮小処理前の９画素×９画素の画素枠と、縮小処理後の８画素×８画素の画素枠とを配置する。
【００５１】
上述のような画素の位置関係において、縮小処理前の画素枠内に位置する画素の値及び面積に基づいて、縮小処理後の画素の値を算出する。具体的には、上記図５に示すように、縮小処理後の画素Ａは、縮小処理前の画素ａ，ｂ，ｃ，ｄの上に位置しており、これらの面積比は、２５：６５：６５：１６９であるので、縮小処理後の画素Ａの値は、
（画素Ａの値）＝｛（画素ａの値）×２５＋（画素ｂの値）×６５＋
（画素ｃの値）×６５＋（画素ｄの値）×１６９｝÷３２４なる式により得られる。
【００５２】
ここで、上述のような、９画素×９画素から８画素×８画素を生成する縮小処理部１０７での処理として、図６に示されるような処理を適用することで、画素値の算出処理量を削減することが可能となる。
【００５３】
具体的には、上記図６において、点線の画素枠１８０は、縮小処理前の画素配置を示し、線細の画素枠１８１は、縮小処理後の画素配置を示す。また、太線１８２，１８３は、縮小処理前の９画素×９画素のブロックの境界を示す。
上記図６に示されるように、縮小処理後の画素枠は、縮小処理前の画素枠の８／９倍となり、縮小処理前の９画素×９画素の画素枠の面積と、縮小処理後の８画素×８画素の画素枠の面積とが同じになる。
【００５４】
ここで、上記図６の“１８４”（斜線部分）で示される縮小処理後の画素枠において、９画素×９画素のブロックの境界１８２，１８３を境に、左右又は上下の方向に分けた面積が最も近い値となるように、縮小処理前の９画素×９画素の画素枠と、縮小処理後の８画素×８画素の画素枠とを重ね合わせる。さらに、縮小処理前の９画素×９画素の画素枠と、縮小処理後の８画素×８画素の画素枠とを、余す所なく重ね合わせるようにする。
【００５５】
上述のような画素の位置関係において、縮小処理前の画素枠内に位置する画素の値及び面積に基づいて、縮小処理後の画素の値を算出する。具体的には、上記図６に示すように、縮小処理後の画素Ａは、縮小処理前の画素ａ，ｂ，ｃ，ｄの上に位置しており、これらの面積比は、１：２：２：４であるので、縮小処理後の画素Ａの値は、
（画素Ａの値）＝｛（画素ａの値）×１＋（画素ｂの値）×２＋
（画素ｃの値）×２＋（画素ｄの値）×４｝÷９
なる式により得られる。
【００５６】
[第２の実施の形態]
本発明は、例えば、図７に示すような画像処理装置２００に適用される。
本実施の形態の画像処理装置２００は、ブロック単位の直交変換を用いて符号化された画像データを復号する装置であり、特に、当該画像データに対して、可変長復号化、逆量子化、周波数領域拡大、直交逆変換、及び動き補償の各処理を施した後、補間画素が各ブロックの境界上に位置するように、目的のサイズに縮小する機能を有する。
【００５７】
＜画像処理装置２００の全体構成＞
画像処理装置２００は、上記図７に示すように、入力端子２０９、可変長復号化部２０１、逆量子化部２０２、０挿入部２０３、Ｎ１／Ｍ（Ｍ＜Ｎ１）係数乗算部２０４、ＤＣＴ逆変換部２０５、動き補償処理部２０６、縮小処理部２０７、及び出力端子２０８を備えている。
【００５８】
＜画像処理装置２００の動作＞
ここでは、本実施の形態では説明の簡単のため、例えば、Ｍ＝８、Ｎ１＝１２、Ｎ２＝９とし、ブロックサイズが８画素×８画素の入力符号化データに対して、３／２倍の拡大画像を経由して９／８倍の拡大復号画像を出力するものとした場合、画像処理装置２００の動作について説明する。
【００５９】
先ず、入力端子２０９には、ＭＰＥＧ等の符号化方式により得られた、ブロックサイズがＭ×Ｍ画素（８画素×８画素）の符号化データが入力される。
【００６０】
可変長復号化部２０１は、入力端子２０９に入力された符号化データを可変長復号化する。
逆量子化部２０２は、可変長復号化部２０１での復号化後のデータを逆量子化して、図８の“２２０”に示すように、ブロック毎のＤＣＴ係数を取得する。
【００６１】
０挿入部２０３は、上記図８の“２２１”に示すように、逆量子化部２０２で得られたＤＣＴ係数において、高周波成分に対応する８０個のＤＣＴ係数を“０”として、１２画素×１２画素のブロックを生成する。
Ｎ１／Ｍ係数乗算部２０４は、０挿入部１０３で得られたブロックのＤＣＴ係数に対して、Ｎ１／Ｍ＝１２／８＝３／２を乗算する。
【００６２】
ＤＣＴ逆変換部２０５は、上記図８の“２２２”に示すように、Ｎ１／Ｍ係数乗算部２０４で乗算処理されたブロックから、１２画素×１２画素のブロックサイズの空間領域データを生成する。
動き補償処理部２０６は、ＤＣＴ逆変換部２０５で得られたデータに対して動き補償処理を施す。
【００６３】
縮小処理部２０７は、面積比によるＭ／Ｎ２（＝９／１２＝３／４）倍線形縮小処理を行なうものであり、上記図８の“２２３”に示すように、動き補償処理部２０６での処理後のデータに対して、当該３／４倍線形縮小処理を施す。
したがって、出力端子２０８からは、ブロックサイズが９画素×９画素の復号化データが出力される。
【００６４】
図９は、縮小処理部２０７での処理を具体的に示したものである。
縮小処理部２０７での処理では、４画素×４画素から３画素×３画素を生成する。
【００６５】
上記図９において、四角群２５０は、縮小処理前の画素配置を示し、丸印群２５１は、縮小処理後の画素配置を示す。また、太線２５２，２５３は、４画素×４画素のブロックの境界を示す。
【００６６】
ここで、上記図９の“２５４”で示される斜線部分の画素が、４画素×４画素のブロックの境界２５２，２５３を境に、左右又は上下の方向に同じ距離となるように、縮小処理前の４画素×４画素の画素配置と、縮小処理後の３画素×３画素の画素配置とを重ね合わせる。
【００６７】
上述のような画素の位置関係において、縮小処理前の画素の近隣の４つの画素（但し、縮小前の画素間線分上にある時は２つの画素、画素上にあるときは１つの画素）の画素値と、画素中心の位置関係とに基づいて、縮小処理後の画素の値を算出する。
【００６８】
具体的には、上記図９に示すように、縮小処理後の画素Ａの近隣には、縮小処理前の画素ａ，ｂ，ｃ，ｄが存在する。そこで、線分ａｂ，ａｃと、画素Ａから線分ａｂ，ａｃへの垂線との交点をそれぞれ、ｅ，ｆとすると、線分ａｅ：線分ｅｂ＝５：１、線分ａｆ：線分ｆｃ＝５：１となる。この場合、縮小処理後の画素Ａの値は、
（画素Ａの値）
＝｛（画素ａの値）×１／６＋（画素ｂの値）×５／６｝×１／６
＋｛（画素ｃの値）×１／６＋（画素ｄの値）×５／６｝×５／６
なる式により得られる。
【００６９】
[第３の実施の形態]
本発明は、例えば、図１０に示すような画像処理装置３００に適用される。
本実施の形態の画像処理装置３００は、画像拡大する装置であり、特に、処理対象の画像データに対して、直交変換、周波数領域拡大、及び直交逆変換の各処理を施した後、補間画素が各ブロックの境界上に位置するように、目的のサイズに縮小する機能を有する。
【００７０】
＜画像処理装置３００の全体構成＞
画像処理装置３００は、上記図１０に示すように、入力端子３０７、ＤＣＴ変換部３０１、０挿入部３０２、Ｎ１／Ｍ（Ｍ＜Ｎ１）係数乗算部３０３、ＤＣＴ逆変換部３０４、縮小処理部３０５、及び出力端子３０６を備えている。
【００７１】
＜画像処理装置３００の動作＞
ここでは、本実施の形態では説明の簡単のため、例えば、Ｍ＝５、Ｎ１＝１０、Ｎ２＝９とし、ブロックサイズが５画素×５画素の入力符号化データに対して、１０／５倍の拡大画像を経由して９／５倍の拡大復号画像を出力するものとした場合、画像処理装置３００の動作について説明する。
【００７２】
先ず、入力端子３０７には、図１１の“３２０”に示すように、処理対象の画像データが、Ｍ×Ｍ画素（５画素×５画素）のブロックに分割されて入力される。
ＤＣＴ変換部３０１は、上記図１１の“３２１”に示すように、入力端子３０７に入力されたデータ（ブロックデータ）から、当該ブロック単位のＤＣＴ係数を取得する。
【００７３】
０挿入部３０２は、上記図１１の“３２２”に示すように、ＤＣＴ変換部３０１で得られたＤＣＴ係数において、高周波成分に対応する７５個のＤＣＴ係数を“０”として、１０画素×１０画素のブロックを生成する。
Ｎ１／Ｍ係数乗算部３０３は、０挿入部３０２で得られたブロックのＤＣＴ係数に対して、Ｎ１／Ｍ（＝１０／５＝２）を乗算する。
【００７４】
ＤＣＴ逆変換部３０４は、上記図１１の“３２３”に示すように、Ｎ１／Ｍ係数乗算部３０３で乗算処理されたブロックから、１０画素×１０画素のブロックサイズの空間領域データを生成する。
【００７５】
縮小処理部３０５は、面積比によるＮ２／Ｎ１（＝９／１０）倍線形縮小処理を行なうものであり、上記図１１の“３２４”に示すように、ＤＣＴ逆変換部３０４で得られたデータに対して、当該９／１０倍線形縮小処理を施す。
したがって、出力端子３０６からは、ブロックサイズが９画素×９画素の空間領域データが出力される。
【００７６】
図１２は、縮小処理部３０５での処理を具体的に示したものである。
縮小処理部３０５での処理では、１０画素×１０画素から９画素×９画素を生成する。
【００７７】
上記図１２において、点線の画素枠３５０は、縮小処理前の画素配置を示し、線細の画素枠３５１は、縮小処理後の画素配置を示す。また、太線３５２，３５３は、縮小処理前の１０画素×１０画素のブロックの境界を示す。
上記図１２に示されるように、縮小処理後の画素枠は、縮小処理前の画素枠の９／１０倍となり、縮小処理前の１０画素×９画素の画素枠の面積と、縮小処理後の９画素×９画素の画素枠の面積とが同じになる。
【００７８】
ここで、上記図１２の“３５４”（斜線部分）で示される縮小処理後の画素枠において、１０画素×１０画素のブロックの境界３５２，３５３を境に、左右又は上下の方向に同じ面積となるように、縮小処理前の１０画素×１０画素の画素枠と、縮小処理後の９画素×９画素の画素枠とを重ね合わせる。
【００７９】
上述のような画素の位置関係において、縮小処理前の画素枠内に位置する画素の値及び面積に基づいて、縮小処理後の画素の値を算出する。具体的には、上記図１２に示すように、縮小処理後の画素Ａは、縮小処理前の画素ａ，ｂ，ｃ，ｄの上に位置しており、これらの面積比は、１：２：２：４であるので、縮小処理後の画素Ａの値は、
（画素Ａの値）＝｛（画素ａの値）×１＋（画素ｂの値）×２＋
（画素ｃの値）×２＋（画素ｄの値）×４｝÷９
なる式により得られる。
【００８０】
尚、本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第３の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８１】
図１３は、上記コンピュータ６００の構成の一例を示したものである。
コンピュータ６００は、上記図１３に示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、キーボード（ＫＢ）６０９のキーボードコントローラ（ＫＢＣ）６０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）６１０のＣＲＴコントローラ（ＣＲＴＣ）６０６と、ハードディスク（ＨＤ）６１１及びフロッピーディスク（ＦＤ）６１２のディスクコントローラ（ＤＫＣ）６０７と、ネットワークインターフェースカード（ＮＩＣ）６０８とが、システムバス６０４を介して互いに通信可能に接続された構成としている。
【００８２】
ＣＰＵ６０１は、ＲＯＭ６０２或いはＨＤ６１１に記憶されたソフトウェア、或いはＦＤ６１２より供給されるソフトウェアを実行することで、システムバス６０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ６０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ６０２、或いはＨＤ６１１、或いはＦＤ６１２から読み出して実行することで、第１〜第３の実施の形態での動作を実現するための制御を行う。
【００８３】
ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ６０５は、ＫＢ６０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ６０６は、ＣＲＴ６１０の表示を制御する。
ＤＫＣ６０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び第１〜第３の実施の形態における上記処理プログラム等を記憶するＨＤ６１１及びＦＤ６１２とのアクセスを制御する。
ＮＩＣ６０８は、ネットワーク１４０上の装置或はシステムと双方向にデータをやりとりする。
【００８４】
【発明の効果】
以上説明したように本発明では、ＭＰＥＧ等により得られた符号化データを復号する際、可変長復号化処理及び逆量子化処理等を施した後のデータに対して、拡大処理（周波数領域で元の或は目的とするサイズより大きいブロックサイズへの拡大処理等）を施し、その後、逆変換処理を施して、空間領域で各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて元のサイズ或は目的のサイズに縮小処理するように構成した。
これにより、従来のようにブロック境界の高周波成分を低下させることなく、且つ画像全体を歪ませることなく、ブロック歪みを低減した良好な画質の復号画像を提供することができる。
【００８５】
また、本発明では、画像データを拡大する際、直交変換後の処理対象画像データに対して、拡大処理（周波数領域で目的とするサイズより大きいブロックサイズへの拡大処理等）を施し、その後、逆変換処理を施して、空間領域で各ブロックの境界線上に一列の補間画素が位置するように全画素を用いて目的のサイズに縮小処理するように構成した。
これにより、いかなる有理数倍の画像拡大であっても、従来のようにブロック境界の高周波成分を低下させることなく、且つ画像全体を歪ませることなく、ブロック歪みを低減した良好な画質の拡大画像を提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置の動作（例１）を説明するための図である。
【図３】上記画像処理装置の動作（例１）において、縮小処理部の動作を説明するための図である。
【図４】上記画像処理装置の動作（例２）を説明するための図である。
【図５】上記画像処理装置の動作（例２）において、縮小処理部の動作（例１）を説明するための図である。
【図６】上記縮小処理部の動作（例２）を説明するための図である。
【図７】第２の実施の形態において、本発明を適用した画像処理装置の構成を示すブロック図である。
【図８】上記画像処理装置の動作を説明するための図である。
【図９】上記画像処理装置の動作において、縮小処理部の動作を説明するための図である。
【図１０】第３の実施の形態において、本発明を適用した画像処理装置の構成を示すブロック図である。
【図１１】上記画像処理装置の動作を説明するための図である。
【図１２】上記画像処理装置の動作において、縮小処理部の動作を説明するための図である。
【図１３】第１〜第３の実施の形態を、記憶媒体から読み出したプログラムを実行することで実現するためのコンピュータの構成の一例を説明するための図である。
【図１４】従来の画像処理装置の構成（例１）を示すブロック図である。
【図１５】上記画像処理装置の動作を説明するための図である。
【図１６】従来の画像処理装置の構成（例２）を示すブロック図である。
【図１７】上記画像処理装置の動作を説明するための図である。
【符号の説明】
１００  画像処理装置
１０１  可変長復号化部
１０２  逆量子化部
１０３  ０挿入部
１０４  Ｎ／Ｍ係数乗算部
１０５  Ｎ×ＮＤＣＴ逆変換部
１０６  動き補償処理部
１０７  Ｍ／Ｎ縮小処理部
１０８  出力端子
１０９  入力端子
【図１】
0004355445.tif 000002
【図２】
0004355445.tif 000003
【図３】
0004355445.tif 000004
【図４】
0004355445.tif 000005
【図５】
0004355445.tif 000006
【図６】
0004355445.tif 000007
【図７】
0004355445.tif 000008
【図８】
0004355445.tif 000009
【図９】
0004355445.tif 000010
【図１０】
0004355445.tif 000011
【図１１】
0004355445.tif 000012
【図１２】
0004355445.tif 000013
【図１３】
0004355445.tif 000014
【図１４】
0004355445.tif 000015
【図１５】
0004355445.tif 000016
【図１６】
0004355445.tif 000017
【図１７】
0004355445.tif 000018