(57)【要約】【課題】圧縮符号化処理の前段で動画をフレーム画像毎に処理しエッジ成分などのぼやけを抑制しながら帯域制限する画像処理装置及びプログラムを提供する。【解決手段】本発明の画像処理装置１は、動画のフレーム画像に対しｎ（ｎ≧２）階ウェーブレットパケット分解処理を施すウェーブレットパケット分解部１１と、所定の空間高周波数帯域群を制限帯域として抽出し、その連続信号パワーを検出する連続信号パワー検出部１２と、少なくとも連続信号パワーと帯域制限量を指定する制限量パラメータとを基に、制限帯域における縮退関数を設定する制限帯域用縮退関数設定部１４と、当該設定された縮退関数を用いてウェーブレット縮退処理を実行するウェーブレット縮退部１６と、その縮退処理後にウェーブレット再構成処理を施す再構成部１７と、を備える。【選択図】図１
2020161985.tif 000002
【特許請求の範囲】
【請求項１】
動画像をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、
前記フレーム画像に対しｎ（ｎ≧２）階ウェーブレットパケット分解処理を施し、各周波数帯域の周波数分解係数を抽出するウェーブレットパケット分解部と、
当該各周波数帯域のうち所定の空間高周波数帯域群を制限帯域として抽出し、前記制限帯域内の水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域の所定の閾値以上の周波数分解係数を連続信号成分とみなし、当該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における各周波数帯域群の連続信号パワーとして検出する連続信号パワー検出部と、
少なくとも前記連続信号パワーと帯域制限量を指定する制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定する制限帯域用縮退関数設定部と、
前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数に対し前記縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限を行うウェーブレット縮退部と、
前記ウェーブレット縮退処理後の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成する再構成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数のうち空間対角最高周波数帯域内の全ての周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、雑音パワーとして検出する雑音パワー検出部を更に備え、
前記制限帯域用縮退関数設定部は、前記連続信号パワーと、前記雑音パワーと、前記制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に前記通過帯域における周波数帯域群の縮退関数を設定する通過帯域用縮退関数設定部を更に備え、
前記ウェーブレット縮退部は、前記制限帯域用縮退関数設定部、及び前記通過帯域用縮退関数設定部により設定された各縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限と雑音除去、及び前記通過帯域内の周波数分解係数の雑音除去を行うことを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記制限量パラメータは、前記制限帯域内で全体的に帯域制限するための第１の帯域制限量と、前記連続信号パワーを基準とした第２の帯域制限量とを含むことを特徴とする、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
コンピューターを、請求項１から４のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う技法として、入力画像をウェーブレット変換した周波数分解係数のうち、所定の雑音レベル以下の成分をコアリングすることによりノイズ除去を行うことが知られている（例えば、非特許文献１参照）。
【０００３】
また、ウェーブレット縮退を用いた画像処理装置として、高周波ノイズ画像と低周波ノイズ画像を抽出し、これらの画像が輝度成分の画像であるか色差成分の画像であるかに応じて分けて統合することで雑音レベルの低減を行う技法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５３５２９４２号明細書
【非特許文献】
【０００５】
【非特許文献１】David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: “Wavelet Shrinkage: Asymptopia?”, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、従来から、非特許文献１や特許文献１などのように、画像に対しウェーブレット縮退を用いて雑音除去する技法が知られている。
【０００７】
一方で、近年、例えば次世代地上波放送として、ハイビジョンを超える超高精細動画像として４Ｋや８ＫのＳＨＶ（Super Hi-Vision）などの大容量コンテンツサービスを伝送することが検討されている。このような超高精細動画像の伝送にあたって高圧縮符号化を行う際に、空間高周波数帯域成分のパワーが大きいなどの理由で高圧縮符号化が困難な動画像が入力されうることが想定される。この場合、伝送容量としてその入力動画像が持つ膨大な情報量に対する符号化ビットレートが十分ではない事態が生じうるため、圧縮又は伝送に係る符号化に起因する画像破綻が発生する場合がある。
【０００８】
そこで、超高精細動画像に対する高圧縮符号化処理の前段で、非特許文献１や特許文献１などの従来の雑音除去処理を行うことで、入力動画像が持つ情報量を削減することができる。
【０００９】
しかし、従来の雑音除去処理を用いて超高精細動画像に対する雑音除去を行うと、画像破綻は抑制されるがエッジ成分などがぼやけやすいという問題がある。
【００１０】
このため、超高精細動画像等の動画像に対し圧縮符号化処理の前段でウェーブレット縮退を用いて情報量を削減するにあたり、エッジ成分などのぼやけを抑制しながら圧縮符号化が困難な動画像で発生する画像破綻を抑制し、動画像の符号化品質を向上させる技法が望まれる。
【００１１】
従って、本発明の目的は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行い、エッジ成分などのぼやけを抑制しながら圧縮符号化処理に係る画質を向上させる画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明による一態様の画像処理装置は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う際に、ウェーブレットパケット分解に基づく各周波数帯域群の連続信号パワーに基づいて、エッジ成分などのぼやけを抑制しながら少なくとも帯域制限を行う縮退関数の設定を適応的に行うように構成する。更に、本発明による別態様の画像処理装置は、エッジ成分などのぼやけを抑制しながら帯域制限及び雑音除去の双方を可能とするために、処理対象の動画像の各フレーム画像に対しウェーブレットパケット分解に基づく各周波数帯域群の連続信号パワー及び雑音パワーの双方に基づいて効率的に縮退関数を設定する。
【００１３】
即ち、本発明の画像処理装置は、動画像をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、前記フレーム画像に対しｎ（ｎ≧２）階ウェーブレットパケット分解処理を施し、各周波数帯域の周波数分解係数を抽出するウェーブレットパケット分解部と、当該各周波数帯域のうち所定の空間高周波数帯域群を制限帯域として抽出し、前記制限帯域内の水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域の所定の閾値以上の周波数分解係数を連続信号成分とみなし、当該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における各周波数帯域群の連続信号パワーとして検出する連続信号パワー検出部と、少なくとも前記連続信号パワーと帯域制限量を指定する制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定する制限帯域用縮退関数設定部と、前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数に対し前記縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限を行うウェーブレット縮退部と、前記ウェーブレット縮退処理後の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成する再構成部と、を備えることを特徴とする。
【００１４】
また、本発明の画像処理装置において、前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数のうち空間対角最高周波数帯域内の全ての周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、雑音パワーとして検出する雑音パワー検出部を更に備え、前記制限帯域用縮退関数設定部は、前記連続信号パワーと、前記雑音パワーと、前記制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定することを特徴とする。
【００１５】
また、本発明の画像処理装置において、前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に前記通過帯域における周波数帯域群の縮退関数を設定する通過帯域用縮退関数設定部を更に備え、前記ウェーブレット縮退部は、前記制限帯域用縮退関数設定部、及び前記通過帯域用縮退関数設定部により設定された各縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限と雑音除去、及び前記通過帯域内の周波数分解係数の雑音除去を行うことを特徴とする。
【００１６】
また、本発明の画像処理装置において、前記制限量パラメータは、前記制限帯域内で全体的に帯域制限するための第１の帯域制限量と、前記連続信号パワーを基準とした第２の帯域制限量とを含むことを特徴とする。
【００１７】
更に、本発明のプログラムは、コンピューターを、本発明の画像処理装置として機能させるためのプログラムとして構成する。
【発明の効果】
【００１８】
本発明によれば、エッジ成分などのぼやけを抑制しながら符号化が困難な動画像で発生する画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明による一実施形態の画像処理装置の概略構成を示すブロック図である。
【図２】本発明による一実施形態の画像処理装置における一実施例の画像処理に係る２階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。
【図３】本発明による一実施形態の画像処理装置における一実施例の画像処理を示すフローチャートである。
【図４】（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における一実施例の画像処理に係る通過帯域用、及び各制限帯域用の縮退関数の説明図である。
【図５】（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における変形例の画像処理に係る通過帯域用、及び各制限帯域用の縮退関数の説明図である。
【図６】本発明による一実施形態の画像処理装置における一実施例の画像処理に係る３階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明による一実施形態の画像処理装置１について、図面を参照して詳細に説明する。
【００２１】
〔装置構成〕
図１は本発明による一実施形態の画像処理装置１の概略構成を示すブロック図である。本実施形態の画像処理装置１は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う装置として構成され、ウェーブレットパケット分解部１１、連続信号パワー検出部１２、雑音パワー検出部１３、制限帯域用縮退関数設定部１４、通過帯域用縮退関数設定部１５、ウェーブレット縮退部１６、及び再構成部１７を備える。尚、図１に示す例において、画像処理装置１に対しウェーブレットパケット分解階数（ｎ階）を外部指定可能とし、画像処理装置１内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。
【００２２】
ウェーブレットパケット分解部１１は、動画のフレーム画像を入力画像として入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力画像に対しｎ階ウェーブレットパケット分解処理を施し、これにより得られる各周波数帯域の周波数分解係数をウェーブレット縮退部１６に出力する。尚、当該ｎ階ウェーブレットパケット分解によって得られる各周波数帯域の周波数分解係数のうち所定の空間高周波数帯域群の周波数分解係数は制限帯域として連続信号パワー検出部１２にて抽出され、当該ｎ階ウェーブレットパケット分解によって得られる各周波数帯域の周波数分解係数のうち空間対角高周波数帯域内の周波数分解係数は雑音パワー検出部１３にて抽出される。
【００２３】
図２を参照して、より具体的に空間高周波数帯域群及び空間低周波数帯域群について説明する。図２は、本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る２階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。図２は放送カメラで撮像された所謂８Ｋの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に２階ウェーブレットパケット分解を行うことで、水平周波数×垂直周波数で表される図示するような、２階の空間低周波数帯域ＬＬｍ、水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角（水平・垂直）高周波数帯域ＨＨｍ（ｍは各周波数帯域群Ｃｍの群番号）に分解される。そして、空間低周波数帯域群に属する周波数帯域群Ｃ１は雑音成分のみの除去を対象とする通過帯域とし、空間高周波数帯域群に属する周波数帯域群Ｃ２，Ｃ３，Ｃ４は、エッジ成分などのぼやけを抑制しながら帯域制限を行うことを対象とする制限帯域として予め定めている。
【００２４】
即ち、図２に示す例において、例えば８Ｋのフレーム画像を４Ｋのフレーム画像に縮退することを想定し、周波数帯域群Ｃ１を通過帯域、周波数帯域群Ｃ２，Ｃ３，Ｃ４は制限帯域とするように定めている。ｎ階ウェーブレットパケット分解して得られる周波数帯域群Ｃｍについて、どの周波数帯域群を通過帯域又は制限帯域とするかは、ｎ階ウェーブレットパケット分解におけるｎの値で一意に定まるように予め定めておくものとする。尚、ｎ階ウェーブレットハケット分解における各階間には、パーセバルの法則が成り立つものとなっている。
【００２５】
図１に示すように、連続信号パワー検出部１２は、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値のうち制限帯域である各空間高周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）内の水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角高周波数帯域ＨＨｍの周波数分解係数を抽出し所定の閾値Ｔｈ以上の周波数分解係数を連続信号成分とみなす。そして、連続信号パワー検出部１２は、当該所定の閾値Ｔｈ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における各周波数帯域群の連続信号パワーＰｃｍとして検出し制限帯域用縮退関数設定部１４に出力する。
【００２６】
雑音パワー検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値である各周波数帯域群Ｃｍ（＝Ｃ１，Ｃ２，Ｃ３，Ｃ４）のうち空間対角高周波数帯域（本例ではｎ＝２としており、ＨＨ４）を抽出する。そして、雑音パワー検出部１３は、ｎ階ウェーブレットパケット分解して得られる空間対角最高周波数帯域（本例ではｎ＝２としており、ＨＨ４）内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰＮとして検出し制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５に出力する。
【００２７】
制限帯域用縮退関数設定部１４は、連続信号パワー検出部１２から得られる制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃｍと、雑音パワー検出部１３から得られる雑音パワーＰＮと、帯域制限量を指定する制限量パラメータとを基に、ウェーブレット縮退部１６で用いる制限帯域における各周波数帯域群の縮退関数Ｓｍ（＝Ｓ２，Ｓ３，Ｓ４）を設定する。制限量パラメータには、制限帯域内で全体的に帯域制限するための第１の帯域制限量（例えば６［ｄＢ］）と、連続信号（エッジなど）に対するぼやけを抑制しつつ帯域を制限するため連続信号パワーＰｃｍを基準とした第２の帯域制限量（例えば２０［ｄＢ］）とが含まれる。
【００２８】
一方、通過帯域用縮退関数設定部１５は、雑音パワー検出部１３から得られる雑音パワーＰＮを基に、ウェーブレット縮退部１６で用いる通過帯域における周波数帯域群Ｃｍ（＝Ｃ１）の縮退関数Ｓｍ（＝Ｓ１）を設定する。
【００２９】
ウェーブレット縮退部１６は、ウェーブレットパケット分解部１１から入力された各周波数帯域の周波数分解係数に対し、制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５により設定された縮退関数を適用してウェーブレット縮退処理を実行する。これにより、ウェーブレット縮退部１６は、制限帯域内の周波数分解係数の帯域制限と雑音除去、及び通過帯域内の周波数分解係数の雑音除去を行い、帯域制限及び雑音除去後の各周波数帯域内の周波数分解係数を再構成部１７に出力する。
【００３０】
再構成部１７は、ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成し外部に出力する。
【００３１】
〔装置動作〕
以下、図１乃至図３を参照しながら、より具体的に、本実施形態の画像処理装置１の動作として、一実施例の画像処理について説明する。
【００３２】
図３は、本発明による一実施形態の画像処理装置１における一実施例の画像処理を示すフローチャートである。
【００３３】
まず、画像処理装置１は、ウェーブレットパケット分解部１１により、動画のフレーム画像を入力画像として入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力画像に対しｎ階ウェーブレットパケット分解処理を施し、これにより得られる各周波数帯域の周波数分解係数を得る（ステップＳ１）。
【００３４】
続いて、画像処理装置１は、連続信号パワー検出部１２により、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値のうち制限帯域である各空間高周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）内の水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角高周波数帯域ＨＨｍの周波数分解係数を抽出し所定の閾値Ｔｈ以上の周波数分解係数を連続信号成分とみなす。そして、連続信号パワー検出部１２は、当該所定の閾値Ｔｈ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における各周波数帯域群の連続信号パワーＰｃｍとして検出する（ステップＳ２）。
【００３５】
ここで、制限帯域における各周波数帯域群の連続信号パワーＰｃｍは、各空間高周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）内の各周波数帯域ＬＨｍ，ＨＬｍ，ＨＨｍの周波数分解係数（信号成分）のうち閾値Ｔｈ以上の成分が水平、垂直、対角方向に連続なエッジ成分である可能性が高いことを利用して求めるものとする。例えば、図２に示す例を参照して説明するに、連続信号パワー検出部１２は、２階の周波数帯域群Ｃ４における各周波数帯域ＬＨ４，ＨＬ４，ＨＨ４の周波数分解係数（信号成分）のうち閾値Ｔｈ以上の成分のパワーの平均値（或いは標準偏差又は中央値でもよい。）を連続信号パワーＰｃ４として求め、２階の周波数帯域群Ｃ２，Ｃ３における各連続信号パワーＰｃ２，Ｐｃ３もそれぞれ同様に定めたち閾値Ｔｈ（ただし、各空間高周波数帯域群Ｃ２，Ｃ３，Ｃ４で異なる閾値としてもよい。）に基づき求める。
【００３６】
続いて、画像処理装置１は、雑音パワー検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値である空間対角最高周波数帯域（本例ではｎ＝２としており、ＨＨ４）を抽出し、その空間対角最高周波数帯域ＨＨ４内の全成分（全周波数分解係数）のパワーにおける予め定めた上位α％番目のパワーを雑音成分とみなし、雑音パワーＰＮとして検出する（ステップＳ３）。
【００３７】
一般に、信号成分のパワーは低周波数帯域に偏在する。一方、熱雑音などの雑音成分のパワーは全周波数帯域群でほぼ一定である。このため、ｎ階ウェーブレットパケット分解による空間対角最高周波数帯域内の成分は雑音成分が支配的となる。そこで、雑音パワー検出部１３は、本例では２階ウェーブレットパケット分解による空間対角最高周波数帯域（本例ではｎ＝２としており、ＨＨ４）内の全成分のパワーにおける上位α％番目のパワーを雑音パワーＰＮとして検出する。例えばα＝９５とすると、空間対角最高周波数帯域ＨＨ４内の全成分のパワーをソートしてその上位９５％番目の値を雑音パワーＰＮとする。
【００３８】
続いて、画像処理装置１は、制限帯域用縮退関数設定部１４及び通過帯域用縮退関数設定部１５により、連続信号パワーＰｃｍ及び雑音パワーＰＮを基に、制限帯域及び通過帯域毎に縮退関数を設定する（ステップＳ４）。
【００３９】
より具体的には、制限帯域用縮退関数設定部１４は、連続信号パワー検出部１２から得られる制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃｍと、雑音パワー検出部１３から得られる雑音パワーＰＮと、連続信号パワーＰｃｍを考慮して定められる帯域制限量を指定する制限量パラメータとを基に、ウェーブレット縮退部１６で用いる制限帯域における各周波数帯域群の縮退関数Ｓｍ（＝Ｓ２，Ｓ３，Ｓ４）を設定する。
【００４０】
例えば、図４（ｂ）に示すように、制限帯域用縮退関数設定部１４は、制限量パラメータとして、制限帯域内で全体的に帯域制限するための第１の帯域制限量は６［ｄＢ］とし、連続信号（エッジなど）に対するぼやけを抑制しつつ帯域を制限するため連続信号パワーＰｃｍを基準とした第２の帯域制限量は２０［ｄＢ］とする。この場合、制限帯域用縮退関数設定部１４は、入力ｘに対する出力ｙで示される縮退関数Ｓ２，Ｓ３，Ｓ４について、第１の帯域制限量６［ｄＢ］に対応するｙ＝０．５ｘと、第２の帯域制限量２０［ｄＢ］に対応するｙ＝０．１ｘと、制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃｍと、雑音パワーＰＮとを基に定めることができ、ウェーブレット縮退部１６に対して当該縮退関数Ｓ２，Ｓ３，Ｓ４を設定する。尚、図４（ｂ）に示す傾き係数ｍ０は、２０ｄＢとする第２の帯域制限量で自ずと定まる。そしてｍ０をゼロとしないことからぼやけを抑制することができる。
【００４１】
また、通過帯域用縮退関数設定部１５は、雑音パワー検出部１３から得られる雑音パワーＰＮを基に、ウェーブレット縮退部１６で用いる通過帯域における周波数帯域群Ｃｍ（＝Ｃ１）の縮退関数Ｓｍ（＝Ｓ１）を設定する。
【００４２】
例えば、図４（ａ）に示すように、入力ｘに対する出力ｙで示される縮退関数Ｓ１について、帯域制限は行わないｙ＝ｘ上で、雑音成分を抑圧する雑音パワーＰＮを基に定めることができ、ウェーブレット縮退部１６に対して当該縮退関数Ｓ１を設定する。
【００４３】
続いて、画像処理装置１は、ウェーブレット縮退部１６は、ウェーブレットパケット分解部１１から入力された各周波数帯域の周波数分解係数に対し、制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５により設定された縮退関数を適用してウェーブレット縮退処理を実行することにより制限帯域内の周波数分解係数の帯域制限と雑音除去、及び通過帯域内の周波数分解係数の雑音除去を行う（ステップＳ５）。
【００４４】
最終的に、画像処理装置１は、再構成部１７により、ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成し外部に出力する（ステップＳ６）。
【００４５】
以上のように、本実施形態の画像処理装置１は、圧縮符号化処理の前段で入力される動画のフレーム画像毎に上記の処理を行うことで、適応的、且つ効率的にエッジ成分などのぼやけを抑制しながら帯域制限と雑音除去の双方を行うことが実現される。
【００４６】
（変形例）
尚、上述した実施形態の例では、画像処理装置１に雑音パワー検出部１３及び通過帯域用縮退関数設定部１５を設け、図４に例示する縮退関数をウェーブレット縮退部１６に設定する例を説明したが、上記の雑音パワー検出部１３及び通過帯域用縮退関数設定部１５を省略してもよい。この変形例の縮退関数を図５に例示している。
【００４７】
図５（ａ）に示すように、入力ｘに対する出力ｙで示される縮退関数Ｓ１については、帯域制限は行わないｙ＝ｘとするため、通過帯域用縮退関数設定部１５の設置を省略でき、処理負担をより軽減させることができる。
【００４８】
また、図５（ｂ）に示すように、雑音パワー検出部１３の設置を省略したとき、制限帯域用縮退関数設定部１４は、入力ｘに対する出力ｙで示される縮退関数Ｓ２，Ｓ３，Ｓ４について、第１の帯域制限量６［ｄＢ］に対応するｙ＝０．５ｘと、第２の帯域制限量２０［ｄＢ］に対応するｙ＝０．１ｘと、制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃｍとを基に定めることができ、ウェーブレット縮退部１６に対して当該縮退関数Ｓ２，Ｓ３，Ｓ４を設定する。図５（ｂ）に示す例においても、傾き係数ｍ０は、２０ｄＢとする第２の帯域制限量で自ずと定まり、ｍ０をゼロとしないことからぼやけを抑制することができる。
【００４９】
（応用例）
上述した一実施例及び変形例では、ｎ＝２とした２階ウェーブレットパケット分解で動作するときの例を主として説明したが、ｎ≧３以上とすることもできる。例えば、図６に示すように、ｎ＝３とした３階ウェーブレットパケット分解で動作させることもできる。図６では放送カメラで撮像された所謂８Ｋの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に３階ウェーブレットパケット分解を行うことで、水平周波数×垂直周波数で表される図示するような、３階の空間低周波数帯域ＬＬｍ、水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角（水平・垂直）高周波数帯域ＨＨｍ（ｍは各周波数帯域群Ｃｍの群番号）に分解される。そして、図６に示す空間低周波数帯域群に属する周波数帯域群Ｃ１〜Ｃ９は雑音成分のみの除去を対象とする通過帯域とし、空間高周波数帯域群に属する周波数帯域群Ｃ１０〜Ｃ１６は、エッジ成分などのぼやけを抑制しながら雑音除去を対象とする制限帯域として予め定めておけばよい。
【００５０】
図６に示すように３階ウェーブレットパケット分解を行う場合も、図２に示した例と同様に、連続信号パワー検出部１２によって制限帯域における各周波数帯域群Ｃｍ（＝Ｃ１０〜Ｃ１６）の各連続信号パワーＰｃｍを求めることができ、及び雑音パワー検出部１３によって３階ウェーブレットパケット分解による空間対角最高周波数帯域（本例ではｎ＝３としており、ＨＨ１６）から雑音パワーＰＮを求めることができる。このため、制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５は、図２に示した例と同様に、ウェーブレット縮退部１６に対し、制限帯域及び通過帯域における各縮退関数を設定することができる。
【００５１】
以上の実施形態における画像処理装置１は、コンピューターにより構成することができ、画像処理装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、画像処理装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、画像処理装置１の各処理部の有する機能を実現させることができる。更に、画像処理装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、画像処理装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、画像処理装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。
【００５２】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、２階又は３階ウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う例を説明したが、４階以上のウェーブレットパケット分解に基づいたウェーブレット縮退を用いて雑音除去を行う処理とすることもできる。従って、本発明に係る画像処理装置１は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。
【産業上の利用可能性】
【００５３】
本発明によれば、エッジ成分などのぼやけを抑制しながら符号化が困難な動画像で発生する画像破綻を抑制することができるので、特に、動画像符号化を要する用途に有用である。
【符号の説明】
【００５４】
１  画像処理装置
１１  ウェーブレットパケット分解部
１２  連続信号パワー検出部
１３  雑音パワー検出部
１４  制限帯域用縮退関数設定部
１５  通過帯域用縮退関数設定部
１６  ウェーブレット縮退部
１７  再構成部
【図１】
2020161985.tif 000003
【図２】
2020161985.tif 000004
【図３】
2020161985.tif 000005
【図４】
2020161985.tif 000006
【図５】
2020161985.tif 000007
【図６】
2020161985.tif 000008