(57)【要約】【課題】圧縮符号化処理の前処理として、入力された動画像に対しウェーブレットパケット分解及び縮退処理を用いて画像破綻を抑制しつつ動画像品質を劣化させないように適応的に雑音除去及び域制限を行う画像処理装置及びプログラムを提供する。【解決手段】本発明の画像処理装置１は、入力された動画像における処理対象のピクチャに関して、空間周波数分解する空間ウェーブレットパケット分解部１１と、雑音パワーを検出する雑音パワー検出部１２と、空間位相位置毎の時間パワー変動量を検出する時間パワー変動量検出部１３と、その雑音パワー及び時間パワー変動量を基に縮退関数を設定する縮退関数設定部１６と、当該縮退関数を適用して縮退処理を実行する空間ウェーブレット縮退部１７と、空間ウェーブレット再構成処理を施し当該入力動画像における各ピクチャについて帯域制限及び雑音除去された出力動画像を生成する再構成部１８と、を備える。【選択図】図１
2020184693.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、
当該動画像における処理対象のピクチャを入力し、ｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数を抽出する空間ウェーブレットパケット分解部と、
前記処理対象のピクチャに関する前記空間方向の各周波数帯域群のうち空間対角最高周波数帯域の周波数分解係数を抽出し、当該空間対角最高周波数帯域内の全周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし雑音パワーとして検出する雑音パワー検出部と、
前記処理対象のピクチャに関する前記空間方向の各周波数帯域群を基準に、前記処理対象のピクチャが属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャを用いて時間方向に１階ウェーブレットパケット分解を行い、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出する時間パワー変動量検出部と、
前記処理対象のピクチャに関する当該雑音パワー及び当該空間位相位置毎の時間パワー変動量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定する縮退関数設定部と、
前記処理対象のピクチャに関する各周波数帯域群の周波数分解係数に対し前記縮退関数を適用して空間ウェーブレット縮退処理を実行することにより、当該空間ウェーブレットパケット分解処理に基づく空間ウェーブレット縮退処理を行う空間ウェーブレット縮退部と、
前記処理対象のピクチャに関して前記空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施すことにより、当該動画像における各ピクチャについて帯域制限及び雑音除去された出力動画像を生成する再構成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記時間パワー変動量検出部は、各空間位相位置を中心とする所定ブロックサイズのブロックを基に、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
所定の圧縮符号化処理に係る参照ピクチャセットの情報を基に、当該処理対象のピクチャに対して符号化参照されることになる１枚以上の参照ピクチャを入力し、該参照ピクチャに対しｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャを生成する第２の空間ウェーブレットパケット分解部と、
前記処理対象のピクチャに関する前記空間方向の各周波数帯域群における各空間位相位置について、各空間位相位置を中心とする所定ブロックサイズのブロック毎に、前記空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャに対するブロックマッチングを行い、最小の類似度評価指数を示すマッチング量を探索し、当該最小となるマッチング量を前記処理対象のピクチャに関する空間位相位置毎の時間パワーマッチング量として検出する時間パワーマッチング量検出部と、を更に備え、
前記縮退関数設定部は、前記処理対象のピクチャに関する当該雑音パワー、当該空間位相位置毎の時間パワー変動量、及び当該空間位相位置毎の時間パワーマッチング量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、前記時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定することを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
コンピューターを、請求項１から３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う技法として、入力画像をウェーブレット変換した周波数分解係数のうち、所定の雑音レベル以下の成分をコアリングすることによりノイズ除去を行うことが知られている（例えば、非特許文献１参照）。
【０００３】
また、ウェーブレット縮退を用いた画像処理装置として、高周波ノイズ画像と低周波ノイズ画像を抽出し、これらの画像が輝度成分の画像であるか色差成分の画像であるかに応じて分けて統合することで雑音レベルの低減を行う技法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５３５２９４２号明細書
【非特許文献】
【０００５】
【非特許文献１】David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: “Wavelet Shrinkage: Asymptopia?”, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、従来から、非特許文献１や特許文献１などのように、画像に対しウェーブレット縮退を用いて雑音除去する技法が知られている。また、ウェーブレット縮退を用いて帯域制限処理を行う技法もある。
【０００７】
一方で、近年、例えば次世代地上波放送として、ハイビジョンを超える超高精細動画像として４Ｋや８ＫのＳＨＶ（Ｓｕｐｅｒ  Ｈｉ−Ｖｉｓｉｏｎ）などの大容量コンテンツサービスを伝送することが検討されている。このような超高精細動画像の伝送にあたって高圧縮符号化を行う際に、空間高周波数帯域成分のパワーが大きいなどの理由で高圧縮符号化が困難な動画像が入力されうることが想定される。この場合、伝送容量としてその入力動画像が持つ膨大な情報量に対する符号化ビットレートが十分ではない事態が生じうるため、圧縮又は伝送に係る符号化に起因する画像破綻が発生する場合がある。
【０００８】
そこで、超高精細動画像に対する高圧縮符号化処理の前段で、非特許文献１や特許文献１などの従来の雑音除去処理や帯域制限処理を行うことで、入力動画像が持つ情報量を削減することができる。
【０００９】
しかし、従来技術を用いて雑音除去処理と帯域制限処理を行う場合に、様々な線形フィルタ処理や非線形フバルタ処理が存在するが、従来技術では、超高精細動画像等の動画像に対し圧縮又は伝送に係る符号化に起因する画像破綻を抑制しつつ動画像品質を劣化させないように、その圧縮符号化処理の前処理として適応的に雑音除去処理と帯域制限処理を行うことができないという問題がある。
【００１０】
このため、超高精細動画像等の動画像に対し圧縮符号化処理の前段でウェーブレット縮退を用いて情報量を削減するにあたり、画像破綻を抑制しつつ動画像品質を劣化させないように雑音除去処理と帯域制限処理を行うフィルタ処理（ウェーブレット縮退に用いる縮退関数）が望まれる。
【００１１】
従って、本発明の目的は、圧縮符号化処理の前処理として動画像を入力し、この入力動画像に対しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像破綻を抑制しつつ動画像品質を劣化させないように適応的に雑音除去処理と帯域制限処理を行う画像処理を施し、動画像の圧縮符号化処理に係る画質を向上させる画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明による一態様の画像処理装置は、動画像の圧縮符号化処理の前段で、入力動画像の雑音除去及び帯域制限を行うにあたり、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を設定して、空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退処理を行うように構成する。当該縮退関数は、当該空間位相位置毎の時間パワーの変動の大きさを基に、より好適には時間パワーの変動の大きさと、後段の圧縮符号化処理に係る参照ピクチャセットに対応する時間的なマッチング度合い（時間パワーマッチング量）とを基に、雑音除去及び帯域制限を行う。
【００１３】
即ち、本発明の画像処理装置は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、当該動画像における処理対象のピクチャを入力し、ｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数を抽出する空間ウェーブレットパケット分解部と、前記処理対象のピクチャに関する前記空間方向の各周波数帯域群のうち空間対角最高周波数帯域の周波数分解係数を抽出し、当該空間対角最高周波数帯域内の全周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし雑音パワーとして検出する雑音パワー検出部と、前記処理対象のピクチャに関する前記空間方向の各周波数帯域群を基準に、前記処理対象のピクチャが属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャを用いて時間方向に１階ウェーブレットパケット分解を行い、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出する時間パワー変動量検出部と、前記処理対象のピクチャに関する当該雑音パワー及び当該空間位相位置毎の時間パワー変動量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定する縮退関数設定部と、前記処理対象のピクチャに関する各周波数帯域群の周波数分解係数に対し前記縮退関数を適用して空間ウェーブレット縮退処理を実行することにより、当該空間ウェーブレットパケット分解処理に基づく空間ウェーブレット縮退処理を行う空間ウェーブレット縮退部と、前記処理対象のピクチャに関して前記空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施すことにより、当該動画像における各ピクチャについて帯域制限及び雑音除去された出力動画像を生成する再構成部と、を備えることを特徴とする。
【００１４】
また、本発明の画像処理装置において、前記時間パワー変動量検出部は、各空間位相位置を中心とする所定ブロックサイズのブロックを基に、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出することを特徴とする。
【００１５】
また、本発明の画像処理装置において、所定の圧縮符号化処理に係る参照ピクチャセットの情報を基に、当該処理対象のピクチャに対して符号化参照されることになる１枚以上の参照ピクチャを入力し、該参照ピクチャに対しｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャを生成する第２の空間ウェーブレットパケット分解部と、前記処理対象のピクチャに関する前記空間方向の各周波数帯域群における各空間位相位置について、各空間位相位置を中心とする所定ブロックサイズのブロック毎に、前記空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャに対するブロックマッチングを行い、最小の類似度評価指数を示すマッチング量を探索し、当該最小となるマッチング量を前記処理対象のピクチャに関する空間位相位置毎の時間パワーマッチング量として検出する時間パワーマッチング量検出部と、を更に備え、前記縮退関数設定部は、前記処理対象のピクチャに関する当該雑音パワー、当該空間位相位置毎の時間パワー変動量、及び当該空間位相位置毎の時間パワーマッチング量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、前記時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定することを特徴とする。
【００１６】
更に、本発明のプログラムは、コンピューターを、本発明の画像処理装置として機能させるためのプログラムとして構成する。
【発明の効果】
【００１７】
本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定することができるので、後段の圧縮符号化処理における画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明による一実施形態の画像処理装置の概略構成を示すブロック図である。
【図２】本発明による一実施形態の画像処理装置における一実施例の画像処理に係る２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。
【図３】本発明による一実施形態の画像処理装置における一実施例の画像処理を示すフローチャートである。
【図４】本発明による一実施形態の画像処理装置における時間パワー変動量の検出を示す説明図である。
【図５】本発明による一実施形態の画像処理装置における時間パワーマッチング量の検出を示す説明図である。
【図６】（ａ）は参照ピクチャセットを例示する図であり、（ｂ），（ｃ）はそれぞれ本発明による一実施形態の画像処理装置における時間パワーマッチング量の検出に係るブロックマッチングを例示する説明図である。
【図７】（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における一実施例及び変形例の画像処理に係る縮退関数の説明図である。
【図８】本発明による一実施形態の画像処理装置における一実施例の画像処理に係る３階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明による一実施形態の画像処理装置１について、図面を参照して詳細に説明する。
【００２０】
〔装置構成〕
図１は本発明による一実施形態の画像処理装置１の概略構成を示すブロック図である。本実施形態の画像処理装置１は、圧縮符号化処理の前処理として、動画像を入力し空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退を用いて画像処理を行う装置として構成され、空間ウェーブレットパケット分解部１１、雑音パワー検出部１２、時間パワー変動量検出部１３、空間ウェーブレットパケット分解部１４、時間パワーマッチング量検出部１５、縮退関数設定部１６、空間ウェーブレット縮退部１７、及び再構成部１８を備える。尚、図１に示す例において、画像処理装置１に対しウェーブレットパケット分解階数（ｎ階）を外部指定可能とし、画像処理装置１内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。
【００２１】
空間ウェーブレットパケット分解部１１は、入力動画像における処理対象のピクチャＰ（ｔ）を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力動画像における処理対象のピクチャＰ（ｔ）（ｔ：処理対象とするフレーム画像の時刻）に対し空間ウェーブレットパケット分解処理を施し、これにより抽出される空間方向の各周波数帯域群の周波数分解係数を空間ウェーブレット縮退部１７に出力する。尚、処理対象のピクチャＰ（ｔ）について当該ｎ階空間ウェーブレットパケット分解によって得られる空間方向の各周波数帯域のうち空間対角最高周波数帯域内の周波数分解係数は雑音パワー検出部１２にて抽出される。また、処理対象のピクチャＰ（ｔ）について当該ｎ階空間ウェーブレットパケット分解によって得られる空間方向の各周波数帯域群の周波数分解係数は、時間パワー変動量検出部１３、及び時間パワーマッチング量検出部１５において、それぞれ詳細に後述する時間パワー変動量及び時間パワーマッチング量の検出に用いられる。
【００２２】
図２を参照して、より具体的に処理対象のピクチャＰ（ｔ）に対する空間ウェーブレットパケット分解について説明する。図２は本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る処理対象のピクチャＰ（ｔ）に対する２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図であり、放送カメラで撮像された所謂８Ｋ／６０Ｐの動画像（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））を処理対象とした例である。この例では、時刻ｔのフレーム画像全体をピクチャＰ（ｔ）としているが、時刻ｔのフレーム画像の一部を示すスライス画像やタイル画像（ＨＥＶＣ規格）をピクチャＰ（ｔ）として扱うことができる。
【００２３】
図２に示すように、入力動画像における処理対象のピクチャＰ（ｔ）に対するｎ＝２とした空間方向のみを処理対象とする２階空間ウェーブレットパケット分解では、入力動画像における処理対象のピクチャＰ（ｔ）に対しそれぞれ水平・垂直方向に２階空間ウェーブレットパケット分解を行う。この場合、水平周波数×垂直周波数で表される図２に図示するような周波数領域に分解されたピクチャＰ’（ｉ,ｊ,ｔ）が得られ、ピクチャＰ’（ｉ,ｊ,ｔ）は、２階の空間低周波数帯域ＬＬｍ（ｉ,ｊ,ｔ）、水平高周波数帯域ＬＨｍ（ｉ,ｊ,ｔ）、垂直高周波数帯域ＨＬｍ（ｉ,ｊ,ｔ）、及び対角（水平・垂直）高周波数帯域ＨＨｍ（ｉ,ｊ,ｔ）の各周波数帯域群に分解される（ｍは各周波数帯域群の群番号であり、ｉは水平方向の周波数分解係数の空間位相座標を示し、ｊは垂直方向の周波数分解係数の空間位相座標を示す。）。尚、ｎ階空間ウェーブレットハケット分解における各階間には、パーセバルの法則が成り立つものとなっている。
【００２４】
図１に示すように、雑音パワー検出部１２は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群のうち空間対角最高周波数帯域（本例ではｎ＝２としており、空間ＨＨ４（ｉ,ｊ,ｔ））の成分（周波数分解係数）を抽出する。そして、雑音パワー検出部１２は、ピクチャＰ’（ｉ,ｊ,ｔ）の当該空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰＮとして検出し縮退関数設定部１６に出力する。
【００２５】
時間パワー変動量検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群を基準に、時間ウェーブレットフィルタを用いて当該ピクチャＰ’（ｉ,ｊ,ｔ）が属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャＰ（ｔ−ａ）（ａは時刻ｔに対する相対時刻を示すが、例えばａ＝１としたときは、直前のフレーム画像における対応する空間位置のピクチャＰ（ｔ−１）を示す。）を用いて時間方向に１階ウェーブレットパケット分解を行い、ピクチャＰ’（ｉ,ｊ,ｔ−ａ）の各周波数帯域群の周波数分解係数を得る。続いて、時間パワー変動量検出部１３は、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群、及びピクチャＰ’（ｉ,ｊ,ｔ−ａ）の各周波数帯域群について、それぞれ対応する空間位相位置（各周波数帯域内の周波数分解係数の空間位相を示す位置（ｉ,ｊ））で、その空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、該ブロック領域内の平均値又は中央値を当該空間位相位置のパワーとしてそれぞれ求め、ピクチャＰ’（ｉ,ｊ,ｔ）及びピクチャＰ’（ｉ,ｊ,ｔ−ａ）間で各空間位相位置（ｉ,ｊ）のパワーについて差分した値を、ピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量として検出し、縮退関数設定部１６に出力する。尚、空間位相位置（ｉ,ｊ）毎の時間パワー変動量を検出するにあたり、上記のようにブロック領域で処理することでパワー値の精度及びこれに基づく縮退関数の設定値の精度が高くなる。
【００２６】
空間ウェーブレットパケット分解部１４は、本実施形態の画像処理装置１の出力動画像に対し圧縮符号化処理を行う後段の符号化装置（図示略）で用いる参照ピクチャセット（ＲＰＳ）の情報が外部指定される。そして、空間ウェーブレットパケット分解部１４は、この参照ピクチャセット（ＲＰＳ）の情報を基に、当該入力動画像における処理対象のピクチャＰ（ｔ）に対して符号化参照されることになる１枚以上の参照ピクチャＰ（ｋ）を入力し、当該設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、当該参照ピクチャＰ（ｋ）に対しｎ階の空間ウェーブレットパケット分解処理を施し、これにより得られる空間方向の各周波数帯域群の周波数分解係数を時間パワーマッチング量検出部１５に出力する。例えば、空間ウェーブレットパケット分解部１４は、参照ピクチャセット（ＲＰＳ）の情報に基づいて定められる、処理対象のピクチャＰ（ｔ）に対し１つ前の符号化順の参照ピクチャＰ（ｋ）について、２階空間ウェーブレットパケット分解を施して得られる周波数帯域群の周波数分解係数を時間パワーマッチング量検出部１５に出力する。
【００２７】
時間パワーマッチング量検出部１５は、ウェーブレットパケット分解階数（ｎ階）に従って得られる空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群における各空間位相位置（ｉ,ｊ）について、その各空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、空間ウェーブレットパケット分解部１４からの出力値である参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するブロックマッチングを行い、最小の類似度評価指数を示すマッチング量を探索し、当該最小となるマッチング量をピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量として検出し、縮退関数設定部１６に出力する。ここで、類似度評価指数は、ＳＳＤ（Sum of Squared Difference）値とすることや、ＳＳＤ値以外にも、ＳＡＤ（Sum of Absolute Difference）値、ＮＣＣ（Normalized Cross-Correlation），ＺＮＣＣ（Zero-means Normalized Cross-Correlation）等を利用できる。尚、空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量を検出するにあたり、上記のようにブロック領域で処理することでマッチング量の精度及びこれに基づく縮退関数の設定値の精度が高くなる。
【００２８】
縮退関数設定部１６は、雑音パワー検出部１２から得られるピクチャＰ’（ｉ,ｊ,ｔ）における雑音パワーＰＮと、時間パワー変動量検出部１３から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量と、時間パワーマッチング量検出部１５から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量とを基に、ピクチャＰ’（ｉ,ｊ,ｔ）における全ての周波数帯域群における空間位相位置（ｉ,ｊ）毎に、空間ウェーブレット縮退部１７で用いる縮退関数を設定する。尚、縮退関数設定部１６における縮退関数の設定において、雑音パワーＰＮは雑音除去する縮退関数の入力値範囲が規定され、時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、更に時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして設定される。
【００２９】
空間ウェーブレット縮退部１７は、空間ウェーブレットパケット分解部１１から入力されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数に対し、縮退関数設定部１６により設定された縮退関数を適用して空間ウェーブレット縮退処理を実行する。これにより、空間ウェーブレット縮退部１７は、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像（正確には各ピクチャ）における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定して、空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退処理を行い、帯域制限及び雑音除去後の各周波数帯域内の周波数分解係数を再構成部１８に出力する。
【００３０】
再構成部１８は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレット縮退処理によって帯域制限及び雑音除去されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施し、入力動画像における各ピクチャについて同様に処理することにより、帯域制限及び雑音除去された出力動画像を生成し外部に出力する。
【００３１】
〔装置動作〕
以下、より具体的に、図１及び図２に示す本実施形態の画像処理装置１の動作として、図４乃至図６を参照しながら、図３を基に一実施例の画像処理について説明する。
【００３２】
図３は、本発明による一実施形態の画像処理装置１における一実施例の画像処理を示すフローチャートである。また、図４は本実施形態の画像処理装置１における時間パワー変動量の検出を示す説明図であり、図５は本実施形態の画像処理装置１における時間パワーマッチング量の検出を示す説明図である。尚、図６（ａ）は参照ピクチャセットを例示する図であり、図６（ｂ），（ｃ）はそれぞれ本実施形態の画像処理装置１における時間パワーマッチング量の検出に係るブロックマッチングを例示する説明図である。
【００３３】
まず、画像処理装置１は、空間ウェーブレットパケット分解部１１により、入力動画像における処理対象のピクチャＰ（ｔ）を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力動画像における処理対象のピクチャＰ（ｔ）に対し空間ウェーブレットパケット分解処理を施し、これにより得られる空間方向の各周波数帯域群の周波数分解係数を得る（ステップＳ１）。
【００３４】
続いて、画像処理装置１は、雑音パワー検出部１２により、図２に示すピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群のうち空間対角最高周波数帯域（本例ではｎ＝２としており、空間ＨＨ４（ｉ,ｊ,ｔ））の成分（周波数分解係数）を抽出し、ピクチャＰ’（ｉ,ｊ,ｔ）の当該空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰＮとして検出する（ステップＳ２）。
【００３５】
一般に、信号成分のパワーは低周波数帯域に偏在する。一方、熱雑音などの雑音成分のパワーは全周波数帯域群でほぼ一定である。このため、ｎ階空間ウェーブレットパケット分解による空間対角最高周波数帯域内の成分は雑音成分が支配的となる。そこで、雑音パワー検出部１２は、空間対角最高周波数帯域の全成分（全周波数分解係数）のパワーをソートして、例えばα＝９５とすると、その上位９５％番目の値を雑音パワーＰＮとする。
【００３６】
続いて、画像処理装置１は、時間パワー変動量検出部１３により、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群を基準に、時間ウェーブレットフィルタＦを用いて当該ピクチャＰ’（ｉ,ｊ,ｔ）が属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャＰ（ｔ−ａ）を用いて時間方向に１階ウェーブレットパケット分解を行い、ピクチャＰ’（ｉ,ｊ,ｔ−ａ）の各周波数帯域群の周波数分解係数を得る。
【００３７】
例えば、ａ＝１としたとき、ピクチャＰ（ｔ）（周波数領域ではピクチャＰ’（ｉ,ｊ,ｔ））が属するフレーム画像に対し直前のフレーム画像における対応する空間位置のピクチャＰ（ｔ−１）について、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群を基準にした空間位相位置で時間方向に周波数分解されたピクチャＰ’（ｉ,ｊ,ｔ−１）が得られる。即ち、１階ウェーブレットパケット分解を行う時間ウェーブレットフィルタＦをＨａａｒウェーブレットフィルタとすると、そのタップ長は２となり、図４に示すように、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群に対応する空間位相位置で、時間方向に周波数分解されたピクチャＰ’（ｉ,ｊ,ｔ−１）が得られる。
【００３８】
そして、時間パワー変動量検出部１３は、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群、及びピクチャＰ’（ｉ,ｊ,ｔ−ａ）の各周波数帯域群について、それぞれ対応する空間位相位置（ｉ,ｊ）で、その空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック領域内の平均値又は中央値を当該空間位相位置のパワーとしてそれぞれ求め、ピクチャＰ’（ｉ,ｊ,ｔ）及びピクチャＰ’（ｉ,ｊ,ｔ−ａ）間で各空間位相位置（ｉ,ｊ）のパワーについて差分した値を、ピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量として検出する（ステップＳ３）。
【００３９】
例えば、時間パワー変動量検出部１３は、図４に例示するように、或る周波数帯域（図示する例ではＨＬ３）における空間位相位置（ｉ,ｊ）を中心とするブロック領域で、ブロックサイズ３×３｛Ｂｘ＝３，Ｂｙ＝３｝とすると、その空間位相位置（ｉ,ｊ）のピクチャＰ’（ｉ,ｊ,ｔ）のブロック領域内の平均値又は中央値を示すパワーと、同空間位相位置（ｉ,ｊ）のピクチャＰ’（ｉ,ｊ,ｔ）のブロック領域内の平均値又は中央値を示すパワーとの差分を、ピクチャＰ’（ｉ,ｊ,ｔ）における当該空間位相位置（ｉ,ｊ）の時間パワー変動量ＰＨＬ３（ｉ,ｊ,ｔ）として検出する。このように、時間パワー変動量検出部１３は、全ての周波数帯域における全ての空間位相位置（ｉ,ｊ）で、時間パワー変動量を検出する。
【００４０】
続いて、画像処理装置１は、空間ウェーブレットパケット分解部１４により、圧縮符号化処理を行う後段の符号化装置（図示略）で用いる参照ピクチャセット（ＲＰＳ）の情報が外部指定されると、この参照ピクチャセット（ＲＰＳ）の情報を基に、当該入力動画像における処理対象のピクチャＰ（ｔ）に対して符号化参照されることになる１枚以上の参照ピクチャＰ（ｋ）を入力し、当該参照ピクチャＰ（ｋ）に対しｎ階の空間ウェーブレットパケット分解処理を施し、これにより得られる空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャＰ’（ｉ,ｊ,ｋ）を生成する。
【００４１】
例えば、空間ウェーブレットパケット分解部１４は、図５に例示するように、参照ピクチャセット（ＲＰＳ）の情報に基づいて定められる、処理対象のピクチャＰ（ｔ）に対し１つ前の符号化順の参照ピクチャＰ（ｋ）について、２階空間ウェーブレットパケット分解を施して得られる周波数帯域群の周波数分解係数で表される参照ピクチャＰ’（ｉ,ｊ,ｋ）を生成する。
【００４２】
続いて、画像処理装置１は、時間パワーマッチング量検出部１５により、ウェーブレットパケット分解階数（ｎ階）に従って得られる空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群における各空間位相位置（ｉ,ｊ）について、その各空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、空間ウェーブレットパケット分解部１４からの出力値である参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するブロックマッチングを行い、最小の類似度評価指数（例えば、ＳＳＤ値）を示すマッチング量を探索し、当該最小となるマッチング量をピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量として検出する（ステップＳ４）。
【００４３】
例えば、時間パワーマッチング量検出部１５は、図５に例示するように、或る周波数帯域（図示する例ではＨＬ３）における空間位相位置（ｉ,ｊ）を中心とするブロック領域で、ブロックサイズ３×３｛Ｂｘ＝３，Ｂｙ＝３｝とすると、そのピクチャＰ’（ｉ,ｊ,ｔ）の空間位相位置（ｉ,ｊ）について、参照ピクチャセット（ＲＰＳ）の情報に基づいて定められる参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するブロックマッチングを行い、最小の類似度評価指数（例えば、ＳＳＤ値）を示すマッチング量を探索し、当該最小となるマッチング量を、ピクチャＰ’（ｉ,ｊ,ｔ）における当該空間位相位置（ｉ,ｊ）の時間パワーマッチング量ＭＨＬ３（ｉ,ｊ,ｔ）として検出する。このように、時間パワーマッチング量検出部１５は、全ての周波数帯域における全ての空間位相位置（ｉ,ｊ）で、時間パワーマッチング量を検出する。
【００４４】
尚、図６を参照して、参照ピクチャセット、及び本実施形態の画像処理装置１における時間パワーマッチング量の検出に係るブロックマッチングを説明する。動画像の圧縮符号化技術として、例えばＨ．２６４／ＭＰＥＧ−４  ＡＶＣ，Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣなどでは、予測符号化処理前の動画像について複数の画面群に分割した所定グループを設定し、その所定グループ内で、予測符号化法として予め選択された画面間予測符号化処理や画面内予測符号化処理を行う。
【００４５】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣでは、当該所定グループとして予測符号化前の動画像について複数の画面群に分割したＧＯＰ（Group of Pictures）を設定する。そして、ＧＯＰ内の各画面（フレーム、又はスライス画面）について、フレーム内予測符号化処理を行うＩピクチャ、時間的に過去の画面から片方向フレーム間予測符号化処理を行うＰピクチャ、又は時間的に前後に位置する画面から双方向フレーム間予測符号化処理を行うＢピクチャが予め選択される。尚、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣでは、ＧＯＰ内の全ての画面について画面内予測符号化処理のみの圧縮符号化方式による圧縮も可能である。
【００４６】
また、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣにおいても、当該所定グループとして予測符号化前の動画像について複数の画面群に分割したシーケンスを設定する。ＨＥＶＣ規格上ではＧＯＰという概念を導入していないが、このシーケンスがＧＯＰに相当する。そして、シーケンス内の各画面（フレーム画面、スライス画面、又はタイル画面）について、画面内予測符号化処理や画面間予測符号化処理を行う処理ユニットが予め選択される。尚、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣにおいても、シーケンス内の全ての画面について画面内予測符号化処理のみの圧縮符号化方式による圧縮も可能である。
【００４７】
そして、図６（ａ）に例示するように、圧縮符号化する動画像は、そのフレーム番号で示される各フレーム画像（ここでは、フレーム画像全体をピクチャとして例示）が、いずれのピクチャを参照対象として圧縮符号化を行うかが予め定められ、参照ピクチャセットとして識別できるようになっている。
【００４８】
そこで、画像処理装置１は、時間パワーマッチング量検出部１５により、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群における各空間位相位置（ｉ,ｊ）について、ブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、例えば１枚の参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するときは図６（ｂ）に示すように、或いは２枚の参照ピクチャＰ’（ｉ,ｊ,ｋ１），Ｐ’（ｉ,ｊ,ｋ２）に対するときは図６（ｃ）に示すように、予め定めた探索範囲内でブロックマッチングを行って、個々のブロックマッチングで得られるマッチング量（ＳＳＤ値を例にＳＳＤ１，ＳＳＤ２，…）のうち最小となるマッチング量を時間パワーマッチング量として検出する。尚、当該参照ピクチャセットにおける参照ピクチャＰ’（ｉ,ｊ,ｋ）が処理対象のピクチャＰ’（ｉ,ｊ,ｔ）のＩピクチャに該当するときは、当該時間パワーマッチング量検出部１５の処理は省略するか、或いは、前回の参照ピクチャセットにおけるＩピクチャ又は最終の符号化順のピクチャを参照ピクチャＰ’（ｉ,ｊ,ｋ）として扱うように構成することができる。
【００４９】
続いて、画像処理装置１は、縮退関数設定部１６により、雑音パワー検出部１２から得られるピクチャＰ’（ｉ,ｊ,ｔ）における雑音パワーＰＮと、時間パワー変動量検出部１３から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量と、時間パワーマッチング量検出部１５から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量とを基に、ピクチャＰ’（ｉ,ｊ,ｔ）における全ての周波数帯域群における空間位相位置（ｉ,ｊ）毎に、空間ウェーブレット縮退部１７で用いる縮退関数を設定する（ステップＳ５）。
【００５０】
特に、縮退関数設定部１６は、雑音パワーＰＮは雑音除去する縮退関数の入力値範囲を規定するものとし、時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、更に時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、縮退関数を設定する。
【００５１】
例えば、図７（ａ）は、本実施形態の画像処理装置１における一実施例の画像処理に係る縮退関数の説明図である。図７（ａ）に示す入力ｘに対する出力ｙで示される縮退関数は、雑音パワーＰＮの絶対値以下で定まる入力値をゼロ値まで雑音除去するよう縮退関数の入力値範囲を規定するものとし、雑音パワーＰＮの絶対値を超える入力値については、上述した図４に示す空間位相位置（ｉ,ｊ）の時間パワー変動量ＰＨＬ３（ｉ,ｊ,ｔ）と、上述した図５に示す同空間位相位置（ｉ,ｊ）の時間パワーマッチング量ＭＨＬ３（ｉ,ｊ,ｔ）とで定まる帯域制限とし、時間パワー変動量の値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、更に時間パワーマッチング量の値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとする。これは、時間パワー変動量の値が大きいほど、更には時間パワーマッチング量の値が大きいほど、圧縮符号化が難しく符号化に起因する画像劣化が起こりやすいとみなしているためである。尚、β，γは任意に定められる定数である。
【００５２】
（変形例）
尚、上述した実施形態の例では、雑音パワー、時間パワー変動量及び時間パワーマッチング量を用いて縮退関数の設定を行う例を説明したが、画像処理装置１において、空間ウェーブレットパケット分解部１４、及び時間パワーマッチング量検出部１５を省略し、雑音パワー、及び時間パワー変動量を用いて縮退関数の設定を行う構成としてもよい。この変形例の縮退関数を図７（ｂ）に例示している。図７（ｂ）に示す例においても、時間パワー変動量の値が大きいほど縮退関数の傾きを小さくするものとし、これにより、比較的多くの動画像において生じる圧縮符号化が難しく符号化に起因する画像劣化が起こりやすい現象を、抑制させることができる。
【００５３】
続いて、画像処理装置１は、空間ウェーブレット縮退部１７により、空間ウェーブレットパケット分解部１１から入力されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数に対し、縮退関数設定部１６により設定された縮退関数を適用して空間ウェーブレット縮退処理を実行することより、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像（正確には各ピクチャ）における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定して、空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退処理を行う（ステップＳ６）。
【００５４】
最終的に、画像処理装置１は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレット縮退処理によって帯域制限及び雑音除去されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施し、入力動画像における各ピクチャについて同様に処理することにより、帯域制限及び雑音除去された出力動画像を生成し外部に出力する（ステップＳ７）。
【００５５】
以上のように、本実施形態の画像処理装置１は、動画像の圧縮符号化処理の前処理として利用し、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定することができるので、後段の圧縮符号化処理における画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となる。
【００５６】
（応用例）
上述した実施形態の例では、空間ウェーブレットパケット分解部１１及び空間ウェーブレットパケット分解部１４において、ｎ＝２とした２階空間ウェーブレットパケット分解で動作するときの例を主として説明したが、ｎ≧３以上とすることもできる。例えば、図８に示すように、ｎ＝３とした３階空間ウェーブレットパケット分解で動作させることもできる。図８では放送カメラで撮像された所謂８Ｋ／６０Ｐの動画像（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））を処理対象とした例である。尚、図８に示す例では、雑音パワー検出部１２は、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群のうち空間対角最高周波数帯域（本例ではｎ＝３としており、空間ＨＨ１６（ｉ,ｊ,ｔ））の成分（周波数分解係数）を基に雑音パワーを検出する。ｎ＝３とした空間方向を処理対象とする３階空間ウェーブレットパケット分解を用いる画像処理装置１では、より細かく雑音パワー、時間パワー変動量及び時間パワーマッチング量を設定した縮退関数で、動画像に対し雑音除去及び帯域制限を行うことができる。
【００５７】
以上の実施形態における画像処理装置１は、コンピューターにより構成することができ、画像処理装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、画像処理装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、画像処理装置１の各処理部の有する機能を実現させることができる。更に、画像処理装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、画像処理装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、画像処理装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。
【００５８】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、２階又は３階空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う例を説明したが、４階以上の空間ウェーブレットパケット分解に基づいた空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う処理とすることもできる。従って、本発明に係る画像処理装置１は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。
【産業上の利用可能性】
【００５９】
本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定し、後段の圧縮符号化処理における画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となるので、特に、動画像符号化を要する用途に有用である。
【符号の説明】
【００６０】
１  画像処理装置
１１  空間ウェーブレットパケット分解部
１２  雑音パワー検出部
１３  時間パワー変動量検出部
１４  空間ウェーブレットパケット分解部
１５  時間パワーマッチング量検出部
１６  縮退関数設定部
１７  空間ウェーブレット縮退部
１８  再構成部
【図１】
2020184693.tif 000003
【図２】
2020184693.tif 000004
【図３】
2020184693.tif 000005
【図４】
2020184693.tif 000006
【図５】
2020184693.tif 000007
【図６】
2020184693.tif 000008
【図７】
2020184693.tif 000009
【図８】
2020184693.tif 000010