(57)【要約】【課題】ノイズ低減に優れた画像処理装置を提供すること。【解決手段】画像処理装置は、復号化画像信号の量子化情報を検出する量子化情報検出手段と、前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減するノイズ低減処理手段と、を備える。【選択図】図１
2011193391.tif 000002
【特許請求の範囲】
【請求項１】
復号化画像信号の量子化情報を検出する量子化情報検出手段と、
前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、
前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減するノイズ低減処理手段と、
を備えた画像処理装置。
【請求項２】
前記ノイズ低減特性制御手段は、第１の情報量の前記量子化情報に基づき第１のノイズ低減効果を得るための第１のノイズ低減パラメータを設定し、前記第１の情報量より大きい第２の情報量の前記量子化情報に基づき前記第１のノイズ低減効果よりも高い第２のノイズ低減効果を得るための第２のノイズ低減パラメータを設定し、
前記ノイズ低減処理手段は、前記第１又は第２のノイズ低減パラメータに基づき前記復号化画像信号に含まれたインパルス性ノイズを低減する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ低減特性制御手段は、前記復号化画像信号に含まれたフィールド又はフレームの量子化情報の平均値に基づき前記ノイズ低減特性を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記復号化画像信号から生成される画像の暗部を検出する暗部検出手段を備え、
前記ノイズ低減特性制御手段は、前記復号化画像信号の前記量子化情報及び前記暗部検出手段による暗部検出結果に基づき前記ノイズ低減特性を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記復号化画像信号の復号化前の符号化画像信号の符号化方式を検出する符号化方式検出手段を備え、
前記ノイズ低減特性制御手段は、前記復号化画像信号の前記量子化情報及び前記符号化方式検出手段により検出された前記符号化方式に基づき前記ノイズ低減特性を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
復号化画像信号の量子化情報を検出する量子化情報検出手段と、
前記復号化画像信号から生成される画像の暗部を検出する暗部検出手段と、
前記復号化画像信号の前記量子化情報及び前記暗部検出手段により検出された暗部検出結果に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、
前記ノイズ低減特性に基づき前記復号化画像信号に含まれたノイズを低減するノイズ低減処理手段と、
を備えた画像処理装置。
【請求項７】
前記復号化画像信号の復号化前の符号化画像信号の符号化方式を検出する符号化方式検出手段を備え、
前記ノイズ低減特性制御手段は、さらに、前記符号化方式検出手段により検出された前記符号化方式に基づき前記ノイズ低減特性を制御することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
復号化画像信号の量子化情報を検出し、
前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御し、
前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に含まれたノイズを低減する画像処理技術に関する。
【背景技術】
【０００２】
近年、画像を高品質化するため、画像信号に含まれたノイズを低減する様々なノイズ低減技術が提案されている。画質の低下要因の一つとして復号化画像信号に含まれるインパルスノイズが知られており、このインパルスノイズを除去し画像を高品質化する技術が提案されている。例えば、画像信号に含まれる単独パルスを確実に検出して除去するノイズ削減回路が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１３５８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記したようなノイズ低減技術が開示されているが、例えば、ノイズ低減効果を一定にした場合、ノイズ低減効果が不足又は過剰になることがあり、いずれの場合も画像の高品質化に適当ではない。
【０００５】
本発明の目的は、ノイズ低減に優れた画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る画像処理装置は、復号化画像信号の量子化情報を検出する量子化情報検出手段と、前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減するノイズ低減処理手段と、を備える。
【０００７】
本発明の一実施形態に係る画像処理方法は、復号化画像信号の量子化情報を検出し、前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御し、前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減する
【発明の効果】
【０００８】
本発明によれば、ノイズ低減に優れた画像処理装置及び画像処理方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る動画像符号化歪低減装置の一例を示すブロック図である。
【図２】ノイズ低減処理モジュールの一例を示すブロック図である。
【図３】暗部検出モジュールにより生成される輝度ヒストグラムの一例を示す図である。
【図４】復号化動画像の特性（歪等の有無）に応じたノイズ低減処理の一例を説明するための図である。
【図５】量子化ステップに基づくノイズ低減特性の制御の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照し、本発明の実施形態について説明する。
【００１１】
図１は、本発明の一実施形態に係る動画像符号化歪低減装置（以下、画像処理装置）の一例を示すブロック図である。図１に示す画像処理装置は、例えば、デジタルＴＶ又はデジタルビデオレコーダ等に適用することができる。
【００１２】
画像処理装置は、動画像に含まれるノイズを低減し、画像を高画質化することができる。例えば、画像処理装置は、復号化モジュール１１０、符号化方式検出モジュール１２０、量子化情報検出モジュール１３０、暗部検出モジュール１４０、ノイズ低減処理制御モジュール１５０、及びノイズ低減処理モジュール１６０などを備えている。
【００１３】
復号化モジュール１１０は、ＭＰＥＧ（Moving Picture Experts Group）−２及びＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）などの複数の符号化方式に対応し、これら複数の符号化方式のうちの何れかの符号化方式により符号化された符号化動画像信号を復号し、復号化動画像信号を出力する。
【００１４】
符号化方式検出モジュール１２０は、上記した符号化動画像信号の符号化方式を検出する。つまり、符号化方式検出モジュール１２０は、ＭＰＥＧ−２又はＭＰＥＧ−４ ＡＶＣなどの符号化方式を検出し、検出した符号化方式をノイズ低減処理制御モジュール１５０へ通知する。
【００１５】
量子化情報検出モジュール１３０は、復号化動画像信号の量子化情報を検出する。例えば、量子化情報検出モジュール１３０は、復号化動画像信号により形成される画像のフィールドまたはフレームのピクチャタイプまたは量子化情報（例えば８×８画素のブロック（マクロブロック）の量子化スケールのフィールドまたはフレームの平均値）を検出し、検出したピクチャタイプ又は量子化情報をノイズ低減処理制御モジュール１５０へ通知する。例えば、ノイズ（ブロックノイズ等）を多く含む復号化動画像信号の量子化情報の情報量は、ノイズの少ない復号化動画像信号の量子化情報の情報量より多くなることが知られている。
【００１６】
暗部検出モジュール１４０は、復号化動画像信号から生成される画像の暗部を検出する。例えば、図３に示すように、暗部検出モジュール１４０は、復号化動画像信号から、１フレーム分の輝度ヒストグラムを生成し、閾値以下のヒストグラムの度数を総加算した値を暗部検出情報として出力する。例えば、ノイズ（ブロックノイズ等）を多く含む復号化動画像信号から検出される暗部は、ノイズの少ない復号化動画像信号から検出される暗部より大きくなることが知られている。
【００１７】
ノイズ低減処理制御モジュール１５０は、復号化動画像信号の量子化情報などに基づき、ノイズ低減特性（例えばノイズ低減処理ゲインを制御するノイズ低減パラメータ）を制御する。例えば、ノイズ低減処理制御モジュール１５０は、第１の情報量の量子化情報（ノイズの少ない復号化動画像信号の量子化情報）に基づき第１のノイズ低減効果を得るための第１のノイズ低減パラメータを設定し、第１の情報量より大きい第２の情報量の量子化情報（ノイズの多い復号化動画像信号の量子化情報）に基づき第１のノイズ低減効果よりも高い第２のノイズ低減効果を得るための第２のノイズ低減パラメータを設定することができる。
【００１８】
また、ノイズ低減処理制御モジュール１５０は、復号化動画像信号の量子化情報及び暗部検出モジュール１４０による暗部検出結果（暗部検出情報）に基づきノイズ低減特性を制御することもできる。さらに、ノイズ低減処理制御モジュール１５０は、復号化動画像信号の量子化情報及び符号化方式検出モジュール１２０により検出された符号化方式に基づきノイズ低減特性を制御することもできる。さらに、ノイズ低減処理制御モジュール１５０は、量子化情報、暗部検出情報、及び符号化方式に基づき、ノイズ低減特性を制御することもできる。詳細については後述する。
【００１９】
ノイズ低減処理モジュール１６０は、ノイズ低減処理制御モジュール１５０により制御されるノイズ低減特性に基づき、復号化動画像信号に含まれたノイズを低減する。例えば、ノイズ低減処理制御モジュール１５０により第１のノイズ低減パラメータが設定された場合、ノイズ低減処理モジュール１６０は、第１のノイズ低減パラメータに基づき復号化動画像信号に含まれたインパルス性ノイズを低減する。これにより、第１のノイズ低減効果が得られる。また、ノイズ低減処理制御モジュール１５０により第２のノイズ低減パラメータが設定された場合、ノイズ低減処理モジュール１６０は、第２のノイズ低減パラメータに基づき復号化動画像信号に含まれたインパルス性ノイズを低減する。これにより、第１のノイズ低減効果よりも高い第２のノイズ低減効果が得られる。
【００２０】
例えば、ノイズ低減処理モジュール１６０は、図２に示すように構成され、復号化動画像信号に含まれたインパルス性ノイズを低減する。つまり、ノイズ低減処理モジュール１６０は、フレームメモリ１６１、演算器１６２、単発パルス検出モジュール１６３、単発パルス検出モジュール１６４、演算器１６５、演算器１６６などを備える。
【００２１】
フレームメモリ１６１は、入力信号（復号化動画像信号）Ｓ１からフレーム遅延信号Ｓ２を出力する。演算器１６２は、入力信号Ｓ１からフレーム遅延信号Ｓ２を減算したフレーム差分信号Ｓ３を出力する。単発パルス検出モジュール１６３は、フレーム差分信号から単発パルスを検出し単発パルス信号Ｓ４を出力する。単発パルス検出モジュール１６４は、入力信号Ｓ１から単発パルスを検出し単発パルス信号Ｓ５を出力する。演算器１６５は、単発パルス信号Ｓ４と単発パルス信号Ｓ５に応じた係数との乗算結果Ｓ６を出力する。演算器１６６は、乗算結果Ｓ６に基づき、入力信号Ｓ１に含まれたノイズ（インパルス性ノイズ）を低減したノイズ低減信号Ｓ７を出力する。
【００２２】
ここで、図４を参照し、復号化動画像の特性（歪等の有無）に応じたノイズ低減処理の一例について説明する。図４に示すように、暗部検出モジュール１４０は、ノイズ低減処理制御モジュール１５０に対して暗部検出情報を提供する。ノイズ低減処理制御モジュール１５０の非線形処理モジュール１５１は、暗部検出情報に基づき、ノイズ低減効果（ノイズ低減パラメータ）を制御する。
【００２３】
例えば、非線形処理モジュール１５１は、暗部検出情報により暗部領域サイズが比較的小さいことが示される場合、つまり暗部領域サイズが閾値Ｔｈ１より小さい場合には、比較的ノイズ低減効果の低いノイズ低減効果Ｅ１を得るためのパラメータＰ１を設定する。また、非線形処理モジュール１５１は、暗部検出情報により暗部領域サイズが比較的大きいことが示される場合、つまり暗部領域サイズが閾値Ｔｈ２より大きい場合には、比較的ノイズ低減効果の高いノイズ低減効果Ｅ２を得るためのパラメータＰ２を設定する。また、非線形処理モジュール１５１は、暗部検出情報により暗部領域サイズが閾値Ｔｈ１から閾値Ｔｈ２の間に含まれことが示される場合には、暗部領域サイズに応じて、ノイズ低減効果Ｅ１−Ｅ２を得るためのパラメータＰ１−Ｐ２を設定する。このようにして、非線形処理モジュール１５１は、暗部検出情報に基づき非線形パラメータＰ１−Ｐ２を設定する。
【００２４】
さらに、ノイズ低減処理制御モジュール１５０は、量子化情報に基づき、非線形パラメータＰ１−Ｐ２（ノイズ低減効果Ｅ１−Ｅ２）を可変制御する。例えば、ノイズ低減処理制御モジュール１５０は、比較的情報量の少ない第１の情報量の量子化情報（ノイズの少ない復号化動画像信号の量子化情報）に基づき、ノイズ低減効果Ｅ１−Ｅ２より低いノイズ低減効果Ｅ１’−Ｅ２’を得るための非線形パラメータＰ１’−Ｐ２’を設定する。また、ノイズ低減処理制御モジュール１５０は、比較的情報量の多い第２の情報量の量子化情報（ノイズの多い復号化動画像信号の量子化情報）に基づき、ノイズ低減効果Ｅ１−Ｅ２より高いノイズ低減効果Ｅ１’’−Ｅ２’’を得るための非線形パラメータＰ１’’−Ｐ２’’を設定する。また、ノイズ低減処理制御モジュール１５０は、第１の情報量より多く第２の情報量より少ない第３の情報量の量子化情報に基づき、ノイズ低減効果Ｅ１−Ｅ２を得るための非線形パラメータＰ１−Ｐ２を設定する。
【００２５】
これにより、例えば、画像処理装置は、暗部が多いことを示す暗部検出情報に基づきノイズ低減効果を高めつつ、さらに、ブロックノイズ等が多いことを示す量子化情報（量子化情報が大きい場合）に基づき非線形特性（非線形パラメータＰ１−Ｐ２）をプラス側にオフセットさせてさらにノイズ低減効果を高めることができる。結果として、より鮮明な映像を表示させることが可能となる。
【００２６】
また、画像処理装置は、暗部が少ないことを示す暗部検出情報に基づきノイズ低減効果を下げつつ、さらに、ブロックノイズ等が少ないことを示す量子化情報（量子化情報が小さい場合）に基づき非線形特性（非線形パラメータＰ１−Ｐ２）をマイナス側にオフセットさせてさらにノイズ低減効果を下げることができる。結果として、より鮮明な映像を表示させることが可能となる。
【００２７】
例えば、復号化動画像の特性（歪等の有無等）に関係なく、一定のノイズ低減効果を得るための一定のノイズ低減パラメータで復号化画像に含まれるノイズを低減した場合には、符号化歪のある復号化動画像に対して適切なノイズ低減効果が得られないことがある。例えば、比較的高いノイズ低減効果を得るためのノイズ低減パラメータに基づき、ノイズが少ない復号化動画像に対してノイズ低減処理を適用した場合には、画質が低下してしまうことがある。また、比較的低いノイズ低減効果を得るためのノイズ低減パラメータに基づき、ノイズが多い復号化動画像に対してノイズ低減処理を適用した場合には、ノイズを十分に低減することができず、低品位な画質が得られてしまうことがある。
【００２８】
これに対して、本実施形態の画像処理装置は、復号化動画像の特性（歪等の有無等）に応じて、ノイズ低減特性（ノイズ低減パラメータ）を制御し、復号化動画像信号に含まれたノイズを低減する。つまり、本実施形態の画像処理装置は、復号化動画像の量子化情報及び暗部検出情報のうちの少なくとも一方に基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御し、このノイズ低減特性に基づいて復号化動画像信号に含まれたノイズを低減する。これにより、復号化動画像の特性に応じた適切なノイズ低減処理が可能となり、画質の向上を図ることができる。
【００２９】
さらに、本実施形態の画像処理装置は、復号化動画像信号の復号化前の符号化動画像信号の符号化方式も加えて、ノイズ低減特性（ノイズ低減パラメータ）を制御し、このノイズ低減特性に基づいて復号化動画像信号に含まれたノイズを低減することもできる。例えば、復号化モジュール１１０が、ＭＰＥＧ−４ ＡＶＣ方式の符号化動画像信号を復号化するＭＰＥＧ−４ ＡＶＣ復号化部を備え、このＭＰＥＧ−４ ＡＶＣ復号化部がブロックノイズ低減処理部を備えているとする。このようなケースでは、画像処理装置は、符号化方式がＭＰＥＧ−４ ＡＶＣ方式である場合には、低いノイズ低減効果を得るためのノイズ低減パラメータを設定し、このノイズ低減パラメータに基づき復号化動画像信号に含まれたノイズを低減することができる。或いは、画像処理装置は、符号化方式がＭＰＥＧ−４ ＡＶＣ方式である場合には、ノイズ低減効果を無効に設定するようにしてもよい。
【００３０】
例えば、画像処理装置は、量子化情報及び符号化方式に基づきノイズ低減特性を制御することができる。一例を挙げると、画像処理装置は、ブロックノイズ等が多いことを示す量子化情報（量子化情報が大きい場合）に基づき高いノイズ低減効果を得るためのノイズ低減パラメータを設定し、又はブロックノイズ等が少ないことを示す量子化情報（量子化情報が小さい場合）に基づき低いノイズ低減効果を得るためのノイズ低減パラメータを設定し、さらに所定の符号化方式の場合にこの設定したノイズ低減パラメータをさらに修正し（ノイズ低減効果を上げる又はノイズ低減効果を下げるようにノイズ低減パラメータを修正し）、修正されたノイズ低減パラメータに基づきノイズ低減特性を制御することができる。これにより、復号化動画像の特性に応じた適切なノイズ低減処理が可能となる。
【００３１】
即ち、本実施形態の画像処理装置は、量子化情報、暗部検出情報、及び符号化方式のうちの少なくとも一つの情報に基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御し、このノイズ低減特性に基づいて復号化動画像信号に含まれたノイズを低減することができる。これにより、復号化動画像の特性に応じた適切なノイズ低減処理が可能となり、画質の向上を図ることができる。
【００３２】
次に、量子化ステップに基づきノイズ低減特性を制御するケースについて説明する。ノイズ低減処理制御モジュール１５０は、例えば、図５に示すようにノイズ低減特性を制御する。図５（Ａ）は、ノイズ低減処理制御モジュール１５０によるリンギング歪低減特性制御の一例を示し、図５（Ｂ）は、ノイズ低減処理制御モジュール１５０によるブロック歪低減特性制御の一例を示す図である。
【００３３】
量子化ステップが大きくなると、符号化歪は発生しやすい。例えば、復号化動画像に含まれるオブジェクトの動きが大きいときにブロック歪が発生しやすい。このため、図５（Ｂ）に示すように、ノイズ低減処理制御モジュール１５０は、量子化ステップが大きいときに、高いブロックノイズ低減効果を得るためのブロックノイズ低減パラメータを設定し、ブロックノイズ低減効果を高くすることができる。また、ノイズ低減処理制御モジュール１５０は、量子化ステップが大きく、且つ復号化動画像に含まれるオブジェクトの動き量が大きいときに、より高いブロックノイズ低減効果を得るためのブロックノイズ低減パラメータを設定することにより、より効果的に、ブロックノイズ低減効果を高くすることができる。
【００３４】
また、リンギング歪は、量子化ステップが大きくなると発生しやすい。このため、図５（Ａ）に示すように、量子化ステップが大きく、復号化動画像に含まれるオブジェクトの動き量が小さいときほど、ノイズ低減処理制御モジュール１５０は、高いリンギングノイズ低減効果を得るためのリンギングノイズ低減パラメータを設定し、リンギングノイズ低減効果を高くすることができる。
【００３５】
上記したように、本実施形態の画像処理装置は、ブロック歪とリンギング歪をそれぞれ適切に低減することができ、画像のぼかし過ぎを防止することができる。
【００３６】
次に、ピクチャタイプに基づきノイズ低減特性を制御するケースについて説明する。例えば、量子化情報検出モジュール１３０が、Ｉピクチャ（Intra picture）、Ｐピクチャ（Predictive picture）、Ｂピクチャ（Bi-directional predictive picture）等のピクチャタイプを検出し、検出したピクチャタイプをノイズ低減処理制御モジュール１５０へ通知する。ノイズ低減処理制御モジュール１５０は、ピクチャタイプに基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御する。Ｉピクチャ（Intra picture）、Ｐピクチャ（Predictive picture）、Ｂピクチャ（Bi-directional predictive picture）等のピクチャタイプにより、量子化ステップが異なるため、ピクチャタイプに基づくノイズ低減特性の制御により、復号化動画像の特性に応じた効果的なノイズ低減処理を実現することができる。
【００３７】
すなわち、本実施形態の画像処理装置は、量子化情報、暗部検出情報、符号化方式、量子化ステップ、オブジェクトの動き、及びピクチャタイプのうちの少なくとも一つの情報に基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御し、これにより、効果的なノイズ低減処理を実行することができる。即ち、本実施形態の画像処理装置は、復号化動画像の特性（歪等の有無）に応じた効果的なノイズ低減処理を実行することができる。
【００３８】
なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。
【００３９】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００４０】
１１０…復号化モジュール、１２０…符号化方式検出モジュール、１３０…量子化情報検出モジュール、１４０…暗部検出モジュール、１５０…ノイズ低減処理制御モジュール、１６０…ノイズ低減処理モジュール
【図１】
2011193391.tif 000003
【図２】
2011193391.tif 000004
【図３】
2011193391.tif 000005
【図４】
2011193391.tif 000006
【図５】
2011193391.tif 000007