(57)【要約】【課題】映像に脈動として発生するノイズを低減する。【解決手段】画像処理装置は、入力映像信号に対する３次元ノイズリダクション処理を行う３次元ノイズリダクション処理手段（１２０）と、入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する脈動検出手段（１１０）と、入力映像信号のうち脈動現象が検出された脈動部分に対する３次元ノイズリダクション処理の強度が、入力映像信号のうち脈動部分を除く非脈動部分に対する３次元ノイズリダクション処理の強度よりも高くなるように、３次元ノイズリダクション処理手段を制御する制御手段（１３０）とを備える。【選択図】図１
2009296124.tif 000002
【特許請求の範囲】
【請求項１】
送信側で符号化された画像データが受信側に伝送され、該受信側で復号化されてなる入力映像信号に対して画像処理を行う画像処理装置であって、
前記画像処理として３次元ノイズリダクション処理を行う３次元ノイズリダクション処理手段と、
前記入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する脈動検出手段と、
前記入力映像信号のうち前記脈動現象が検出された脈動部分に対する前記３次元ノイズリダクション処理の強度が、前記入力映像信号のうち前記脈動部分を除く非脈動部分に対する前記３次元ノイズリダクション処理の強度よりも高くなるように、前記３次元ノイズリダクション処理手段を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記脈動検出手段は、
前記入力映像信号における時間が互いに異なる２つのフレーム又はフィールド間の差分信号が、所定閾値より大きいか否かを検出する差分検出手段と、
前記差分信号に基づいて動きベクトルを検出する動きベクトル検出手段と、
前記差分検出手段によって前記差分信号が前記所定閾値より大きいことが検出され、且つ、前記動きベクトル検出手段によって検出された前記動きベクトルの大きさが所定の大きさより小さい場合には、前記脈動現象が発生していると判定する脈動判定手段と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記差分信号の信号レベル及び前記動きベクトルの大きさの少なくとも一方に基づいて、前記脈動部分に対する前記３次元ノイズリダクション処理の強度を決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御手段は、
前記符号化された画像データを復号化して前記入力映像信号として出力すると共に前記符号化に係る符号化情報を出力する復号化手段と接続されており、
前記符号化情報に基づいて、前記脈動部分に対する前記３次元ノイズリダクション処理の強度を決定する
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記脈動検出手段は、
前記符号化された画像データを復号化して前記入力映像信号として出力すると共に前記符号化に係る符号化情報を出力する復号化手段と接続されており、
前記符号化情報に基づいて、前記脈動現象を検出する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記入力映像信号に対して２次元ノイズリダクション処理を行う２次元ノイズリダクション処理手段を更に備え、
前記制御手段は、前記脈動部分に対する前記２次元ノイズリダクション処理の強度が、前記非脈動部分に対する前記２次元ノイズリダクション処理の強度よりも低くなるように、前記２次元ノイズリダクション処理手段を制御する
ことを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
送信側で符号化された画像データが受信側に伝送され、該受信側で復号化されてなる入力映像信号に対して画像処理を行う画像処理方法であって、
前記画像処理として３次元ノイズリダクション処理を行う３次元ノイズリダクション処理工程と、
前記入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する脈動検出工程と、
前記入力映像信号のうち前記脈動現象が検出された脈動部分に対する前記３次元ノイズリダクション処理の強度が、前記入力映像信号のうち前記脈動部分を除く非脈動部分に対する前記３次元ノイズリダクション処理の強度よりも高くなるように、前記３次元ノイズリダクション処理手段を制御する制御工程と
を備えることを特徴とする画像処理方法。
【請求項８】
請求項１から６のいずれか一項に記載の画像処理装置と、
前記符号化された画像データを復号化して前記入力映像信号として出力する復号化手段と
を備えることを特徴とする復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のノイズを低減する画像処理装置及び方法、並びに復号化装置の技術分野に関する。
【背景技術】
【０００２】
この種の画像処理装置として、例えばデジタル放送受信機内に設けられ、画像或いは映像のノイズを低減するための処理として、２次元ノイズリダクション処理や３次元ノイズリダクション処理を行うものが知られている（例えば特許文献１参照）。
【０００３】
２次元ノイズリダクション処理は、一のフレームの映像信号を用いて、該一のフレームに含まれるノイズを除去する処理であり、３次元ノイズリダクション処理は、連続する複数フレーム（またはフィールド）の映像信号の内容を比較して、抽出された差分信号をノイズとして認識し、除去する処理である。
【０００４】
他方、映像信号の符号化方式としてＭＰＥＧ（Moving Picture Experts Group）−２方式やＨ．２６４方式が知られている。これらの符号化方式では、画像データは、フレーム毎に、Ｉピクチャ（フレーム内符号化画像：Intra-Picture）、Ｐピクチャ（フレーム間順方向予測符号化画像：Predictive-Picture）及びＢピクチャ（双方向予測符号化画像：Bidirectionally predictive-Picture）のうちのいずれかのデータに符号化される。更に、画像データは、ＧＯＰ（Group of Picture）という単位で構成される。ＧＯＰは、例えばＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢのように、Ｉピクチャを先頭にしてＰピクチャ及びＢピクチャで構成される。
【０００５】
このような符号化方式では、符号化に伴って、映像に映っている物体が、本来は静止しているにもかかわらず、その輪郭部が変形したり、その輝度が変化したりしてしまう場合がある。このような変形や変化は、フレーム内符号化画像であるＩピクチャから予測符号化画像であるＰピクチャやＢピクチャに伝播するので、結果的には、Ｉピクチャの周期（言い換えれば、ＧＯＰに対応する周期）で、映像に映っている物体が脈動しているように視認されてしまう。即ち、このような符号化方式では、映像に映っている物体がＧＯＰに対応する周期で脈動する脈動現象或いは脈動ノイズ（以下では、この脈動現象或いは脈動ノイズを単に「脈動」とも呼ぶ）が発生してしまうおそれがある。尚、このような脈動は、「ブリージング」と呼ばれることもある（例えば特許文献２参照）。
【０００６】
そこで、例えば特許文献２では、劣化レベルが低いフレームの画像を、劣化レベルの大きいフレームの画像と同じ程度にまで、意図的に劣化させることにより、ブリージング（即ち、脈動）を低減する技術が開示されている。また、例えば特許文献３では、フレーム間の滑らかな視覚的移行を達成するようＧＯＰにおける一組のフレームを意図的にぼやけさせる技術が開示されている。
【０００７】
【特許文献１】特開２００５−１５０９０３号公報
【特許文献２】特表２００２−５１４０２３号公報
【特許文献３】特開２００５−５２８８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した特許文献２や３に開示された技術によれば、映像における脈動を低減するために、画質劣化の小さいフレームの画質を意図的に劣化させるので、映像全体の総合的な画質が低下してしまうおそれがあるという技術的問題点がある。
【０００９】
本発明は、例えば上述した問題点に鑑みなされたものであり、映像に脈動として発生するノイズを低減可能な画像処理装置及び方法、並びにそのような画像処理装置を備える復号化装置を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１に記載の画像処理装置は、送信側で符号化された画像データが受信側に伝送され、該受信側で復号化されてなる入力映像信号に対して画像処理を行う画像処理装置であって、前記画像処理として３次元ノイズリダクション処理を行う３次元ノイズリダクション処理手段と、前記入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する脈動検出手段と、前記入力映像信号のうち前記脈動現象が検出された脈動部分に対する前記３次元ノイズリダクション処理の強度が、前記入力映像信号のうち前記脈動部分を除く非脈動部分に対する前記３次元ノイズリダクション処理の強度よりも高くなるように、前記３次元ノイズリダクション処理手段を制御する制御手段とを備える。
【００１１】
上記課題を解決するために、請求項７に記載の画像処理方法は、送信側で符号化された画像データが受信側に伝送され、該受信側で復号化されてなる入力映像信号に対して画像処理を行う画像処理方法であって、前記画像処理として３次元ノイズリダクション処理を行う３次元ノイズリダクション処理工程と、前記入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する脈動検出工程と、前記入力映像信号のうち前記脈動現象が検出された脈動部分に対する前記３次元ノイズリダクション処理の強度が、前記入力映像信号のうち前記脈動部分を除く非脈動部分に対する前記３次元ノイズリダクション処理の強度よりも高くなるように、前記３次元ノイズリダクション処理手段を制御する制御工程とを備える。
【００１２】
上記課題を解決するために、請求項８に記載の復号化装置は、請求項１から６のいずれか一項に記載の画像処理装置と、前記符号化された画像データを復号化して前記入力映像信号として出力する復号化手段とを備える。
【００１３】
本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされる。
【発明を実施するための最良の形態】
【００１４】
以下、発明を実施するための最良の形態としての本発明の実施形態に係る画像処理装置及び方法、並びに復号化装置について順に説明する。
【００１５】
（画像処理装置の実施形態）
本発明の画像処理装置に係る実施形態は、送信側で符号化された画像データが受信側に伝送され、該受信側で復号化されてなる入力映像信号に対して画像処理を行う画像処理装置であって、前記画像処理として３次元ノイズリダクション処理を行う３次元ノイズリダクション処理手段と、前記入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する脈動検出手段と、前記入力映像信号のうち前記脈動現象が検出された脈動部分に対する前記３次元ノイズリダクション処理の強度が、前記入力映像信号のうち前記脈動部分を除く非脈動部分に対する前記３次元ノイズリダクション処理の強度よりも高くなるように、前記３次元ノイズリダクション処理手段を制御する制御手段とを備える。
【００１６】
本発明の画像処理装置に係る実施形態によれば、その動作時には、制御手段による制御下で、入力映像信号に対して３次元ノイズリダクション処理が３次元ノイズリダクション手段によって行われる。
【００１７】
入力映像信号は、送信側で例えばＭＰＥＧ−２方式、Ｈ．２６４方式等の符号化方式で符号化された画像データが伝送路を介して受信側に伝送され、該伝送された画像データが受信側で復号化された信号である。
【００１８】
３次元ノイズリダクション処理は、１フレーム（或いは１フィールド）前の映像信号と現在の入力フレーム（或いは入力フィールド）の映像信号とを減算することによりフレーム間（或いはフィールド間）の差分を生成し、この差分を用いて、現在の入力フレーム（或いは入力フィールド）に含まれるノイズを除去する処理である。より具体的には、３次元ノイズリダクション処理は、１フレーム前の映像信号と現在の入力フレームの映像信号とを減算してフレーム間の差分を取り、このフレーム間の差分に一定の係数を掛けたり、或いは、このフレーム間の差分から特定の周波数帯域を抽出したりしたものを現在の入力フレームの映像信号に加減算することにより、映像信号に含まれるノイズを除去する処理である。
【００１９】
本実施形態では、脈動検出手段によって入力映像信号に対応する映像における脈動現象が検出される。本発明に係る「脈動現象」とは、映像に映っている物体が、位置的には殆ど或いは完全に静止しており、且つ、本来は変化しない該物体の形状或いは輝度レベルが周期的に変化する現象を意味し、画像データが例えばＭＰＥＧ−２方式、Ｈ．２６４方式等の動き補償を伴う符号化方式で符号化されることによって発生し得る。脈動現象は、典型的には、本来は動いていない物体があたかも脈が打っているように視認される、物体の輪郭部に、ＧＯＰに対応する周期（即ち、ＧＯＰ周期）で発生するノイズである。
【００２０】
本実施形態では特に、制御手段は、入力映像信号のうち脈動部分に対する３次元ノイズリダクション処理の強度が、入力映像信号のうち非脈動部分に対する３次元ノイズリダクション処理の強度よりも高くなるように、３次元ノイズリダクション処理手段を制御する。よって、入力映像信号のうち脈動部分に対しては、入力映像信号のうち非脈動部分に対してよりも高い強度で３次元ノイズリダクション処理が行われる。従って、脈動部分に対応する映像を確実に時間的に平滑化することができるので、映像における脈動現象を確実に低減することができる。更に、非脈動部分に対しては、脈動部分よりも弱い強度で３次元ノイズリダクション処理が行われるので、３次元ノイズリダクション処理を不要に高い強度で行いすぎることによる映像への悪影響（即ち、画質の劣化）は殆ど或いは実践上は全く生じない。
【００２１】
以上説明したように、本実施形態によれば、映像に脈動として発生するノイズを低減することができる。
【００２２】
本発明の画像処理装置に係る実施形態の一の態様では、前記脈動検出手段は、前記入力映像信号における時間が互いに異なる２つのフレーム又はフィールド間の差分信号が、所定閾値より大きいか否かを検出する差分検出手段と、前記差分信号に基づいて動きベクトルを検出する動きベクトル検出手段と、前記差分検出手段によって前記差分信号が前記所定閾値より大きいことが検出され、且つ、前記動きベクトル検出手段によって検出された前記動きベクトルの大きさが所定の大きさより小さい場合には、前記脈動現象が発生していると判定する脈動判定手段とを有する。
【００２３】
この態様によれば、脈動現象を好適に検出することができる。即ち、差分信号が所定閾値より大きいことが検出され、且つ、動きベクトルの大きさが所定の大きさより小さい場合には、脈動現象が発生していると脈動判定手段によって判定されるので、映像に映っている物体の位置が殆ど或いは完全に静止しており（即ち、殆ど或いは全く動いておらず）、且つ、該物体の形状或いは輝度レベルが周期的に変化する脈動現象を高精度で検出することが可能となる。
【００２４】
上述した脈動検出手段が差分検出手段、動きベクトル検出手段及び脈動判定手段を有する態様では、前記制御手段は、前記差分信号の信号レベル及び前記動きベクトルの大きさの少なくとも一方に基づいて、前記脈動部分に対する前記３次元ノイズリダクション処理の強度を決定してもよい。
【００２５】
この場合には、制御手段は、差分信号の信号レベル及び動きベクトルの大きさの少なくとも一方に基づいて、脈動部分に対する３次元ノイズリダクション処理の強度を決定する。よって、脈動現象の度合い（即ち、脈動レベル）に応じて３次元ノイズリダクション処理の強度を決定することができる。つまり、差分信号の信号レベル及び動きベクトルの大きさの少なくとも一方に基づいて推定される脈動レベルに応じて、３次元ノイズリダクション処理の強度を決定することができる。従って、映像に脈動として発生するノイズを効果的に低減することができる。
【００２６】
本発明の画像処理装置に係る実施形態の他の態様では、前記制御手段は、前記符号化された画像データを復号化して前記入力映像信号として出力すると共に前記符号化に係る符号化情報を出力する復号化手段と接続されており、前記符号化情報に基づいて、前記脈動部分に対する前記３次元ノイズリダクション処理の強度を決定する。
【００２７】
この態様によれば、例えば、符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４，ＶＣ−１等）、平均ビットレート、量子化ステップ、ループフィルタ係数、ＧＯＰ周期、ピクチャーモード等の符号化情報に基づいて、脈動部分に対する３次元ノイズリダクション処理の強度を決定する。よって、脈動現象が発生する可能性や脈動現象の度合いに応じて３次元ノイズリダクション処理の強度を決定することができる。従って、映像に脈動として発生するノイズを効果的に低減することができる。
【００２８】
本発明の画像処理装置に係る実施形態の他の態様では、前記脈動検出手段は、前記符号化された画像データを復号化して前記入力映像信号として出力すると共に前記符号化に係る符号化情報を出力する復号化手段と接続されており、前記符号化情報に基づいて、前記脈動現象を検出する。
【００２９】
この態様によれば、例えば、ＧＯＰ周期、ピクチャーモード、画面内予測符号化での予測モード等の符号化情報に基づいて、脈動現象を検出する。よって、脈動現象を高精度に検出することができる、言い換えれば、入力映像信号における脈動部分と非脈動部分とを高精度に区別することができる。従って、脈動部分に対して、より確実に、高い強度で３次元ノイズリダクション処理を行うと共に、非脈動部分に対して、より確実に、低い強度で３次元ノイズリダクション処理を行うことが可能となる。
【００３０】
本発明の画像処理装置に係る実施形態の他の態様では、前記入力映像信号に対して２次元ノイズリダクション処理を行う２次元ノイズリダクション処理手段を更に備え、前記制御手段は、前記脈動部分に対する前記２次元ノイズリダクション処理の強度が、前記非脈動部分に対する前記２次元ノイズリダクション処理の強度よりも低くなるように、前記２次元ノイズリダクション処理手段を制御する。
【００３１】
この態様によれば、入力映像信号のうち脈動部分に対しては２次元ノイズリダクション処理よりも高い強度で３次元ノイズリダクション処理が行われるので、従って、映像に脈動として発生するノイズをより効果的に低減することができる。
【００３２】
（画像処理方法の実施形態）
本発明の画像処理方法に係る実施形態は、送信側で符号化された画像データが受信側に伝送され、該受信側で復号化されてなる入力映像信号に対して画像処理を行う画像処理方法であって、前記画像処理として３次元ノイズリダクション処理を行う３次元ノイズリダクション処理工程と、前記入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する脈動検出工程と、前記入力映像信号のうち前記脈動現象が検出された脈動部分に対する前記３次元ノイズリダクション処理の強度が、前記入力映像信号のうち前記脈動部分を除く非脈動部分に対する前記３次元ノイズリダクション処理の強度よりも高くなるように、前記３次元ノイズリダクション処理手段を制御する制御工程とを備える。
【００３３】
本発明の画像処理方法に係る実施形態によれば、上述した本発明の画像処理装置に係る実施形態が享受する利益と同様の利益を享受することができる。
【００３４】
尚、上述した本発明の画像処理装置に係る実施形態における各種態様に対応して、本発明の画像処理方法に係る実施形態も各種態様を採ることが可能である。
【００３５】
（復号化装置の実施形態）
本発明の復号化装置に係る実施形態は、上述した本発明の画像処理装置に係る実施形態（但し、各種態様を含む）と、前記符号化された画像データを復号化して前記入力映像信号として出力する復号化手段とを備える。
【００３６】
本発明の復号化装置に係る実施形態によれば、上述した本発明の画像処理装置に係る実施形態が享受する利益と同様の利益を享受することができる。
【００３７】
本発明の実施形態の作用及び他の利得は次に説明する実施例から明らかにされる。
【００３８】
以上説明したように、本発明の画像処理装置に係る実施形態によれば、３次元ノイズリダクション処理手段と、脈動検出手段と、制御手段とを備える。本発明の画像処理方法に係る実施形態によれば、３次元ノイズリダクション処理工程と、脈動検出工程と、制御工程とを備える。本発明の復号化装置に係る実施形態によれば、上述した本発明の画像処理装置に係る実施形態と、復号化手段とを備える。よって、映像に脈動として発生するノイズを低減することができる。
【実施例】
【００３９】
以下、本発明の実施例を図面に基づいて説明する。
【００４０】
＜第１実施例＞
第１実施例に係る画像処理装置について、図１から図１０を参照して説明する。尚、本実施例では、本発明に係る画像処理装置が、デジタル放送の受信側に設けられた場合を例として説明する。
【００４１】
図１は、第１実施例に係る画像処理装置の構成を示すブロック図である。
【００４２】
図１において、本実施例に係る画像処理装置１００は、脈動検出部１１０と、３次元ノイズリダクション処理部１２０と、制御部１３０とを備えている。
【００４３】
画像処理装置１００は、外部（即ち、図２を参照して後述する復号器８１０）から入力される入力映像信号に対して、後述するように３次元ノイズリダクション処理を行って、出力映像信号として出力する。尚、画像処理装置１００は、入力映像信号に対して、３次元ノイズリダクション処理に加えて、２次元ノイズリダクション処理等の他の画像処理を行うように構成されてもよい。
【００４４】
図２は、本実施例に係る画像処理装置を備えたデジタル放送システムの構成を示すブロック図である。
【００４５】
図２において、デジタル放送システムの送信側には、符号器９１０及び変調器９２０が設けられており、デジタル放送システムの受信側には、復号器８１０、復調器８２０、画像処理装置１００及び表示装置８５０が設けられている。
【００４６】
デジタル放送システムの送信側において、受信側に送信すべき画像データが符号器９１０によって例えばＭＰＥＧ−２方式、Ｈ．２６４方式等の動き補償を伴う符号化方式で符号化される。符号化された画像データは、変調器９２０によって変調され、所定範囲内のビットレートで伝送路７００を介して受信側に伝送される。
【００４７】
デジタル放送システムの受信側では、送信側から伝送路７００を介して伝送された画像データが復調器８２０によって復調された後に復号器８１０によって復号化されて画像処理装置１００に入力映像信号として入力される。画像処理装置１００は、入力映像信号に対して画像処理を行って出力映像信号として表示装置８５０に出力する。表示装置８５０は、画像処理装置１００からの出力映像信号に基づいて映像を表示する。尚、画像処理装置１００は、復号器８１０と共に、本発明に係る「復号化装置」の一例を構成する。
【００４８】
このように、画像処理装置１００に入力される入力映像信号は、送信側で例えばＭＰＥＧ−２方式、Ｈ．２６４方式等の動き補償を伴う符号化方式で符号化された画像データが伝送路７００を介して受信側に伝送され、この伝送された画像データが受信側で復号器８１０によって復号化された信号である。このため、入力映像信号には、脈動現象が発生する脈動部分が含まれているおそれがある。即ち、入力映像信号に対応する映像に脈動現象（即ち、映像に映っている物体が、位置的には殆ど或いは完全に静止しており、且つ、本来は変化しない該物体の形状或いは輝度レベルが、例えばＧＯＰ周期などで周期的に変化する現象）が発生してしまうおそれがある。脈動現象は、上述したように、例えばＭＰＥＧ−２方式、Ｈ．２６４方式等の符号化方式で画像データが符号化されることに伴って発生する。更に、符号化された画像データは、送信側から伝送路７００を介して受信側へ所定範囲内のビットレートで伝送される必要があるため、ビット量を所定範囲内に抑えるために画像の高周波帯域成分が失われるおそれがある。このように高周波帯域成分が失われると、画像データに対応する映像に映っている物体の輪郭部が変形したり、輝度が変化してしまいやすくなるので、結果的には、脈動現象が視認されやすくなってしまう。
【００４９】
再び図１において、脈動検出部１１０は、入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する。脈動検出部１１０は、脈動現象が検出されたか否かを示す情報である脈動フラグを制御部１３０に出力する。脈動検出部１１０は、脈動現象を検出した場合には、脈動フラグをオン状態として（言い換えれば、脈動フラグを立てて）制御部１３０に出力し、一方、脈動現象を検出しなかった場合には、脈動フラグをオフ状態として（言い換えれば、脈動フラグを立てないで）制御部１３０に出力する。
【００５０】
図３は、本実施例に係る脈動検出部の構成を示すブロック図である。
【００５１】
図３において、脈動検出部１１０は、動き検出部１１１と、動きベクトル検出部１１２と、脈動判定部１１３と、フレームメモリ１１４とを有している。尚、動き検出部１１１は、本発明に係る「差分検出手段」の一例である。
【００５２】
入力映像信号は、フレームメモリ１１４、動き検出部１１１及び動きベクトル検出部１１２に入力される。
【００５３】
フレームメモリ１１４は、１フレーム分の入力映像信号を保持することが可能に構成されている。フレームメモリ１１４は、入力映像信号を１フレーム分だけ遅延させて動き検出部１１１及び動きベクトル検出部１１２に出力する。
【００５４】
動き検出部１１１は、入力映像信号と、フレームメモリ１１４から入力される１フレーム分だけ遅延した入力映像信号との輝度信号の差分である差分信号の絶対値（即ち、差分絶対値）を計算する。動き検出部１１１は、計算した差分絶対値が所定閾値より大きいか否かを示す情報である差分フラグを脈動判定部１１３に出力する。動き検出部１１１は、計算した差分絶対値が所定閾値より大きい場合には、差分フラグをオン状態として（言い換えれば、差分フラグを立てて）脈動判定部１１３に出力し、一方、計算した差分絶対値が所定閾値より大きくない場合には、脈動フラグをオフ状態として（言い換えれば、差分フラグを立てないで）脈動判定部１１３に出力する。
【００５５】
図４は、本実施例に係る動き検出部の構成を示すブロック図である。
【００５６】
図４に示すように、動き検出部１１１は、差分絶対値処理部１１１１と、閾値処理部１１１２とを有している。
【００５７】
差分絶対値処理部１１１１は、入力映像信号と、フレームメモリ１１４から入力される１フレーム分だけ遅延した入力映像信号とから差分絶対値を計算する。差分絶対値処理部１１１１は、計算した差分絶対値を閾値処理部１１１２に出力する。
【００５８】
閾値処理部１１１２は、差分絶対値処理部１１１１から入力される差分絶対値と、所定閾値とを比較して、その比較結果を差分フラグとして脈動判定部１１３に出力する。所定閾値は、例えば、ゼロに設定してもよいし、脈動現象として検出すべき輝度レベルの変化の大きさに応じた値に設定してもよい。また、入力映像信号の一部について差分フラグがオン状態であることは、該一部に対応する映像に、「ランダムノイズ」、「動き」及び「脈動現象」の少なくとも一つが存在していることを意味する。
【００５９】
再び図３において、動きベクトル検出部１１２は、入力映像信号と、フレームメモリ１１４から入力される１フレーム分だけ遅延した入力映像信号とに基づいて、ブロックマッチング法によって動きベクトルを検出する。尚、動きベクトル検出部１１２が動きベクトルを検出する方法としては、勾配法など他の方法が用いられてもよい。
【００６０】
動きベクトル検出部１１２は、検出した動きベクトルの大きさがゼロであるか否かを示す情報である動きベクトルフラグを脈動判定部１１３に出力する。動きベクトルの大きさがゼロである場合には、動きベクトル検出部１１２は、動きベクトルフラグをオン状態として（言い換えれば、動きベクトルフラグを立てて）脈動判定部１１３に出力する。一方、検出した動きベクトルの大きさがゼロでない場合には、動きベクトル検出部１１２は、動きベクトルフラグをオフ状態として（言い換えれば、動きベクトルフラグを立てないで）脈動判定部１１３に出力する。
【００６１】
尚、動きベクトル検出部１１２を、動きベクトルの大きさが所定の大きさより小さい場合には、動きベクトルフラグをオン状態として脈動判定部１１３に出力すると共に、検出した動きベクトルの大きさが所定の大きさ以上である場合には、動きベクトルフラグをオフ状態として脈動判定部１１３に出力するように構成してもよい。
【００６２】
図５は、本実施例に係る動きベクトル検出部の構成を示すブロック図である。
【００６３】
図５に示すように、動きベクトル検出部１１２は、相関検出部１１２１と、相関判定部１１２２とを有している。
【００６４】
相関検出部１１２１は、入力映像信号と、フレームメモリ１１４から入力される１フレーム分だけ遅延した入力映像信号とに基づいて、現在のフレームの各ブロックに対応する入力映信号について、１フレーム前の各ブロックに対応する映像信号との差分絶対値を計算し、それらの差分絶対値のうち最小の差分絶対値を与える１フレーム前のブロックの位置などを示す相関情報を検出する（即ち、ブロックを単位として動きベクトルの探索を行うことにより動きベクトルを検出することで、該動きベクトルに関する情報である相関情報を検出する）。相関検出部１１２１は、最小の差分絶対値を差分レベルとして相関判定部１１２２に出力すると共に、検出した相関情報を相関判定部１１２２に出力する。
【００６５】
相関判定部１１２２は、相関情報に基づいて、最小の差分絶対値を与える１フレーム前のブロックの位置と、対応する現在のフレームにおけるブロックの位置との間のずれが所定の範囲内であるか否かを判定すると共に、差分レベルが所定の閾値以下であるか否かを判定することで、動きベクトルの大きさがゼロであるか否かを判定する。相関判定部１１２２は、最小の差分絶対値を与える１フレーム前のブロックの位置と、対応する現在のフレームにおけるブロックの位置との間のずれが所定の範囲内であって、且つ、差分レベルが所定の閾値以下であると判定した場合には、動きベクトルフラグをオフ状態として脈動判定部１１３に出力する。
【００６６】
図６は、本実施例に係る動きベクトル検出部による動きベクトルの検出の一例を示す概念図である。
【００６７】
図６では、物体Ｃ１が映っている映像について、現在のフレームの画像（図６中で右側）と、１フレーム前のフレームの画像（図６中で左側）を示している。尚、動きベクトル検出部１１２による動きベクトルの検出では、各フレームは、ｍ×ｎ個のブロックに分割され、該ブロックを単位として動きベクトルの探索が行われる。
【００６８】
図６に示すように、１フレーム前のフレームの画像と現在のフレームの画像との間で、物体Ｃ１の形状が変化せずに、物体Ｃ１の位置が変化している場合（即ち、物体Ｃ１の輪郭部が変形せずに、物体Ｃ１が移動している場合、言い換えれば、脈動現象が発生していない場合）には、動きベクトル検出部１１２によって検出される動きベクトルの一例である動きベクトルＶ１の大きさはゼロではない。よって、この場合には、動きベクトル検出部１１２は、動きベクトルフラグをオフ状態として脈動判定部１１３に出力する。
【００６９】
図７は、本実施例に係る動きベクトル検出部による動きベクトルの検出の他の例を示す概念図である。
【００７０】
図７では、物体Ｃ２が映っている映像について、現在のフレームの画像（図７中で右側）と、１フレーム前のフレームの画像（図７中で左側）を示している。
【００７１】
図７に示すように、１フレーム前のフレームの画像と現在のフレームの画像との間で、物体Ｃ２の形状或いは輝度レベルが僅かに変化し、物体Ｃ２の位置が変化してない場合（即ち、物体Ｃ２の輪郭部が僅かに変形し、物体Ｃ２が移動していない場合、言い換えれば、脈動現象が発生している可能性がある場合）には、動きベクトル検出部１１２によって検出される動きベクトルの一例である動きベクトルＶ２の大きさはゼロである。よって、この場合には、動きベクトル検出部１１２は、動きベクトルフラグをオン状態として脈動判定部１１３に出力する。
【００７２】
再び図３において、脈動判定部１１３は、動き検出部１１１から入力される差分フラグと、動きベクトル検出部１１２から入力される動きベクトルフラグとに基づいて、映像に脈動現象が発生しているか否か（つまり、入力映像信号のうち現在入力されている部分が脈動部分であるか否か）を判定し、その判定結果を脈動フラグとして制御部１３０に出力する。
【００７３】
より具体的には、差分フラグ及び動きベクトルフラグの両方がオン状態である場合には、脈動判定部１１３は、映像に脈動現象が発生していると判定し、脈動フラグをオン状態として制御部１３０に出力する。一方、差分フラグ及び動きベクトルフラグの少なくとも一方がオフ状態である場合には、脈動判定部１１３は、映像に脈動現象が発生していないと判定し、脈動フラグをオフ状態として制御部１３０に出力する。
【００７４】
このように、脈動検出部１１０は、入力映像信号に対応する映像における脈動現象を検出し（言い換えれば、入力映像信号における脈動部分及び非脈動部分を検出し）、その検出結果を脈動フラグとして制御部１３０に出力する。
【００７５】
本実施例では特に、上述したように、脈動検出部１１０は、差分フラグ及び動きベクトルフラグとに基づいて、映像に脈動現象が発生しているか否かを判定する脈動判定部１１３を有しているので、脈動現象を高精度で検出することができる。
【００７６】
再び図１において、３次元ノイズリダクション処理部１２０は、制御部１３０による制御下で、入力映像信号に対して３次元ノイズリダクション処理を行って、この３次元ノイズリダクション処理が行われた入力映像信号を出力映像信号として出力する。尚、図２を参照して上述したように、出力映像信号は表示装置８５０に入力される。
【００７７】
図８は、本実施例に係る３次元ノイズリダクション処理部の構成を、本実施例に係る制御部と共に示すブロック図である。
【００７８】
図８において、３次元ノイズリダクション処理部１２０は、減算器１２１と、加算器１２２と、フレームメモリ１２３と、非線形処理部１２４と、乗算器１２５とを備えている。
【００７９】
入力映像信号は、減算器１２１及び加算器１２２に入力される。
【００８０】
減算器１２１は、入力映像信号と、フレームメモリ１２３によって１フレーム分だけ遅延された出力映像信号とを減算することにより差分信号Ｎ１を生成し、その差分信号Ｎ１を非線形処理部１２４に出力する。
【００８１】
非線形処理部１２４は、減算器１２１から出力された差分信号Ｎ１のうち、係数βによって規定される信号レベルの成分だけを通過させて乗算器１２５に信号Ｎ２として出力する。尚、係数βは、制御部１３０によって制御される。
【００８２】
乗算器１２５は、非線形処理部１２４から出力された信号Ｎ２に係数αを乗算して加算器１２２に出力する。尚、係数αは、制御部１３０によって制御される。
【００８３】
加算器１２２は、入力映像信号と乗算器１２５から出力される信号とを加算して、出力映像信号として出力する。
【００８４】
このように構成された３次元ノイズリダクション処理部１２０は、１フレーム前の入力映像信号と現在のフレームの入力映像信号とを減算器１２１によって減算することによりフレーム間の差分信号Ｎ１を生成し、この差分信号Ｎ１から係数βによって規定される信号レベルの成分を抽出した信号Ｎ２に係数αを掛けたものを現在のフレームの入力映像信号に加算することにより、入力映像信号に含まれるノイズを除去する３次元ノイズリダクション処理を行う。
【００８５】
図１及び図８において、制御部１３０は、脈動検出部１１０から出力される脈動フラグに応じて、３次元ノイズリダクション処理部１２０（より具体的には、３次元ノイズリダクション処理部１２０の乗算器１２５における係数α、及び３次元ノイズリダクション処理部１２０の非線形処理部１２４における係数β）を制御する。
【００８６】
本実施例では特に、制御部１３０は、脈動フラグに応じて、脈動部分に対して３次元ノイズリダクション処理を行う際（即ち、脈動フラグがオン状態の場合）、非脈動部分に対して３次元ノイズリダクション処理を行う際（即ち、脈動フラグがオフ状態の場合）よりも、非線形処理部１２４が通過させる信号レベルが大きくなるように、係数βを制御すると共に、乗算器１２５によって信号Ｎ２に乗算される係数αが大きく（或いは高く）なるように、係数αを制御する。言い換えれば、制御部１３０は、このように係数α及びβを制御することで、脈動部分に対する３次元ノイズリダクション処理の強度が、非脈動部分に対する３次元ノイズリダクション処理の強度よりも高くなるように、３次元ノイズリダクション処理部１２０を制御する。
【００８７】
次に、本実施例に係る制御部による係数βの制御について、図９を参照してより具体的に説明する。
【００８８】
図９は、本実施例に係る非線形処理部における、係数βの値が１の場合及び係数βの値が０の場合の各々の場合の通過信号レベルを示している。
【００８９】
図９において、非線形処理部１２４は、係数βの値が１の場合のほうが、係数βの値が０の場合よりも差分信号Ｎ１を通過させる信号レベルが大きくなるように構成されている。更に、制御部１３０は、脈動部分に対して３次元ノイズリダクション処理を行う際には、係数βの値を１に設定し、非脈動部分に対して３次元ノイズリダクション処理を行う際には、係数βの値を０に設定する。このように、制御部１３０は、脈動部分に対して３次元ノイズリダクション処理を行う際、非脈動部分に対して３次元ノイズリダクション処理を行う際よりも、非線形処理部１２４が通過させる信号レベルが大きくなるように、係数βを制御する（言い換えれば、非線形処理部１２４を制御する）。つまり、脈動部分に対しては、非脈動部分に対してよりも高い強度で３次元ノイズリダクション処理が行われるように、非線形処理部１２４が制御部１３０によって制御される。
【００９０】
図１０は、本実施例に係る制御部の動作の流れを説明するためのフローチャートである。この処理は、画素単位もしくはブロック単位で実行されるものである。
【００９１】
図１０において、先ず、脈動検出部１１０（図１参照）によって脈動部分が開始したか否かが判定される（ステップＳ１０）。即ち、脈動検出部１１０における脈動判定部１１３（図３参照）によって、入力映像信号に対応する映像に脈動現象が発生しているか否かが判定されることにより、入力映像信号において脈動部分が開始されたか否かが判定される。脈動検出部１１０は、その判定結果を脈動フラグとして制御部１３０に出力する。即ち、脈動検出部１１０は、脈動部分が開始されたと判定した場合には、脈動フラグをオン状態として制御部１３０に出力し、一方、脈動部分が開始されていないと判定した場合には、脈動フラグをオフ状態として制御部１３０に出力する。
【００９２】
脈動部分が開始していないと判定された場合には（ステップＳ１０：Ｎｏ）、入力映像信号における次の画素またはブロックを現在の画素、またはブロックとして脈動部分が開始したか否かが判定される。
【００９３】
一方、脈動部分が開始したと判定された場合には（ステップＳ１０：Ｙｅｓ）、制御部１３０によって３次元ノイズリダクション処理の強度が高めに設定される（ステップＳ２０）。即ち、制御部１３０は、３次元ノイズリダクション処理部１２０の非線形処理部１２４における係数βを、その値が１になるように制御する（図９参照）と共に、３次元ノイズリダクション処理部１２０の乗算器１２５における係数αを、非脈動部分に対して３次元ノイズリダクション処理が行わる際の係数αよりも大きくなるように、制御する。つまり、脈動部分が開始された場合には、制御部１３０は、入力映像信号に対して行われる３次元ノイズリダクション処理の強度が、非脈動部分に対して行われる３次元ノイズリダクション処理の強度よりも高くなるように、３次元ノイズリダクション処理部１２０を制御する。
【００９４】
次に、脈動検出部１１０によって脈動部分が終了したか否かが判定される（ステップＳ３０）。即ち、脈動検出部１１０における脈動判定部１１３によって、入力映像信号に対応する映像に脈動現象が発生しているか否かが判定されることにより、脈動部分が終了したか否かが判定される。脈動検出部１１０は、その判定結果を脈動フラグとして制御部１３０に出力する。即ち、脈動検出部１１０は、脈動部分が終了した（即ち、脈動現象が発生していない）と判定した場合には、脈動フラグをオフ状態として制御部１３０に出力し、脈動部分が終了していない（即ち、脈動現象が発生している）と判定した場合には、脈動フラグをオン状態として制御部１３０に出力する。
【００９５】
脈動部分が終了していないと判定された場合には（ステップＳ３０：Ｎｏ）、入力映像信号における次の画素またはブロックを現在の画素、またはブロックとして脈動部分が終了したか否かが判定される。
【００９６】
一方、脈動部分が終了したと判定された場合には（ステップＳ３０：Ｙｅｓ）、制御部１３０によって３次元ノイズリダクション処理の強度が低めに設定される（ステップＳ４０）。即ち、制御部１３０は、３次元ノイズリダクション処理部１２０の非線形処理部１２４における係数βを、その値が０になるように制御する（図９参照）と共に、３次元ノイズリダクション処理部１２０の乗算器１２５における係数αを、脈動部分に対して３次元ノイズリダクション処理が行わる際の係数αよりも小さくなるように、制御する。つまり、脈動部分が終了した場合には、制御部１３０は、入力映像信号に対して行われる３次元ノイズリダクション処理の強度が、脈動部分に対して行われる３次元ノイズリダクション処理の強度よりも低くなるように、３次元ノイズリダクション処理部１２０を制御する。
【００９７】
続いて、入力映像信号における次の画素またはブロックを現在の画素、またはブロックとして脈動部分が開始したか否かが判定される（ステップＳ１０）。
【００９８】
このように、本実施例では特に、制御部１３０は、脈動部分に対する３次元ノイズリダクション処理の強度が、非脈動部分に対する３次元ノイズリダクション処理の強度よりも高くなるように、３次元ノイズリダクション処理部１２０を制御する。よって、入力映像信号のうち脈動部分に対しては、入力映像信号のうち非脈動部分に対してよりも高い強度で３次元ノイズリダクション処理が行われる。従って、脈動部分に対応する映像を確実に時間的に平滑化することができるので、映像における脈動現象を確実に低減することができる。更に、非脈動部分に対しては、脈動部分よりも弱い強度で３次元ノイズリダクション処理が行われるので、３次元ノイズリダクション処理を不要に高い強度で行いすぎることによる映像への悪影響（即ち、画質の劣化）は殆ど或いは実践上は全く生じない。
【００９９】
尚、本実施例では、画像処理装置１００は、フレームを単位として３次元ノイズリダクション処理を行うように構成されているが、フレームに代えてフィールドを単位として３次元ノイズリダクション処理を行うように構成されてもよい。この場合にも、本実施例と同様に、映像に脈動として発生するノイズを低減することができる。
【０１００】
尚、本実施例では、制御部１３０は、係数α及びβの両方を制御するように構成されているが、係数α及びβのいずれか一方を制御するように構成されてもよい。この場合にも、映像に脈動として発生するノイズを低減することができる。但し、３次元ノイズリダクション処理の強度をより高精度に制御するという観点からは、制御部１３０は、本実施例のように、係数α及びβの両方を制御するように構成されることが好ましい。
【０１０１】
尚、画像処理装置１００を、入力映像信号に対して、３次元ノイズリダクション処理に加えて、２次元ノイズリダクション処理を行うように構成する場合には、脈動部分に対する２次元ノイズリダクション処理の強度が、非脈動部分に対する２次元ノイズリダクション処理の強度よりも低くなるようにしてもよい。この場合、脈動部分に対しては２次元ノイズリダクション処理よりも高い強度で３次元ノイズリダクション処理が行われるので、映像に脈動として発生するノイズをより効果的に低減することができる。
【０１０２】
以上説明したように、本実施例に係る画像処理装置１００によれば、制御部１３０は、脈動部分に対する３次元ノイズリダクション処理の強度が、非脈動部分に対する３次元ノイズリダクション処理の強度よりも高くなるように、３次元ノイズリダクション処理部１２０を制御するので、映像に脈動として発生するノイズを効果的に低減することができる。
【０１０３】
＜第２実施例＞
第２実施例に係る画像処理装置について、図１１及び図１２を参照して説明する。
【０１０４】
図１１は、第２実施例に係る画像処理装置の構成を示すブロック図である。尚、図１１において、図１から図１０に示した第１実施例に係る構成要素と同様の構成要素に同一の構成要素を付し、それらの説明は適宜省略する。
【０１０５】
図１１において、第２実施例に係る画像処理装置２００は、上述した第１実施例における制御部１３０に代えて制御部１３０ｂを備える点で、上述した第１実施例に係る画像処理装置１００と異なり、その他の点については、上述した第１実施例に係る画像処理装置１００と概ね同様に構成されている。
【０１０６】
図１１に示すように、制御部１３０ｂは、復号器８１０から符号化に係る符号化情報が入力されるように構成されている。尚、復号器８１０には、図２を参照して上述した送信側から伝送される符号化された画像データが入力符号化信号として入力される。復号器８１０は、この入力符号化信号を符号化情報に基づいて復号して、画像処理装置２００に対する入力映像信号として出力する。
【０１０７】
符号化情報には、符号化方式（例えば、ＭＰＥＧ−２方式、Ｈ．２６４方式、ＶＣ−１方式等）及び伝送路７００における平均ビットレートが含まれている。
【０１０８】
尚、符号化情報には、符号化方式及び平均ビットレートの他、量子化ステップ、符号化方式がＨ．２６４方式の場合におけるループフィルタ係数、ＧＯＰ周期及びピクチャモードの少なくともいずれか一つが含まれてもよい。ループフィルタ係数は、Ｈ．２６４方式において１画面に存在するブロック境界のうちフィルタ処理が行われたブロック境界の割合を示す。
【０１０９】
本実施例では特に、制御部１３０ｂは、復号器８１０から入力される符号化情報に基づいて、脈動部分に対する３次元ノイズリダクション処理の強度（より具体的には、３次元ノイズリダクション処理部１２０の乗算器１２５における係数α）を決定する。言い換えれば、制御部１３０ｂは、復号器８１０から入力される符号化情報に応じて係数αを制御する。
【０１１０】
図１２は、第２実施例に係る制御部による、符号化情報に応じた係数αの制御の一例を示すグラフである。
【０１１１】
図１２において、制御線Ｌ１は、符号化方式がＭＰＥＧ−２方式である場合における伝送路７００（図２参照）の平均ビットレートに応じた係数αの制御部１３０ｂによる制御を示している。制御線Ｌ２は、符号化方式がＨ．２６４方式である場合における伝送路７００の平均ビットレートに応じた係数αの制御部１３０ｂによる制御を示している。
【０１１２】
制御部１３０ｂは、制御線Ｌ１及びＬ２に従って係数αを制御する。制御部１３０ｂは、例えば、所定の平均ビットレートの区間において、符号化方式がＭＰＥＧ−２方式である場合には、符号化方式がＨ．２６４方式である場合よりも、係数αを高めに設定する。また、制御部１３０ｂは、平均ビットレートが低めの場合には、係数αを高めに設定し、平均ビットレートが高めの場合には、係数αを低めに設定する（制御線Ｌ１及びＬ２参照）。
【０１１３】
ここで、符号化方式や平均ビットレートによって、脈動現象の発生する可能性が異なる。つまり、例えば、符号化方式がＭＰＥＧ−２方式の場合のほうが、符号化方式がＨ．２６４方式の場合よりも、符号化の際に画像データを圧縮する圧縮率が低いので、ビット量を所定範囲内に抑えるために画像の高周波帯域成分が多く失われ、脈動現象の発生する可能性が増大してしまう。また、例えば、平均ビットレートが低いほど、ビット量を所定範囲内に抑えるために画像の高周波帯域成分が多く失われ、脈動現象の発生する可能性が増大してしまう。
【０１１４】
しかるに、上述したように、本実施例では特に、制御部１３０ｂは、復号器８１０から入力される符号化情報に応じて係数αを制御する。よって、脈動現象が発生する可能性に応じて３次元ノイズリダクション処理の強度を決定することができる。言い換えれば、脈動部分における画質の劣化をある程度想定し、想定した画質の劣化を殆ど或いは完全に無くすように３次元ノイズリダクション処理の強度を決定することができる。従って、映像に脈動として発生するノイズをより効果的に低減することができる。
【０１１５】
つまり、本実施例では特に、制御部１３０ｂは、例えば、平均ビットレートが高い場合や符号化方式がＨ．２６４方式である場合には、脈動現象として発生するノイズが少ないと想定されるので、係数αを低めに設定し、逆に、平均ビットレートが低い場合や符号化方式がＭＰＥＧ−２方式である場合には、脈動現象として発生するノイズが多いと想定されるので、係数αを高めに設定する。言い換えれば、制御部１３０ｂは、脈動現象として発生するノイズが多いと想定される脈動部分に対する３次元ノイズリダクション処理の強度を高め、脈動現象として発生するノイズによる画質の劣化があまり発生していないと想定される脈動部分に対する３次元ノイズリダクション処理の強度を低くするように、３次元ノイズリダクション処理部１２０を制御する。従って、映像に脈動として発生するノイズをより効果的に低減することができる。
【０１１６】
＜第３実施例＞
第３実施例に係る画像処理装置について、図１３から図１８を参照して説明する。
【０１１７】
図１３は、第３実施例に係る画像処理装置の構成を示すブロック図である。尚、図１３から図１６において、図１から図１０に示した第１実施例に係る構成要素と同様の構成要素に同一の構成要素を付し、それらの説明は適宜省略する。
【０１１８】
図１３において、第３実施例に係る画像処理装置３００は、上述した第１実施例における脈動検出部１１０に代えて脈動検出部１１０ｃを備える点、及び上述した第１実施例における制御部１３０に代えて制御部１３０ｃを備える点で、上述した第１実施例に係る画像処理装置１００と異なり、その他の点については、上述した第１実施例に係る画像処理装置１００と概ね同様に構成されている。
【０１１９】
図１３において、脈動検出部１１０ｃは、入力映像信号に対応する映像に映っている物体が脈動する脈動現象を検出する。脈動検出部１１０ｃは、検出した脈動現象の度合い（即ち、強弱の程度）を示す情報である脈動レベルを制御部１３０ｃに出力する。
【０１２０】
図１４は、第３実施例に係る脈動検出部の構成を示すブロック図である。
【０１２１】
図１４において、脈動検出部１１０ｃは、動き検出部１１１ｃと、動きベクトル検出部１１２ｃと、脈動判定部１１３ｃと、フレームメモリ１１４とを有している。尚、動き検出部１１１ｃは、本発明に係る「差分検出手段」の一例である。
【０１２２】
入力映像信号は、フレームメモリ１１４、動き検出部１１１ｃ及び動きベクトル検出部１１２ｃに入力される。
【０１２３】
動き検出部１１１ｃは、入力映像信号と、フレームメモリ１１４から入力される１フレーム分だけ遅延した入力映像信号との輝度信号の差分である差分信号の絶対値（即ち、差分絶対値）を計算する。動き検出部１１１ｃは、計算した差分絶対値が所定閾値以下である場合には、計算した差分絶対値を示す情報である差分レベルを脈動判定部１１３ｃに出力する。
【０１２４】
図１５は、第３実施例に係る動き検出部の構成を示すブロック図である。
【０１２５】
図１５に示すように、動き検出部１１１ｃは、図４を参照して上述した第１実施例における閾値処理部１１１２に代えて閾値処理部１１１２ｃを備える点で、上述した第１実施例に係る動き検出部１１１ｃと異なり、その他の点については、上述した第１実施例に係る動き検出部１１１ｃと概ね同様に構成されている。
【０１２６】
閾値処理部１１１２ｃは、差分絶対値処理部１１１１から入力される差分絶対値と、所定閾値とを比較して、差分絶対値が所定閾値以下である場合には、その差分絶対値を示す差分レベルを脈動判定部１１３ｃに出力する。一方、差分絶対値が所定閾値より大きい場合には、閾値処理部１１１２ｃは、差分レベルを脈動判定部１１３ｃに出力しない。よって、差分レベルは、差分絶対値が所定閾値以下である場合における差分絶対値を示すと共に、上述した第１実施例における差分フラグとしても機能する。尚、閾値処理部１１１２ｃは、差分レベルに加えて、差分フラグを脈動判定部１１３ｃに出力するように構成されてもよい。
【０１２７】
再び図１４において、動きベクトル検出部１１２ｃは、入力映像信号と、フレームメモリ１１４から入力される１フレーム分だけ遅延した入力映像信号とに基づいて、ブロックマッチング法によって動きベクトルを検出する。尚、動きベクトル検出部１１２ｃが動きベクトルを検出する方法としては、勾配法など他の方法が用いられてもよい。
【０１２８】
動きベクトル検出部１１２ｃは、検出した動きベクトルの大きさを示す動きベクトル情報を脈動判定部１１３ｃに出力する。
【０１２９】
図１６は、第３実施例に係る動きベクトル検出部の構成を示すブロック図である。
【０１３０】
図１６に示すように、動きベクトル検出部１１２ｃは、図５を参照して上述した第１実施例における相関判定部１１２２に代えて相関判定部１１２２ｃを備える点で、上述した第１実施例に係る動きベクトル検出部１１２ｃと異なり、その他の点については、上述した第１実施例に係る動きベクトル検出部１１２ｃと概ね同様に構成されている。
【０１３１】
相関判定部１１２２ｃは、相関情報に基づいて、最小の差分絶対値を与える１フレーム前のブロックの位置と、対応する現在のフレームにおけるブロックの位置との間のずれが所定の範囲内であるか否かを判定すると共に、差分レベルが所定の閾値以下であるか否かを判定することで、動きベクトルを検出する。相関判定部１１２２ｃは、検出した動きベクトルの大きさを示す動きベクトル情報を脈動判定部１１３ｃに出力する。
【０１３２】
再び図１４において、脈動判定部１１３ｃは、動き検出部１１１ｃから入力される差分レベルと、動きベクトル検出部１１２ｃから入力される動きベクトル情報とに基づいて、映像に脈動現象が発生している度合いである脈動レベルを推定し、推定した脈動レベルを制御部１３０ｃに出力する。
【０１３３】
図１７は、第３実施例に係る脈動判定部が出力する脈動レベルの一例を示すグラフである。
【０１３４】
図１７に示すように、脈動判定部１１３ｃは、動きベクトル検出部１１２ｃから入力される動きベクトル情報に基づいて、動きベクトルの大きさ（即ち、動きベクトルスカラー量）が大きくなるほど、脈動レベルを下げて出力する。つまり、脈動判定部１１３ｃは、動きベクトルの大きさが大きくなるほど、脈動現象が発生している可能性が低いと推定して、より小さな値の脈動レベルを出力する。
【０１３５】
図１８は、第３実施例に係る脈動判定部が出力する脈動レベルの他の例を示すグラフである。
【０１３６】
図１８では、動きベクトルの大きさが互いに異なる４つの場合について、脈動判定部１１３ｃが出力する脈動レベルの差分レベルに対する変化を示している。
【０１３７】
制御線Ｌ３ａ、Ｌ３ｂ、Ｌ３ｃ及びＬ３ｄのうち、制御線Ｌ３ａは、動きベクトルの大きさ（即ち、動きベクトルスカラー量）が最も大きい場合を示しており、制御線Ｌ３ｂは、動きベクトルの大きさが２番目に大きい場合を示しており、制御線Ｌ３ｃは、動きベクトルの大きさが３番目に大きい場合を示しており、制御線Ｌ３ｄは、動きベクトルの大きさが最も小さい場合を示している。
【０１３８】
脈動判定部１１３ｃは、動き検出部１１１ｃから入力される差分レベルと、動きベクトル検出部１１２ｃから入力される動きベクトル情報とに基づいて、差分レベルが大きくなるほど脈動レベルを上げて出力すると共に、動きベクトルの大きさが小さくなるほど脈動レベルを上げて出力する（制御線Ｌ３ａ、Ｌ３ｂ、Ｌ３ｃ及びＬ３ｄ参照）。
【０１３９】
再び図１３において、制御部１３０ｃは、脈動検出部１１０ｃから出力される脈動レベルに応じて、３次元ノイズリダクション処理部１２０（より具体的には、３次元ノイズリダクション処理部１２０の乗算器１２５における係数α、及び３次元ノイズリダクション処理部１２０の非線形処理部１２４における係数β）を制御する。
【０１４０】
本実施例では特に、制御部１３０ｃは、脈動検出部１１０ｃから出力される脈動レベルに基づいて、脈動部分に対する３次元ノイズリダクション処理の強度を決定する。よって、脈動現象の度合いに応じて３次元ノイズリダクション処理の強度を決定することができる。つまり、図１７及び図１８を参照して上述したように、差分レベル及び動きベクトルの大きさ（即ち、動きベクトルスカラー量）の少なくとも一方に基づいて推定される脈動レベルに応じて、３次元ノイズリダクション処理の強度を決定することができる。言い換えれば、脈動部分に対する３次元ノイズリダクション処理の強度をより高精度に制御することが可能となる。従って、映像に脈動として発生するノイズをより効果的に低減することができる。
【０１４１】
＜第４実施例＞
第４実施例に係る画像処理装置について、図１９及び図２０を参照して説明する。
【０１４２】
図１９は、第４実施例に係る画像処理装置の構成を示すブロック図である。尚、図１９及び図２０において、図１から図１０に示した第１実施例に係る構成要素と同様の構成要素に同一の構成要素を付し、それらの説明は適宜省略する。
【０１４３】
図１９において、第４実施例に係る画像処理装置４００は、上述した第１実施例における脈動検出部１１０に代えて脈動検出部１１０ｄを備える点で、上述した第１実施例に係る画像処理装置１００と異なり、その他の点については、上述した第１実施例に係る画像処理装置１００と概ね同様に構成されている。
【０１４４】
図１９に示すように、脈動検出部１１０ｄは、復号器８１０から符号化に係る符号化情報が入力されるように構成されている。
【０１４５】
符号化情報には、ＧＯＰ周期、ピクチャモード、及び画面内予測符号化での予測モードの少なくともいずれ一つが含まれている。
【０１４６】
尚、符号化情報には、ＧＯＰ周期、ピクチャモード、及び画面内予測符号化での予測モードの他、符号化方式、平均ビットレート、量子化ステップ、符号化方式がＨ．２６４方式の場合におけるループフィルタ係数の少なくともいずれか一つが含まれてもよい。
【０１４７】
脈動検出部１１０ｄは、入力映像信号に対応する映像における脈動現象を検出し、その検出結果を脈動フラグとして制御部１３０に出力する。ここで、本実施例では特に、脈動検出部１１０ｄは、入力映像信号に加えて符号化情報に基づいて、脈動現象を検出する。
【０１４８】
図２０は、第４実施例に係る脈動検出部の構成を示すブロック図である。
【０１４９】
図２０において、第４実施例に係る脈動検出部１１０ｄは、図３を参照して上述した第１実施例における脈動判定部１１３に代えて脈動判定部１１３ｄを備える点で、上述した第１実施例に係る脈動検出部１１０と異なり、その他の点については、上述した第１実施例に係る脈動検出部１１０と概ね同様に構成されている。
【０１５０】
本実施例では特に、脈動判定部１１３ｄは、動き検出部１１１から入力される差分フラグと、動きベクトル検出部１１２から入力される動きベクトルフラグとに加えて復号器８１０から入力される符号化情報に基づいて、映像に脈動現象が発生しているか否か（つまり、入力映像信号のうち現在入力されている部分が脈動部分であるか否か）を判定し、その判定結果を脈動フラグとして制御部１３０に出力する。
【０１５１】
より具体的には、脈動判定部１１３ｄは、上述した第１実施例に係る脈動判定部１１３における判定方法（即ち、差分フラグ及び動きベクトルフラグの両方がオン状態である場合には、映像に脈動現象が発生していると判定すると共に、差分フラグ及び動きベクトルフラグの少なくとも一方がオフ状態である場合には、映像に脈動現象が発生していないと判定する判定方法）に加え、符号化情報に基づく判定方法で、脈動現象を検出する。
【０１５２】
例えば、脈動現象は、ＧＯＰ周期で発生しやすく、Ｉピクチャ毎にその度合い或いはレベルが大きくなりやすい傾向があるという特徴を有するので、脈動判定部１１３ｄは、この特徴に合致する変化が入力映像信号にあるか否かを、符号化情報に含まれるＧＯＰ周期及びピクチャモードに基づいて判定する。
【０１５３】
或いは、例えば、符号器９１０（図２参照）における符号化の際に画面内予測符号化の予測モードが使用された場合には、画面内予測符号化の予測モードが変化する際に脈動現象が発生しやすい傾向があるので、脈動判定部１１３ｄは、符号化情報に含まれる画面内予測符号化の予測モードが変化するか否かに基づいて、映像に脈動現象が発生しているか否かを判定する。
【０１５４】
このように本実施例では特に、差分フラグ及び動きベクトルフラグに加えて、例えば、ＧＯＰ周期、ピクチャーモード、画面内予測符号化での予測モード等の符号化情報に基づいて、脈動現象を検出するので、脈動現象を高精度に検出することができる、言い換えれば、入力映像信号における脈動部分と非脈動部分とを高精度に区別することができる。
【０１５５】
従って、本実施例に係る画像処理装置４００によれば、脈動部分に対して、より確実に、高い強度で３次元ノイズリダクション処理を行うと共に、非脈動部分に対して、より確実に、低い強度で３次元ノイズリダクション処理を行うことが可能となる。
【０１５６】
＜第５実施例＞
第５実施例に係る画像処理装置について、図２１を参照して説明する。
【０１５７】
図２１は、第５実施例に係る３次元ノイズリダクション処理部の構成を、第５実施例に係る制御部と共に示すブロック図である。
【０１５８】
第５実施例に係る画像処理装置は、上述した第１実施例における３次元ノイズリダクション処理部１２０に代えて３次元ノイズリダクション処理部１２０ｅを備える点、及び上述した第１実施例における制御部１３０に代えて制御部１３０ｅを備える点で、上述した第１実施例に係る画像処理装置１００と異なり、その他の点については、上述した第１実施例に係る画像処理装置１００と概ね同様に構成されている。
【０１５９】
３次元ノイズリダクション処理部１２０ｅは、５つのフレームメモリ１２１ｅ〜１２５ｅと、移動平均フィルタ部１２６ｅと、第１乗算器１２７ｅと、第２乗算器１２８ｅと、加算器１２９ｅとを備えている。
【０１６０】
入力映像信号は、第１フレームメモリ１２１ｅ及び移動平均フィルタ部１２６ｅに入力される。
【０１６１】
第１フレームメモリ１２１ｅは、入力映像信号を１フレーム分だけ遅延させて、移動平均フィルタ部１２６ｅ及び第２フレームメモリ１２２ｅに出力する。
【０１６２】
第２フレームメモリ１２２ｅは、第１フレームメモリ１２１ｅから入力される映像信号を１フレーム分だけ遅延させて、移動平均フィルタ部１２６ｅ及び第３フレームメモリ１２２ｅに出力する。
【０１６３】
第３フレームメモリ１２３ｅは、第２フレームメモリ１２２ｅから入力される映像信号を１フレーム分だけ遅延させて、移動平均フィルタ部１２６ｅ及び第４フレームメモリ１２４ｅに出力する。
【０１６４】
第４フレームメモリ１２４ｅは、第３フレームメモリ１２３ｅから入力される映像信号を１フレーム分だけ遅延させて、移動平均フィルタ部１２６ｅ及び第５フレームメモリ１２５ｅに出力する。
【０１６５】
第５フレームメモリ１２５ｅは、第４フレームメモリ１２４ｅから入力される映像信号を１フレーム分だけ遅延させて、移動平均フィルタ部１２６ｅに出力する。
【０１６６】
このように、入力映像信号が５つのフレームメモリ１２１ｅ〜１２５ｅによって、順次に１フレームずつ遅延され、第１フレームメモリ１２１ｅからは１フレーム分だけ遅延された入力映像信号が移動平均フィルタ部１２６ｅに出力され、第２フレームメモリ１２２ｅからは２フレーム分だけ遅延された入力映像信号が移動平均フィルタ部１２６ｅに出力され、第３フレームメモリ１２３ｅからは３フレーム分だけ遅延された入力映像信号が移動平均フィルタ部１２６ｅに出力され、第４フレームメモリ１２４ｅからは４フレーム分だけ遅延された入力映像信号が移動平均フィルタ部１２６ｅに出力され、第５フレームメモリ１２５ｅからは５フレーム分だけ遅延された入力映像信号が移動平均フィルタ部１２６ｅに出力される。
【０１６７】
移動平均フィルタ部１２６ｅは、入力映像信号と、１フレーム分だけ遅延された入力映像信号と、２フレーム分だけ遅延された入力映像信号と、３フレーム分だけ遅延された入力映像信号と、４フレーム分だけ遅延された入力映像信号と、５フレーム分だけ遅延された入力映像信号とからなる互いに時間の異なる６つのフレームに係る入力映像信号の平均を計算して、平均信号Ｓ１として第１乗算器１２７ｅに出力する。
【０１６８】
第１乗算器１２７ｅは、移動平均フィルタ１２６ｅから出力された平均信号Ｓ１に係数ｋ１を乗算して加算器１２９ｅに出力する。尚、係数ｋ１は、制御部１３０ｅによって制御される。
【０１６９】
第２乗算器１２８ｅは、第２フレームメモリ１２２ｅから出力された信号（即ち、２フレーム分だけ遅延された入力映像信号）Ｓ２に係数ｋ２を乗算して加算器１２９ｅに出力する。尚、係数ｋ２は、制御部１３０ｅによって制御される。また、係数ｋ１及びｋ２は、係数ｋ１と係数ｋ２との間に、ｋ２＝１−ｋ１となる関係式が成立するように（即ち、係数ｋ１の値と係数ｋ２の値との和が１となるように）制御される。
【０１７０】
加算器１２９ｅは、第１乗算器１２７ｅから出力される信号と第２乗算器１２８ｅから出力される信号とを加算して、出力映像信号として出力する。
【０１７１】
このように３次元ノイズリダクション処理部１２０ｅは、平均信号Ｓ１に係数ｋ１を掛けたものと、２フレーム分だけ遅延された信号Ｓ２に係数ｋ２を掛けたものとを加算することにより、入力映像信号に含まれるノイズを除去する３次元ノイズリダクション処理を行う。
【０１７２】
制御部１３０ｅは、脈動検出部１１０から出力される脈動フラグに応じて、３次元ノイズリダクション処理部１２０ｅ（より具体的には、３次元ノイズリダクション処理部１２０ｅの第１乗算器１２７ｅにおける係数ｋ１、及び３次元ノイズリダクション処理部１２０ｅの第２乗算器１２８ｅにおける係数ｋ２）を制御する。
【０１７３】
本実施例では特に、制御部１３０ｅは、脈動フラグに応じて、脈動部分に対して３次元ノイズリダクション処理を行う際（即ち、脈動フラグがオン状態の場合）、非脈動部分に対して３次元ノイズリダクション処理を行う際（即ち、脈動フラグがオフ状態の場合）よりも、第１乗算器１２７ｅによって平均信号Ｓ１に乗算される係数ｋ１が大きくなるように（言い換えれば、第２乗算器１２８ｅによって信号Ｓ２に乗算される係数ｋ２が小さくなるように）、係数ｋ１及びｋ２を制御する。言い換えれば、制御部１３０ｅは、このように係数ｋ１及びｋ２を制御することで、脈動部分に対する３次元ノイズリダクション処理の強度が、非脈動部分に対する３次元ノイズリダクション処理の強度よりも高くなるように、３次元ノイズリダクション処理部１２０ｅを制御する。
【０１７４】
よって、脈動部分に対応する映像を確実に時間的に平滑化することができるので、映像における脈動現象を確実に低減することができる。
【０１７５】
本発明は、例えばデジタル放送受信機や、デジタル放送受信機を搭載する電子機器（例えば、液晶テレビ、ＰＤＰテレビ、ＤＶＤレコーダ、Ｂｒｕｅ−ｒａｙレコーダ、ＨＤＤレコーダ、ケーブル放送受信端末、衛星放送受信端末、ＩＰ放送受信端末、カーナビゲーションシステム、携帯電話、パーソナルコンピュータ、ワンセグ受信機器等）、復号化ソフトウェア等に適用可能である。
【０１７６】
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置及び方法並びに復号化装置もまた本発明の技術的範囲に含まれるものである。
【図面の簡単な説明】
【０１７７】
【図１】第１実施例に係る画像処理装置の構成を示すブロック図である。
【図２】第１実施例に係る画像処理装置を備えたデジタル放送システムの構成を示すブロック図である。
【図３】第１実施例に係る脈動検出部の構成を示すブロック図である。
【図４】第１実施例に係る動き検出部の構成を示すブロック図である。
【図５】第１実施例に係る動きベクトル検出部の構成を示すブロック図である。
【図６】第１実施例に係る動きベクトル検出部による動きベクトルの検出の一例を示す概念図である。
【図７】第１実施例に係る動きベクトル検出部による動きベクトルの検出の他の例を示す概念図である。
【図８】第１実施例に係る３次元ノイズリダクション処理部の構成を、制御部と共に示すブロック図である。
【図９】第１実施例に係る非線形処理部における、係数βの値が１の場合及び係数βの値が０の場合の各々の場合の通過帯域を示している。
【図１０】第１実施例に係る制御部の動作の流れを説明するためのフローチャートである。
【図１１】第２実施例に係る画像処理装置の構成を示すブロック図である。
【図１２】第２実施例に係る制御部による、符号化情報に応じた係数αの制御の一例を示すグラフである。
【図１３】第３実施例に係る画像処理装置の構成を示すブロック図である。
【図１４】第３実施例に係る脈動検出部の構成を示すブロック図である。
【図１５】第３実施例に係る動き検出部の構成を示すブロック図である。
【図１６】第３実施例に係る動きベクトル検出部の構成を示すブロック図である。
【図１７】第３実施例に係る脈動判定部が出力する脈動レベルの一例を示すグラフである。
【図１８】第３実施例に係る脈動判定部が出力する脈動レベルの他の例を示すグラフである。
【図１９】第４実施例に係る画像処理装置の構成を示すブロック図である。
【図２０】第４実施例に係る脈動検出部の構成を示すブロック図である。
【図２１】第５実施例に係る３次元ノイズリダクション処理部の構成を、制御部と共に示すブロック図である。
【符号の説明】
【０１７８】
１００、２００、３００、４００  画像処理装置
１１０、１１０ｃ、１１０ｄ  脈動検出部
１１１、１１１ｃ  動き検出部
１１２、１１２ｃ  動きベクトル検出部
１１３、１１３ｃ、１１３ｄ  脈動判定部
１２０、１２０ｅ  ３次元ノイズリダクション部
１３０、１３０ｂ、１３０ｃ、１３０ｅ  制御部
８１０  復号器
９１０  復号器
【図１】
2009296124.tif 000003
【図２】
2009296124.tif 000004
【図３】
2009296124.tif 000005
【図４】
2009296124.tif 000006
【図５】
2009296124.tif 000007
【図６】
2009296124.tif 000008
【図７】
2009296124.tif 000009
【図８】
2009296124.tif 000010
【図９】
2009296124.tif 000011
【図１０】
2009296124.tif 000012
【図１１】
2009296124.tif 000013
【図１２】
2009296124.tif 000014
【図１３】
2009296124.tif 000015
【図１４】
2009296124.tif 000016
【図１５】
2009296124.tif 000017
【図１６】
2009296124.tif 000018
【図１７】
2009296124.tif 000019
【図１８】
2009296124.tif 000020
【図１９】
2009296124.tif 000021
【図２０】
2009296124.tif 000022
【図２１】
2009296124.tif 000023