(57)【要約】【課題】画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置を得る。【解決手段】設定部２２は、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいて、量子化処理に用いるマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定する。量子化部１２は、画像データＤ２に対して量子化処理を実行することにより画像データＤ３を生成する。このように、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいてマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定することにより、マクロブロックの属性に応じて、マクロブロック毎に適切なノイズ除去処理を実行することができる。【選択図】図１
2015177199.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、
入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、
第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、
第１画像データに基づいて、ブロック毎の活発性評価値を算出する演算部と、
ブロック毎の活発性評価値に基づいて、量子化処理に用いるブロック毎の量子化値を設定する量子化値設定部と、
を備える、画像処理装置。
【請求項２】
第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、
ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する補正値設定部と、
をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、
前記演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する、請求項１又は２に記載の画像処理装置。
【請求項４】
前記量子化値設定部は、
活発性評価値が低レベルのブロックに関しては、高い量子化値を設定し、
活発性評価値が中レベルのブロックに関しては、中程度の量子化値を設定し、
活発性評価値が高レベルのブロックに関しては、低い量子化値を設定する、請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、
入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、
第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、
第１画像データに基づいて、ブロック毎のノイズ値を算出する第１の演算部と、
ブロック毎のノイズ値に基づいて、量子化処理に用いるブロック毎の量子化値を設定する量子化値設定部と、
を備える、画像処理装置。
【請求項６】
第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、
第１画像データに基づいて、ブロック毎の活発性評価値を算出する第２の演算部と、
ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する補正値設定部と、
をさらに備える、請求項５に記載の画像処理装置。
【請求項７】
各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、
前記第１の演算部は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎のノイズ値を算出する、請求項５又は６に記載の画像処理装置。
【請求項８】
前記量子化値設定部は、ノイズ値が高いほど高い量子化値を設定する、請求項５〜７のいずれか一つに記載の画像処理装置。
【請求項９】
各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、
前記第２の演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する、請求項６〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記補正値設定部は、
周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、
前記第２の演算部によって算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定する、請求項２〜４，６〜９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記補正値設定部は、
活発性評価値が低レベルのブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定し、
活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定し、
活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定する、請求項１０に記載の画像処理装置。
【請求項１２】
入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する判定部をさらに備える、請求項１〜１１のいずれか一つに記載の画像処理装置。
【請求項１３】
前記判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによってノイズ強度を算出し、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する、請求項１２に記載の画像処理装置。
【請求項１４】
前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、
出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力される、請求項１〜１３のいずれか一つに記載の画像処理装置。
【請求項１５】
前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、
出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用される、請求項１〜１３のいずれか一つに記載の画像処理装置。
【請求項１６】
入力画像は複数の色成分を有し、
前記画像処理装置は、各色成分に対して独立にノイズ除去処理を実行する、請求項１〜１５のいずれか一つに記載の画像処理装置。
【請求項１７】
入力画像は複数の色成分を有し、
前記画像処理装置は、複数の色成分に対して統合的にノイズ除去処理を実行する、請求項１〜１５のいずれか一つに記載の画像処理装置。
【請求項１８】
入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、
入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、
第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、
第１画像データに基づいて、ブロック毎の活発性評価値を算出するステップと、
ブロック毎の活発性評価値に基づいて、量子化処理に用いるブロック毎の量子化値を設定するステップと、
を備える、画像処理方法。
【請求項１９】
入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、
入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、
第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、
第１画像データに基づいて、ブロック毎のノイズ値を算出するステップと、
ブロック毎のノイズ値に基づいて、量子化処理に用いるブロック毎の量子化値を設定するステップと、
を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、入力画像に対してノイズ除去処理を実行することにより出力画像を生成するノイズ除去装置及びノイズ除去方法に関する。
【背景技術】
【０００２】
一般的なノイズ除去装置は、空間領域の入力画像の画像データに対して、高周波成分を除去するローパスフィルタ等の空間フィルタを画像全体に関して一様に適用することにより、画像に含まれているノイズを除去する。
【０００３】
なお、下記特許文献１には、入力画像の輪郭部分に関してはメディアンフィルタを適用し、輪郭以外の部分に関しては平均化フィルタを適用するノイズ除去装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２３３３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した一般的なノイズ除去装置によると、入力画像に対して空間フィルタを一回適用しただけでは、ノイズ除去効果が低い。空間フィルタを複数回適用することによってノイズ除去効果を上げることはできるが、この場合には解像度が低下して輪郭部分が不鮮明となり、画像全体としては却って画質が劣化しているように見えることがある。また、空間フィルタを複数回適用する必要上、処理時間が増大するとともに、中間値を格納するテンポラルメモリが必要となって回路規模が増大する。
【０００６】
本発明はかかる事情に鑑みて成されたものであり、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置及び画像処理方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係る画像処理装置は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、第１画像データに基づいて、ブロック毎の活発性評価値を算出する演算部と、ブロック毎の活発性評価値に基づいて、量子化処理に用いるブロック毎の量子化値を設定する量子化値設定部と、を備えることを特徴とするものである。
【０００８】
第１の態様に係る画像処理装置によれば、量子化値設定部は、ブロック毎の活発性評価値に基づいて、量子化処理に用いるブロック毎の量子化値を設定する。このように、ブロック毎の活発性評価値に基づいてブロック毎の量子化値を設定することにより、ブロックの属性に応じて、ブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
【０００９】
本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する補正値設定部と、をさらに備えることを特徴とするものである。
【００１０】
第２の態様に係る画像処理装置によれば、補正値設定部は、ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する。このように、ブロック毎の活発性評価値に基づいてブロック毎の補正値を設定することにより、ブロックの属性に応じて、ブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。
【００１１】
本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、前記演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出することを特徴とするものである。
【００１２】
第３の態様に係る画像処理装置によれば、演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する。これにより、ブロック毎の活発性評価値を演算部によって適切に求めることが可能となる。
【００１３】
本発明の第４の態様に係る画像処理装置は、第１〜第３のいずれか一つの態様に係る画像処理装置において特に、前記量子化値設定部は、活発性評価値が低レベルのブロックに関しては、高い量子化値を設定し、活発性評価値が中レベルのブロックに関しては、中程度の量子化値を設定し、活発性評価値が高レベルのブロックに関しては、低い量子化値を設定することを特徴とするものである。
【００１４】
第４の態様に係る画像処理装置によれば、量子化値設定部は、活発性評価値が低レベルのブロックに関しては、高い量子化値を設定する。活発性評価値が低くノイズが目立ちやすい平坦部に関しては、量子化値を高く設定することにより、量子化処理による高いノイズ除去効果を得ることが可能となる。また、量子化値設定部は、活発性評価値が高レベルのブロックに関しては、低い量子化値を設定する。活発性評価値が高いエッジ部やテクスチャ部に関しては、量子化値を低く設定することにより、量子化に伴ってエッジ部やテクスチャ部が不鮮明になることを回避でき、画質を向上することが可能となる。また、量子化値設定部は、活発性評価値が中レベルのブロックに関しては、中程度の量子化値を設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、量子化値を中程度に設定することにより、当該画像部分に対するノイズ除去効果が過大又は過小となることを回避することが可能となる。
【００１５】
本発明の第５の態様に係る画像処理装置は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、第１画像データに基づいて、ブロック毎のノイズ値を算出する第１の演算部と、ブロック毎のノイズ値に基づいて、量子化処理に用いるブロック毎の量子化値を設定する量子化値設定部と、を備えることを特徴とするものである。
【００１６】
第５の態様に係る画像処理装置によれば、量子化値設定部は、ブロック毎のノイズ値に基づいて、量子化処理に用いるブロック毎の量子化値を設定する。このように、ブロック毎のノイズ値に基づいてブロック毎の量子化値を設定することにより、ブロック毎のノイズレベルに応じて、ブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
【００１７】
本発明の第６の態様に係る画像処理装置は、第５の態様に係る画像処理装置において特に、第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、第１画像データに基づいて、ブロック毎の活発性評価値を算出する第２の演算部と、ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する補正値設定部と、をさらに備えることを特徴とするものである。
【００１８】
第６の態様に係る画像処理装置によれば、補正値設定部は、ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する。このように、ブロック毎の活発性評価値に基づいてブロック毎の補正値を設定することにより、ブロックの属性に応じて、ブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。
【００１９】
本発明の第７の態様に係る画像処理装置は、第５又は第６の態様に係る画像処理装置において特に、各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、前記第１の演算部は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎のノイズ値を算出することを特徴とするものである。
【００２０】
第７の態様に係る画像処理装置によれば、第１の演算部は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎のノイズ値を算出する。これにより、ブロック毎のノイズ値を第１の演算部によって適切に求めることが可能となる。
【００２１】
本発明の第８の態様に係る画像処理装置は、第５〜第７のいずれか一つの態様に係る画像処理装置において特に、前記量子化値設定部は、ノイズ値が高いほど高い量子化値を設定することを特徴とするものである。
【００２２】
第８の態様に係る画像処理装置によれば、量子化値設定部は、ノイズ値が高いほど高い量子化値を設定する。このように、ノイズ値が高いブロックに関しては量子化値を高く設定することにより、量子化処理による高いノイズ除去効果を得ることができる。また、ノイズ値が低いブロックに関しては量子化値を低く設定することにより、量子化処理に伴う画質の劣化を回避することができる。
【００２３】
本発明の第９の態様に係る画像処理装置は、第６〜第８のいずれか一つの態様に係る画像処理装置において特に、各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、前記第２の演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出することを特徴とするものである。
【００２４】
第９の態様に係る画像処理装置によれば、第２の演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する。これにより、ブロック毎の活発性評価値を第２の演算部によって適切に求めることが可能となる。
【００２５】
本発明の第１０の態様に係る画像処理装置は、第２〜第４，第６〜第９のいずれか一つの態様に係る画像処理装置において特に、前記補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、前記第２の演算部によって算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定することを特徴とするものである。
【００２６】
第１０の態様に係る画像処理装置によれば、補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、第２の演算部によって算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定する。その結果、ブロック毎の活発性評価値に応じた補正値を、簡易かつ適切に設定することが可能となる。
【００２７】
本発明の第１１の態様に係る画像処理装置は、第１０の態様に係る画像処理装置において特に、前記補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定し、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定し、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定することを特徴とするものである。
【００２８】
第１１の態様に係る画像処理装置によれば、補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定する。活発性評価値が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、補正値設定部は、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定する。活発性評価値が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、補正値設定部は、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。
【００２９】
本発明の第１２の態様に係る画像処理装置は、第１〜第１１のいずれか一つの態様に係る画像処理装置において特に、入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する判定部をさらに備えることを特徴とするものである。
【００３０】
第１２の態様に係る画像処理装置によれば、判定部は、入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する。これにより、ノイズ除去処理が真に必要な入力画像を対象としてノイズ除去処理を実行でき、不要な入力画像に対するノイズ除去処理の実行を回避できるため、消費電力を削減することが可能となる。
【００３１】
本発明の第１３の態様に係る画像処理装置は、第１２の態様に係る画像処理装置において特に、前記判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによってノイズ強度を算出し、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定することを特徴とするものである。
【００３２】
第１３の態様に係る画像処理装置によれば、判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによって、ノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。判定部がこのような判定処理を行うことにより、ノイズ除去処理が真に必要な入力画像を高精度に特定することが可能となる。
【００３３】
本発明の第１４の態様に係る画像処理装置は、第１〜第１３のいずれか一つの態様に係る画像処理装置において特に、前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力されることを特徴とするものである。
【００３４】
第１４の態様に係る画像処理装置によれば、変換部及び量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行う。このように、ブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力される。このように、重複部分については複数ブロックから求めた最適値（例えば平均値）を出力することにより、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。
【００３５】
本発明の第１５の態様に係る画像処理装置は、第１〜第１３のいずれか一つの態様に係る画像処理装置において特に、前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用されることを特徴とするものである。
【００３６】
第１５の態様に係る画像処理装置によれば、変換部及び量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行う。このように、ブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用される。従って、複数のブロックを順次に処理する一連の流れの中で同一画像部分について実質的に複数回のノイズ除去処理が行われるため、重複する複数のブロックの出力値から最適値を求める場合と比較して、処理時間を短縮することが可能となる。
【００３７】
本発明の第１６の態様に係る画像処理装置は、第１〜第１５のいずれか一つの態様に係る画像処理装置において特に、入力画像は複数の色成分を有し、前記画像処理装置は、各色成分に対して独立にノイズ除去処理を実行することを特徴とするものである。
【００３８】
第１６の態様に係る画像処理装置によれば、各色成分に対して独立にノイズ除去処理が実行される。このように、入力画像の各色成分に対して独立にノイズ除去処理を実行することにより、色成分毎に最適なノイズ除去効果を得ることができる。
【００３９】
本発明の第１７の態様に係る画像処理装置は、第１〜第１５のいずれか一つの態様に係る画像処理装置において特に、入力画像は複数の色成分を有し、前記画像処理装置は、複数の色成分に対して統合的にノイズ除去処理を実行することを特徴とするものである。
【００４０】
第１７の態様に係る画像処理装置によれば、複数の色成分に対して統合的にノイズ除去処理が実行される。このように、複数の色成分に対して統合的なノイズ除去処理を行うことにより、ノイズ検出精度を向上することができる。また、色成分間のノイズ除去効果のばらつきが抑制されるため、画質を向上することができる。
【００４１】
本発明の第１８の態様に係る画像処理方法は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、第１画像データに基づいて、ブロック毎の活発性評価値を算出するステップと、ブロック毎の活発性評価値に基づいて、量子化処理に用いるブロック毎の量子化値を設定するステップと、を備えることを特徴とするものである。
【００４２】
第１８の態様に係る画像処理方法によれば、ブロック毎の活発性評価値に基づいて、量子化処理に用いるブロック毎の量子化値が設定される。このように、ブロック毎の活発性評価値に基づいてブロック毎の量子化値を設定することにより、ブロックの属性に応じて、ブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
【００４３】
本発明の第１９の態様に係る画像処理方法は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、第１画像データに基づいて、ブロック毎のノイズ値を算出するステップと、ブロック毎のノイズ値に基づいて、量子化処理に用いるブロック毎の量子化値を設定するステップと、を備えることを特徴とするものである。
【００４４】
第１９の態様に係る画像処理方法によれば、ブロック毎のノイズ値に基づいて、量子化処理に用いるブロック毎の量子化値が設定される。このように、ブロック毎のノイズ値に基づいてブロック毎の量子化値を設定することにより、ブロック毎のノイズレベルに応じて、ブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
【発明の効果】
【００４５】
本発明によれば、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置及び画像処理方法を得ることができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図２】画像処理装置が実行するノイズ除去処理の流れを示すフローチャートである。
【図３】設定部による量子化値の設定処理を説明するための図である。
【図４】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図５】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図６】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図７】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図８】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図９】オーバーラップ処理を示す図である。
【図１０】設定部による量子化値の第１の設定処理を説明するための図である。
【図１１】設定部による量子化値の第２の設定処理を説明するための図である。
【図１２】量子化値の第２の設定処理を実現するための画像処理装置の構成を示す図である。
【図１３】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図１４】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図１５】設定部によるスケーリングマトリクスの設定処理を説明するための図である。
【図１６】第１の変形例に係る画像処理装置の構成を示す図である。
【図１７】第１の変形例に係る画像処理装置が実行するノイズ除去処理の流れを示すフローチャートである。
【図１８】第２の変形例に係る画像処理装置の構成を示す図である。
【図１９】第２の変形例に係る画像処理装置が実行するノイズ除去処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００４７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００４８】
図１は、本発明の実施の形態に係る画像処理装置１の構成を示す図である。画像処理装置１には、Ｒ，Ｇｒ，Ｇｂ，Ｂの色成分を有するベイヤー配列の入力画像が、色成分毎に分類されて入力される。画像処理装置１は、各色成分の入力画像に対して独立にノイズ除去処理を実行することにより、出力画像を生成して出力する。なお、入力画像の色成分はＲ，Ｇｒ，Ｇｂ，Ｂに限らず、Ｒ，Ｇ，Ｂ又はＹ，Ｕ，Ｖ等であっても良い。
【００４９】
図１の接続関係で示すように、画像処理装置１は、変換部１１、量子化部１２、補正部１３、逆量子化部１４、逆変換部１５、セレクタ１６、設定部１７、フィルタ１８、演算部１９，２０、及び設定部２１〜２４を備えて構成されている。
【００５０】
変換部１１は、入力画像から所定のブロック単位（本実施の形態の例では８行×８列のマクロブロック単位とする）で抽出した空間領域の画像データＤ１を、ＤＣＴ変換によって複数の周波数成分を含む周波数領域の画像データＤ２に変換する。なお、ブロックサイズは８行×８列に限らず、１６行×１６列等であっても良い。ブロックサイズが大きくなるほど、回路規模は増大するが、周波数成分を細かく制御できるため画質は向上する。
【００５１】
量子化部１２は、画像データＤ２に対して量子化処理を実行することにより、画像データＤ３を生成する。
【００５２】
補正部１３は、画像データＤ３に対して周波数成分毎に補正処理を実行することにより、画像データＤ４を生成する。
【００５３】
逆量子化部１４は、画像データＤ４に対して逆量子化処理を実行することにより、画像データＤ５を生成する。
【００５４】
逆変換部１５は、周波数領域の画像データＤ５を、逆ＤＣＴ変換によって空間領域の画像データＤ６に変換する。
【００５５】
セレクタ１６は、画像データＤ１又は画像データＤ６を選択して出力する。
【００５６】
ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）と、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）とに基づいて、ノイズ除去処理の実行の要否を判定する。そして、その判定結果を設定部１７に設定する。設定部１７は、実行が必要である場合はセレクタ１６に画像データＤ６を選択させ、実行が不要である場合はセレクタ１６に画像データＤ１を選択させる。
【００５７】
フィルタ１８は、任意の平滑化フィルタ（本実施の形態の例では３行×３列のガウシアンフィルタ）であり、各画素の画素値と、当該画素に隣接する複数個（３行×３列の場合は８個）の周辺画素の画素値とに基づいて、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）を算出する。
【００５８】
演算部１９は、画像データＤ１と、フィルタ１８による重み付き平均化後の画像データＤ１とに基づいて、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）を算出する。また、演算部１９は、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の平均値として、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出する。なお、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の合計値を演算部１９からＣＰＵ２に入力し、ＣＰＵ２が当該合計値をマクロブロック数で除算することによってノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出しても良い。
【００５９】
演算部２０は、フィルタ１８による重み付き平均化後の画像データＤ１に基づいて、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。また、演算部２０は、入力画像内の全てのマクロブロックに関する活発性評価値ＡＣＴ（ＭＢ）の平均値として、活発性評価値ＡＣＴ（ＰＩＣ）を算出する。なお、入力画像内の全てのマクロブロックに関する活発性評価値ＡＣＴ（ＭＢ）の合計値を演算部２０からＣＰＵ２に入力し、ＣＰＵ２が当該合計値をマクロブロック数で除算することによって活発性評価値ＡＣＴ（ＰＩＣ）を算出しても良い。
【００６０】
設定部２１は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）に基づいて、量子化部１２による量子化処理に用いる入力画像毎の量子化値ＱＰ（ＰＩＣ）を設定する。
【００６１】
設定部２２は、画像処理装置１の内部パラメータ（例えば、量子化値ＱＰ（ＰＩＣ）、活発性評価値ＡＣＴ（ＭＢ）、及びノイズ値ＮＯＩＳＥ（ＭＢ）等）に基づいて、量子化部１２による量子化処理に用いるマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定する。
【００６２】
設定部２３は、入力画像全体の画像データＤ２に基づいて、補正部１３による補正処理に用いる入力画像毎の補正値を記述したスケーリングマトリクスＳＭ（ＰＩＣ）を設定する。
【００６３】
設定部２４は、画像処理装置１の内部パラメータ（例えば、スケーリングマトリクスＳＭ（ＰＩＣ）、活発性評価値ＡＣＴ（ＭＢ）、ノイズ値ＮＯＩＳＥ（ＰＩＣ）、及び活発性評価値ＡＣＴ（ＰＩＣ）等）に基づいて、補正部１３による補正処理に用いるマクロブロック毎の補正値を記述したスケーリングマトリクスＳＭ（ＭＢ）を設定する。
【００６４】
図２は、画像処理装置１が実行するノイズ除去処理の流れを示すフローチャートである。まずステップＰ１０１において設定部１７は、ＣＰＵ２によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ１６を設定する。実行が不要である場合は処理を終了する。
【００６５】
実行が必要である場合は、次にステップＰ１０２において設定部２１は、量子化値ＱＰ（ＰＩＣ）を設定する。
【００６６】
次にステップＰ１０３において設定部２３は、スケーリングマトリクスＳＭ（ＰＩＣ）を設定する。
【００６７】
次にステップＰ１０４〜Ｐ１１０において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。
【００６８】
ステップＰ１０４において演算部２０は、活発性評価値ＡＣＴ（ＭＢ）を算出する。
【００６９】
次にステップＰ１０５において設定部２２は、量子化値ＱＰ（ＭＢ）を設定する。また、設定部２４は、スケーリングマトリクスＳＭ（ＭＢ）を設定する。
【００７０】
次にステップＰ１０６において変換部１１は、画像データＤ１を画像データＤ２に変換する。
【００７１】
次にステップＰ１０７において量子化部１２は、量子化値ＱＰ（ＭＢ）を用いた量子化処理によって画像データＤ２から画像データＤ３を生成する。
【００７２】
次にステップＰ１０８において補正部１３は、スケーリングマトリクスＳＭ（ＭＢ）を用いた補正処理によって画像データＤ３から画像データＤ４を生成する。
【００７３】
次にステップＰ１０９において逆量子化部１４は、逆量子化処理によって画像データＤ４から画像データＤ５を生成する。
【００７４】
次にステップＰ１１０において逆変換部１５は、逆ＤＣＴ変換によって画像データＤ５を画像データＤ６に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。
【００７５】
以下、図１に示した各処理部が実行する処理内容の詳細について、順に説明する。
【００７６】
＜ＧＡＵＳ（ｉ，ｊ）の算出処理＞
フィルタ１８は、マクロブロック内の各画素の画素値をＣＵＲＲ（ｉ，ｊ）として、下記式（１）で示される演算を行うことにより、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）を算出する。
【００７７】
【数１】
2015177199.tif 000003
【００７８】
＜ＮＯＩＳＥ（ＭＢ）の算出処理＞
演算部１９は、下記式（２）で示される演算を行うことにより、各画素の画素値ＣＵＲＲ（ｉ，ｊ）と、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）との差分絶対値和を算出する。そして、下記式（３）で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）を算出する。
【００７９】
【数２】
2015177199.tif 000004
【００８０】
【数３】
2015177199.tif 000005
【００８１】
＜ＱＰ（ＰＩＣ）の設定処理＞
図３は、設定部２１による量子化値ＱＰ（ＰＩＣ）の設定処理を説明するための図である。演算部１９は、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の平均値として、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出する。設定部２１は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）毎の最適な量子化値ＱＰ（ＰＩＣ）を記述したルックアップテーブルを保持している。設定部２１は、重み付き平均値ＧＡＵＳ（ｉ，ｊ）と画素数とのヒストグラム内における、重み付き平均値ＧＡＵＳ（ｉ，ｊ）の分布範囲で、当該ルックアップテーブルを正規化する。そして、正規化後のルックアップテーブルを用いることにより、ノイズ値ＮＯＩＳＥ（ＰＩＣ）に対応する量子化値を、入力画像に関する量子化値ＱＰ（ＰＩＣ）として設定する。図３に示すように、設定部２１は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）が高いほど高い量子化値ＱＰ（ＰＩＣ）を設定する。
【００８２】
＜ＳＭ（ＰＩＣ）の設定処理＞
図４〜８は、設定部２３によるスケーリングマトリクスＳＭ（ＰＩＣ）の設定処理を説明するための図である。まず設定部２３は、設定部２１と同様の手法によって量子化値ＱＰ（ＰＩＣ）を求める。
【００８３】
次に設定部２３は、入力画像内の全てのマクロブロックに関して、ＤＣＴ変換処理と、量子化値ＱＰ（ＰＩＣ）を用いた量子化処理とが完了した後の画像データＤ３を取得する。そして、画像データＤ３内の周波数成分毎に、周波数成分値の絶対値を全てのマクロブロックに関して累積することにより、入力画像に関する各周波数成分値の絶対値和Ｋ１を求める。絶対値和Ｋ１の一例を図４に示す。左上角がＤＣ成分に相当する周波数成分値であり、右下角が最高周波成分に相当する周波数成分値である。
【００８４】
また設定部２３は、予め準備した理想画像内の全てのマクロブロックに関して、ＤＣＴ変換処理が完了した後の画像データＤ２を取得する。理想画像は、入力画像と同じ構図で同じ被写体を撮影した、ノイズを含まない画像である。例えば画像処理装置１が監視カメラの用途に利用される場合には、夜間等の低照度環境で撮影された、ノイズを多く含む画像が入力画像となり、昼間等の高照度環境で撮影された、ノイズをほとんど含まない画像が理想画像となる。設定部２３は、画像データＤ２内の周波数成分毎に、周波数成分値の絶対値を全てのマクロブロックに関して累積することにより、理想画像に関する各周波数成分値の絶対値和Ｋ２を求める。絶対値和Ｋ２の一例を図５に示す。
【００８５】
次に設定部２３は、絶対値和Ｋ２におけるＤＣ成分の周波数成分値が、絶対値和Ｋ１におけるＤＣ成分の周波数成分値に等しくなるように、絶対値和Ｋ２における各周波数成分値を正規化することにより、正規化後の絶対値和Ｋ３を作成する。絶対値和Ｋ３の一例を図６に示す。
【００８６】
次に設定部２３は、絶対値和Ｋ１における各周波数成分値が、絶対値和Ｋ３における各周波数成分値に等しくなるように（近付く場合も含む）、絶対値和Ｋ１の各周波数成分値を変換するための変換値（乗数）を算出する。つまり設定部２３は、入力画像におけるＤＣ成分に対する各周波数成分値の比率が、理想画像における当該比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、補正値として設定する。
【００８７】
次に設定部２３は、各周波数成分の乗数を、各乗数を代用する所定の係数を用いて記述することにより、スケーリングマトリクスＳＭ（ＰＩＣ）を作成する。スケーリングマトリクスＳＭ（ＰＩＣ）の一例を図７に示す。また、係数と乗数との対応関係の一例を図８に示す。スケーリングマトリクスＳＭ（ＰＩＣ）においては、係数「１６」が乗数「１」（即ちスルー）に対応し、係数「２５５」が略ゼロ値の最小乗数（即ちカット）に対応する。
【００８８】
なお、理想画像が準備できない場合には、全ての周波数成分に関して係数「１６」を記述することにより、補正部１３を実質的にスルーフィルタとして機能させるスケーリングマトリクスＳＭ（ＰＩＣ）を作成する。あるいは、汎用的に使用可能なスケーリングマトリクスＳＭ（ＰＩＣ）を予め準備しておき、理想画像が準備できない場合には当該スケーリングマトリクスＳＭ（ＰＩＣ）を設定してもよい。
【００８９】
＜オーバーラップ処理＞
画像処理装置１においては、８行×８列のマクロブロックに対して、４画素ずらした位置から次のマクロブロックを抽出して画像データＤ１とすることにより、マクロブロックのオーバーラップ処理が行われる。なお、画素のずらし幅は４画素に限らず、任意のずらし幅を設定することができる。ずらし幅が小さくなるほど、処理時間は長くなるが、画質は向上する。
【００９０】
図９は、オーバーラップ処理を示す図である。図９では、説明の簡単化のため、１６行×１６列の入力画像を想定している。まず、入力画像の左上角を起点として、マクロブロックＭＢ１が抽出される。次に、マクロブロックＭＢ１に対して行方向に４画素ずらした位置からマクロブロックＭＢ２が抽出される。次に、マクロブロックＭＢ２に対して行方向に４画素ずらした位置からマクロブロックＭＢ３が抽出される。次に、マクロブロックＭＢ１に対して列方向に４画素ずらした位置からマクロブロックＭＢ４が抽出される。以降は同様に、マクロブロックＭＢ５〜ＭＢ９が順に抽出される。これにより、変換部１１、量子化部１２、補正部１３、逆量子化部１４、及び逆変換部１５は、入力画像から部分的に重複するように抽出された複数のマクロブロックＭＢ１〜ＭＢ９に関して、順次に処理を行う。
【００９１】
また、出力画像のうち複数のマクロブロックが重複する画像部分については、重複する複数のマクロブロックから求めた最適値（この例では平均値とする）が、当該画像部分の画像データとして出力される。例えば、図９中で砂地ハッチングを付した４行×４列の画像部分については、４個のマクロブロックＭＢ１，ＭＢ２，ＭＢ４，ＭＢ５が重複しており、これら４個のマクロブロックの各々について画像データＤ６が得られる。そこで、これら４個のマクロブロック内の該当部分の画像データＤ６を加算し、その加算値を重複数の「４」で除算することにより、重複する複数のマクロブロックに関する画像データＤ６の平均値が算出される。そして、その平均値が、当該画像部分の画像データＤ６として画像処理装置１から出力される。
【００９２】
オーバーラップ処理の第１の変形例として、上記の平均値に代えて、重複する複数のマクロブロックのうちノイズ値ＮＯＩＳＥ（ＭＢ）が最小であるマクロブロックに関する出力値（画像データＤ６）を、上記の最適値として用いても良い。
【００９３】
オーバーラップ処理の第２の変形例として、複数のマクロブロックが重複する画像部分については、今回のマクロブロックに関する処理での当該画像部分の出力値を、次回のマクロブロックに関する処理での当該画像部分の入力値として使用しても良い。例えば、図９中で砂地ハッチングを付した４行×４列の画像部分について、マクロブロックＭＢ１に関する処理での出力値（画像データＤ６）を、マクロブロックＭＢ２に関する処理での入力値（画像データＤ１）として使用し、マクロブロックＭＢ２に関する処理での出力値を、マクロブロックＭＢ４に関する処理での入力値として使用し、マクロブロックＭＢ４に関する処理での出力値を、マクロブロックＭＢ５に関する処理での入力値として使用する。この手法によると、複数のマクロブロックを順次に処理する一連の流れの中で同一画像部分について実質的に複数回のノイズ除去処理が行われるため、複数の出力値の平均値を求める場合と比較して、処理時間を短縮することが可能となる。
【００９４】
＜ＡＣＴ（ＭＢ）の算出処理＞
演算部２０は、下記式（４）で示される演算を行うことにより、重み付き平均値のマクロブロック内平均値ＡＶＥ＿ＢＬＫを算出する。次に、下記式（５）で示される演算を行うことにより、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）と、ブロック内平均値ＡＶＥ＿ＢＬＫとの差分絶対値和を算出する。そして、下記式（６）で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。
【００９５】
【数４】
2015177199.tif 000006
【００９６】
【数５】
2015177199.tif 000007
【００９７】
【数６】
2015177199.tif 000008
【００９８】
＜ＱＰ（ＭＢ）の第１の設定処理＞
図１０は、設定部２２による量子化値ＱＰ（ＭＢ）の第１の設定処理を説明するための図である。設定部２２は、量子化値ＱＰ（ＰＩＣ）と活発性評価値ＡＣＴ（ＭＢ）とに基づいて、量子化値ＱＰ（ＭＢ）を設定する。設定部２２は、活発性評価値ＡＣＴ（ＭＢ）毎の最適な量子化値ＱＰ（ＭＢ）を記述したルックアップテーブルを保持している。図１０の（Ａ）及び（Ｂ）に示すように、設定部２２は、活発性評価値ＡＣＴ（ＭＢ）とマクロブロック数とのヒストグラム内における、活発性評価値ＡＣＴ（ＭＢ）の分布範囲で、当該ルックアップテーブルを正規化する。図１０の（Ｂ）に示すように、当該ルックアップテーブルによると、活発性評価値ＡＣＴ（ＭＢ）が高いほど低い量子化値ＱＰ（ＭＢ）が設定される。また、図１０の（Ｃ）に示すように、設定部２２は、量子化値ＱＰ（ＰＩＣ）を中心として、量子化値ＱＰ（ＰＩＣ）よりも値ΔＨだけ大きい上限量子化値ＱＰＨと、量子化値ＱＰ（ＰＩＣ）よりも値ΔＬだけ小さい下限量子化値ＱＰＬとを設定する。そして、設定部２２は、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）が上限量子化値ＱＰＨを超えるマクロブロック、つまり活発性評価値ＡＣＴ（ＭＢ）が低レベル（値Ａ１未満）のマクロブロックに関しては、上限量子化値ＱＰＨを量子化値ＱＰ（ＭＢ）として設定する。また、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）が上限量子化値ＱＰＨ以下かつ下限量子化値ＱＰＬ以上のマクロブロック、つまり活発性評価値ＡＣＴ（ＭＢ）が中レベル（値Ａ１以上かつ値Ａ２以下）のマクロブロックに関しては、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）をそのまま量子化値ＱＰ（ＭＢ）として設定する。また、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）が下限量子化値ＱＰＬ未満のマクロブロック、つまり活発性評価値ＡＣＴ（ＭＢ）が高レベル（値Ａ２超）のマクロブロックに関しては、下限量子化値ＱＰＬを量子化値ＱＰ（ＭＢ）として設定する。
【００９９】
＜ＱＰ（ＭＢ）の第２の設定処理＞
図１１は、設定部２２による量子化値ＱＰ（ＭＢ）の第２の設定処理を説明するための図である。設定部２２は、量子化値ＱＰ（ＰＩＣ）とノイズ値ＮＯＩＳＥ（ＭＢ）とに基づいて、量子化値ＱＰ（ＭＢ）を設定する。設定部２２は、下記式（７）で示される演算を行うことにより、ノイズ値ＮＯＩＳＥ（ＭＢ）に基づいて量子化値ＱＰ（ＭＢ）を算出する。図１１に示すように、設定部２２は、ノイズ値ＮＯＩＳＥ（ＭＢ）が高いほど高い量子化値ＱＰ（ＭＢ）を設定する。
【０１００】
【数７】
2015177199.tif 000009
【０１０１】
また、設定部２２は、量子化値ＱＰ（ＰＩＣ）を量子化値ＱＰ（ＭＢ）の上限値として用いることにより、式（７）の演算によって算出した量子化値ＱＰ（ＭＢ）が量子化値ＱＰ（ＰＩＣ）を超える場合には、量子化値ＱＰ（ＰＩＣ）を量子化値ＱＰ（ＭＢ）として設定する。
【０１０２】
図１２は、量子化値ＱＰ（ＭＢ）の第２の設定処理を実現するための画像処理装置１の構成を示す図である。演算部１９から設定部２２にノイズ値ＮＯＩＳＥ（ＭＢ）が入力される。
【０１０３】
なお、式（７）において、ノイズ値ＮＯＩＳＥ（ＭＢ）の代わりにノイズ値ＮＯＩＳＥ（ＰＩＣ）を代入することによって、量子化値ＱＰ（ＰＩＣ）を算出することができる。従って、設定部２１は、図３に示したルックアップテーブルに代えて、式（７）を用いた演算によって量子化値ＱＰ（ＰＩＣ）を設定しても良い。
【０１０４】
＜ＳＭ（ＭＢ）の設定処理＞
図１３〜１５は、設定部２４によるスケーリングマトリクスＳＭ（ＭＢ）の設定処理を説明するための図である。設定部２４は、スケーリングマトリクスＳＭ（ＰＩＣ）と活発性評価値ＡＣＴ（ＭＢ）とに基づいて、スケーリングマトリクスＳＭ（ＭＢ）を設定する。
【０１０５】
図１３を参照して、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が低レベル（値Ａ１未満）のマクロブロックに関しては、低レベル用のマスクＭＬを用いてスケーリングマトリクスＳＭ（ＰＩＣ）をマスキングする。マスクＭＬにおいては、「１」の乗数によって低周波成分をスルーし、略ゼロ値の乗数によって中周波成分及び高周波成分をカットするマスク値が設定されている。これにより、低周波成分においてはスケーリングマトリクスＳＭ（ＰＩＣ）の補正値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定され、中周波成分及び高周波成分においては略ゼロ値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定される。
【０１０６】
図１４を参照して、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が中レベル（値Ａ１以上かつ値Ａ２以下）のマクロブロックに関しては、中レベル用のマスクＭＭを用いてスケーリングマトリクスＳＭ（ＰＩＣ）をマスキングする。マスクＭＭにおいては、「１」の乗数によって低周波成分及び中周波成分をスルーし、略ゼロ値の乗数によって高周波成分をカットするマスク値が設定されている。これにより、低周波成分及び中周波成分においてはスケーリングマトリクスＳＭ（ＰＩＣ）の補正値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定され、高周波成分においては略ゼロ値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定される。
【０１０７】
図１５を参照して、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が高レベル（値Ａ２超）のマクロブロックに関しては、高レベル用のマスクＭＨを用いてスケーリングマトリクスＳＭ（ＰＩＣ）をマスキングする。マスクＭＨにおいては、「１」の乗数によって低周波成分、中周波成分、及び高周波成分をスルーするマスク値が設定されている。これにより、低周波成分、中周波成分、及び高周波成分の全てにおいて、スケーリングマトリクスＳＭ（ＰＩＣ）の補正値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定される。
【０１０８】
なお、上記では３種類のマスクＭＬ，ＭＭ，ＭＨを用いて３段階のマスキング処理を行う例について説明したが、活発性評価値ＡＣＴ（ＭＢ）等の変数に応じて４種類以上のマスクを用意することにより、４段階以上（例えば８段階）のマスキング処理を行ってもよい。また、図１３〜１５に示した各マスクＭＬ，ＭＭ，ＭＨの乗数は一例であり、この例には限定されない。各マスクＭＬ，ＭＭ，ＭＨに設定する乗数は、ノイズ量等に応じて任意に決定することができる。
【０１０９】
＜ノイズ除去処理の実行要否の判定処理＞
演算部１９は、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の平均値として、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出し、当該ノイズ値ＮＯＩＳＥ（ＰＩＣ）をＣＰＵ２に入力する。また、演算部２０は、入力画像内の全てのマクロブロックに関する活発性評価値ＡＣＴ（ＭＢ）の平均値として、活発性評価値ＡＣＴ（ＰＩＣ）を算出し、当該活発性評価値ＡＣＴ（ＰＩＣ）をＣＰＵ２に入力する。
【０１１０】
ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）と、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）とに基づいて、入力画像毎にノイズ除去処理の実行の要否を判定する。
【０１１１】
ＣＰＵ２は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を活発性評価値ＡＣＴ（ＰＩＣ）で除算する演算（ＮＯＩＳＥ（ＰＩＣ）／ＡＣＴ（ＰＩＣ））を行うことによってノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値（例えば「１」）未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。このように、ノイズ除去処理の実行のＯＮ／ＯＦＦをピクチャ単位で制御することにより、消費電力を削減することができる。
【０１１２】
なお、処理の遅延時間が問題とならない場合、例えば入力画像が静止画である場合には、ＣＰＵ２は、入力画像自身のノイズ値ＮＯＩＳＥ（ＰＩＣ）及び活発性評価値ＡＣＴ（ＰＩＣ）を算出し、それらに基づいてノイズ除去処理の実行の要否を判定すればよい。
【０１１３】
一方、処理の遅延時間が問題となる場合、例えば入力画像が動画である場合には、ＣＰＵ２は、直前（１フレーム前）の入力画像のノイズ値ＮＯＩＳＥ（ＰＩＣ）及び活発性評価値ＡＣＴ（ＰＩＣ）に基づいて、現入力画像に関するノイズ除去処理の実行の要否を判定すればよい。
【０１１４】
＜第１の変形例＞
上記実施の形態では、量子化値ＱＰ（ＰＩＣ）及び量子化値ＱＰ（ＭＢ）の双方に基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＰＩＣ）及びスケーリングマトリクスＳＭ（ＭＢ）の双方に基づいて補正値を設定したが、量子化値ＱＰ（ＰＩＣ）のみに基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＰＩＣ）のみに基づいて補正値を設定することもできる。
【０１１５】
図１６は、本変形例に係る画像処理装置１の構成を示す図である。図１に示した構成から設定部２２，２４が省略されている。
【０１１６】
図１７は、本変形例に係る画像処理装置１が実行するノイズ除去処理の流れを示すフローチャートである。まずステップＰ２０１において設定部１７は、ＣＰＵ２によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ１６を設定する。実行が不要である場合は処理を終了する。
【０１１７】
実行が必要である場合は、次にステップＰ２０２において設定部２１は、量子化値ＱＰ（ＰＩＣ）を設定する。
【０１１８】
次にステップＰ２０３において設定部２３は、スケーリングマトリクスＳＭ（ＰＩＣ）を設定する。
【０１１９】
次にステップＰ２０４〜Ｐ２０８において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。
【０１２０】
ステップＰ２０４において変換部１１は、画像データＤ１を画像データＤ２に変換する。
【０１２１】
次にステップＰ２０５において量子化部１２は、量子化値ＱＰ（ＰＩＣ）を用いた量子化処理によって画像データＤ２から画像データＤ３を生成する。
【０１２２】
次にステップＰ２０６において補正部１３は、スケーリングマトリクスＳＭ（ＰＩＣ）を用いた補正処理によって画像データＤ３から画像データＤ４を生成する。
【０１２３】
次にステップＰ２０７において逆量子化部１４は、逆量子化処理によって画像データＤ４から画像データＤ５を生成する。
【０１２４】
次にステップＰ２０８において逆変換部１５は、逆ＤＣＴ変換によって画像データＤ５を画像データＤ６に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。
【０１２５】
＜第２の変形例＞
上記実施の形態では、量子化値ＱＰ（ＰＩＣ）及び量子化値ＱＰ（ＭＢ）の双方に基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＰＩＣ）及びスケーリングマトリクスＳＭ（ＭＢ）の双方に基づいて補正値を設定したが、量子化値ＱＰ（ＭＢ）のみに基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＭＢ）のみに基づいて補正値を設定することもできる。
【０１２６】
図１８は、本変形例に係る画像処理装置１の構成を示す図である。図１に示した構成から設定部２１，２３が省略されている。
【０１２７】
図１９は、本変形例に係る画像処理装置１が実行するノイズ除去処理の流れを示すフローチャートである。まずステップＰ３０１において設定部１７は、ＣＰＵ２によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ１６を設定する。実行が不要である場合は処理を終了する。
【０１２８】
次にステップＰ３０２〜Ｐ３０８において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。
【０１２９】
ステップＰ３０２において演算部２０は、活発性評価値ＡＣＴ（ＭＢ）を算出する。
【０１３０】
次にステップＰ３０３において設定部２２は、量子化値ＱＰ（ＭＢ）を設定する。また、設定部２４は、スケーリングマトリクスＳＭ（ＭＢ）を設定する。本変形例では、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が低レベル（値Ａ１未満）のマクロブロックに関しては、低レベル用のマスクＭＬ（図１３）をスケーリングマトリクスＳＭ（ＭＢ）として用いる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が中レベル（値Ａ１以上かつ値Ａ２以下）のマクロブロックに関しては、中レベル用のマスクＭＭ（図１４）をスケーリングマトリクスＳＭ（ＭＢ）として用いる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が高レベル（値Ａ２超）のマクロブロックに関しては、高レベル用のマスクＭＨ（図１５）をスケーリングマトリクスＳＭ（ＭＢ）として用いる。
【０１３１】
次にステップＰ３０４において変換部１１は、画像データＤ１を画像データＤ２に変換する。
【０１３２】
次にステップＰ３０５において量子化部１２は、量子化値ＱＰ（ＭＢ）を用いた量子化処理によって画像データＤ２から画像データＤ３を生成する。
【０１３３】
次にステップＰ３０６において補正部１３は、スケーリングマトリクスＳＭ（ＭＢ）を用いた補正処理によって画像データＤ３から画像データＤ４を生成する。
【０１３４】
次にステップＰ３０７において逆量子化部１４は、逆量子化処理によって画像データＤ４から画像データＤ５を生成する。
【０１３５】
次にステップＰ３０８において逆変換部１５は、逆ＤＣＴ変換によって画像データＤ５を画像データＤ６に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。
【０１３６】
＜第３の変形例＞
上記実施の形態では、入力画像の各色成分に対して独立にノイズ除去処理を実行したが、全て（又は一部の複数）の色成分に対して統合的なノイズ除去処理を行うこともできる。
【０１３７】
演算部１９は、各色成分のノイズ値ＮＯＩＳＥ（ＰＩＣ）を平均化することによって、全ての色成分に関する平均ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出する。演算部２０は、各色成分の活発性評価値ＡＣＴ（ＰＩＣ）を平均化することによって、全ての色成分に関する平均活発性評価値ＡＣＴ（ＰＩＣ）を算出する。
【０１３８】
演算部１９は、各色成分のノイズ値ＮＯＩＳＥ（ＭＢ）を平均化することによって、全ての色成分に関する平均ノイズ値ＮＯＩＳＥ（ＭＢ）を算出する。演算部２０は、各色成分の活発性評価値ＡＣＴ（ＭＢ）を平均化することによって、全ての色成分に関する平均活発性評価値ＡＣＴ（ＭＢ）を算出する。
【０１３９】
そして、これらの平均ノイズ値ＮＯＩＳＥ（ＰＩＣ），ＮＯＩＳＥ（ＭＢ）及び平均活発性評価値ＡＣＴ（ＰＩＣ），ＡＣＴ（ＭＢ）を用いて設定された、全ての色成分に共通する共通量子化値ＱＰ（ＰＩＣ），ＱＰ（ＭＢ）及び共通スケーリングマトリクスＳＭ（ＰＩＣ），ＳＭ（ＭＢ）を用いて、統合的なノイズ除去処理が実行される。
【０１４０】
このように、全て（又は一部の複数）の色成分に対して統合的なノイズ除去処理を行うことにより、ノイズ検出精度を向上することができる。また、色成分間のノイズ除去効果のばらつきが抑制されるため、画質を向上することができる。
【０１４１】
一方、上記実施の形態のように入力画像の各色成分に対して独立にノイズ除去処理を実行することにより、色成分毎に最適なノイズ除去効果を得ることができる。一部の色成分のみのノイズ量が突出している場合等、色成分間でノイズ量が大きく異なる場合には、上記実施の形態の手法が有効である。
【０１４２】
＜第４の変形例＞
上記実施の形態では、専用ＬＳＩ等のハードウェアによって画像処理装置１を構成する例について説明したが、ＲＯＭ等の記録媒体に記録されたプログラムをＣＰＵ２が読み出して実行することにより、画像処理装置１と同様の機能をＣＰＵ２がソフトウェア処理によって実現する構成としても良い。
【０１４３】
＜まとめ＞
上記実施の形態に係る画像処理装置１及び上記第２の変形例に係る画像処理装置１によれば、設定部２２（量子化値設定部）は、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいて、量子化処理に用いるマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定する。このように、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいてマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定することにより、マクロブロックの属性に応じて、マクロブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
【０１４４】
また、上記実施の形態に係る画像処理装置１及び上記第２の変形例に係る画像処理装置１によれば、設定部２４（補正値設定部）は、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいて、補正処理に用いるマクロブロック毎のスケーリングマトリクスＳＭ（ＭＢ）（補正値）を設定する。このように、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいてマクロブロック毎の補正値を設定することにより、マクロブロックの属性に応じて、マクロブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。
【０１４５】
また、上記実施の形態に係る画像処理装置１によれば、演算部２０は、各画素の平滑値（上記の例では重み付き平均値）と、平滑値のマクロブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。これにより、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を演算部２０によって適切に求めることが可能となる。
【０１４６】
また、上記実施の形態に係る画像処理装置１によれば、設定部２２は、活発性評価値ＡＣＴ（ＭＢ）が低レベルのマクロブロックに関しては、高い量子化値ＱＰ（ＭＢ）を設定する。活発性評価値ＡＣＴ（ＭＢ）が低くノイズが目立ちやすい平坦部に関しては、量子化値ＱＰ（ＭＢ）を高く設定することにより、量子化処理による高いノイズ除去効果を得ることが可能となる。また、設定部２２は、活発性評価値ＡＣＴ（ＭＢ）が高レベルのマクロブロックに関しては、低い量子化値ＱＰ（ＭＢ）を設定する。活発性評価値ＡＣＴ（ＭＢ）が高いエッジ部やテクスチャ部に関しては、量子化値ＱＰ（ＭＢ）を低く設定することにより、量子化に伴ってエッジ部やテクスチャ部が不鮮明になることを回避でき、画質を向上することが可能となる。また、設定部２２は、活発性評価値ＡＣＴ（ＭＢ）が中レベルのマクロブロックに関しては、中程度の量子化値ＱＰ（ＭＢ）を設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、量子化値ＱＰ（ＭＢ）を中程度に設定することにより、当該画像部分に対するノイズ除去効果が過大又は過小となることを回避することが可能となる。
【０１４７】
また、上記実施の形態に係る画像処理装置１によれば、設定部２２は、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）に基づいて、量子化処理に用いるマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定する。このように、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）に基づいてマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定することにより、マクロブロック毎のノイズレベルに応じて、マクロブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
【０１４８】
また、上記実施の形態に係る画像処理装置１によれば、設定部２４は、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいて、補正処理に用いるマクロブロック毎の補正値を設定する。このように、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいてマクロブロック毎の補正値を設定することにより、マクロブロックの属性に応じて、マクロブロック毎に適切な補正処理を実行することができる。その結果、マクロブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。
【０１４９】
また、上記実施の形態に係る画像処理装置１によれば、演算部１９（第１の演算部）は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）を算出する。これにより、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）を演算部１９によって適切に求めることが可能となる。
【０１５０】
また、上記実施の形態に係る画像処理装置１によれば、設定部２０は、ノイズ値が高いほど高い量子化値ＱＰ（ＭＢ）を設定する。このように、ノイズ値が高いマクロブロックに関しては量子化値ＱＰ（ＭＢ）を高く設定することにより、量子化処理による高いノイズ除去効果を得ることができる。また、ノイズ値が低いマクロブロックに関しては量子化値ＱＰ（ＭＢ）を低く設定することにより、量子化処理に伴う画質の劣化を回避することができる。
【０１５１】
また、上記実施の形態に係る画像処理装置１によれば、演算部２０（第２の演算部）は、各画素の平滑値と、平滑値のマクロブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。これにより、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を演算部２０によって適切に求めることが可能となる。
【０１５２】
また、上記実施の形態に係る画像処理装置１によれば、設定部２４は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値ＡＣＴ（ＭＢ）に応じて複数種類保持しており、演算部２０によって算出された活発性評価値ＡＣＴ（ＭＢ）に対応するマスクに設定されている乗数を、補正値として設定する。その結果、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に応じた補正値を、簡易かつ適切に設定することが可能となる。
【０１５３】
また、上記実施の形態に係る画像処理装置１によれば、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が低レベルのマクロブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定する。活発性評価値ＡＣＴ（ＭＢ）が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が高レベルのマクロブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定する。活発性評価値ＡＣＴ（ＭＢ）が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が中レベルのブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。
【０１５４】
また、上記実施の形態に係る画像処理装置１によれば、ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）と、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）とに基づいて、ノイズ除去処理の実行の要否を判定する。これにより、ノイズ除去処理が真に必要な入力画像を対象としてノイズ除去処理を実行でき、不要な入力画像に対するノイズ除去処理の実行を回避できるため、消費電力を削減することが可能となる。
【０１５５】
また、上記実施の形態に係る画像処理装置１によれば、ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）を、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）で除算することによって、ノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。ＣＰＵ２がこのような判定処理を行うことにより、ノイズ除去処理が真に必要な入力画像を高精度に特定することが可能となる。
【０１５６】
また、上記実施の形態に係る画像処理装置１によれば、変換部１１、量子化部１２、及び補正部１３は、入力画像から部分的に重複するように抽出された複数のマクロブロックに関して順次に処理を行う。このように、マクロブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のマクロブロックが重複する画像部分については、重複する複数のマクロブロックから求めた最適値（上記の例では平均値）が当該画像部分の画像データとして出力される。このように、重複部分については複数のマクロブロックから求めた最適値を出力することにより、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。
【符号の説明】
【０１５７】
１  画像処理装置
１１  変換部
１２  量子化部
１３  補正部
１７  設定部
１８  フィルタ
１９，２０  演算部
２１〜２４  設定部
【図１】
2015177199.tif 000010
【図２】
2015177199.tif 000011
【図３】
2015177199.tif 000012
【図４】
2015177199.tif 000013
【図５】
2015177199.tif 000014
【図６】
2015177199.tif 000015
【図７】
2015177199.tif 000016
【図８】
2015177199.tif 000017
【図９】
2015177199.tif 000018
【図１０】
2015177199.tif 000019
【図１１】
2015177199.tif 000020
【図１２】
2015177199.tif 000021
【図１３】
2015177199.tif 000022
【図１４】
2015177199.tif 000023
【図１５】
2015177199.tif 000024
【図１６】
2015177199.tif 000025
【図１７】
2015177199.tif 000026
【図１８】
2015177199.tif 000027
【図１９】
2015177199.tif 000028