"デノイズ対象画像におけるデノイズの対象画素に対する比較元となるテンプレートと,デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い,テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法であって,前記デノイズ対象画像を用いてエッジ方向を算出するステップと,算出されたエッジ方向を,前記探索形状の制限に用いる指標とし,前記エッジ方向に直交する方向の前記探索点の数が,前記エッジ方向に沿う前記探索点の数よりも少ない探索形状を設定するステップと,前記テンプレートマッチングを,設定された探索形状内の各探索点に対してのみ行い,前記対象画素のノイズを除去する処理を実行するステップとを有することを特徴とする画像処理方法。デノイズ対象画像におけるデノイズの対象画素に対する比較元となるテンプレートと,デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い,テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理装置であって,前記デノイズ対象画像を用いてエッジ方向を算出するエッジ方向検出部と,算出されたエッジ方向を,前記探索形状の制限に用いる指標とし,前記エッジ方向に直交する方向の前記探索点の数が,前記エッジ方向に沿う前記探索点の数よりも少ない探索形状を設定する探索形状設定部と,前記テンプレートマッチングを,設定された探索形状内の各探索点に対してのみ行い,前記対象画素のノイズを除去する処理を実行するフィルタ実行部とを備えることを特徴とする画像処理装置。ループフィルタを用いて映像を符号化または復号する映像符号化/復号方法であって,前記ループフィルタは,復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと,デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い,テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて,復号画像のノイズを除去するフィルタであり,前記復号画像を用いてエッジ方向を算出するステップと,算出されたエッジ方向を,前記探索形状の制限に用いる指標とし,前記エッジ方向に直交する方向の前記探索点の数が,前記エッジ方向に沿う前記探索点の数よりも少ない探索形状を設定するステップと,前記テンプレートマッチングを,設定された探索形状内の各探索点に対してのみ行い,前記対象画素のノイズを除去する処理を実行するステップとを実行することを特徴とする映像符号化/復号方法。請求項3記載の映像符号化/復号方法において,前記ループフィルタは,さらに,前記復号画像を用いて,前記対象画素と対象画素の周辺画素との乖離度を算出するステップと,前記乖離度を,前記テンプレート形状の制限に用いる指標とし,前記乖離度が高い領域のテンプレート形状は担保し,前記乖離度が低い領域のテンプレート形状を小さく制限するステップとを実行することを特徴とする映像符号化/復号方法。ループフィルタを用いて映像を符号化または復号する映像符号化/復号装置であって,前記ループフィルタは,復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと,デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い,テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理装置を用いて,復号画像のノイズを除去するフィルタであり,前記復号画像を用いてエッジ方向を算出するエッジ方向検出部と,算出されたエッジ方向を,前記探索形状の制限に用いる指標とし,前記エッジ方向に直交する方向の前記探索点の数が,前記エッジ方向に沿う前記探索点の数よりも少ない探索形状を設定する探索形状設定部と,前記テンプレートマッチングを,設定された探索形状内の各探索点に対してのみ行い,前記対象画素のノイズを除去する処理を実行するフィルタ実行部とを備えることを特徴とする映像符号化/復号装置。請求項5記載の映像符号化/復号装置において,前記ループフィルタは,さらに,前記復号画像を用いて,前記対象画素と対象画素の周辺画素との乖離度を算出する乖離度検出部と,前記乖離度を,前記テンプレート形状の制限に用いる指標とし,前記乖離度が高い領域のテンプレート形状は担保し,前記乖離度が低い領域のテンプレート形状を小さく制限するテンプレート形状設定部とを備えることを特徴とする映像符号化/復号装置。請求項1の画像処理方法をコンピュータに実行させるための画像処理プログラム。請求項3または請求項4記載の映像符号化/復号方法を,コンピュータに実行させるための映像符号化/復号プログラム。前述のように次世代映像符号化標準方式のHighEfficiencyVideoCodingのHMには,符号化歪を除去するためにデブロッキングフィルタによるデノイズフィルタが搭載されているが,上記NLMフィルタをHMに導入すれば,従来のデブロッキングフィルタよりも符号化効率を高めることができると考えられる。しかし,NLMフィルタは演算量が膨大であり,そのため,復号装置でNLMフィルタをすべての画素に対して計算すると,復号に要する計算時間が大きく増加してしまうおそれがある。前述したように,デノイズ対象画素一つ一つに対して,任意の探索形状内の探索点各点に対し,任意のテンプレート形状にてテンプレートマッチングを行い,テンプレート類似度の計算を行う。そのため,例えばテンプレート形状がN×Nブロック,探索形状がM×Mであると仮定すると,1画素のデノイズ計算を行うためにN2×M2オーダーの演算量が必要になる。したがって,NLMフィルタを復号装置等で用いるためには,この演算量を削減する技術が必要とされる。本発明は,以上の課題の解決を図り,符号化効率の低下を抑えつつ,デノイズフィルタの演算量を削減する技術を提供することを目的とする。なお,ここで符号化効率としては,例えば画質と符号量から計算される国際的な評価手法の一つであるBD-rateを用いる。本発明は,上記課題を解決するため,デノイズ対象画像におけるデノイズの対象画素に対する比較元となるテンプレートと,デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い,テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理において,以下の処理を実行することを特徴とする。1前記デノイズ対象画像を用いてエッジ方向を算出する。2算出されたエッジ方向を,前記探索形状の制限に用いる指標とし,前記エッジ方向に直交する方向の前記探索点の数が,前記エッジ方向に沿う前記探索点の数よりも少ない探索形状を設定する。3前記テンプレートマッチングを,設定された探索形状内の各探索点に対してのみ行い,前記対象画素のノイズを除去する処理を実行する。また,本発明は,上記画像処理を,映像符号化または復号におけるループフィルタ従来のデブロッキングフィルタに相当に適用することを特徴とする。さらに,本発明は,上記画像処理を,映像符号化または復号におけるループフィルタに適用するにあたって,上記処理1~3に加えて,以下の処理を実行することを特徴とする。4復号画像を用いて,前記対象画素と対象画素の周辺画素との乖離度を算出する。5前記乖離度を,前記テンプレート形状の制限に用いる指標とし,前記乖離度が高い領域のテンプレート形状は担保し,前記乖離度が低い領域のテンプレート形状を小さく制限する処理を実行する。また,さらに以下の6の処理を付け加えてもよい。6処理5で制限したテンプレート形状において過剰に割り当てられていた領域を検出し,テンプレート形状の再設定によりテンプレート形状をさらに制限する。以上のように,処理1では,デノイズ対象画像におけるエッジの方向を検出し,処理2では,処理1のエッジ方向に沿う方向の探索点は担保し,エッジ方向と垂直な方向の探索点を削減するように,デノイズ対象画像における各画素ごとに探索形状を制限する。これにより,デノイズフィルタの演算量を削減することができる。また,以上の画像処理を,映像符号化/復号処理と組み合わせて,ループフィルタに適用することにより,符号化効率の低下を抑えたループフィルタの演算量削減が可能となる。さらに,上記処理4,5により,従来は画面全体に対して固定値で一意に与えられていたテンプレート形状に対して,画素ごとにテンプレート形状を制限する処理を導入し,テンプレートマッチングにおける演算量を削減することができる。また,さらに処理6を実行すれば,演算量のさらなる削減が可能になる。本発明の効果として,以下が挙げられる。1.デノイズフィルタの演算量削減本発明によれば,探索形状を制限し,テンプレートマッチング対象の探索点数を削減することにより,テンプレートマッチングの計算回数が減少し,演算量の削減が可能になる。2.映像符号化/復号を組み合わせた際に実現できるデノイズフィルタの演算量削減また,本発明によれば,映像符号化/復号におけるループフィルタに適用することにより,符号化効率の低下を抑えた演算量の削減を実現することができる。さらに,テンプレート形状を制限し,テンプレート内画素同士の比較計算を行う画素数を削減する処理を導入すれば,画素同士の比較計算回数が減少し,演算量を削減することができる。すなわち,探索領域を制限する手法とテンプレート形状を制限する手法とを組み合わせると,探索点における各点にてテンプレートマッチングを行うため,制限された探索形状内でさらに制限されたテンプレート形状の計算が行われることになり,演算量を相乗的に削減することができる。以下,図面を用いながら,本発明の実施の形態を説明する。第1実施形態図1は,本発明の第1実施形態に係る画像処理装置の構成例を示す図である。画像処理装置10は,エッジ方向検出部102,探索形状設定部103,NLMフィルタ実行部104からなるデノイズフィルタ処理部101を備える。この画像処理装置10では,デノイズフィルタ処理部101は,デノイズ係数,探索形状,テンプレート形状,デノイズ対象画像の4情報を入力し,フィルタ後のノイズが除去された画像を出力する。エッジ方向検出部102は,デノイズ対象画像のエッジ方向を検出し,デノイズ対象画像における各画素に対応付けられたエッジ方向群を出力する。エッジ方向の例としては,方向ごとに番号付けされた番号群や角度群などが挙げられる。探索形状設定部103は,探索形状を入力し,入力した探索形状を最大形状として,デノイズ対象画像における各画素に対応付けられた探索形状群を出力する。画素ごとの探索形状群は,エッジ方向に沿う方向の探索点数を担保し,エッジ方向に垂直な方向の探索点を削減した形状とする。NLMフィルタ実行部104は,デノイズ対象画像,デノイズ係数,テンプレート形状,および探索形状設定部103が設定した画素ごとの探索形状群を入力し,デノイズ後の画像を出力する。このNLMフィルタ実行部104が行う処理は,非特許文献1に示されている従来のNLMフィルタの処理と同様である。図2は,図1に示す画像処理装置10の処理フローチャートである。まず,ステップS101では,デノイズフィルタ処理部101が,外部からの入力により,デノイズ係数,デノイズ対象画像,探索形状,テンプレート形状の各情報を取得する。ステップS102では,エッジ方向検出部102が,デノイズ対象画像のエッジ方向を検出し,エッジ方向群を出力する。次に,ステップS103では,探索形状設定部103が,エッジ方向検出部102により検出したエッジ方向に応じて,入力された探索形状を制限し,画素ごとの探索形状群を出力する。出力する探索形状群の探索形状は,入力された探索形状を最大とし,それよりも小さい探索形状である。最後に,ステップS104では,NLMフィルタ実行部104が,設定された情報に応じてNLMフィルタを実行し,フィルタ後の結果画像を出力する。図3は,探索形状の削減によるデノイズフィルタの演算量の削減を説明する図である。図3において,P0はデノイズ対象画素,Eは検出されたエッジ方向,Q0は削減前の探索形状,Q1は削減後の探索形状を表している。従来,例えば図3Aのように,探索形状Q0は,画面全体に対して固定値で一意に与えられていたのに対し,本実施形態では,エッジ方向検出部102によって,デノイズ対象画像におけるエッジ方向Eを検出し,探索形状設定部103によって,図3Bに示すように,エッジ方向Eに沿う方向の探索点を担保し,エッジ方向Eと垂直な方向の探索点を削減した探索形状Q1を設定することにより,画素ごとに探索形状を制限する処理を導入する。なお,テンプレートマッチングにおいては,デノイズ対象画素P0は計算対象から除外する。これはテンプレート類似度の指標であるSSDやSADは必ず0になり,図27で説明したNLMフィルタ処理における重み値として,必ずW=1.0が出力されるためである。したがって,削減前の探索形状Q0に対するテンプレートマッチングの回数は48回であるのに対し,削減後の探索形状Q1に対するテンプレートマッチングの回数は24回となり,演算量が約50減少することになる。第2実施形態図4は,本発明の第2実施形態に係る画像処理装置の構成例を示す図である。画像処理装置11は,エッジ方向検出部112,探索形状設定部113,NLMフィルタ実行部114からなるデノイズフィルタ処理部111を備えるとともに,デノイズ係数算出部115を備える。この画像処理装置11は,ノイズが付与される前の原画像を入力してデノイズ係数を算出するデノイズ係数算出部115が備わっている点が,第1実施形態に係る画像処理装置10と異なる。デノイズフィルタ処理部111の構成は,第1実施形態のデノイズフィルタ処理部101の構成と同様である。図5は,図4に示す画像処理装置11の処理フローチャートである。まず,ステップS111では,画像処理装置11が,外部からの入力により,原画像,デノイズ対象画像,探索形状,テンプレート形状の各情報を取得する。ステップS112では,デノイズ係数算出部115が,入力した原画像とデノイズ対象画像の分散からデノイズ係数を算出し,算出したデノイズ係数をNLMフィルタ実行部114へ通知する。ステップS113では,エッジ方向検出部112が,デノイズ対象画像のエッジ方向を検出し,エッジ方向群を出力する。次に,ステップS114では,探索形状設定部113が,エッジ方向検出部112により検出したエッジ方向に応じて,入力された探索形状を制限し,画素ごとの探索形状群を出力する。出力する探索形状群の探索形状は,入力された探索形状を最大とし,それよりも小さい探索形状である。最後に,ステップS116では,NLMフィルタ実行部114が,設定された情報に応じてNLMフィルタを実行し,フィルタ後の結果画像を出力する。第3実施形態図6は,本発明の第3実施形態に係る画像処理装置の構成例を示す図である。画像処理装置12は,エッジ方向検出部122,探索形状設定部123,NLMフィルタ実行部124,探索形状記憶部125,テンプレート形状記憶部126からなるデノイズフィルタ処理部121を備える。この画像処理装置12は,デノイズ係数およびデノイズ対象画像だけを入力し,探索形状およびテンプレート形状については,デノイズフィルタ処理部121が保有している固定値を用いる点が,上述した第1実施形態に係る画像処理装置10と異なる。すなわち,デノイズフィルタ処理部121は,探索形状およびテンプレート形状を外部から入力する代わりに,探索形状記憶部125,テンプレート形状記憶部126にそれぞれ記憶している固定の探索形状,テンプレート形状を用いる。エッジ方向検出部122,探索形状設定部123,NLMフィルタ実行部124の構成は,第1実施形態で説明したものと同様である。第4実施形態前述した第3実施形態では,探索形状およびテンプレート形状の双方を,デノイズフィルタ処理部121が固定値として保有しているが,探索形状およびテンプレート形状のうちの一方だけを固定値として保有し,他方を外部からの入力として可変にする実施も可能である。また,第3実施形態において,さらに第2実施形態のように,デノイズ係数算出部を設けて,デノイズ係数を原画像から算出する実施形態を採ることもできる。基本的な処理の流れは,第1実施形態,第2実施形態で説明した例と同様であるので,その詳細な処理の説明は省略する。エッジ方向検出方法の例1エッジ方向検出部102,112,122におけるエッジ方向検出方法の例の一つとして,復号画像に対してソーベルフィルタを適用することによってエッジ方向を検出し,方向ごとに割り当てた番号を出力する例を挙げる。図7は,そのエッジ方向検出方法の例を説明する図である。周辺画素に対して,図7Aに示すソーベルオペーレータを適用し,検出したエッジ方向に応じて,図7Bに示すように,番号VecIndex0~10を割り当てる。このとき,閾値Thを1つ設定し,x軸,y軸それぞれの成分dx,dyの絶対値和が閾値Th以下であれば,該当画素には強いエッジが存在しないものとしてVecIndexに0番を割り当て,番号をエッジ方向群として出力する。図7Cは,その番号を割り当てるアルゴリズムを示している。|dx||dy|<Thならば,VecIndex=0とする。上記に該当せず,dy=0ならば,VecIndex=6とする。上記に該当せず,dx/dy<-8.0であれば,VecIndex=6とする。上記に該当せず,dx/dy<-2.0であれば,VecIndex=7とする。上記に該当せず,dx/dy<-1.0であれば,VecIndex=8とする。上記に該当せず,dx/dy<-0.5であれば,VecIndex=9とする。上記に該当せず,dx/dy<-0.125であれば,VecIndex=10とする。上記に該当せず,dx/dy<0.125であれば,VecIndex=1とする。上記に該当せず,dx/dy<0.5であれば,VecIndex=2とする。上記に該当せず,dx/dy<1.0であれば,VecIndex=3とする。上記に該当せず,dx/dy<2.0であれば,VecIndex=4とする。上記に該当せず,dx/dy<8.0であれば,VecIndex=5とする。上記のどれにも該当しない場合,VecIndex=6とする。DCTによるモスキートノイズや撮像時のノイズの影響を軽減するため,また,演算量削減のため,入力とするデノイズ対象画像に対して等倍画像ではなく,縦横1/Nに縮小した画像に対するソーベルフィルタの適用も効果的である。1/Nに縮小した画像に対してソーベルフィルタを適用した場合,算出したソーベルフィルタの出力結果は,縮小時に使用した複数の画素群の代表値として扱う。探索形状設定方法の例1探索形状設定部103,113,123における探索形状設定方法の例の一つとして,図7で説明したエッジ方向番号VecIndexのエッジ方向群を用いて,装置から与えられる基準探索形状が5×5ブロックの全点を対象とする場合の探索形状の削減方法の例を説明する。探索形状設定部103,113,123は,エッジ方向検出部102,112,122から受け取るエッジ方向群に応じて,図8に示す探索点を設定する。図8の5×5ブロックにおいて,ハッチングで示した部分が削減後の探索形状となる。このようにする理由は,以下のとおりである。NLMフィルタの計算手法として,テンプレートマッチングでテンプレート類似度の指標となるSSDやSADを算出し,その指標に対してexponentialゲインの重みを設定する仕組みをとる。そのため顕著なエッジ周辺では,エッジに沿う方向にサンプリングを行えば効果的に類似度の高い位置を見つけることができる。一方,エッジから離れると類似度が大きく下がってしまうため,重みは小さな値となり,加重和計算時の影響力が小さい。したがって,エッジに沿う方向にサンプリングを集中させることで,デノイズ効果の悪化を抑制しながら演算量を抑えることができる。なお,図8の例では,5×5ブロックの中心位置ではテンプレート類似度の指標として扱うSSD/SADは必ずゼロになるため,この点は計算対象外となる。ゆえに,5×5ブロックの全点を探索点とした場合に計24点が計算対象となるのに対し,VecIndex=0では1/3,それ以外では5/12の演算量になる。すべてのVecIndexが均等に出現した場合,理論値では2/5強となる。シミュレーション結果上記エッジ検出方法の例1および探索形状設定方法の例1に記載した手法を用いて,縦横1/2画像を対象として2×2ブロックごとにエッジ方向を算出し,下記の設定にてシミュレーションを行った結果は,次のとおりであった。なお,デノイズ係数はNLMフィルタを複数回繰り返し,PSNRを最大となるように反復計算を行った最良の値である。デノイズ対象画像には,下記の各シーケンスの輝度信号に対して5~-5までのランダムなノイズを加え,フィルタ後のPSNR-Yと処理時間の各平均値にて評価を行った。<シミュレーション条件>シーケンス:BasketballDrive,BQTerrace,Cactus,ParkSceneFull-HD:1920×1080対象フレーム:先頭各10フレーム探索形状:5×5ブロックテンプレート形状:3×3ブロック<NLMフィルタに要する平均処理時間>表1から,縦横1/2画像を対象としたエッジ方向検出と2×2ブロックごとに発生する方向適用による条件分岐の影響のため,これらの影響による遅延が発生するが,PSNRを大きく下げずに,フィルタ全体の所要時間は平均約45にまで削減できていることがわかる。中にはエッジ方向に集中的にサンプリングしたほうが,平均的にPSNRが高まるシーケンスも見られる。エッジ方向検出方法の例2エッジ方向検出部102,112,122におけるエッジ方向検出方法の他の例として,デノイズ対象画像に対してソーベルフィルタを適用することによってエッジ方向を検出し,ラジアン角Radianを出力する例を挙げる。周辺画素に対して,前述した図7Aに示すソーベルオペーレータを適用し,x軸,y軸のそれぞれの成分dx,dyからarctan-π/2~π/2を用いてラジアン角を計算する。このとき,dx,dyの絶対値和が閾値Th以下であれば,arctan-π/2~π/2の出力範囲以外の値EXatan:例えば100などを設定する。すなわち,ラジアン角Radianを次のように定める。|dx||dy|<Thの場合,Radian=EXatanとする。上記に該当せず,dy=0であれば,Radian=π/2とする。他の場合,Radian=arctandx/dyとする。探索形状設定方法の例2探索形状設定部103,113,123における探索形状設定方法の他の例として,エッジ検出方法の例2で説明したラジアン角で与えられるエッジ方向群を用いて,装置から与えられる探索形状がN×Nブロックの全点を対象とする場合の探索形状を削減する方法の例を説明する。図9は,ラジアン角に応じた探索形状の設定例を示す図である。探索形状設定部103,113,123は,エッジ方向検出部102,112,122から受け取るラジアン角に応じて,図9に示した円または楕円内の探索点を,探索形状として設定する。ラジアン角RadianがEXatanの場合,図9Aに示すように,設定形状の直径がN-1となる円内の探索点を探索形状として設定する。また,ラジアン角RadianがEXatan以外の場合,図9Bに示すように,設定形状の長径がN×212,短径がN×212となる楕円内の探索点を探索形状として設定する。第5実施形態図10は,本発明の第5実施形態に係る画像処理装置の構成例を示す図である。画像処理装置13は,エッジ方向検出部132,探索形状設定部133,NLMフィルタ実行部134,探索形状記憶部135,テンプレート形状記憶部136,デノイズ係数設定部137,乖離度検出部138,テンプレート形状設定部139からなるデノイズフィルタ処理部131を備える。第5実施形態は,映像符号化装置または映像復号装置におけるループフィルタとして用いる画像処理装置13の例を示している。デノイズフィルタ処理部131におけるエッジ方向検出部132,探索形状設定部133,NLMフィルタ実行部134,探索形状記憶部135,テンプレート形状記憶部136の基本的な機能は,前述した第1~第4実施形態と同様である。デノイズ係数設定部137は,外部から与えられる基準となるデノイズ係数と符号化情報とを用いて,デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を生成する。一般に中~低レートでは,予測処理単位のPredictionUnitや変換処理単位のTransformUnitの各ユニット境界にてブロックノイズが目立ち始めるため,符号化情報を用いて,これら境界近傍の画素位置におけるデノイズ係数をブロック内部のデノイズ係数より高く設定する。乖離度検出部138とテンプレート形状設定部139は,画素ごとにテンプレート形状を制限する処理を導入するために設けられている。従来のNLMフィルタでは,テンプレート形状については一般に画面全体に対して固定値で与えられていたのに対し,本実施形態では,NLMフィルタ実行部134によるNLMフィルタの前処理として,乖離度検出部138により,デノイズ対象画像の各画素に対して周辺画素との乖離度を検出し,テンプレート形状設定部139により,乖離度検出部138が検出した乖離度を多段階に分類し,乖離度の強~弱に応じて当該画素のテンプレート形状大~小をそれぞれ設定する。図11は,図10に示す画像処理装置13の処理フローチャートである。まず,ステップS131では,デノイズフィルタ処理部131が,外部からの入力により,デノイズ係数,デノイズ対象画像,符号化情報を取得する。ステップS132では,デノイズ係数設定部137が,入力した基準となるデノイズ係数と符号化情報とから,デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を設定する。次に,ステップS133では,エッジ方向検出部132が,デノイズ対象画像のエッジ方向を検出し,エッジ方向群を出力する。ステップS134では,探索形状設定部133が,エッジ方向検出部132により検出したエッジ方向に応じて,入力された探索形状を制限し,画素ごとの探索形状群を設定する。設定する探索形状群の探索形状は,入力された探索形状を最大とし,それよりも小さい探索形状である。ステップS135では,乖離度検出部138が,デノイズ対象画像を入力とし,対象画素と周辺画素との乖離度を計算し,各画素に対応付けられた乖離度群を出力する。ステップS136では,テンプレート形状設定部139が,乖離度群と所定のテンプレート形状を用いて,各画素に対応付けられた制限されたテンプレート形状を設定し出力する。制限する際には,入力したテンプレート形状を最大形状として,乖離度が低いほどテンプレート形状が小さくなるように適用する。最後に,ステップS137では,NLMフィルタ実行部134が,設定された情報に応じてNLMフィルタを実行し,フィルタ後の結果画像を出力する。図12は,テンプレート形状設定部139によるテンプレート形状の制限の例を説明する図である。例えば,外部から指定されたテンプレート形状が,図12Aに示すように,5×5のブロックであったとする。このテンプレート形状を,乖離度に応じて,例えば図12Bに示すように制限する。テンプレート類似度としてSSDを用いる場合,元のテンプレート形状では,加算24回,減算25回,乗算25回の演算が必要であるのに対し,図12Bに示すようにテンプレート形状を制限することにより,加算12回,減算13回,乗算13回の演算で済むようになり,演算量が約50削減される。デノイズフィルタ処理部131による処理は,符号化によるノイズの除去が目的であり,一般の画像処理のように画面全体に一様にノイズがかかったノイズを除去するような想定は行わない。符号化によるノイズ符号化歪みは,大きく以下の種類に分類できる。1.平滑化による模様の消失2.DCTによるエッジ周辺のモスキートノイズ3.PredictionUnitやTransformUnitの各Unit境界に生じるブロックノイズこのうち,平滑化によって損失した模様の復元は非常に困難であるため,本実施形態では対象としない。このような画素値に変化のない平滑化した領域に対してNLMフィルタを適用すると,計算前後でほとんど画素信号は変化しないが,演算量は必要になる。本実施形態では,周辺画素との乖離度を計算することで,このように平滑化した領域にも割り当てられていた演算量を削減する。第6実施形態図13は,本発明の第6実施形態に係る画像処理装置の構成例を示す図である。画像処理装置14は,エッジ方向検出部142,探索形状設定部143,NLMフィルタ実行部144,探索形状記憶部145,テンプレート形状記憶部146,デノイズ係数設定部147,乖離度検出部148,テンプレート形状設定部149,およびテンプレート形状再設定部1410からなるデノイズフィルタ処理部141を備える。この画像処理装置14は,テンプレート形状再設定部1410が備わっている点が,第5実施形態における画像処理装置13と異なる。テンプレート形状再設定部1410は,エッジ方向と乖離度群,符号化情報を参照し,テンプレート形状設定部149にて過剰に割り当てられたテンプレート形状をさらに制限するための再設定を行う。具体的には,PredictionUnitやTransformUnitの各Unit境界に発生しやすいブロックノイズ周辺に過剰に割り当てられがちなテンプレート形状をさらに制限する。図14は,図13に示す画像処理装置14の処理フローチャートである。ステップS141からS146までの処理は,図11で説明したステップS131からS136までの処理と同様である。ステップS147では,テンプレート形状再設定部1410が,符号化情報とエッジ情報を用いて,テンプレート形状の再設定を行い,ステップS146で設定したテンプレート形状の過剰割り当てを削減する。最後に,ステップS148では,NLMフィルタ実行部144が,設定された情報に応じてNLMフィルタを実行し,フィルタ後の結果画像を出力する。乖離度検出方法の例乖離度検出部138,148における乖離度検出方法の一例を説明する。図15は,乖離度検出方法の例を説明する図である。図15Aに示す画素zをデノイズの対象画素とし,その周辺画素に対してa~xの番号を付与した場合について説明する。ここでは,当該画素zと周辺画素a~xとの差分絶対値に距離による減衰を考慮した係数を乗算した加重和を乖離度の指標DiffIntensityとして用いる。すなわち,DiffIntensityは,次式により算出される。DiffIntensity=A|h-z||l-z||m-z||q-z|B|g-z||i-z||p-z||r-z|C|c-z||k-z||n-z||v-z|D|b-z||d-z||f-z||j-z||o-z||s-z||u-z||w-z|E|a-z||e-z||t-z||x-z|式中のA~Eは,当該画素と周辺画素との距離に応じてあらかじめ定められた係数であり,任意に設定される。これらの係数A~Eの設定には,例えば,距離に応じたガウス分布などを適用することができる。なお,A~Eも全点を対象とする必要はなく,例えばDを0に設定すれば,フィルタ演算量を削減することができる。乖離度検出部138,148は,すべてのDiffIntensityの算出を終えたら,乖離度群を下位のテンプレート形状設定部139,149に出力する。他に,乖離度の算出に,ラプラシアンフィルタの絶対値やSSDSumofSquareDifference,分散などの適用も考えられる。さらに演算量削減のため,復号画像に対して任意サイズのN×Nブロックそれぞれに対して数点のサンプリング点を計算対象として設定し,当該画素位置における乖離度の代表値として用いる手法も考えられる。図15Bは,サンプリング数の間引きの例を示している。この例では,2×2ブロック分割にて,左上,右下の画素を計算対象としている。この例の乖離度を,DiffIntensity2x2と表すと,DiffIntensity2x2は,次式によって算出される。DiffIntensity2x2=Aの画素位置におけるDiffIntensityDの画素位置におけるDiffIntensity/2A~Dの画素位置における乖離度の参照要求があった場合,上記DiffIntensity2x2を代表値として用いる。この例では,乖離度計算に要する演算量は約半分になる。テンプレート形状設定方法の例1テンプレート形状設定部139,149におけるテンプレート形状設定方法の例の一つとして,乖離度検出部138,148が算出した乖離度群を用い,装置から与えられる基準となるテンプレート形状が3×3ブロックの全点を対象とする場合のテンプレート形状の削減の例を挙げる。図16は,乖離度のヒストグラムと閾値/領域設定の関係を示す図である。自然画像を対象とするとき,乖離度群のヒストグラムは値の低い側に偏り,乖離度が強くなるに従って出現頻度は低くなる。また,量子化パラメータの値が大きくなるに従ってヒストグラムは乖離度小の方に偏る特性を持つ。テンプレート形状設定部139,149は,入力した乖離度群のヒストグラムを作成し,ヒストグラムの面積比が均一になるように4分割して,それぞれの領域α~δのテンプレート形状TmpShapeを以下のように設定する。領域α,βの境界の値をThα,領域β,γの境界の値をThβ,領域γ,δの境界の値をThγとする。1乖離度が閾値Thαより小さいの場合TmpShape=None要素数0とする。TmpShapeがNoneの場合,テンプレートマッチングは行わない。2乖離度が閾値Thα以上でThβ未満の場合TmpShape=Point要素数1とする。TmpShapeがPointの場合,対象画素と探索点の画素についてのSSDだけを算出する。3乖離度が閾値Thβ以上でThγ未満の場合TmpShape=Cross要素数5とする。TmpShapeがCrossの場合,対象画素に上下左右の4画素を加えた5画素のテンプレート形状でマッチングを行う。4乖離度が閾値Thγ以上の場合TmpShape=Block3x3要素数9とする。TmpShapeがBlock3x3の場合,3×3ブロックのテンプレート形状の全点でマッチングを行う。本手法の導入により,全探索点に対して3×3ブロックのテンプレート形状の全点でマッチングを行う手法と比較してそれぞれ演算量は,以下のようになる。領域α:演算量0領域β:演算量1/9領域γ:演算量5/9領域δ:演算量1領域が画面全体の1/4ずつを占めるため,合計演算量は5/12となり,理論値では約1/2弱まで演算量を削減できることになる。このように,乖離度の大きさによってテンプレート形状を決めるのは,以下の理由による。乖離度は強いエッジ周辺で強い信号が現れやすく,続いて弱いエッジやDCTによるモスキートノイズ,撮像時のノイズなどが小~中程度の信号として現れる。NLMフィルタは,エッジ周辺で特に効果を発揮する特性を持つため,乖離度が大きい領域領域δに対して大型のテンプレート形状を割り当てることでデノイズ効果の悪化を抑制する。テンプレート形状設定方法の例2テンプレート形状設定部139,149におけるテンプレート形状設定方法の他の例として,乖離度検出部138,148が算出した乖離度群を用い,装置から与えられる基準となるテンプレート形状がN×Nブロックの全点を対象とする場合のテンプレート形状の削減の例を挙げる。図17は,積分比に応じたサンプリング数の設定の例を説明する図である。テンプレート形状設定部139,149は,乖離度群のヒストグラムを作成し,ヒストグラム上のデノイズの対象画素の乖離度をThIntensityとして乖離度の分布を表す関数fの積分値の比率でテンプレート形状を設定する。すなわち,図17Aに示すように,基準となるテンプレート形状がN×Nブロックとして与えられたとき,削減後のテンプレート形状の設定形状を円とし,その直径を次のように定める。設定形状直径=N×[{fの0からThIntensityまでの積分値}÷{fの0から最大値Maxまでの積分値}]これにより,乖離度が小さい場合には,小さなテンプレート形状,乖離度が大きい場合には,大きなテンプレート形状を用いて,効果的なテンプレートマッチングを行うことができる。テンプレート形状再設定方法の例テンプレート形状再設定部1410におけるテンプレート形状再設定方法の例の一つとして,図8にて示したテンプレート形状設定部149が設定したテンプレート形状を,図15にて示した乖離度検出部148が出力した乖離度群,図7にて示したエッジ方向群および符号化情報用いて再設定し,テンプレート形状の大きさをさらに削減する例を説明する。図18は,テンプレート形状の再設定方法を説明する図である。まず,符号化情報からDCTなどの変換処理の単位であるTransformUnitのUnitサイズを取得し,図18Aに示すように,各Unit外縁の近傍N画素を設定対象の領域に設定する。それ以外の領域は,前述したテンプレート形状設定部149の設定結果をそのまま用いるものとする。図18Bに示すように,エッジ方向群を用いた場合,顕著なブロックノイズのUnit外縁上下部分ではVecIndexは1に,Unit外縁左右部分ではVecIndexは6に偏るという傾向があり,この境界部分の乖離度は高い値が検出される。また,ブロックノイズが顕著に現れる高い量子化パラメータ域では,TransformUnit内部は比較的平坦な領域が現れやすいという傾向がある。つまり,量子化パラメータQPの高い中~低レート域において,図18Aにおける設定対象の領域で,図18Bに示すような特徴を満たす場合,ブロックノイズが発生している可能性が高い。これらVecIndexが1もしくは6に偏るブロック境界の画素位置に対しては大型のテンプレート形状で計算しても,小型のテンプレート形状で計算しても,結果はほとんど変わらない。しかし,ブロック境界で顕著なエッジが検出された場合には,大型のテンプレート形状が設定されてしまうため,非効率である。そのため,テンプレート形状再設定部1410により,テンプレート形状の見直しを行うことで非効率であるとういう問題の解決を図る。具体的な解決手法としては,例えば以下の手法が挙げられる。量子化パラメータQPに対する所定の閾値Th1QP,Th2QPただし,Th1QP<Th2QPと,乖離度DiffIntensityに対する所定の閾値Th1Diff,Th2DiffただしTh1Diff<Th2Diffとを用いて,画素位置ごとに以下のような設定を行う。このようにすれば,デノイズ効果の悪化を抑制しつつ演算量を削減することができる。ただし,Th1Diff,Th2Diffは,それぞれ量子化パラメータQPに応じて変動するものとする。下記の条件を満たす場合,後述する再設定分岐のアルゴリズムによって,テンプレート形状TmpShapeを設定する。[条件1]:Unit外縁上下部分の設定対象領域における画素位置で,対象画素位置のVecIndexが1横方向のエッジもしくは0平坦な領域,かつ,Unit内側方向に隣接するVecIndexが0平坦な領域の場合。[条件2]:または,Unit外縁左右部分の設定対象領域における画素位置で,対象画素位置のVecIndexが6縦方向のエッジもしくは0平坦な領域,かつ,Unit内側方向に隣接するVecIndexが0平坦な領域の場合。再設定分岐のアルゴリズムの例1量子化パラメータQP>閾値Th2QP,かつ,テンプレート形状TmpShapeがBlock3x3またはCross,かつ,乖離度DiffIntensity>閾値Th1Diffの場合,TmpShapeをPoint要素数1に再設定。2上記以外で,量子化パラメータQP>閾値Th1QP,かつ,テンプレート形状TmpShapeがBlock3x3,かつ,乖離度DiffIntensity>閾値Th2Diffの場合,TmpShapeをPoint要素数1に再設定。3上記以外で,量子化パラメータQP>閾値Th1QP,かつ,テンプレート形状TmpShapeがBlock3x3,かつ,乖離度DiffIntensity>閾値Th1Diffの場合,TmpShapeをCross要素数5に再設定。4上記以外で,量子化パラメータQP>閾値Th1QP,かつ,テンプレート形状TmpShapeがCross,かつ,乖離度DiffIntensity>Th1Diffの場合,TmpShapeをPoint要素数1に再設定。5上記1~4以外の場合,再設定しないで終了。図18Cにおける四隅の領域E,F,G,Hは,ブロックノイズによって生成されるVecIndexに予測が立たないため,それぞれ以下の条件を満たす場合に,領域内すべての画素位置に対して,前述した1~5の再設定分岐によるテンプレート形状の再設定を行う。領域E:直右に隣接する領域Aの画素群もしくは直下に隣接する領域Cの画素群に上記条件を満たす画素がある。領域F:直左に隣接する領域Aの画素群もしくは直下に隣接する領域Dの画素群に上記条件を満たす画素がある。領域G:直右に隣接する領域Bの画素群もしくは直上に隣接する領域Cの画素群に上記条件を満たす画素がある。領域H:直左に隣接する領域Bの画素群もしくは直上に隣接する領域Dの画素群に上記条件を満たす画素がある。本実施形態では,ブロック境界の画素群に対して演算量を削減する例を示したが,反対にブロック内部の画素群に対してはすべてTmpShape=Noneを設定し,その部分についてはテンプレートマッチングを行わず,ブロック境界のみにデノイズフィルタを適用することで,演算量を大きく削減するような実施も可能である。なお,第5実施形態,第6実施形態では,基準となる探索形状およびテンプレート形状をデノイズフィルタ処理部131,141が固定値で持つ例を説明したが,これらのいずれか一方,または双方を,外部から与えるような実施も可能である。映像符号化装置への適用例図19は,本発明を適用した映像符号化装置の構成例を示す図である。第1実施形態~第6実施形態として説明したデノイズフィルタ処理部101~141は,図19に示す映像符号化装置におけるループフィルタであるデノイズフィルタ処理部313として用いることができる。これにより,従来の一般的なデブロッキングフィルタを用いていた場合に比べて,符号化効率を高めることができ,また,復号画像のデノイズのために,従来のNLMフィルタをそのまま用いた場合に比べて,演算量を大幅に削減することができる。なお,図19においては,基準となる探索形状およびテンプレート形状の双方をデノイズフィルタ処理部131,141が固定値を持つ例である。また,デノイズ係数は原画像と比較して符号化効率が最適なデノイズ係数を決定し,ビットストリームにデノイズ係数オーバーヘッドとして符号化する例を示す。探索形状およびテンプレート形状のいずれか一方,または双方をユーザが設定するなどして外部から与える場合,復号装置に伝送する必要があるため,前記デノイズ係数と同様にオーバーヘッドとして符号化することで実現できるが,本符号化装置への適用例および復号装置への適用例では,これらの説明は省略する。以下,図19に示す映像符号化装置について説明する。原画像記憶部301は,符号化対象となる入力シーケンスの全画像の記憶部であり,順次,各フレームの符号化対象画像を出力する。ブロックサイズ決定部302は,所定のCodingUnitをどのブロックサイズに分割して符号化を実行するかを決定し,対象ブロックとブロックサイズを出力する。予測サイズ決定部303は,対象ブロックの画素値を予測するブロックの予測サイズを決定し,対象ブロックと予測サイズを出力する。予測手法決定部304は,対象ブロックの画素値予測を行う上で,画面内予測/フレーム間予測の各手法の中で最も符号化効率の高い手法を決定し,その手法を用いた際の予測ブロックと予測情報を出力する。予測サイズ決定部303にて出力された対象ブロックは,予測ブロックとの差分値が計算され差分ブロックとなる。変換サイズ決定部305は,差分ブロックを分割する変換サイズを決定し,分割した変換サイズごとの差分ブロックと変換サイズを出力する。離散コサイン変換部306では,差分ブロックに対して離散コサイン変換を適用し,DCT係数を出力する。量子化部307では,DCT係数に対して量子化を行い,量子化後DCT係数を出力する。逆量子化部308では,量子化後DCT係数に対して逆量子化を行い,DCT係数に戻す。逆離散コサイン変換部309では,DCT係数に対して逆離散コサイン変換を適用し,復号差分ブロックを出力する。復号差分ブロックは予測ブロックと加算合成され,部分復号画像となる。復号画像記憶部310は,部分復号画像を格納し,復号装置側でも参照可能な画像を格納しておく記憶部である。画面内予測部311は,復号画像記憶部310に格納されている部分復号画像を参照し,予測ブロックと予測情報とを出力する。デノイズ係数決定部312は,復号画像と原画像とを参照し,符号化効率が最適となるデノイズ係数を決定し,デノイズ係数を出力する。デノイズフィルタ処理部313は,復号画像を参照し,前述した第1~第6実施形態等で説明した符号化歪みを軽減するためのフィルタ処理を行い,フィルタ後復号画像を生成する。ALFAdaptiveLoopFilter処理部314では,フィルタ後復号画像に対して原画像に近づけるようにフィルタ処理を行い,ALF後復号画像とALF係数を出力する。フレームバッファ315は,ALF後復号画像を格納しておく記憶部である。フレーム間予測部316は,フレームバッファ315を参照し,予測ブロックと予測情報とを出力する。シーケンス情報符号化部317は,映像の縦横画素数など,入力シーケンス固有の情報を符号化の後,ビットストリーム記憶部325に対してシーケンス情報オーバーヘッドを出力する。ブロックサイズ符号化部318は,ブロックサイズ決定部302から予測サイズを受け取り,符号化の後,ブロックサイズオーバーヘッドを出力する。予測サイズ符号化部319は,予測サイズ決定部303から予測サイズを受け取り,符号化の後,予測サイズオーバーヘッドを出力する。予測情報符号化部320は,予測手法決定部304から予測情報を受け取り,符号化の後,予測情報オーバーヘッドを出力する。変換サイズ符号化部321は,変換サイズ決定部305から変換サイズを受け取り,符号化の後,変換サイズオーバーヘッドを出力する。量子化後DCT係数符号化部322は,量子化部307から量子化後DCT係数を受け取り,符号化の後,DCTオーバーヘッドを出力する。デノイズ係数符号化部323は,デノイズ係数決定部312で決定されたデノイズ係数を受け取り,符号化の後,デノイズ係数オーバーヘッドを出力する。ALF係数符号化部324は,ALF係数を受け取り,符号化の後,ALFオーバーヘッドを出力する。ビットストリーム記憶部325は,各オーバーヘッドを格納しておく記憶部であり,シーケンス全体の符号化が終了すると,符号化結果のビットストリームを出力する。符号化情報記憶部326は,復号装置側でも参照可能な符号化情報を格納しておく記憶部である。この符号化情報記憶部326が記憶する符号化情報は,デノイズフィルタ処理部313やその他の各部から参照され,使用される。映像符号化装置の処理フロー図20および図21は,図19に示す映像符号化装置の処理フローチャートを示している。映像符号化装置は,以下の処理を行う。まず,ステップS301にて,入力シーケンスを原画像記憶部301に格納する。次に,ステップS302にて,シーケンス情報を符号化してビットストリーム記憶部325に格納する。次に,ステップS303にて,符号化対象の全フレームに対するステップS318までのループ処理を行う。次に,ステップS304にて,符号化対象画像の全CodingUnitCUに対するステップS314までのループ処理を行う。次に,ステップS305にて,ブロックサイズを決定し,符号化してビットストリーム記憶部325に格納する。次に,ステップS306にて,予測サイズを決定し,符号化してビットストリーム記憶部325に格納する。次に,ステップS307にて,画面内/フレーム間予測の各予測ブロックの中で,最も符号化効率が高い手法と対象ブロックの差分値を計算する。次に,ステップS308にて,予測情報をビットストリーム記憶部325に格納する。次に,ステップS309にて,変換サイズを決定し,符号化してビットストリーム記憶部325に格納する。次に,ステップS310にて,離散コサイン変換DCTを行う。次に,ステップS311にて,量子化を行い,量子化後DCT係数を符号化してビットストリーム記憶部325に格納する。次に,ステップS312にて,逆量子化と逆離散コサイン変換を行う。次に,ステップS313にて,ステップS307にて適用された予測ブロックと逆変換後の復号差分ブロックとを加算合成する。次に。ステップS314にて,復号画像記憶部310に加算合成した部分復号画像を格納する。符号化対象画像の全CUに対するループ処理が終了すると,ステップS315にて,復号画像と原画像を用いて符号化効率が最適になるデノイズ係数を算出する。次に,ステップS316にて,復号画像に対して,算出したデノイズ係数を用いて本手法を用いたデノイズフィルタの処理を実行し,デノイズ係数を符号化してビットストリーム記憶部325に格納する。次に,ステップS317にて,ALFAdaptiveLoopFilterを実行し,ALF係数を符号化してビットストリーム記憶部325に格納する。次に,ステップS318にて,ALF後復号画像をフレームバッファ315に格納する。符号化対象の全フレームに対するループ処理が終了すると,ステップS319にて,ビットストリームを出力して処理を終了する。映像復号装置への適用例図22は,本発明を適用した映像復号装置の構成例を示す図である。第1~第6実施形態として説明したデノイズフィルタ処理部101~141は,図22に示す映像復号装置におけるループフィルタであるデノイズフィルタ処理部415として用いることができる。これにより,従来のNLMフィルタをそのまま用いた場合よりも演算量を大幅に削減することができる。以下,図22に示す映像復号装置について説明する。ビットストリーム記憶部401は,入力ビットストリームの記憶部であり,必要に応じて各オーバーヘッド情報を出力する。シーケンス情報復号部402は,シーケンス情報オーバーヘッドを受け,映像の縦横画素数など,シーケンス固有の情報を復号する。ブロックサイズ復号部403は,ブロックサイズオーバーヘッドを受け,所定のCodingUnitがどのブロックサイズで分割して符号化されているのかを示す情報を復号する。予測サイズ復号部404は,予測サイズオーバーヘッドを受け,映像符号化装置で適用された予測サイズを出力する。予測情報復号部405は,予測情報オーバーヘッドを受け,予測情報を出力する。変換サイズ復号部406は,変換サイズオーバーヘッドを受け,映像符号化装置で適用された変換サイズを出力する。量子化後DCT係数復号部407は,変換サイズとDCTオーバーヘッドを受け,量子化後DCT係数を出力する。デノイズ係数符号化部408は,デノイズ係数オーバーヘッドを受け,デノイズ係数を出力する。ALF係数復号部409は,ALFオーバーヘッドを受け,ALF係数を出力する。逆量子化部410は,量子化後DCT係数に対して逆量子化を行い,DCT係数に戻す。逆離散コサイン変換部411は,DCT係数に対して逆離散コサイン変換を適用して差分信号を出力する。予測ブロック生成部412は,予測情報と部分復号画像,参照フレームを受け,予測ブロックを生成する。部分復号画像生成部413は,予測画像と復号差分信号の加算合成を行い,部分復号画像を生成する。復号画像記憶部414は,部分復号画像を格納しておく記憶部である。デノイズフィルタ処理部415は,復号画像を参照し,前述した第1~第6実施形態等で説明した符号化歪を軽減するためのフィルタ処理を行い,フィルタ後復号画像を生成する。ALF処理部416では,ALF係数を受け取り,フィルタ後復号画像に対して原画像に近づけるようにフィルタ処理を行い,ALF後復号画像を出力する。なお,この画像が復号時における最終復号画像となる。フレームバッファ417は,ALF後復号画像を格納しておく記憶部である。符号化情報記憶部418は,符号化情報を格納しておく記憶部であり,この符号化情報記憶部418が記憶する符号化情報は,デノイズフィルタ処理部415やその他の各部から参照され,使用される。映像復号装置の処理フロー図23および図24は,図22に示す映像復号装置の処理フローチャートを示している。映像復号装置は,以下の処理を行う。まず,ステップS401にて,入力ビットストリームをビットストリーム記憶部401に格納する。次に,ステップS402にて,シーケンス情報を復号する。次に,ステップS403にて,復号対象の全フレームに対するステップS414までのループ処理を行う。次に,ステップS404にて,復号対象画像の全CodingUnitCUに対するステップS411までのループ処理を行う。次に,ステップS405にて,ブロックサイズを復号する。次に,ステップS406にて,予測サイズを復号する。次に,ステップS407にて,予測情報を復号し,予測ブロックを生成する。次に,ステップS408にて,変換サイズを復号する。次に,ステップS409にて,量子化後DCT係数を復号する。次に,ステップS410にて,逆量子化と逆離散コサイン変換を行う。次に,ステップS411にて,ステップS407の予測ブロックとステップS410の結果を用いて復号ブロックを生成し,復号画像記憶部414に格納する。符号化対象画像の全CUに対するループ処理が終了すると,ステップS412にて,デノイズ係数を復号し,復号画像に対して,本手法を用いたデノイズフィルタの処理を実行する。次に,ステップS413にて,ALF係数を復号し,ALF処理を実行する。次に,ステップS414にて,ALF後復号画像をフレームバッファ417に格納する。符号化対象の全フレームに対するループ処理が終了すると,ステップS415にて,フレームバッファ417の各フレームをフレーム番号順に出力して出力シーケンスを生成し,処理を終了する。演算量削減効果次世代映像符号化標準方式に従来のNLMフィルタNon-localmeans法によるデノイズフィルタを組み込んだ手法と比較して,本手法によるデノイズフィルタを適用した場合,標準的な映像の符号化時に,PSNRの悪化を抑えつつ上記フィルタに要する演算量を約50~75程度削減できることが確認できた。[ソフトウェアプログラムを用いた場合の構成例]以上の画像処理,映像符号化,復号の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。図25は,本発明を,コンピュータとソフトウェアプログラムとを用いて実施する場合のシステムの構成例を示している。本システムは,プログラムを実行するCPU50と,CPU50がアクセスするプログラムやデータが格納されるRAM等のメモリ51と,デノイズ対象の画像信号,符号化対象の映像信号,または復号画像の映像信号を記憶する映像信号記憶部52と,本発明の実施形態で説明した処理をCPU50に実行させるためのプログラムが格納されたプログラム記憶装置53と,符号化結果のビットストリームまたは復号対象のビットストリームを記憶する符号化ストリーム記憶部54とがバスで接続された構成になっている。プログラム記憶装置53は,本発明を用いて画像信号のノイズを除去するための画像処理プログラム531,本発明を用いて映像信号を符号化するための映像符号化プログラム532,本発明を用いて符号化ビットストリームを復号するための映像復号プログラム533のいずれかを格納している。これらのプログラムのすべてを格納している必要はない。本システムが画像信号のノイズ除去として用いられる場合,画像処理プログラム531がメモリ51にロードされ,CPU50は,メモリ51にロードされた画像処理プログラム531の命令を逐次フェッチして実行し,映像信号記憶部52に格納されている映像信号の画像を入力して,本発明の実施形態で説明した手法によりノイズを除去し,映像信号記憶部52に格納する。また,本システムが映像符号化装置として用いられる場合,映像符号化プログラム532がメモリ51にロードされ,CPU50は,メモリ51にロードされた映像符号化プログラム532の命令を逐次フェッチして実行し,映像信号記憶部52に格納されている映像信号を,本発明の実施形態で説明した手法により符号化して,符号化結果のビットストリームを符号化ストリーム記憶部54に格納する。または,ネットワークアダプタ等のインタフェースを介して,ビットストリームを外部装置に出力してもよい。また,本システムが映像復号装置として用いられる場合,映像復号プログラム533がメモリ51にロードされ,CPU50は,メモリ51にロードされた映像復号プログラム533の命令を逐次フェッチして実行し,符号化ストリーム記憶部54に格納されているビットストリームを,本発明の実施形態で説明した手法により復号して,復号結果の映像信号を映像信号記憶部52に格納する。または,外部の再生装置に復号結果の映像信号を出力する。特に,本発明は,映像符号化プログラム532,映像復号プログラム533におけるループフィルタ処理に用いられ,このループフィルタ処理のプログラム部分は,映像符号化プログラム532,映像復号プログラム533とで共通化することも可能である。"