(57)【特許請求の範囲】
【請求項１】
テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によってデノイズ対象画素のノイズを除去する画像処理方法であって，
所定のテンプレート形状に対して，指定された処理対象画像の境界線をテンプレート形状を構成する画素が越えるとき，境界線を越えた画素数分の画素が境界線の内側に収まるように再配置された形状を有するテンプレート形状を設定する過程と，
テンプレートマッチングの探索点またはデノイズ対象画素が前記境界線の近くにある場合とそうでない場合とで，前記設定されたテンプレート形状または前記所定のテンプレート形状の異なるテンプレートを用いてテンプレートマッチングを行い，前記デノイズ対象画素のノイズを除去する過程とを有する
ことを特徴とする画像処理方法。
【請求項２】
テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によってデノイズ対象画素のノイズを除去する画像処理装置であって，
所定のテンプレート形状に対して，指定された処理対象画像の境界線をテンプレート形状を構成する画素が越えるとき，境界線を越えた画素数分の画素が境界線の内側に収まるように再配置された形状を有するテンプレート形状を設定する手段と，
テンプレートマッチングの探索点またはデノイズ対象画素が前記境界線の近くにある場合とそうでない場合とで，前記設定されたテンプレート形状または前記所定のテンプレート形状の異なるテンプレートを用いてテンプレートマッチングを行い，前記デノイズ対象画素のノイズを除去する手段とを備える
ことを特徴とする画像処理装置。
【請求項３】
ループフィルタとして，テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によってデノイズ対象画素のノイズを除去する画像処理フィルタを用いて，予測符号化された画像の復号画像に対するノイズを除去する処理を行う映像符号化方法であって，
前記画像処理フィルタの所定のテンプレート形状に対して，前記復号画像の境界線をテンプレート形状を構成する画素が越えるとき，境界線を越えた画素数分の画素が境界線の内側に収まるように再配置された形状を有するテンプレート形状を設定する過程と，
テンプレートマッチングの探索点またはデノイズ対象画素が前記境界線の近くにある場合とそうでない場合とで，前記設定されたテンプレート形状または前記所定のテンプレート形状の異なるテンプレートを用いてテンプレートマッチングを行い，前記デノイズ対象画素のノイズを除去する過程とを有する
ことを特徴とする映像符号化方法。
【請求項４】
ループフィルタとして，テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によってデノイズ対象画素のノイズを除去する画像処理フィルタを用いて，予測符号化された画像の復号画像に対するノイズを除去する処理を行う映像符号化装置であって，
前記画像処理フィルタの所定のテンプレート形状に対して，前記復号画像の境界線をテンプレート形状を構成する画素が越えるとき，境界線を越えた画素数分の画素が境界線の内側に収まるように再配置された形状を有するテンプレート形状を設定する手段と，
テンプレートマッチングの探索点またはデノイズ対象画素が前記境界線の近くにある場合とそうでない場合とで，前記設定されたテンプレート形状または前記所定のテンプレート形状の異なるテンプレートを用いてテンプレートマッチングを行い，前記デノイズ対象画素のノイズを除去する手段とを備える
ことを特徴とする映像符号化装置。
【請求項５】
ループフィルタとして，テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によってデノイズ対象画素のノイズを除去する画像処理フィルタを用いて，予測復号された画像の復号画像に対するノイズを除去する処理を行う映像復号方法であって，
前記画像処理フィルタの所定のテンプレート形状に対して，前記復号画像の境界線をテンプレート形状を構成する画素が越えるとき，境界線を越えた画素数分の画素が境界線の内側に収まるように再配置された形状を有するテンプレート形状を設定する過程と，
テンプレートマッチングの探索点またはデノイズ対象画素が前記境界線の近くにある場合とそうでない場合とで，前記設定されたテンプレート形状または前記所定のテンプレート形状の異なるテンプレートを用いてテンプレートマッチングを行い，前記デノイズ対象画素のノイズを除去する過程とを有する
ことを特徴とする映像復号方法。
【請求項６】
ループフィルタとして，テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によってデノイズ対象画素のノイズを除去する画像処理フィルタを用いて，予測復号された画像の復号画像に対するノイズを除去する処理を行う映像復号装置であって，
前記画像処理フィルタの所定のテンプレート形状に対して，前記復号画像の境界線をテンプレート形状を構成する画素が越えるとき，境界線を越えた画素数分の画素が境界線の内側に収まるように再配置された形状を有するテンプレート形状を設定する手段と，
テンプレートマッチングの探索点またはデノイズ対象画素が前記境界線の近くにある場合とそうでない場合とで，前記設定されたテンプレート形状または前記所定のテンプレート形状の異なるテンプレートを用いてテンプレートマッチングを行い，前記デノイズ対象画素のノイズを除去する手段とを備える
ことを特徴とする映像復号装置。
【請求項７】
請求項１記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項８】
請求項３記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
【請求項９】
請求項５記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像を符号化する際に画像撮影時のノイズや劣化画像の劣化を軽減する画像処理技術に関するものである。
【背景技術】
【０００２】
本明細書において用いる各語句を，以下のように定義する。
・「探索形状」：テンプレートマッチングの対象とする当該画素周辺の各探索点の集合体，また，その集合体が形作る形状。
・「テンプレート形状」：テンプレートマッチングの際に当該画素と各探索点の類似度を計算するときに用いる画素群，また，その画素群が形作る形状。画素群は，当該画素周辺と各探索点周辺で同じ形状を用い，相対位置関係が同じ位置同士の画素値を比較する。
【０００３】
画像処理分野において，画像撮影時のノイズや劣化画像の劣化を軽減する手法として，様々なノイズ除去フィルタが提案されている。中でも，Non-local means 法によるノイズ除去フィルタ（非特許文献１参照) は，高いノイズ除去効果を発揮することが知られている。Non-local means 法によるノイズ除去フィルタを，以下，ＮＬＭフィルタという。
【０００４】
図１５は，ＮＬＭフィルタの説明図である。図１５において，正方形の１マスが探索点であり，これらの探索点の集合体が探索形状である。Ｐo はデノイズ対象画素，Ｐs は探索先における探索点の画素である。Ｔo およびＴs はテンプレート形状であり，比較元のテンプレート形状Ｔo と探索先のテンプレート形状Ｔs の形状は同一である。
【０００５】
ＮＬＭフィルタでは，比較元と探索先の各テンプレート形状Ｔo ，Ｔs 内の対応する各画素同士を比較して，テンプレート類似度を算出する。テンプレート類似度の計算には，一般的にＳＳＤ (Sum of Square Difference) やＳＡＤ (Sum of Absolute Difference) が用いられる。
【０００６】
ＮＬＭフィルタは，次のように各画素についてデノイズ後の画素値を算出する。以下では，テンプレート類似度の計算にＳＳＤを用いた例を説明する。
（１）重み値合計の変数ＳＷを０，画素値合計の変数ＳＰを０に初期化する。
（２）探索形状内のすべての各探索点に対して，以下の処理を繰り返す。
（２−１）テンプレート類似度としてＳＳＤを算出する。
（２−２）重み値Ｗ＝ｅｘｐ（−ＳＳＤ／デノイズ係数) 
（２−３）重み値合計ＳＷ＝重み値合計ＳＷ＋重み値Ｗ
（２−４）画素値合計ＳＰ＝画素値合計ＳＰ＋重み値Ｗ×（探索点の画素値）
（３）探索形状内のすべての探索点について（２）の処理を終えたならば，デノイズ対象画素のデノイズ後の画素値を，次式により求める。
【０００７】
（デノイズ後の画素値）＝画素値合計ＳＰ／重み値合計ＳＷ
また，“ＭＰＥＧ”や“ＶＣＥＧ”にて現在国際標準化活動が行われている次世代映像符号化標準方式の“High Efficiency Video Coding”の雛形（Test Model）である“ＨＭ”には，インループフィルタに符号化歪の除去を目的とした３種類のフィルタが搭載されているが（非特許文献２参照），このＨＭのインループフィルタに対して，符号化効率を高めることを目的として，ＮＬＭフィルタの導入が提案されている（非特許文献３，４参照）。
【０００８】
〔映像符号化におけるＮＬＭフィルタ処理部の構成（従来手法）〕
図１６は，映像符号化装置における従来手法によるＮＬＭフィルタ処理部の構成例を示す図である。ＮＬＭフィルタ処理部５００は，最適デノイズ係数算出部５０１と，デノイズ係数符号化部５０２と，ＮＬＭフィルタ実行部５０３とを備える。
【０００９】
最適デノイズ係数算出部５０１は，符号化対象画像とノイズ除去対象の復号画像とを入力し，符号化対象画像とフィルタ後の復号画像間のＲＤコストが最小となるデノイズ係数を算出し，そのデノイズ係数をデノイズ係数符号化部５０２とＮＬＭフィルタ実行部５０３へ送る。デノイズ係数符号化部５０２は，デノイズ係数の符号化を行い，インループフィルタオーバーヘッドを出力する。ＮＬＭフィルタ実行部５０３は，所定のテンプレート形状を用いてフィルタを適用し，フィルタ後の復号画像を出力する。
【００１０】
〔映像符号化におけるＮＬＭフィルタ処理手順（従来手法）〕
図１７は，図１６に示す従来の映像符号化装置内のＮＬＭフィルタ処理部５００の処理フローチャートである。この処理手順における入力は，符号化対象画像，復号画像であり，出力は，フィルタ後の復号画像，インループフィルタオーバーヘッドである。機能は，最適なデノイズ係数を算出／符号化し，復号画像に対してＮＬＭフィルタを適用することである。
・ステップＳ５０１：符号化対象画像と復号画像を読み込む。
・ステップＳ５０２：最適なデノイズ係数を算出する。
・ステップＳ５０３：デノイズ係数を符号化し，インループフィルタオーバーヘッドを出力する。
・ステップＳ５０４：復号画像の各画素にＮＬＭフィルタを適用し，フィルタ後の復号画像を出力する。
【００１１】
〔映像復号におけるＮＬＭフィルタ処理部の構成（従来手法）〕
図１８は，映像復号装置における従来手法によるＮＬＭフィルタ処理部の構成例を示す図である。ＮＬＭフィルタ処理部６００は，デノイズ係数復号部６０１と，ＮＬＭフィルタ実行部６０２とを備える。
【００１２】
デノイズ係数復号部６０１は，インループフィルタオーバーヘッドからデノイズ係数の復号を行う。ＮＬＭフィルタ実行部６０２は，図１６で説明したＮＬＭフィルタ実行部５０３と同一の機能を有し，ノイズ除去対象の復号画像に対して所定のテンプレート形状を用いてフィルタを適用し，フィルタ後の復号画像を出力する。
【００１３】
〔映像復号におけるＮＬＭフィルタ処理手順（従来手法）〕
図１９は，図１８に示す従来の映像復号装置内のＮＬＭフィルタ処理部６００の処理フローチャートである。この処理手順における入力は，復号画像，インループフィルタオーバーヘッドであり，出力は，フィルタ後の復号画像である。機能は，デノイズ係数を復号し，復号画像に対してＮＬＭフィルタを適用することである。
・ステップＳ６０１：復号画像とインループフィルタオーバーヘッドを読み込む。
・ステップＳ６０２：デノイズ係数を復号する。
・ステップＳ６０３：復号画像の各画素にＮＬＭフィルタを適用し，フィルタ後の復号画像を出力する。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】A. Buades, B. Coll, and J. M. Morel, "A non-local algorithm for image denoising", Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 60-65, June, 2005.
【非特許文献２】Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "WD4：Working Draft 4 of High-Efficiency Video Coding(JCTVC-F803＿d2)," ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011.
【非特許文献３】Masaaki Matsumura, Yukihiro Bandoh, Seishi Takamura, Hirohisa Jozawa, "In-loop filter based on non-local means filter (JCTVC-E206)", ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011.
【非特許文献４】Masaaki Matsumura, Yukihiro Bandoh, Seishi Takamura, Hirohisa Jozawa, "Modifications of in-loop filter based on non-local means filter (JCTVC-F047)", ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
前述のように次世代映像符号化標準方式の“High Efficiency Video Coding”の“ＨＭ”に上記ＮＬＭフィルタを導入すれば，符号化効率の改善が期待できる。
【００１６】
しかし，ＮＬＭフィルタは探索形状の各探索点においてそれぞれテンプレート形状を用いたテンプレートマッチングを行うため，対象画素周辺の広い範囲の画素を参照する必要がある。対象画素周辺の広い範囲の画素を参照する機能をハードウェアに実装する場合，より多くのバッファ用メモリが必要となり，回路規模が大きくなる可能性がある。そのため，インループフィルタのSample Adaptive Offset（以下，ＳＡＯ）では，Largest Coding Unit （以下，ＬＣＵ）の境界を越えて画素を参照しない機能を導入するなど，様々な工夫が行われている。
【００１７】
しかしながら，ＮＬＭフィルタのテンプレート形状を縮小すると，図２０から明かなように，符号化効率が低下するという問題がある。図２０は，テンプレート形状に応じたＮＬＭフィルタの符号化効率の比較を示す図である。比較対象ソフトウェアは，ＨＭ４．０であり，実験条件は，次のとおりである。
・実験条件
符号化対象シーケンス：ＭＰＥＧ標準テストシーケンス
−Ｃｌａｓｓ  Ｂ（１９２０×１０８０  ５種類）
−Ｃｌａｓｓ  Ｃ（８３２×４８０      ４種類）
−Ｃｌａｓｓ  Ｄ（４１６×２４０      ４種類）
−Ｃｌａｓｓ  Ｅ（１２８０×７２０    ３種類）
フレーム数：シーケンス先頭３０フレーム
探索形状：５×５ブロック
テンプレート形状：３×３ブロック（Ｂｌｋ：９画素）
斜め十字      （Ｃｒｓ：５画素）
単一画素      （Ｐｅｌ：１画素）
ＧＯＰ構造：Ｌｏｗ  ｄｅｌａｙ  Ｐ
量子化パラメータ：２２，２７，３２，３７
符号化効率計算方法：ＢＤ−ｒａｔｅ    （※数値が低いほど高効率）
図２０に示す実験結果によれば，テンプレート形状の大きさに応じて符号化効率が下がる様子が確認できる。そのため，テンプレート形状を構成する画素数は極力大きな形状を維持することが望ましい。
【００１８】
本発明は，以上の課題の解決を図り，ＮＬＭフィルタのテンプレートを構成する画素が指定の境界を越える場合でもテンプレート形状を構成する画素数を維持することを目的とする。
【課題を解決するための手段】
【００１９】
本発明は，上記課題を解決するため，指定の境界（画面の上下左右，ＬＣＵ，スライスなど）をテンプレート形状を構成する画素が越えて参照する場合に，前記テンプレート形状を構成する画素の境界内側への折り返しを行い，対象画素（デノイズ対象画素もしくは探索点）周辺に再配置することによりテンプレート形状を構成する画素数を担保する機構を持つことを特徴とする。
【００２０】
すなわち，テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によってデノイズ対象画素のノイズを除去する画像処理において，所定のテンプレート形状に対して，指定された処理対象画像の境界線をテンプレート形状を構成する画素が越えるとき，境界線を越えた画素数分の画素が境界線の内側に収まるように再配置された形状を有するテンプレート形状を設定し，テンプレートマッチングの探索点またはデノイズ対象画素が前記境界線の近くにある場合とそうでない場合とで，前記設定されたテンプレート形状または前記所定のテンプレート形状の異なるテンプレートを用いてテンプレートマッチングを行い，前記デノイズ対象画素のノイズを除去する。前記テンプレート形状の設定において，テンプレート形状を構成する画素は，探索点とデノイズ対象画素それぞれの周辺に形状が等しくなるように再配置される。
【００２１】
なお，本発明は，探索点におけるテンプレート形状が指定の境界線を越える場合（例えば図１，図２参照）にだけ適用してもよいし，デノイズ対象画素におけるテンプレート形状が指定の境界線を越える場合（例えば図３，図４参照）にだけ適用してもよい。また，双方のケースに適用してもよい。
【００２２】
図１ないし図４に，テンプレート形状の再配置の例を示す。例えば，図１（Ａ）に示すような３×３ブロックによるテンプレートや，図２（Ａ）に示すような５画素構成のＸ形状のテンプレートのように，探索点におけるテンプレート形状Ｔｓを構成する画素が指定の境界を越える場合には，図１（Ｂ），図２（Ｂ）に示すように，テンプレート形状Ｔｓ，Ｔｏを，構成画素が境界線の内側に収まり，探索点の画素Ｐｓとデノイズ対象画素Ｐｏそれぞれの周辺に形状が等しくなるように再配置することで，テンプレートの画素数を維持する。
【００２３】
また，デノイズ対象画素Ｐｏが指定の境界周辺に位置する場合も同様に，デノイズ対象画素周辺のテンプレート形状Ｔｏを構成する画素と探索点周辺のテンプレート形状Ｔｓを構成する画素のすべてが指定の境界を越えることがないように，再配置したテンプレート形状を設定する。本例による再配置の例を，図３および図４に示す。なお，探索点が指定の境界を越える場合にも同様に，再配置によって画素数を維持できることは容易に想像できるが，本例では指定の境界を越えた探索点は計算しない例を示す。
【発明の効果】
【００２４】
本発明によれば，映像符号化におけるループフィルタ処理において，ＮＬＭフィルタのテンプレート形状を構成する画素が指定の境界（画面の上下左右，ＬＣＵ，スライスなど）を越えて参照する場合に，前記テンプレート形状を構成する画素を境界線の内側に収まるように，探索点とデノイズ対象画素それぞれの周辺に形状が等しくなるよう再配置することにより，テンプレート形状を構成する画素数を維持する機構を持たせることで，所定のバッファ用メモリに納まる構造をとることができる。したがって，ハードウェアの回路規模の肥大化を防ぐことができる。
【図面の簡単な説明】
【００２５】
【図１】テンプレート形状の再配置の例を示す図である。
【図２】テンプレート形状の再配置の例を示す図である。
【図３】テンプレート形状の再配置の例を示す図である。
【図４】テンプレート形状の再配置の例を示す図である。
【図５】本発明が適用される映像符号化装置の構成例を示す図である。
【図６】映像符号化装置の処理フローチャートである。
【図７】映像符号化におけるＮＬＭフィルタ処理部の構成例を示す図である。
【図８】映像符号化におけるＮＬＭフィルタ処理部の処理フローチャートである。
【図９】本発明が適用される映像復号装置の構成例を示す図である。
【図１０】映像復号装置の処理フローチャートである。
【図１１】映像復号におけるＮＬＭフィルタ処理部の構成例を示す図である。
【図１２】映像復号におけるＮＬＭフィルタ処理部の処理フローチャートである。
【図１３】映像符号化装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。
【図１４】映像復号装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。
【図１５】ＮＬＭフィルタの説明図である。
【図１６】従来のＮＬＭフィルタ処理部（符号化）の構成例を示す図である。
【図１７】従来のＮＬＭフィルタ処理部（符号化）の処理フローチャートである。
【図１８】従来のＮＬＭフィルタ処理部（復号）の構成例を示す図である。
【図１９】従来のＮＬＭフィルタ処理部（復号）の処理フローチャートである。
【図２０】ＮＬＭフィルタの説明図である。
【発明を実施するための形態】
【００２６】
以下，図面を用いながら，本発明の実施の形態を説明する。
【００２７】
〔映像符号化装置の構成〕
図５は，本発明が適用される映像符号化装置の構成例を示す図である。本発明は，例えば図５に示すような映像符号化装置に適用されるが，これは一例であり，本発明は必ずしも図５に示すような装置構成のものに限定されるわけではない。本実施形態では，ＮＬＭフィルタをＳＡＯとAdaptive Loop Filter（以下，ＡＬＦ）の間に適用する例を示す。本実施形態は，特にＮＬＭフィルタ処理部１０８３の部分が従来技術と異なる部分であり，他の部分は従来の一般的な映像符号化装置の構成と同様である。
【００２８】
図５の映像符号化装置は，符号化対象シーケンスを入力し，各フレームをブロックに分割してブロックごとに符号化し，そのビットストリームを符号化ストリームとして出力する。
【００２９】
符号化対象ブロックは，減算器１１２に入力される。減算器１１２は，符号化対象ブロックと，イントラ予測部１０１もしくはインター予測部１０２の予測ブロックとの差分を求め，それを予測残差信号とする。変換部１０３は，予測残差信号に対する直交変換（ＤＣＴ）等を行い，変換係数を出力する。量子化部１０４は，変換係数を量子化し，量子化後変換係数を出力する。
【００３０】
逆量子化部１０５では，量子化部１０４の出力である量子化後変換係数に対して逆量子化が行われ，逆変換部１０６では，変換部１０３による変換の逆変換が行われる。逆変換後の値は，加算器１１３にて前記予測ブロックと加算合成され，復号画像記憶部１０７に格納される。復号画像記憶部１０７の画像は，イントラ予測部１０１にて使用される。
【００３１】
当該フレームの全てのブロックに対して上記処理が終了すると，インループフィルタ処理部１０８にて復号画像の符号化歪を除去する画像処理フィルタが施され，フィルタ後の復号画像はフレームバッファ１０９に格納される。ここで，インループフィルタ処理部１０８は，デブロッキングフィルタ処理部（以下，ＤＦ処理部）１０８１，ＳＡＯ処理部１０８２，ＮＬＭフィルタ処理部１０８３，ＡＬＦ処理部１０８４を内包しており，それぞれ定められた画像処理フィルタを実行する。フレームバッファ１０９の画像は，インター予測部１０２にて使用される。
【００３２】
イントラ予測部１０１，インター予測部１０２の予測情報や量子化後変換係数，インループフィルタ処理部１０８のオーバーヘッドは，エントロピー符号化部１１０に入力され，エントロピー符号化部１１０は，それらを符号化して符号化ストリームを出力する。符号化情報記憶部１１１は，復号装置側でも参照可能な符号化済みの各種ブロックサイズや予測情報，量子化後の係数値，インループフィルタオーバーヘッドなど，各種値を格納する記憶部であり，符号化情報記憶部１１１の情報は，映像符号化装置内の様々な処理部で引用される。
【００３３】
〔映像符号化の処理手順〕
図６は，図５に示す映像符号化装置の処理フローチャートである。この処理手順における入力は，符号化対象シーケンスであり，出力は，符号化ストリームである。機能は，符号化対象シーケンスを符号化ストリームに変換することである。
・ステップＳ１０１：符号化対象シーケンスを符号化対象画像ごとに読み込む。
・ステップＳ１０２：符号化対象画像をブロックごとに読み込む。
・ステップＳ１０３：読み込んだ符号化対象ブロックと予測ブロックとの差分をとり，差分ブロックを生成する。
・ステップＳ１０４：差分ブロックに対して直交変換を適用する。
・ステップＳ１０５：直交変換後の係数値を量子化する。
・ステップＳ１０６：量子化後の係数値を逆量子化する。
・ステップＳ１０７：逆量子化後の係数値を逆直交変換する。
・ステップＳ１０８：逆直交変換後の予測残差とステップＳ１０３の予測ブロックとを加算合成し，復号画像記憶部１０７に格納する。
・ステップＳ１０９：全てのブロックの処理が終了したかの判定を行い，未処理のブロックがある場合には，ステップＳ１０２へ戻り，次のブロックについて同様に処理を繰り返す。
・ステップＳ１１０：全てのブロックの処理が終了したならば，復号画像に対してインループフィルタ（ＤＦ，ＳＡＯ，ＮＬＭフィルタ，ＡＬＦ）を適用し，フレームバッファ１０９に格納する。
・ステップＳ１１１：予測情報や量子化後の係数値，インループフィルタオーバーヘッドをエントロピー符号化する。
・ステップＳ１１２：全てのフレームの処理が終了したかの判定を行い，未処理のフレームがある場合には，ステップＳ１０１へ戻り，次のフレームについて同様に処理を繰り返す。
・ステップＳ１１３：符号化ストリームを出力する。
【００３４】
〔映像符号化装置におけるＮＬＭフィルタ処理部の構成（本実施形態）〕
図７は，本発明の実施形態におけるＮＬＭフィルタ処理部の構成例を示す図である。本実施形態では，図５に示すＮＬＭフィルタ処理部１０８３は，図７に示すように構成される。
【００３５】
最適デノイズ係数算出部２０１は，符号化対象画像とノイズ除去対象の復号画像とを入力し，符号化対象画像とフィルタ後の復号画像間のＲＤコストが最小となるデノイズ係数を算出し，そのデノイズ係数をデノイズ係数符号化部２０２とＮＬＭフィルタ実行部２０４へ送る。デノイズ係数符号化部２０２は，デノイズ係数の符号化を行い，インループフィルタオーバーヘッドを出力する。
【００３６】
テンプレート形状設定部２０３は，図５の符号化情報記憶部１１１から読み込む所定の境界情報に合わせてＮＬＭフィルタ適用画素の各探索点における所定のテンプレート形状が境界を越えないように，テンプレート形状を構成する画素の境界内側への折り返し／再配置を行う。ＮＬＭフィルタ実行部２０４は，テンプレート形状設定部２０３によって設定されたテンプレート形状を用いてＮＬＭフィルタを適用し，フィルタ後の復号画像を出力する。
【００３７】
〔映像符号化におけるＮＬＭフィルタ処理手順（本実施形態）〕
図８は，図７に示す本実施形態のＮＬＭフィルタ処理部１０８３の処理フローチャートである。この処理手順における入力は，符号化対象画像，復号画像および境界情報であり，出力は，フィルタ後の復号画像，インループフィルタオーバーヘッドである。機能は，最適なデノイズ係数を算出／符号化し，復号画像に対しＮＬＭフィルタを適用することである。
・ステップＳ２０１：符号化対象画像と復号画像を読み込む。
・ステップＳ２０２：最適なデノイズ係数を算出する。
・ステップＳ２０３：デノイズ係数を符号化し，インループフィルタオーバーヘッドを出力する。
・ステップＳ２０４：符号化情報記憶部１１１から境界情報を読み込み，ＮＬＭフィルタ適用画素の各探索点におけるテンプレート形状を導出する。
・ステップＳ２０５：復号画像の各画素に対して，ステップＳ２０４で導出したテンプレート形状を用いてＮＬＭフィルタを適用し，フィルタ後の復号画像を出力する。
【００３８】
〔映像復号装置の構成〕
図９は，本発明が適用される復号装置の構成例を示す図である。本発明は，例えば図９に示すような映像復号装置に適用されるが，これは一例であり，本発明は必ずしも図９に示すような装置構成のものに限定されるわけではない。本実施形態では，ＮＬＭフィルタをＳＡＯとＡＬＦの間に適用する例を示す。本実施形態は，特にＮＬＭフィルタ処理部３０７３の部分が従来技術と異なる部分であり，他の部分は従来の一般的な映像復号装置の構成と同様である。
【００３９】
図９の映像復号装置は，符号化ストリームを入力する。入力された符号化ストリームから，エントロピー復号部３０１にてブロックごとの予測情報や量子化後変換係数，インループフィルタオーバーヘッドが復号される。復号された量子化後変換係数は逆量子化部３０２にて逆量子化が行われ，逆変換部３０３にて逆直交変換（ＩＤＣＴ）等が行われる。逆変換部３０３の出力信号は，イントラ予測部３０４もしくはインター予測部３０５の予測ブロックと加算合成され，復号画像記憶部３０６に格納される。復号画像記憶部３０６の画像はイントラ予測部３０４にて使用される。
【００４０】
当該フレームの全てのブロックに対して上記処理が終了すると，インループフィルタ処理部３０７にて復号画像の符号化歪を除去する画像処理フィルタが施され，フィルタ後の復号画像はフレームバッファ３０８に格納される。ここで，インループフィルタ処理部３０７は，ＤＦ処理部３０７１，ＳＡＯ処理部３０７２，ＮＬＭフィルタ処理部３０７３，ＡＬＦ処理部３０７４を内包しており，それぞれ定められた画像処理フィルタを実行する。フレームバッファ３０８の画像は，インター予測部３０５にて使用される。符号化情報記憶部３０９は，各種ブロックサイズや予測情報，量子化後の係数値，インループフィルタオーバーヘッドなど，各種値を格納する記憶部であり，符号化情報記憶部３０９の情報は映像復号装置内の様々な処理部で引用される。
【００４１】
〔映像復号の処理手順〕
図１０は，図９に示す映像復号装置の処理フローチャートである。この処理手順における入力は，符号化ストリームであり，出力は，復号シーケンスである。機能は，入力した符号化ストリームを復号シーケンスに変換することである。
・ステップＳ３０１：符号化ストリームを読み込む。
・ステップＳ３０２：符号化ストリームをエントロピー復号し，予測情報や量子化後の係数値，インループフィルタオーバーヘッド等の情報を復号する。
・ステップＳ３０３：量子化後の係数値を逆量子化する。
・ステップＳ３０４：逆量子化後の係数値を逆直交変換する。
・ステップＳ３０５：逆直交変換で得られた予測残差と予測ブロックとを加算合成し，復号画像記憶部３０６に格納する。
・ステップＳ３０６：復号画像に対してインループフィルタ（ＤＦ，ＳＡＯ，ＮＬＭフィルタ，ＡＬＦ）を適用し，復号画像をフレームバッファ３０８に格納する。
・ステップＳ３０７：復号シーケンスを出力する。
【００４２】
〔映像復号装置におけるＮＬＭフィルタ処理部の構成（本実施形態）〕
図１１は，本発明の実施形態における映像復号装置内のＮＬＭフィルタ処理部の構成例を示す図である。本発明の実施形態では，図９に示すＮＬＭフィルタ処理部３０７３は，図１１に示すように構成される。
【００４３】
デノイズ係数復号部４０１は，インループフィルタオーバーヘッドからデノイズ係数の復号を行う。テンプレート形状設定部４０２は，図９の符号化情報記憶部３０９から読み込む所定の境界情報に合わせてＮＬＭフィルタ適用画素の各探索点における所定のテンプレート形状が境界を越えないように，テンプレート形状を構成する画素の境界内側への折り返し／再配置を行う。ＮＬＭフィルタ実行部４０３は，テンプレート形状設定部４０２によって設定されたテンプレート形状を用いてＮＬＭフィルタを適用し，フィルタ後の復号画像を出力する。
【００４４】
〔映像復号におけるＮＬＭフィルタ処理手順（本実施形態）〕
図１２は，図１１に示す本発明の実施形態におけるＮＬＭフィルタ処理部３０７３の処理フローチャートである。この処理手順における入力は，復号画像，インループフィルタオーバーヘッドおよび境界情報であり，出力は，フィルタ後の復号画像である。機能は，デノイズ係数を復号し，復号画像に対しＮＬＭフィルタを適用することである。
・ステップＳ４０１：復号画像とインループフィルタオーバーヘッドを読み込む。
・ステップＳ４０２：デノイズ係数を復号する。
・ステップＳ４０３：符号化情報記憶部３０９から境界情報を読み込み，ＮＬＭフィルタ適用画素の各探索点におけるテンプレート形状を導出する。
・ステップＳ４０４：復号画像の各画素に対して，ステップＳ４０３で導出したテンプレート形状を用いてＮＬＭフィルタを適用し，フィルタ後の復号画像を出力する。
【００４５】
以上の処理によって，ＮＬＭフィルタのテンプレートを構成する画素が指定の境界（画面の上下左右端，ＬＣＵ，スライスなど）を越えて参照することがなくなり，所定のバッファ用メモリに納まる構造がとれるため，ハードウェアの回路規模の肥大化を防ぐことができる。
【００４６】
〔ソフトウェアプログラムを用いた場合の構成例〕
以上説明した映像符号化および映像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００４７】
図１３に，映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，カメラ等からの符号化対象の映像信号を入力する映像信号入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と，本手法により入力映像を符号化する処理をＣＰＵ５０に実行させるソフトウェアプログラムである映像符号化プログラム５４が格納されたプログラム記憶装置５３と，ＣＰＵ５０がメモリ５１にロードされた映像符号化プログラム５４を実行することにより生成された符号化データを，例えばネットワークを介して出力する符号化データ出力部５５（ディスク装置等による符号化データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
【００４８】
図１４に，映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ６０と，ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と，映像符号化装置が本手法により符号化した符号化データを入力する符号化データ入力部６２（ディスク装置等による多重化符号化データを記憶する記憶部でもよい）と，本手法により符号化データを復号する処理をＣＰＵ６０に実行させるソフトウェアプログラムである映像復号プログラム６４が格納されたプログラム記憶装置６３と，ＣＰＵ６０がメモリ６１にロードされた映像復号プログラム６４を実行することにより，符号化データを復号して得られた復号映像を，再生装置などに出力する復号映像出力部６５とが，バスで接続された構成になっている。
【００４９】
以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。
【符号の説明】
【００５０】
１０８３，３０７３  ＮＬＭフィルタ処理部
２０１  最適デノイズ係数算出部
２０２  デノイズ係数符号化部
２０３，４０２  テンプレート形状設定部
２０４，４０３  ＮＬＭフィルタ実行部
４０１  デノイズ係数復号部
【図１】
0005868157.tif 000002
【図２】
0005868157.tif 000003
【図３】
0005868157.tif 000004
【図４】
0005868157.tif 000005
【図５】
0005868157.tif 000006
【図６】
0005868157.tif 000007
【図７】
0005868157.tif 000008
【図８】
0005868157.tif 000009
【図９】
0005868157.tif 000010
【図１０】
0005868157.tif 000011
【図１１】
0005868157.tif 000012
【図１２】
0005868157.tif 000013
【図１３】
0005868157.tif 000014
【図１４】
0005868157.tif 000015
【図１５】
0005868157.tif 000016
【図１６】
0005868157.tif 000017
【図１７】
0005868157.tif 000018
【図１８】
0005868157.tif 000019
【図１９】
0005868157.tif 000020
【図２０】
0005868157.tif 000021