(57)【要約】【課題】Film Grain Technologyにおいて微弱なフィルムグレイン画像を加算する際に見られるブロックの縦境界の歪みを回避する。【解決手段】動画像符号化装置は、ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するノイズリダクション部１１、入力画像及び第１メイン画像からノイズ画像を推定してモデル情報を生成する推定部１２、モデル情報を参照してフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって損なわれる画像成分であるブロック縦境界信号を生成する生成部１３、第１メイン画像とブロック縦境界信号を加算して第２メイン画像を生成する加算部１４、第２メイン画像を符号化して符号化データを生成する符号化部１５、及び符号化データにモデル情報を多重化して符号化ストリームを出力する多重化部１６を有する。【選択図】  図１
2008141436.tif 000002
【特許請求の範囲】
【請求項１】
ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するステップと、
前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応するモデル情報を生成するステップと、
前記モデル情報を参照して、フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって損なわれる画像成分を生成するステップと、
前記第１メイン画像と前記画像成分を加算して第２メイン画像を生成するステップと、
前記第２メイン画像を符号化して符号化データを生成するステップと、
前記符号化データに前記モデル情報を多重化して符号化ストリームを出力するステップと、を具備する動画像符号化方法。
【請求項２】
第１ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するステップと、
前記入力画像及び第１メイン画像から前記第１ノイズ画像を推定して前記第１ノイズ画像に対応するデータベースＩＤ及び強度変調係数を含むモデル情報を生成するステップと、
前記モデル情報を参照して前記第１メイン画像中の複数の画素を含む画像ブロック毎に該画像ブロックの画素平均値に関連づけられたデータベースＩＤに従って、ノイズ画像ブロックを格納したノイズデータベースを選択するステップと、
前記ノイズデータベースからノイズ画像ブロックを切り出すステップと、
前記モデル情報を参照して前記画素平均値に関連づけられた強度変調係数を選択するステップと、
前記強度変調係数によって前記ノイズ画像ブロックを変調して変調ノイズ画像を生成するステップと、
前記変調ノイズ画像の各ノイズ画像ブロック間の境界に平滑フィルタ処理を施して平滑化ノイズ画像を生成するステップと、
前記変調ノイズ画像から前記平滑化ノイズ画像を差し引いて差分画像を生成するステップと、
前記第１メイン画像と前記差分画像を加算して第２メイン画像を生成するステップと、
前記第２メイン画像を符号化して符号化データを生成するステップと、
前記符号化データに前記モデル情報を多重化して符号化ストリームを出力するステップと、を具備する動画像符号化方法。
【請求項３】
前記第２メイン画像を生成するステップは、前記差分画像を該差分画像に係数を乗じた後、前記第１メイン画像に加算するように構成される請求項２に記載の動画像符号化方法。
【請求項４】
前記第２メイン画像を生成するステップは、前記差分画像を該差分画像にオフセットを足し合わせた後、前記第１メイン画像に加算するように構成される請求項２に記載の動画像符号化方法。
【請求項５】
ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するステップと、
前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応する、複数のパラメータを有するモデル情報を生成するステップと、
フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって周期パターンが発生する特定パラメータ範囲を記憶するステップと、
前記パラメータの値が前記特定パラメータ範囲内にあるか否かを判別するステップと、
前記判別するステップにより前記パラメータの値が前記特定パラメータ範囲内にあると判別された場合に、前記パラメータの値を前記特定パラメータ範囲外の値に修正するステップと、
前記メイン画像を符号化して符号化データを生成するステップと、
前記符号化データに前記修正するステップを経たモデル情報を多重化して符号化ストリームを出力するステップと、を具備する動画像符号化方法。
【請求項６】
前記モデル情報は、前記パラメータとして前記ノイズ画像に対応するデータベースＩＤ及び強度変調係数を含む請求項５に記載の動画像符号化方法。
【請求項７】
ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するノイズリダクション部と、
前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応するモデル情報を生成する推定部と、
前記モデル情報を参照して、フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって損なわれる画像成分を生成する生成部と、
前記第１メイン画像と前記画像成分を加算して第２メイン画像を生成する加算部と、
前記第２メイン画像を符号化して符号化データを生成する符号化部と、
前記符号化データに前記モデル情報を多重化して符号化ストリームを出力する多重化部と、を具備する動画像符号化装置。
【請求項８】
第１ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するノイズリダクション部と、
前記入力画像及び第１メイン画像から前記第１ノイズ画像を推定して前記第１ノイズ画像に対応するデータベースＩＤ及び強度変調係数を含むモデル情報を生成する推定部と、
前記モデル情報を参照して前記第１メイン画像中の複数の画素を含む画像ブロック毎に該画像ブロックの画素平均値に関連づけられたデータベースＩＤに従って、ノイズ画像ブロックを格納したノイズデータベースを選択する手段と、
前記ノイズデータベースからノイズ画像ブロックを切り出す手段と、
前記モデル情報を参照して前記画素平均値に関連づけられた強度変調係数を選択する手段と、
前記強度変調係数によって前記ノイズ画像ブロックを変調して変調ノイズ画像を生成する手段と、
前記変調ノイズ画像の各ノイズ画像ブロック間の境界に平滑フィルタ処理を施して平滑化ノイズ画像を生成する手段と、
前記変調ノイズ画像から前記平滑化ノイズ画像を差し引いて差分画像を生成する生成部と、
前記第１メイン画像と前記差分画像を加算して第２メイン画像を生成する加算部と、
前記第２メイン画像を符号化して符号化データを生成する符号化部と、
前記符号化データに前記モデル情報を多重化して符号化ストリームを出力する多重化部と、を具備する動画像符号化装置。
【請求項９】
前記生成部は、前記差分画像を該差分画像に係数を乗じた後、前記第１メイン画像に加算するように構成される請求項８に記載の動画像符号化装置。
【請求項１０】
前記生成部は、前記差分画像を該差分画像にオフセットを足し合わせた後、前記第１メイン画像に加算するように構成される請求項８に記載の動画像符号化装置。
【請求項１１】
ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成する生成部と、
前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応する、複数のパラメータを有するモデル情報を生成する生成部と、
フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって周期パターンが発生する特定パラメータ範囲を記憶する記憶部と、
前記パラメータの値が前記特定パラメータ範囲内にあるか否かを判別する判別部と、
前記判別するステップにより前記パラメータの値が前記特定パラメータ範囲内にあると判別された場合に、前記パラメータの値を前記特定パラメータ範囲外の値に修正する修正部と、
前記メイン画像を符号化して符号化データを生成する符号化部と、
前記符号化データに前記修正部を経たモデル情報を多重化して符号化ストリームを出力する多重化部と、を具備する動画像符号化装置。
【請求項１２】
ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成する処理と、
前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応するモデル情報を生成する処理と、
前記モデル情報を参照して、フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって損なわれる画像成分を生成する処理と、
前記第１メイン画像と前記画像成分を加算して第２メイン画像を生成する処理と、
前記第２メイン画像を符号化して符号化データを生成する処理と、
前記符号化データに前記モデル情報を多重化して符号化ストリームを出力する処理と、を含む動画像符号化処理をコンピュータに行わせるためのプログラム。
【請求項１３】
第１ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成する処理と、
前記入力画像及び第１メイン画像から前記第１ノイズ画像を推定して前記第１ノイズ画像に対応するデータベースＩＤ及び強度変調係数を含むモデル情報を生成する処理と、
前記モデル情報を参照して前記第１メイン画像中の複数の画素を含む画像ブロック毎に該画像ブロックの画素平均値に関連づけられたデータベースＩＤに従って、ノイズ画像ブロックを格納したノイズデータベースを選択する処理と、
前記ノイズデータベースからノイズ画像ブロックを切り出す処理と、
前記モデル情報を参照して前記画素平均値に関連づけられた強度変調係数を選択する処理と、
前記強度変調係数によって前記ノイズ画像ブロックを変調して変調ノイズ画像を生成する処理と、
前記変調ノイズ画像の各ノイズ画像ブロック間の境界に平滑フィルタ処理を施して平滑化ノイズ画像を生成する処理と、
前記変調ノイズ画像から前記平滑化ノイズ画像を差し引いて差分画像を生成する処理と、
前記第１メイン画像と前記差分画像を加算して第２メイン画像を生成する処理と、
前記第２メイン画像を符号化して符号化データを生成する処理と、
前記符号化データに前記モデル情報を多重化して符号化ストリームを出力する処理と、を含む動画像符号化処理をコンピュータに行わせるためのプログラム。
【請求項１４】
前記第２メイン画像を生成する処理は、前記差分画像を該差分画像に係数を乗じた後、前記第１メイン画像に加算する処理である請求項１３に記載のプログラム。
【請求項１５】
前記第２メイン画像を生成する処理は、前記差分画像を該差分画像にオフセットを足し合わせた後、前記第１メイン画像に加算する処理である請求項１３に記載のプログラム。
【請求項１６】
ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成する処理と、
前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応する、複数のパラメータを有するモデル情報を生成する処理と、
フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって周期パターンが発生する特定パラメータ範囲を記憶する処理と、
前記パラメータの値が前記特定パラメータ範囲内にあるか否かを判別する処理と、
前記判別する処理により前記パラメータの値が前記特定パラメータ範囲内にあると判別された場合に、前記パラメータの値を前記特定パラメータ範囲外の値に修正する処理と、
前記メイン画像を符号化して符号化データを生成する処理と、
前記符号化データに前記修正する処理を経たモデル情報を多重化して符号化ストリームを出力する処理と、を含む動画像符号化処理をコンピュータに行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルムグレインを良好に再現可能な動画像符号化方法、装置及びプログラムに関する。
【背景技術】
【０００２】
デジタルバーサタイルディスク（ＤＶＤ）のコンテンツ用途等を目的として映画フィルム映像を符号化する場合、映画本来の雰囲気を損なってしまうという問題がある。これは、符号化に伴い映像中のフィルムグレイン（フィルムの粒子感）が失われるためである。フィルムグレインはハリウッドの魂とも呼ばれており、ＤＶＤオーサリングスタジオにおいて非常に重要視されている。
【０００３】
フィルムグレインをうまく再現するための方法として、特許文献１に開示されたフィルムグレインシミュレーション方法があげられる。代表例に、動画像符号化の国際標準規格の一つであるＨ．２６４におけるフィルムグレインテクノロジー（Film Grain Technology：ＦＧＴ）がある。
【０００４】
ＦＧＴにおける符号化処理では、まず動画像である入力画像に対してフィルムグレイン除去処理を施すことにより、フィルムグレインを除去したメイン画像を生成する。生成されたメイン画像に対して、符号化部により動き補償、直交変換及び量子化を用いた圧縮符号化の処理を行う。一方、ノイズ推定部により入力画像とメイン画像との差分からフィルムグレイン画像を生成し、フィルムグレインを再現するための情報（引用するフィルムグレイン画像データベースを識別するための情報、フィルムグレインの強度等）を推定してモデル情報を生成する。
【０００５】
次に、ＦＧＴにおける復号処理では、復号部によって復号画像としてフィルムグレインが除去されているメイン画像を生成し、ノイズ生成部によって符号化部から送られてきたモデル情報を用いてメイン画像からノイズ画像、すなわちフィルムグレイン画像を生成する。生成されたメイン画像とフィルムグレイン画像を足し合わせることで、フィルムグレインが再現された出力画像を得る。
【０００６】
このようなＦＧＴの利点は、フィルムグレインを分離してモデル化するため、符号化処理によってフィルムグレインが失われることがなく、映画本来の雰囲気を再現できることである。
【特許文献１】米国特許出願公開第２００６／００８２６４９号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００７】
発明者らの検討によれば、ＦＧＴにおいて復号画像に対して微弱なフィルムグレイン画像を足し合わせると、すなわちフィルムグレインを再現するための情報のうちフィルムグレインの強度を示す情報の値が小さいときに、出力画像のブロック縦境界に歪みが見えるという現象が生じることが確認された。これは出力画像の品質を大きく損ねるため、問題である。これはＦＧＴのフィルムグレイン画像生成処理において、フィルムグレイン画像の継ぎ目を目立たなくする目的で、ブロックの縦境界（vertical edge）に対して、デブロッキングフィルタと呼ばれる平滑フィルタ処理を施すことが原因と思われる。
【０００８】
本発明は、微弱なフィルムグレイン画像を加算する際に見られるブロックの縦境界の歪みを回避することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様によると、ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するステップと、前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応するモデル情報を生成するステップと、前記モデル情報を参照して、フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって損なわれる画像成分を生成するステップと、前記第１メイン画像と前記画像成分を加算して第２メイン画像を生成するステップと、前記第２メイン画像を符号化して符号化データを生成するステップと、
前記符号化データに前記モデル情報を多重化して符号化ストリームを出力するステップと、を具備する動画像符号化方法が提供される。
【００１０】
本発明のさらに具体的な態様によると、第１ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するステップと、前記入力画像及び第１メイン画像から前記第１ノイズ画像を推定して前記第１ノイズ画像に対応するデータベースＩＤ及び強度変調係数を含むモデル情報を生成するステップと、前記モデル情報を参照して前記第１メイン画像中の複数の画素を含む画像ブロック毎に該画像ブロックの画素平均値に関連づけられたデータベースＩＤに従って、ノイズ画像ブロックを格納したノイズデータベースを選択するステップと、前記ノイズデータベースからノイズ画像ブロックを切り出すステップと、前記モデル情報を参照して前記画素平均値に関連づけられた強度変調係数を選択するステップと、前記強度変調係数によって前記ノイズ画像ブロックを変調して変調ノイズ画像を生成するステップと、前記変調ノイズ画像の各ノイズ画像ブロック間の境界に平滑フィルタ処理を施して平滑化ノイズ画像を生成するステップと、前記変調ノイズ画像から前記平滑化ノイズ画像を差し引いて差分画像を生成するステップと、前記第１メイン画像と前記差分画像を加算して第２メイン画像を生成するステップと、前記第２メイン画像を符号化して符号化データを生成するステップと、前記符号化データに前記モデル情報を多重化して符号化ストリームを出力するステップと、を具備する動画像符号化方法が提供される。
【００１１】
ここで、前記第２メイン画像を生成するステップは、前記差分画像を該差分画像に係数を乗じた後、前記第１メイン画像に加算するようにしてもよい。
【００１２】
また、前記第２メイン画像を生成するステップは、前記差分画像を該差分画像にオフセットを足し合わせた後、前記第１メイン画像に加算するようにしてもよい。
【００１３】
本発明の他の態様によると、ノイズ画像を含む符号化対象の入力画像に対しノイズ除去処理を施して第１メイン画像を生成するステップと、前記入力画像及び第１メイン画像から前記ノイズ画像を推定して前記ノイズ画像に対応する、複数のパラメータを有するモデル情報を生成するステップと、フィルムグレイン再現のためのフィルムグレイン画像の各ノイズ画像ブロック間の境界に対する平滑フィルタ処理によって周期パターンが発生する特定パラメータ範囲を記憶するステップと、前記パラメータの値が前記特定パラメータ範囲内にあるか否かを判別するステップと、前記判別するステップにより前記パラメータの値が前記特定パラメータ範囲内にあると判別された場合に、前記パラメータの値を前記特定パラメータ範囲外の値に修正するステップと、前記メイン画像を符号化して符号化データを生成するステップと、前記符号化データに前記修正するステップを経たモデル情報を多重化して符号化ストリームを出力するステップと、を具備する動画像符号化方法が提供される。
【００１４】
さらに、本発明の別の態様によると、上述した動画像符号化処理をハードウェアにより実現する動画像符号化装置あるいは上述した動画像符号化処理をコンピュータに行わせるためのプログラムが提供される。
【発明の効果】
【００１５】
本発明によれば、ＦＧＴにおいて微弱なフィルムグレイン画像を加算する際に見られるブロックの縦境界の歪みを回避することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施の形態を説明する。なお、以下の説明では画像信号を単に画像と呼ぶ。
【００１７】
（第１の実施形態）  
図１に示されるように、本発明の一実施形態に係る動画像符号化装置は、ノイズリダクション部１１、ノイズ推定部１２、ブロック縦境界信号生成部１３、加算部１４、符号化部（エンコーダ）１５及び多重化部（マルチプレクサ）１６を有する。一方、図１の動画像符号化装置に対応する動画像復号化装置は、図２に示されるように分離部（デマルチプレクサ）２１、復号部（デコーダ）２２、ノイズ生成部２３及び加算部２４を有する。
【００１８】
図１の動画像符号化装置では、入力端子１０に入力される動画像である入力画像１０１に対して、ノイズリダクション部１１によりノイズ除去処理が施され、メイン画像１０２（第１メイン画像）が生成される。ノイズ推定部１２は、入力画像１０１とメイン画像１０２の差分から、入力画像１０１中に含まれるノイズ（フィルムグレイン）をモデル化し、モデル情報１０３を出力する。モデル情報１０３は、具体的には例えば後述するＦＧＴテーブルを構築するための情報であり、film grain characteristics SEIメッセージとも呼ばれる。
【００１９】
ブロック縦境界信号発生部１３は、ノイズ推定部１２から出力されるモデル情報１０３を参照して、メイン画像１０２からＦＧＴの平滑フィルタ処理によってブロック縦境界において損なわれる画像成分（この画像成分は、加算部１４によってメイン画像１０２のブロック縦境界に加算される信号であり、以後ブロック縦境界信号という）１０４を生成する。ブロック縦境界信号１０４は、加算部１４においてノイズリダクション部１１からのメイン画像１０２に足し合わされ、ブロック縦境界の歪みを補償可能なメイン画像１０５（第２メイン画像）が生成される。
【００２０】
加算器１４から出力されるメイン画像１０５は、符号化部１５（例えばＨ．２６４エンコーダ）により動き補償、ＤＣＴのような直交変換及び量子化を用いた圧縮符号化が施され、符号化データ１０６が生成される。符号化データ１０６は多重化部１６によりノイズ推定部１３から出力されるモデル情報１０３と共に多重化され、符号化ビットストリーム１０７として出力される。符号化ビットストリーム１０７は、例えば図示しないＤＶＤあるいはＨＤ ＤＶＤのような蓄積メディアに記録されるか、あるいはインターネットのような伝送媒体に送出される。
【００２１】
一方、図２の動画像復号化装置においては、入力端子２０に上記の蓄積メディアから再生される、あるいは伝送媒体を介して送られてくる符号化ビットストリーム２０１（基本的に符号化ストリーム１０７と同じ）が入力される。分離部２１では、符号化ビットストリーム２０１から符号化データ２０２とモデル情報２０３が分離される。復号部２２では、符号化データ２０２が復号されることによって、メイン画像（復号画像）２０４が生成される。ノイズ生成部１０８は、モデル情報２０３に従ってメイン画像２０４からノイズ画像（フィルムグレイン画像）２０５が生成される。最後に、加算部２４においてメイン画像２０４とノイズ画像２０５が加算されることによって、フィルムグレインが再現された動画像の出力画像２０６が得られる。
【００２２】
ノイズ生成部２３での処理には、特許文献１と同様にノイズ画像の継ぎ目を目立たなくすることを目的とする、ブロック縦境界に対する平滑フィルタ処理が含まれ、これがブロック縦境界に歪みを発生させる原因となる。図３は、その様子を示す図であり、ノイズ画像（フィルムグレイン画像）をメイン画像（復号画像）に加算して得られる出力画像（結果画像）においては、フィルムグレインが再現されるが、ブロック縦境界の歪みである縦線が入ってしまい、画質を損ねる結果となる。ＦＧＴの規格とは異なるが、このような平滑フィルタ処理を行わずにノイズ生成処理を行ったところ、出力画像のブロック縦境界への歪みは出現せず、正常な画像が得られることが確認された。
【００２３】
そこで、図１に示した動画像符号化装置では、図２の動画像復号化装置のノイズ生成部２３における平滑フィルタ処理によって損なわれる画像成分（これをブロック縦境界信号という）１０４をブロック縦境界信号生成部１３により生成し、このブロック縦境界信号１０４をノイズリダクション部１１から出力されるメイン画像１０２に加算する。これによって出力画像２０６は、ノイズ生成部２３における平滑フィルタ処理を省略した場合の画像に近づくため、図３に示したようなブロック縦境界の歪みのない、高品質な画像となる。
【００２４】
次に、ブロック縦境界信号生成部１３について詳細に説明する。  
図４は、ノイズ推定部１２によって生成されるモデル情報１０３であるＦＧＴテーブル３０１の例であり、ここではレンジＬ、レンジＨ、ＤＢ＿ＩＤ及びＣＯＦＦの４項目を有する。レンジＬ及びレンジＨは、メイン画像の例えば８×８画素ブロックの平均画素値に対して設定される下限及び上限を表す。ＤＢ＿ＩＤは、レンジＬ及びレンジＨで示される範囲に対応する図５のノイズデータベース３０２を指し示すＩＤである。ＣＯＦＦは、レンジＬ及びレンジＨで示される範囲に対応する強度（振幅）変調係数である。ノイズデータベース３０２においては、例えば図５に示されるようにＩＤ１，ＩＤ２，・・・の位置にノイズ画像ブロックのデータが格納されている。
【００２５】
ここで、図２に示した動画像復号化装置では、以下のようにしてノイズ生成部２３によりノイズ画像２０５が生成される。まず、復号部２２から出力されるメイン画像２０４の画素ブロックの平均画素値が入るレンジＬ及びレンジＨで示される範囲に対応するＤＢ＿ＩＤに従ってノイズデータベースからノイズ画像ブロックが切り出される。切り出されたノイズ画像ブロックに対して、メイン画像２０４の画素ブロックの平均画素値に対応する強度変調係数ＣＯＦＦが乗じられて変調が施されることにより、変調ノイズ画像が生成される。生成された変調ノイズ画像のノイズ画像ブロック間の縦境界に平滑フィルタ処理が施されることによって、メイン画像２０４に対して加算されるべきノイズ画像２０５が生成される。
【００２６】
図１中に示したブロック縦境界信号生成部１３は、図２の動画像復号化装置におけるノイズ生成部２３の上述した処理に着目して、例えば図６のフローチャートに示す手順によりブロック縦境界信号１０４を生成する。
【００２７】
まず、メイン画像１０２（ノイズリダクション部１１から出力されるノイズ除去後の画像）の例えば８×８画素ブロックの平均画素値を算出する（ステップＳ１０１）。この平均画素値をキーとしてＦＧＴテーブル３０１を参照することにより、平均画素値に対応するノイズデータベース３０２のＩＤであるＤＢ＿ＩＤを決定する（ステップＳ１０２）。ステップＳ１０２で決定されたＤＢ＿ＩＤをキーとしてノイズデータベース３０２を参照し、ＤＢ＿ＩＤに対応するノイズ画像ブロックを切り出す（ステップＳ１０３）。
【００２８】
次に、ステップＳ１０２と同様に平均画素値によってＦＧＴテーブル３０１を参照し、平均画素値に対応する強度変調係数ＣＯＦＦを決定する（ステップＳ１０４）。ステップＳ１０３で切り出されたノイズ画像ブロックに対して、ステップＳ１０４で決定されたＣＯＦＦに従って強度変調を施す（ステップＳ１０５）。
【００２９】
例えば、ステップＳ１０１で算出された平均画素値が“３０”であれば、図４より平均画素値“３０”に対応するＤＢ＿ＩＤは“２”である。このため、ステップＳ１０２ではＤＢ＿ＩＤはＩＤ２と決定され、ステップＳ１０３においてＩＤ２に対応するノイズ画像ブロックが切り出される。一方、図４より平均画素値“３０”に対応する強度変調係数ＣＯＦＦは0.5と決定され、ステップＳ１０３で切り出されたノイズ画像ブロックに対して0.5が乗じられる。
【００３０】
ステップＳ１０１〜Ｓ１０５の処理がメイン画像１０２の全ての画像ブロックについて行われることにより、ステップＳ１０５ではメイン画像１０２の全ての画像ブロックに対応しかつ強度変調が施されたノイズ画像ブロックからなる変調ノイズ画像が生成される。
【００３１】
次に、ステップＳ１０５で生成された変調ノイズ画像のノイズ画像ブロックの縦境界に平滑フィルタ処理を施して平滑化ノイズ画像を生成する（ステップＳ１０６）。ステップＳ１０５で生成された変調ノイズ画像から、ステップＳ１０６で生成された平滑化ノイズ画像を差し引くことにより得られる差分画像をブロック縦境界信号１０４として生成する（ステップＳ１０７）。
【００３２】
以上のように本実施形態では、図１の動画像符号化装置においてノイズリダクション部１１から出力されるノイズ除去後のメイン画像１０２にブロック縦境界信号生成部１３により生成されるブロック縦境界信号１０４を足し合わせた後、符号化部１５により符号化を行う。ブロック縦境界信号１０４は、前述したように動画像復号化装置のノイズ生成部２３における平滑フィルタ処理によって損なわれる画像成分であり、符号化前に予めメイン画像１０２に加算される。
【００３３】
従って、動画像復号化装置においては、ノイズ生成部２３からのノイズ画像２０５が復号部２２からのメイン画像２０４に加算されることによりフィルムグレインが再現されつつも、ノイズ生成部２３での平滑フィルタ処理によるブロック縦境界の歪みのない高品質の出力画像１０７を得ることができる。
【００３４】
次に、第１の実施形態の変形例について説明する。図７は、変形例に係るブロック縦境界信号生成部１３の処理手順であり、図６のステップＳ１０７の後にステップＳ１０８の処理を追加している。ステップＳ１０８では、ステップＳ１０７で変調ノイズ画像から平滑化ノイズ画像を差し引いて得られる差分画像に対して、符号化歪みによる劣化を考慮した係数を掛け合わせることで強度変調を施すことによってブロック縦境界信号１０４を生成する。
【００３５】
図８は、他の変形例に係るブロック縦境界信号生成部１３の処理手順であり、図６のステップＳの後にステップＳ１０９の処理を追加している。ステップＳ１０９では、ステップＳ１０７で変調ノイズ画像から平滑化ノイズ画像を差し引いて得られる差分画像に対して、オフセットを加算することによってブロック縦境界信号１０４を生成する。
【００３６】
図２の動画像復号化装置におけるノイズ生成部２３では、平滑フィルタの丸めによりブロック縦境界の歪みは負側に出る確率が高い。そこで、ステップＳ１０９では例えば正方向のオフセットを差分画像に対して加算することによって、ブロック縦境界の歪みをより正確に補償できるようなブロック縦境界信号１０４を生成する。
【００３７】
なお、図７のステップＳ１０８と図８のステップＳ１０９の処理を組み合わせてもよく、それによってブロック縦境界の歪みをさらに正確に補償することが可能である。
【００３８】
（第２の実施形態）  
図９は、本発明の第２の実施形態に係る動画像符号化装置を示している。本実施形態では、図１からブロック縦境界信号生成部１３及び加算部１４が除去され、代わりにパラメータ範囲判別部１７と特定パラメータ範囲記憶部１８及びパラメータ修正部１９が追加されている。
【００３９】
ノイズ推定部12から出力されるモデル情報１０３は、パラメータ修正部１９を経て多重化部１６に入力される。パラメータ範囲判別部１７は、モデル情報１０３が特定パラメータ範囲記憶部１８に記憶されている予め定められた範囲（特定パラメータ範囲という）内にあるか否かを判別する。
【００４０】
ここで、特定パラメータ範囲とは、ＦＧＴの弊害である周期パターンの歪み（言い換えればブロック縦境界の歪み）が観測されるようなモデル情報１０３のパラメータ範囲をいう。図１０は、このような特定パラメータ範囲の一例を示す図であり、この例では先に例示したモデル情報１０３（ＦＧＴテーブル）のうちＤＢ＿ＩＤを横軸にとり、ＣＯＦＦを縦軸にとっており、図１０の斜線で示す範囲が特定パラメータ範囲である。
【００４１】
パラメータ修正部１９は、入力されたモデル情報１０３が特定パラメータ範囲外にある場合は、モデル情報１０３をそのままモデル情報１０８として出力する。一方、モデル情報１０３が特定パラメータ範囲内にある場合、パラメータ修正部１９はモデル情報１０３を特定パラメータ外となるように修正してモデル情報１０８を出力する。
【００４２】
このように本実施形態によると、モデル情報のパラメータのうち動画像復号化装置の出力画像２０６に周期パターンの歪みを発生させるような範囲の値については利用しないようにすることにより、ブロック縦境界の歪みのような周期パターンの歪みが発生しない高品質な出力画像２０６が得られる。
【００４３】
以上説明した本発明の実施形態に基づく動画像符号化処理は、ハードウェアでも実現可能であるが、パーソナルコンピュータのようなコンピュータを用いてソフトウェアにより実行することも可能である。従って、本発明によれば上述した動画像符号化処理をコンピュータに行わせるためのプログラム、あるいは当該プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することができる。
【００４４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、図６〜図８のフローチャートに示した各ステップの処理順序は適宜変更できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４５】
【図１】第１の実施形態に係る動画像符号化装置を示すブロック図
【図２】第１の実施形態に係る動画像復号化装置を示すブロック図
【図３】ＦＧＴの副作用による画質劣化を説明するための図
【図４】モデル情報であるＦＧＴテーブルの一例を示す図
【図５】ノイズデータベースの一例を示す図
【図６】ブロック縦境界信号生成部の処理手順を示すフローチャート
【図７】ブロック縦境界信号生成部の他の処理手順を示すフローチャート
【図８】ブロック縦境界信号生成部の更に別の処理手順を示すフローチャート
【図９】第２の実施形態に係る動画像符号化装置を示すブロック図
【図１０】第２の実施形態における特定パラメータ範囲の例を示す図
【符号の説明】
【００４６】
１０・・・動画像の入力端子
１１・・・ノイズリダクション部
１２・・・ノイズ推定部
１３・・・ブロック縦境界信号生成部
１４・・・加算部
１５・・・符号化部
１６・・・多重化部
１７・・・パラメータ範囲判別部
１８・・・特定パラメータ範囲記憶部
１９・・・パラメータ修正部
２０・・・符号化ストリームの入力端子
２１・・・分離部
２２・・・復号部
２３・・・ノイズ生成部
２４・・・加算部
１０１・・・入力画像
１０２・・・第１メイン画像
１０３・・・モデル情報
１０４・・・ブロック縦境界信号
１０５・・・第２メイン画像
１０６・・・符号化データ
１０７・・・符号化ビットストリーム
１０８・・・モデル情報
２０１・・・符号化ストリーム
２０２・・・符号化データ
２０３・・・モデル情報
２０４・・・メイン画像
２０５・・・ノイズ画像
２０６・・・出力画像
【図１】
2008141436.tif 000003
【図２】
2008141436.tif 000004
【図３】
2008141436.tif 000005
【図４】
2008141436.tif 000006
【図５】
2008141436.tif 000007
【図６】
2008141436.tif 000008
【図７】
2008141436.tif 000009
【図８】
2008141436.tif 000010
【図９】
2008141436.tif 000011
【図１０】
2008141436.tif 000012