(57)【要約】【課題】復号された動画像におけるブロック歪を低減でき、また、画像のボケやちらつきといった副作用を生じることのない動画像符号化装置および動画像復号装置を実現する。【解決手段】動画像符号化装置３００ｂには、予測画像を生成するイントラ予測部８及びインター予測部９と、原画像から予測画像を減算して得られる差分画像に対してフィルタ処理を施すフィルタ処理部１１ｂとを備えたフィルタ装置が搭載されている。フィルタ処理部１１ｂは、出力画像における各画素の画素値を、該画素が属するブロックを対象ブロックとして、上記予測画像において該対象ブロックに属する画素の画素値、及び、上記予測画像において該対象ブロックに隣接する隣接ブロックに属する画素の画素値を参照して算出する。【選択図】図９
2011166832.tif 000002
【特許請求の範囲】
【請求項１】
予測画像を生成する予測画像生成手段と、
処理対象画像に対してフィルタ処理を施すフィルタ処理手段とを備え、
上記フィルタ処理手段は、出力画像における各画素の画素値を、該画素が属するブロックを対象ブロックとして、上記予測画像において該対象ブロックに属する画素の画素値、及び、上記予測画像において該対象ブロックに隣接する隣接ブロックに属する画素の画素値を参照して算出する、ことを特徴とするフィルタ装置。
【請求項２】
上記フィルタ処理手段は、ブロック歪を発生させる周波数成分を上記処理対象画像から除去するものである、
ことを特徴とする請求項１に記載のフィルタ装置。
【請求項３】
上記処理対象画像は、原画像から上記予測画像を減算して得られる差分画像である、
ことを特徴とする請求項１又は２に記載のフィルタ装置。
【請求項４】
上記フィルタ処理手段は、除去されたブロック歪を発生させる周波数成分を上記処理対象画像に付加するものである、
ことを特徴とする請求項１に記載のフィルタ装置。
【請求項５】
上記処理対象画像は、復号画像を得るために上記予測画像に加算される差分画像である、ことを特徴とする請求項１又は４に記載のフィルタ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、量子化対象画像を複数のブロックに分割して符号化する動画像符号化装置、及び、動画像復号装置に関するものである。
【背景技術】
【０００２】
膨大な情報量をもつ動画像を効率的に伝送したり記録したりするために、画像データを複数のブロックに分割してブロック毎に量子化・符号化する技術が広く用いられている。ブロック毎に量子化・符号化された動画像においては、各ブロックの境界において輝度レベル等の画素値が不連続に変化するブロック歪（ブロックノイズ）が発生する。このブロック歪を低減する技術として、非特許文献１に記載のＨ．２６４／ＡＶＣ動画像符号化方式におけるデブロッキングフィルタが知られている。
【０００３】
以下、Ｈ．２６４／ＡＶＣ動画像符号化方式により動画像を符号化する動画像符号化装置１００、および、同方式により符号化された動画像を復号する動画像復号装置２００について、図１１〜図１５を参照しながら説明する。
【０００４】
〔従来の動画像符号化装置の構成〕
図１１は、Ｈ．２６４／ＡＶＣ動画像符号化方式により動画像を符号化する動画像符号化装置１００の概略構成を示す機能ブロック図である。図１１に示したように、動画像符号化装置１００は、ＤＣＴ部１、量子化部２、可変長符号化部３、逆量子化部４、ＩＤＣＴ部５、デブロッキングフィルタ処理部６、フレームメモリ７、イントラ予測部８、インター予測部９、及び、上記各部を制御する符号化制御部１０を備えている。
【０００５】
ＤＣＴ部１は、原画像から後述する予測画像を減算して得られる差分画像を４×４画素あるいは８×８画素からなるブロックに分割し、各ブロックの画像信号を直交変換（整数精度ＤＣＴ）する。当該直交変換により得られた変換係数（離散コサイン変換におけるＤＣＴ係数に相当）は、量子化部２に送られる。量子化部２は、符号化制御部１０から供給される量子化パラメータに従って、各ブロックの変換係数を量子化する。量子化の結果得られた量子化代表値は、可変長符号化部３と逆量子化部４とに送られる。
【０００６】
可変長符号化部３は、符号化制御部１０から供給される各種符号化パラメータと、量子化部３から供給される量子化代表値（量子化された各ブロックの変換係数）を可変長符号化する。可変長符号化部３による符号化の結果得られた符号化データは、後述する動画像復号装置２００に送出される。
【０００７】
逆量子化部４は、符号化制御部１０から供給される量子化パラメータに従って、量子化部３から供給される量子化代表値（量子化された各ブロックの変換係数）を逆量子化する。すなわち、逆量子化部４は、量子化部２による上記量子化操作の逆の操作により、量子化代表値から各ブロックの変換係数を復元する。逆量子化により復元された各ブロックの変換係数は、ＩＤＣＴ部５に送られる。ＩＤＣＴ部５は、逆量子化により得られた各ブロックの変換係数を空間領域の画像信号に変換し、差分画像を復元する。ここで、ＩＤＣＴ部５が変換係数に適用する逆直交変換は、ＤＣＴ部１が適用する直交変換の逆変換（整数精度ＩＤＣＴ）である。ＩＤＣＴ部５により復元された差分画像と予測画像とを加算して得られる局所復号画像は、デブロッキングフィルタ処理部６に送られる。
【０００８】
デブロッキングフィルタ処理部６は、予測画像と差分画像とが加算された局所復号画像におけるブロック歪を除去するために、該局所復号画像に対して適応的なフィルタ処理を行う。デブロッキングフィルタ処理部６による適応的なフィルタ処理の詳細については、後に詳しく説明する。
【０００９】
デブロッキングフィルタ処理部６によりブロック歪が除去された局所復号画像は、フレームメモリ７に一時的に記憶される。フレームメモリ７は、複数の局所復号画像を記憶することが可能である。フレームメモリ７に記憶されている局所復号画像は、参照画像としてイントラ予測部８、あるいは、インター予測部９によって参照される。
【００１０】
イントラ予測部８は、フレーム内予測を行うことにより、フレームメモリ７に記録された参照画像から予測画像を生成する。イントラ予測部８は、Ｈ．２６４／ＡＶＣ動画像符号化標準において定義されている複数の予測モード（予測アルゴリズム）によるフレーム内予測を行うことが可能であり、符号化制御部１０により指定された予測モードによるフレーム内予測を実行する。
【００１１】
インター予測部９は、符号化制御部１０により決定された動きベクトルとフレームメモリ７に記憶された参照画像とに基づいて、フレーム間予測（動き補償予測）によって予測画像を生成する。インター予測部９は、符号化制御部１０により指定されたサイズのブロックを用いて、また、符号化制御部１０により指定された複数の参照画像を用いてフレーム間予測を行う。
【００１２】
符号化制御部１０は、フレーム内予測とフレーム間予測とのうち何れの予測方法により予測画像を生成するかを判定し、判定された予測方法に応じた各種符号化パラメータを決定する。フレーム内予測を行う場合の符号化パラメータには、フレーム内予測における予測モードを指定する情報が含まれる。また、フレーム間予測を行う場合の符号化パラメータには、動きベクトル、ブロックサイズ、および、参照画像を指定する情報が含まれる。さらに、符号化制御部１０は、量子化部２と逆量子化部４とに対して量子化パラメータを指定する。
【００１３】
次に、図１１に示した動画像符号化装置１００の符号化動作について説明する。概略的に言えば、動画像符号化装置１００は、以下のステップ１〜６を繰り返すことにより、動画像の符号化を行う。
【００１４】
（ステップ１）  符号化制御部１０が、フレーム内予測を行うかフレーム間予測を行うかを判定し、符号化に必要な符号化パラメータおよび量子化パラメータを決定する。
【００１５】
（ステップ２）  ステップ１における判定結果に応じて、イントラ予測部８またはインター予測部９が、フレームメモリ７に蓄積された参照画像を基に予測画像を生成する。
【００１６】
（ステップ３）  ステップ２にて生成された予測画像と入力された原画像との差分画像が生成され、ＤＣＴ部１に供給される。
【００１７】
（ステップ４）ＤＣＴ部１と量子化部２とが、ステップ３にて得られた差分画像の画像信号をブロック毎に直交変換し、得られた変換係数を量子化する。得られた量子化代表値は、可変長符号化部３により可変長符号化されて、符号化データとして出力される。
【００１８】
（ステップ５）  逆量子化部４とＩＤＣＴ部５とが、ステップ４にて得られた量子化代表値を逆量子化して差分画像を復元する。
【００１９】
（ステップ６）  ステップ５にて復元された差分画像とステップ２にて生成された予測画像とが加算され、得られた局所復号画像がデブロッキングフィルタ処理部６に供給される。
【００２０】
（ステップ７）  デブロッキングフィルタ処理部６により、ステップ６にて得られた局所復号画像からブロック歪が除去され、ブロック歪が低減された局所復号画像がフレームメモリ７に参照画像として蓄積される。
【００２１】
〔従来の動画像復号装置の構成〕
次に、Ｈ．２６４／ＡＶＣ動画像符号化方式により符号化された動画像を復号する動画像復号装置２００について、図１２に基づいて説明する。図１２に示したように、動画像復号装置２００は、逆量子化部４、ＩＤＣＴ部５、デブロッキングフィルタ処理部６、フレームメモリ７、イントラ予測部８、インター予測部９、および、可変長復号部２０を備えている。
【００２２】
ここで、動画像復号装置２００を構成する機能ブロックのうち、上述した動画像符号化装置１００（図１１）にない機能ブロックは、可変長復号部２０のみである。動画像符号化装置１００と同一機能を有するブロックについては、名称および符号を同一とし説明を省略する。可変長復号部２０は、符号化パラメータおよび量子化代表値（量子化された変換係数）を可変長復号する機能を有している。
【００２３】
図１２に示した動画像復号装置２００は、概略的に言えば、以下のステップ１〜６を繰り返すことにより、符号化データを復号する。
【００２４】
（ステップ１）  可変長復号部２０が、符号化データを可変長復号し、符号化パラメータと量子化代表値（量子化された変換係数）とを得る。
【００２５】
（ステップ２）  復号された符号化パラメータに従い、イントラ予測部８またはインター予測部９が、フレームメモリ７に蓄積された参照画像を基に予測画像を生成する。
【００２６】
（ステップ３）  逆量子化部４とＩＤＣＴ部５とが、ステップ１にて得られた量子化代表値を逆量子化して差分画像を復元する。
【００２７】
（ステップ４）  ステップ３にて復元された差分画像とステップ２にて生成された予測画像とが加算され、得られた復号画像がデブロッキングフィルタ処理部６に供給される。
【００２８】
（ステップ５）  デブロッキングフィルタ処理部６により、ステップ４にて得られた復号画像からブロック歪が除去され、ブロック歪が低減された復号画像がフレームメモリ７に蓄積される。フレームメモリ７に蓄積された復号画像は、任意のタイミングで読み出して参照画像あるいは表示用画像として利用され得る。
【００２９】
（ステップ６）  フレームメモリに蓄積された復号画像が表示用画像として適切なタイミングでディスプレイ等の画像映出手段に出力される。
【００３０】
〔デブロッキングフィルタ〕
上述した通り、Ｈ．２６４／ＡＶＣ動画像符号化方式では、動画像符号化装置１００および動画像復号装置２００の双方において、共通のデブロッキングフィルタ処理部６を用いることにより、動画像の量子化・逆量子化過程で発生するブロック歪を低減している。以下、このデブロッキングフィルタ処理部６について、図１３〜図１５を参照しながら、もう少し詳しく説明する。
【００３１】
図１３は、Ｈ．２６４／ＡＶＣ動画像符号化方式による動画像の符号化処理における、量子化対象画像（原画像と予測画像との差分画像）のブロック分割パターンを示す説明図である。図１３に示したように、量子化対象画像は、Ｗ×Ｈ個の矩形状のブロックに分割される。Ｗ×Ｈ個のブロックには、量子化対象画像の左上端から順にＢ０〜ＢＷ×Ｈ−１の符号を付している。
【００３２】
図１４は、図１３に示した量子化対象画像中の隣接する２つのブロック、ブロックＢｎとブロックＢｎ＋１とを示す図である。図１４に示したように、ブロックＢｎおよびブロックＢｎ＋１は、それぞれ４行４列に配列された計１６個の画素から構成されている。図１３の符号化対象画像を構成する全てのブロックＢ０〜ＢＷ×Ｈ−１は、ブロックＢｎと同様、４行４列に配列された１６画素から構成されている。
【００３３】
量子化対象画像を構成する画素は、該画素を含むブロックを特定する変数ｎと、このブロック中で該画素の位置を特定する変数ｕ、ｖとの組み合わせ（ｎ、ｕ、ｖ）で指定することができる。すなわち、画素（ｎ、ｕ、ｖ）は、ブロックＢｎのｕ列目ｖ行目の画素である。また、以下の説明において、画素（ｎ、ｕ、ｖ）の属性値をＸ（ｎ、ｕ、ｖ）のように表記する。例えば、符号化対象画像における画素（ｎ、ｕ、ｖ）の画素値はＰ（ｎ、ｕ、ｖ）のように表記する。
【００３４】
図１３および図１４に示したブロックＢ０〜ＢＷ×Ｈ−１が、動画像の符号化における直交変換・量子化・逆量子化・逆直交変換の一連の処理の処理単位となる。すなわち、量子化対象画像の画像データは、ブロックＢ０〜ＢＷ×Ｈ−１毎に変換係数に変換されて量子化される。
【００３５】
しかしながら、量子化は非可逆的な過程であるため、逆量子化・逆直交変換により量子化対象画像を復元したとしても、復元された画像は符号化対象画像とは一致せず、復元された画像における隣接ブロック間の境界にはブロック歪が発生する。このブロック歪を低減するのがデブロッキングフィルタ処理部６である。
【００３６】
Ｈ．２６４／ＡＶＣ動画像符号化方式で用いられるデブロッキングフィルタ処理部６は、水平方向に隣接するブロック（Ｂｎ、Ｂｎ＋１）間のフィルタ処理、および、垂直方向に隣接するブロック（Ｂｎ、Ｂｎ＋Ｗ）間のフィルタ処理をぞれぞれ独立に行う。また、デブロッキングフィルタ処理部６が行うフィルタ処理のフィルタ強度は、各ブロックに適用された予測モード等の条件に応じて、適応的に設定される。
【００３７】
デブロッキングフィルタ処理部６が行うフィルタ処理の一例として、水平方向に隣接するブロックＢｎとブロックＢｎ＋１とに対する、最も強いフィルタ強度でのフィルタ処理演算を以下に示す。なお、以下の各式において、Ｐ（ｎ、ｕ、ｖ）はデブロッキングフィルタ処理の処理対象画像（動画像符号化装置１００における局所復号画像、あるいは、動画像復号装置２００における復号画像）における画素（ｎ、ｕ、ｖ）の画素値、Ｐ´（ｎ、ｕ、ｖ）はデブロッキングフィルタ処理部６が出力するフィルタ出力画像における画素（ｎ、ｕ、ｖ）の画素値を表す。
【００３８】
【数１】
2011166832.tif 000003
【００３９】
【数２】
2011166832.tif 000004
【００４０】
【数３】
2011166832.tif 000005
【００４１】
【数４】
2011166832.tif 000006
【００４２】
【数５】
2011166832.tif 000007
【００４３】
【数６】
2011166832.tif 000008
【００４４】
【数７】
2011166832.tif 000009
【００４５】
【数８】
2011166832.tif 000010
【００４６】
なお詳細な説明は省略するが、同様のフィルタ処理が垂直方向の隣接ブロック間に対しても適用される。
【００４７】
上記フィルタ処理の処理対象画像に対する作用を、図１５（ａ）〜（ｃ）に示す。図１５（ａ）は、ブロックＢｎとブロックＢｎ＋１とにおける、原画像の画素値ｐ（ｎ、ｕ、ｖ）を表すグラフである。図１５（ｂ）は、ブロックＢｎとブロックＢｎ＋１とにおける、デブロッキングフィルタ処理部６の処理対象となる復号画像の画素値Ｐ（ｎ、ｕ、ｖ）を表すグラフである。図１５（ｂ）に示すように、復号画像においては、ブロック境界における画素値の不連続な変化、すなわち、ブロック歪が発生している。図１５（ｃ）は、復号画像にデブロッキングフィルタ６によるフィルタリング処理を施した後の画像の、ブロックＢｎとブロックＢｎ＋１とにおける画素値Ｐ´（ｎ、ｕ、ｖ）を表すグラフである。デブロッキングフィルタ６により隣接ブロック間に渡る画素値の畳み込みが行われるため、復元された符号化対象画像における画素値の不連続な変化は平滑化され、ブロック歪は低減される。
【先行技術文献】
【非特許文献】
【００４８】
【非特許文献１】ITU-T Recommendation H.264:"Advanced Video Coding for generic audiovisual services" (2003)
【発明の概要】
【発明が解決しようとする課題】
【００４９】
しかしながら、上記従来の動画像符号化装置においては、デブロッキングフィルタによってブロック歪みを低減した副作用として、画像のボケ、あるいは、動画再生時の画像のチラツキといったブロック歪とは別の画質劣化が発生してしまうという問題があった。
【００５０】
デブロッキングフィルタの副作用について、以下、もう少し詳しく説明する。上述した式（１）〜（８）から明らかなように、フィルタ処理対象画像の画素値をＰ（ｎ、ｕ、ｖ）とすると、フィルタ処理前のブロックＢｎの平均画素値〈Ｐｎ〉と、フィルタ処理後のブロックＢｎの平均画素値〈Ｐ´ｎ〉とは、それぞれ以下の式で与えられる。
【００５１】
【数９】
2011166832.tif 000011
【００５２】
【数１０】
2011166832.tif 000012
【００５３】
すなわち、フィルタ処理の前後で、各ブロックにおける平均画素値は異なる。従って、従来のデブロッキングフィルタを用いた場合、フィルタ処理の前後で各ブロックにおける平均画素値が保存されないので、フィルタ処理により原画像と復号画像との平均画素値の差が拡大され得る。
【００５４】
そうすると、動画像符号化装置においては、原画像に対して平均画素値の差を有する局所復号画像を参照画像として予測画像が生成されることになる。また、動画像復号装置においては、原画像に対して平均画素値差を有する復号画像が参照画像あるいは表示用画像として生成されることになる。このため、動画像における画像のボケやちらつきが生ずることになる。
【００５５】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、復号された動画像におけるブロック歪を低減でき、また、画像のボケやちらつきといった副作用を生じることのない動画像符号化装置および動画像復号装置を実現することにある。
【課題を解決するための手段】
【００５６】
上記課題を解決するために、本発明に係るフィルタ装置は、予測画像を生成する予測画像生成手段と、処理対象画像に対してフィルタ処理を施すフィルタ処理手段とを備え、上記フィルタ処理手段は、出力画像における各画素の画素値を、該画素が属するブロックを対象ブロックとして、上記予測画像において該対象ブロックに属する画素の画素値、及び、上記予測画像において該対象ブロックに隣接する隣接ブロックに属する画素の画素値を参照して算出する、ことを特徴としている。
【００５７】
本発明に係るフィルタ装置において、上記フィルタ処理手段は、ブロック歪を発生させる周波数成分を上記処理対象画像から除去するものである、ことが好ましい。
【００５８】
本発明に係るフィルタ装置において、上記処理対象画像は、原画像から上記予測画像を減算して得られる差分画像である、ことが好ましい。
【００５９】
本発明に係るフィルタ装置において、上記フィルタ処理手段は、除去されたブロック歪を発生させる周波数成分を上記処理対象画像に付加するものである、ことが好ましい。
【００６０】
本発明に係るフィルタ装置において、上記処理対象画像は、復号画像を得るために上記予測画像に加算される差分画像である、ことが好ましい。
【発明の効果】
【００６１】
本発明によれば、復号された動画像におけるブロック歪を低減でき、また、画像のボケやちらつきといった副作用を生じることのない動画像符号化装置および動画像復号装置を実現することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施の形態に係る動画像符号化装置の構成を示す機能ブロック図である。
【図２】本発明の一実施の形態に係る動画像復号装置の構成を示す機能ブロック図である。
【図３】図１に示した動画像符号化装置のフィルタ処理部による、フィルタ処理演算の概要を示したフローチャートである。
【図４】（ａ）は、図３に示したフィルタ処理演算の作用を示すグラフであり、フィルタ処理の対象となる処理対象画像の画素値を表すグラフである。（ｂ）は、図３に示したフィルタ処理演算の作用を示すグラフであり、処理対象画像のブロック毎の平均画素値を表すグラフである。（ｃ）は、図３に示したフィルタ処理演算の作用を示すグラフであり、（ｂ）に示した平均画素値を用いた線型補間により得られた予測値を表すグラフである。（ｄ）は、図３に示したフィルタ処理演算の作用を示すグラフであり、フィルタ出力画像の画素値を表すグラフである。
【図５】図１に示した動画像符号化装置、および、図２に示した動画像復号装置が備えている逆フィルタ処理部による、逆フィルタ処理演算の概要を示したフローチャートである。
【図６】（ａ）は、図５に示した逆フィルタ処理演算の作用を示すグラフであり、逆フィルタ処理の対象となる処理対象画像の画素値を表すグラフである。（ｂ）は、図５に示した逆フィルタ処理演算の作用を示すグラフであり、処理対象画像のブロック毎の平均画素値を表すグラフである。（ｃ）は、図５に示した逆フィルタ処理演算の作用を示すグラフであり、（ｂ）に示した平均画素値を用いた線型補間により得られた予測値を表すグラフである。（ｄ）は、図５に示した逆フィルタ処理演算の作用を示すグラフであり、逆フィルタ出力画像の画素値を表すグラフである。
【図７】本発明の一実施の形態に係る動画像符号化装置の他の構成例を示す機能ブロック図である。
【図８】本発明の一実施の形態に係る動画像復号装置の他の構成例を示すものであり、図７の動画像符号化装置に対応する動画像復号装置の構成を示す機能ブロック図である。
【図９】本発明の一実施の形態に係る動画像符号化装置の他の構成例を示す機能ブロック図である。
【図１０】本発明の一実施の形態に係る動画像復号装置の他の構成例を示すものであり、図９の動画像符号化装置に対応する動画像復号装置の構成を示す機能ブロック図である。
【図１１】従来の技術を示すものであり、デブロッキングフィルタを備えた動画像符号化装置の構成を示す機能ブロック図である。
【図１２】従来の技術を示すものであり、図１１に示した動画像符号化装置に対応する動画像復号装置の構成を示す機能ブロック図である。
【図１３】量子化の対象となる量子化対象画像、あるいは、フィルタ処理の対象となる処理対象画像における、画像の分割パターンを示す説明図である。
【図１４】図１３に示した分割パターンにより複数のブロックに分割された画像における、隣接する２つのブロックを拡大して示した拡大図である。
【図１５】（ａ）は、従来技術を示すものであり、デブロッキングフィルタの作用を示すグラフである。とくに、符号化の対象となる原画像の画素値を示すグラフである。（ｂ）は、従来技術を示すものであり、デブロッキングフィルタの作用を示すグラフである。とくに、ブロック歪を含む局所復号画像の画素値を示すグラフである。（ｃ）は、従来技術を示すものであり、デブロッキングフィルタの作用を示すグラフである。とくにデブロッキングフィルタの出力画像の画素値を示すグラフである。
【発明を実施するための形態】
【００６３】
本発明の動画像符号化装置の一実施形態について、図１〜図１０に基づいて説明すれば以下の通りである。
【００６４】
〔動画像符号化装置の構成〕
はじめに、本実施の形態に係る動画像符号化装置の構成について説明する。図１は本実施形態に係る動画像符号化装置３００の概略構成を示した機能ブロック図である。図１に示したように、動画像符号化装置３００は、ＤＣＴ部１、量子化部２、可変長符号化部３、逆量子化部４、ＩＤＣＴ部５、フレームメモリ７、イントラ予測部８、インター予測部９、符号化制御部１０、フィルタ処理部１１、及び、逆フィルタ処理部１２を備えている。
【００６５】
図１の動画像符号化装置３００と従来の動画像符号化装置１００（図１１）との相違点は、動画像符号化装置３００が、従来のデブロッキングフィルタ６の代わりに、フィルタ処理部１１と逆フィルタ処理部１２とを備えている点である。図１において、従来の動画像符号化装置１００と同一機能を有するブロックについては、図１１と同一の名称および符号を用いて示し、その説明を省略する。
【００６６】
動画像符号化装置３００に特徴的な構成は、フィルタ処理部１１、および、逆フィルタ処理部１２である。フィルタ処理部１１は、符号化の対象となる原画像を処理対象画像とし、該処理対象画像からブロック歪を発生させる周波数成分を除去するフィルタ処理を行う。ＤＣＴ部１には、フィルタ処理部１１によるフィルタ処理が施された画像から、イントラ予測部８あるいはインター予測部９により生成された予測画像が減算された差分画像が供給される。
【００６７】
一方、逆フィルタ処理部１２には、逆量子化部４とＩＤＣＴ部５とにより復元された差分画像と、イントラ予測部８あるいはインター予測部９により生成された予測画像とを加算して得られる局所復号画像が供給される。逆フィルタ処理部１２は、この局所復号画像を処理対象画像とし、該処理対象画像に対してフィルタ処理部１１が行うフィルタ処理の逆変換に相当する逆フィルタ処理を行う。逆フィルタ処理部１２による逆フィルタ処理が施された局所復号画像は、参照画像としてフレームメモリ７に蓄積され、イントラ予測部８あるいはインター予測部９による予測画像の生成に利用される。
【００６８】
ＤＣＴ部１と量子化部２とは、量子化対象画像を複数のブロックに分割して各ブロックの画像データを量子化するものである。従って、量子化された画像を逆量子化して得られる復号画像にはブロック歪が含まれ得る。すなわち、予測画像を生成するために動画像符号化装置３００の内部で生成される局所復号画像、および、後述の動画像復号装置で生成される復号画像にはブロック歪が含まれ得る。しかしながら、動画像符号化装置３００において、ＤＣＴ部１に供給される量子化対象画像は、フィルタ処理部１１よるフィルタ処理が施された画像と予測画像の差分画像である。フィルタ処理部１１は、ブロック歪を発生させる周波数成分を予め取り除くよう処理対象画像に作用するので、量子化・逆量子化の過程で発生するブロック歪を有効に低減することができる。
【００６９】
また、イントラ予測部８またはインター予測部９が予測画像を生成するために参照する参照画像は、逆フィルタ処理部１２による逆フィルタ処理が施された局所復号画像である。従って、原画像から除去された周波数成分は、参照画像において復元されている。すなわち、イントラ予測部８およびインター予測部９は、ブロック歪が低減されていると同時に、特定の周波数成分が欠落することのない参照画像に基づいて、予測画像を生成することができる。
【００７０】
換言すれば、従来の動画像符号化装置１００では量子化処理によって失われていた空間周波数成分を、動画像符号化装置３００では、フィルタ処理部１１にて一旦除去し、逆フィルタ処理部１２にて復元することにより、量子化処理の影響を回避して、ブロック歪の発生を抑えることができる。
【００７１】
また、フィルタ処理部１１および逆フィルタ処理部１２は、従来の動画像符号化装置１００におけるデブロッキングフィルタ処理部６とは異なり、後述するとおり、各ブロックにおける処理前後の平均画素値（例えば、平均輝度レベル）を保つよう構成することができる。従って、デブロッキングフィルタ処理に起因する、画像のボケや動画再生時のチラツキなどの問題を回避することができる。
【００７２】
〔動画像復号装置の構成〕
図２は、図１に示した動画像符号化装置３００に対応する動画像復号装置４００の概略構成を示した機能ブロック図である。図２に示したように、動画像復号装置４００は、逆量子化部４、ＩＤＣＴ部５、フレームメモリ７、イントラ予測部８、インター予測部９、可変長復号部２０、および、逆フィルタ処理部１２を備えている。
【００７３】
図２の動画像復号装置４００と従来の動画像復号装置２００（図１２）との相違点は、動画像復号装置４００が、従来のデブロッキングフィルタ６の代わりに、逆フィルタ処理部１２を備えている点である。図２において、従来の動画像復号装置２００と同一機能を有するブロックについては、図１２と同一の名称および符号を用いて示し、その説明を省略する。
【００７４】
動画像復号装置４００が復号する符号化データは、動画像符号化装置３００において、ブロック歪を発生させる周波数成分が除去された原画像に基づいて生成されたものである。動画像復号装置４００の可変長復号部２０は、この符号化データを復号し、逆量子化部４とＩＤＣＴ部５とは、該復号により得られた値を逆量子化する。逆量子化により復元される画像は、原画像から予測画像を減算して得られた差分画像に相当するものである。動画像復号装置４００は、この復元された差分画像にイントラ予測部８またはインター予測部９により生成された予測画像を加算し、復号画像を生成する。
【００７５】
動画像復号装置４００が備えている逆フィルタ処理部１２は、動画像符号化装置３００が備えている逆フィルタ処理部１２と同一の逆フィルタ処理を行う。すなわち、逆フィルタ処理部１２は、ブロック歪を発生させる周波数成分が欠落している復号画像に対し、符号化時に除去された周波数成分を復元するように作用する。逆フィルタ処理部１２による逆フィルタ処理が施された復号画像は、予測画像を生成するための参照画像としてイントラ予測部８あるいはインター予測部９により参照されるとともに、表示用画像として出力される。
【００７６】
以上のようにして、逆フィルタ処理部１２の作用により、原画像から除去された周波数成分が、表示用画像あるいは参照画像において復元される。すなわち、動画像復号装置４００は、ブロック歪が低減されていると同時に、特定の周波数成分が欠落することのない表示用画像を出力することができる。また、ブロック歪が低減されていると同時に、特定の周波数成分が欠落することのない参照画像に基づいて予測画像を生成することができる。
【００７７】
〔フィルタ処理の詳細〕
次に、動画像符号化装置３００に含まれるフィルタ処理部１１が行うフィルタ処理について詳しく説明する。
【００７８】
フィルタ処理部１１は、水平方向のフィルタ処理と垂直方向のフィルタ処理とを、フィルタ処理の対象となる処理対象画像を複数のブロックに分割して実行する。ここで、フィルタ処理部１１が処理対象画像を分割する分割パターンは、図１３と図１４とに示したとおりであり、ＤＣＴ部１と量子化部２とが量子化のために量子化対象画像を分割する分割パターンと同一である。
【００７９】
フィルタ処理部１１は、当該フィルタ処理部１１が出力するフィルタ出力画像におけるブロックＢｎの画像データを、処理対象画像における当該ブロックＢｎの画像データと当該ブロックＢｎに隣接するブロックの画像データとから算出する。水平方向のフィルタ処理においては、ブロックＢｎの画像データが、当該ブロックＢｎの右側に隣接するブロックＢｎ＋１画像データを参照して算出され、垂直方向のフィルタ処理においては、ブロックＢｎの画像データが、当該ブロックの下側に隣接するブロックＢｎ＋Ｗの画像データを参照して算出される。
【００８０】
以下、水平方向のフィルタ処理においてフィルタ処理部１１が実行するフィルタ処理演算について、図３と図４とを参照しながら説明する。なお、１つのブロックＢｎの画素値（例えば、輝度レベル）を算出するためのフィルタ処理演算について説明する。フィルタ処理部１１は、以下に説明するフィルタ処理演算を、全ての隣接２ブロックについて繰り返すことにより、水平方向のフィルタ処理を完了する。なお、上記繰り返しは、（Ｂ１、Ｂ２）、（Ｂ３、Ｂ４）、（Ｂ５、Ｂ６）・・・というように、隣接する偶数番目と奇数番目のブロックを対にし、これら全ての対について上記フィルタ処理演算を実行するものであってもよいし、（Ｂ１、Ｂ２）、（Ｂ２、Ｂ３）、（Ｂ３、Ｂ４）・・・というように、全てのブロックについて、次のブロックを参照しながら、上記フィルタ処理演算を実行するものであっても良い。ただし、これらの繰り返しにおいて、隣接しないブロック同士の対、例えば、画像右端のブロックＢｋ×Ｗ−１（ｋは整数）と該ブロック下段左端に位置する次のブロックＢｋ×Ｗとからなる対に対しては、上記フィルタ処理を行わないものとする。
【００８１】
図３は、フィルタ処理部１１が実行するフィルタ処理演算を概略的に説明するフローチャートである。図３に示したように、フィルタ処理部１１によるフィルタ処理演算は、平均画素値を算出するステップＳ１と、予測値を算出するステップＳ２と、フィルタ出力画像を算出するステップＳ３とを含んでいる。ステップＳ１〜Ｓ３について更に詳しく説明すれば以下の通りである。なお、以下の説明では、ブロックＢｎに属する４行４列に配列された１６画素のうち、ｖ行目に配列された４画素の画素値を算出するフィルタ処理演算について述べる。フィルタ処理部１１は、以下に述べるフィルタ処理演算を、ブロックＢｎの１行目から４行目について、順次、あるいは、並列的に実行することにより、ブロックＢｎに属する全ての画素の画素値を算出する。
【００８２】
（ステップＳ１）  フィルタ処理部１１は、処理対象画像におけるブロックＢｎのｖ行目に配列された４画素の平均画素値＜ｐｎ、ｖ＞と、処理対象画像におけるブロックＢｎ＋１のｖ行目に配列された４画素の平均画素値＜ｐｎ＋１、ｖ＞とを算出する。フィルタ処理部１１が、これらの平均画素値を算出するための算出式は以下の通りである。
【００８３】
【数１１】
2011166832.tif 000013
【００８４】
ここで、ｐ（ｎ、ｕ、ｖ）は、処理対象画像の画素（ｎ、ｕ、ｖ）における画素値である。図４（ａ）は、処理対象画像の画素値を示したグラフである。図４（ｂ）は、上記ステップＳ１において得られた、平均画素値を表すグラフである。
【００８５】
（ステップＳ２）  フィルタ処理部１１は、ステップＳ１にて得られた平均画素値＜ｐｎ、ｖ＞と＜ｐｎ＋１、ｖ＞とを用いた線型補間により、ブロックＢｎのｖ行目の各画素についての予測値ｐpred（ｎ、ｕ、ｖ）と、ブロックＢｎ＋１のｖ行目の各画素についての予測値ｐpred（ｎ＋１、ｕ、ｖ）とを算出する。フィルタ処理部１１が予測値ｐpred（ｎ、ｕ、ｖ）とｐpred（ｎ＋１、ｕ、ｖ）とを算出するための算出式は以下の通りである。
【００８６】
【数１２】
2011166832.tif 000014
【００８７】
【数１３】
2011166832.tif 000015
【００８８】
図４（ｃ）は、上記ステップＳ２により得られた、予測値を表したグラフである。
【００８９】
（ステップＳ３）  フィルタ処理部１１は、ステップＳ２にて得られた予測値ｐpred（ｎ、ｕ、ｖ）と、ステップＳ１にて得られたブロックＢｎの平均画素値＜ｐｎ、ｖ＞との差を処理対象画像から除去すべき除去成分とし、処理対象画像の画素値ｐ（ｎ、ｕ、ｖ）から該除去成分を減算することにより、フィルタ出力画像の画素値ｐ´（ｎ、ｕ、ｖ）を算出する。フィルタ処理部１１ａフィルタ出力画像の画素値ｐ´（ｎ、ｕ、ｖ）を算出するために用いる算出式は以下の通りである。
【００９０】
【数１４】
2011166832.tif 000016
【００９１】
図４（ｄ）は、上記ステップＳ３により得られた、フィルタ出力画像の画素値を表したグラフである。
【００９２】
ここで、フィルタ出力画像におけるブロックＢｎの平均画素値は、処理対象画像におけるブロックＢｎの平均画素値と一致する、すなわち、フィルタ処理部１１は、各ブロックの平均画素値を処理の前後で不変に保つものである点に注意されたい。このため、当該フィルタ処理による動画像のボケやチラツキの誘発を防止することが可能になる。
【００９３】
フィルタ処理部１１は、上述のように水平方向のフィルタ処理を行った後、垂直方向のフィルタ処理を行う。垂直方向のフィルタ処理演算は、ブロックＢｎの画像データを、該ブロックＢｎの下側に隣接するブロックＢｎ＋Ｗを参照して算出するものであるが、その算出方法については水平方向のフィルタ処理と同様であるので、その説明を省略する。また、上記水平方向のフィルタ処理と、上記垂直方向のフィルタ処理とは互いに独立であるので、フィルタ処理部１１が、垂直方向のフィルタ処理を行った後で、水平方向のフィルタ処理を行う構成としても良い。
【００９４】
〔逆フィルタ処理の詳細〕
次に、動画像符号化装置３００、および、動画像復号装置４００に含まれる逆フィルタ処理部１２が行う逆フィルタ処理について説明する。
【００９５】
逆フィルタ処理部１２は、フィルタ処理部１１と同様、水平方向の逆フィルタ処理と垂直方向の逆フィルタ処理とを、処理対象画像を複数のブロックに分割して実行する。ここで、逆フィルタ処理部１２が処理対象画像を分割する分割パターンは、フィルタ処理部１１が処理対象画像を分割する分割パターンと同一である。
【００９６】
逆フィルタ処理部１２は、ブロックＢｎの画像データを、処理対象画像における当該ブロックＢｎの画像データ、および、当該ブロックＢｎに隣接するブロックの画像データから算出する。具体的には、水平方向のフィルタ処理においては、ブロックＢｎの画像データを、処理対象画像において当該ブロックＢｎの右側に隣接するブロックＢｎ＋１画像データを参照して算出し、垂直方向のフィルタ処理においては、ブロックＢｎの画像データを、当該ブロックＢｎの下側に隣接するブロックＢｎ＋Ｗの画像データを参照して算出する。
【００９７】
以下、水平方向の逆フィルタ処理において逆フィルタ処理部が実行する逆フィルタ処理演算について、図５と図６とを参照しながら説明する。なお、以下では、１つのブロックＢｎの画素値（例えば輝度レベル）を算出するための逆フィルタ処理演算について説明する。逆フィルタ処理部１２は、以下に説明するフィルタ処理演算を、全ての隣接２ブロックについて繰り返すことにより、水平方向のフィルタ処理を完了する。
【００９８】
図５は、逆フィルタ処理部１２が実行する逆フィルタ処理演算を概略的に説明するフローチャートである。図５に示したように、逆フィルタ処理部１２によるフィルタ処理演算は、平均画素値を算出するステップＴ１と、予測値を算出するステップＴ２と、逆フィルタ出力画像を算出するステップＴ３とを含んでいる。ステップＴ１〜Ｔ３について更に詳しく説明すれば以下の通りである。なお、以下の説明では、ブロックＢｎに属する４行４列に配列された１６画素のうち、ｖ行目に配列された４画素の画素値を算出する逆フィルタ処理演算について述べる。逆フィルタ処理部１２は、以下に述べる逆フィルタ処理演算を、ブロックＢｎの１行目から４行目について、順次、あるいは、並列的に実行することにより、ブロックＢｎに属する全ての画素の画素値を算出するものである。
【００９９】
（ステップＴ１）  逆フィルタ処理部１２は、処理対象画像におけるブロックＢｎのｖ行目に配列された４画素の平均画素値＜Ｐｎ、ｖ＞と、処理対象画像におけるブロックＢｎ＋１のｖ行目に配列された４画素の平均画素値＜Ｐｎ＋１、ｖ＞とを算出する。逆フィルタ処理部１２が、平均画素値＜Ｐｎ、ｖ＞と＜Ｐｎ＋１、ｖ＞とを算出するために用いる算出式は以下の通りである。
【０１００】
【数１５】
2011166832.tif 000017
【０１０１】
ここで、Ｐ（ｎ、ｕ、ｖ）は、処理対象画像の画素（ｎ、ｕ、ｖ）における画素値である。図６（ａ）は、処理対象画像の画素値を示したグラフであり、図６（ｂ）は、上記ステップＴ１において得られた、平均画素値を表すグラフである。
【０１０２】
（ステップＴ２）  逆フィルタ処理部１２は、ステップＴ１にて得られた平均画素値＜Ｐｎ、ｖ＞と＜Ｐｎ＋１、ｖ＞とを用いた線型補間により、ブロックＢｎのｖ行目の各画素についての予測値Ｐpred（ｎ、ｕ、ｖ）と、ブロックＢｎ＋１のｖ行目の各画素についての予測値Ｐpred（ｎ＋１、ｕ、ｖ）とを算出する。逆フィルタ処理部１２が予測値Ｐpred（ｎ、ｕ、ｖ）とＰpred（ｎ＋１、ｕ、ｖ）とを算出するために用いる算出式は以下の通りである。
【０１０３】
【数１６】
2011166832.tif 000018
【０１０４】
【数１７】
2011166832.tif 000019
【０１０５】
図６（ｃ）は、上記ステップＴ２により得られた、予測値を表したグラフである。
【０１０６】
（ステップＴ３）
逆フィルタ処理部１２は、ステップＴ２にて得られた予測値Ｐpred（ｎ、ｕ、ｖ）と、ステップＴ１にて得られたブロックＢｎの平均画素値＜Ｐｎ、ｖ＞との差を処理対象画像に付加すべき付加成分とし、処理対象画像の画素値Ｐ（ｎ、ｕ、ｖ）に該付加成分を加算することにより、フィルタ出力画像の画素値Ｐ´（ｎ、ｕ、ｖ）を算出する。逆フィルタ処理部１２が逆フィルタ出力画像の画素値Ｐ´（ｎ、ｕ、ｖ）を算出するために用いる算出式は以下の通りである。
【０１０７】
【数１８】
2011166832.tif 000020
【０１０８】
図６（ｄ）は、上記ステップＴ３により得られた、逆フィルタ出力画像の画素値を表したグラフである。ここで、逆フィルタ出力画像におけるブロックＢｎの平均画素値は、処理対象画像におけるブロックＢｎの平均画素値と一致する点に注意されたい。このため、動画像のボケやチラツキの発生は有効に防止される。
【０１０９】
逆フィルタ処理部１２は、上述のように水平方向の逆フィルタ処理を行った後、垂直方向の逆フィルタ処理を行う。垂直方向の逆フィルタ処理演算は、ブロックＢｎの画像データを、該ブロックＢｎの下側に隣接するブロックＢｎ＋Ｗを参照して算出するものであるが、その算出方法については水平方向の逆フィルタ処理と同様であるので、その説明を省略する。また、上記水平方向の逆フィルタ処理と、上記垂直方向の逆フィルタ処理とは互いに独立であるので、逆フィルタ処理部１２は、垂直方向の逆フィルタ処理を行った後で、水平方向の逆フィルタ処理を行う構成としても良い。
【０１１０】
以上のように定義された逆フィルタ処理部１２が行う逆フィルタ処理は、フィルタ処理部１１が行う上記フィルタ処理の逆変換に相当する。すなわち、フィルタ処理部１１の出力ｐ´（ｎ、ｕ、ｖ）と逆フィルタ処理部１２の入力Ｐ（ｎ、ｕ、ｖ）との間にｐ´（ｎ、ｕ、ｖ）＝Ｐ（ｎ、ｕ、ｖ）の関係が成り立つとき、フィルタ処理部１１の入力ｐ（ｎ、ｕ、ｖ）と逆フィルタ処理部１２の出力Ｐ´（ｎ、ｕ、ｖ）との間にｐ（ｎ、ｕ、ｖ）＝Ｐ´（ｎ、ｕ、ｖ）の関係が成り立つ。従って、フィルタ処理部１１のフィルタ処理により、処理対象画像から除去されたブロック歪を発生させる周波数成分は、逆フィルタ処理部１２の逆フィルタ処理により復元される。従って、復元画像において、特定の周波数成分が欠落するようなことはない。
【０１１１】
〔フィルタ処理および逆フィルタ処理についての付記事項〕
以上の説明において、フィルタ処理部１１が算出する予測値は、隣接ブロックの平均画素値を用いた線型補間により算出されるものとしたが、本発明はこれに限定されるものではない。すなわち、フィルタ処理部１１がフィルタ出力画像の画素値を算出するために用いる予測値は、例えば、ブロック単位の平均画素値を基に算出される予測値であっても良いし、あるいは、隣接する３つのブロックの平均画素値＜Ｐｎ−１、ｖ＞、＜Ｐｎ、ｖ＞、＜Ｐｎ＋１、ｖ＞を用いて３次補間により算出される値であっても良い。また、詳細な説明は省略するが、これらのフィルタ処理を行うフィルタ処理部１１に対応する逆フィルタ処理部１２は、これらのフィルタ処理の逆変換に相当する逆フィルタ処理を行うものとして容易に構成され得る。
【０１１２】
なお、ブロック毎の予測値の平均画素値がブロック毎の入力画像の平均画素値と異なる予測を用いる場合には、フィルタ出力に、予測値の平均画素値と入力画像の平均画素値との差を加え、フィルタ入力及びフィルタ出力の平均画素値が維持されるように補正する構成とすることが好ましい。
【０１１３】
また、以上の説明において、フィルタ処理部１１は、１次元的なフィルタ処理を水平方向と垂直方向とに対して独立に行うものとしたが、本発明はこれに限定されるものではなく、２次元的なフィルタ処理を行う構成としても良い。フィルタ処理部１１が行う２次元的なフィルタ処理の一例を説明すれば、以下の通りである。
【０１１４】
２次元的なフィルタ処理を行う場合、フィルタ処理部１１は、上下左右に隣接する４つのブロックの画素値を参照して、注目ブロックの画素値を算出する。フィルタ処理部１１が注目ブロックＢｎの画素値を算出するために行うフィルタ処理演算は、以下のステップ１〜３を含む。
【０１１５】
（ステップ１）  フィルタ処理部１１は、注目ブロックＢｎの平均画素値、及び、注目ブロックＢｎの上下左右に隣接するブロックＢｎ−１、Ｂｎ＋１、Ｂｎ−Ｗ、Ｂｎ＋Ｗの平均画素値を算出する。フィルタ処理部１１が、上記各ブロックの平均画素値を算出するために用いる算出式は以下の通りである。
【０１１６】
【数１９】
2011166832.tif 000021
【０１１７】
（ステップ２）  フィルタ処理部１１は、上記ステップ１にて得られた上記各ブロックの平均画素値を用いた線型補間により、ブロックＢｎの各画素についての予測値ｐpred（ｎ、ｕ、ｖ）を算出する。フィルタ処理部１１が予測値ｐpred（ｎ、ｕ、ｖ）を算出するために用いる算出式は以下の通りである。
【０１１８】
【数２０】
2011166832.tif 000022
【０１１９】
（ステップ３）フィルタ処理部１１は、ステップ２にて得られた予測値ｐpred（ｎ、ｕ、ｖ）と、ステップ１にて得られたブロックＢｎの平均画素値＜ｐｎ、ｖ＞との差を処理対象画像から除去すべき除去成分とし、処理対象画像の画素値ｐ（ｎ、ｕ、ｖ）から該除去成分を減算することにより、フィルタ出力画像の画素値ｐ´（ｎ、ｕ、ｖ）を算出する。フィルタ処理部１１がフィルタ出力画像におけるブロックＢｎの画素値ｐ´（ｎ、ｕ、ｖ）を算出するための算出式は以下の通りである。
【０１２０】
【数２１】
2011166832.tif 000023
【０１２１】
ブロック歪を発生させる周波数成分を２次元的なフィルタ処理により除去する場合、フィルタ処理部１１は、各ブロック対して上記ステップ１〜３を繰り返すことにより、フィルタ出力画像全体の画素値を算出する。また、詳細な説明は省略するが、対応する逆フィルタ処理部１２は、当該フィルタ処理部１１のフィルタ処理の逆変換に相当する逆フィルタ処理を行うものとして構成され得る。
【０１２２】
〔変形例１〕
動画像符号化装置３００の一変形例について、図７と図８とに基づいて説明する。
【０１２３】
図７は、動画像符号化装置３００の一変形例である動画像符号化装置３００ａの概略構成を示した機能ブロック図である。図７に示したように、動画像符号化装置３００ａは、ＤＣＴ部１、量子化部２、可変長符号化部３、逆量子化部４、ＩＤＣＴ部５、フレームメモリ７、イントラ予測部８、インター予測部９、符号化制御部１０、フィルタ処理部１１ａ、及び、逆フィルタ処理部１２ａを備えている。
【０１２４】
動画像符号化装置３００ａと動画像符号化装置３００（図１）との相違点は、動画像符号化装置３００ａが、フィルタ処理部１１の代わりに、予測画像に基づいてフィルタ処理を実行するフィルタ処理部１１ａを備え、また、逆フィルタ処理部１２の代わりに、予測画像に基づいて逆フィルタ処理を実行する逆フィルタ処理部１２ａを備えている点である。また、図７に示したように、イントラ予測部８およびインター予測部９が、生成した予測画像をフィルタ処理部１１ａと逆フィルタ処理部１２ａとに供給する点である。図７において、図１の動画像符号化装置３００と同一機能を有するブロックについては、図１と同一の名称および符号を用いて示し、その説明を省略する。
【０１２５】
図８は、図７に示した動画像符号化装置３００ａに対応する動画像復号装置４００ａの概略構成を示した機能ブロック図である。図８に示したように、動画像復号装置４００ａは、逆量子化部４、ＩＤＣＴ部５、フレームメモリ７、イントラ予測部８、インター予測部９、可変長復号部２０、および、逆フィルタ処理部１２ａを備えている。
【０１２６】
図８の動画像復号装置４００ａと動画像復号装置４００（図２）との相違点は、動画像復号装置４００ａが、逆フィルタ処理部１２の代わりに、動画像符号化装置３００ａと同じ逆フィルタ処理部１２ａを備えている点である。また、図８に示したように、イントラ予測部８およびインター予測部９が、生成した予測画像を逆フィルタ処理部１２ａに供給する点である。
【０１２７】
動画像符号化装置３００ａおよび動画像復号装置４００ａに好適に用いることができるフィルタ処理部１１ａと逆フィルタ処理部１２ａとについて説明すれば以下の通りである。
【０１２８】
フィルタ処理部１１ａおよび逆フィルタ処理部１２ａは、フィルタ出力画像における各ブロックの画像データを、イントラ予測部８あるいはインター予測部９から供給される予測画像の画像データから算出する。具体的には、水平方向のフィルタ処理においては、ブロックＢｎの画像データを、予測画像におけるブロックＢｎおよびブロックＢｎ＋１の画像データを参照して算出し、垂直方向のフィルタ処理においては、ブロックＢｎの画像データを、予測画像におけるブロックＢｎおよびブロックＢｎ＋Ｗの画像データを参照して算出する。以下では、１つのブロックＢｎの画素値を算出するためのフィルタ処理演算について説明するが、フィルタ処理部１１ａおよび逆フィルタ処理部１２ａは、以下に説明するフィルタ演算処理を繰り返すことで、フィルタ出力画像全体の水平方向のフィルタ処理を完了する。また、垂直方向のフィルタ処理を同様に実行することで、全体のフィルタ処理を完了する。
【０１２９】
水平方向のフィルタ処理においてフィルタ処理部１１ａが実行するフィルタ処理演算は、以下のステップＳ１ａ〜Ｓ３ａを含んで構成される。
【０１３０】
（ステップＳ１ａ）  フィルタ処理部１１ａは、予測画像におけるブロックＢｎのｖ行目に配列された４画素の平均画素値＜ｑｎ、ｖ＞と、処理対象画像におけるブロックＢｎ＋１のｖ行目に配列された４画素の平均画素値＜ｑｎ＋１、ｖ＞とを算出する。フィルタ処理部１１ａが、これらの平均画素値を算出するための算出式は以下の通りである。
【０１３１】
【数２２】
2011166832.tif 000024
【０１３２】
ここで、ｑ（ｎ、ｕ、ｖ）は、予測画像の画素（ｎ、ｕ、ｖ）における画素値である。
【０１３３】
（ステップＳ２ａ）  フィルタ処理部１１ａは、ステップＳ１ａにて得られた平均画素値＜ｑｎ、ｖ＞と＜ｑｎ＋１、ｖ＞とを用いた線型補間により、ブロックＢｎのｖ行目の各画素についての予測値ｑpred（ｎ、ｕ、ｖ）と、ブロックＢｎ＋１のｖ行目の各画素についての予測値ｑpred（ｎ＋１、ｕ、ｖ）とを算出する。フィルタ処理部１１aが予測値ｑpred（ｎ、ｕ、ｖ）とｑpred（ｎ＋１、ｕ、ｖ）とを算出するための算出式は以下の通りである。
【０１３４】
【数２３】
2011166832.tif 000025
【０１３５】
【数２４】
2011166832.tif 000026
【０１３６】
（ステップＳ３ａ）  フィルタ処理部１１ａは、ステップＳ２ａにて得られた予測値ｑpred（ｎ、ｕ、ｖ）と、ステップＳ１ａにて得られたブロックＢｎの平均画素値＜ｑｎ、ｖ＞との差を処理対象画像から除去すべき除去成分とし、処理対象画像の画素値ｐ（ｎ、ｕ、ｖ）から該除去成分を減算することにより、フィルタ出力画像の画素値ｐ´（ｎ、ｕ、ｖ）を算出する。フィルタ処理部１１ａがフィルタ出力画像の画素値ｐ´（ｎ、ｕ、ｖ）を算出するために用いる算出式は以下の通りである。
【０１３７】
【数２５】
2011166832.tif 000027
【０１３８】
なお、上記ステップＳ１ａ〜Ｓ３ａは、ブロックＢｎに属する４行４列に配列された１６画素のうち、ｖ行目に配列された４画素の画素値を算出するフィルタ処理演算であるが、上記ステップＳ１ａ〜Ｓ３ａをブロックＢｎの１行目から４行目について、順次、あるいは、並列的に実行することにより、ブロックＢｎに属する全ての画素の画素値が算出される。
【０１３９】
垂直方向のフィルタ処理においてフィルタ処理部１２ａが実行する逆フィルタ処理演算は、以下のステップＴ１ａ〜Ｔ３ａを含んで構成される。
【０１４０】
（ステップＴ１ａ）  逆フィルタ処理部１２ａは、予測画像におけるブロックＢｎのｖ行目に配列された４画素の平均画素値＜ｑｎ、ｖ＞と、予測画像におけるブロックＢｎ＋１のｖ行目に配列された４画素の平均画素値＜ｑｎ＋１、ｖ＞とを算出する。逆フィルタ処理部１２ａが、平均画素値＜ｑｎ、ｖ＞と＜ｑｎ＋１、ｖ＞とを算出するために用いる算出式は、〔数２２〕と同一である。
【０１４１】
（ステップＴ２ａ）  逆フィルタ処理部１２ａは、ステップＴ１ａにて得られた平均画素値＜ｑｎ、ｖ＞と＜ｑｎ＋１、ｖ＞とを用いた線型補間により、ブロックＢｎのｖ行目の各画素についての予測値ｑpred（ｎ、ｕ、ｖ）と、ブロックＢｎ＋１のｖ行目の各画素についての予測値ｑpred（ｎ＋１、ｕ、ｖ）とを算出する。逆フィルタ処理部１２ａが予測値ｑpred（ｎ、ｕ、ｖ）とｑpred（ｎ＋１、ｕ、ｖ）とを算出するために用いる算出式は、〔数２３〕、〔数２４〕と同一である。
【０１４２】
（ステップＴ３ａ）
逆フィルタ処理部１２ａは、ステップＴ２ａにて得られた予測値ｑpred（ｎ、ｕ、ｖ）と、ステップＴ１ａにて得られたブロックＢｎの平均画素値＜ｑｎ、ｖ＞との差を処理対象画像に付加すべき付加成分とし、処理対象画像の画素値Ｐ（ｎ、ｕ、ｖ）に該付加成分を加算することにより、フィルタ出力画像の画素値Ｐ´（ｎ、ｕ、ｖ）を算出する。逆フィルタ処理部１２ａが逆フィルタ出力画像の画素値Ｐ´（ｎ、ｕ、ｖ）を算出するために用いる算出式は以下の通りである。
【０１４３】
【数２６】
2011166832.tif 000028
【０１４４】
なお、上記ステップT１ａ〜Ｔ３ａは、ブロックＢｎに属する４行４列に配列された１６画素のうち、ｖ行目に配列された４画素の画素値を算出するフィルタ処理演算であるが、上記ステップT１ａ〜Ｔ３ａをブロックＢｎの１行目から４行目について、順次、あるいは、並列的に実行することにより、ブロックＢｎに属する全ての画素の画素値が算出される。
【０１４５】
以上のように、フィルタ処理部１１ａは、フィルタ処理の対象となる対象画像の画像データから減算する画素値を、予測画像の画像データから算出する。また、逆フィルタ処理部１２ａは、逆フィルタ処理の対象となる処理対象画像の画像データに加算する画素値を、上記フィルタ処理手段と同一の方法で予測画像の画像データから算出する。すなわち、フィルタ処理部１１ａが処理対象画像から減算する画素値と、逆フィルタ処理部１２ａが処理対象画像に加算する画素値とは、同一の予測画像から算出される同一の画像値となる。従って、フィルタ処理部１１ａと逆フィルタ処理部１２ａとによれば、量子化誤差程度の違いをもつ処理対象画像に基づいてフィルタ処理・逆フィルタ処理を行う動画像符号化装置３００と比べ、フィルタ処理部１１ａが処理対象画像から除去したブロック歪を発生させる周波数成分を、上記逆フィルタ処理部１２aにてより完全に復元できる。
【０１４６】
〔変形例２〕
動画像符号化装置３００の他の変形例について、図９と図１０とに基づいて説明する。
【０１４７】
図９は、動画像符号化装置３００の他の変形例である動画像符号化装置３００ｂの概略構成を示した機能ブロック図である。図９に示したように、動画像符号化装置３００ａは、ＤＣＴ部１、量子化部２、可変長符号化部３、逆量子化部４、ＩＤＣＴ部５、フレームメモリ７、イントラ予測部８、インター予測部９、符号化制御部１０、フィルタ処理部１１ｂ及び、逆フィルタ処理部１２ｂを備えている。
【０１４８】
動画像符号化装置３００ｂと動画像符号化装置３００（図１）との相違点は、動画像符号化装置３００ａが、フィルタ処理部１１の代わりに、予測画像に基づいてフィルタ処理を実行するフィルタ処理部１１ｂを備え、逆フィルタ処理部１２の代わりに、予測画像に基づいて逆フィルタ処理を実行する逆フィルタ処理部１２ａを備えている点である。また、更なる相違点は、フィルタ処理部１１ｂがＤＣＴ部１の直前に設けられ、原画像と予測画像との差分画像をフィルタ処理の処理対象画像としている点である。なお、フィルタ処理部１１ｂおよび逆フィルタ処理部１２ｂがフィルタ処理のために用いる予測画像は、ともに、イントラ予測部８またはインター予測部９から供給される。
【０１４９】
図９に示したように、動画像符号化装置３００ｂにおける、フィルタ処理部１１ｂと逆フィルタ処理部１２ｂとを除く機能ブロックは、図１の動画像符号化装置３００と同一である。従って、図９において、図１の動画像符号化装置３００と同一機能を有するブロックについては、図１と同一の名称および符号を用いて示し、その説明を省略する。
【０１５０】
図１０は、図９に示した動画像符号化装置３００ｂに対応する動画像復号装置４００ｂの概略構成を示した機能ブロック図である。図１０に示したように、動画像復号装置４００ｂは、逆量子化部４、ＩＤＣＴ部５、フレームメモリ７、イントラ予測部８、インター予測部９、可変長復号部２０、および、逆フィルタ処理部１２ｂを備えている。
【０１５１】
図１０の動画像復号装置４００ｂと動画像復号装置４００（図２）との相違点は、動画像復号装置４００ｂが、逆フィルタ処理部１２の代わりに、動画像符号化装置３００ｂと同一の逆フィルタ処理部１２ｂを備えている点である。また、図１０に示したように、イントラ予測部８およびインター予測部９が生成した予測画像が、逆フィルタ処理部１２ｂに供給される点である。
【０１５２】
以下、動画像符号化装置３００ｂに好適なフィルタ処理部１１ｂにおけるフィルタ処理と、動画像符号化装置３００および動画像復号装置４００ｂに好適な逆フィルタ処理部１２ｂにおける逆フィルタ処理とについて説明する。
【０１５３】
フィルタ処理部１１ｂおよび逆フィルタ処理部１２ｂは、フィルタ出力画像における各ブロックの画像データを、イントラ予測部８あるいはインター予測部９から供給される予測画像の画像データから算出する。具体的には、水平方向のフィルタ処理においては、ブロックＢｎの画像データを、予測画像におけるブロックＢｎおよびブロックＢｎ＋１の画像データを参照して算出し、垂直方向のフィルタ処理においては、ブロックＢｎの画像データを、予測画像におけるブロックＢｎおよびブロックＢｎ＋Ｗの画像データを参照して算出する。以下では、１つのブロックＢｎの画素値を算出するためのフィルタ処理演算について説明するが、フィルタ処理部１１ｂおよび逆フィルタ処理部１２ｂは、以下に説明するフィルタ演算処理を繰り返すことで、フィルタ出力画像全体の水平方向のフィルタ処理を完了する。また、垂直方向のフィルタ処理を同様に実行することで、全体のフィルタ処理を完了する。
【０１５４】
フィルタ処理部１１ｂが水平方向のフィルタ処理において実行するフィルタ処理演算は、以下のステップＳ１ｂ〜Ｓ３ｂを含んで構成される。
【０１５５】
（ステップＳ１ｂ）  フィルタ処理部１１ｂは、予測画像におけるブロックＢｎのｖ行目に配列された４画素の平均画素値＜ｑｎ、ｖ＞と、処理対象画像におけるブロックＢｎ＋１のｖ行目に配列された４画素の平均画素値＜ｑｎ＋１、ｖ＞とを算出する。フィルタ処理部１１ｂが、これらの平均画素値を算出するための算出式は、〔数２２〕と同一である。
【０１５６】
（ステップＳ２ｂ）  フィルタ処理部１１ｂは、ステップＳ１ｂにて得られた平均画素値＜ｑｎ、ｖ＞と＜ｑｎ＋１、ｖ＞とを用いて、ブロックＢｎのｖ行目の各画素についての予測値ｑ´pred（ｎ、ｕ、ｖ）と、ブロックＢｎ＋１のｖ行目の各画素についての予測値ｑ´pred（ｎ＋１、ｕ、ｖ）とを算出する。フィルタ処理部１１bが予測値ｑ´pred（ｎ、ｕ、ｖ）とｑ´pred（ｎ＋１、ｕ、ｖ）とを算出するための算出式は以下の通りである。
【０１５７】
【数２７】
2011166832.tif 000029
【０１５８】
【数２８】
2011166832.tif 000030
【０１５９】
（ステップＳ３ｂ）  フィルタ処理部１１ｂは、フィルタ処理対象画像（原画像と予測画像との差分画像）の画素値ｐ（ｎ、ｕ、ｖ）から、ステップＳ２ｂにて得られた予測値ｑ´pred（ｎ、ｕ、ｖ）を減算することにより、フィルタ出力画像の画素値ｐ´（ｎ、ｕ、ｖ）を算出する。フィルタ処理部１１ｂがフィルタ出力画像の画素値ｐ´（ｎ、ｕ、ｖ）を算出するために用いる算出式は以下の通りである。
【０１６０】
【数２９】
2011166832.tif 000031
【０１６１】
なお、上記ステップＳ１ｂ〜Ｓ３ｂは、ブロックＢｎに属する４行４列に配列された１６画素のうち、ｖ行目に配列された４画素の画素値を算出するフィルタ処理演算であるが、上記ステップＳ１ｂ〜Ｓ３ｂをブロックＢｎの１行目から４行目について、順次、あるいは、並列的に実行することにより、ブロックＢｎに属する全ての画素の画素値が算出される。
【０１６２】
垂直方向のフィルタ処理において逆フィルタ処理部１２ｂが実行する逆フィルタ処理演算は、以下のステップＴ１ｂ〜Ｔ３ｂを含んで構成される。
【０１６３】
（ステップＴ１ｂ）  逆フィルタ処理部１２ｂは、予測画像におけるブロックＢｎのｖ行目に配列された４画素の平均画素値＜ｑｎ、ｖ＞と、予測画像におけるブロックＢｎ＋１のｖ行目に配列された４画素の平均画素値＜ｑｎ＋１、ｖ＞とを算出する。逆フィルタ処理部１２ｂが、これらの平均画素値を算出するために用いる算出式は〔数２２〕と同一である。
【０１６４】
（ステップＴ２ｂ）  逆フィルタ処理部１２ｂは、ステップＴ１ｂにて得られた平均画素値＜ｑｎ、ｖ＞と＜ｑｎ＋１、ｖ＞とを用いて、ブロックＢｎのｖ行目の各画素についての予測値ｑpred（ｎ、ｕ、ｖ）と、ブロックＢｎ＋１のｖ行目の各画素についての予測値ｑpred（ｎ＋１、ｕ、ｖ）とを算出する。逆フィルタ処理部１２ｂが予測値ｑpred（ｎ、ｕ、ｖ）とｑpred（ｎ＋１、ｕ、ｖ）とを算出するために用いる算出式は、〔数２７〕〔数２８〕と同一である。
【０１６５】
（ステップＴ３ｂ）
逆フィルタ処理部１２ｂは、逆フィルタ処理対象画像の画素値Ｐ（ｎ、ｕ、ｖ）に、ステップＴ２ｂにて得られた予測値ｑpred（ｎ、ｕ、ｖ）を加算することにより、フィルタ出力画像の画素値Ｐ´（ｎ、ｕ、ｖ）を算出する。逆フィルタ処理部１２ｂがフィルタ出力画像の画素値Ｐ´（ｎ、ｕ、ｖ）を算出するために用いる算出式は以下の通りである。
【０１６６】
【数３０】
2011166832.tif 000032
【０１６７】
なお、上記ステップＴ１ｂ〜Ｔ３ｂは、ブロックＢｎに属する４行４列に配列された１６画素のうち、ｖ行目に配列された４画素の画素値を算出するフィルタ処理演算であるが、上記ステップＴ１ｂ〜Ｔ３ｂをブロックＢｎの１行目から４行目について、順次、あるいは、並列的に実行することにより、ブロックＢｎに属する全ての画素の画素値が算出される。
【０１６８】
以上のように、フィルタ処理部１１bは、フィルタ処理の対象となる対象画像の画像データから減算する画素値を、予測画像の画像データから算出する。また、逆フィルタ処理部１２bは、逆フィルタ処理の対象となる処理対象画像の画像データに加算する画素値を、上記フィルタ処理手段と同一の方法で予測画像の画像データから算出する。すなわち、フィルタ処理部１１bが処理対象画像から減算する画素値と、逆フィルタ処理部１２bが処理対象画像に加算する画素値とは、同一の予測画像から算出される同一の画像値となる。従って、フィルタ処理部１１bと逆フィルタ処理部１２bとによれば、量子化誤差程度の違いをもつ処理対象画像に基づいてフィルタ処理・逆フィルタ処理を行う動画像符号化装置３００と比べ、フィルタ処理部１１bが処理対象画像から除去したブロック歪を発生させる周波数成分を、上記逆フィルタ処理部１２bにてより完全に復元できる。
【０１６９】
〔付記事項１〕
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。例えば、本発明は以下のように構成することができる。
【０１７０】
本発明に係る動画像符号化装置は、画像を複数のブロックに分割し、符号化する動画像符号化装置であって、前記ブロック単位の画像に対し所定のフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段の逆変換である逆フィルタ処理を行う逆フィルタ処理手段を備えるように構成されていてもよい。
【０１７１】
また、本発明に係る動画像符号化装置においては、前記フィルタ処理手段は、隣接する複数ブロックの符号化対象画像を基に、当該ブロックの符号化対象画像に対し所定のフィルタ処理を行うように構成されていてもよい。
【０１７２】
また、本発明に係る動画像符号化装置は、前記ブロック単位に画面内予測、あるいは画面間予測を行う予測手段を備え、前記フィルタ処理手段は、前記予測手段が出力する隣接した複数ブロックの予測画像を基に、当該ブロックの符号化対象画像に対し所定のフィルタ処理を行うように構成されていてもよい。
【０１７３】
また、本発明に係る動画像符号化装置は、前記ブロック単位に画面内予測、あるいは画面間予測を行う予測手段を備え、前記フィルタ処理手段は、前記予測手段が出力する隣接した複数ブロックの予測画像を基に、当該ブロックの符号化対象画像と予測画像の差分画像に対し所定のフィルタ処理を行うように構成されていてもよい。
【０１７４】
また、本発明に係る動画像復号装置は、前記ブロック毎に符号化された動画像データを復号する動画像復号装置であって、前記逆フィルタ処理手段を備えるように構成されていてもよい。
【０１７５】
最後に、本発明の動画像符号化装置３００、３００ａ、３００ｂ、および、本発明の動画像復号装置４００、４００ａ、４００ｂの上記各ブロックは、特にフィルタ処理手段１１・１１ａ・１１ｂ、および、逆フィルタ処理手段１２・１２ａ・１２ｂは、ハードウエアロジックによって構成されるものであってもよいし、次のようにＣＰＵを用いてソフトウェアによって実現されるものであってもよい。
【０１７６】
すなわち、上記動画像符号化装置・動画像復号装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記動画像符号化装置・動画像復号装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記動画像符号化装置・動画像復号装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１７７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７８】
また、上記動画像符号化装置・動画像復号装置を通信ネットワークと接続可能に構成し、上記プログラムコードは通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１７９】
本発明に係る動画像符号化装置は、以上のように、画像を複数のブロックに分割して各ブロックの画像データを量子化し、該量子化により得られた量子化代表値を符号化する動画像符号化装置において、上記量子化前の画像データに対し、ブロック歪を発生させる周波数成分を除去するフィルタ処理を施すフィルタ処理手段を備えている。
【０１８０】
従って、ブロック歪が低減された復号画像を、特定の周波数成分を欠落させることなく復元し得る符号化データを生成することができる。
【０１８１】
また、本発明に係る動画像復号装置は、以上のように、ブロック歪を発生させる周波数成分が除去された画像データを符号化して得られた符号化データを復号する動画像復号装置であって、復号して得られた復号画像の画像データに対し、上記除去された周波数成分を復元する逆フィルタ処理を施す逆フィルタ処理手段を備えている。
【０１８２】
従って、ブロック歪が低減された復号画像を、特定の周波数成分を欠落させることなく復号することができる。
【０１８３】
発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する請求の範囲内で、いろいろと変更して実施することができるものである。
【０１８４】
〔付記事項２〕
本明細書には、特許請求の範囲に記載した発明の他に、以下の発明が含まれる。
【０１８５】
本発明に係る動画像符号化装置は、上記課題を解決するために、画像を複数のブロックに分割して各ブロックの画像データを量子化し、該量子化により得られた量子化代表値を符号化する動画像符号化装置において、上記量子化前の画像データに対し、ブロック歪を発生させる周波数成分を除去するフィルタ処理を施すフィルタ処理手段を備えたことを特徴としている。
【０１８６】
上記フィルタ処理手段は、上記量子化前の画像データから、ブロック歪を発生させる周波数成分を除去する。このため、上記量子化の対象となる量子化対象画像は、ブロック歪を発生させる周波数成分が予め除去されたものとなる。従って、上記フィルタ処理手段によるフィルタ処理が施された量子化対象画像を量子化・逆量子化して得られる復号画像は、ブロック歪が低減されたものとなる。しかも、上記フィルタ処理手段により予め除去された周波数成分は、上記フィルタ処理手段のフィルタ処理の逆変換に相当する逆フィルタ処理により、復元することが可能である。
【０１８７】
すなわち、上記の構成を有する動画像符号化装置は、ブロック歪が低減された復号画像を、特定の周波数成分を欠落させることなく復元し得る符号化データを生成することができるという効果を奏する。
【０１８８】
本発明の動画像符号化装置においては、上記フィルタ処理手段が行うフィルタ処理は、上記各ブロックの平均画素値を処理の前後で不変に保つものである、ことが好ましい。
【０１８９】
上記の構成によれば、上記フィルタ処理手段によるフィルタ処理は、上記各ブロックの平均画素値（例えば、平均輝度レベル）を不変に保つように行われる。このため、従来のデブロッキングフィルタを用いた動画像符号化装置において発生していた、フィルタ処理前後でブロック毎の平均画素値が保存されないことに起因する画面のボケやチラツキを有効に防止することができるという更なる効果を奏する。
【０１９０】
本発明の動画像符号化装置においては、予測画像を生成する予測画像生成手段と、局所復号画像に対し、上記フィルタ処理の逆変換に相当する逆フィルタ処理を行う逆フィルタ処理手段とを更に備え、上記予測画像生成手段は、上記逆フィルタ処理が施された局所復号画像を参照画像として上記予測画像を生成すること、が好ましい。
【０１９１】
上記の構成によれば、予測画像生成手段は、上記逆フィルタ処理が施された局所復号画像を参照画像として予測画像を生成することができる。すなわち、予測画像生成手段は、ブロック歪が低減され、かつ、特定の周波数成分が欠落することのない参照画像、すなわち、原画像に近似する参照画像に基づいて予測画像を生成することができるという効果を奏する。
【０１９２】
なお、上記予測画像生成手段が予測画像を生成する方法としては、フレーム内予測、あるいは、フレーム間予測等を用いることができる。また、上記予測画像生成手段は、これらの予測方法を、符号化の対象となる画像の状態に応じて適宜切り替えて用いるものであっても良い。
【０１９３】
なお、上記逆フィルタ処理手段が施す逆フィルタ処理は、上記フィルタ処理手段のフィルタ処理に対し、厳密な逆変換に相当するものであっても良いし、近似的な逆変換に相当するものであっても良い。すなわち、上記逆フィルタ処理は、最終的な動画像の品質に悪影響を与えない範囲で厳密な逆変換を近似するものであれば十分であり、例えば、フィルタ処理演算の演算精度（例えば整数精度）程度の誤差は許容される。
【０１９４】
本発明の動画像符号化装置においては、上記量子化の対象となる量子化対象画像は、上記予測画像と上記フィルタ処理が施された原画像との差分画像であり、上記局所復号画像は、当該動画像符号化装置において上記量子化代表値を逆量子化して得られた画像データと上記予測画像の画像データとを加算して得られる画像である、ことが好ましい。
【０１９５】
上記構成によれば、原画像が上記フィルタ処理の処理対象画像となり、上記フィルタ処理が施された原画像と予測画像との差分画像が量子化対象画像となる。そして、当該量子化対象画像を量子化して得られた量子化代表値を逆量子化して得られる画像データと上記予測画像の画像データとを加算して得られる局所復号画像が上記逆フィルタ処理の対象となり、上記逆フィルタ処理を施された局所復号画像が予測画像を生成するための参照画像とされる。従って、上記構成によれば、予測画像生成手段は、原画像をより良く近似する参照画像に基づいて予測画像を生成することができる。
【０１９６】
本発明の動画像符号化装置においては、上記量子化の対象となる量子化対象画像は、上記予測画像と原画像との差分画像に上記フィルタ処理が施されたものであり、上記局所復号画像は、当該動画像符号化装置において上記量子化代表値を逆量子化して得られた画像データと上記予測画像の画像データとを加算して得られる画像であること、が好ましい。
【０１９７】
上記構成によれば、予測画像と原画像との差分画像が上記フィルタ処理の対象となり、フィルタ処理が施された当該差分画像が量子化の対象となる。一方、当該量子化対象画像を量子化して得られた量子化代表値を逆量子化して得られる画像データと上記予測画像の画像データとを加算して得られる局所復号画像が上記逆フィルタ処理の対象となり、上記逆フィルタ処理を施された局所復号画像が予測画像を生成するための参照画像とされる。従って、上記構成によれば、予測画像生成手段は、原画像をより良く近似する参照画像に基づいて予測画像を生成することができる。
【０１９８】
本発明の動画像符号化装置においては、上記フィルタ処理手段は、上記フィルタ処理の対象となる処理対象画像の画像データから減算する画素値を、上記予測画像の画像データから算出するものであり、上記逆フィルタ処理手段は、上記逆フィルタ処理の対象となる処理対象画像の画像データに加算する画素値を、上記フィルタ処理手段と同一の方法で上記予測画像の画像データから算出するものである、ことが好ましい。
【０１９９】
上記の構成によれば、上記フィルタ処理手段が処理対象画像の画像データから減算する画素値と、上記逆フィルタ処理手段が処理対象画像の画像データに加算する画素値とは、同一の予測画像から同一の方法により算出される。従って、上記フィルタ処理手段が処理対象画像から除去したブロック歪を発生させる周波数成分を、上記逆フィルタ処理手段はより完全に復元できる。
【０２００】
本発明に係る動画像復号装置は、上記の課題を解決するために、ブロック歪を発生させる周波数成分が除去された画像データを符号化して得られた符号化データを復号する動画像復号装置であって、復号して得られた復号画像の画像データに対し、上記除去された周波数成分を復元する逆フィルタ処理を施す逆フィルタ処理手段を備えたことを特徴としている。
【０２０１】
上記動画像復号装置は、ブロック歪を発生させる周波数成分が予め除去された画像データを符号化して得られた符号化データを復号する。ここで、符号化データは、予めブロック歪を発生させる周波数成分が除去されたものであるので、復号して得られる復号画像におけるブロック歪は抑えられている。そして、復号して得られた復号画像は、上記逆フィルタ処理手段により、符号化の過程で除去された周波数成分を復元される。従って、上記逆フィルタ処理を復号画像は、ブロック歪が低減され、かつ、特定の周波数成分が欠落することのない画像、すなわち原画像をより良く近似する画像となる。
【０２０２】
すなわち、上記の構成を有する動画像符号化装置は、ブロック歪が低減された復号画像を、特定の周波数成分を欠落させることなく復元することができるという効果を奏する。
【産業上の利用可能性】
【０２０３】
本発明は、動画像を符号化して記憶する動画像記憶装置、動画像を符号化して送信する動画像送信装置、あるいは、動画像を復号して再生する動画像再生装置等として好適に利用することができる。具体的には、例えば、ハードディスクレコーダや携帯電話端末など対して、好適に利用することができる。
【符号の説明】
【０２０４】
３００      動画像符号化装置
４００      動画像復号装置
１      ＤＣＴ部
２      量子化部
３      可変長符号化部
４      逆量子化部
５      ＩＤＣＴ部
７      フレームメモリ
８      イントラ予測部
９      インター予測部
１０      符号化制御部
１１      フィルタ処理部（フィルタ処理手段）
１２      逆フィルタ処理部（逆フィルタ処理手段）
３００ａ、３００ｂ        動画像符号化装置
４００ａ、４００ｂ        動画像復号装置
【図１】
2011166832.tif 000033
【図２】
2011166832.tif 000034
【図３】
2011166832.tif 000035
【図４】
2011166832.tif 000036
【図５】
2011166832.tif 000037
【図６】
2011166832.tif 000038
【図７】
2011166832.tif 000039
【図８】
2011166832.tif 000040
【図９】
2011166832.tif 000041
【図１０】
2011166832.tif 000042
【図１１】
2011166832.tif 000043
【図１２】
2011166832.tif 000044
【図１３】
2011166832.tif 000045
【図１４】
2011166832.tif 000046
【図１５】
2011166832.tif 000047