(57)【要約】【課題】  動画像の符号化において、符号化対象である画像に適確に対応するフィルタリング処理を行うこと。【解決手段】  画像処理装置１は、符号化対象である画像に対し、ＤＤＣＷＡフィルタ１１による処理を行う。即ち、符号化対象である画像の原信号と、原信号の平均値フィルタによる処理結果とを、形状情報α（ｉ，ｊ）に応じた重み付けに従って加算し、加算結果を対象として以後の処理を行う。また、ＤＤＣＷＡフィルタ１１の処理結果に対し、エッジ強調器１２の処理結果を加算して符号化処理を行う。このような構成により、動画像の符号化において、符号化対象である画像に適確に対応するフィルタリング処理を行うことが可能となる。【選択図】  図１
2005191865.tif 000002
【特許請求の範囲】
【請求項１】
動画像の符号化に伴うフィルタリング処理を行う画像処理装置であって、
処理対象である画素データを平滑化処理し、平滑画素データを出力する平滑処理手段と、
前記処理対象である画素データの局所分散に基づく重み付けに応じて、前記処理対象である画素データと前記平滑画素データとを加算する加算手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記重み付けは、以下の式によって取得される形状情報α（ｉ，ｊ）を用いて定められることを特徴とする請求項１記載の画像処理装置。
【数１】
2005191865.tif 000008
【請求項３】
前記パラメータａは、
プレフィルタリング処理後の画像の劣化が、プレフィルタリング処理を施さずに符号化処理を行った場合の復号画像の劣化を超えない値に設定されることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記パラメータａは、
該パラメータａに対するプレフィルタリング処理後の画像全体の劣化特性において、高域安定領域と低域安定領域との間に現れる第１の変動領域と、該パラメータａに対するプレフィルタリング処理後の画像のブロック歪み特性において、低域安定領域と高域安定領域との間に現れる第２の変動領域とが重複する領域内に設定されることを特徴とする請求項２または３記載の画像処理装置。
【請求項５】
前記処理対象である画素データにエッジ強調処理を施し、エッジ強調画素データを出力するエッジ強調手段をさらに含み、
前記加算手段は、所定の重み付けに応じて、該エッジ強調画素データを、前記処理対象である画素データと前記平滑画素データとにさらに加算することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
動画像の符号化に伴うフィルタリング処理を行う画像処理プログラムであって、
処理対象である画素データを平滑化処理し、平滑画素データを出力する平滑処理機能と、
前記処理対象である画素データの局所分散に基づく重み付けに応じて、前記処理対象である画素データと前記平滑画素データとを加算する加算機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項７】
動画像の符号化に伴うフィルタリング処理を行うための画像処理方法であって、
処理対象である画素データを平滑化処理し、平滑画素データを出力する平滑処理ステップと、
前記処理対象である画素データの局所分散に基づく重み付けに応じて、前記処理対象である画素データと前記平滑画素データとを加算する加算ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化に伴うフィルタリング処理を行う画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像の符号化を行う場合、画質の劣化を防ぎつつ、情報量の削減が図られている。
例えば、ＭＰＥＧ（Moving Picture Experts Group）に基づく動画像の符号化では、ＤＣＴ（DiscreteCosine Transform）あるいは量子化等の符号化器における処理に先立ち、プレフィルタによる処理を行うことで、情報量の削減に伴う画質の劣化を軽減する方法を用いる場合がある。
【０００３】
プレフィルタを使用することにより、情報量の削減過程をプレフィルタによる処理とその他の処理（ＤＣＴあるいは量子化等）とに分割できることとなる。さらに、それらの処理における画像の劣化特性がそれぞれ異なることから、それぞれの劣化特性を利用した適切な符号化処理を行うことが可能となる。
なお、このような方法を用いた符号化処理の例として、非特許文献１に記載された方法が挙げられる。
【非特許文献１】内田  顕貴、田中  清、「伝送符号量削減のための適応型プレフィルタの検討」、２００２年画像符号化シンポジウム、平成１４年１１月１２日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載された方法を含め、従来の技術においては、符号化対象である画像に適確に対応する符号化処理を行うことができなかった。
即ち、プレフィルタは、主として重要でない情報を削減する目的で、画像の不要なざらつき（高周波成分）を除去するものであるが、例えば、非特許文献１に記載された方法においては、ｄ２／（ｄ２＋Ｋ２）なる式に基づいて、フィルタリング処理する画素の判別を行っている。そのため、画像全体にバイアスが加わったり、局所的なノイズが加わったりすると、フィルタリング処理結果が不適切な影響を受けることとなる。したがって、画像によっては、プレフィルタが適確に対応できない場合が生じ得る。
【０００５】
本発明の課題は、動画像の符号化において、符号化対象である画像に適確に対応するフィルタリング処理を行うことである。
【課題を解決するための手段】
【０００６】
以上の課題を解決するため、本発明は、
動画像の符号化に伴うフィルタリング処理を行う画像処理装置であって、処理対象である画素データを平滑化処理し、平滑画素データを出力する平滑処理手段（例えば、図１の平均値フィルタ）と、前記処理対象である画素データの局所分散に基づく重み付けに応じて、前記処理対象である画素データと前記平滑画素データとを加算する加算手段（例えば、図１のバッファ１１ｂ，１１ｃ，１２ｂおよび加算器１１ｄ）とを含むことを特徴としている。
【０００７】
このような構成により、符号化対象である画像中の重要な情報を保存しながら、情報量を削減することが可能となり、以後の符号化処理における量子化パラメータを小さくすることが可能となる。そのため、動画像の符号化において、符号化対象である画像に適確に対応するフィルタリング処理を行うことが可能となる。
また、前記重み付けは、以下の式によって取得される形状情報α（ｉ，ｊ）を用いて定められることを特徴としている。
【０００８】
【数２】
2005191865.tif 000003
【０００９】
このような構成により、各フレームに対応して定まる局所分散の平均値を基準に用いて、処理対象である画素データの局所分散に応じた重み付けを行うことが可能となる。
したがって、ノイズやバイアスが加わる等、画像に変化が生じた場合であっても、フィルタリング処理における各種パラメータを変更することなく、各フレームに適切に対応した処理を行うことができる。また、パラメータａを調整することによって、フレームにおける情報量の削減対象および保存対象とする画素データを適切に選択することが可能となる。
【００１０】
また、前記パラメータａは、プレフィルタリング処理後の画像の劣化が、プレフィルタリング処理を施さずに符号化処理を行った場合の復号画像の劣化を超えない値に設定されることを特徴としている。
即ち、図７において、エンコーダ２０のみによる画像の劣化（約３４ｄＢ）よりもフィルタリング処理後の画像の劣化が大きくない範囲（約３４ｄＢ以上）となる範囲でパラメータａが設定される。
【００１１】
したがって、プレフィルタリング処理を行うことにより、プレフィルタリング処理を行わない場合より画像が劣化する事態を避けることが可能となり、より適切に処理を行うことが可能となる。
また、前記パラメータａは、該パラメータａに対するプレフィルタリング処理後の画像全体の劣化特性において、高域安定領域と低域安定領域との間に現れる第１の変動領域（例えば、図１２の画質の特性におけるａ＝１〜２０程度の領域）と、該パラメータａに対するプレフィルタリング処理後の画像のブロック歪み特性において、低域安定領域と高域安定領域との間に現れる第２の変動領域（例えば、図１２のブロック歪みの特性におけるａ＝１〜２０程度の領域）とが重複する領域内に設定されることを特徴としている。
【００１２】
このような構成により、上述の形状情報α（ｉ，ｊ）におけるパラメータａを適切な値に定めることが容易となり、フィルタリング処理をより適切に行うことが可能となる。
また、前記処理対象である画素データにエッジ強調処理を施し、エッジ強調画素データを出力するエッジ強調手段（例えば、図１のラプラシアンフィルタ１２ａ）をさらに含み、前記加算手段は、所定の重み付け（例えば、図１における“β”）に応じて、該エッジ強調画素データを、記処理対象である画素データと前記平滑画素データとにさらに加算することを特徴としている。
【００１３】
このような構成により、符号化処理におけるエッジの劣化を補償することが可能となり、復号後の画像における画質をさらに向上させることができる。
また、本発明は、
動画像の符号化に伴うフィルタリング処理を行う画像処理プログラムであって、処理対象である画素データを平滑化処理し、平滑画素データを出力する平滑処理機能と、前記処理対象である画素データの局所分散に基づく重み付けに応じて、前記処理対象である画素データと前記平滑画素データとを加算する加算機能とをコンピュータに実現させることを特徴としている。
【００１４】
また、本発明は、
動画像の符号化に伴うフィルタリング処理を行うための画像処理方法であって、処理対象である画素データを平滑化処理し、平滑画素データを出力する平滑処理ステップと、前記処理対象である画素データの局所分散に基づく重み付けに応じて、前記処理対象である画素データと前記平滑画素データとを加算する加算ステップとを含むことを特徴としている。
【００１５】
このように、本発明によれば、動画像の符号化において、符号化対象である画像に適確に対応するフィルタリング処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、図を参照して本発明に係る画像処理装置の実施の形態を説明する。
初めに、本発明におけるフィルタリング処理方法の基本的な考え方について説明する。
本発明においては、後述するプレフィルタ（ＤＤＣＷＡフィルタおよびエッジ強調器）を用いることにより、重要な情報を保存しながら、符号化に起因する画像の劣化を防ぐものである。
【００１７】
一般に、重要な情報とは、フレーム内符号化においてはエッジに関する情報であり、フレーム間符号化においては画像の動きに関する情報である。
これらのうち、本発明では、エッジに関する情報の保存を図ることにより、符号化における画質の向上を図っている。
具体的には、原信号と、原信号の平均値フィルタによる処理結果と、原信号のエッジ強調器による処理結果とを重み付け加算する。
【００１８】
図１は、本発明に係るプレフィルタ１０の主要部の構成を示す概略図である。
図１において、プレフィルタ１０は、ＤＤＣＷＡ（Data-Dependent Center Weighted Average）フィルタ１１と、エッジ強調器１２とを主要部に含んで構成される。
ＤＤＣＷＡフィルタ１１は、平均値フィルタ１１ａと、バッファ１１ｂ，１１ｃと、加算器１１ｄとを含んで構成される。
【００１９】
平均値フィルタ１１ａは、処理対象である画素を中心とする一定範囲の画素（例えば、処理対象の画素を中心とする３×３あるいは５×５の窓で切り出される画素）について平均値ｙＬ（ｉ，ｊ）を出力する。ただし、“ｉ”，“ｊ”は整数であり、フレームにおける画素のアドレス（第ｉ行第ｊ列）を示している。以下、同様である。
なお、ここで用いるフィルタとしては、画像を平滑化できるものであれば、平均値フィルタ以外のフィルタ（例えばメディアンフィルタ等）であっても良い。
【００２０】
バッファ１１ｂは、平均値フィルタ１１ａによって出力された平均値ｙＬ（ｉ，ｊ）に、（１−α（ｉ，ｊ））の重みを与えて記憶する。
バッファ１１ｃは、入力された原信号ｘ（ｉ，ｊ）に、後述する形状情報α（ｉ，ｊ）（ただし、０≦α（ｉ，ｊ）≦１）の重みを与えて記憶する。
加算器１１ｄは、バッファ１１ｂ，１１ｃの出力（即ち、α（ｉ，ｊ）・ｘ（ｉ，ｊ）および（１−α（ｉ，ｊ））・ｙＬ（ｉ，ｊ））と、後述するエッジ強調器１２の出力（β・ｙＨ（ｉ，ｊ））とを加算し、プレフィルタ１０の出力ｙ（ｉ，ｊ）とする。
【００２１】
エッジ強調器１２は、ラプラシアンフィルタ１２ａと、バッファ１２ｂとを含んで構成される。
ラプラシアンフィルタ１２ａは、画像に含まれるエッジを抽出するための２次差分フィルタであり、原信号ｘ（ｉ，ｊ）に対し、エッジを強調した信号ｙＨ（ｉ，ｊ）を出力する。なお、ここで用いるフィルタとしては、画像に含まれるエッジを抽出可能なものであれば、ラプラシアンフィルタ以外のフィルタ（例えばソーベルフィルタ等）であっても良い。
【００２２】
また、バッファ１２ｂは、ラプラシアンフィルタ１２ａによって出力された信号ｙＨ（ｉ，ｊ）に定数βの重みを与えて記憶する。なお、この定数βは、設計に応じて定められる定数である。
以上の構成から、プレフィルタ１０の入出力特性は、次式によって示される。
ｙ(i,j)＝α(i,j)・ｘ(i,j)＋（１−α(i,j)）・ｙＬ(i,j)＋β・ｙＨ(i,j)      （３）
なお、（１）式において、平均値フィルタ１１ａの出力ｙＬ（ｉ，ｊ）、ラプラシアンフィルタ１２ａの出力ｙＨ（ｉ，ｊ）は、次式によって表される。
【００２３】
【数３】
2005191865.tif 000004
【００２４】
ここで、上述の形状情報α（ｉ，ｊ）について説明する。
プレフィルタにおいては、重要な情報を保存して高画質化を図り、重要でない情報を平均化して情報量を削減する必要がある。即ち、重要な情報については原信号の重みを高め、重要でない情報については、平均値フィルタ出力の重みを高めることを要する。
一方、形状情報α（ｉ，ｊ）は、注目する画素（処理対象である画素）について、原信号および平均値フィルタの出力それぞれに加える重みを決定づけるものである。
【００２５】
そのため、形状情報α（ｉ，ｊ）は、注目する画素が重要なものであるか否かを識別可能な情報であることが望まれる。
ここで、本発明においては、次式に示すように、形状情報α（ｉ，ｊ）として、注目画素の局所分散σ２を用いた値を定義している。
【００２６】
【数４】
2005191865.tif 000005
【００２７】
（６）式において、“局所分散σ２（ｉ，ｊ）の画像全体の平均値”は、画像内の画素データのばらつき度合いを示している。また、“ａ”（０≦ａ≦∞）は、局所分散σ２（ｉ，ｊ）に対するばらつきの基準を設定するためのパラメータであり、“ａ”を大きくするほど特に重要であると判定される画素のみが保存され、“ａ”を小さくするほど画像全体を重要なものとして保存する傾向を生ずる。
【００２８】
ここで、局所分散σ２（ｉ，ｊ）は、注目画素を中心とする一定範囲の画素（例えば、処理対象の画素を中心とする３×３あるいは５×５の窓で切り出される画素）を対象として得られる注目画素の分散であり、次式によって表される。
【００２９】
【数５】
2005191865.tif 000006
【００３０】
なお、ここでは、（２Ｐ＋１）×（２Ｑ＋１）が窓の大きさとなる。
このように、本発明においては、画像における画素データの分散を反映させた形状情報α（ｉ，ｊ）を用いて各画素の重み付けを決定するため、画像内における重要な情報を適確に抽出して重み付けを行うことが可能となる。
また、（６）式に示すように、局所分散σ２（ｉ，ｊ）の画像全体の平均値を利用することから、画像全体に対して、重要な部分を同一に定義することが可能となり、画像依存性を回避することができる。さらに、（６）式におけるパラメータａは、変数の物理的意義が明確化されており、その定義域は［０，１］となっている。
【００３１】
加えて、（６）式において用いている画像の局所分散σ２は、一般に、主観的に感じる画質と関連性を有するものであると言える。
また、（６）式に示す形状情報α（ｉ，ｊ）は、雑音除去に類似するアルゴリズムに基づくものであり、元来、耐雑音性が高いものである。そのため、画像にノイズが加わった場合であっても、処理方法を変更する必要がない。
【００３２】
即ち、本発明においては、符号化対象である画像に適確に対応するフィルタリング処理を行うことができる。
続いて、上述のフィルタリング処理方法を適用した画像処理装置１について説明する。
まず、構成を説明する。
図２は、本発明を適用した画像処理装置１の構成を示す概略図である。
【００３３】
図２において、画像処理装置１は、プレフィルタ１０と、エンコーダ２０とを含んで構成される。
図３は、プレフィルタ１０の詳細な構成を示す図である。
図３において、プレフィルタ１０は、ＤＤＣＷＡフィルタ１１と、エッジ強調器１２と、局所分散平均値算出器１３と、局所分散算出器１４と、形状情報算出器１５とを含んで構成される。
【００３４】
なお、ＤＤＣＷＡフィルタ１１およびエッジ強調器１２については、図１の説明を参照することとし、ここでは、説明を省略する。
局所分散平均値算出器１３は、処理対象であるフレームを対象として、フレーム全体の局所分散σ２の平均値を算出し、形状情報算出器１５に出力する。
ここで算出される局所分散σ２の平均値は、次式によって示される。
【００３５】
【数６】
2005191865.tif 000007
【００３６】
局所分散算出器１４は、処理対象である画素を中心とする一定範囲の画素を対象として得られる処理対象画素の局所分散σ２を、上述の（７）式に基づいて算出し、算出した局所分散σ２を形状情報算出器１５に出力する。
形状情報算出器１５は、局所分散平均値算出器１３から入力される局所分散σ２の平均値と、局所分散算出器１４から入力される局所分散σ２と、外部から設定されるパラメータａの値とを用いて、（６）式に基づく演算を行い、形状情報α（ｉ，ｊ）を算出する。そして、形状情報算出器１５は、算出した形状情報α（ｉ，ｊ）をＤＤＣＷＡフィルタ１１のバッファ１１ｂ，１１ｃに出力する。
【００３７】
なお、図３において、バッファ１１ｂ，１１ｃは、形状情報算出器１５から入力される形状情報α（ｉ，ｊ）に応じて、重み付けの設定を変更することが可能に構成されている。また、バッファ１２ｂには、エッジ強調器１２の効果を調整するために、外部から定数βが入力される。
図２に戻り、エンコーダ２０は、プレフィルタ１０によって、重要な情報を保存しつつ情報量を削減された画像信号ｙ（ｉ，ｊ）に対し、ＤＣＴ、量子化、動き補償処理および可変長符号化を含むＭＰＥＧ符号化処理を行う。なお、エンコーダ２０における処理は、従来行われているＭＰＥＧに基づく符号化処理と同様である。
【００３８】
次に、動作を説明する。
画像処理装置１に符号化対象である画像が入力されると、まず、局所分散平均値算出器１３が、処理対象であるフレームについて、局所分散σ２の平均値を算出する。
次に、プレフィルタ１０、局所分散算出器１４および形状情報算出器１５による処理が行われる。
【００３９】
即ち、局所分散算出器１４が、処理対象である画素についての局所分散σ２を順次算出して形状情報算出器１５に出力し、形状情報算出器１５が、局所分散σ２の平均値、局所分散σ２およびパラメータａに基づいて算出した形状情報α（ｉ，ｊ）をバッファ１１ｂ，１１ｃに順次出力する。
ＤＤＣＷＡフィルタ１１は、形状情報算出器１５からα（ｉ，ｊ）の入力を受けながら、符号化対象である原信号ｘ（ｉ，ｊ）に形状情報α（ｉ，ｊ）の重みを与えた信号、原信号ｘ（ｉ，ｊ）を平均値フィルタ１１ａによって処理した結果ｙＬ（ｉ，ｊ）に（１−α（ｉ，ｊ））の重みを与えた信号を生成し、これらを加算器１１ｄによって加算する。また、エッジ強調器１２が、原信号ｘ（ｉ，ｊ）をラプラシアンフィルタ１２ａによって処理した結果ｙＨ（ｉ，ｊ）に定数βの重みを与えた信号を生成し、この信号も、加算器１１ｄによって併せて加算される。
【００４０】
すると、加算器１１ｄの出力は、重要な情報が保存されつつ、情報量が削減された画像信号となる。
続いて、加算器１１ｄの出力に対し、エンコーダ２０によって、ＤＣＴおよび量子化が施されると共に、フレーム間符号化が行われるフレームに対しては、動き補償処理が施される。
【００４１】
このとき、エンコーダ２０に入力される画像は、情報量が削減されていることから、量子化パラメータを一定に小さくすることが可能であり、その結果、ブロック歪みが軽減されることとなる。また、エンコーダ２０に入力される画像は、重要な情報が保存されていることから、一定の画質が保証されたものとなる。
その後、画像処理装置１は、符号化対象である画像について、順次入力されるフレームを符号化処理（フレーム内符号化あるいはフレーム間符号化処理）する。
【００４２】
画像処理装置１において上述のような処理が行われる結果、以下のような具体的な効果を奏するものである。
まず、ＤＤＣＷＡフィルタ１１による効果について、（１）プレフィルタリング処理におけるデータ削減（即ち、レート制御）能力、（２）復号画像の劣化に対するＤＤＣＷＡフィルタ１１の寄与率、（３）プレフィルタリング処理の度合と映像の品質、（４）画質の保証とブロック歪みの低減との両立を図るプレフィルタ、の４つの観点から検証する。
（１）プレフィルタリング処理におけるデータ削減能力
図４は、プレフィルタリング処理における符号量のコントロール範囲を示す模式図である。
【００４３】
図４において、符号量のコントロール範囲を示す指標（両矢印）の右端は、プレフィルタリング処理を行わない場合（ａ＝０の場合）を示し、左端は、プレフィルタリング処理を可能な限り施した場合（ａ≒∞）を示している。
また、図５は、パラメータａを変化させた場合のエンコーダ２０における量子化パラメータの変化を示す図である。
【００４４】
図５において、符号化における情報レート（１３２Ｋｂｐｓ，３８４Ｋｂｐｓ、７６８Ｋｂｐｓ等）が与えられると、パラメータａに対応して量子化パラメータＱｐが一意に定まる。また、図５における量子化パラメータＱｐの値域が、図４における符号量のコントロール範囲に対応している。
なお、図４および図５において示す特性は、サンプル映像Ａ〜Ｃを対象とするものであり、このサンプル映像Ａ〜Ｃは、サンプル映像Ａが、動きの量が小さく、映像の細かさが小さい（映像内容が細かくない）映像であり、サンプル映像Ｂが、動きの量が小さく、映像の細かさが中程度の映像であり、サンプル映像Ｃが、動きの量が中程度であり、映像の細かさが大きい（映像内容が細かい）映像である。以下、同様に、これらのサンプル映像を対象として検証を行う。
【００４５】
図４および図５において、符号量のコントロール範囲の幅が広いほど符号量の制御能力（データ削減能力）が高いものとなる。
また、量子化パラメータＱｐの小さい値を包含するほど、符号化時に量子化パラメータをより小さくして、即ち、ブロック歪みがより少ない状態で符号化を行うことが可能であるため、高性能にデータの削減を行えるものであると言える。
【００４６】
図６は、プレフィルタリング処理を行う場合と行わない場合（ＭＰＥＧ符号化のみ）の符号量の削減状態を示す図である。なお、図６は、サンプル映像Ｃ（５×５の平均値フィルタの場合）を対象とした例である。
図６において、同一の符号量とするためには、プレフィルタリング処理を施した場合、より小さい量子化パラメータＱｐとすることが可能となっている。例えば、７６８Ｋｂｐｓを実現するためには、プレフィルタリング処理を行った場合、量子化パラメータＱｐ≒６であるのに対し、プレフィルタリング処理を行わない場合、量子化パラメータＱｐ≒１４となっている。
【００４７】
このように、ＤＤＣＷＡフィルタ１１を備えることにより、必要な程度に応じてデータ量の削減を実現することができ、それにより、量子化の際に、より小さい量子化パラメータＱｐとすることが可能となる。
なお、同一の画像については、３×３のフィルタ窓の平均化フィルタ処理を行う場合より、５×５のフィルタ窓の平均化フィルタ処理を行う場合の方が、平滑化能力が高く、データ量を削減する能力が高いため、量子化パラメータをより小さくすることが可能となっている。
（２）復号画像の劣化に対するＤＤＣＷＡフィルタ１１の寄与率
図７は、サンプル映像Ａに対するプレフィルタリング処理後および復号後の画像のＰＳＮＲ（PeakSignal to Noise Ratio）を示す図である。
【００４８】
図７において、復号後の画像のＰＳＮＲは、ａ＝０．０００１（ａ≒０）の場合、プレフィルタリング処理を行わず、エンコーダ２０のみによる画像の劣化（約３４ｄＢ）を示している。
一方、プレフィルタリング処理後の画像のＰＳＮＲ（以下、「ＰＳＮＲｐ」と称する。）は、例えば、５×５のフィルタ窓を用いた場合では、ａ＝５０程度でＰＳＮＲｐ＝３４［ｄＢ］となっている。
【００４９】
したがって、この場合、ａ≧５０とすると、プレフィルタリング処理のみによって、ＭＰＥＧ符号化の場合よりも画像が劣化することとなるため、ａ＜５０に設定すべきであることがわかる。
また、図８は、サンプル映像Ｃに対するプレフィルタリング処理後および復号後の画像のＰＳＮＲを示す図であり、図８（ａ）は、３８４Ｋｂｐｓの場合を示し、図８（ｂ）は、７６８Ｋｂｐｓの場合を示している。
【００５０】
図８（ａ）において、復号後の画像のＰＳＮＲは、ａ＝０．０００１（ａ≒０）の場合、約２６［ｄＢ］を示しており、図７における検証と同様に、ａ≧１００とすると、プレフィルタリング処理のみによって、ＭＰＥＧ符号化の場合よりも画像が劣化することとなるため、ａ＜１００に設定すべきであることがわかる。
同様に、図８（ｂ）においては、ａ＝０．０００１（ａ≒０）の場合、ＰＳＮＲが約２８［ｄＢ］を示すことから、ａ＜８に設定すべきであることがわかる。
【００５１】
このように、プレフィルタリング処理は、符号化対象となる画像によって、一定の適正な範囲（パラメータａの設定範囲）を有することがわかる。
（３）プレフィルタリング処理の度合と映像の品質
次に、プレフィルタリング処理の度合と映像の品質との関係を、処理結果の画像に対する主観的な評価によって検証する。
【００５２】
ＤＤＣＷＡフィルタ１１による処理を施した画像の主観的な評価は、ＭＰＥＧ符号化のみによる処理結果（ａ＝０の場合）および平均値フィルタ１１ａによる処理結果（ａ≒∞）と比べ、以下のように特徴付けられる。
図９は、ＭＰＥＧ符号化のみによる処理結果（ａ＝０，Ｑｐ＝２６）の画像を示す図であり、図１０は、平均値フィルタ１１ａによる処理結果（ａ≒∞，Ｑｐ＝１８）の画像を示す図である。
【００５３】
なお、図９および図１０は、サンプル映像Ａ（１３２Ｋｂｐｓ，５×５のフィルタ窓の場合）についての処理結果を例として示している。
図９に示す画像は、画像の鮮明さが高いものの、ブロック歪みが目立つものとなっている。
これに対し、図１０に示す画像は、画像の鮮明さは劣るものの、ブロック歪みが軽減されている。
【００５４】
一方、図１１は、ＤＤＣＷＡフィルタ１１による処理結果（ａ＝７．０，Ｑｐ＝２３）の画像を示す図である。
図１１に示す画像は、図９に示す画像に比べ、ブロック歪みが軽減されていると共に、画像の鮮明さが比較的維持されている。また、図１０に示す画像に比べ、鮮明さが高いと共に、ブロック歪みの軽減効果が比較的維持されている。
【００５５】
即ち、ＤＤＣＷＡフィルタ１１による処理を施すことにより、ＭＰＥＧ符号化のみによる処理結果あるいは平均値フィルタ１１ａによる処理結果に比べ、全体として良好な画質を実現することができる。
（４）画質の保証とブロック歪みの低減との両立を図るプレフィルタ
続いて、画質およびブロック歪みの評価を定量的に行うことにより、画質の保証とブロック歪みの低減との両立を図るプレフィルタについての検証を行う。
【００５６】
画質の評価は、上述のように、復号画像全体についてのＰＳＮＲを利用することが可能である。
一方、ブロック歪みについては、８画素×８画素のブロックの境界であって、かつ、画像の平坦な部分におけるＰＳＮＲ（以下、「ＰＳＮＲｂ」と称する。）を用いて評価することとする。
【００５７】
これは、ブロック歪みが、画像の平坦な部分におけるブロック境界に表れる雑音であることに基づいている。
そこで、画像の平坦な部分を、局所分散σ２（ｉ，ｊ）を用いて、σ２（ｉ，ｊ）＜γ・（σ２の平均値）を満たす領域と定義することとする。ただし、ここでは、実験的に求められる値として、γ＝０．２を用いる。
【００５８】
なお、ブロック歪みの評価は、８×８のブロックの境界を挟む２ラインについてのみ行うものとする。
図１２は、サンプル映像Ａ（１３２Ｋｂｐｓ、５×５のフィルタ窓の場合）に関する画質およびブロック歪みの特性を示す図である。
図１２において、サンプル映像Ａの画質（ＰＳＮＲ）は、パラメータａの増加に伴い、高いＰＳＮＲでほぼ安定した領域（高域安定領域）を経て、ａ＝１付近から減少の度合が急峻となり、ａ＝２０付近から減少の度合が再び鈍化して、低いＰＳＮＲでほぼ安定した領域（低域安定領域）に移行している。
【００５９】
一方、サンプル映像Ａのブロック歪み（ＰＳＮＲｂ）は、パラメータａの増加に伴い、低いＰＳＮＲｂでほぼ安定した領域（低域安定領域）を経て、ａ＝１付近から増加の度合が急峻となり、ａ＝２０付近から増加の度合が再び鈍化して、高いＰＳＮＲｂでほぼ安定した領域（高域安定領域）に移行している。
そこで、良好な画質が得られ、ブロック歪みが適切に低減される範囲（以下、「妥協範囲」と称する。）としては、図１２において、ＰＳＮＲとＰＳＮＲｂとが交差する点を中心とする一定の範囲、例えば、狭域に限定するならａ＝２〜８付近、広域を確保するならａ＝１〜２０付近と判定することが可能である。
【００６０】
このとき、適切なパラメータａを判定する基準としては、明確な区分を設けることは困難であるものの、画質あるいはブロック歪みの少なくともいずれかが良好な結果となる範囲を基準として挙げることができ、このような範囲において、画質あるいはブロック歪みのいずれに高い比重を置くかに応じて、両者の改善効果のバランスを加味した範囲を選択することが可能である。
【００６１】
なお、図１３は、サンプル映像Ｃ（３８４Ｋｂｐｓ）に関する画質およびブロック歪みの特性を示す図である。
図１３に示すように、妥協範囲は、フィルタ窓の大きさによって変化する。
即ち、図１３（ａ）に示す５×５のフィルタ窓の場合、ａ＝２〜１０付近を妥協範囲と判定することができる一方、図１３（ｂ）に示す３×３のフィルタ窓の場合、妥協範囲は全体にパラメータａが大きい領域に遷移し、ａ＝６〜２０付近と判定することができる。
【００６２】
このようにフィルタ窓が小さい場合、妥協範囲がパラメータａの大きい領域に遷移するが、これは、フィルタ窓が小さい程、ブロック歪みの低減効果が小さいため、ブロック歪み低減の観点から、パラメータａがより大きい領域が適切な範囲となることに起因すると考えられる。
なお、上述のＤＤＣＷＡフィルタ１１による効果は、従来の方法と比較して、良好な結果を示している。
【００６３】
図１４は、ＤＤＣＷＡフィルタ１１による効果の従来方法との比較結果を示す図である。ここでは、サンプル映像Ａ（１３２Ｋｂｐｓ，５×５のフィルタ窓の場合）について、εフィルタによる方法および非特許文献１に記載された方法との比較を行っており、量子化パラメータＱｐに対するＰＳＮＲおよびＰＳＮＲｂの関係を示している。
図１４によれば、画像全体のＰＳＮＲについて、ＤＤＣＷＡフィルタ１１による結果は、量子化パラメータＱｐのほぼ全範囲にわたり、従来の方法より高い値を示し、良好な画質が得られていることがわかる。
【００６４】
また、ブロック歪みについて、ＤＤＣＷＡフィルタ１１による結果は、量子化パラメータＱｐのほぼ全範囲にわたり、従来の方法とほぼ同様の値を示し、ブロック歪みの低減効果がほぼ同等であることがわかる。
即ち、ＤＤＣＷＡフィルタ１１を用いることにより、従来の方法とほぼ同様にブロック歪みを低減しながら、高い画質を実現することが可能となっている。
【００６５】
次に、エッジ強調器１２による効果について検証する。
従来、符号化によって失われるエッジをいかに保存するかという観点に比重が置かれていることが一般的であったのに対し、本発明に係る方法においては、符号化に際し、予めエッジを強調しておくことにより、符号化後に良好な画質を得ることとしている。
ここで、エッジ強調器１２による効果を検証するにあたり、説明の簡略化のため、各種パラメータを特定し、条件の限定を図ることとする。
【００６６】
即ち、上述のＤＤＣＷＡフィルタ１１の効果の検証から、量子化パラメータＱｐとして、Ｑｐ＝２０あるいはＱｐ＝２２が適当な値として採用できる。
したがって、これらの場合におけるエッジ強調器１２の効果を具体的に検証することとする。
図１５は、エッジ強調器１２による効果を示す図である。
【００６７】
なお、図１５においては、効果の比較のため、ＤＤＣＷＡフィルタ１１および非特許文献１にかかる方法の効果を表すＰＳＮＲおよびＰＳＮＲｂを併せて示している。
図１５において、Ｑｐ＝２２の場合およびＱｐ＝２０の場合ともに、エッジ強調器１２による処理を行った場合の方が、ＤＤＣＷＡフィルタ１１のみの場合に比べ、ＰＳＮＲおよびＰＳＮＲｂが向上している。
【００６８】
また、ＰＳＮＲは、量子化パラメータＱｐによらず、ほぼ一定の値となることがわかる。符号化処理を行う上では、量子化パラメータＱｐによらず、復号後の画像において一定の画質を実現することが望ましいことから、このようにＰＳＮＲがほぼ一定の値となることは有用な効果である。
なお、ブロック歪みの度合は量子化パラメータＱｐによって決定付けられるが、同一の量子化パラメータＱｐの下では、パラメータａと、エッジ強調器１２の重み付けを定める定数βとによって画像の劣化の度合が決定付けられる。
【００６９】
そこで、パラメータａおよび定数βの変化に対する画質の変動について検証する。
図１６は、Ｑｐ＝２０の場合において、ａ＝２０、β＝０．４とした処理結果の画像を示す図であり、図１７は、Ｑｐ＝２０の場合において、ａ＝５、β＝０とした処理結果（エッジ強調を行わない場合）の画像を示す図である。また、図１８は、これらと同程度の符号量におけるＭＰＥＧ符号化のみによる処理結果（Ｑｐ＝２６の場合）の画像を示す図である。
【００７０】
図１８と、図１６および図１７とを比較すると、図１８に示す画像はブロック歪みが目立つのに対し、図１６および図１７に示す画像は、同程度にブロック歪みが軽減されつつ、図１６に示す画像は、鮮明さが高められていることがわかる。
このように、エッジ強調器１２による処理を行うことにより、同一の符号量における場合に、従来のプレフィルタでは実現できなかったブロック歪みの低減と画像の鮮明さとのバランスを創出することが可能となり、符号化処理をより適切に行うことが可能となる。
【００７１】
以上のように、本実施の形態に係る画像処理装置１は、符号化対象である画像に対し、ＤＤＣＷＡフィルタ１１による処理を行う。即ち、符号化対象である画像の原信号と、原信号の平均値フィルタによる処理結果とを、形状情報α（ｉ，ｊ）に応じた重み付けに従って加算し、加算結果を対象として以後の処理を行う。
そのため、符号化対象である画像中の重要な情報を保存しながら、情報量を削減することが可能となり、以後の符号化処理における量子化パラメータＱｐを小さくすることが可能となる。
【００７２】
したがって、符号化処理におけるブロック歪みの発生を抑制することができる。
また、本実施の形態に係る画像処理装置１は、ＤＤＣＷＡフィルタ１１の処理結果に対し、エッジ強調器１２の処理結果を加算して符号化処理を行う。
したがって、符号化処理におけるエッジの劣化を補償することが可能となり、復号後の画像における画質を向上させることができる。
【００７３】
このように、本実施の形態に係る画像処理装置１は、情報量の削減と符号化における画質の向上とを適切なバランスで実現することが可能である。
即ち、本発明によれば、動画像の符号化において、符号化対象である画像に適確に対応するフィルタリング処理を行うことが可能となる。
【図面の簡単な説明】
【００７４】
【図１】本発明に係るプレフィルタ１０の主要部の構成を示す概略図である。
【図２】本発明を適用した画像処理装置１の構成を示す概略図である。
【図３】プレフィルタ１０の詳細な構成を示す図である。
【図４】プレフィルタリング処理における符号量のコントロール範囲を示す模式図である。
【図５】パラメータａを変化させた場合のエンコーダ２０における量子化パラメータの変化を示す図である。
【図６】プレフィルタリング処理を行う場合と行わない場合（ＭＰＥＧ符号化のみ）の符号量の削減状態を示す図である。
【図７】サンプル映像Ａに対するプレフィルタリング処理後および復号後の画像のＰＳＮＲを示す図である。
【図８】サンプル映像Ｃに対するプレフィルタリング処理後および復号後の画像のＰＳＮＲを示す図である。
【図９】ＭＰＥＧ符号化のみによる処理結果（ａ＝０，Ｑｐ＝２６）の画像を示す図である。
【図１０】平均値フィルタ１１ａによる処理結果（ａ≒∞，Ｑｐ＝１８）の画像を示す図である。
【図１１】ＤＤＣＷＡフィルタ１１による処理結果（ａ＝７．０，Ｑｐ＝２３）の画像を示す図である。
【図１２】サンプル映像Ａ（１３２Ｋｂｐｓ）に関する画質およびブロック歪みの特性を示す図である。
【図１３】サンプル映像Ｃ（３８４Ｋｂｐｓ）に関する画質およびブロック歪みの特性を示す図である。
【図１４】ＤＤＣＷＡフィルタ１１による効果の従来方法との比較結果を示す図である。
【図１５】エッジ強調器１２による効果を示す図である。
【図１６】Ｑｐ＝２０の場合において、ａ＝２０、β＝０．４とした処理結果の画像を示す図である。
【図１７】Ｑｐ＝２０の場合において、ａ＝５、β＝０とした処理結果（エッジ強調を行わない場合）の画像を示す図である。
【図１８】これらと同程度の符号量におけるＭＰＥＧ符号化のみによる処理結果（Ｑｐ＝２６の場合）の画像を示す図である。
【符号の説明】
【００７５】
１  画像処理装置、１０  プレフィルタ、１１  ＤＤＣＷＡフィルタ、１１ａ  平均値フィルタ、１１ｂ，１１ｃ，１２ｂ  バッファ、１１ｄ  加算器、１２  エッジ強調器、１２ａ  ラプラシアンフィルタ、１３  局所分散平均値算出器、１４  局所分散算出器、１５  形状情報算出器、２０  エンコーダ
【図１】
2005191865.tif 000009
【図２】
2005191865.tif 000010
【図３】
2005191865.tif 000011
【図４】
2005191865.tif 000012
【図５】
2005191865.tif 000013
【図６】
2005191865.tif 000014
【図７】
2005191865.tif 000015
【図８】
2005191865.tif 000016
【図１２】
2005191865.tif 000017
【図１３】
2005191865.tif 000018
【図１４】
2005191865.tif 000019
【図１５】
2005191865.tif 000020
【図９】
2005191865.tif 000021
【図１０】
2005191865.tif 000022
【図１１】
2005191865.tif 000023
【図１６】
2005191865.tif 000024
【図１７】
2005191865.tif 000025
【図１８】
2005191865.tif 000026