(57)【要約】      （修正有）【課題】  符号量と符号化歪み量が最適な動画像符号化データを生成することができる動画像符号化装置を提供する。【解決手段】  入力画像の分散を算出する分散算出部１０５と、入力画像に対してフィルタ処理を行うプリフィルタ部１０１と、フィルタ処理された入力画像に対して量子化と符号化する符号化部１０２と、符号化データに対して復号化を行う局所復号化部１０３と、符号化部１０２の入力画像と前記復号化部１０３の出力である再構成画像からブロック歪みを検出する検出部１０６と、符号化部１０２における符号量と符号化歪み量との関係を規定するＲ−Ｄモデル算出部１０９と、視覚感度を評価するための視覚感度モデル算出部１０７と、入力ピクチャの目標符号量、前記規定及び前記視覚感度評価に基づいて、プリフィルタ部１０１におけるフィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出部１０８とを具える。【選択図】  図１
2005244346.tif 000002
【特許請求の範囲】
【請求項１】
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化装置であって
前記入力画像の分散を算出する分散算出手段と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ手段と、
前記フィルタ手段でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化手段と、
前記符号化手段が出力する符号化データに対して復号化処理を行う復号化手段と、
前記符号化手段の入力画像と前記復号化手段の出力である再構成画像からブロック歪みを検出する検出手段と、
前記符号化手段における符号量と符号化歪み量との関係を規定する規定式を決定する規定式決定手段と、
前記分散算出手段で算出された分散及び少なくとも前記検出手段の検出結果を含む、視覚感度を評価するための評価式を決定する評価式決定手段と、
前記入力画像の目標符号量、前記規定式及び前記評価式に基づいて、前記フィルタ手段における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出手段と
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記規定式決定手段は、前記規定式を、前記フィルタ手段でフィルタ処理された入力画像の分散及び前記符号化手段の符号化歪み量を用いて決定する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記評価式は、前記検出手段の検出結果と、前記フィルタ手段でフィルタ処理された入力画像の分散及び前記符号化手段における符号化歪み量を含む
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記パラメータ算出手段は、前記入力画像の目標符号量を拘束条件として、前記規定式と前記評価式の二つの式を最適にする前記フィルタ手段でフィルタ処理された入力画像の分散と、前記符号化手段における符号化歪み量を算出する
ことを特徴する請求項１に記載の動画像符号化装置。
【請求項５】
前記パラメータ算出手段は、前記符号化手段における符号化歪み量から前記入力画像の目標符号量を算出することで、前記量子化処理の重み付けパラメータを算出する
ことを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記パラメータ算出手段は、前記フィルタ手段でフィルタ処理された入力画像の分散及び前記符号化手段における符号化歪み量を、前記入力画像の目標符号量が、前記規定式から得られる前記符号化手段の符号量と等しいことを拘束条件として、前記評価式が最大あるいは最小となるラグランジュ未定乗数法を用いて算出する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項７】
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化方法であって
前記入力画像の分散を算出する分散算出工程と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ工程と、
前記フィルタ工程でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化工程と、
前記符号化工程が出力する符号化データに対して復号化処理を行う復号化工程と、
前記符号化工程の入力画像と前記復号化工程の出力である再構成画像からブロック歪みを検出する検出工程と、
前記符号化工程における符号量と符号化歪み量との関係を規定する規定式を決定する規定式決定工程と、
前記分散算出工程で算出された分散及び少なくとも前記検出工程の検出結果を含む、視覚感度を評価するための評価式を決定する評価式決定工程と、
前記入力画像の目標符号量、前記規定式及び前記評価式に基づいて、前記フィルタ工程における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出工程と
を備えることを特徴とする動画像符号化方法。
【請求項８】
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化装置の制御を実現するプログラムであって
前記入力画像の分散を算出する分散算出工程のプログラムコードと、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ工程のプログラムコードと、
前記フィルタ工程でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化工程のプログラムコードと、
前記符号化工程が出力する符号化データに対して復号化処理を行う復号化工程と、
前記符号化工程の入力画像と前記復号化工程の出力である再構成画像からブロック歪みを検出する検出工程のプログラムコードと、
前記符号化工程における符号量と符号化歪み量との関係を規定する規定式を決定する規定式決定工程のプログラムコードと、
前記分散算出工程で算出された分散及び少なくとも前記検出工程の検出結果を含む、視覚感度を評価するための評価式を決定する評価式決定工程のプログラムコードと、
前記入力画像の目標符号量、前記規定式及び前記評価式に基づいて、前記フィルタ工程における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出工程のプログラムコードと
を備えることを特徴とするプログラム。
【請求項９】
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化装置であって
前記入力画像の分散を算出する分散算出手段と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ手段と、
前記フィルタ手段でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化手段と、
前記符号化手段が出力する符号化データに対して復号化処理を行う復号化手段と、
前記符号化手段の入力画像と前記復号化手段の出力である再構成画像からブロック歪みを検出する検出手段と、
前記入力画像の目標符号量、前記分散算出手段の出力及び前記検出手段の出力に応じて、前記フィルタ手段における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出手段と
を備えることを特徴とする動画像符号化装置。
【請求項１０】
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化方法であって
前記入力画像の分散を算出する分散算出工程と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ工程と、
前記フィルタ工程でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化工程と、
前記符号化工程が出力する符号化データに対して復号化処理を行う復号化工程と、
前記符号化工程の入力画像と前記復号化工程の出力である再構成画像からブロック歪みを検出する検出工程と、
前記入力画像の目標符号量、前記分散算出工程の算出結果及び前記検出工程の検出結果に応じて、前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出工程と
を備えることを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化装置及びその方法、プログラムに関するものである。
【背景技術】
【０００２】
近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャは、圧縮符号化処理が施されデータ量が大幅に削減されている。この圧縮符号化処理として、代表的な手法の一つに、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式がある。
【０００３】
ＭＰＥＧ方式に準拠して、動画像中の一連のピクチャを一定のビット・レートという条件下で圧縮符号化する場合には、動画像中のシーンやピクチャの空間周波数特性、及び量子化スケール（Ｑスケール）値に応じて符号量が大きく異なる。このような符号化特性をもつ圧縮符号化装置を実現する上で、符号化歪みを最小限にするための重要な技術が符号量制御である。
【０００４】
符号量制御を実現するためのアルゴリズムについては、これまで数多く提案されてきている。その中でも、ＭＰＥＧ−２符号化方式の標準化の過程で提案されたＴＭ５（Test Model 5(Test Model Editing Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993)））で使用されているアルゴリズム（以下、ＴＭ５：特許文献１）は良く知られているものの一つである。
【０００５】
＜従来技術１＞
ＴＭ５では、次の３つのステップ（ステップ１〜３）から構成され、ＧＯＰ（Group of Pictures）毎にビット・レートが一定になるように、Ｑ（量子化（quantization））スケールを制御している。
【０００６】
［ステップ１：ビット割当］：ＧＯＰ内の残り符号量から、次に符号化するピクチャの目標符号量を算出する。
【０００７】
［ステップ２：符号量制御］：ステップ１で算出した目標符号量から仮想バッファの状態に応じて、Ｑスケールを算出する。
【０００８】
［ステップ３：Ｑスケールの調整］：マクロブロックの空間アクティビチィに基づいて、最終的なＱスケールを決定する。
【０００９】
前記３つのステップの内、符号化歪みに最も影響の大きいステップ１の詳細な処理を次に説明する。
【００１０】
［ステップ１：ビット割当］
今、図１４に示す通りに、現ＧＯＰ内の１０番目のピクチャＰ３（Ｐピクチャ）の符号化に先立ち、ピクチャＰ３の目標符号量を算出するものとする。ステップ１の処理は、次式で表される。
【００１１】
【数１】
2005244346.tif 000003
【００１２】
但し、Ｒgopは現ＧＯＰに対して割り当てられる符号量、Ｎi、Ｎp及びＮbはそれぞれＩ、Ｐ及びＢピクチャの現ＧＯＰにおける残りのピクチャ数、ｂｉｔｓ＿ｒａｔｅは目標ビット・レート、ｐｉｃｔｕｒｅ＿ｒａｔｅはピクチャ・レートを表す。更には、Ｉ、Ｐ及びＢピクチャ毎に、符号化結果からピクチャの複雑度Ｘi、Ｘp及びＸbを次式で算出する。
【００１３】
【数２】
2005244346.tif 000004
【００１４】
但し、Ｒi、Ｒp及びＲbは、それぞれＩ、Ｐ及びＢピクチャを符号化して得られる符号量、Ｑi、Ｑp及びＱbはそれぞれＩ、Ｐ及びＢピクチャ内のすべてのマクロブロックに対するＱスケールの平均値である。式（１）及び式（２）から、次式を用いて、Ｉ、Ｐ及びＢピクチャそれぞれについて目標符号量Ｔi、Ｔp及びＴbを算出する。
【００１５】
【数３】
2005244346.tif 000005
【００１６】
但し、Ｋp＝１．０及びＫb＝１．４である。
以上の処理から算出したピクチャＰ３の目標符号量Ｔpに基づき、ステップ２以降において、Ｑスケールを算出する。
【００１７】
＜従来技術２＞
プリフィルタを用いる符号量制御手法として、特許文献１として、「動画像符号化におけるプリフィルタ制御方法及び装置」がある。この手法によれば、符号化部の前段にあるプリフィルタであるＬＰＦ（以下、プリフィルタＬＰＦ）によって、符号化部に入力される各ピクチャの空間周波数を制御することで、量子化歪みを低減している。
【００１８】
プリフィルタＬＰＦの制御には、図１５に示すバランス関数なるものを定義し、量子化歪みと画像鮮鋭度劣化との整合を取る。図１５の２本の曲線は、以下の２つの関数Ｆ１及びＦ２にそれぞれ相当する。
【００１９】
Ｆ１（動き量、フィルタ係数、Ｑスケール、符号量）
Ｆ２（フィルタ係数、Ｑスケール）
関数Ｆ１及びＦ２の交差点をバランス点と称して、この点において符号量と画質の整合が最も優れているＱスケールとプリフィルタＬＰＦのフィルタ係数が得られるとしている。
【００２０】
＜従来技術３＞
同様に、プリフィルタを用いる符号量制御手法のもう一つの従来技術として、特許文献２として、「動画像符号化方法」が提案されている。
【００２１】
この手法によれば、まず、符号化難易度Ｙを、以下の通りＩ、Ｐ及びＢピクチャ毎に関数Ｆを使用して算出する。
【００２２】
Ｙ＝  Ｆ（累積符号量，平均Ｑスケール）
次に、Ｉ、Ｐ及びＢそれぞれについて算出した符号化難易度Ｙi、Ｙp及びＹbからフィルタ係数パラメータＺを次式から算出する。
【００２３】
【数４】
2005244346.tif 000006
【００２４】
式（４）により得られたフィルタ係数パラメータＺの値に応じて、図１６に示すグラフから実際のフィルタ係数Ｓを、予め設定してある所定値Ｓ０、Ｓ１あるいはＳ３から選択する。
即ち、各フィルタ係数Ｓに対応するフィルタ係数Ｚに幅をもたせることによって、急激なフィルタ係数Ｚの変化を回避している。
【非特許文献１】Test Model 5(Test Model Editing Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993)）
【特許文献１】特許２８９４１３７号公報
【特許文献２】特開２００２−２４７５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２５】
しかしながら、非特許文献１で示される従来技術１のＴＭ５には、次のような課題がある。
【００２６】
ステップ２及びステップ３において、最終的なＱスケールを得る場合には、ピクチャの目標符号量と現マクロブロックまでのピクチャ内の符号量との乖離、及びマクロブロックの空間アクティビティのみを使用している。
【００２７】
即ち、ＴＭ５は、符号化対象となるピクチャの目標符号量が既に決定された後、実際に符号化処理を行いながら視覚特性を調整しようとするものである。よって、画質の定量的な劣化具合や人間の視覚特性が十分反映されていない課題がある。
【００２８】
特許文献１で示される従来技術２は、プリフィルタＬＰＦを用いることで、ＴＭ５の課題の解決を試みている。しかし、関数Ｆ１において、引数である動き量を算出するための大規模な回路が必要となる。また、関数Ｆ１及びＦ２の定義や図１５で示したバランス点の算出方法については、何ら言及しておらず、プリフィルタＬＰＦの制御方法及び効果が不明瞭である。
【００２９】
更に、特許文献２で示される従来技術３は、フィルタ係数を変更する際に、急激な変化を回避することで、従来技術２の課題の解決を試みている。しかし、単純に累積符号量と平均Ｑスケールの情報からのみ、フィルタ係数を予測しているにすぎないので、依然として画質の劣化具合や人間の視覚特性が考慮されているとは言い難い。
【００３０】
本発明は上記の課題に鑑みてなされたものであり、画質の劣化具合や人間の視覚特性を考慮して、割り当てられた目標符号量の条件下において符号量と符号化歪み量が最適な動画像符号化データを生成することができる動画像符号化装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３１】
上記の目的を達成するための本発明による動画像符号化装置は以下の構成を備える。即ち、
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化装置であって
前記入力画像の分散を算出する分散算出手段と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ手段と、
前記フィルタ手段でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化手段と、
前記符号化手段が出力する符号化データに対して復号化処理を行う復号化手段と、
前記符号化手段の入力画像と前記復号化手段の出力である再構成ピクチャからブロック歪みを検出する検出手段と、
前記符号化手段における符号量と符号化歪み量との関係を規定する規定式を決定する規定式決定手段と、
前記分散算出手段で算出された分散及び少なくとも前記検出手段の検出結果を含む、視覚感度を評価するための評価式を決定する評価式決定手段と、
前記入力画像の目標符号量、前記規定式及び前記度評価式に基づいて、前記フィルタ手段における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出手段と
を備える。
【００３２】
また、好ましくは、前記規定式決定手段は、前記規定式を、前記フィルタ手段でフィルタ処理された入力画像の分散及び前記符号化手段の符号化歪み量を用いて決定する。
【００３３】
また、好ましくは、前記評価式は、前記検出手段の検出結果と、前記フィルタ手段でフィルタ処理された入力画像の分散及び前記符号化手段における符号化歪み量を含む。
【００３４】
また、好ましくは、前記パラメータ算出手段は、前記入力画像の目標符号量を拘束条件として、前記規定式と前記評価式の二つの式を最適にする前記フィルタ手段でフィルタ処理された入力画像の分散と、前記符号化手段における符号化歪み量を算出する。
【００３５】
また、好ましくは、前記パラメータ算出手段は、前記符号化手段における符号化歪み量から前記入力画像の目標符号量を算出することで、前記量子化処理の重み付けパラメータを算出する。
【００３６】
また、好ましくは、前記パラメータ算出手段は、前記フィルタ手段でフィルタ処理された入力画像の分散及び前記符号化手段における符号化歪み量を、前記入力画像の目標符号量が、前記規定式から得られる前記符号化手段の符号量と等しいことを拘束条件として、前記評価式が最大あるいは最小となるラグランジュ未定乗数法を用いて算出する。
【００３７】
上記の目的を達成するための本発明による動画像符号化方法は以下の構成を備える。即ち、
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化方法であって
前記入力画像の分散を算出する分散算出工程と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ工程と、
前記フィルタ工程でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化工程と、
前記符号化工程が出力する符号化データに対して復号化処理を行う復号化工程と、
前記符号化工程の入力画像と前記復号化工程の出力である再構成ピクチャからブロック歪みを検出する検出工程と、
前記符号化工程における符号量と符号化歪み量との関係を規定する規定式を決定する規定式決定工程と、
前記分散算出工程で算出された分散及び少なくとも前記検出工程の検出結果を含む、視覚感度を評価するための評価式を決定する評価式決定工程と、
前記入力画像の目標符号量、前記規定式及び前記評価式に基づいて、前記フィルタ工程における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出工程と
を備える。
【００３８】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化装置の制御を実現するプログラムであって
前記入力画像の分散を算出する分散算出工程のプログラムコードと、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ工程のプログラムコードと、
前記フィルタ工程でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化工程のプログラムコードと、
前記符号化工程が出力する符号化データに対して復号化処理を行う復号化工程と、
前記符号化工程の入力画像と前記復号化工程の出力である再構成ピクチャからブロック歪みを検出する検出工程のプログラムコードと、
前記符号化工程における符号量と符号化歪み量との関係を規定する規定式を決定する規定式決定工程のプログラムコードと、
前記分散算出工程で算出された分散及び少なくとも前記検出工程の検出結果を含む、視覚感度を評価するための評価式を決定する評価式決定工程のプログラムコードと、
前記入力画像の目標符号量、前記規定式及び前記評価式に基づいて、前記フィルタ工程における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出工程のプログラムコードと
を備える。
【００３９】
上記の目的を達成するための本発明による動画像符号化装置は以下の構成を備える。即ち、
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化装置であって
前記入力画像の分散を算出する分散算出手段と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ手段と、
前記フィルタ手段でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化手段と、
前記符号化手段が出力する符号化データに対して復号化処理を行う復号化手段と、
前記符号化手段の入力画像と前記復号化手段の出力である再構成画像からブロック歪みを検出する検出手段と、
前記入力画像の目標符号量、前記分散算出手段の出力及び前記検出手段の出力に応じて、前記フィルタ手段における前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出手段と
を備えることを特徴とする。
【００４０】
上記の目的を達成するための本発明による動画像符号化方法は以下の構成を備える。即ち
動画像を所定単位で符号化する動画像符号化において、量子化処理における重み付けパラメータを用いて、入力画像を所定の目標符号量に符号化する動画像符号化方法であって
前記入力画像の分散を算出する分散算出工程と、
前記入力画像に対して、与えられたフィルタ特性によりフィルタ処理を行うフィルタ工程と、
前記フィルタ工程でフィルタ処理された入力画像に対して、量子化処理を行い、符号化する符号化工程と、
前記符号化工程が出力する符号化データに対して復号化処理を行う復号化工程と、
前記符号化工程の入力画像と前記復号化工程の出力である再構成画像からブロック歪みを検出する検出工程と、
前記入力画像の目標符号量、前記分散算出工程の算出結果及び前記検出工程の検出結果に応じて、前記フィルタ特性及び量子化処理における重み付けパラメータを算出するパラメータ算出工程と
を備えることを特徴とする。
【発明の効果】
【００４１】
本発明によれば、画質の劣化具合や人間の視覚特性を考慮して、割り当てられた目標符号量の条件下において符号量と符号化歪み量が最適な動画像符号化データを生成することができる動画像符号化装置及びその方法、プログラムを提供できる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００４３】
本発明では、符号化歪みを伴う不可逆符号化方式に適用した例を詳細に説明する。
【００４４】
実施形態１においては、符号化方式を限定せずに、一般的な不可逆符号化方式に適用した例を示す。実施形態２においては、ＭＰＥＧ符号化方式に適用した例を示す。
【００４５】
＜実施形態１＞
図１は本発明の実施形態１の動画像符号化装置の構成を示すブロック図である。また、図２は本発明の実施形態１の動画像符号化装置が実行する処理を示すフローチャートである。
【００４６】
以下、図１及び図２を用いて、実施形態１の動画像符号化装置１００の動作の詳細について説明する。
【００４７】
尚、動画像符号化装置における量子化処理の重み付けパラメータは、Ｑスケールであるとする。
【００４８】
図１に示すように、動画像符号化装置１００は、大きく分けて、プリフィルタ部１０１、符号化部１０２、局所復号化部１０３及び符号量制御部１０４のブロックから構成される。また、これらの各ブロックは、ハードウェアで実現されても良いし、ブロックの一部あるいはすべてがソフトウェアとして、ＣＰＵやＲＡＭ、ＲＯＭを用いる制御によって実現されても良い。
【００４９】
動画像符号化装置１００の動作を説明するにあたり、現時点においては、図３に示すように、ピクチャＩ２までの符号化処理が完了しており、次に、ピクチャＩ３の符号化処理を行うものとする。
【００５０】
まず、図２のステップＳ２００で、外部ブロック（不図示）からピクチャＩ３の目標符号量Ｒtが設定される。Ｒtの算出方法は、本発明に依存するものではなく、例えば、従来例で示されるＣＢＲ方式であれば、ＴＭ５のステップ１の処理に相当するものである。
【００５１】
動画像符号化装置１００では、符号化部１０２のＱスケールを、設定された目標符号量Ｒtから直接算出するのではなく、目標符号量Ｒtから想定される符号化歪み量を、視覚感度モデル算出部１０７及びＲ−Ｄモデル算出部１０９を用いて、プリフィルタ部１０１と符号化部１０２に最適に分割する。
【００５２】
ステップＳ２０１で、ピクチャＩ３の分散Ｓiを、分散算出部１０５で算出する。分散Ｓiの算出方法は、例えば、以下のように算出する。
座標（ｘ，ｙ）、ピクチャサイズをＭ×Ｎ画素、着目するピクチャの平均をＡＶＥとした場合、ピクチャの分散Ｓiは、次式で算出される。
2005244346.tif 000007
【００５３】
次に、ステップＳ２０３〜２０４で用いる符号化部１０２のＲ−Ｄモデル（Ｒ−Ｄ規定式）及び視覚感度モデル（視覚感度評価式）について説明する。
【００５４】
実施形態１において適用する符号化部１０２のＲ−ＤモデルＲc（Ｓf，ＭＳＥc）は、次式を用いて算出する。
【００５５】
【数５】
2005244346.tif 000008
【００５６】
ここで、Ｉc及びΘcは定数であり、Ｉc＝１及びΘc＝０．５の場合には、情報理論において、Ｒａｔｅ  Ｄｉｓｔｏｒｔｉｏｎ理論として知られる符号量と符号化歪み量の関係を表す公知の式である。
Ｓfは、符号化部１０２の入力ピクチャの分散であり、プリフィルタ部１０１の出力ピクチャの分散に相当する。分散Ｓfは、実施形態１における動画像符号化装置１００の入力ピクチャの分散Ｓi及びプリフィルタ部１０１のフィルタ特性に応じて変化する変数である。
【００５７】
ＭＳＥcは、符号化部１０２によって生じる符号化歪み量である。ＭＳＥcは、符号化部１０２の入力ピクチャと、局所復号化部１０３の出力ピクチャとの差分二乗和に相当する変数である。
【００５８】
Ｉc及びΘiは、符号化部１０２の符号化方式に依存するパラメータとして定義する。実施形態１では、符号化部１０２の符号化方式を限定しない場合を想定しているので、Ｉｃ＝１及びΘc＝０.５を適用する。
【００５９】
ここで、図４に、式（５）の特性を表す図として、Ｓf＝２３００、Ｉc＝１及びΘc＝０．５の場合の符号量Ｒcと符号化歪み量ＭＳＥcとの関係を示す。
【００６０】
ステップＳ２０３で用いる視覚感度モデルＨvs（Ｓf，ＭＳＥc）は、実施形態１では、次式として定義する。
【００６１】
【数６】
2005244346.tif 000009
【００６２】
ここで、ＭＳＥfは、プリフィルタ部１０１において生じるフィルタ歪み量、Ｂcprevは直前ピクチャの符号化処理時にブロック歪み検出部１０６で検出したブロック歪み量、及びＳcprevは符号化部１０２の直前入力ピクチャの分散Ｓfである。
更に、式（６）中のフィルタ歪み量ＭＳＥfは、次式として定義する。
【００６３】
【数７】
2005244346.tif 000010
【００６４】
ここで、αはプリフィルタ部１０１のフィルタの種類に依存する定数である。
尚、式（５）〜式（７）で使用される変数及び定数の一覧を図５に示す。
【００６５】
次に、実施形態１において使用する式（６）及び（７）の視覚感度モデルＨvs（Ｓf，ＭＳＥc）の特徴を、以下に示す。
【００６６】
特徴１：符号化部１０２において生じる符号化歪み量ＭＳＥcのみならず、プリフィルタ部１０１で生じるフィルタ歪み量ＭＳＥf（Ｓf）を考慮することで、動画像符号化装置１００全体の歪み量の評価が可能であり、高精度な画質の制御が可能である。
【００６７】
特徴２：ブロック歪み量Ｂcpfevを評価量として追加することにより、人間の視覚感度に近い画質の評価が可能である。
【００６８】
式（６）及び式（７）を用いて、ステップＳ２０２で、動画像符号化装置１００の入力ピクチャの分散Ｓi、符号化部１０２の直前入力ピクチャの分散Ｓcprev及び直前ピクチャのブロック歪み量Ｂcprevから、視覚感度モデルＨvs（Ｓf，ＭＳＥc）を算出する。
【００６９】
次に、ステップＳ２０３のパラメータ算出部１０８における分散Ｓf及び符号化歪み量ＭＳＥcの算出方法について説明する。
【００７０】
実施形態１においては、動画像符号化装置１００に与えられたピクチャの目標符号量の拘束条件下で、ラグランジュ未定乗数法を用いて、二つの視覚感度モデルＨvs（Ｓf，ＭＳＥc）及びＲ−ＤモデルＲc（Ｓf，ＭＳＥc）の関係を最適する分散Ｓf及び符号化歪み量ＭＳＥcを算出する。
【００７１】
即ち、動画像符号化装置１００に与えられたピクチャの目標符号量をＲtとすれば、拘束条件式は、次式で表せる。
［拘束条件式］
【００７２】
【数８】
2005244346.tif 000011
【００７３】
更に、未定乗数をλと定義すれば、
【００７４】
【数９】
2005244346.tif 000012
【００７５】
となる。
また、必要条件式として次式を定義する。
［必要条件式］
【００７６】
【数１０】
2005244346.tif 000013
【００７７】
よって、式（１０）及び式（８）から分散Ｓf及び符号化歪み量ＭＳＥcの最適解を算出するためには、ステップＳ２０３において、次式を演算する。
【００７８】
【数１１】
2005244346.tif 000014
【００７９】
但し、実施形態１においてはＩc＝１及びΘc＝０.５である。
また、αはプリフィルタ部１０１を構成したフィルタの種類に依存する係数であり、動画像符号化装置１００を構成した際に予め定める定数である。
【００８０】
次に、ステップＳ２０４で、フィルタ特性算出部１１０において、プリフィルタ部１０１のフィルタ特性を決定する。実施形態１においては、プリフィルタ部１０１の入力及び出力ピクチャの分散の変化を用いてフィルタ特性を選択する。
【００８１】
尚、入力ピクチャの分散ＳiはステップＳ２０１で、出力ピクチャの分散ＳfはステップＳ２０３で、算出済みである。
【００８２】
これら二つの分散Ｓi及びＳfの関係と、予め定めておいた複数のフィルタ係数の変化に応じた、プリフィルタ部１０１の入力及び出力ピクチャの分散特性の中から、最も特性の近いフィルタ係数を一つ選択する。
【００８３】
図６は、予め定めておいたフィルタ係数Ｃ１〜Ｃ５にそれぞれに対応する、プリフィルタ部１０１の入力及び出力ピクチャの分散特性を示す５つの曲線から、算出した分散Ｓi及びＳfの関係に最も近いフィルタ係数Ｃ２が選択されていることを示している。
【００８４】
プリフィルタ部１０１は、パラメータＣ１〜Ｃ５をフィルタ係数算出部１１０から受け取ることで、対応するフィルタ特性になるようにフィルタ係数を変更する。
【００８５】
ステップＳ２０５で、Ｒ−Ｄモデル算出部１０９において、式（１１）から得られた符号化歪み量ＭＳＥc及び分散Ｓfを用いて、Ｒ−ＤモデルＲc（Ｓf，ＭＳＥc）から符号化部１０２の目標符号量Ｒcを算出する。
【００８６】
これは、式（５）のＲ−ＤモデルＲc（Ｓf，ＭＳＥc）に、当該符号化歪み量ＭＳＥc及び分散Ｓfを代入することで算出する。
【００８７】
ステップＳ２０６で、ステップＳ２０５で算出した目標符号量Ｒcを用いて、符号化部１０２のＱスケールを算出する。Ｑスケールの算出には、符号化部１０２のＲ−Ｑモデルを使用する。実施形態１においては、符号化部１０２のＲ−ＱモデルＲＱc（Ｒc，Ｓf）として、次の一次式で表現する。
【００８８】
【数１２】
2005244346.tif 000015
【００８９】
ここで、ＲcはステップＳ２０５において算出した目標符号量Ｒcであり、ＳfはステップＳ２０３において算出した符号化部１０２の入力ピクチャの分散Ｓfである。
また、βcは定数であり、直前のピクチャにおいて使用したＲc、Ｓi及びＱcの値を、式（１２）に再度代入することで得る。但し、実施形態１においては、Ｑスケールを算出する精度を高めるために、次式を用いてステップＳ２０９で、Ｒ−ＱモデルＲＱc（Ｒc，Ｓf）を更新する。
【００９０】
【数１３】
2005244346.tif 000016
【００９１】
但し、ｎはＲ−ＱモデルＲＱc（Ｒc，Ｓf）に反映させる過去のピクチャ数に相当する。
以上、ステップＳ２００〜ステップＳ２０６までの処理が完了した後、ステップＳ２０７で、プリフィルタ部１０１及び符号化部１０２の処理を実行する。
【００９２】
また、符号化部１０２の符号化処理と並行して、ステップＳ２０８ではブロック歪み検出部１０６で、ブロック歪み量Ｂcprevの検出を行う。ブロック歪み量Ｂcprevは、符号化部１０２の入力ピクチャと局所復号化部１０３の出力ピクチャを用いる。
【００９３】
ここで、人間の視覚感度として、ブロック歪みに非常に敏感であることが知られている。このブロック歪みは、８×８画素の正方ブロック単位で直交変換及び量子化処理を施していることがその発生原因である。
【００９４】
ブロック歪み量Ｂcprevの検出方法は、本発明には依存せずに自由に実装が可能であるが、たとえ同じピクチャに対してブロック歪みを検出したとしても、ブロック歪み量Ｂcprevは検出方法に依存して異なる。
【００９５】
しかし、その違いは、式（６）の視覚モデルＨvs（Ｓf，ＭＳＥc）を考慮し、定数をＢcprevに乗じれば良い。この定数は、ブロック歪み検出部１０６の検出方法が定まれば、実施形態１の動画像符号化装置１００を構成した際には一意に決定される値である。
【００９６】
実施形態１においては、ブロック歪み検出部１０６の検出方法として、８×８ブロック境界の差分二乗和ＭＳＥblkとピクチャ全体の差分二乗和ＭＳＥallの比を使って算出する。
【００９７】
ここで、符号化部１０２の入力ピクチャの水平方向の画素数をx_size及び垂直方向の画素数をy_sizeとする。水平方向の座標がＪ及び垂直方向の座標がＩの、符号化部１０２の入力ピクチャの画素値をＣＩＮ（Ｊ，Ｉ）とし、同様に、局所復号化部１０３の出力ピクチャの画素値をＣＯＵＴ（Ｊ，Ｉ）とすれば、ブロック歪み量Ｂcprevは、以下の（１４）式で算出する。
【００９８】
【数１４】
2005244346.tif 000017
【００９９】
ここで、ＭＳＥallは，ＣＩＮ（Ｊ，Ｉ）とＣＯＵ（Ｊ，Ｉ）とのピクチャ全体における差分二乗和であり、γはブロック歪み検出部１０６の検出方法に依存する定数である。
以上説明したように、実施形態１によれば、以上のステップＳ２００〜ステップＳ２０９の処理を、動画像符号化処理装置１００にピクチャを入力する毎に繰り返し行うことにより、画質の劣化具合や人間の視覚特性を考慮した、プリフィルタ部１０１及び符号化部１０２の制御を実現することができる。
【０１００】
よって、割り当てられた目標符号量の条件下において符号量と符号化歪み量が最適な符号化動画像データを得ることができる。
【０１０１】
＜実施形態２＞
実施形態２として、符号化部にＭＰＥＧ−４符号化方式に適用した例を詳細に説明する。
【０１０２】
図７は本発明の実施形態２の動画像符号化装置の構成を示すブロック図である。また、図８は本発明の実施形態２の動画像符号化装置が実行する処理を示すフローチャートである。
【０１０３】
ここで、図７の実施形態２の動画像符号化装置８００を構成する各ブロックと、図１の実施形態１の動画像符号化装置１００を構成する各ブロックとの相違点は、次の二つである。
【０１０４】
ブロックの相違点１：図１のプリフィルタ部１０１が、図７のバターワースフィルタ部８０１に相当する。
【０１０５】
ブロックの相違点２：図１の符号化部１０２が、図７のＭＰＥＧ符号化部８０２に相当する。
【０１０６】
尚、符号量制御部８０４の内部ブロック構成は、図１の符号量制御部１０４の内部ブロック構成と同様である。
【０１０７】
また、ＭＰＥＧ符号化部８０２は、動き検出部（ＭＥ）８０５、ＤＣＴ部８０６、量子化部（ＱＴＺ）８０７、可変長符号化部（ＶＬＣ）８０８を有している。また、局所ＭＰＥＧ復号化部８０３は、動き補償部（ＭＣ）８０９、逆ＤＣＴ部（ＩＤＣＴ）８１０、逆量子化部（ＩＱＴＺ）８１１のブロックを有している。
【０１０８】
また、これらの各ブロックは、ハードウェアで実現されても良いし、ブロックの一部あるいはすべてがソフトウェアとして、ＣＰＵやＲＡＭ、ＲＯＭを用いる制御によって実現されても良い。
【０１０９】
次に、図８の実施形態２の動画像符号化装置が実行する処理を示すフローチャートと、図１の実施形態１の動画像符号化装置１００が実行する処理を示すフローチャートとの相違点は、次の二つである。
【０１１０】
処理の相違点１：図８のステップＳ９０４及び９０６の処理で用いるＲ−Ｄモデルが、図２のステップＳ２０３及び２０５で用いるＲ−Ｄモデルと異なる。
【０１１１】
処理の相違点２：図８のステップＳ９０５で行うフィルタ特性の選択方法が、図２のステップＳ２０４で行うフィルタ特性の選択方法と異なる。
【０１１２】
以後、ＭＰＥＧ−４符号化方式における全体の処理の中で、実施形態２の動画像符号化装置８００の処理が対応する部分について説明した後、前記２つの処理の相違点ついて、それぞれ詳細に説明する。
【０１１３】
[全体の処理の中で対応する部分]
実施形態２では、図９に示すように、ストリーム全体を、複数のピクチャからなるシーケンスに分割する。符号量制御は、このシーケンスを一つの単位として行い、シーケンス単位で、それぞれ同一のビット・レートになるように符号化する。例えば、このシーケンスは、ＭＰＥＧ−４符号化方式のシンタックスにおいて、Ｇｒｏｕｐ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（）に対応する。
【０１１４】
図１０は、一つのシーケンスにおけるＭＰＥＧ−４符号化方式の処理を示すフローチャートである。シーケンスを構成するピクチャの数及びシーケンスの目標符号量は、本発明には依存しない。
【０１１５】
例えば、ステップＳ１０００で、シーケンスの目標符号量が、従来技術の式（１）中のＲgopに対応しているとする。この場合、ステップＳ１００１で、シーケンスを構成する一つのピクチャの目標符号量Ｒtを算出するため、従来技術の式（２）及び（３）を用いることができる。
【０１１６】
シーケンスを構成する一つのピクチャの目標符号量Ｒtが算出された後、ステップＳ１００２で、図８の処理を繰り返すことで、シーケンスを構成するすべてのピクチャの符号化を行う。
[処理の相違点１]
実施形態２においても、実施形態１と同様に、ＭＰＥＧ符号化部８０２のＲ−ＤモデルＲc（Ｓf，ＭＳＥc）を定義する。尚、実施形態２の動画像符号化処理装置８００が対象とするピクチャ・タイプはＩピクチャ及びＰピクチャの２つとする。
【０１１７】
式（５）のＲ−ＤモデルＲc（Ｓf，ＭＳＥc）の２つの定数Ｉc及びΘcの値を、実施形態２のＭＰＥＧ符号化部８０１の符号量Ｒcと符号化歪み量ＭＳＥcとの関係を表すように定義する。
【０１１８】
ＭＰＥＧ−４符号化方式のＰピクチャの符号化においては、ピクチャ内のみ情報を用いるＩピクチャの符号化と異なり、隣り合うピクチャ間の相関を利用して差分演算を行う。
【０１１９】
この差分演算は、図７中の動き検出処理を行うＭＥ８０５及び動き補償処理を行うＭＣ８０９のそれぞれ２つのブロックにより実現される。
【０１２０】
即ち、ＭＰＥＧ符号化部８０２の入力ピクチャが同一である場合でも、ＩピクチャあるいはＰピクチャを符号化しているのかによって、直交変換処理を行うＤＣＴ８０６の入力ピクチャの分散が異なってしまい、ＭＰＥＧ符号化部８０２のＲ−ＤモデルＲc（Ｓf，ＭＳＥc）を表現することができないという課題が生じる。
【０１２１】
この課題を解決するためには、Ｉピクチャ及びＰピクチャのいずれの符号化時においても、ＤＣＴ８０６の入力ピクチャの分散Ｓfを算出して、それを式（５）中の分散Ｓfと定義すれば良い。但し、この場合には、新たに、ＭＥ８０５及びＭＣ８０９の処理を考慮した分散モデルを新たに定義する必要がある。
【０１２２】
そこで、実施形態２においては、ピクチャ・タイプに応じた二つのＲ−ＤモデルＲc（Ｓf，ＭＳＥc）を定義する。
【０１２３】
図１１は、ＭＰＥＧ符号化部８０１のＩピクチャにおけるＲ−ＤモデルＲic（Ｓf，ＭＳＥc）の符号量Ｒcと符号化歪み量ＭＳＥcの関係を示した図である。
【０１２４】
図１１中の「−▲−」で示される曲線は、式（５）中の二つの定数Ｉc及びΘcをそれぞれ、Ｉc＝１及びΘc＝０.５としたＲ−Ｄモデルに、「−■−」で示される曲線は、Ｉc＝０.１及びΘc＝０.２５とした実施形態２のＭＰＥＧ符号化部８０２のＩピクチャに対応したＩピクチャＲ−ＤモデルＲic（Ｓf，ＭＳＥc）にそれぞれ対応する。更には、「−◆−」で示される曲線は、実際にＭＰＥＧ−４符号化方式でＩピクチャを符号化した場合の実測値を示している。
【０１２５】
図１１において、符号量Ｒcが０.５以上の領域において、実測値の曲線とＩピクチャＲ−ＤモデルＲic（Ｓf，ＭＳＥc）の曲線の間に大きな乖離が生じている。
【０１２６】
尚、符号量Ｒc＝０.５に相当するビット・レートは、ＭＰＥＧ符号化部８０２の入力ピクチャの画像サイズがＶＧＡ、サブサンプル４−２−０及びフレーム・レート３０ｆｐｓの場合に、６.６Ｍｂｐｓという非常に高いビット・レートに相当する。
【０１２７】
ここで、ＭＰＥＧ符号化部８０２において、このような高ビット・レートによる符号化を行った際には、視覚的に目立つ程度にブロック歪みが発生することは稀であり、そもそもバターワースフィルタ部８０１においてブロック歪みを緩和するようなプリフィルタ処理が必要とされない。
【０１２８】
即ち、ステップＳ９０３〜ステップＳ９０６までのバターワースフィルタ部８０１のフィルタ特性を制御するための処理を省略することができる。
【０１２９】
よって、ステップＳ９０２で、動画像符号化装置８００に与えられたピクチャの目標符号量が０.５ｂｉｔ／ｐｉｘｅｌ以上の場合には、ステップＳ９０７へ分岐することとする。
【０１３０】
一方、ＭＰＥＧ符号化部８０１のＰピクチャに対応した、ＰピクチャＲ−ＤモデルＲpc（Ｓf，ＭＳＥc）の符号量Ｒcと符号化歪み量ＭＳＥcの関係を図１２に示す。
【０１３１】
ＰピクチャＲ−ＤモデルＲpc（Ｓf，ＭＳＥc）は、図１２中の「−■−」で示される曲線に対応し、式（５）中の二つの定数Ｉc及びΘcが、それぞれＩc＝０.１５及びΘc＝０.１５である。また、「−▲−」は図１１と同様のＲ−Ｄモデルに対応し、「−◆−」で示される曲線は、実際にＭＰＥＧ−４符号化方式でＰピクチャを符号化した場合の実測値を示している。
【０１３２】
図１２において、ＩピクチャＲ−ＤモデルＲic（Ｓf，ＭＳＥc）と同様に、符号量Ｒcが０.５以上の領域において実測値と大きく乖離を生じるが、この領域においてはＰピクチャＲ−ＤモデルＲpc（Ｓf，ＭＳＥc）を使用しない。
【０１３３】
前記の通りにステップＳ９０４及び９０６が、図２に示す実施形態１のステップＳ２０３及びステップＳ２０５とそれぞれ異なる点は、実施形態１のＲ−ＤモデルＲc（Ｓf，ＭＳＥc）の代わりに、ピクチャ・タイプに応じて、２つのＩピクチャＲ−ＤモデルＲic（Ｓf，ＭＳＥc）及びＰピクチャＲ−ＤモデルＲpc（Ｓf，ＭＳＥc）を使用する点のみである。
【０１３４】
よって、ステップＳ９０４及び９０６においては、実施形態１で示したステップＳ２０３及びステップＳ２０５の処理をピクチャ・タイプに応じて、式（５）の定数Ｉc及びΘcを前記の通り定義して行えば良い。
【０１３５】
次に、ステップＳ９０５における処理について説明する。
【０１３６】
実施形態２の動画符号化装置８００では、プリフィルタ部としてバターワース特性をもつバターワースフィルタ部８０１を用いる。
【０１３７】
バターワースフィルタは、最大平坦特性をもつことが知られており、周波数応答特性が次数により決定されることが特徴である。
【０１３８】
実施形態２においては、カットオフ周波数を固定とし、バターワースフィルタの次数を変化させることでバターワースフィルタ部８０１のフィルタ特性を変化させる。
【０１３９】
次数を１から５まで変化させた場合のバターワースフィルタ部８０１の入力ピクチャの周波数Ｆiと当該フィルタ通過後の周波数Ｆfとの関係を表すグラフを図１３に示す。
【０１４０】
ステップＳ９０１で算出したバターワースフィルタ部８０１の入力ピクチャの分散Ｓiと、ステップＳ９０４で得られたバターワースフィルタ部８０１の出力ピクチャの分散Ｓfの関係を用いて、予め定めておいた図１３に示す次数に応じたバターワースフィルタ部８０１の周波数ＦiとＦfの関係を表す曲線の中から、分散ＳiとＳfの関係と、最も近い周波数ＦiとＦfの関係を表す次数を選択すれば良い。
【０１４１】
尚、次数０の場合には、バターワースフィルタの機能はオフになる。
【０１４２】
以上説明したように、実施形態２によれば、ＭＰＥＧ−４符号化方式においても、実施形態１と同様の効果を得ることができる。
【０１４３】
以上説明したように、本発明によれば、プリフィルタ部及び符号化部から構成される動画像符号化装置において、画質の劣化具合や人間の視覚特性を考慮し、プリフィルタ部及び符号化部を制御することで、割り当てられた目標符号量の条件下において、符号量と符号化歪み量が最適な符号化動画像データを得ることができる。
【０１４４】
具体的には、動画像符号化装置に対して予め決定したピクチャの目標符号量を設定する。次に、動画像符号化装置への入力ピクチャの分散Ｓiを算出する。直前のピクチャを符号化する際に、ブロック歪み量Ｂcprevを、符号化部の入力ピクチャと局所復号化部の出力ピクチャから予め算出しておく。
【０１４５】
分散Ｓiとブロック歪み量Ｂcprevから視覚感度モデルの評価式を決定する。
【０１４６】
決定した視覚感度モデルの評価式及び符号化部の符号量と符号化歪み量の関係を規定する規定式(Ｒ−Ｄモデル)を用いて、プリフィルタ部の通過後のピクチャの分散Ｓf及び符号化部で発生する符号化歪み量ＭＳＥcを、入力ピクチャの目標符号量を拘束条件としたラグランジュ未定乗数法の解として算出する。
【０１４７】
分散Ｓi及びＳfをパラメータとして、プリフィルタ部のフィルタ特性を決定する。
【０１４８】
更には、符号化歪み量ＭＳＥcとＲ−Ｄモデルから符号化部の目標符号量Ｒcを決定する。
【０１４９】
決定した目標符号量Ｒcを用いて、符号化部の符号量及び量子化処理の重み付けパラメータの関係を規定する規定式（Ｒ−Ｑモデル）から、量子化処理の重み付けパラメータを算出する。
【０１５０】
尚、視覚感度モデルは、実施形態１で使用した式（６）の評価式に限定されるものではなく、符号化部のＲ−Ｄモデルの符号化歪み量ＭＳＥcに相当する変数と、プリフィルタ部の出力ピクチャの分散Ｓfを変数として含めば良い。
【０１５１】
更には、Ｒ−Ｄモデルから得られる符号化部の目標符号量から、Ｑスケールを算出するＲ−Ｑモデルも式（１２）に限定されないことは言うまでもない。
【０１５２】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１５３】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１５４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１５６】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１５７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１５８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１６０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１６１】
【図１】本発明の実施形態１の動画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施形態１の動画像符号化装置が実行する処理を示すフローチャートである。
【図３】本発明の実施形態の符号化対象となるピクチャを説明するための図である。
【図４】本発明の実施形態１で使用するＲ−Ｄモデルの特性を示す図である。
【図５】本発明の実施形態１で使用するパラメータと係数の関係を説明する図である。
【図６】本発明の実施形態１のプリフィルタの特性の選択を説明するための図である。
【図７】本発明の実施形態２の動画像符号化装置の構成を示すブロック図である。
【図８】本発明の実施形態２の動画像符号化装置が実行する処理を示すフローチャートである。
【図９】本発明の実施形態２におけるシーケンスの構造を説明するための図である。
【図１０】本発明の実施形態２のＭＰＥＧ−４符号化方式の処理を示すフローチャートである。
【図１１】本発明の実施形態２で使用するＩピクチャＲ−Ｄモデルの特性を示す図である。
【図１２】本発明の実施形態２で使用するＩピクチャＲ−Ｄモデルの特性を示す図である。
【図１３】本発明の実施形態２の入力ピクチャの周波数とフィルタ通過後の周波数との関係を示す図である。
【図１４】従来技術のＴＭ５を説明するための図である。
【図１５】従来の技術のバランス関数を説明するグラフを示す図である。
【図１６】従来の技術のフィルタ係数を決定するグラフを示す図である。
【符号の説明】
【０１６２】
１００  動画像符号化装置
１０１  プリフィルタ部
１０２  符号化部
１０３  局所復号化部
１０４  符号量制御部
１０５  分散算出部
１０６  ブロック歪み検出部
１０７  視覚感度モデル算出部
１０８  パラメータ算出部
１０９  Ｒ−Ｄモデル算出部
１１０  フィルタ特性算出部
１１１  Ｒ−Ｑモデル算出部
【図１】
2005244346.tif 000018
【図２】
2005244346.tif 000019
【図３】
2005244346.tif 000020
【図４】
2005244346.tif 000021
【図５】
2005244346.tif 000022
【図６】
2005244346.tif 000023
【図７】
2005244346.tif 000024
【図８】
2005244346.tif 000025
【図９】
2005244346.tif 000026
【図１０】
2005244346.tif 000027
【図１１】
2005244346.tif 000028
【図１２】
2005244346.tif 000029
【図１３】
2005244346.tif 000030
【図１４】
2005244346.tif 000031
【図１５】
2005244346.tif 000032
【図１６】
2005244346.tif 000033