(57)【要約】【課題】  割り当てられた目標符号量の条件下において符号量と符号化歪み量が最適な符号化動画像データを得ることのできる動画像符号化装置及び方法を提供する。【解決手段】  本発明による動画像符号化装置は、入力ピクチャを所定の目標符号量に符号化する動画像符号化装置であって、前記入力ピクチャに対して、与えられたフィルタ特性によりフィルタ処理を行いフィルタ処理ピクチャを生成するプリフィルタ手段と、前記プリフィルタ手段が出力する前記フィルタ処理ピクチャに対して量子化処理を施して符号化することにより符号化データを生成する符号化手段と、前記符号化手段が出力する前記符号化データに対して局所復号化処理を行い、局所復号データを生成する局所復号化手段と、前記フィルタ処理ピクチャ及び前記局所復号データに基づいて、前記プリフィルタ手段のフィルタ係数を決定するフィルタ係数決定手段と、を備える。【選択図】  図１
2007081744.tif 000002
【特許請求の範囲】
【請求項１】
入力ピクチャを所定の目標符号量に符号化する動画像符号化装置であって、
前記入力ピクチャに対して、与えられたフィルタ特性によりフィルタ処理を行いフィルタ処理ピクチャを生成するプリフィルタ手段と、
前記プリフィルタ手段の出力に対して量子化処理を施し、符号化データを生成する符号化手段と、
前記符号化手段の出力に対して局所復号化処理を行い、局所復号データを生成する局所復号化手段と、
前記フィルタ処理ピクチャ及び前記局所復号データに基づいて、前記プリフィルタ手段のフィルタ係数を決定するフィルタ係数決定手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記フィルタ係数決定手段は、前記フィルタ処理ピクチャ及び前記局所復号データからブロック歪量を検出し、このブロック歪量を用いて前記フィルタ係数を決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
さらに、前記フィルタ係数を格納したテーブル手段を備え、
前記フィルタ係数決定手段は、前記ブロック歪量に応じて前記テーブル手段から前記ブロック歪量を補正するのに適する前記フィルタ係数を選択することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記フィルタ係数決定手段は、少なくとも符号化順序が先行する複数のピクチャのブロック歪量とフィルタ係数に関する情報を含む符号化履歴情報を用いて前記フィルタ係数を決定することを特徴とする請求項１乃至３の何れか１項に記載の動画像符号化装置。
【請求項５】
さらに、前記符号化順序が先行する複数のピクチャのブロック歪量に関する情報に応じて量子化スケールを調整する量子化スケール調整手段を備え、
前記符号化手段は、前記量子化スケール調整手段によって得られた量子化スケールに基づいて、前記フィルタ処理ピクチャに前記量子化処理を施すことを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記フィルタ係数決定手段は、前記符号化履歴情報に応じて、前記プリフィルタ手段におけるフィルタ処理を行うか否かを適応的に判断することを特徴とする請求項４又は５のに記載の動画像符号化装置。
【請求項７】
入力ピクチャを所定の目標符号量に符号化する動画像符号化方法であって、
前記入力ピクチャに対して、与えられたフィルタ特性によりフィルタ処理を行いフィルタ処理ピクチャを生成するプリフィルタ工程と、
前記プリフィルタ工程によって得られる前記フィルタ処理ピクチャに対して量子化処理を施し、符号化データを生成する符号化工程と、
前記符号化工程で得られる前記符号化データに対して局所復号化処理を行い、局所復号データを生成する局所復号化工程と、
前記フィルタ処理ピクチャ及び前記局所復号データに基づいて、前記プリフィルタ工程におけるフィルタ処理のフィルタ係数を決定するフィルタ係数決定工程と、
を備えることを特徴とする動画像符号化方法。
【請求項８】
前記フィルタ係数決定工程は、前記フィルタ処理ピクチャ及び前記局所復号データからブロック歪量を検出し、このブロック歪量を用いて前記フィルタ係数を決定することを特徴とする請求項７に記載の動画像符号化方法。
【請求項９】
前記フィルタ係数決定工程は、前記ブロック歪量に応じて前記ブロック歪量を補正するのに適する前記フィルタ係数を選択することを特徴とする請求項８に記載の動画像符号化方法。
【請求項１０】
前記フィルタ係数決定工程は、少なくとも符号化順序が先行する複数のピクチャのブロック歪量とフィルタ係数に関する情報を含む符号化履歴情報を用いて前記フィルタ係数を決定することを特徴とする請求項７乃至９の何れか１項に記載の動画像符号化方法。
【請求項１１】
さらに、前記符号化順序が先行する複数のピクチャのブロック歪量に関する情報に応じて量子化スケールを調整する量子化スケール調整工程を備え、
前記符号化工程は、前記量子化スケール調整工程で得られた量子化スケールに基づいて、前記フィルタ処理ピクチャに前記量子化処理を施すことを特徴とする請求項１０に記載の動画像符号化方法。
【請求項１２】
前記フィルタ係数決定工程は、前記符号化履歴情報に応じて、前記プリフィルタ工程においてフィルタ処理を行うか否かを適応的に判断することを特徴とする請求項１０又は１１記載の動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プリフィルタ手段と動画像符号化手段から構成される動画像符号化装置および動画像符号化方法、画像伝送装置並びに画像伝送方法に関し、特に低ビットレートにおいても良好な画質を得ることが可能となる画像符号化装置および画像符号化方法、画像伝送装置並びに画像伝送方法に関する。更には、高画質を得るために最適なプリフィルタ手段と動画像符号化手段の制御方法に関する発明である。
【背景技術】
【０００２】
近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャは圧縮符号化処理が施されデータ量が大幅に削減される。この圧縮符号化処理として代表的な手法の一つが、例えばMPEG（Moving Picture Experts Group）方式である。
【０００３】
MPEG方式に準拠して一連のピクチャを一定のビットレートという条件下で圧縮符号化する場合に、シーン、ピクチャの空間周波数特性、及び量子化スケール値に応じて符号量が大きく異なる。この様な符号化特性をもつ装置を実現する上で符号化歪みを最小限にするための重要な技術が符号量制御である。
【０００４】
符号量制御を実現するためのアルゴリズムについては、これまでの数多く提案されてきた。その中でもMPEG-2符号化方式の標準化の過程で提案されたＴＭ５（非特許文献１）は良く知られているものの一つである。
【０００５】
このＴＭ５では、次の３つのステップ（ステップ1〜3）から構成され、GOP毎にビットレートが一定になる様にQスケールを制御している。
【０００６】
［ステップ１：ビット割り当て］：GOP内の残り符号量から、次に符号化するピクチャの目標符号量を求める。
【０００７】
［ステップ２：符号量制御］：ステップ１で求めた目標符号量から仮想バッファの状態に応じてQスケールを求める。
【０００８】
［ステップ３：:Qスケールの調整］：マクロブロックの空間アクティビティに基づいて、最終的なQスケールを決定する。
【０００９】
前記３つのステップのうち、符号化歪みに最も影響の大きいステップ1の詳細な処理を次に説明する。
【００１０】
今、図３に示す通りに現GOP内の10番目のピクチャP3（Pピクチャ）の符号化に先立ち、P3の目標符号量を求めるものとする。ステップ1の処理は次式で表される。
【００１１】
【数１】
2007081744.tif 000003
【００１２】
ただし、Rgopは現GOPに対して割り当てられる符号量、Ni、Np及びNbはそれぞれI、P及びBピクチャの現GOPにおける残りのピクチャ数、bits_rateは目標ビットレート、picture_rateはピクチャ・レートを表す。更にはI、P及びBピクチャ毎に、符号化結果からピクチャの複雑度Xi、Xp及びXbを次式で求める。
【００１３】
【数２】
2007081744.tif 000004
【００１４】
ただし、Ri、Rp及びRbはそれぞれI、P及びBピクチャを符号化した結果得られる符号量、Qi、Qp及びQbはそれぞれI、P及びBピクチャ内のすべてのマクロブロックに対するQスケールの平均値である。式(1)及び式(2)から、次式を用いて、I、P及びBピクチャそれぞれについて目標符号量Ti、Tp及びTbを求める。
【００１５】
【数３】
2007081744.tif 000005
【００１６】
ただし、Kp=1.0及びKb=1.4である。以上の処理から求めたピクチャP3の目標符号量Tpに基づきステップ2以降においてQスケールを求める。
【００１７】
また、プリフィルタを用いて符号量制御手法として、特許文献１に記載された技術が提案されている。この手法によれば、プリフィルタであるLPF（以下プリフィルタLPF）によって符号化手段に入力される各ピクチャの空間周波数を制御する事で、量子化歪みを低減している。  
プリフィルタLPFの制御には図４に示すバランス関数なるものを定義し、量子化歪みと画像鮮鋭度劣化との整合を取る。図４の２本の曲線は以下の2つの関数F1及びF2にそれぞれ相当する。F1及びF2はそれぞれ、
F1(動き量、フィルタ係数、Ｑスケール、符号量)
F2(フィルタ係数、Ｑスケール)
と表される。関数F1及びF2の交差点をバランス点と称して、この点において符号量と画質の整合が最も優れているＱスケールとプリフィルタLPFのフィルタ係数が得られるとしている。
【００１８】
同様にプリフィルタを用いた符号量制御手法のもう一つの従来技術として、特許文献２に記載された方法が提案されている。
この手法によれば、まず符号化難易度Yを以下の通りI、P及びBピクチャ毎に関数Fを使用して求める。
【００１９】
Y= F(累積符号量，平均Ｑスケール)
次にI、P及びBそれぞれについて求めた符号化難易度Yi、Yp及びYbからフィルタ係数パラメータZを次式から求める。  
【００２０】
【数４】
2007081744.tif 000006
【００２１】
式(4)により得られたフィルタ係数パラメータZの値に応じて、図５に示すグラフから実際のフィルタ係数Sを予め設定してある所定値S0、S1或いはS3から選択する。すなわち、各フィルタ係数Sに対応するフィルタ係数Zに幅をもたせる事によって、急激なフィルタ係数Zの変化を回避している。
【非特許文献１】ＴＭ５（Test Model 5(Test Model Editing Commitee: "Test Model ５", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993))）
【特許文献１】特許第２８９４１３７号公報
【特許文献２】特開２００２−２４７５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
TM５には次の様な課題がある。ステップ２及びステップ３において最終的なQスケールを得るために、ピクチャの目標符号量と現マクロブロックまでのピクチャ内の符号量との乖離、及びマクロブロックの空間アクティビティのみを使用している。
【００２３】
すなわち、TM５は符号化対象となるピクチャの目標符号量が既に決定された後、実際に符号化処理を行いながら視覚特性を調整しようとするものである。よって画質の定量的な劣化具合や人間の視覚特性が十分反映されていない課題がある。
【００２４】
更には、ＴＭ５を搭載した動画像符号化装置が携帯機器等の場合に手ぶれ等が発生した場合には、動き検出を行っても、十分に情報量を削減する事が困難である。これはQスケールのみで符号量を制御しているために、ピクチャ間の相関が低くなり動き検出のみでは十分に符号量を削減出来ないからである。  
図６には、携帯機器において15秒間撮影した時の手ぶれの発生状況を採取したグラフを、図７には当該手ぶれが発生している状況下においてMPEG-4符号化を行った時の各ピクチャで使用したQスケールの値の推移である。
【００２５】
なお、ピクチャレートは30fpsでありビットレートは4Mbpsである。図７のグラフにおいてQスケールが急激に増加がピクチャNo.30〜60及び120〜150の期間に発生している。この期間に相当する図６の期間は、特に垂直方向の手ぶれが激しく発生している事がわかる。垂直方向の手ぶれにQスケールが大きく反応しているのは、垂直方向の動き検出の検索範囲が、水平方向に比べて狭いためである。
【００２６】
また、特許文献１では、プリフィルタLPFを用いる事で、ＴＭ５の課題の解決を試みているが、関数F1において引数である動き量を算出するために大規模な回路が必要となる。また、F1及びF2の関数の定義や前記の交点の求め方について何ら言及しておらず、プリフィルタLPFの制御方法及び効果が不明瞭である。
【００２７】
更に特許文献２では、フィルタ係数を変更する際に、急激な変化を回避する事で、特許文献１の課題の解決を試みている。しかし、単純に累積符号量と平均Ｑスケールの情報からのみ、フィルタ係数を予測しているにすぎないので、依然として画質の劣化具合が考慮されているとは言い難い。
【００２８】
本発明は上記従来技術の課題に鑑みてなされたものであり、画質の劣化具合を考慮しながら、プリフィルタ及び符号化手段を制御することで、割り当てられた目標符号量の条件下において符号量と符号化歪み量が最適な符号化動画像データを得ることのできる動画像符号化装置及び方法を提供するものである。
【課題を解決するための手段】
【００２９】
上記課題を解決するために、本発明による動画像符号化装置は、入力ピクチャを所定の目標符号量に符号化する動画像符号化装置であって、前記入力ピクチャに対して、与えられたフィルタ特性によりフィルタ処理を行いフィルタ処理ピクチャを生成するプリフィルタ手段と、前記プリフィルタ手段が出力する前記フィルタ処理ピクチャに対して量子化処理を施して符号化することにより符号化データを生成する符号化手段と、前記符号化手段が出力する前記符号化データに対して局所復号化処理を行い、局所復号データを生成する局所復号化手段と、前記フィルタ処理ピクチャ及び前記局所復号データに基づいて、前記プリフィルタ手段のフィルタ係数を決定するフィルタ係数決定手段と、を備えることを特徴とする。
【００３０】
また、本発明による動画像符号化方法は、入力ピクチャを所定の目標符号量に符号化する動画像符号化方法であって、前記入力ピクチャに対して、与えられたフィルタ特性によりフィルタ処理を行いフィルタ処理ピクチャを生成するプリフィルタ工程と、前記プリフィルタ工程によって得られる前記フィルタ処理ピクチャに対して量子化処理を施して符号化することにより符号化データを生成する符号化工程と、前記符号化工程で得られる前記符号化データに対して局所復号化処理を行い、局所復号データを生成する局所復号化工程と、前記フィルタ処理ピクチャ及び前記局所復号データに基づいて、前記プリフィルタ工程におけるフィルタ処理のフィルタ係数を決定するフィルタ係数決定工程と、を備えることを特徴とする。
【００３１】
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
【発明の効果】
【００３２】
以上のような構成を備える本発明によれば、画質の劣化具合を考慮しながら、プリフィルタ及び符号化手段を制御するので、割り当てられた目標符号量の条件下において符号量と符号化歪み量が最適な符号化動画像データを得ることができるようになる。
【発明を実施するための最良の形態】
【００３３】
＜第１の実施形態＞
本発明に係る第１の実施形態では、プリフィルタとしてLPFを、符号化手段としてMPEG-4符号化方式に適用している。図１には本第１の実施形態の動画像符号化装置のブロック図を示す。動画像符号化装置は、画像処理手段100、初期値決定手段104、Qスケール決定手段105から構成される。
【００３４】
[動画像符号化装置の構成]
初めに、画像処理手段100を構成する3つの手段について説明する。プリフィルタ手段101は、3、5及び7タップの1次元の畳み込み型LPFによって構成され、各タップのフィルタ係数はピクチャ毎にフィルタ係数手段107から設定される。プリフィルタ手段101の構成を図８に示す。フィルタ係数はC1、C2、C3及びC4に相当し、ピクチャ内の全画素に対してラスタスキャン順に処理を施す。なお、各タップに対して用いられるフィルタ係数C1〜C4の総和Nは2のべき乗になる様に設定し、総和Nに相当する右シフトを図８中の変数SEKIWAに行いプリフィルタ手段101の出力とする。
【００３５】
また、符号化手段102及び局所復号化手段103はMPEG-4符号化手段に相当し、符号化手段からはMPEG-4符号化ストリームが、局所復号化手段103からは復号ピクチャが出力される。
【００３６】
次に、初期値決定手段104について説明する。入力ピクチャが動画像符号化装置に入力される毎に符号化手段102で符号化するピクチャタイプをI或いはPピクチャの二つから一つを選択する。例えばGOV(Group of Vop)を構成するピクチャ数を常時15ピクチャと固定する場合には、先頭のピクチャをI ピクチャとして残りの14ピクチャをPピクチャと選択する。また、選択したピクチャタイプに応じて上述の非特許文献１で示されるＴＭ５を用いる事でQスケールの初期値を決定する。
【００３７】
次に、Qスケール決定手段105を構成する5つの手段について説明する。ブロック歪み検出手段106は、特願2003-390752「画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体」で開示される空間微分法なる手法を用いる事で、マクロブロック毎にブロック歪み量を検出してピクチャ内の全MBを平均する事によりピクチャのブロック歪み量を検出する。
【００３８】
フィルタ係数選択手段107は、ブロック歪み検出手段から入力されるブロック歪み量を用いてプリフィルタ手段101のフィルタ係数C1〜C4を決定する。
【００３９】
テーブル保持手段109には、動画像符号化装置に対して先頭のピクチャを入力する前に予めフィルタ係数C1〜C4とクラスの組み合わせテーブルを設定する。図９には、フィルタ係数C1〜C4の組み合わせを27通りとして、それぞれの27通りフィルタ係数を3つのクラスに分割したテーブルを示す。なお、フィルタNo.はカットオフ周波数が高い順にNo.1〜No.27に割り当てており、No.0はフィルタがオフの状態である。
【００４０】
符号化履歴保持手段108は、ピクチャの符号化が完了する毎にブロック歪み検出手段106からブロック歪み量及びフィルタ係数選択手段107からフィルタ特性を保持する。本実施例では、直前10ピクチャ分のブロック歪み量及びフィルタ特性を保持するものとする。
【００４１】
Qスケール決定手段110は、Iピクチャの符号化時に初期値決定手段104から入力されるQスケールの値を調整する。過去の複数のピクチャを符号化する際に用いたフィルタクラスNo.の平均を参照して、Qスケールを増減させる。例えば、フィルタクラスNo.が大きい状況時は、符号化難易度が高いピクチャが入力されている状況であり、この様な状況時にはIピクチャへの符号量の配分を小さくする事で、ピクチャ数の多いPピクチャへの符号量を増加させて符号化歪みを低減させる。
【００４２】
[LPFによって符号量を制御する原理]
プリフィルタ手段101の構成としてLPFを用いて符号量制御を実現する。この目的は、符号化手段102に入力されるピクチャに対してLPFを施す事により、符号化手段102の入力ピクチャの分散を減少させる事である。古典R-D理論により歪みを生じる符号化方式(Lossy)においては、符号量Rcは以下の式(5)に従う事が知られている。
【００４３】
【数５】
2007081744.tif 000007
【００４４】
ただし、Θc及びIcは符号化方式に依存する係数であり、Sfは入力ピクチャの分散、MSEｃは符号化歪みである。すなわち、MSEｃを一定とした場合に符号量Rcは分散Sfの変数として表現される事がわかる。
【００４５】
図１０には、図９で示したフィルタNo.からNo.1、6、15、23、27に対応するLPFの分散特性の測定結果を、図１１には各々の周波数特性を示す。図１０において、横軸は各々LPFの入力ピクチャの分散、縦軸は入出力ピクチャの分散比である。図１０からLPFには入出力のピクチャの空間周波数を変化させる特性に加えて、分散を変化させる特性も合わせ持つ事がわかる。更には、LPFのカットオフ周波数と分散特性には強い相関があり、カットオフ周波数が低いLPF程、入出力ピクチャの分散比が小さい事がわかる。
【００４６】
図１２には、符号化手段102にQスケールを一定した場合に、プリフィルタ手段101のフィルタ係数C1〜C4をフィルタNo.1〜27まで変化させた時の符号量と分散を測定した結果を示す。図１２から、式(5)で示される通りに、符号化手段102の入力ピクチャの分散に応じて符号量が減少している事がわかる。
【００４７】
よって、プリフィルタ手段101の構成としてLPFを用いて、フィルタ係数C1〜C4を適応的に変化させる事で符号量を制御出来る。
【００４８】
[フィルタNo.の選択方法]
フィルタNo.の選択及びQスケールを決定する手段であるQスケール決定手段110の処理フローGetQscale( )を図２に示す。
【００４９】
ステップ201では、直前10ピクチャのブロック歪み量Bcの平均であるBtを算出する。言うまでもなく、本実施例においては算出の対象となるピクチャ数は10には限定されない。算出した平均Btを参照する事によって、直前の10ピクチャの符号化難易度を予測する事が出来る。Btが非常に大きいシーンの場合には、常時カットオフ周波数の低いフィルタNo.が選択される事になり、ブロック歪みで生じる視覚的な劣化よりも、プリフィルタ手段101による高周波成分の除去による劣化が目立つ事になる。
【００５０】
そこで、ステップ202 においてブロック歪み量の平均Btと、予め定めた定数LIMIT1とを比較する事によって、プリフィルタ手段101において常時カットオフ周波数の低いフィルタNo.が選択される状況を回避する。図１３には、プリフィルタ手段101の動作がオフの期間であるフィルタクラスNo.0の期間とブロック歪み量Bcとの関係を示す。本実施例ではLIMIT1=500000とした。
【００５１】
ステップ203において、フィルタクラスNo.の選択を行う。図１４には、直前のピクチャの符号化時に検出したブロック歪み量Bcの値と、Bcに対応するフィルタクラスNo.との関係を示す。本実施例においては、フィルタクラスNo.1の下限値、すなわちフィルタNo.1の下限値をBc =200000、フィルタクラスNo.2の下限値をBc =250000、フィルタクラスNo.3の下限値をBc =3000000とした。なお、直前のピクチャで使用したフィルタクラスNo.に応じて選択出来るフィルタクラスNo.は制限され、フィルタクラス間の移動は隣のフィルタクラスにのみ許容される。
【００５２】
ステップ204においては、直前のピクチャのブロック歪み量Bcに応じて選択したフィルタクラスNo.から相当するフィルタNo.一つを選択する。本実施例においては、フィルタNo.間をBc  =5000刻みに設定してある。すなわち、フィルタクラスNo.1には10種類のフィルタNo.1〜10が存在し、フィルタNo.1から順にBc =200000〜204999、Bc =205000〜209999、・・・Bc =245000〜249999が対応する。
【００５３】
ステップ205においては、直前10ピクチャのフィルタクラスNo.の平均を算出する。これは、ステップ201と同様にシーンの符号化難易度を過去10ピクチャで用いたフィルタNo.から予測を行っている。ここで、ステップ201で算出したBtを参照しない理由は、次のステップ206における仮Qスケールの調整を、プリフィルタ手段101の動作状況に応じて行うからである。
【００５４】
ステップ206では、初期値決定手段から入力される仮Qスケール値の調整を行う。本実施例においては、Iピクチャの場合についてのみ限定して仮Qスケールの調整を行うものとする。これは、目標符号量算出手段106においてピクチャの目標符号量を算出する際に、Pピクチャに対してIピクチャの方が多くの符号量を割り当てており、現在のシーンの符号化難易度が高い場合にはPピクチャに対して割り当てる符号量が足りなくなる状況を回避するためである。本実施例においては、ステップ205において算出したフィルタクラスNo.の直前10ピクチャ分の平均がフィルタクラスNo.3の場合には3を仮Qスケールに加算して符号化手段102のQスケールとし、フィルタクラスNo.2の場合には2を、フィルタクラスNo.1の場合には1をそれぞれ仮Qスケールに加算する。
【００５５】
[処理フローの説明]
本実施例の処理フローを図１５に、更に図６で示す手ぶれが生じている15秒間のシーケンスを符号化した時のQスケール及びPSNR[dB]の値の推移を図１６に、ブロック歪み量Bcの推移を図１７に示す。図１６及び図１７で示す符号化結果は、ビットレートを4Mbpsとした時の符号化結果である。先頭のピクチャを本実施例の動画像符号化処理装置に入力する前に、ステップ1400及びステップ1401の処理を行う。ステップ1400では、初期値決定手段104に目標ビットレートを設定する。ステップ1401では、図９のフィルタクラスNo.及びフィルタNo.に対応する、各々のフィルタ係数C1〜C4をテーブル保持手段109に設定する。
【００５６】
次にステップ1402においては、Qスケールの初期値算出を行う。前記の通り本実施例においては従来技術1のＴＭ５を用いてQスケールの初期値を算出する。
【００５７】
ステップ1403においては、前記[フィルタNo.の選択方法]で説明した図２に示すフロー処理を行う。ステップ1404においては、ステップ1403で得られたQスケールの値を符号化手段102に設定し、更にステップ1405ではフィルタNo.をフィルタ手段100に設定する。
【００５８】
以上のステップ1400〜1405までの処理が完了したら、ステップ1406でプリフィルタ手段101に先頭ピクチャを入力し、プリフィルタ手段101において設定されたフィルタ係数C1〜C4に対応するLPF処理を行う。また、例えばハードウエアで画像処理手段100を構成する場合には、符号化手段102は、プリフィルタ手段101が出力するピクチャ内の画素がマクロブロック分得られたら、順次符号化処理を行う。或いはソフトウエアで画像処理手段100を構成する場合には、プリフィルタ手段100において、1ピクチャ分の処理を完了した後、符号化手段102で符号化処理を行っても良い。
【００５９】
ピクチャ内のすべてのマクロブロックに対して、符号化手段102、局所復号化手段103及びブロック歪み検出手段109において処理が完了した後、本実施例の動画像符号化処理装置に入力するピクチャが更に存在する場合には、ステップ1402の処理から再度行い、最終ピクチャである場合には本実施例の動画像符号化処理装置の処理を完了する。
【００６０】
図１６のQスケールのピクチャ毎推移から、同一ビットレートの符号化ストリームを生成する場合に、ＴＭ５によって符号化を行った時と比較して、本実施例によればQスケールの値を低く抑制出来ている事がわかる。特に、従来技術の課題の一つである手ぶれが激しく発生している期間である、ピクチャNo.30〜60及び120〜150の期間におけるQスケールの急激な増加の抑制に効果がある。
【００６１】
＜第２の実施形態＞
第１の実施形態のフィルタ係数選択手段107におけるフィルタNo.の選択を、過去の複数ピクチャの符号化時にブロック歪み検出手段106で検出したブロック歪み量Bcの値に応じて適応的に変化させる場合について説明する。
【００６２】
第２の実施形態においても、動画像符号化装置のブロック構成は図１と、処理フローは図１５と同様である。第１の実施形態と異なる点は図１５のステップ1403のGetQscale( )の処理フローである。
【００６３】
図１８には、第２の実施形態におけるGetQscale( )の処理フローを示す。テーブル保持手段109には、第１の実施形態と同様に図９で示されるフィルタクラスNo.とフィルタNo.に対応するフィルタ係数C1〜C4が格納されている。また、各フィルタNo.に対応するブロック歪み量Bcの初期値は、図１４で示される第１の実施形態で用いた値とし、フィルタクラスNo.1の下限値を変数BASE1、フィルタクラスNo.2の下限値の初期値を定数LIMIT2とする。第２の実施形態においては、LIMIT2=250000である。
【００６４】
図１８のステップ1701では、直前10ピクチャのブロック歪み量Bcの平均であるBtを算出する。ステップ1702において、直前10ピクチャのブロック歪み量Bcの平均値Btと、フィルタクラスNo.2の下限値の初期値LIMIT2とを比較する。Btの値がLIMIT2以上の場合にはステップ1703でBASE1にBtの値を代入する。以下の場合にはステップ1704でBASE1に200000を代入する。この比較処理により、プリフィルタ手段101でLPFが起動されるブロック歪み量Btの下限値が増加し、特に符号化難易度が高いシーンにおいて常時カットオフ周波数の低いフィルタNo.が選択される事を回避する。その後のステップ1705〜1708の処理は、第１の実施形態と同様である。
【００６５】
図１９は、ブロック歪み量BcとBASE1の値の推移を示した図である。ポイント1においては、Btの値がLIMIT2以下であるために、過去10ピクチャの符号化難易度が低いと判断し、BASE1には初期値200000を設定する。一方、ポイント2においては、Btの値がLIMIT2以上であるので、BASE1にはBtの値280000が設定される。同様にポイント3においても、Btの値がLIMIT2以上であるので、BASE1にはBtの値260000が設定される。
以上の様に、Bt値が適応的に設定される事により、適したフィルタが選択設定される事が可能となる。
【００６６】
＜その他の実施形態＞
本発明では、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００６７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれている。
【００６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含む。
【００６９】
また、上記実施の形態の機能を実現するソフトウェアのプログラムコードがネットワークを介して配信されることにより、システム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納され、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されることは云うまでもない。
【図面の簡単な説明】
【００７０】
【図１】第１の実施形態における動画像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態におけるQスケール決定手段110の処理フローを示す図である。
【図３】従来技術のＴＭ５を説明するための図である。
【図４】従来の技術のバランス関数を説明するグラフである。
【図５】従来の技術のフィルタ係数を決定するグラフである。
【図６】携帯機器で撮影を行った時の手ぶれの発生状況を示すグラフである。
【図７】ＴＭ５を用いた場合のQスケール推移を示す図である。
【図８】プリフィルタ手段101の内部構成を示す図である。
【図９】フィルタクラスNo.とフィルタNo.を示す表である。
【図１０】LPFの分散特性の測定結果を表すグラフである。
【図１１】LPFの周波数特性の測定結果を表すグラフである。
【図１２】LPFによる符号量と分散比の測定結果を表すグラフである。
【図１３】フィルタクラスNo.0を選択する期間を表す図である。
【図１４】フィルタクラスNo.とブロック歪み量との対応を示す図である。
【図１５】第１の実施形態における動画像符号化装置の処理フローである。
【図１６】第１の実施形態による符号化結果を示す図である。
【図１７】第１の実施形態による符号化結果を示す図である。
【図１８】第２の実施形態におけるフィルタNo.選択の処理フローである。
【図１９】第２の実施形態におけるブロック歪み量とフィルタクラスNo.1の下限値の推移を示す図である。
【図１】
2007081744.tif 000008
【図２】
2007081744.tif 000009
【図３】
2007081744.tif 000010
【図４】
2007081744.tif 000011
【図５】
2007081744.tif 000012
【図６】
2007081744.tif 000013
【図７】
2007081744.tif 000014
【図８】
2007081744.tif 000015
【図９】
2007081744.tif 000016
【図１０】
2007081744.tif 000017
【図１１】
2007081744.tif 000018
【図１２】
2007081744.tif 000019
【図１３】
2007081744.tif 000020
【図１４】
2007081744.tif 000021
【図１５】
2007081744.tif 000022
【図１６】
2007081744.tif 000023
【図１７】
2007081744.tif 000024
【図１８】
2007081744.tif 000025
【図１９】
2007081744.tif 000026