(57)【要約】【課題】レイヤ構造により実現されるスケーラブル符号化において，基本レイヤと拡張レイヤを総合した符号効率を向上させる。【解決手段】基本レイヤと拡張レイヤの量子化パラメータの組み合わせと，それらを用いて符号化したときに得られる符号量と符号化歪み量との関係性を示すモデルを導出することによって（Ｓ２），基本レイヤと拡張レイヤとの総合的なコストが最小となる量子化パラメータの組み合わせを算出し（Ｓ３），その最適な量子化パラメータの組み合わせを利用して両レイヤの符号化を行う（Ｓ４）。【選択図】図３
2008205864.tif 000002
【特許請求の範囲】
【請求項１】
原画像信号に対して，原画像信号を拡張レイヤへの入力とし，縮小変換を施した画像信号を基本レイヤへの入力として，基本レイヤにおいて，入力される画像信号に対して，画面内または画面間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行い，拡張レイヤにおいて，入力される画像信号に対して，画面内または画面間予測またはレイヤ間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行うスケーラブル動画像符号化方法において，
基本レイヤと拡張レイヤとの，所定の３組以上の量子化パラメータの組み合わせをそれぞれ用いて，基本レイヤおよび拡張レイヤのそれぞれのスケーラブル符号化を行い，そのときに得られる符号量と符号化歪み量を算出し，記憶手段に記憶する過程と，
予め定められたレイヤ間予測を行わないシングルレイヤ符号化を適用したときの量子化パラメータと符号量，および量子化パラメータと符号化歪み量との関係を示すモデル式の情報をもとに，前記記憶手段に記憶された符号量と符号化歪み量とから，基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式を求める過程と，
前記基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式をもとに，符号化対象フレームにおける基本レイヤと拡張レイヤのトータルの符号化コストが最小になる基本レイヤと拡張レイヤの量子化パラメータの組み合わせを算出する過程と，
算出された量子化パラメータの組み合わせを用いて当該符号化対象フレームの符号化を行う過程とを有する
ことを特徴とするスケーラブル動画像符号化方法。
【請求項２】
請求項１記載のスケーラブル動画像符号化方法において，
前記基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式を求める過程では，
レイヤ間予測によって削減される符号量を基本レイヤと拡張レイヤの量子化パラメータの重み付け線形和に定数の補正項を加算した関数を適用することによってモデル式を求める
ことを特徴とするスケーラブル動画像符号化方法。
【請求項３】
原画像信号に対して，原画像信号を拡張レイヤへの入力とし，縮小変換を施した画像信号を基本レイヤへの入力として，基本レイヤにおいて，入力される画像信号に対して，画面内または画面間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行い，拡張レイヤにおいて，入力される画像信号に対して，画面内または画面間予測またはレイヤ間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行うスケーラブル動画像符号化装置において，
基本レイヤと拡張レイヤとの，所定の３組以上の量子化パラメータの組み合わせをそれぞれ用いて，基本レイヤおよび拡張レイヤのそれぞれのスケーラブル符号化を行い，そのときに得られる符号量と符号化歪み量を算出する手段と，
算出された符号量と符号化歪み量を記憶する記憶手段と，
予め定められたレイヤ間予測を行わないシングルレイヤ符号化を適用したときの量子化パラメータと符号量，および量子化パラメータと符号化歪み量との関係を示すモデル式の情報をもとに，前記記憶手段に記憶された符号量と符号化歪み量とから，基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式を求める手段と，
前記基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式をもとに，符号化対象フレームにおける基本レイヤと拡張レイヤのトータルの符号化コストが最小になる基本レイヤと拡張レイヤの量子化パラメータの組み合わせを算出する手段と，
算出された量子化パラメータの組み合わせを用いて当該符号化対象フレームの符号化を行う手段とを備える
ことを特徴とするスケーラブル動画像符号化装置。
【請求項４】
請求項３記載のスケーラブル動画像符号化装置において，
前記基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式を求める手段では，
レイヤ間予測によって削減される符号量を基本レイヤと拡張レイヤの量子化パラメータの重み付け線形和に定数の補正項を加算した関数を適用することによってモデル式を求める
ことを特徴とするスケーラブル動画像符号化装置。
【請求項５】
請求項１または請求項２記載のスケーラブル動画像符号化方法を，コンピュータに実行させるためのスケーラブル動画像符号化プログラム。
【請求項６】
請求項１または請求項２記載のスケーラブル動画像符号化方法を，コンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，スケーラブル動画像符号化方法に関する。
【背景技術】
【０００２】
現在，Ｈ．２６４／ＡＶＣのスケーラブル拡張方式，Joint Scalable Video Coding(ＪＳＶＣ) の標準化が，ＩＳＯとＩＴＵ−Ｔの合同団体であるＪＶＴにおいて取り組まれている。ＪＳＶＣでは，空間スケーラビリティを，Ｈ．２６４／ＡＶＣの符号化処理をレイヤ構造にすることで実現している。サポートしたい解像度の画像を原画からの縮小処理によりあらかじめ作成し，１つの解像度のシーケンスを１つのレイヤとみなして，各レイヤに対してＨ．２６４／ＡＶＣ符号化処理を適用し，最後に得たストリームを統合する。最も解像度の低い画像を処理するレイヤを基本レイヤ，それより上のレイヤを拡張レイヤと呼ぶ。拡張レイヤの符号化処理では，レイヤ間の冗長性を除去するために，基本レイヤからのレイヤ間予測を行う。
【０００３】
ＪＳＶＣの符号化参照ソフトウェアであるＪＳＶＭ（非特許文献１）では，基本レイヤと拡張レイヤにおける画面内または画面間予測またはレイヤ間予測の残差信号に対する量子化パラメータは，各レイヤ独立に外部より割り当てられている。その量子化パラメータの値は，基本レイヤの量子化パラメータを拡張レイヤの量子化パラメータよりも小さく設定するのが一般的となっており，恣意的に決定されている。これにより，レイヤ間予測において参照される基本レイヤを，より高画質にすることによって，レイヤ間予測による予測残差を低減し，レイヤ全体に対する符号化効率の向上を図っている。
【０００４】
なお，下記の非特許文献２には，本発明の実施例において用いることができる量子化パラメータに対する符号量と符号化歪み量の関係性を示すモデルの例が記載されている。
【非特許文献１】Joint Scalable Video Model JSVM-5.0 ，ISO/IEC JTC1/SC29/WG11，JVT-R202，2006.
【非特許文献２】Frame Bit Allocation for the H.264/AVC Video Coder Via Cauchy-Density-Based Rate and Distortion Models，N.Kamaci，et al.，IEEE Transactions on Circuits and Systems for the Video Technology，Vol. 15 ，No. 8 ，Aug. 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述のとおり，非特許文献１として挙げたＪＳＶＭにおける量子化パラメータは，各レイヤ独立に外部より与えられている。また，その値の設定は恣意的に行われている。このような設定方法では，基本レイヤと拡張レイヤに与えられる量子化パラメータの組み合わせが，両レイヤを総合したレート歪み特性を最適にするものであるとは限らない。量子化パラメータの組み合わせを逐次変更して符号化を行うことにより，最適な組み合わせを求めることも可能であるが，このような総当りの探索は膨大な計算コストを必要とする。
【０００６】
本発明はかかる事情に鑑みてなされたものであって，基本レイヤと拡張レイヤから構成されるスケーラブル符号化処理において，基本レイヤと拡張レイヤにおける量子化パラメータと符号量，および，量子化パラメータと符号化歪み量の関係性を示すモデルを利用することによって，両レイヤに割り当てるべき最適な量子化パラメータの組み合わせを高速に推定し，その最適な量子化パラメータの組み合わせを利用して符号化を行うスケーラブル符号化器の設計法を確立することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は，上記課題を解決するため，スケーラブル符号化に利用する基本レイヤと拡張レイヤに最適な量子化パラメータの組み合わせを算出し，符号化を行う。このスケーラブル符号化方式の一例としては，非特許文献１として挙げたＪＳＶＭが適用可能である。
【０００８】
はじめに，当該フレームにおける基本レイヤと拡張レイヤにおける，量子化パラメータと符号量との関係性を示すモデル，および，量子化パラメータと符号化歪み量との関係性を示すモデルを，それぞれ導出する。次に，そのモデルを用いて，当該フレームにおける基本レイヤと拡張レイヤにおける符号量と符号化歪み量の間の加重和を最小とする最適な量子化パラメータの組み合わせを算出する。
【０００９】
すなわち，本発明は，原画像信号に対して，原画像信号を拡張レイヤへの入力とし，縮小変換を施した画像信号を基本レイヤへの入力として，基本レイヤにおいて，入力される画像信号に対して，画面内または画面間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行い，拡張レイヤにおいて，入力される画像信号に対して，画面内または画面間予測またはレイヤ間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行うスケーラブル動画像符号化において，基本レイヤと拡張レイヤとの，所定の３組以上の量子化パラメータの組み合わせをそれぞれ用いて，基本レイヤおよび拡張レイヤのそれぞれのスケーラブル符号化を行い，そのときに得られる符号量と符号化歪み量を算出して記憶手段に記憶し，予め定められたレイヤ間予測を行わないシングルレイヤ符号化を適用したときの量子化パラメータと符号量，および量子化パラメータと符号化歪み量との関係を示すモデル式の情報をもとに，前記記憶手段に記憶された符号量と符号化歪み量とから，基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式を求め，前記基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式をもとに，符号化対象フレームにおける基本レイヤと拡張レイヤのトータルの符号化コストが最小になる基本レイヤと拡張レイヤの量子化パラメータの組み合わせを算出し，算出された量子化パラメータの組み合わせを用いて当該符号化対象フレームの符号化を行うことを特徴とする。
【００１０】
また，本発明は，前記基本レイヤと拡張レイヤの量子化パラメータの組み合わせとレイヤ間予測によって削減された符号量との関係を示すモデル式を求める際に，レイヤ間予測によって削減される符号量を基本レイヤと拡張レイヤの量子化パラメータの重み付け線形和に定数の補正項を加算した関数を適用することによってモデル式を求めることを特徴とする。
【発明の効果】
【００１１】
本発明により，レイヤ構造により実現されるスケーラブル符号化において，基本レイヤと拡張レイヤを総合した符号効率を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下，図面を用いて，本発明の原理および実施形態の処理の詳細を説明する。
【００１３】
［基本レイヤと拡張レイヤにおける量子化パラメータと符号量および符号化歪み量の特性モデルの導出］
解像度Ｓ0 の映像Ａを基本レイヤに，解像度Ｓ1 の映像Ａを拡張レイヤに入力すると仮定する。このときの，当該フレームにおける基本レイヤの量子化パラメータＱＰB および拡張レイヤの量子化パラメータＱＰE に対する，スケーラブル符号化の符号量・符号化歪み量の特性モデルを，次式のように定める。ｆ0 ，ｆ1 は各レイヤの符号量のモデルを示す関数，ｇ0 ，ｇ1 は符号化歪み量のモデルを示す関数である。
【００１４】
ＲB ＝Ｒ’0 ≒ｆ0 （ＱＰB ）                                        (1) 
ＤB ＝Ｄ’0 ≒ｇ0 （ＱＰB ）                                        (2) 
ＲE ＝Ｒ’1 ＋ΔＲ≒ｆ1 （ＱＰE ）＋（ａ・ＱＰE ＋ｂ・ＱＰB ＋ｃ）  (3) 
ＤE ＝Ｄ’1 ＋ΔＤ≒ｇ1 （ＱＰE ）                                  (4) 
ここで，ＲB ，ＤB は当該フレームの基本レイヤにおける符号量と符号化歪み量，ＲE ，ＤE は当該フレームの拡張レイヤにおける符号量と符号化歪み量を表している。Ｒ’0 ，Ｄ’0 は，解像度Ｓ0 の映像Ａの当該フレームに対して，量子化パラメータＱＰ0 を用いたシングルレイヤ符号化を適用したときの，符号量と符号化歪み量を表している。同様に，Ｒ’1 ，Ｄ’1 は，解像度Ｓ1 の映像Ａの当該フレームに対して，量子化パラメータＱＰ1 を用いたシングルレイヤ符号化を適用したときの，符号量と符号化歪み量を表している。
【００１５】
なお，上述の場合，量子化パラメータＱＰ0 は基本レイヤの量子化パラメータＱＰB に，量子化パラメータＱＰ1 は拡張レイヤの量子化パラメータＱＰE にそれぞれ対応する。このシングルレイヤ符号化の方式は，利用するスケーラブル符号化方式の各レイヤにおいて行うレイヤ間予測部分を除く符号化処理を指している。例えば，利用するスケーラブル符号化方式がＪＳＶＭの場合には，そのシングルレイヤ符号化方式はＨ，２６４／ＡＶＣ準拠の符号化方式となる。これらは，以下のようなモデル式によってモデル化する。
【００１６】
Ｒ’0 ≒ｆ0 （ＱＰB ）                                            (5) 
Ｄ’0 ≒ｇ0 （ＱＰB ）                                            (6) 
Ｒ’1 ≒ｆ1 （ＱＰE ）                                            (7) 
Ｄ’1 ≒ｇ1 （ＱＰE ）                                            (8) 
一例として，このモデルには，非特許文献２で示されている以下のような関数が適用される。
【００１７】
ｆ（Ｑ）＝ｓＱ-u
ｇ（Ｑ）＝ｔＱ-v
ここで，Ｑは量子化ステップサイズである。ｓ，ｔ，ｕ，ｖは，非負の画像に依存するパラメータである。この画像依存パラメータは，量子化パラメータを変更するマルチパス処理によって導出できる。導出されたｓ，ｔ，ｕ，ｖを上式に代入した関数が，本発明におけるシングルレイヤ符号化を適用したときの量子化パラメータと符号量および符号化歪み量間のモデルとして入力される。
【００１８】
ΔＲ，ΔＤは，基本レイヤから拡張レイヤに対するレイヤ間予測によって生じた，シングルレイヤ符号化との符号量と符号化歪み量の変動分を示しており，以下のように定めている。
【００１９】
ΔＲ≒ａ・ＱＰE ＋ｂ・ＱＰB ＋ｃ                                  (9) 
ΔＤ≒０                                                          (10)
ａ，ｂ，ｃは定数である。符号量の変動分は，基本レイヤと拡張レイヤの量子化パラメータの重み付け線形和に補正項を加算した関数で表している。符号化歪み量の変動分は，シングルレイヤ符号化とスケーラブル符号化とで，ほとんど変動がないとしている。
【００２０】
上式は，図１および図２に示したスケーラブル符号化の実験結果に基づいて定めている。両図は，ＪＳＶＭを用いてＪＳＶＣ標準画像であるＢｕｓシーケンスを符号化したときの符号化結果である。基本レイヤにＱＣＩＦ，拡張レイヤにＣＩＦの映像を入力させており，ピクチャ構造はＩＢＢＢＰと定めて符号化している。
【００２１】
図１は，基本レイヤの量子化パラメータＱＰB と拡張レイヤの量子化パラメータＱＰE に対する符号化歪みＤE の関係性を示している。レイヤ間予測がオフのとき（つまりシングルレイヤ符号化Ｈ．２６４／ＡＶＣを使用したとき）とオンのときを比較すると，基本レイヤの量子化パラメータＱＰB および拡張レイヤの量子化パラメータＱＰE に対する依存がほとんどないことが確認できる。したがって，式(10)においてΔＤ≒０と定めた。
【００２２】
図２は，基本レイヤの量子化パラメータＱＰB と拡張レイヤの量子化パラメータＱＰE に対するレイヤ間予測のオンオフ時の符号量差分ΔＲの関係性を示している。この結果を見ると，拡張レイヤの量子化パラメータＱＰE の変化に対して線形に削減符号量ΔＲが増加していることが分かる。また，基本レイヤの量子化パラメータＱＰB と拡張レイヤの量子化パラメータＱＰE の差分値に対しても線形に削減符号量が変化していることが確認できる。以上より，式(9) のように，ΔＲをＱＰB ，ＱＰE の重み付け線形和に補正項を加算した関数として定めた。
【００２３】
フレームごとに一意に定められる定数ａ，ｂ，ｃは，次の手順により算出する。基本レイヤと拡張レイヤの量子化パラメータの組み合わせ（ＱＰBi，ＱＰEi）を少なくとも３つ用意する。ｉ＝１，２，３，... としている。これらの組み合わせは，外部より与えられる。この組み合わせを用いてスケーラブル符号化を行い，拡張レイヤにおける符号量ＲEiをそれぞれ算出する。また，拡張レイヤに入力した解像度Ｓ1 に対してシングルレイヤ符号化を適用したときの符号量Ｒ′1iを，外部から与えられるモデル（式(7) ）を用いて推定する。以上より，符号量の変動分ΔＲi を，
ΔＲi ＝ＲEi−Ｒ′1i                                                (11)
として算出する。最後に，（ＱＰBi，ＱＰEi）と，得られたΔＲi の結果から，ａ，ｂ，ｃの値を線形近似により算出する。
【００２４】
以上の処理により，当該フレームのスケーラブル符号化における基本レイヤと拡張レイヤの量子化パラメータに対する符号量と符号化歪み量の関係性が，一意にモデル化される。
【００２５】
［最適な量子化パラメータの組み合わせの導出と符号化］
前述の手段により得られた，当該フレームにおける符号量と符号化歪み量のモデルを用いて，当該フレームにおける最適な基本レイヤと拡張レイヤの量子化パラメータの組み合わせを推定する。基本レイヤと拡張レイヤにおける符号量と符号化歪み量の間のコスト関数を，それぞれ次式のように表す。
【００２６】
ＪB （ＱＰB ）＝ＤB （ＱＰB ）＋λB ・ＲB （ＱＰB ）                  (12)
ＪE （ＱＰB ，ＱＰE ）＝ＤE （ＱＰE ）＋λE ・ＲE （ＱＰB ，ＱＰE ）  (13)
ＪB およびＪE は，基本レイヤと拡張レイヤに対する符号化コストである。λB およびλE は，基本レイヤと拡張レイヤに対するラグランジュ未定乗数であり，外部より与えられる。
【００２７】
次に，当該フレームにおける基本レイヤと拡張レイヤを合わせたトータルのコストＪを次のように定める。
【００２８】
Ｊ（ＱＰB ，ＱＰE ）＝ｗB ・ＪB （ＱＰB ）＋ｗE ・ＪE （ＱＰB ，ＱＰE ）
(14)
ｗB およびｗE は，基本レイヤと拡張レイヤのコストに対する重み付け係数であり，外部より与えられる。
【００２９】
量子化パラメータの組み合わせ（ＱＰBi，ＱＰEi）の全候補集合の中で，このコストＪを最小化する組み合わせを当該フレームにおける最適組み合わせとして定める。
【００３０】
【数１】
2008205864.tif 000003
【００３１】
この式(15)の右辺は，Ｊを最小化するＱＰB ，ＱＰE を算出して返却する関数を表している。最後に，得られた最適組み合わせを利用してスケーラブル符号化を行う。
【００３２】
［処理の流れ］
本発明の処理の実施形態について，図３を参照して説明する。
【００３３】
ステップＳ１：原画像信号を読み込み，縮小処理により，基本レイヤに対する入力画像を作成し，出力する。
【００３４】
ステップＳ２：基本レイヤに対する入力画像，および拡張レイヤに対する入力画像を読み込み，両レイヤの量子化パラメータの組み合わせに対するスケーラブル符号化によって得られる符号量と符号化歪みの関係性をモデル化し，そのモデルを出力する。このスケーラブル符号化の一例としては，非特許文献１に示したＪＳＶＭが挙げられる。本処理の詳細は図４に示す（後述）。
【００３５】
ステップＳ３：ステップＳ２の処理によって出力されたモデルを読み込み，外部より与えられるラグランジュ未定乗数とコストに対する重み付け係数を用いた，基本レイヤと拡張レイヤを総合したコスト関数を利用して，算出されるコストが最小となる当該フレームにおける基本レイヤと拡張レイヤの量子化パラメータの組み合わせを導出し，その組み合わせの値をレジスタに書き込む。
【００３６】
ステップＳ４：レジスタに書き込まれている当該フレームにおける最適な基本レイヤと拡張レイヤの量子化パラメータの組み合わせを用いて，スケーラブル符号化を行い，符号化ストリームを出力する。
【００３７】
ステップＳ５：すべてのフレームの符号化が完了しているか否かの判定処理を行い，真の場合には，符号化処理は終了して最終的な符号化ストリームを出力し，偽の場合には，ステップＳ６の処理を行う。
【００３８】
ステップＳ６：次の符号化対象フレームに移り，ステップＳ１の処理を行う。
【００３９】
図４は，図３のステップＳ２についての詳細な処理フローチャートである。以下，ステップＳ２の処理の詳細を，図４を用いて説明する。
【００４０】
ステップＳ２１：外部より与えられる３組以上の基本レイヤと拡張レイヤの量子化パラメータの組み合わせを入力し，それらをそれぞれ用いてスケーラブル符号化を行い，そのときに得られる符号量と符号化歪み量の結果をレジスタに書き込む。
【００４１】
ステップＳ２２：レジスタに書き込まれているスケーラブル符号化により算出された符号量を読み込み，外部より与えられるシングルレイヤ符号化を適用したときの量子化パラメータと符号量のモデルから符号量を算出し，両者の差分を計算し，その差分符号量をレジスタに書き込む。このシングルレイヤ符号化の方式は，利用するスケーラブル符号化方式の各レイヤにおいて行う符号化処理（レイヤ間予測を除く）を指している。例えば，利用するスケーラブル符号化方式がＪＳＶＭの場合には，当シングルレイヤ符号化方式はＨ．２６４／ＡＶＣ符号化参照ソフトウェアＪＳＶＭ（非特許文献１）を指している。
【００４２】
ステップＳ２３：レジスタに書き込まれているシングルレイヤ符号化とスケーラブル符号化との差分符号量を読み込み，量子化パラメータの組み合わせに対する当差分符号量との関係性を，式(9) のようにモデル化し，そのモデルをレジスタに書き込む。ここでモデル化するとは，式(9) の例で言えば，ａ，ｂ，ｃを算出することを意味する。
【００４３】
ステップＳ２４：外部より与えられるシングルレイヤ符号化における量子化パラメータに対する符号量と符号化歪み量に関するモデルと，レジスタに書き込まれている量子化パラメータの組み合わせに対するシングルレイヤ符号化との差分符号量に関するモデルを読み込み，式(1) 〜式(4) にしたがってスケーラブル符号化における量子化パラメータの組み合わせに対する符号量と符号化歪み量に関するモデルを構築し，そのモデルを出力する。
【００４４】
［処理装置］
図５は，本発明の実施形態に係る符号化装置の構成例を示す。以下，本発明の実施形態による符号化装置１０の構成を，図５を用いて説明する。
【００４５】
画像信号縮小処理部１１：原画像信号を入力として，原画像信号の縮小処理を行い，原画像信号を拡張レイヤ信号記憶部１２に書き込み，生成された縮小画像信号を基本レイヤ信号記憶部１３に書き込む。
【００４６】
最適量子化パラメータセット算出部１４：拡張レイヤ信号記憶部１２から拡張レイヤ入力信号を読み出し，基本レイヤ信号記憶部１３から基本レイヤ入力信号を読み出し，基本レイヤと拡張レイヤの最適な量子化パラメータの組み合わせを算出し，その値を最適量子化パラメータセット記憶部１５に書き込む。本処理の詳細は図６に示す（後述）。
【００４７】
スケーラブル符号化部１６：最適量子化パラメータセット記憶部１５から基本レイヤと拡張レイヤに最適な量子化パラメータの組み合わせを読み込み，その値を用いて，拡張レイヤ信号記憶部１２から読み込まれる拡張レイヤ入力信号，および，基本レイヤ信号記憶部１３から読み込まれる基本レイヤ入力信号を入力とするスケーラブル符号化を行い，符号化ストリームを出力する。
【００４８】
図６は，図５に示す最適量子化パラメータセット算出部１４の構成例を示す。以下，最適量子化パラメータセット算出部１４の処理の詳細を，図６を用いて説明する。
【００４９】
スケーラブル符号化部２１：基本レイヤのフレーム信号および拡張レイヤのフレーム信号を入力として，外部より与えられる基本レイヤと拡張レイヤの量子化パラメータの組み合わせの中の一つを，量子化パラメータ記憶部２３より読み出し，それを用いてスケーラブル符号化を行い，符号化ストリームをレジスタに書き込む。
【００５０】
スケーラブル符号化復号部２２：レジスタに書き込まれている符号化ストリームを入力として，スケーラブル符号化の復号処理を行い，復号信号をレジスタに書き込む。また，利用した当該量子化パラメータの組み合わせでの符号化が済んだことを示す制御信号を，量子化パラメータ記憶部２３に送る。
【００５１】
量子化パラメータ記憶部２３：外部より与えられる基本レイヤと拡張レイヤの量子化パラメータの組み合わせを入力として，その値を書き込む。また，スケーラブル符号化復号部２２より出力される制御信号にしたがって，スケーラブル符号化部２１に送る量子化パラメータの組み合わせを決定する。なお，この外部より与えられる量子化パラメータ初期値としては，式(9) の線形性が十分に成立する量子化パラメータの範囲を特定する実験を行い，その範囲の中の任意の値が選ばれるのが望ましい。図２の例では，量子化パラメータが１８〜３６の間の値が選ばれるのが望ましい。
【００５２】
符号量符号化歪み量計算部２４：レジスタに書き込まれている符号化ストリームと復号信号を入力として，基本レイヤと拡張レイヤの符号量と符号化歪み量を計算し，その値を符号量符号化歪み量記憶部２５に書き込む。
【００５３】
シングルレイヤ符号化符号量符号化歪み量モデル式記憶部２６：外部より与えられる，基本レイヤと拡張レイヤの入力フレーム信号に対するシングルレイヤ符号化の符号量および符号化歪み量のモデルを入力として，そのモデルを書き込む。
【００５４】
スケーラブル符号化符号量符号化歪み量モデル式導出部２７：シングルレイヤ符号化符号量符号化歪み量モデル式記憶部２６より当モデルを，量子化パラメータ記憶部２３より量子化パラメータの組み合わせのデータを，符号量符号化歪み量記憶部２５より符号化の結果得られた符号量と符号化歪み量のデータを読み込み，式(1) 〜式(4) に従って，スケーラブル符号化における符号量・符号化歪み量モデルを構築し，そのモデルをスケーラブル符号化符号量符号化歪み量モデル式記憶部２８に書き込む。
【００５５】
ラグランジュ未定乗数記憶部２９：外部より与えられる基本レイヤと拡張レイヤにおける符号量と符号化歪み量の間のコスト関数を構成するラグランジュ未定乗数の値を入力とし，その値を書き込む。
【００５６】
ラグランジュ未定乗数の決定方法の一例としては，各レイヤにおける符号量と符号化歪みの関係性が，Ｄ＝ｆ（Ｒ），として表されるとき，
λ＝−ｄＤ／ｄＲ
として算出する方法が考えられる。
【００５７】
コスト重み付け係数記憶部３０：外部より与えられる基本レイヤと拡張レイヤにおける符号量と符号化歪み量の間のコスト関数の，それぞれの重み付け係数を入力とし，その値を書き込む。
【００５８】
この重み付けは，各解像度に対する重み付けである。このコスト重み付け係数の決定方法の一例としては，本手法を適用するアプリケーションを一意に定め，そのアプリケーションの想定される視聴人数比をもとに値を決める方法が考えられる。
【００５９】
トータルコスト関数導出部３１：スケーラブル符号化符号量符号化歪み量モデル式記憶部２８より当モデルを，ラグランジュ未定乗数記憶部２９より各レイヤにおける符号量と符号化歪み量間のラグランジュ未定乗数を，コスト重み付け係数記憶部３０より各レイヤのコスト関数の重み付け係数をを読み込み，基本レイヤと拡張レイヤを総合したコスト関数式を導出し，その関数式をトータルコスト関数記憶部３２に書き込む。
【００６０】
最適量子化パラメータセット記憶部３３：トータルコスト関数記憶部３２より当コスト関数を読み出し，そのコスト関数が最小となる量子化パラメータの組み合わせを算出し，その得られた量子化パラメータの組み合わせを，最適量子化パラメータセットとして出力する。
【００６１】
以上のスケーラブル動画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００６２】
【図１】基本レイヤの量子化パラメータＱＰB と拡張レイヤの量子化パラメータＱＰE に対する符号化歪みＤE の関係性を示す図である。
【図２】基本レイヤの量子化パラメータＱＰB と拡張レイヤの量子化パラメータＱＰE に対するレイヤ間予測のオンオフ時の符号量差分ΔＲの関係性を示す図である。
【図３】本発明の実施形態に係る処理フローチャートである。
【図４】ステップＳ２（図３）についての詳細な処理フローチャートである。
【図５】本発明の実施形態に係る符号化装置の構成例を示す図である。
【図６】最適量子化パラメータセット算出部の構成例を示す図である。
【符号の説明】
【００６３】
１０  符号化装置
１１  画像信号縮小処理部
１２  拡張レイヤ信号記憶部
１３  基本レイヤ信号記憶部
１４  最適量子化パラメータセット算出部
１５  最適量子化パラメータセット記憶部
１６  スケーラブル符号化部
２１  スケーラブル符号化部
２２  スケーラブル符号化復号部
２３  量子化パラメータ記憶部
２４  符号量符号化歪み量計算部
２５  符号量符号化歪み量記憶部
２６  シングルレイヤ符号化符号量符号化歪み量モデル式記憶部
２７  スケーラブル符号化符号量符号化歪み量モデル式導出部
２８  スケーラブル符号化符号量符号化歪み量モデル式記憶部
２９  ラグランジュ未定乗数記憶部
３０  コスト重み付け係数記憶部
３１  トータルコスト関数導出部
３２  トータルコスト関数記憶部
３３  最適量子化パラメータセット記憶部
【図１】
2008205864.tif 000004
【図２】
2008205864.tif 000005
【図３】
2008205864.tif 000006
【図４】
2008205864.tif 000007
【図５】
2008205864.tif 000008
【図６】
2008205864.tif 000009