(57)【特許請求の範囲】
【請求項１】
レイヤ構造を構成するスケーラブル動画像符号化方法において，
符号化対象の拡張レイヤにおける原画像信号を小領域に分割する小領域分割処理過程と，
分割された各小領域に対して原画像信号と直下レイヤの復号画像信号をアップサンプルした画像信号との視覚的歪み量を計算する直下レイヤ復号アップサンプル信号視覚的歪み量算出処理過程と，
算出された視覚的歪み量が所定の閾値以下かどうかの判定を行い，閾値以下の場合には原画像信号を直下レイヤの復号画像信号をアップサンプルした画像信号で置き換え，閾値より大きい場合には後記低域通過フィルタ処理過程を実行する小領域画像信号直下レイヤ復号アップサンプル信号置換処理過程と，
当該小領域に対するフィルタ処理を，予め用意された帯域通過幅の異なる低域通過フィルタセットのうち帯域通過幅が小さい低域通過フィルタから施していく低域通過フィルタ処理過程と，
導出されたフィルタ信号と原画像信号との視覚的歪み量を算出する低域通過フィルタ信号視覚的歪み量算出処理過程と，
算出された視覚的歪み量が所定の閾値以下かどうかの判定を行い，閾値以下の場合には原画像信号を当該フィルタ信号で置き換え，閾値より大きい場合には当該小領域に対して予め用意した低域通過フィルタセットをすべて適用したかどうかを判定し，すべて適用した場合には原画像信号をそのまま出力し，適用していない場合には当該小領域に適用する低域通過フィルタの帯域通過幅を当該帯域通過幅の次に帯域通過幅が小さいものに更新し，前記低域通過フィルタ処理過程を再実行させる小領域画像信号低域通過フィルタ信号置換処理過程と，
すべての小領域に対して前記直下レイヤ復号アップサンプル信号視覚的歪み量算出処理過程から前記小領域画像信号低域通過フィルタ信号置換処理過程までの処理を実行し，最終的に算出される画像信号を拡張レイヤへの符号化入力信号として符号化器に入力して符号化を行う過程とを有する
ことを特徴とするスケーラブル動画像符号化方法。
【請求項２】
請求項１記載のスケーラブル動画像符号化方法において，
外部から指定された特定のフレーム画像もしくはその画像部分領域，または所定の判定基準によって定められた特定のフレーム画像もしくはその画像部分領域に対してのみ，その領域内のすべての小領域に対して前記直下レイヤ復号アップサンプル信号視覚的歪み量算出処理過程から前記小領域画像信号低域通過フィルタ信号置換処理過程までの処理を実行し，前記特定のフレーム画像もしくはその画像部分領域以外の小領域については前記直下レイヤ復号アップサンプル信号視覚的歪み量算出処理過程から前記小領域画像信号低域通過フィルタ信号置換処理過程までの処理を実行しない
ことを特徴とするスケーラブル動画像符号化方法。
【請求項３】
レイヤ構造を構成するスケーラブル動画像符号化装置において，
符号化対象の拡張レイヤにおける原画像信号を小領域に分割する小領域分割処理手段と，
分割された各小領域に対して原画像信号と直下レイヤの復号画像信号をアップサンプルした画像信号との視覚的歪み量を計算する直下レイヤ復号アップサンプル信号視覚的歪み量算出処理手段と，
算出された視覚的歪み量が所定の閾値以下かどうかの判定を行い，閾値以下の場合には原画像信号を直下レイヤの復号画像信号をアップサンプルした画像信号で置き換え，閾値より大きい場合には後記低域通過フィルタ処理手段を実行する小領域画像信号直下レイヤ復号アップサンプル信号置換処理手段と，
当該小領域に対するフィルタ処理を，予め用意された帯域通過幅の異なる低域通過フィルタセットのうち帯域通過幅が小さい低域通過フィルタから施していく低域通過フィルタ処理手段と，
導出されたフィルタ信号と原画像信号との視覚的歪み量を算出する低域通過フィルタ信号視覚的歪み量算出処理手段と，
算出された視覚的歪み量が所定の閾値以下かどうかの判定を行い，閾値以下の場合には原画像信号を当該フィルタ信号で置き換え，閾値より大きい場合には当該小領域に対して予め用意した低域通過フィルタセットをすべて適用したかどうかを判定し，すべて適用した場合には原画像信号をそのまま出力し，適用していない場合には当該小領域に適用する低域通過フィルタの帯域通過幅を当該帯域通過幅の次に帯域通過幅が小さいものに更新し，前記低域通過フィルタ処理手段によるフィルタ処理を再実行させる小領域画像信号低域通過フィルタ信号置換処理手段と，
すべての小領域に対して前記直下レイヤ復号アップサンプル信号視覚的歪み量算出処理手段から前記小領域画像信号低域通過フィルタ信号置換処理手段までの処理を実行させ，最終的に算出される画像信号を拡張レイヤへの符号化入力信号として符号化器に入力して符号化を行う手段とを備える
ことを特徴とするスケーラブル動画像符号化装置。
【請求項４】
請求項１または請求項２記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。
【請求項５】
請求項１または請求項２記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，スケーラブル動画像符号化技術に関し，特に主観画質を損なわずに符号量を削減できるようにした効果的なプレフィルタを実現するスケーラブル動画像符号化の技術に関する。
【背景技術】
【０００２】
従来から，動画像の符号化において，人間の視覚特性を利用することによって，符号化効率を向上させる研究がなされている。この研究では，人間の視覚系が持つ時空間周波数に対する視覚感度を考慮して，劣化が目立ちにくい部分の情報量を落とす試みがなされている。
【０００３】
その代表的な例として，符号化処理前段に置かれるプレフィルタ処理がある。画像内には，視覚的劣化が分かりにくい領域と分かりやすい領域とが存在する。そこで，視覚的に劣化が分かりにくい領域の空間高周波成分の情報を，低域通過フィルタを用いてあらかじめ欠落させることで，主観画質を下げずに符号量を削減させることができる。ここでカギとなるのは，如何にして各領域の視覚的劣化の分かりやすさを算出し，適用する低域通過フィルタの帯域制限幅を制御するか，という点にある。
【０００４】
非特許文献１に記載された動画像符号化方式では，初期値として与えられた低域通過フィルタを適用し，マクロブロックごとに非適用の場合と比較したＰＳＮＲ（Peak Signal to Noise Ratio）を算出し，経験則によって作成したＰＳＮＲとフィルタの帯域制限幅との対応関係を格納したテーブルを参照することで，低域通過フィルタの強度を制御している。
【０００５】
特許文献１に記載された高能率動画像符号化方式では，入力動画像信号の動きベクトルのノルムから動き量を算出し，動き量の値に応じて２次元空間フィルタを施すことにより，視覚的な劣化を最小限に抑えながら情報を削減している。
【０００６】
一方，現在，Ｈ．２６４／ＡＶＣのスケーラブル拡張方式であるＪＳＶＣ（Joint Scalable Video Coding ）の標準化が，ＩＳＯとＩＴＵ−Ｔの合同団体であるＪＶＴにおいて取り組まれている。ＪＳＶＣでは，空間スケーラビリティをサポートするために，以下に示すレイヤ構造をとる。まず，サポートしたい解像度の画像を原画像からの縮小処理によりあらかじめ作成する。次に，１つの解像度を１つのレイヤとみなし，各レイヤに対して非スケーラブルのＨ．２６４／ＡＶＣを適用する。最後に，得られた各レイヤの符号化ストリームを統合する。ここで，最も低解像度の画像を処理するレイヤを基本レイヤ，それより上のレイヤを拡張レイヤと呼ぶ。
【０００７】
非特許文献２に示されたＪＳＶＣ符号化参照ソフトウェアのＪＳＶＭでは，下位レイヤから順に符号化を行っていく。このとき，拡張レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。具体的には，動きベクトルや残差信号など動き予測に関する情報を直下レイヤのそれから予測する動き情報予測，および直下レイヤにおける内部復号信号をアップサンプルしたものを予測参照とするテクスチャ予測を行う。
【０００８】
非特許文献３で提案されているＪＳＶＣプレフィルタ処理では，視覚的劣化の目立ちやすさを視覚的歪み量として算出し，その視覚的歪み量の値に応じて，直下レイヤにより生成されたテクスチャ予測の参照信号を原信号に当てはめることにより，レイヤ間の冗長性除去を行っている。
【０００９】
なお，非特許文献４には，本発明の実施例で用いることができる時空間の周波数成分とコントラスト感度との関係性を示す空間コントラスト感度関数の例が記載されている。また，非特許文献５には，ＪＭとしてよく知られている動画像の非スケーラブル符号化方式の技術が記載されている。
【非特許文献１】三反崎暁経，小野尚紀，上倉一人，八島由幸：“フレーム内及びフレーム間における画質変動を考慮した適応型プレフィルタの検討，”信学技報，CS2006-5，IE2006-118，Dec.2006.
【非特許文献２】J.Reichel ，H.Schwarz and M.Wien：“Joint Scalable Video Model JSVM-8.0 ，”ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6 ，JVT-U202，2006.
【非特許文献３】早瀬和也，坂東幸浩，高村誠之，上倉一人，八島由幸：“レイヤ間予測を利用したＪＳＶＣ空間拡張レイヤプレフィルタ，”信学総大，Mar.2007.
【非特許文献４】N.B.Nill：“A visual model weighted cosine transform for image compression and quality assessment ，”IEEE Trans. Commun. ，Vol. COM-33 ，No. 12，pp.551-557，June 1985.
【非特許文献５】K.P.Lim ，G.Sullivan and T.Wiegand：“Text Description of Joint model Reference Encoding Methods and Decoding Concealment Methods ，”Joint Video Team（JVT ）of ISO/IEC MPEG and ITU-T VCEG，JVT-R95 ，Jan. 2006.
【特許文献１】特開平６−６２３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
画像信号の単純な二乗誤差の値は，主観画質としばしば乖離する。ブロック内の差分信号を周波数変換した場合，上記のブロック内の信号の単純な二乗誤差値は，各空間周波数の視覚劣化に及ぼす寄与が等価とみなしていることになる。しかし，一般的に画像内の空間高周波成分に対する人間のコントラスト感度は，小さいことが知られている。つまり，差分信号の持つ空間高周波成分は，視覚劣化に対する寄与が低周波に比べて小さいと言い換えられる。仮に，高周波成分を多く持つ画像と持たない２つの画像のＰＳＮＲの値が同じであると仮定した場合，高周波成分を多く持つ画像の方が視覚的劣化が目立ちにくくなる。
【００１１】
前述した非特許文献１は，ブロック内の信号の二乗誤差値の平均に基づいて劣化の目立ちやすさを算出し，帯域通過幅を導出している。しかし，この二乗誤差の値が主観画質と乖離してしまう領域に対しては，適正な帯域通過幅を適用することができない。また，特許文献１では空間内の劣化の目立ちやすさを帯域制限幅の制御に使用していないため，空間高周波成分の削減の余地を残す。
【００１２】
また，非特許文献３で提案されるスケーラブル符号化のためのプレフィルタは，下位レイヤからのテクスチャ予測信号で原信号を置換するか否かの２通りの自由度しか持ち合わせていない。置換しないと判定された場合には，原信号がそのまま後段の符号化処理に入力されるが，この原信号内には除去することができる空間高周波成分が残存している可能性が高い。この残存する空間高周波成分の除去のために，非特許文献１を適用することができるが，同様に前述したＰＳＮＲと主観画質との乖離の問題に直面してしまう。
【００１３】
本発明は，かかる事情に鑑みてなされたものであって，原画像とフィルタリング画像との間の視覚的劣化の目立ちやすさを示す視覚的歪み量に応じて，直下レイヤにおける内部復号信号のアップサンプル信号で置換するフィルタ処理と通常の低域通過フィルタ処理とを適応的に行い，さらに低域通過フィルタを使用する場合に，視覚的歪み量の値に応じて低域通過フィルタの帯域制限幅を決定してフィルタリングを行う動画像符号化器の設計法を確立することを目的とする。
【課題を解決するための手段】
【００１４】
レイヤ構造をもつスケーラブル符号化における本発明のプレフィルタ処理は，以下に記す２つのステップで構成される。拡張レイヤの原信号に対して，任意のサイズの小領域単位で以下の処理を適用する。
【００１５】
〔Ｓｔｅｐ１：直下レイヤテクスチャ予測信号による置換判定〕
拡張レイヤの原信号における視覚的劣化が目立ちにくい領域についてのみ，直下レイヤからのテクスチャ予測信号（直下レイヤの復号画像信号をアップサンプルした画像信号）で置換する。手順は，非特許文献３のプレフィルタ手順と同じである。
【００１６】
拡張レイヤの原信号と直下レイヤのテクスチャ予測信号との間の視覚的歪み量Ｄ0 を計算する。視覚的歪み量は，視覚系のコントラスト感度を用いて算出する劣化の目立ちやすさを表す尺度であり，値が小さいほど目立ちにくいということを示す。視覚的歪み量の算出手順は後述する。
【００１７】
算出された視覚的歪み量Ｄ0 が閾値Ｄth以下であれば，原信号を直下レイヤの補間信号であるテクスチャ予測信号で置換する。Ｄ0 ＞Ｄthであれば，Ｓｔｅｐ２に移る。閾値Ｄthは，劣化が知覚されない，もしくは，気にならない視覚的歪み量の許容値であり，外部から与えられる。閾値Ｄthの与え方の一例としては，ディスプレイのコントラストや明るさから経験的に決定する方法が考えられる。
【００１８】
〔Ｓｔｅｐ２：低域通過フィルタ信号による置換判定〕
Ｓｔｅｐ１において，拡張レイヤの原信号と直下レイヤのテクスチャ予測信号との間の視覚的歪み量Ｄ0 が閾値Ｄthを超える場合には，当該ブロックの原信号に対して低域通過フィルタを施す。
【００１９】
あらかじめ，帯域通過幅の異なる低域通過フィルタｆn を，Ｎパターン用意する。ここでは，帯域制限が強い順に，ｎ＝１，... ，Ｎとする。Ｎパターンの与え方は任意だが，帯域制限によって減少するエネルギーの変動量が均等になるように設定するのが望ましい。
【００２０】
次に，帯域制限が強いフィルタから順に，当該ブロックの原信号に対してフィルタリングを施し，そのつど視覚的歪み量Ｄn を算出する。Ｄn ≦Ｄthとなった時点で，そのときのフィルタリング信号で原信号を置換する。ＤN ＞Ｄthの場合には，原信号をそのまま出力する。ここで使用する閾値Ｄthは，Ｓｔｅｐ１で使用した閾値と同じ値を用いる。
【００２１】
ちなみに，参考として，レイヤ構造を持たない非スケーラブル符号化の場合には，Ｓｔｅｐ１を行わずにＳｔｅｐ２に記した低域通過フィルタ信号による置換判定のみを行えば，視覚的歪み量の値に応じたプレフィルタ処理となる。本発明のレイヤ構造を持つスケーラブル符号化の場合には，拡張レイヤの原信号に対してはＳｔｅｐ１とＳｔｅｐ２の両方を実行し，基本レイヤの原信号に対してはＳｔｅｐ１を行わずにＳｔｅｐ２のみを実行すればよい。
【００２２】
また，フレーム画像（フィールド画像を含む）ごとに外部から与えられるプレフィルタ適用フレーム指定情報，またはあらかじめ定めたフィルタ適用の判定条件により，フィルタを適用するか否かを判定し，その判定結果にしたがって，上記フィルタの適用を制御してもよい。フィルタ適用の判定条件の一例としては，当該フレームが動き予測の被参照フレームとなるなら非適用，被参照フレームとならないなら適用，という条件が考えられる。例えば当該フレームが動き予測の被参照フレームとなる場合には，プレフィルタ適用フレーム指定情報として，フィルタを適用しないという指定情報を外部からフィルタ処理部に対して与え，当該フレームが動き予測の被参照フレームとならない場合に，プレフィルタ適用フレーム指定情報として，フィルタを適用するという指定情報を外部から与える。後者の場合にだけ，本発明を用いたプレフィルタ処理を実行する。
【００２３】
また，フレーム単位にフィルタを適用するか否かの指定情報を外部から与えたり，適用判定条件を設定するのではなく，スライス等のいくつかの小領域を含む画像部分領域単位で，フィルタを適用するか否かの指定や判定条件の設定を行ってもよい。
【００２４】
［視覚的歪み量の算出方法］
前述したように，画像内の空間高周波成分に対する人間のコントラスト感度は，小さいことが知られている。非特許文献４では，この時空間の周波数成分とコントラスト感度との関係性を，空間コントラスト感度関数として示している。この関数は，各周波数成分に対するコントラスト感度を与え，最大のコントラスト感度に対する相対値が導き出される。本発明では，このコントラスト感度を各空間周波数が持つ視覚劣化への寄与率と想定する。原信号と比較信号との差分信号を周波数領域に展開し，コントラスト感度を各空間周波数のエネルギーに重み付けし，その重み付けされたエネルギーの総和を視覚的歪み量とみなす。以下に算出手順を詳説する。
【００２５】
拡張レイヤの原信号とテクスチャ予測信号との間の視覚的歪み量Ｄ0 ，および拡張レイヤの原信号と低域通過フィルタｆn による低域通過フィルタ信号との間の視覚的歪み量Ｄn は，次のように求める。
【００２６】
【数１】
0004709189.tif 000002
【００２７】
ここで，Ｆ0 （ｕ，ｖ）は拡張レイヤの原信号とテクスチャ予測信号との差分信号に対する空間周波数（ｕ，ｖ）のフーリエ係数であり，Ｆn （ｕ，ｖ）は拡張レイヤの原信号と低域通過フィルタｆn による低域通過フィルタ信号との差分信号に対する空間周波数（ｕ，ｖ）のフーリエ係数である。ｗ（ｕ，ｖ）はそのフーリエ係数に対する重み係数であり，空間周波数に対するコントラスト感度を指す。この値は，空間コントラスト感度関数に基づいて，次式のように算出する。一例として，非特許文献４に記されているものを挙げるが，使用可能なコントラスト感度関数はこれに限らない。
【００２８】
ｗ（η）＝（０．２＋０．４５η）ｅｘｐ（−０．１８η）      …  式（３）
ここで，ηと（ｕ，ｖ）とは，次に示すような関係にある。
【００２９】
【数２】
0004709189.tif 000003
【００３０】
θは，縦幅ｈの画像を視距離ａｈで観測する場合のＭ×Ｍブロックの視野角であり，次のように与えられる。
【００３１】
【数３】
0004709189.tif 000004
【００３２】
視距離ａｈは，外部から与えられる。視距離ａｈの与え方の一例としては，主観画質評価の前提条件に応じて決定する方法や，想定される視聴環境に応じて決定する方法などが考えられる。
【発明の効果】
【００３３】
本発明により，主観画質を劣化させずに，可能な限り空間高周波成分を削減する低域通過フィルタの最適な帯域制限幅を，画像内の局所領域ごとに決定することができる。
【００３４】
また，レイヤ間の情報の冗長性の削減と空間内の情報の冗長性の削減とを，同時に実現することができる。
【発明を実施するための最良の形態】
【００３５】
［処理の流れ］
本発明のスケーラブル符号化処理の実施形態について，図１を参照して説明する。
【００３６】
ステップＳ１１：当該符号化対象レイヤが基本レイヤであるか否かの判定処理を行い，真の場合にはステップＳ１２の処理を行い，偽の場合にはステップＳ１３の処理を行う。
【００３７】
ステップＳ１２：基本レイヤにおける原信号を読み込み，基本レイヤ向けのプレフィルタ処理を行い，生成されたプレフィルタ信号を出力する。本処理については，後述の図３にて詳説する。
【００３８】
ステップＳ１３：当該拡張レイヤにおける原信号を読み込み，拡張レイヤ向けのプレフィルタ処理を行い，生成されたプレフィルタ信号を出力する。本処理については，後述の図４にて詳説する。
【００３９】
ステップＳ１４：ステップＳ１２の処理またはステップＳ１３の処理によって生成されたプレフィルタ信号を読み込み，当該符号化対象レイヤにおける符号化処理を実施し，当該符号化対象レイヤの符号化情報を出力する。この符号化処理の一例としては，非特許文献２に示されるＪＳＶＭが挙げられる。
【００４０】
ステップＳ１５：すべての符号化対象レイヤの符号化処理が完了しているか否かの判定処理を行い，真の場合にはステップＳ１７の処理を行い，偽の場合にはステップＳ１６の処理を行う。
【００４１】
ステップＳ１６：次の符号化対象レイヤに移り，新しい符号化対象レイヤに対してステップＳ１１の処理を行う。
【００４２】
ステップＳ１７：各レイヤの符号化情報を多重化し，符号化ストリームとして出力する。
【００４３】
本発明の関連技術として，非スケーラブル符号化処理の場合の例について，図２を参照して説明する。
【００４４】
ステップＳ２１：原信号を読み込み，プレフィルタ処理を行い，生成されたプレフィルタ信号を出力する。本処理については，後述の図３にて詳説する。
【００４５】
ステップＳ２２：ステップＳ２１によって生成されたプレフィルタ信号を読み込み，符号化処理を実施し，符号化情報を出力する。この符号化処理の一例としては，非特許文献２に示されるＪＳＶＭや，非特許文献５に示されるＪＭが挙げられる。
【００４６】
図１に示すステップＳ１２の処理（スケーラブル符号化処理における基本レイヤ向けのプレフィルタ処理），および図２に示すステップＳ２１の処理（非スケーラブル符号化処理におけるプレフィルタ処理）の詳細を，図３を用いて説明する。
【００４７】
ステップＳ３１：外部から与えられるプレフィルタ適用フレーム指定情報を読み込み，当該フレームがプレフィルタ適用フレームか否かの判定処理を行い，真の場合にはステップＳ３２の処理に移り，偽の場合にはステップＳ３３の処理に移る。プレフィルタ適用フレーム指定情報とは，上記のフィルタを適用するか否かを指定する情報である。
【００４８】
ステップＳ３２：当該フレームの原信号を読み込み，低域通過フィルタを用いた小領域ごとの置換処理を行い，当該フレームのプレフィルタ信号を出力する。本処理については，後述の図５にて詳説する。
【００４９】
ステップＳ３３：すべてのフレームに対してプレフィルタ処理を行ったか否かの判定処理を行い，真の場合にはプレフィルタ信号を出力し，偽の場合にはステップＳ３４の処理に移る。なお，基本レイヤ向けのプレフィルタ処理では，出力されるプレフィルタ信号は，基本レイヤのプレフィルタ信号である。
【００５０】
ステップＳ３４：次のフレームに移り，新しいフレームに対してステップＳ３１の処理を行う。
【００５１】
図１に示すステップＳ１３の処理（スケーラブル符号化処理における拡張レイヤ向けのプレフィルタ処理）の詳細を，図４を用いて説明する。
【００５２】
ステップＳ４１：外部から与えられるプレフィルタ適用フレーム指定情報を読み込み，当該フレームがプレフィルタ適用フレームか否かの判定処理を行い，真の場合にはステップＳ４２の処理に移り，偽の場合にはステップＳ４３の処理に移る。
【００５３】
ステップＳ４２：当該フレームの原信号を読み込み，直下レイヤテクスチャ予測信号や低域通過フィルタによるフィルタ信号で，小領域ごとに適応的に置換する処理を行い，当該フレームのプレフィルタ信号を出力する。本処理については，後述の図６にて詳説する。
【００５４】
ステップＳ４３：当該拡張レイヤにおけるすべてのフレームに対してプレフィルタ処理を行ったか否かの判定処理を行い，真の場合には当該拡張レイヤのプレフィルタ信号を出力し，偽の場合にはステップＳ４４の処理に移る。
【００５５】
ステップＳ４４：次のフレームに移り，新しいフレームに対してステップＳ４１の処理を行う。
【００５６】
図３に示すステップＳ３２の処理（低域通過フィルタ信号による置換処理）の詳細を，図５を用いて説明する。
【００５７】
ステップＳ５１：外部から与えられる視覚的歪み量閾値Ｄthを読み込み，その値をレジスタに書き込む。
【００５８】
ステップＳ５２：当該プレフィルタ対象フレームを任意の小領域に分割し，各小領域の原信号をバッファに書き込む。
【００５９】
ステップＳ５３：当該小領域に対して適用する当該低域通過フィルタｆn のフィルタ係数を読み込み，その係数値をレジスタに書き込む。
【００６０】
ステップＳ５４：当該低域通過フィルタｆn のフィルタ係数をレジスタから読み込み，そのフィルタ係数によって構成される低域通過フィルタを当該小領域の原信号に対して施し，得られた当該小領域の低域通過フィルタ信号をバッファに書き込む。
【００６１】
ステップＳ５５：当該小領域の原信号および低域通過フィルタｆn による低域通過フィルタ信号をバッファから読み込み，それらの差分信号を生成し，その差分信号に対してフーリエ変換を適用し，そのフーリエ変換の各周波数成分に対してコントラスト感度関数を用いて重み付けを行い，その重み付けされた各周波数成分の総和をとることにより両信号の間の視覚的歪み量Ｄn を算出し，その値をレジスタに書き込む。
【００６２】
ステップＳ５６：当該小領域における当該低域通過フィルタｆn を使用して算出された視覚的歪み量Ｄn と，視覚的歪み量閾値Ｄthとをレジスタから読み込み，Ｄn ≦Ｄthの場合にはステップＳ５７の処理に移り，Ｄn ＞Ｄthの場合にはステップＳ５８の処理に移る。
【００６３】
ステップＳ５７：当該小領域の当該低域通過フィルタｆn による低域通過フィルタ信号を読み込み，当該小領域の原信号と置き換え，プレフィルタ信号としてバッファに書き込む。
【００６４】
ステップＳ５８：当該小領域に対してすでにすべての低域通過フィルタを適用したか否かの判定処理を行い，真の場合にはステップＳ６０の処理に移り，偽の場合にはステップＳ５９の処理に移る。
【００６５】
ステップＳ５９：次の低域通過フィルタに移り，新しい低域通過フィルタを用いて，ステップＳ５３の処理を行う。
【００６６】
ステップＳ６０：当該フレームにおけるすべての小領域に対して置換判定処理を実行したか否かの判定処理を行い，真の場合にはプレフィルタ信号を出力する。偽の場合には，ステップＳ６１の処理に移る。
【００６７】
ステップＳ６１：次の小領域に移り，新しい小領域に対して，ステップＳ５３の処理を行う。
【００６８】
図４に示すステップＳ４２の処理（適応的置換処理）の詳細を，図６を用いて説明する。
【００６９】
ステップＳ７１：外部から与えられる視覚的歪み量閾値Ｄthを読み込み，その値をレジスタに書き込む。
【００７０】
ステップＳ７２：当該プレフィルタ対象フレームを任意の小領域に分割し，各小領域の原信号をバッファに書き込む。
【００７１】
ステップＳ７３：当該小領域の直下レイヤテクスチャ予測信号を，バッファから読み込む。
【００７２】
ステップＳ７４：当該小領域の原信号をバッファから読み込み，当該小領域の原信号と直下レイヤテクスチャ予測信号との差分信号を生成し，その差分信号に対してフーリエ変換を適用し，そのフーリエ変換の各周波数成分に対してコントラスト感度関数を用いて重み付けを行い，その重み付けされた各周波数成分の総和をとることにより両信号の間の視覚的歪み量Ｄ0 を算出し，その値をレジスタに書き込む。
【００７３】
ステップＳ７５：当該小領域における直下レイヤテクスチャ予測信号を使用して算出された視覚的歪み量Ｄ0 と，視覚的歪み量閾値Ｄthとをレジスタから読み込み，Ｄ0 ≦Ｄthの場合にはステップＳ８３の処理に移り，Ｄ0 ＞Ｄthの場合にはステップＳ７６の処理に移る。
【００７４】
ステップＳ７６：当該小領域に対して適用する当該低域通過フィルタｆn のフィルタ係数を読み込み，その係数値をレジスタに書き込む。
【００７５】
ステップＳ７７：当該低域通過フィルタｆn のフィルタ係数をレジスタから読み込み，そのフィルタ係数によって構成される低域通過フィルタを当該小領域の原信号に対して施し，得られた当該小領域の低域通過フィルタ信号をバッファに書き込む。
【００７６】
ステップＳ７８：当該小領域の原信号および低域通過フィルタｆn による低域通過フィルタ信号をバッファから読み込み，それらの差分信号を生成し，その差分信号に対してフーリエ変換を適用し，そのフーリエ変換の各周波数成分に対してコントラスト感度関数を用いて重み付けを行い，その重み付けされた各周波数成分の総和をとることにより両信号の間の視覚的歪み量Ｄn を算出し，その値をレジスタに書き込む。
【００７７】
ステップＳ７９：当該小領域における当該低域通過フィルタｆn を使用して算出された視覚的歪み量Ｄn と，視覚的歪み量閾値Ｄthとをレジスタから読み込み，Ｄn ≦Ｄthの場合にはステップＳ８０の処理に移り，Ｄn ＞Ｄthの場合にはステップＳ８１の処理に移る。
【００７８】
ステップＳ８０：当該小領域の当該低域通過フィルタｆn による低域通過フィルタ信号を読み込み，当該小領域の原信号と置き換え，プレフィルタ信号としてバッファに書き込む。
【００７９】
ステップＳ８１：当該小領域に対してすでにすべての低域通過フィルタを適用したか否かの判定処理を行い，真の場合にはステップＳ８４の処理に移り，偽の場合にはステップＳ８２の処理に移る。
【００８０】
ステップＳ８２：次の低域通過フィルタに移り，新しい低域通過フィルタを用いて，ステップＳ７６の処理を行う。
【００８１】
ステップＳ８３：当該小領域の直下レイヤテクスチャ予測信号を読み込み，当該小領域の原信号と置き換え，プレフィルタ信号としてバッファに書き込む。
【００８２】
ステップＳ８４：当該フレームにおけるすべての小領域に対して置換判定処理を実行したか否かの判定処理を行い，真の場合には適応的に置換されたプレフィルタ信号を出力し，偽の場合にはステップＳ８５の処理に移る。
【００８３】
ステップＳ８５：次の小領域に移り，新しい小領域に対して，ステップＳ７３の処理を行う。
【００８４】
［処理装置］
本実施の形態によるスケーラブル符号化装置の構成例を図７に示す。図７は，ｎ階層（但し，ｎ≧１）の空間スケーラビリティを持つ場合の符号化装置図である。
【００８５】
原信号縮小処理部１０１：スケーラブル符号化の符号化対象である原信号を読み込み，空間スケーラビリティを持たせる所望の解像度を縮小処理により複数用意し，各レイヤの原信号記憶部（基本レイヤ原信号記憶部１０２，第１拡張レイヤ原信号記憶部１１０，... ，第ｎ拡張レイヤ原信号記憶部１１８）に出力する。任意の縮小方法の適用が可能であり，その一例としては，Lanczos 3-lobed sinc filter が挙げられる。
【００８６】
基本レイヤプレフィルタ処理部１０３：基本レイヤ原信号記憶部１０２から基本レイヤの原信号を読み込み，プレフィルタ処理を行い，プレフィルタ信号を基本レイヤプレフィルタ信号記憶部１０４に出力する。本処理装置については，後述の図９にて詳説する。
【００８７】
基本レイヤ符号化部１０５：基本レイヤプレフィルタ信号記憶部１０４から基本レイヤのプレフィルタ信号を読み込み，基本レイヤの符号化処理を実施し，符号化情報を基本レイヤ符号化情報記憶部１０６に出力する。この符号化処理の一例としては，非特許文献２に示されるＪＳＶＭや，非特許文献５に示されるＪＭが挙げられる。
【００８８】
基本レイヤ内部復号部１０７：基本レイヤ符号化情報記憶部１０６から基本レイヤの符号化情報を読み込み，基本レイヤの符号化処理内において復号処理を行い，生成された復号信号をバッファに書き込む。
【００８９】
基本レイヤテクスチャ予測信号生成部１０８：バッファから基本レイヤの復号信号を読み込み，補間フィルタを用いて第１拡張レイヤ上で使用するテクスチャ予測信号を生成し，生成されたテクスチャ予測信号を基本レイヤテクスチャ予測信号記憶部１０９に出力する。
【００９０】
第１拡張レイヤプレフィルタ処理部１１１：第１拡張レイヤ原信号記憶部１１０から第１拡張レイヤの原信号を読み込み，プレフィルタ処理を行い，プレフィルタ信号を第１拡張レイヤプレフィルタ信号記憶部１１２に出力する。本処理装置については，後述の図１０にて詳説する。
【００９１】
第１拡張レイヤ符号化部１１３：第１拡張レイヤプレフィルタ信号記憶部１１２から第１拡張レイヤのプレフィルタ信号を読み込み，拡張レイヤの符号化処理を実施する。また，このときテクスチャ予測に使用する参照信号を基本レイヤテクスチャ予測信号記憶部１０９から読み込む。得られた符号化情報を，第１拡張レイヤ符号化情報記憶部１１４に出力する。この符号化処理の一例としては，非特許文献２に示されるＪＳＶＭが挙げられる。
【００９２】
第１拡張レイヤ内部復号部１１５：第１拡張レイヤ符号化情報記憶部１１４から第１拡張レイヤの符号化情報を読み込み，第１拡張レイヤの符号化処理内において復号処理を行い，生成された復号信号をバッファに書き込む。
【００９３】
第１拡張レイヤテクスチャ予測信号生成部１１６：バッファから第１拡張レイヤの復号信号を読み込み，補間フィルタを用いて第２拡張レイヤ上で使用するテクスチャ予測信号を生成し，生成されたテクスチャ予測信号を第１拡張レイヤテクスチャ予測信号記憶部１１７に出力する。
【００９４】
第ｎ拡張レイヤプレフィルタ処理部１１９：第ｎ拡張レイヤ原信号記憶部１１８から第ｎ拡張レイヤの原信号を読み込み，プレフィルタ処理を行い，プレフィルタ信号を第ｎ拡張レイヤプレフィルタ信号記憶部１２０に出力する。本処理装置については，後述の図１０にて詳説する。
【００９５】
第ｎ拡張レイヤ符号化部１２１：第ｎ拡張レイヤプレフィルタ信号記憶部１２０から第ｎ拡張レイヤのプレフィルタ信号を読み込み，拡張レイヤの符号化処理を実施する。また，このときテクスチャ予測に使用する参照信号を第ｎ−１拡張レイヤテクスチャ予測信号記憶部（図示省略）から読み込む。得られた符号化情報を，第ｎ拡張レイヤ符号化情報記憶部１２２に出力する。この符号化処理の一例としては，非特許文献２に示されるＪＳＶＭが挙げられる。
【００９６】
符号化情報多重化部１２３：各レイヤの符号化情報記憶部（基本レイヤ符号化情報記憶部１０６，第１拡張レイヤ符号化情報記憶部１１４，... ，第ｎ拡張レイヤ符号化情報記憶部１２２）から符号化情報を読み込み，それらを多重化して符号化ストリームとして出力する。
【００９７】
本発明の関連技術として，非スケーラブル符号化装置の構成例を図８に示す。
【００９８】
原信号記憶部２０１：原信号を読み込み，バッファに書き込む。
【００９９】
プレフィルタ処理部２０２：原信号記憶部２０１から原信号を読み込み，プレフィルタ処理を行い，プレフィルタ信号をプレフィルタ信号記憶部２０３に出力する。本処理装置については，後述の図９にて詳説する。
【０１００】
符号化部２０４：プレフィルタ信号記憶部２０３からプレフィルタ信号を読み込み，そのプレフィルタ信号を入力として符号化処理を実施し，得られた符号化情報を符号化情報記憶部２０５に出力する。この符号化処理の一例としては，非特許文献５に示されるＪＭが挙げられる。
【０１０１】
図７に示すスケーラブル符号化装置における基本レイヤプレフィルタ処理部１０３，および図８に示す非スケーラブル符号化装置におけるプレフィルタ処理部２０２の詳細を，図９を用いて説明する。
【０１０２】
プレフィルタ適用フレーム指定情報記憶部３０１：外部から与えられるプレフィルタ適用フレーム指定情報を読み込み，レジスタに書き込む。プレフィルタ適用フレーム指定情報とは，上記のフィルタを適用するか否かを指定する情報である。
【０１０３】
プレフィルタ適用フレーム判定部３０２：プレフィルタ適用フレーム指定情報記憶部３０１からプレフィルタ適用フレーム指定情報を読み込み，当該フレームがプレフィルタ適用フレームか否かの判定処理を行い，真の場合には低域通過フィルタ信号置換処理部３０４に移り，偽の場合にはプレフィルタ処理対象フレーム更新部３０６に移る。
【０１０４】
低域通過フィルタセット記憶部３０３：外部から与えられる低域通過フィルタセットを読み込み，レジスタに書き込む。低域通過フィルタセットとは，帯域通過幅が異なる複数の低域通過フィルタのセットである。
【０１０５】
低域通過フィルタ信号置換処理部３０４：当該フレームの原信号を読み込み，低域通過フィルタセット記憶部３０３から読み込まれる低域通過フィルタのフィルタ係数で構成される低域通過フィルタを用いて小領域ごとに置換処理を行い，得られた当該フレームのプレフィルタ信号をバッファに書き込み，プレフィルタ処理終了判定部３０５に移る。なお，基本レイヤプレフィルタ処理部１０３では，読み込まれる原信号は，基本レイヤの原信号である。本処理装置については，後述の図１１にて詳説する。
【０１０６】
プレフィルタ処理終了判定部３０５：すべてのフレームに対してプレフィルタ処理を行ったか否かの判定処理を行い，真の場合にはプレフィルタ信号を出力し，偽の場合にはプレフィルタ処理対象フレーム更新部３０６に移る。なお，基本レイヤプレフィルタ処理部１０３では，出力されるプレフィルタ信号は，基本レイヤのプレフィルタ信号である。
【０１０７】
プレフィルタ処理対象フレーム更新部３０６：次のフレームに処理対象を更新し，プレフィルタ適用フレーム判定部３０２に移る。
【０１０８】
図７に示すスケーラブル符号化装置における第１拡張レイヤプレフィルタ処理部１１１，第ｎ拡張レイヤプレフィルタ処理部１１９およびその他の拡張レイヤプレフィルタ処理部の詳細を，図１０を用いて説明する。
【０１０９】
プレフィルタ適用フレーム指定情報記憶部４０１：外部から与えられるプレフィルタ適用フレーム指定情報を読み込み，レジスタに書き込む。
【０１１０】
プレフィルタ適用フレーム判定部４０２：プレフィルタ適用フレーム指定情報記憶部４０１からプレフィルタ適用フレーム指定情報を読み込み，当該フレームがプレフィルタ適用フレームか否かの判定処理を行い，真の場合には適応的置換処理部４０４に移り，偽の場合にはプレフィルタ処理対象フレーム更新部４０６に移る。
【０１１１】
低域通過フィルタセット記憶部４０３：外部から与えられる低域通過フィルタセットを読み込み，レジスタに書き込む。
【０１１２】
適応的置換処理部４０４：当該フレームの原信号を読み込み，低域通過フィルタセット記憶部４０３から読み込まれる低域通過フィルタのフィルタ係数で構成される低域通過フィルタによるフィルタ信号や，直下レイヤからのテクスチャ予測信号で，小領域ごとに適応的に置換する処理を行い，得られた当該フレームのプレフィルタ信号をバッファに書き込み，プレフィルタ処理終了判定部４０５に移る。本処理装置については，後述の図１２にて詳説する。
【０１１３】
プレフィルタ処理終了判定部４０５：当該拡張レイヤにおけるすべてのフレームに対してプレフィルタ処理を行ったか否かの判定処理を行い，真の場合には当該拡張レイヤのプレフィルタ信号を出力し，偽の場合にはプレフィルタ処理対象フレーム更新部４０６に移る。
【０１１４】
プレフィルタ処理対象フレーム更新部４０６：次のフレームに処理対象を更新し，プレフィルタ適用フレーム判定部４０２に移る。
【０１１５】
図９に示す低域通過フィルタ信号置換処理部３０４の詳細を，図１１を用いて説明する。
【０１１６】
小領域分割部５０１：当該フレームの原信号を読み込み，それを指定されたサイズの小領域に分割し，各小領域の原信号を小領域信号記憶部５０２に出力する。
【０１１７】
適用低域通過フィルタ係数読み込み部５０３：当該小領域に対して適用する当該低域通過フィルタｆn のフィルタ係数を読み込み，その係数値をレジスタに書き込む。
【０１１８】
低域通過フィルタ処理部５０４：小領域信号記憶部５０２から当該小領域の原信号を読み込み，また，レジスタから当該低域通過フィルタｆn のフィルタ係数を読み込み，そのフィルタ係数によって構成される低域通過フィルタを当該小領域の原信号に対して施し，得られた当該小領域の低域通過フィルタ信号を低域通過フィルタ信号記憶部５０５に出力する。
【０１１９】
視距離パラメータ記憶部５０６：外部から与えられる視距離パラメータを読み込み，レジスタに書き込む。
【０１２０】
視覚的歪み量算出部５０７：小領域信号記憶部５０２から当該小領域の原信号を読み込み，また，低域通過フィルタ信号記憶部５０５から低域通過フィルタ信号を読み込み，それらの差分信号を生成し，その差分信号に対してフーリエ変換を適用し，そのフーリエ変換の各周波数成分に対してコントラスト感度関数を用いて重み付けを行い，その重み付けされた各周波数成分の総和をとることにより両信号の間の視覚的歪み量Ｄn を算出し，その値を視覚的歪み量記憶部５０８に出力する。
【０１２１】
視覚的歪み量閾値記憶部５０９：外部から与えられる視覚的歪み量閾値Ｄthを読み込み，レジスタに書き込む。
【０１２２】
視覚的歪み量比較部５１０：視覚的歪み量記憶部５０８から当該小領域における当該低域通過フィルタｆn を使用して算出された視覚的歪み量Ｄn を読み込み，視覚的歪み量閾値記憶部５０９から視覚的歪み量閾値Ｄthを読み込み，Ｄn ≦Ｄthの場合には低域通過フィルタ信号置換処理部５１１に移り，Ｄn ＞Ｄthの場合には適用低域通過フィルタセット終了判定部５１２に移る。
【０１２３】
低域通過フィルタ信号置換処理部５１１：当該小領域の当該低域通過フィルタｆn による低域通過フィルタ信号を読み込み，当該小領域の原信号と置き換え，プレフィルタ信号としてバッファに書き込み，置換処理終了判定部５１４に移る。
【０１２４】
適用低域通過フィルタセット終了判定部５１２：当該小領域に対してすでにすべての低域通過フィルタを適用したか否かの判定処理を行い，真の場合には置換処理終了判定部５１４に移り，偽の場合には適用低域通過フィルタ係数更新部５１３に移る。
【０１２５】
適用低域通過フィルタ係数更新部５１３：次の低域通過フィルタに適用対象を移し，適用低域通過フィルタ係数読み込み部５０３に移る。
【０１２６】
置換処理終了判定部５１４：当該フレームにおけるすべての小領域に対して置換判定処理を実行したか否かの判定処理を行い，真の場合にはプレフィルタ信号を出力し，偽の場合には処理対象小領域更新部５１５に移る。
【０１２７】
処理対象小領域更新部５１５：次の小領域に処理対象を移し，低域通過フィルタ処理部５０４に移る。
【０１２８】
図１０に示す適応的置換処理部４０４の詳細を，図１２を用いて説明する。
【０１２９】
小領域分割部６０１：当該フレームの原信号を読み込み，それを指定されたサイズの小領域に分割し，各小領域の原信号を小領域信号記憶部６０２に出力する。
【０１３０】
テクスチャ予測信号読み込み部６０３：直下レイヤからのテクスチャ予測信号を読み込み，バッファに書き込む。
【０１３１】
テクスチャ予測信号視覚的歪み量算出部６０４：小領域信号記憶部６０２から当該小領域の原信号を読み込み，また，バッファから直下レイヤのテクスチャ予測信号を読み込み，それらの差分信号を生成し，その差分信号に対してフーリエ変換を適用し，そのフーリエ変換の各周波数成分に対してコントラスト感度関数を用いて重み付けを行い，その重み付けされた各周波数成分の総和をとることにより両信号の間の視覚的歪み量Ｄ0 を算出し，その値をテクスチャ予測信号視覚的歪み量記憶部６０６に出力する。
【０１３２】
視距離パラメータ記憶部６０５：外部から与えられる視距離パラメータを読み込み，レジスタに書き込む。
【０１３３】
視覚的歪み量閾値記憶部６０７：外部から与えられる視覚的歪み量閾値Ｄthを読み込み，レジスタに書き込む。
【０１３４】
テクスチャ予測信号視覚的歪み量比較部６０８：テクスチャ予測信号視覚的歪み量記憶部６０６から直下レイヤのテクスチャ予測信号を使用して算出された視覚的歪み量Ｄ0 を読み込み，視覚的歪み量閾値記憶部６０７から視覚的歪み量閾値Ｄthを読み込み，Ｄn ≦Ｄthの場合にはテクスチャ予測信号置換処理部６１８に移り，Ｄn ＞Ｄthの場合には低域通過フィルタ処理部６１０に移る。
【０１３５】
適用低域通過フィルタ係数読み込み部６０９：当該小領域に対して適用する当該低域通過フィルタｆn のフィルタ係数を読み込み，その係数値をレジスタに書き込む。
【０１３６】
低域通過フィルタ処理部６１０：当該低域通過フィルタｆn のフィルタ係数をレジスタから読み込み，そのフィルタ係数によって構成される低域通過フィルタを当該小領域の原信号に対して施し，得られた当該小領域の低域通過フィルタ信号を低域通過フィルタ信号記憶部６１１に出力する。
【０１３７】
低域通過フィルタ信号視覚的歪み量算出部６１２：小領域信号記憶部６０２から当該小領域の原信号を読み込み，また，低域通過フィルタ信号記憶部６１１から低域通過フィルタ信号を読み込み，それらの差分信号を生成し，その差分信号に対してフーリエ変換を適用し，そのフーリエ変換の各周波数成分に対してコントラスト感度関数を用いて重み付けを行い，その重み付けされた各周波数成分の総和をとることにより両信号の間の視覚的歪み量Ｄn を算出し，その値を低域通過フィルタ信号視覚的歪み量記憶部６１３に出力する。
【０１３８】
低域通過フィルタ信号視覚的歪み量比較部６１４：低域通過フィルタ信号視覚的歪み量記憶部６１３から当該小領域における当該低域通過フィルタｆn を使用して算出された視覚的歪み量Ｄn を読み込み，視覚的歪み量閾値記憶部６０７から視覚的歪み量閾値Ｄthを読み込み，Ｄn ≦Ｄthの場合には低域通過フィルタ信号置換処理部６１５に移り，Ｄn ＞Ｄthの場合には適用低域通過フィルタセット終了判定部６１６に移る。
【０１３９】
低域通過フィルタ信号置換処理部６１５：当該小領域の当該低域通過フィルタｆn による低域通過フィルタ信号を読み込み，当該小領域の原信号と置き換え，プレフィルタ信号としてバッファに書き込み，置換処理終了判定部６１９に移る。
【０１４０】
適用低域通過フィルタセット終了判定部６１６：当該小領域に対してすでにすべての低域通過フィルタを適用したか否かの判定処理を行い，真の場合には置換処理終了判定部６１９に移り，偽の場合には適用低域通過フィルタ係数更新部６１７に移る。
【０１４１】
適用低域通過フィルタ係数更新部６１７：次の低域通過フィルタに適用対象を移し，適用低域通過フィルタ係数読み込み部６０９に移る。
【０１４２】
テクスチャ予測信号置換処理部６１８：当該小領域における直下レイヤのテクスチャ予測信号を読み込み，当該小領域の原信号と置き換え，プレフィルタ信号としてバッファに書き込み，置換処理終了判定部６１９に移る。
【０１４３】
置換処理終了判定部６１９：当該フレームにおけるすべての小領域に対して置換判定処理を実行したか否かの判定処理を行い，真の場合には適応的に置換されたプレフィルタ信号を出力し，偽の場合には処理対象小領域更新部６２０に移る。
【０１４４】
処理対象小領域更新部６２０：次の小領域に処理対象を移し，テクスチャ予測信号視覚的歪み量算出部６０４に移る。
【０１４５】
［実験］
非特許文献２に記載されているＪＳＶＣ参照エンコーダＪＳＶＭ８．０を用いて，本発明によるプレフィルタの性能を検証するための実験を行った。映像はＪＳＶＣ標準映像のＣｉｔｙ，Ｃｒｅｗ，Ｈａｒｂｏｕｒ，Ｓｏｃｃｅｒを用いた。下位レイヤがＱＣＩＦ，上位レイヤがＣＩＦとし，両レイヤで同じ量子化パラメータＱＰを用いた。ピクチャ構造はＩＰＰＰとし，３００枚符号化した。また，本発明によるプレフィルタに用いる視距離は３ｈ，閾値は１とし，低域通過フィルタを５パターン用意した。
【０１４６】
プレフィルタのｏｎ／ｏｆｆの場合の符号量の削減結果を，表１に示す。４．５％〜２４％（平均１１．９％）の高い符号量削減が実現されており，高レートになるほど効果が高くなる傾向が見られる。復号信号の主観画質は，プレフィルタのｏｎ／ｏｆｆ両者において差がないことを確認している。高レートほど，符号量増加を招く非ゼロの量子化レベルが高周波に生じやすいが，プレフィルタによりそのレベルがゼロにされるため，低レートよりも相対的に効果が高くなる。
【０１４７】
【表１】
0004709189.tif 000005
【０１４８】
また，ＣｒｅｗやＳｏｃｃｅｒといった高周波成分が小さい映像ほど削減効果が大きい。含まれる高周波成分が小さいと，原信号との視覚的歪み量は小さくなる。したがって，帯域制限が強いフィルタによる信号や補間信号で置換されるようになり，削減効果が大きくなると考えられる。各映像に対してプレフィルタによるマクロブロックの置換率についても計測したが，確かに高周波成分が大きい映像ほど帯域制限の強いフィルタが多く使用されることが確認できた。
【０１４９】
以上の動画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１５０】
【図１】本実施の形態によるスケーラブル符号化処理の流れを示す図である。
【図２】関連技術による非スケーラブル符号化処理の流れを示す図である。
【図３】本実施の形態によるプレフィルタ処理の流れを示す図である。
【図４】本実施の形態による拡張レイヤ向けのプレフィルタ処理の流れを示す図である。
【図５】本実施の形態による低域通過フィルタ信号による置換処理の流れを示す図である。
【図６】本実施の形態による適応的置換処理の流れを示す図である。
【図７】本実施の形態によるスケーラブル符号化装置の構成例を示す図である。
【図８】関連技術による非スケーラブル符号化装置の構成例を示す図である。
【図９】基本レイヤプレフィルタ処理部およびプレフィルタ処理部の装置構成例を示す図である。
【図１０】拡張レイヤプレフィルタ処理部の装置構成例を示す図である。
【図１１】低域通過フィルタ信号置換処理部の装置構成例を示す図である。
【図１２】適応的置換処理部の装置構成例を示す図である。
【符号の説明】
【０１５１】
１０１  原信号縮小処理部
１０２  基本レイヤ原信号記憶部
１０３  基本レイヤプレフィルタ処理部
１０４  基本レイヤプレフィルタ信号記憶部
１０５  基本レイヤ符号化部
１０６  基本レイヤ符号化情報記憶部
１０７  基本レイヤ内部復号部
１０８  基本レイヤテクスチャ予測信号生成部
１０９  基本レイヤテクスチャ予測信号記憶部
１１０  第１拡張レイヤ原信号記憶部
１１１  第１拡張レイヤプレフィルタ処理部
１１２  第１拡張レイヤプレフィルタ信号記憶部
１１３  第１拡張レイヤ符号化部
１１４  第１拡張レイヤ符号化情報記憶部
１１５  第１拡張レイヤ内部復号部
１１６  第１拡張レイヤテクスチャ予測信号生成部
１１７  第１拡張レイヤテクスチャ予測信号記憶部
１１８  第ｎ拡張レイヤ原信号記憶部
１１９  第ｎ拡張レイヤプレフィルタ処理部
１２０  第ｎ拡張レイヤプレフィルタ信号記憶部
１２１  第ｎ拡張レイヤ符号化部
１２２  第ｎ拡張レイヤ符号化情報記憶部
１２３  符号化情報多重化部
２０１  原信号記憶部
２０２  プレフィルタ処理部
２０３  プレフィルタ信号記憶部
２０４  符号化部
２０５  符号化情報記憶部
【図１】
0004709189.tif 000006
【図２】
0004709189.tif 000007
【図３】
0004709189.tif 000008
【図４】
0004709189.tif 000009
【図５】
0004709189.tif 000010
【図６】
0004709189.tif 000011
【図７】
0004709189.tif 000012
【図８】
0004709189.tif 000013
【図９】
0004709189.tif 000014
【図１０】
0004709189.tif 000015
【図１１】
0004709189.tif 000016
【図１２】
0004709189.tif 000017