(57)【要約】【課題】本発明は、量子化ステップサイズの変動量の計算コスト等を削減しつつ、視覚特性を考慮した量子化制御を実現できるようにする新たな技術の提供を目的とする。【解決手段】予測残差信号電力は符号化対象ブロックの分散を推定する性質を有している。この性質に着目して、本発明では、フレーム内符号化モードの決定において算出した予測残差信号電力から、符号化対象ブロックの分散を推定し、それに基づいて量子化ステップサイズの変動量を算出することにより、符号化対象ブロックの量子化ステップサイズを変更する。従来技術のように分散を計算しないで済むようになることから、演算コストや画像情報参照のためのメモリアクセスコストを抑えつつ、視覚特性を考慮した量子化制御を実現できるようになる。【選択図】図１
2005252527.tif 000002
【特許請求の範囲】
【請求項１】
視覚特性を考慮して符号化対象ブロックの量子化ステップサイズを変更する量子化ステップサイズ変更方法であって、
予測符号化モードの決定処理を行い、そのモード決定時の予測残差信号電力を記憶手段に蓄積する第１の過程と、
上記記憶手段に蓄積される予測残差信号電力に基づいて、符号化対象ブロックの特徴量を推定する第２の過程と、
上記推定した特徴量に基づいて、符号化対象ブロックの量子化ステップサイズの変動量を算出する第３の過程と、
上記変動量に基づいて、符号化対象ブロックの量子化ステップサイズを変更する第４の過程とを備えることを、
特徴とする量子化ステップサイズ変更方法。
【請求項２】
請求項１に記載の量子化ステップサイズ変更方法において、
上記第１の過程では、符号化対象ブロックから分割される小ブロック毎に算出した予測残差信号電力を上記記憶手段に蓄積し、
上記第２の過程では、上記小ブロック毎に算出した予測残差信号電力の中の最小値を符号化対象ブロックの特徴量として推定することを、
特徴とする量子化ステップサイズ変更方法。
【請求項３】
請求項２に記載の量子化ステップサイズ変更方法において、
上記第１の過程では、予測符号化モードを決定するにあたって、符号化対象ブロックが予測単位となる場合の予測符号化モードを評価するときには、符号化対象ブロックを小ブロックに分割して、それらの小ブロック毎に予測残差信号電力を算出し、それらの予測残差信号電力の和に基づいて予測符号化モードを評価することを、
特徴とする量子化ステップサイズ変更方法。
【請求項４】
請求項２に記載の量子化ステップサイズ変更方法において、
上記第１の過程では、予測符号化モードを決定するにあたって、符号化対象ブロックに含まれるブロックが予測単位となる場合の予測符号化モードを評価するときには、符号化対象ブロックを小ブロックに分割し、さらに、各小ブロックを予測符号化モードの単位となるブロックに分割して、それらのブロック毎に予測残差信号電力を算出して予測符号化モードを評価するとともに、それらの予測残差信号電力の和を算出することで各小ブロックの予測残差信号電力を算出することを、
特徴とする量子化ステップサイズ変更方法。
【請求項５】
請求項４に記載の量子化ステップサイズ変更方法において、
上記第１の過程では、変動処理以前の量子化ステップサイズを使って復号画像を生成し、それを予測信号として用いて、予測符号化モードの単位となるブロックの予測残差信号電力を算出することを、
特徴とする量子化ステップサイズ変更方法。
【請求項６】
請求項４に記載の量子化ステップサイズ変更方法において、
上記第１の過程では、原画像を予測信号として用いて、予測符号化モードの単位となるブロックの予測残差信号電力を算出することを、
特徴とする量子化ステップサイズ変更方法。
【請求項７】
請求項２に記載の量子化ステップサイズ変更方法において、
上記第１の過程では、予測符号化モードを決定するにあたって、（ｉ）符号化対象ブロックが予測単位となる場合の予測符号化モードを評価するときには、符号化対象ブロックを小ブロックに分割して、それらの小ブロック毎に予測残差信号電力を算出し、それらの予測残差信号電力の和に基づいて予測符号化モードを評価し、（ii）符号化対象ブロックに含まれるブロックが予測単位となる場合の予測符号化モードを評価するときには、符号化対象ブロックを小ブロックに分割し、さらに、各小ブロックを予測符号化モードの単位となるブロックに分割して、それらのブロック毎に予測残差信号電力を算出して予測符号化モードを評価するとともに、それらの予測残差信号電力の和を算出することで各小ブロックの予測残差信号電力を算出することを、
特徴とする量子化ステップサイズ変更方法。
【請求項８】
請求項１ないし７のいずれか１項に記載の量子化ステップサイズ変更方法において、
過去または現符号化フレームの予測残差信号電力の統計量を算出する第５の過程を備え、
上記第４の過程では、上記統計量に基づいて、量子化ステップサイズの最大変動量を制御することを、
特徴とする量子化ステップサイズ変更方法。
【請求項９】
視覚特性を考慮して符号化対象ブロックの量子化ステップサイズを変更する量子化ステップサイズ変更装置であって、
予測符号化モードの決定処理を行い、そのモード決定時の予測残差信号電力を記憶手段に蓄積する実行手段と、
上記記憶手段に蓄積される予測残差信号電力に基づいて、符号化対象ブロックの特徴量を推定する推定手段と、
上記推定手段の推定した特徴量に基づいて、符号化対象ブロックの量子化ステップサイズの変動量を算出する算出手段と、
上記算出手段の算出した変動量に基づいて、符号化対象ブロックの量子化ステップサイズを変更する変更手段とを備えることを、
特徴とする量子化ステップサイズ変更装置。
【請求項１０】
請求項１ないし８のいずれか１項に記載の量子化ステップサイズ変更方法の実現に用いられる処理をコンピュータに実行させるための量子化ステップサイズ変更プログラム。
【請求項１１】
請求項１ないし８のいずれか１項に記載の量子化ステップサイズ変更方法の実現に用いられる処理をコンピュータに実行させるための量子化ステップサイズ変更プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚特性を考慮して符号化対象ブロックの量子化ステップサイズを変更する量子化ステップサイズ変更方法およびその装置と、その量子化ステップサイズ変更方法の実現に用いられる量子化ステップサイズ変更プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
ＭＰＥＧ−２などの映像符号化方式では、画像をブロックに分割し、ブロック単位に割り当て符号量を変更できる。この割り当て符号量は、量子化ステップサイズにより制御される。割り当て符号量を増加する場合には、量子化ステップサイズを小さくし、逆に、割り当て符号量を減少させる場合には、量子化ステップサイズを大きくする。
【０００３】
ＭＰＥＧ−２テストモデル（例えば、非特許文献１参照）では、効率よく符号量を割り当てるために、人間の視覚特性を考慮した符号量割り当てを行う仕組みが採用されている。
【０００４】
この方法は、人間の歪に対する感度差を利用した方法で、輝度変化が少ない場所（以下、平坦部と称する）では歪が目立ちやすく、輝度変化の多い場所（以下、テクスチャ部と称する）では歪が目立ちにくい特性を利用するものであり、平坦部およびテクスチャ部を判別するための特徴量として、符号化対象ブロックにおける輝度信号の分散を用い、それに基づいて量子化ステップサイズを変更するようにしている。
【０００５】
しかし、単純に分散で比較した場合、平坦部とテクスチャ部、もしくは、平坦部と平坦部の境界がブロック内に存在した場合、その分散は、単なる平坦部に比べて大きくなる。このため、このまま、量子化ステップサイズを大きくすると、エッジ部での歪が目立つことになる。
【０００６】
そこで、ＭＰＥＧ−２テストモデルでは、符号化対象となる１６画素×１６画素のブロックを８画素×８画素の小ブロックに４分割し、その分割した小ブロックごとの分散を求めて、それらの４つの分散の内の最小の分散を符号化対象ブロックの分散としている。このような方法によれば、エッジ部でも平坦領域が存在すれば、分散が小さくなり、細かく量子化されることになる。
【０００７】
なお、以下では、例えば、１６画素×１６画素のブロックを１６×１６ブロックのように略記することがある。
【０００８】
図７に、ＭＰＥＧ−２テストモデルにおける従来の量子化ステップサイズ算出処理のフローチャートを示す。
【０００９】
このフローチャートに示すように、従来では、まず最初に、ステップ１００で示すように、符号化対象ブロックを８×８の小ブロックに４分割して、下記の式に従って、分割した小ブロックごとの分散var0,var1,var2,var3 を算出する。ここで、この式中に示すｓ(m,n) は、画素位置(m,n) の画素信号を示している。
【００１０】
【数１】
2005252527.tif 000003
【００１１】
続いて、ステップ１０１で示すように、この算出した４つの分散var0,var1,var2,var3 の最小値を特定することで、下記の式で定義されるアクティビティact を算出する。
【００１２】
【数２】
2005252527.tif 000004
【００１３】
続いて、ステップ１０２に示すように、下記の式に従って、量子化ステップサイズの変動量Ｎact を算出する。ここで、この式中に示す actavg は、直前の符号化済みフレームのアクティビティの平均値である。
【００１４】
【数３】
2005252527.tif 000005
【００１５】
続いて、ステップ１０３に示すように、量子化制御等で算出された基本の量子化ステップサイズＱＰ0 と、この求めた変動量Ｎact との積
ＱＰ＝ＱＰ0 ×Ｎact 
に従って、符号化対象ブロックの量子化ステップサイズＱＰを算出する。
【００１６】
このようにして、従来では、符号化対象となる１６画素×１６画素のブロックを８画素×８画素の小ブロックに４分割し、その分割した小ブロックごとの分散を求めて、それらの４つの分散の内の最小の分散を符号化対象ブロックの分散とすることで、視覚特性を考慮した量子化制御を実現しているのである。
【非特許文献１】ＭＰＥＧ−２テストモデル：MPEG-2, Test Model 5(TM5), Doc.ISO/IEC JTC1/SC29/WG11/N0400, Test Model Editing Committee, Apr.1993.
【発明の開示】
【発明が解決しようとする課題】
【００１７】
確かに、従来技術によると、視覚特性を利用した効率的な符号量割り当てが可能である。
【００１８】
しかしながら、従来技術を利用するには、小ブロックごとに分散を求めなければならない。このため、演算コストや画像情報参照のためのメモリアクセスコストが増加するという問題がある。
【００１９】
本発明はかかる事情に鑑みてなされたものであって、演算コストや画像情報参照のためのメモリアクセスコストを抑えつつ、視覚特性を考慮した量子化制御を実現できるようにする新たな量子化ステップサイズ変更技術の提供を目的とする。
【課題を解決するための手段】
【００２０】
この目的を達成するために、本発明の量子化ステップサイズ変更装置は、演算コストや画像情報参照のためのメモリアクセスコストを抑えつつ、視覚特性を考慮した量子化制御を実現できるようにするために、（１）予測符号化モードの決定処理を行い、そのモード決定時の予測残差信号電力を記憶手段に蓄積する実行手段と、（２）記憶手段に蓄積される予測残差信号電力に基づいて、符号化対象ブロックの特徴量を推定する推定手段と、（３）推定手段の推定した特徴量に基づいて、符号化対象ブロックの量子化ステップサイズの変動量を算出する算出手段と、（４）算出手段の算出した変動量に基づいて、符号化対象ブロックの量子化ステップサイズを変更する変更手段とを備えるように構成する。
【００２１】
この構成を採るときにあって、過去または現符号化フレームの予測残差信号電力の統計量（平均値、中央値、最頻値など）を算出する算出手段を備えることがあり、この場合、変更手段は、この算出手段の算出した統計量に基づいて、量子化ステップサイズの最大変動量を制御することになる。
【００２２】
以上の各処理手段が動作することで実現される本発明の量子化ステップサイズ変更方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２３】
このように構成される本発明の量子化ステップサイズ変更装置は、符号化対象ブロックが与えられると、先ず最初に、予測符号化モードの決定処理を行い、そのモード決定時の予測残差信号電力を記憶手段に蓄積する。
【００２４】
この予測符号化モードの決定にあたって、符号化対象ブロックが予測単位となる場合の予測符号化モードを評価するときには、符号化対象ブロックを小ブロックに分割して、それらの小ブロック毎に予測残差信号電力を算出し、それらの予測残差信号電力の和に基づいて予測符号化モードを評価する。
【００２５】
一方、符号化対象ブロックに含まれるブロックが予測単位となる場合の予測符号化モードを評価するときには、符号化対象ブロックを小ブロックに分割し、さらに、各小ブロックを予測符号化モードの単位となるブロックに分割して、それらのブロック毎に予測残差信号電力を算出して予測符号化モードを評価するとともに、それらの予測残差信号電力の和を算出することで各小ブロックの予測残差信号電力を算出する。
【００２６】
このとき、予測符号化モードの予測単位となるブロックの予測残差信号電力については、変動処理以前の量子化ステップサイズを使って復号画像を生成し、それを予測信号として用いて算出したり（ただし、符号化処理については、変動後の量子化ステップサイズを用いることになる）、原画像を予測信号として用いて算出することになる。
【００２７】
ここで、符号化対象ブロックを分割する小ブロック毎に予測残差信号電力を算出するようにしているのは、ＭＰＥＧ−２テストモデルにおける従来の量子化ステップサイズ算出処理に合わせるためである。
【００２８】
本発明の量子化ステップサイズ変更装置は、これらの評価に基づいて、予測符号化モードを決定することになるが、その決定した予測符号化モードについて求めた小ブロック毎の予測残差信号電力を記憶手段に蓄積しておく。
【００２９】
続いて、本発明の量子化ステップサイズ変更装置は、記憶手段に蓄積される予測残差信号電力が輝度値の分散に相当する値を示していることに着目して、記憶手段に蓄積される予測残差信号電力の中の最小値を符号化対象ブロックの特徴量として推定することで、符号化対象ブロックの特徴量を推定する。
【００３０】
ここで、符号化対象ブロックを構成する小ブロックの予測残差信号電力の中の最小値を符号化対象ブロックの特徴量として推定するようにしているのは、ＭＰＥＧ−２テストモデルにおける従来の量子化ステップサイズ算出処理に合わせるためである。
【００３１】
続いて、本発明の量子化ステップサイズ変更装置は、推定した特徴量に基づいて、符号化対象ブロックの量子化ステップサイズの変動量を算出し、その変動量に基づいて、符号化対象ブロックの量子化ステップサイズを変更する。
【発明の効果】
【００３２】
本発明によれば、フレーム内符号化モード決定の際に算出した予測残差信号電力を利用することで、量子化ステップサイズを変更できるようになり、輝度値の分散を求める必要がないことから、演算コストやメモリアクセスコストを抑えつつ、視覚特性を考慮した量子化制御を実現できるようになる。
【００３３】
また、本発明によれば、この実現にあたって、予測残差信号電力による輝度値の分散の推定が困難な場合でも、量子化ステップサイズの変動量を抑制することで、誤った量子化ステップサイズの設定を防止できるようになる。
【発明を実施するための最良の形態】
【００３４】
以下、実施の形態に従って本発明を詳細に説明する。
【００３５】
本発明は、量子化ステップサイズの変動量の計算コスト等を削減するため、ITU-T H.264 （以下、Ｈ.264と略記する）のようなフレーム内符号化モードの決定において算出した予測残差信号電力から、符号化対象ブロックの分散を推定し、量子化ステップサイズの変動量Ｎact を算出するという構成を採ることを特徴とする。
【００３６】
図１に、本発明のフローチャートを示す。
【００３７】
このフローチャートに示すように、本発明では、符号化対象ブロックが与えられると、まず最初に、ステップ１０で示すように、通常の符号化処理の一部として実行されるフレーム内符号化モード決定時に算出した予測残差信号電力をメモリに蓄積しておく。
【００３８】
すなわち、符号化対象ブロックが与えられると、予測残差信号電力を算出し、それに基づいて予測符号化モードを決定するときに、その決定した予測符号化モードについて算出した予測残差信号電力をメモリに蓄積しておくのである。
【００３９】
続いて、ステップ１１で示すように、この蓄積した予測残差信号電力に基づいて、従来技術のアクティビティact に相当するアクティビティを算出する。
【００４０】
続いて、ステップ１２で示すように、この算出したアクティビティに基づいて、量子化ステップサイズの変動量Ｎact を算出する。
【００４１】
続いて、ステップ１３で示すように、この算出した量子化ステップサイズの変動量Ｎact と、ベースとなる量子化ステップサイズ（上述したＱＰ0 ）との乗算値から、符号化対象ブロックの量子化ステップサイズを算出する。
【００４２】
そして、本発明では、このようにして算出した量子化ステップサイズを用いて、符号化対象ブロックの符号化処理を行うことになる。
【００４３】
Ｈ.264では、フレーム内符号化を行う際、符号化対象ブロックの既符号化近傍ブロックの情報から予測信号を生成し、予測残差を符号化している。フレーム内符号化は、同一フレーム内の符号化済み画像信号から、符号化対象ブロックの画像信号を予測する方法である。
【００４４】
Ｈ.264では、予測を行う単位（以下、予測単位と称する）を４×４ブロックまたは１６×１６ブロックとして、フレーム内予測を行うようにしている。
【００４５】
ここで、１６×１６ブロックを予測単位とする場合には、図２に示すように、垂直方向予測モード、水平方向予測モード、ＤＣ予測モード、Ｐlane予測モードという４種類の予測符号化モードを定義している。一方、４×４ブロックを予測単位とする場合には、図３に示すように、８種類の予測方向で定義される予測モードとＤＣ予測モードとで構成される８種類の予測符号化モードを定義している。
【００４６】
Ｈ.264では、予測単位および予測モードを決定する際に、各モードでの予測残差信号電力およびオーバヘッド部の符号量（どのような形式で符号化を行ったのかを示す情報を符号化したもので、可変長符号化される）を考慮して、最適なフレーム内符号化モード（予測符号化モード）を決定する。
【００４７】
このとき、予測残差信号電力は、符号化対象ブロックの信号ｓ(i,j) と予測信号ｐ(i,j) との距離で求める。１６×１６画素のブロックでは、予測残差信号電力Ｄは次式より求めることができる。ここで、ｄ(x,y) は距離の評価関数である。
【００４８】
【数４】
2005252527.tif 000006
【００４９】
例えば、差分絶対値和（ＳＡＤ：Sum of Absolute Difference) であれば、上式は次式に示すものとなる。
【００５０】
【数５】
2005252527.tif 000007
【００５１】
この式の右辺に現れる予測信号ｐ(i,j) は、図２や図３に示したＤＣ予測モードの場合、一定値となる。このことから分かるように、予測残差信号電力は、符号化対象ブロックの分散を推定する性質を有している。
【００５２】
この点に着目して、本発明では、量子化ステップサイズの変動量Ｎact の計算コスト等を削減するため、Ｈ.264のようなフレーム内符号化モード決定の際に算出した予測残差信号電力から、符号化対象ブロックの分散を推定し、量子化ステップサイズの変動量Ｎact を算出するという構成を採るのである。
【００５３】
さらに、本発明では、この量子化ステップサイズの変動量Ｎact を算出するにあたって、符号化対象ブロックを４つの小ブロック（後述する図６（ａ）に示すＰart ０〜３）に分割し、各小ブロックの予測残差信号電力Ｄi (i=0,1,2,3) から推定する。これにより、ＭＰＥＧ−２テストモデルの量子化ステップサイズ変動量算出方法に近い形で推定が可能となり、推定精度を向上できることになる。
【００５４】
本発明では、予測残差信号電力から量子化ステップサイズの変動量Ｎact を算出するという構成を採る。これは、符号化対象ブロック内の符号化済み小ブロックの復号画像を予測信号として用いることができないことを意味する。復号画像を得ることができるということは、既に量子化ステップサイズ（符号化対象ブロックを単位にして決められるもので、本発明で求めようとするもの）が決められていなくてはならないからである。
【００５５】
Ｈ.264の１６×１６ブロックのフレーム内予測については、図３から分かるように、符号化対象ブロックの外にあるＡ〜Ｌ，Ｏの復号画像を予測画像として用いることから、この問題は起こらないものの、Ｈ.264の４×４ブロックのフレーム内予測については、符号化対象ブロック内の符号化済み４×４ブロックの復号画像を予測信号とすることから、この問題が起こることになる。
【００５６】
例えば、図３の４×４ブロックｆは、同一符号化対象ブロック内の４×４ブロックａ〜ｅの復号画像を予測信号とする。このことは、４×４ブロック予測で予測方向を決定する際に、符号化対象ブロックの量子化ステップサイズ（本発明で求めようとするもの）が既知である必要がある。したがって、このままでは、量子化ステップサイズを予測符号化モード決定時の予測残差信号電力から決定するという本発明を実現することは不可能である。
【００５７】
そこで、本発明では、４×４ブロック予測については、以下の２通りのいずれかの方法を用いることで、量子化ステップサイズを予測符号化モード決定時の予測残差信号電力から決定できるようにする。
【００５８】
第１の方法は、予測符号化モードの決定を原画像で行うという方法を用いる。予測符号化モードの決定を復号画像ではなく、原画像で行うのである。
【００５９】
第２の方法は、予測符号化モードの決定を変動前の量子化ステップサイズ（上述したＱＰ0 ）を用いて行うという方法を用いる。最終的な復号画像とは異なるが、原画像を利用する場合に比べ、より復号画像に近い信号を利用できる。
【００６０】
この２つの方法のいずれかの方法を用いることで、本発明では、４×４ブロックの予測符号化モードの決定を、量子化ステップサイズの変動量Ｎact の決定前に実行できることになる。
【００６１】
ところで、テクスチャ部でも予測効率が高い場合、すなわち、フレーム全体で予測残差信号電力が小さくなる場合、予測残差信号電力と輝度信号の分散との相関が低下する。この場合には、量子化ステップサイズの変動量Ｎact を小さくする必要がある。
【００６２】
そこで、本発明では、予測残差信号電力の統計量（平均値、中央値、最頻値など）が小さい場合には、量子化ステップサイズの変動量Ｎact を小さくするようにしている。
【実施例１】
【００６３】
以下、実施例に従って本発明を詳細に説明する。
【００６４】
本実施例では、予測残差信号電力を差分絶対値和としている。符号化対象ブロックのブロックサイズは１６×１６画素とし、Ｈ.264と同様、予測単位は４×４ブロックと１６×１６ブロックから選択する。
【００６５】
また、本実施例では、予測残差信号電力の統計量として平均値を用いて、量子化ステップサイズの変動量の変動度合いＭを決定する。アクティビティの平均値Ａｃｔavg および予測残差信号電力の平均値ＳＡＤavg は、直前に符号化済みフレームの値を利用する。
【００６６】
さらに、本実施例では、符号化対象ブロックを４つの８×８画素の小ブロック分割し、各小ブロック毎に算出される差分絶対値和から量子化ステップサイズの変動量Ｎact を決定する。ベースとなる量子化ステップサイズＱＰfrについてはフレーム内で一定とし、４×４ブロックの予測方向は、この量子化ステップサイズＱＰfrを利用して決定する。
【００６７】
図４に、本発明を具備する量子化ステップサイズ変更装置１の装置構成の一実施例を図示する。
【００６８】
この図に示すように、本発明の量子化ステップサイズ変更装置１は、予測符号化モード決定部１０と、小ブロック予測残差信号電力算出部１１と、アクティビティ算出部１２と、量子化ステップサイズ変動量算出部１３と、量子化ステップサイズ算出部１４とを備える。                                                                                  
【００６９】
この予測符号化モード決定部１０は、予測残差信号電力算出部１００とモード決定部１０１と記憶部１０２とを備えて、符号化対象ブロックが与えられると、予測残差信号電力を算出し、それに基づいて予測符号化モードを決定して、その決定した予測符号化モードについて算出した予測残差信号電力を記憶部１０２に蓄積する処理を実行する。
【００７０】
小ブロック予測残差信号電力算出部１１は、記憶部１０２に蓄積される予測残差信号電力を参照して、符号化対象ブロックを４分割した各４×４ブロックの持つ予測残差信号電力を算出する。
【００７１】
アクティビティ算出部１２は、小ブロック予測残差信号電力算出部１１の算出した各４×４ブロックの持つ予測残差信号電力に基づいて、符号化対象ブロックのアクティビティを算出する。
【００７２】
量子化ステップサイズ変動量算出部１３は、アクティビティ算出部１２の算出したアクティビティに基づいて、符号化対象ブロックの量子化ステップサイズの変動量Ｎact を算出する。
【００７３】
量子化ステップサイズ算出部１４は、ベースとなる量子化ステップサイズＱＰfrと、量子化ステップサイズ変動量算出部１３の算出した量子化ステップサイズの変動量Ｎact とを乗算することで、符号化対象ブロックの量子化ステップサイズを算出する。
【００７４】
図５に、このように構成される本発明の量子化ステップサイズ変更装置１の実行するフローチャートを図示する。
【００７５】
次に、このフローチャートに従って、本発明の量子化ステップサイズ変更装置１の実行する処理について詳細に説明する。
【００７６】
本発明の量子化ステップサイズ変更装置１は、符号化対象ブロックが与えられると、まず最初に、ステップ２０で、予測残差信号電力を算出する。
【００７７】
このとき、予測単位が１６×１６ブロックの場合には、図６（ａ）に示すように、１６×１６ブロックの符号化対象ブロックを４つの８×８ブロックに分割して、各８×８ブロック毎に予測残差信号電力を算出する。一方、予測単位が４×４ブロックの場合には、図６（ｂ）に示すように、１６×１６ブロックの符号化対象ブロックを４つの８×８ブロックに分割し、さらに、これらの各８×８ブロックを４つの４×４ブロックに分割して、各４×４ブロック毎に予測残差信号電力を算出する。
【００７８】
続いて、ステップ２１で、算出した予測残差信号電力に基づいて、予測符号化モードを決定する。このとき、その決定した予測符号化モードについて算出した予測残差信号電力を記憶部１０２に記録しておく。
【００７９】
続いて、ステップ２２で、その決定した予測符号化モードの予測単位が１６×１６ブロックであるのか否かを判断する。
【００８０】
この判断処理に従って、決定した予測符号化モードの予測単位が１６×１６ブロックであることを判断するときには、ステップ２３に進んで、８×８ブロック毎に算出した予測残差信号電力を、そのまま符号化対象ブロックの持つ４つの予測残差信号電力として特定する。
【００８１】
すなわち、予測単位が１６×１６ブロックの場合には、図６（ａ）に示すように、符号化対象ブロックを４つの８×８ブロック（Ｐart Ａ〜Ｄ）に分割して、各８×８ブロック毎に、次式に示す予測残差信号電力ＳＡＤ0 〜ＳＡＤ3 を算出するので、それをそのまま符号化対象ブロックの持つ４つの予測残差信号電力として特定するのである。
【００８２】
【数６】
2005252527.tif 000008
【００８３】
ここで、ｓ(i,j) は符号化対象ブロック内の位置(i,j) の画素値、ｐ(i,j) はその位置(i,j) における予測値である。このように、１６×１６ブロックサイズでの各小ブロックの予測残差信号電力については、フレーム内符号化モード決定時に４つの小ブロックに分割して求めておくことから、改めて算出する必要はない。
【００８４】
一方、ステップ２２の判断処理に従って、決定した予測符号化モードの予測単位が４×４ブロックであることを判断するときには、ステップ２４に進んで、４×４ブロック毎に算出した予測残差信号電力の４つの和を算出することで、８×８ブロック毎の予測残差信号電力を得て、それを符号化対象ブロックの持つ４つの予測残差信号電力として特定する。
【００８５】
すなわち、予測単位が４×４ブロックの場合には、図６（ｂ）に示すように、符号化対象ブロックを４つの８×８ブロック（Ｐart Ａ〜Ｄ）に分割し、さらに、これらの各８×８ブロックを４つの４×４ブロック（Ｂlockａ〜ｐ）に分割して、各４×４ブロック毎に予測残差信号電力を算出するので、次式に示すように、それらの予測残差信号電力の４つの和を算出することで、８×８ブロック毎の予測残差信号電力ＳＡＤ0 〜ＳＡＤ3 を得て、それを符号化対象ブロックの持つ４つの予測残差信号電力として特定するのである。
【００８６】
【数７】
2005252527.tif 000009
【００８７】
続いて、ステップ２５で、このようにして算出した４つの予測残差信号電力ＳＡＤ0 〜ＳＡＤ3 に基づいて、次式に従ってアクティビティact を算出する。
【００８８】
【数８】
2005252527.tif 000010
【００８９】
続いて、ステップ２６で、この算出したアクティビティact と、直前のフレーム（もしくは現フレーム）のアクティビティの平均値Ａctavg とから、次式に従って量子化ステップサイブの変動量Ｎact を算出する。
【００９０】
【数９】
2005252527.tif 000011
【００９１】
ここで、Ｍは、直前に符号化済みフレームの予測残差信号電力の平均値ＳＡＤavg を使い、次式に従って算出される。
【００９２】
【数１０】
2005252527.tif 000012
【００９３】
このＭの値については２を超えないように制限しているが、Ｍの最大値を２としているのは、ブロック間での量子化ステップサイズの急激な変動を抑えるためである。
【００９４】
続いて、ステップ２７で、この算出した量子化ステップサイブの変動量Ｎact と、量子化制御等で算出された基本の量子化ステップサイズＱＰfrとの積
ＱＰ＝ＱＰfr×Ｎact 
に従って、実際に量子化に用いる符号化対象ブロックの量子化ステップサイズＱＰを算出する。
【００９５】
そして、この後、このようにして算出した量子化ステップサイズＱＰを用いて、符号化対象ブロックの符号化処理が行われることになる。
【００９６】
以上に説明した実施例では、フレーム内符号化に関してのみ記述しているが、フレーム間予測を行う場合でも、予測符号化モードの決定を実施する場合は、フレーム内での予測残差信号電力を算出するため、本発明が利用できる。
【００９７】
また、アクティビティの平均値Ａctavg および予測残差信号電力の平均値ＳＡＤavg は、直前に符号化済みフレームのアクティビティの平均値としているが、現符号化対象フレームの値を利用することも可能である。
【００９８】
また、符号化対象フレームの全ブロックについて、最初に予測符号化モードの決定を行うことでも実現可能である。
【図面の簡単な説明】
【００９９】
【図１】本発明のフローチャートである。
【図２】予測符号化モードの説明図である。
【図３】予測符号化モードの説明図である。
【図４】本発明の量子化ステップサイズ変更装置の装置構成の一実施例である。
【図５】本発明の量子化ステップサイズ変更装置の実行するフローチャートである。
【図６】本発明の処理の説明図である。
【図７】従来の量子化ステップサイズ算出処理のフローチャートである。
【符号の説明】
【０１００】
１      量子化ステップサイズ変更装置
１０    予測符号化モード決定部
１１    小ブロック予測残差信号電力算出部
１２    アクティビティ算出部
１３    量子化ステップサイズ変動量算出部
１４    量子化ステップサイズ算出部
１００  予測残差信号電力算出部
１０１  モード決定部
１０２  記憶部
【図１】
2005252527.tif 000013
【図２】
2005252527.tif 000014
【図３】
2005252527.tif 000015
【図４】
2005252527.tif 000016
【図５】
2005252527.tif 000017
【図６】
2005252527.tif 000018
【図７】
2005252527.tif 000019