(57)【要約】【課題】複数の領域からなるピクチャに対してそれぞれ符号化を行う際に，領域境界で画質の食い違いが生じないようにし，視覚的な画質が良好で効率のよい動画像符号化を実現する。【解決手段】目標符号量決定部１１がピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じてピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を求め，その重み付け値により各領域の目標符号量を決定し，符号化部１２〜１５が，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めた量子化パラメータの重み付け値を，各領域の平均量子化パラメータを基準とした重み付け値に換算して，符号化ブロックの量子化パラメータの重み付けを行い，各符号化ブロックの最終的な量子化パラメータを決定し，符号化を行う。【選択図】図４
2005269484.tif 000002
【特許請求の範囲】
【請求項１】
複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とを備え，複数の領域からなるピクチャに対して符号化を行う動画像符号化装置において，
前記目標符号量決定部は，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する手段を備え，
前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めた量子化パラメータの重み付け値を，各領域の平均量子化パラメータを基準とした重み付け値に換算して，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する手段を備える
ことを特徴とする動画像符号化装置。
【請求項２】
複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とを備え，複数の領域からなるピクチャに対して符号化を行う動画像符号化装置において，
前記目標符号量決定部は，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する手段を備え，
前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めたピクチャ全体に対する各符号化ブロックの量子化パラメータの重み付け値を，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値で除算した値を用いて，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する手段を備える
ことを特徴とする動画像符号化装置。
【請求項３】
複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とによって，複数の領域からなるピクチャに対して符号化を行う動画像符号化方法において，
前記目標符号量決定部が，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する過程と，
前記符号化部が，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めた量子化パラメータの重み付け値を，各領域の平均量子化パラメータを基準とした重み付け値に換算して，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する過程とを有する
ことを特徴とする動画像符号化方法。
【請求項４】
複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とによって，複数の領域からなるピクチャに対して符号化を行う動画像符号化方法において，
前記目標符号量決定部が，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する過程と，
前記符号化部が，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めたピクチャ全体に対する各符号化ブロックの量子化パラメータの重み付け値を，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値で除算した値を用いて，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する過程とを有する
ことを特徴とする動画像符号化方法。
【請求項５】
請求項３または請求項４に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラム。
【請求項６】
請求項３または請求項４に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，複数の領域からなるピクチャに対して符号化を行う動画像符号化技術に関し，特に，符号化対象となる画像の各領域毎の目標符号量を決定し，各符号化部がその目標符号量に基づいて各領域の符号化を行い，かつ各符号化ブロックごとに画像のアクティビティに応じて量子化パラメータの重み付けを行う動画像符号化技術に関するものである。
【背景技術】
【０００２】
ＭＰＥＧ−２のＴｅｓｔ  Ｍｏｄｅｌ  ５（以下，ＴＭ５という）では，符号量制御は，以下のＳＴＥＰ１〜３の３つの段階に分けられる（例えば，非特許文献１参照）。
・ＳＴＥＰ１では，ビットレートやピクチャ発生符号量などから次のピクチャの目標符号量を決定する。
・ＳＴＥＰ２では，与えられたピクチャ目標符号量を達成するように，マクロブロックごとに発生符号量のフィードバック制御を行い，各マクロブロックのベースの量子化パラメータを決定する。
・ＳＴＥＰ３では，ＳＴＥＰ２で決定された各マクロブロックのベースの量子化パラメータに対して重み付けを行い，最終的なそのマクロブロックの量子化パラメータを決定する。
【０００３】
ＳＴＥＰ１の計算はピクチャにつき１回，ＳＴＥＰ２とＳＴＥＰ３はマクロブロックごとに毎回行われる。この重み付け値（Ｎ-act）は，ピクチャ全体のアクティビティに対するそのマクロブロックのアクティビティの偏差に応じて決定され，１／２倍から２倍の間の値である。
【０００４】
ＴＭ５では，マクロブロックのアクティビティをそのマクロブロック内のブロックの輝度分散のうち最小のものと定義している。このような量子化パラメータの重み付けにより，視覚的に量子化歪が目立ちにくいアクティビティの大きなマクロブロックでは量子化パラメータ（量子化ステップ）が大きく設定され，逆に目立ちやすいアクティビティの小さなマクロブロックでは量子化パラメータが小さく設定されるので，視覚的に画質が低下することなく符号化効率の向上を図ることができる。
【０００５】
一方，画面を複数の領域に分け，それぞれに対応する符号化部で並列に符号化を行う場合に，毎ピクチャごとにピクチャ全体の目標符号量を決定した後，それを各領域に分配して各領域毎の目標符号量を決定し，各符号化部がその目標符号量に従って符号化処理を行う方法がある。
【０００６】
この際に，各分割領域ｉにおける最も最近の過去の同種ピクチャタイプの量子化パラメータＱi と発生符号量Ｓi の積をその領域ｉの複雑さ指標Ｘi とし，領域間の複雑さ指標Ｘi の比率に比例して，ピクチャ目標符号量を各領域に配分する。そして，各符号化部において配分された目標符号量に従って，それぞれ符号量制御を行うことにより，各分割領域での平均量子化パラメータのレベルがほぼ同程度になり，分割領域間の画質の偏りがない良好な符号化結果を得ることができる。このような方法の例として，下記の特許文献１に記載されているものなどがある。
【特許文献１】特許第３３９３５９５号公報
【非特許文献１】"ISO/IEC 13838-2 JTC1 SC29 WG11/93-400 MPEG-2 TestModel5"
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述のように，各分割領域ｉにおける平均量子化パラメータが同程度になるように目標符号量が与えられた場合に，各符号化部においてそれぞれＳＴＥＰ３によりピクチャ全体の平均アクティビティに対する各マクロブロックのアクティビティに応じた重み付け（１／２〜２倍）を行うと，ピクチャ全体の平均アクティビティに対して高いアクティビティを持つマクロブロックが多く存在する領域においては，量子化パラメータの重み付け値Ｎ-actが１以上の値をとるマクロブロックが多くなり，符号量が少なめになる。結果として，ＳＴＥＰ２のフィードバック制御により，ベースの量子化パラメータが下がり，量子化パラメータの重み付けが相殺されてしまう。
【０００８】
同様に，ピクチャ全体の平均アクティビティに対して低いアクティビティを持つマクロブロックが多く存在する領域においては，量子化パラメータの重み付け値Ｎ-actは１以下の値をとるマクロブロックが多くなり，符号量が多めにでる。結果として，ＳＴＥＰ２のフィードバック制御により，ベースの量子化パラメータが上がり，量子化パラメータの重み付けが相殺されてしまう。
【０００９】
例えば，単一の符号化装置で符号量制御を行った場合に，画面全体の平均量子化パラメータ（ＳＴＥＰ２による量子化パラメータ），および本来のＳＴＥＰ３による量子化パラメータが図１（Ａ）に示すようなレベルになる画像を，複数の領域に分割して同様の符号量制御を行いながら符号化した場合を考える。
【００１０】
上述したように，各分割領域ｉにおける平均量子化パラメータが同程度になるように目標符号量を与え，各符号化部がその目標符号量に従って符号化処理を行うと，図１（Ｂ）に示すように，各領域でＳＴＥＰ３の重み付けを行った後の各分割領域の量子化パラメータの平均値が，領域間でほぼ一定になってしまう。
【００１１】
従って，本来意図していた，ピクチャ全体の平均アクティビティに対する各マクロブロックのアクティビティの偏差に応じた量子化パラメータの重み付けを行うことができないという問題があった。また，その際に領域間のベースの量子化パラメータに食い違いが生じるために，領域境界で画質の食い違いが生じ，視覚的に目立つという問題があった。
【００１２】
本発明は，上記従来技術の問題点を解決し，複数の領域からなるピクチャに対して符号化を行う際に，ピクチャ全体のアクティビティに対する各マクロブロックのアクティビティの偏差に応じて量子化パラメータの重み付けを行い，領域境界で画質の食い違いが生じない視覚的に良好な復号画像が得られる動画像の符号化を実現することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために，本発明は，目標符号量配分において，各分割領域ｉの平均量子化パラメータが同程度になるように配分するのではなく，画面全体の平均アクティビティに対する各分割領域ｉの平均アクティビティの偏差に応じた重み付け値（Ｎ-actglobali ）を求め，その重み付けがなされた平均量子化パラメータとなるように目標符号量を配分する。この場合，下記式（１）〜式（４）のような式に従って配分を決定する。
【００１４】
【数１】
2005269484.tif 000003
すなわち，式（３）のように，分割領域ｉの過去の同種ピクチャタイプのピクチャの符号化結果の発生符号量Ｓi と平均量子化パラメータＱi の積をその領域の複雑さ指標Ｘi とし，その複雑さ指標Ｘi に比例した配分率にするのではなく，複雑さ指標Ｘi をＮ-actglobali で除算した値に比例した配分率にする。このため，式（４）に示すように，直前の同種ピクチャの分割領域ｉ内のアクティビティの平均値 avg-actlocaliの，画面全体のアクティビティの平均値 avg-actglobalに対する偏差に応じた重み付け値であるＮ-actglobali を求める。そして，各分割領域ｉにおけるＸi ／Ｎ-actglobali の値から，式（２）を用いて，各分割領域ｉに対する目標符号量配分率αi を求め，式（１）に示すように目標符号量配分率αi とピクチャの目標符号量Ｔとの積をとって各分割領域ｉの目標符号量Ｔi を決定する。
【００１５】
上記のように，本発明では，ピクチャの目標符号量Ｔを各分割領域ｉに配分する際に，複雑さ指標Ｘi に比例した配分率にするのではなく，複雑さ指標Ｘi をＮ-actglobali で除算した値に比例した配分率にする。これにより，目標符号量Ｔi が配分された領域の平均量子化パラメータが画面全体の平均の量子化パラメータに対してＮ-actglobali を乗じたレベルになることが期待される。
【００１６】
さらに，各符号化部における各マクロブロックごとの上記ＳＴＥＰ３は，式（５）〜式（７）を用いて，下記のように行う。
【００１７】
【数２】
2005269484.tif 000004
まず，式（７）により，画面全体の平均アクティビティに対するマクロブロックｊのアクティビティ偏差に応じた重み付け値であるＮ-actj ’を求める。式（７）において，avg-act globalは，直前の同種のピクチャタイプのピクチャの画面全体のアクティビティの平均値である。
【００１８】
そして，式（６）に示すように，重み付け値Ｎ-actj ' を目標符号量の配分時に用いた重み付け値Ｎ-actglobali で除算し，各分割領域ｉの平均量子化パラメータを基準とした値に換算した重み付け値Ｎ-actj を求める。次に，式（５）に示すように，Ｎ-actj をマクロブロックｊのベースの量子化パラメータｑj に乗じて，最終的なマクロブロックｊの量子化パラメータmquantj を求める。これにより，画面全体の正規化された本来のＳＴＥＰ３の効果が期待できる。
【００１９】
図２は，上記各重み付け値と平均量子化パラメータの関係を示す図である。ピクチャの平均量子化パラメータ，領域ｉの平均量子化パラメータ，マクロブロックｊの平均量子化パラメータに対して，重み付け値Ｎ-actj ’，Ｎ-actglobali ，Ｎ-actj は，図２に示すような関係がある。そこで，式（７）により求めたＮ-actj ’をＮ-actglobali で除算することにより，各分割領域の平均量子化パラメータを基準とした値に換算した重み付け値Ｎ-actj を求めることができる。
【００２０】
図３は，本発明による符号化結果を示す図である。図３に示すように，上述したＴＭ５のＳＴＥＰ２のフィードバック制御後の各平均量子化パラメータのレベルは，各分割領域毎に異なっている。従って，本発明によれば，画面全体のアクティビティに対する各マクロブロックのアクティビティの偏差に応じた量子化パラメータの重み付けが実現されることがわかる。
【００２１】
なお，例えば，ＳＴＥＰ３において画面全体のアクティビティを基準とした各マクロブロックのアクティビティの偏差から求めた重み付け値をそのまま用いる方法が考えられるが，これでは，各分割領域の平均の量子化パラメータに１／２〜２倍の重み付けがかかっているところにさらにマクロブロック単位で１／２〜２倍の重み付けがかかってしまうので正しい効果が期待できない。
【００２２】
以上のように，本発明は，複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とを備え，複数の領域からなるピクチャに対して符号化を行う動画像符号化装置において，前記目標符号量決定部は，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定し，前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めた量子化パラメータの重み付け値を，各領域の平均量子化パラメータを基準とした重み付け値に換算して，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化することを特徴とする。
【００２３】
また，前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めたピクチャ全体に対する各符号化ブロックの量子化パラメータの重み付け値を，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値で除算した値を用いて，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化することを特徴とする。
【発明の効果】
【００２４】
本発明によれば，画像の各領域毎の目標符号量を決定し，各符号化部がその目標符号量に基づいて各領域の符号化を行う方式において，画面全体のアクティビティに対する各マクロブロックのアクティビティの偏差に応じて量子化パラメータの重み付けを行うことができ，視覚的な画質がよく効率のよい動画像符号化を実現できる。
【発明を実施するための最良の形態】
【００２５】
以下に，図を用いて，本発明の実施の形態を説明する。図４は，本発明の動画像符号化装置の構成例を示す図である。動画像符号化装置１は，各分割領域の目標符号量を決定する目標符号量決定部１１と，各分割映像Ａ〜Ｄの動画像符号化を行う符号化部１２〜１５と，各符号化部１２〜１５において生成されたビットストリームを再構成するストリーム再構成部１６とから構成される。
【００２６】
図５は，動画像符号化処理フローの一例を示す図である。目標符号量決定部１１においては，ＴＭ５のＳＴＥＰ１に準拠したフレームレート制御アルゴリズムにより，毎ピクチャの目標符号量Ｔを決定する（図５のＳ１）。
【００２７】
目標符号量決定部１１において，さらに，目標符号量Ｔを各分割映像Ａ〜Ｄの過去の符号化結果に基づいて分配する。すなわち，下記の式（３）に示すように，分割領域ｉ（ｉ＝Ａ〜Ｄ）の画像の過去の同種ピクチャタイプのピクチャの符号化結果の発生符号量Ｓi と平均量子化パラメータＱi の積を，その領域の複雑さ指標Ｘi とする。
【００２８】
また，式（４）に示すように，直前のピクチャの各分割領域ｉのアクティビティの平均値 avg-actlocaliの画面全体のアクティビティの平均値 avg-actglobalに対する偏差から，Ｎ-actglobali を求める。そして，式（２）’に示すように，各分割領域ｉにおけるＸi ／Ｎ-actglobali の値から，各分割領域ｉに対する目標符号量配分率αi を求め，式（１）に示すように，目標符号量配分率αi とピクチャの目標符号量Ｔとの積をとって各分割領域ｉの目標符号量Ｔi を決定し，その各目標符号量Ｔi を各分割領域ｉの画像を符号化する符号化部１２〜１５に伝達する（Ｓ２）。
【００２９】
【数３】
2005269484.tif 000005
各符号化部１２〜１５は，与えられた目標符号量Ｔi に従って，符号化を行う。この際に発生符号量が多くなりすぎたり，少なくなりすぎたりしないように，マクロブロックごとに発生符号量をフィードバックして，各マクロブロックｊのベースの量子化パラメータを決める。このアルゴリズムに関しては，ＴＭ５のＳＴＥＰ２に準拠する。ｊ番目のマクロブロックの量子化パラメータをｑj とするとき，そのマクロブロックのアクティビティに応じた重み付け値Ｎ-actj を求め（Ｓ３，Ｓ４），下記の式（５）に示すようにｑj にＮ-actj を乗じて，そのマクロブロックの最終的な量子化パラメータmquantj を決定する（Ｓ５）。Ｎ-actj は，式（７）を用いて，画面全体の平均アクティビティに対するマクロブロックｊのアクティビティの偏差に応じて決定した重み付け値Ｎ-actj ’を求め，この重み付け値Ｎ-actj ’を，式（６）のように目標符号量の配分時に用いた重み付け値Ｎ-actglobali で除算した値とする。
【００３０】
【数４】
2005269484.tif 000006
次に，同マクロブロックｊの発生符号量を求め（Ｓ６），ｊをインクリメントする（Ｓ７）。上記ステップＳ３〜Ｓ７の処理を，分割映像（領域ｉ）内のすべてのマクロブロックについて繰り返す（Ｓ８）。
【００３１】
各符号化部１２〜１５において，分割映像（領域ｉ）のすべてのマクロブロックの符号化が終了したら，各領域ｉの平均量子化パラメータ，発生符号量，平均アクティビティ値を目標符号量決定部１１に送信し（Ｓ９），そのピクチャの符号化がすべて終了するまで（Ｓ１０），目標符号量決定部１１は次のピクチャの目標符号量Ｔの決定を行い，以降のピクチャについても以上と同様の処理を繰り返す。
【００３２】
このようにして生成したビットストリームは，ストリーム再構成部１６において再構成され，１本のストリームとして出力される。このようにして符号化することで，分割映像の画像間で量子化パラメータのレベルに食い違いが生じずに，各マクロブロックのアクティビティに応じた量子化パラメータの画面全体での重み付けが実現され，良好な画質を得ることができる。
【００３３】
以上の動画像符号化の処理は，ハードウェアまたはファームウェアによって実現することができる。また，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００３４】
【図１】従来技術による符号量制御を示す図である。
【図２】各重み付け値と平均量子化パラメータの関係を示す図である。
【図３】本発明による符号量制御を示す図である。
【図４】動画像符号化装置の構成例を示す図である。
【図５】動画像符号化処理フローの一例を示す図である。
【符号の説明】
【００３５】
１  動画像符号化装置
１１  目標符号量決定部
１２，１３，１４，１５  符号化部
１６  ストリーム再構成部
【図１】
2005269484.tif 000007
【図２】
2005269484.tif 000008
【図３】
2005269484.tif 000009
【図４】
2005269484.tif 000010
【図５】
2005269484.tif 000011