(57)【要約】  映像を符号化して、予め定めた目標ビットレートに符号化ビットレートを近づける制御を行う映像符号化で用いられる量子化制御方法であって、目標符号量と発生符号量との差分を計測し、予め定めた条件が発生したのか否かを検出し、前記条件の発生を検出した場合に、量子化ステップサイズを増減させる量となるフィードバック量の変更量を決定して、その決定した変更量に基づいて、フィードバック量を変更し、前記計測した差分符号量と前記変更したフィードバック量とに基づいて、量子化ステップサイズを増減させる。前記条件が複数存在する場合に、各条件で求めたフィードバック量の変更量に対して規定の演算を施すことで最終的なフィードバック量の変更量を決定しても良い。
2008111454.tif 000002
【特許請求の範囲】
【請求項１】
映像を符号化して、予め定めた目標ビットレートに符号化ビットレートを近づける制御を行う映像符号化で用いられる量子化制御方法であって、
目標符号量と発生符号量との差分を計測する過程と、
予め定めた条件が発生したのか否かを検出する過程と、
前記条件の発生を検出した場合に、量子化ステップサイズを増減させる量となるフィードバック量の変更量を決定して、その決定した変更量に基づいて、フィードバック量を変更する過程と、
前記計測した差分符号量と前記変更したフィードバック量とに基づいて、量子化ステップサイズを増減させる過程とを備えることを、
特徴とする量子化制御方法。
【請求項２】
請求項１に記載の量子化制御方法において、
前記フィードバック量を変更する過程では、前記条件が複数存在する場合に、各条件で求めたフィードバック量の変更量に対して規定の演算を施すことで最終的なフィードバック量の変更量を決定することを、
特徴とする量子化制御方法。
【請求項３】
請求項１に記載の量子化制御方法において、
前記フィードバック量を変更する過程では、前記条件について予め複数の閾値を設定して、その閾値を越える毎に徐々にフィードバック量の変更量を決定することで、フィードバック量を段階的に変更することを、
特徴とする量子化制御方法。
【請求項４】
請求項１に記載の量子化制御方法において、
フィードバック量を変更する場合に、予め定めた一定期間経過後に、フィードバック量を変更前のものに戻す過程を備えることを、
特徴とする量子化制御方法。
【請求項５】
請求項１に記載の量子化制御方法において、
前記条件が複数存在する場合にあって、それらの条件に応じてフィードバック量を変更する場合に、各条件毎にフィードバック量の変更期間を設定して、その設定した変更期間の経過後に、フィードバック量を変更前のものに戻す過程を備えることを、
特徴とする量子化制御方法。
【請求項６】
請求項１に記載の量子化制御方法において、
前記条件の発生を検出する過程では、映像の性質の急激な変化の発生を検出する場合に、前記条件が発生したことを検出することを、
特徴とする量子化制御方法。
【請求項７】
請求項１に記載の量子化制御方法において、
前記条件の発生を検出する過程では、受信側バッファの占有量に従って、受信側バッファがアンダーフローまたはオーバーフローする可能性があることを検出する場合に、前記条件が発生したことを検出することを、
特徴とする量子化制御方法。
【請求項８】
請求項１ないし５のいずれか１項に記載の量子化制御方法において、
前記条件の発生を検出する過程では、発生符号量と、目標符号量に基づいて設定される最大発生符号量とを比較して、発生符号量が最大発生符号量を越えることを検出する場合に、前記条件が発生したことを検出することを、
特徴とする量子化制御方法。
【請求項９】
映像を符号化して、予め定めた目標ビットレートに符号化ビットレートを近づける制御を行う映像符号化で用いられる量子化制御装置であって、
目標符号量と発生符号量との差分を計測する手段と、
予め定めた条件が発生したのか否かを検出する手段と、
前記条件の発生を検出した場合に、量子化ステップサイズを増減させる量となるフィードバック量の変更量を決定して、その決定した変更量に基づいて、フィードバック量を変更する手段と、
前記計測した差分符号量と前記変更したフィードバック量とに基づいて、量子化ステップサイズを増減させる手段とを備えることを、
特徴とする量子化制御装置。
【請求項１０】
請求項１に記載の量子化制御方法の実現に用いられる処理をコンピュータに実行させるための量子化制御プログラム。
【請求項１１】
請求項１に記載の量子化制御方法の実現に用いられる処理をコンピュータに実行させるための量子化制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化の符号化ビットレートを制御する量子化制御方法およびその装置と、その量子化制御方法の実現に用いられる量子化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００７年３月１４日に出願された特願２００７−０６４２７４号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
多くの映像符号化方式では、入力される映像の性質によって発生符号量が変化する。そこで、発生符号量を制御し、符号化ビットレートを一定に保つ符号化ビットレート制御技術が必要となる。
発生符号量は量子化ステップサイズと密接な関係があり、発生符号量は量子化ステップサイズを変動させることで制御する。【０００３】
ＭＰＥＧ−2 テストモデル５（以下、ＴＭ５と略記する）では、量子化ステップサイズと発生符号量との間の関係を利用して、符号量制御を行っている（例えば、非特許文献１参照）。
以下に、ＭＰＥＧ−2 ＴＭ５での符号量制御について説明する。【０００４】
ＭＰＥＧ−2 ＴＭ５では、ＧＯＰ（Ｇroup of Ｐictures)と呼ばれる、Ｉ、Ｐ、及びＢピクチャという異なるピクチャタイプからなるピクチャ群（Ｉ/Ｐ/Ｂ）の単位で符号量制御を行う。【０００５】
図６に、ＭＰＥＧ−2 ＴＭ５における符号量制御のフローチャートを図示する。【０００６】
ＭＰＥＧ−2 ＴＭ５での符号量制御では、このフローチャートに示すように、先ず最初に、ステップＳ４０１で、ピクチャタイプ毎に複雑さ指標Ｘx (ｘ＝ｉ，ｐ，ｂ（それぞれ、Ｉ、Ｐ、Ｂピクチャに対応））を、
Ｘx ＝Ｓx ・＜Ｑx ＞
という式に従って求める。【０００７】
ここで、ｘはピクチャ種別を示し、Ｓx は直近に符号化した同一ピクチャタイプの発生符号量を示し、＜Ｑx ＞はその符号化における量子化ステップサイズの平均値を示す。【０００８】
一般に、発生符号量Ｓx は量子化ステップサイズＱx に反比例する。そこで、この複雑さ指標Ｘx を算出することで、発生符号量と量子化ステップサイズとの関係を知ることができる。【０００９】
続いて、ステップＳ４０２で、次式に従って、ピクチャタイプ毎に目標符号量Ｔx (ｘ＝ｉ，ｐ，ｂ）を設定する。【００１０】
【数１】
2008111454.tif 000003
【００１１】
ここで、ＲはＧＯＰに割り当てられた符号量を示し、Ｎp はＧＯＰ内のＰピクチャの数を示し、Ｎb はＧＯＰ内のＢピクチャの数を示し、Ｋp,Ｋb は定数を示す。【００１２】
この式の意味するところは、目標符号量Ｔi を設定する場合には、Ｘp ／Ｘi に従ってＰピクチャをＩピクチャに換算し、Ｘb ／Ｘi に従ってＢピクチャをＩピクチャに換算して、その換算値とピクチャ数Ｎp,Ｎb とＧＯＰに割り当てられた符号量Ｒとに基づいて、目標符号量Ｔi を算出することを意味している。
そして、目標符号量Ｔp を設定する場合には、Ｘb ／Ｘp に従ってＢピクチャをＰピクチャに換算して、その換算値とピクチャ数Ｎp,Ｎb とＧＯＰに割り当てられた符号量Ｒとに基づいて、目標符号量Ｔp を算出することを意味している。
そして、目標符号量Ｔb を設定する場合には、Ｘp ／Ｘb に従ってＰピクチャをＢピクチャに換算して、その換算値とピクチャ数Ｎp,Ｎb とＧＯＰに割り当てられた符号量Ｒとに基づいて、目標符号量Ｔb を算出することを意味している。【００１３】
続いて、ステップＳ４０３で、このようにして設定したピクチャ単位の目標符号量Ｔx に基づいて、符号化対象となる小ブロックについての量子化ステップサイズを決定する。【００１４】
量子化ステップサイズの決定は、仮想バッファの占有量ｄx （ｊ）と反応パラメータｒとに基づいて、次式に従って算出する。【００１５】
【数２】
2008111454.tif 000004
【００１６】
量子化ステップサイズの計算のみに用いる仮想バッファを各ピクチャタイプ毎に設定し、その占有量ｄx （ｊ）は次式によって更新する。【００１７】
【数３】
2008111454.tif 000005
【００１８】
ここで、Ｇx （ｊ）は符号化対象ピクチャ内でのｊ番目の小ブロックを符号化するまでの全発生符号量を示し、ＭＢcnt はピクチャ内の小ブロック数を示す。また、反応パラメータｒは、次式にて算出する。【００１９】
【数４】
2008111454.tif 000006
【００２０】
ステップＳ４０３では、このような方法によって、仮想バッファの占有量ｄx （ｊ）と反応パラメータｒとに基づいて、符号化対象となる小ブロックについての量子化ステップサイズＱx （ｊ）を決定するのである。【００２１】
続いて、ステップＳ４０４で、決定した量子化ステップサイズＱx （ｊ）を用いて、小ブロック毎に量子化および符号化処理を行う。【００２２】
続いて、ステップＳ４０５で、１ピクチャ分の符号化を終了後、量子化ステップサイズの平均値＜Ｑx ＞を算出する。【００２３】
続いて、ステップＳ４０６で、（１ピクチャ分の符号化を終了後、）実際の発生符号量Ｓx を計測する。【００２４】
この計測した発生符号量Ｓx とこの算出した平均量子化ステップサイズ＜Ｑx ＞とに基づいて、再びステップＳ４０１で、次の同一ピクチャタイプの複雑さ指標Ｘx を更新することになる。【００２５】
このような方法により、ＭＰＥＧ−2 ＴＭ５では、ピクチャ毎に目標符号量を設定して符号化処理を行い、発生符号量を制御している。【００２６】
この制御方法は、映像の特性が大きく変化せず、デコーダバッファのオーバーフローやアンダーフローが発生しなければ、安定して動作する。【００２７】
しかし、実際の制御を行う上では、シーンチェンジやデコーダバッファの状態を考慮する必要がある。
例えば、テロップなど静止画で非常に簡単なシーンが続くと、量子化ステップサイズは非常に小さくなる。そこに風景映像などテクスチャの細かい映像が入ると、非常に小さい量子化ステップサイズでテクスチャの細かい映像を符号化してしまうことから、発生符号量が爆発的に増加し、ビットレート制御が破綻する可能性がある。【００２８】
そこで、シーンチェンジを検出した際に、予め定めた量子化ステップサイズに変更する方法が提案されている（例えば、特許文献１参照）。【００２９】
この方法では、シーンチェンジを検出すると、シーンチェンジ用の量子化ステップサイズの初期値と、レート制御から求まる量子化ステップサイズとを比較して、大きい方の量子化ステップサイズを用いて量子化を行うようにしている。【００３０】
このような方法により、シーンチェンジ検出時の量子化ステップサイズを制御することで、爆発的な符号量の発生などを防ぐことができる。
【非特許文献１】MPEG-2, Test Model5(TM5), Doc.ISO/IECJTC1/SC29/WG11/NO400, Test Model Editing Committee, pp. 59-63, Apr.1993.
【特許文献１】特開平６−１１３２７１号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
上述のように、従来技術では、入力映像などの量子化制御以外の要因による急激な変動を、量子化制御の状態を初期化することで回避している。【００３２】
しかし、このような従来技術に従っていると、状況変動直後の符号化対象ピクチャの性質を反映させた量子化ステップサイズで量子化が行われないために、量子化ステップサイズの変動や、それに対応した発生符号量などの変動が収束するまでの時間が長くなるという問題がある。【００３３】
図７に、この一例を示す。この例では、初期化による量子化ステップサイズの初期値が、安定して符号化できる量子化ステップサイズよりも小さい状態を示している。【００３４】
このような場合には、図７に示すように、初期値の量子化ステップサイズが小さいため、目標よりも多くの符号量が発生し、徐々に量子化ステップサイズが上昇する。そして、量子化ステップサイズが大きすぎる場合は、発生符号量が目標を下回るため、量子化ステップサイズは下降する。暫くすると、安定した状態に落ち着く。【００３５】
このように、量子化ステップサイズの初期値と安定して符号化できる量子化ステップサイズとに差があると、単に初期化を行っても、必ずしも安定した制御が可能とは限らない。【００３６】
また、フレーム間符号化を利用する映像符号化方式では、シーンチェンジ等の映像性質の急激な変化が発生すると、フレーム間での予測効率が低下し、符号化効率が低下する可能性がある。これから、このような場合には、多くの場合、フレーム間予測を利用せず、フレーム内予測を用いて符号化する。【００３７】
しかし、フレーム内予測符号化では、フレーム間予測符号化に比べて符号化効率が低く、急激に発生符号量が増加する可能性がある。特に、映像の性質が変化したピクチャにフレーム間予測符号化を前提に符号量を割り当てていた場合、目標符号量を大幅に上回る符号量が発生する可能性がある。
このような発生符号量の急激な増加は、デコーダバッファのアンダーフローを誘発する可能性がある。【００３８】
逆に、複雑なシーンから、静止画など非常に簡単な映像に切り替わった場合、急激な発生符号量の減少により、デコーダバッファーのオーバーフローが発生する可能性がある。
デコーダバッファーのオーバーフローは、スタッフィングデータなどの無効データを送出することで防ぐことができるが、無駄に符号量を発生させることになる。【００３９】
このような問題を解決するには、量子化制御において、目標符号量と発生符号量との差に対して量子化ステップサイズを増減させる量となるフィードバック量を予め大きく設定するようにしておけば良い。【００４０】
しかし、フィードバック量を予め大きく設定するようにしておくと、発生符号量の変動は小さくなり、より安定したものになるものの、映像の複雑さに関係なく発生符号量の変動が抑えられることになることから、画質の変動が激しくなり、主観画質の低下につながる。【００４１】
このように、シーンチェンジ等により入力映像の性質が変化した場合やデコーダバッファの占有量を考慮した場合、従来技術では、安定した状態になる（収束する）までに時間がかかるか、収束するまでの時間を短縮しようとすれば、画質の変動が大きくなるという問題があった。【００４２】
本発明はかかる事情に鑑みてなされたものであって、入力映像の性質の急激な変化やデコーダバッファの破綻などの外的要因が生じた場合に、急激な発生符号量の変化を抑えつつ、定常状態への収束を早めることができるようにし、その結果として、シーケンス全体の主観画質低下を防止できるようにする新たな量子化制御技術の提供を目的とする。
【課題を解決するための手段】
【００４３】
この目的を達成するために、本発明の量子化制御装置は、映像を符号化して、予め定めた目標ビットレートに符号化ビットレートを近づける制御を行う映像符号化で用いられるときに、（１）目標符号量と発生符号量との差分を計測する計測手段と、（２）発生符号量の急激な増加や減少をもたらす予め定めた条件が発生したのか否かを検出する検出手段と、（３）検出手段が条件発生を検出した場合に、量子化ステップサイズを増減させる量となるフィードバック量の変更量を決定して、その決定した変更量に基づいて、フィードバック量を変更するフィードバック量変更手段と、（４）計測手段の計測した差分符号量と変更手段の変更したフィードバック量とに基づいて、量子化ステップサイズを増減させる量子化ステップサイズ変更手段とを備えるように構成する。【００４４】
この構成を採るときに、さらに、フィードバック量を変更する場合に、予め定めた一定期間（時間や符号化の処理単位）の経過後に、フィードバック量を変更前のものに戻すフィードバック量回復手段を備えたり、発生符号量の急激な増加や減少をもたらす条件が複数発生する場合にあって、それらの条件に応じてフィードバック量を変更する場合に、各条件毎にフィードバック量の変更期間（時間や符号化の処理単位）を設定して、その設定した変更期間の経過後に、フィードバック量を変更前のものに戻すフィードバック量回復手段を備えることがある。【００４５】
以上の各処理手段が動作することで実現される本発明の量子化制御方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。【００４６】
このように構成される本発明の量子化制御装置では、発生符号量の急激な増加や減少をもたらす条件が発生したのかを検出する。【００４７】
例えば、映像の性質の急激な変化の発生を検出したり、受信側バッファの占有量に従って、受信側バッファがアンダーフローまたはオーバーフローする可能性があることを検出したり、発生符号量と目標符号量に基づいて設定される最大発生符号量とを比較して、発生符号量が最大発生符号量を越えることを検出することで、発生符号量の急激な増加や減少をもたらす条件が発生したのかを検出する。【００４８】
この条件の発生を検出すると、量子化ステップサイズを増減させる量となるフィードバック量の変更量を決定して、その決定した変更量に基づいて、フィードバック量を変更する。【００４９】
このとき、複数の条件が発生する場合に、各条件で求めたフィードバック量の変更量に対して、加算値算出や乗算値算出や平均値算出や最大値算出などの規定の演算を施すことで最終的なフィードバック量の変更量を決定することがある。【００５０】
また、発生した条件について予め複数の閾値を設定しておいて、その閾値を越える毎に徐々にフィードバック量の変更量を決定することで、フィードバック量を段階的に変更することがある。【００５１】
このようにしてフィードバック量を変更すると、この変更したフィードバック量と、目標符号量と発生符号量との差分の計測結果とに基づいて、量子化ステップサイズを増減させる。
【発明の効果】
【００５２】
このように、本発明では、入力映像を符号化するときに、量子化ステップサイズの大きさを決定する目標符号量と発生符号量との差に対するフィードバック量を予め大きく設定しておくのではなくて、入力映像の性質の急激な変化やデコーダバッファの破綻などの外的要因の発生を検出するときに、その時点において、フィードバック量を増加させるようにし、さらに、そのときに、規定の初期値に増加させるのではなくて、通常のフィードバック量からの変位の形でフィードバック量を増加させるようにする。【００５３】
この構成に従って、本発明によれば、入力映像の性質の急激な変化やデコーダバッファの破綻などの外的要因が生じた場合に、急激な発生符号量の変化を抑えつつ、定常状態への収束を早めることができるようになり、その結果として、シーケンス全体の主観画質低下を防止できるようになる。
【図面の簡単な説明】
【００５４】
【図１】本発明に従った動作のフローチャートである。
【図２】本発明の適用される映像符号化装置の構成例である。
【図３】同映像符号化装置の内部構成例である。
【図４】同映像符号化装置の実行するフローチャートの一例である。
【図５】同様に、同映像符号化装置の実行するフローチャートの一例である。
【図６】ＭＰＥＧ−2 ＴＭ５における符号量制御のフローチャートである。
【図７】従来技術の問題の説明図である。
【符号の説明】
【００５５】
１        映像符号化装置
１０      量子化制御部
２０      量子化・符号化実行部
３０      シーンチェンジ検出部
１００    ピクチャ単位処理部
１０１    複雑さ指標記憶部
１０２    複雑さ指標更新部
１０３    目標符号量算出部
１０４    目標符号量記憶部
１０５    最大符号量算出部
１０６    最大符号量記憶部
１０７    フィードバック変更量算出部
１０８    小ブロック単位処理部
１０２０  平均量子化ステップサイズ算出部
１０２１  発生符号量取得部
１０２２  複雑さ指標算出部
１０８０  発生符号量計測部
１０８１  仮想バッファ状態確認部
１０８２  発生符号量比較部
１０８３  フィードバック変更量決定部
１０８４  量子化ステップサイズ決定部
【発明を実施するための最良の形態】
【００５６】
次に、実施の形態に従って本発明を説明する。【００５７】
本発明では、入力映像を符号化するときに、量子化ステップサイズの大きさを決定する、目標符号量と発生符号量との差に対するフィードバック量を予め大きく設定しておくのではなくて、入力映像の性質の急激な変化やデコーダバッファの破綻などの外的要因の発生を検出するときに、その時点において、フィードバック量を増加させるようにし、さらに、そのときに、規定の初期値に増加させるのではなくて、通常のフィードバック量からの変位の形でフィードバック量を増加させることで、定常状態への収束を早めることを実現する。【００５８】
このフィードバック量については、例えば、従来技術で採用されている反応パラメータｒで制御することができる。【００５９】
反応パラメータｒは、目標符号量に対する発生符号量の差を量子化ステップサイズに反映させるためのパラメータである。前述した式（２）と式（３）とを書き換えると、以下のように書くことができる。【００６０】
【数５】
2008111454.tif 000007
【００６１】
この式から分かるように、この反応パラメータｒを小さくすると、量子化ステップサイズに与える同式第２項の影響が大きくなり、逆に大きくすると影響が小さくなる。【００６２】
図１に、本発明に従った動作のフローチャート例を図示する。【００６３】
このフローチャートに示すように、先ず最初に、ステップＳ１０１で、シーンチェンジなど入力映像の性質の変化を検出する。【００６４】
この検出処理に従って、映像性質の急激な変化が認められた場合には、ステップＳ１０２に進んで、フィードバック量の増加分を算出する。【００６５】
続いて、ステップＳ１０３で、仮想バッファの占有量を確認することでデコーダバッファの占有量を確認して、発生符号量増加によるデコーダバッファのアンダーフローや、発生符号量減少によるデコーダバッファのオーバーフローを確認する。【００６６】
この確認処理に従って、デコーダバッファのアンダーフローやオーバーフローを確認した場合には、ステップＳ１０４に進んで、フィードバック量の増加分を算出する。【００６７】
続いて、ステップＳ１０５で、小ブロック毎に（目標符号量に対する）発生符号量を確認して、フィードバック量の増加が十分であるのか否かを確認する。【００６８】
この確認処理に従って、フィードバック量の増加が不十分であると判断した場合には、ステップＳ１０６に進んで、発生符号量を目標符号量に近づけるべく、フィードバック量の増加分を算出する。【００６９】
続いて、ステップＳ１０７で、算出したフィードバック量の増加分に従って最終的なフィードバック量を決定して、それに基づいて、量子化ステップサイズを決定する。【００７０】
続いて、ステップＳ１０８で、決定した量子化ステップサイズを用いて、量子化および符号化処理を行う。【００７１】
このように増加させたフィードバック量については、一定期間経過した後、元のフィードバック量へ戻しても良い。【００７２】
フィードバック量は、ＧＯＰ単位、複数のピクチャからなるピクチャ群、１ピクチャ単位、スライス単位、小ブロック単位など任意の単位で変更できる。【００７３】
フィードバック量の増加分が不十分かどうかは、目標符号量に対する発生符号量の比から決めるようにしても良い。例えば、最大発生符号量として目標符号量のｎ倍という閾値を設けて、発生符号量が最大発生符号量を上回った時点でフィードバック量を増加させるようにしても良い。【００７４】
フィードバック量の増加分は、それぞれの条件毎に増加分を設定して、その和として求めるようにしても良い。各条件による増加分の和とした場合、過度にフィードバック量が増加しないように、最大値を設定しても良い。
また、各条件による増加分の和とするのではなくて、各条件による増加分の最大値を最終的なフィードバック量の増加分としても良い。【００７５】
例として、シーンチェンジ検出時のフィードバック量をｒa 、デコーダバッファの破綻検出時のフィードバック量をｒb 、目標符号量と発生符号量との関係によるフィードバック量ｒc とした場合を示す。【００７６】
すなわち、各条件による増加分の最大値をフィードバック量の増加分とする場合には、
Δｒ＝ｍａｘ（ｒa ，ｒb ，ｒc ）
という算出式に従って、最終的なフィードバック量の増加分を決定する。【００７７】
また、各条件による増加分の和をフィードバック量の増加分とする場合には、
Δｒ＝ｒa ＋ｒb ＋ｒc 
という算出式に従って、最終的なフィードバック量の増加分を決定する。【００７８】
また、各条件による増加分の和をフィードバック量の増加分とするとともに、その増加分に最大値（ｒmax）を設定する場合には、
Δｒ＝ｍｉｎ（ｒa ＋ｒb ＋ｒc ，ｒmax ）
という算出式に従って、最終的なフィードバック量の増加分を決定する。【００７９】
また、各条件による増加分の積をフィードバック量の増加分とする場合には、
Δｒ＝ｒa ・ｒb ・ｒc 
という算出式に従って、最終的なフィードバック量の増加分を決定する。【００８０】
また、各条件による増加分の平均値をフィードバック量の増加分とする場合には、
Δｒ＝（ｒa ＋ｒb ＋ｒc ）／３
という算出式に従って、最終的なフィードバック量の増加分を決定する。【００８１】
加えて、フィードバック量への増加分の反映方法は任意である。例えば、増加分を係数として乗算しても良いし、増加分を加えても良い。【００８２】
フィードバック量の増加・減少の方法については、量子化制御を利用する方法に依存する。
反応パラメータｒで量子化を制御する場合は、反応パラメータｒを小さくするとフィードバック量は増加し、大きくするとフィードバック量が減少する。【００８３】
また、フィードバック量の増加を段階的に行うこともできる。例えば、発生符号量が最大発生符号量の２５％、５０％、７５％、１００％を越えた段階でフィードバック量を徐々に増加させることもできる。【００８４】
フィードバック量を増加させる期間は任意である。例えば、シーンチェンジを検出したピクチャだけで不十分な場合には、数ピクチャ間にわたり、フィードバック量を増加させたまま符号化処理を行うこともできる。【００８５】
また、フィードバック量を増加させる複数の条件が発生する場合にあって、それらの条件に応じてフィードバック量を変更する場合には、各条件毎にフィードバック量の変更期間を設定して、その設定した変更期間の経過後に、フィードバック量を変更前のものに戻すようにしても良い。【００８６】
なお、本発明は、発生符号量を目標ビットレートにより制御する方式であれば、固定ビットレート符号化方式だけでなく、可変ビットレート符号化方式でも利用できる。【００８７】
このような方法により、本発明によれば、量子化制御のフィードバック量を制御し、一時的にフィードバック量を増加させることで、通常のフィードバック量を増加させることなく、収束時間を短縮することができるようになる。
【実施例】
【００８８】
以下、具体的な実施例に従って本発明を説明する。【００８９】
図２に、本発明の一実施例としての、映像符号化装置１の装置構成を図示する。【００９０】
この図に示すように、この映像符号化装置１は、映像信号の予測信号を生成して、映像信号とその予測信号との差分値を求め、それを量子化し符号化することで符号化ビットストリームを生成して出力するという処理を行うものであり、量子化制御を司る量子化制御部１０と、量子化部および情報源符号化部で構成される量子化・符号化実行部２０とを備え、さらに、本発明を実現するために、映像信号を入力として、その入力した映像信号に基づいてシーンチェンジが発生したのか否かを検出するシーンチェンジ検出部３０とを備える。【００９１】
図３に、本映像符号化装置１の備える量子化制御部１０の採る構成の一例を図示する。【００９２】
この図に示すように、量子化制御部１０は、本発明の量子化制御を実行するために、複雑さ指標記憶部１０１と、複雑さ指標更新部１０２と、目標符号量算出部１０３と、目標符号量記憶部１０４と、最大符号量算出部１０５と、最大符号量記憶部１０６と、フィードバック変更量算出部１０７と、小ブロック単位処理部１０８とで構成されるピクチャ単位処理部１００を備える。【００９３】
複雑さ指標記憶部１０１は、ピクチャタイプ毎に算出される複雑さ指標Ｘx ( ｘ＝ｉ，ｐ，ｂ）を記憶する。【００９４】
複雑さ指標更新部１０２は、平均量子化ステップサイズ算出部１０２０と、発生符号量取得部１０２１と、複雑さ指標算出部１０２２とを備える。
平均量子化ステップサイズ算出部１０２０は、直近に符号化した同一ピクチャタイプの符号化に用いた量子化ステップサイズの平均値＜Ｑx ＞を算出する。
発生符号量取得部１０２１は、後述する発生符号量計測部１０８０の計測した１ピクチャ分の発生符号量を取得することで、直近に符号化した同一ピクチャタイプの発生符号量Ｓx を取得する。
複雑さ指標算出部１０２２は、平均量子化ステップサイズ算出部１０２０の算出した平均量子化ステップサイズ＜Ｑx ＞と発生符号量取得部１０２１の取得した発生符号量Ｓx とを乗算することで複雑さ指標Ｘx を算出して、複雑さ指標記憶部１０１に記憶される複雑さ指標Ｘx を更新する。【００９５】
目標符号量算出部１０３は、複雑さ指標記憶部１０１に記憶される複雑さ指標Ｘx を使い、前述した式（１）に従って、ピクチャタイプ毎に目標符号量Ｔx ( ｘ＝ｉ，ｐ，ｂ）を算出する。【００９６】
目標符号量記憶部１０４は、目標符号量算出部１０３の算出した目標符号量Ｔx を記憶する。【００９７】
最大符号量算出部１０５は、目標符号量算出部１０３の算出した目標符号量Ｔx をｎ倍することで最大符号量Ｔmax を算出する。【００９８】
最大符号量記憶部１０６は、最大符号量算出部１０５の算出した最大符号量Ｔmax を記憶する。【００９９】
フィードバック変更量算出部１０７は、シーンチェンジ検出部３０がシーンチェンジの発生を検出するときに、そのシンーチェンジに対応して変更するフィードバック量の変更量を算出する。【０１００】
小ブロック単位処理部１０８は、
・これまでに符号化した小ブロックまでの発生符号量（式（３）中に示すＧx （ｊ−１))を計測する発生符号量計測部１０８０と、
・仮想バッファの占有量（式（３）中に示すｄx （ｊ))を確認することで、デコーダバッファがアンダーフローまたはオーバーフローする可能性のある状態が発生したのか否かを確認する仮想バッファ状態確認部１０８１と、
・発生符号量計測部１０８０の計測した発生符号量と最大符号量記憶部１０６に記憶される最大符号量Ｔmax とを比較し、発生符号量が最大符号量Ｔmax を越える状態が発生したのか否かを検出する発生符号量比較部１０８２と、
・フィードバック変更量算出部１０７の算出したフィードバック量の変更量と仮想バッファ状態確認部１０８１の確認結果と発生符号量比較部１０８２の比較結果とに基づいて、フィードバック量の変更量を決定するとともに、その変更期間を決定するフィードバック変更量決定部１０８３と、
・目標符号量記憶部１０４に記憶される目標符号量Ｔx と発生符号量計測部１０８０の計測した発生符号量とフィードバック変更量決定部１０８３の決定したフィードバック量の変更量とに基づいて、量子化ステップサイズを増減させる量子化ステップサイズ決定部１０８４と、を備える。【０１０１】
本実施例では、量子化制御アルゴリズムは、従来技術の方法を用い、反応パラメータｒを増減することでフィードバック量を制御する。フィードバック量増加の条件は、以下の通りである。【０１０２】
・シーンチェンジ検出時
・デコーダバッファ破綻検出時
・最大発生符号量を越えた時点
また、各条件のフィードバック量は累算値とする。
フィードバック量を増加させる期間は符号化対象ピクチャ内とする。
最大発生符号量は目標符号量の２倍とする。
フィードバック量の増加分Δｒの反映方法は、元の反応パラメータｒから減算する方法とし、最大増加分は反応パラメータの半分とする。【０１０３】
図４および図５に、図３のように構成される映像符号化装置１の実行するフローチャートの一例を図示する。
ここで、図４はピクチャ単位でのフローチャートを示し、図５は小ブロック単位でのフローチャートを示す。【０１０４】
次に、このフローチャートに従って、映像符号化装置１の実行する量子化制御処理について詳細に説明する。【０１０５】
映像符号化装置１では、図４のフローチャートに示すように、先ず最初に、ステップＳ２０１で、フィードバック量の増加分Δｒを初期化する。【０１０６】
続いて、ステップＳ２０２で、シーンチェンジ検出を行い、シーンチェンジを検出したときには、ステップＳ２０３に進んで、フィードバック量の増加分Δｒにｒa を加算することで、フィードバック量の増加分Δｒを、
Δｒ＝Δｒ＋ｒa 
というように更新する。【０１０７】
続いて、ステップＳ２０４で、直近に符号化した同一ピクチャタイプの符号化に用いた量子化ステップサイズの平均値＜Ｑx ＞と、その符号化で発生した発生符号量Ｓx とに基づき、
Ｘx ＝Ｓx ・＜Ｑx ＞
という式に従って、複雑さ指標Ｘx を算出する。【０１０８】
続いて、ステップＳ２０５で、その算出した複雑さ指標Ｘx を使い、前述した式（１）に従って、ピクチャタイプ毎に目標符号量Ｔx を算出する。【０１０９】
続いて、ステップＳ２０６で、算出した目標符号量Ｔx を２倍することで最大符号量Ｔmax を算出する。【０１１０】
続いて、ステップＳ２０７で、図５のフローチャートに従って、小ブロック単位での処理を実行する。【０１１１】
すなわち、小ブロック単位での処理に入ると、図５のフローチャートに示すように、先ず最初に、ステップＳ２０７１で、前述の式（３）に従って導出される仮想バッファの占有量ｄx （ｊ）を確認することでデコーダバッファ（受信側バッファ）の状態を確認する。
デコーダバッファがアンダーフローまたはオーバーフローする可能性のある状態が発生したことを検出するときには、ステップＳ２０７２に進んで、フィードバック量の増加分Δｒにｒb を加算することで、フィードバック量の増加分Δｒを、
Δｒ＝Δｒ＋ｒb 
というように更新する。【０１１２】
続いて、ステップＳ２０７３で、ｊ−１番目の小ブロックまでの発生符号量Ｇx （ｊ−１）と最大発生符号量Ｔmax とを比較し、最大発生符号量Ｔmax を越えているときには、ステップＳ２０７４に進んで、フィードバック量の増加分Δｒにｒc を加算することで、フィードバック量の増加分Δｒを、
Δｒ＝Δｒ＋ｒc 
というように更新する。【０１１３】
ここで、Δｒの大きさを確認し、必要があれば、例えば、
Δｒ＝Δｒ        Δｒ＜ｒ／２
＝ｒ／２      Δｒ≧ｒ／２
というようにクリップする。【０１１４】
続いて、ステップＳ２０７５で、次式に従って、ｒをΔｒ分減少させることでフィードバック量を増加させつつ、ｊ番目の小ブロックの量子化ステップサイズＱx （ｊ）を決定する。【０１１５】
【数６】
2008111454.tif 000008
【０１１６】
ここで、ＭＢcnt はピクチャ内の小ブロック数を示し、Ｔx はピクチャの目標符号量を示し、Ｇx （ｊ−１）はｊ−１番目の小ブロックまでの発生符号量を示す。【０１１７】
続いて、ステップＳ２０７６で、決定した量子化ステップサイズＱx （ｊ）を用いて、ｊ番目の小ブロックの量子化および符号化処理を実行する。【０１１８】
このようにして、図５のフローチャートに従って１ピクチャ分の符号化を終了すると、図４のフローチャートのステップＳ２０８に進んで、平均量子化ステップサイズ＜Ｑx ＞を算出し、続くステップＳ２０９で、実際の発生符号量Ｓx （最終的なＧx （ｊ）で求められるもの）を計測する。【０１１９】
この計測した発生符号量Ｓx とこの算出した平均量子化ステップサイズ＜Ｑx ＞とに基づいて、上記のステップＳ２・BR>O４で、次の同一ピクチャタイプの複雑さ指標Ｘx を更新することになる。【０１２０】
このようにして、本発明では、映像性質の変化やバッファ占有量などを検出し、一時的にフィードバック量を増加させることで、通常のフィードバック量を増加させることなく、収束時間を短縮することができるようになる。【０１２１】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。
例えば、実施例では、ＭＰＥＧ-2ＴＭ５の量子化制御をベースとしているが、符号化ビットレートが目標ビットレートとなるようにフィードバック制御を行っている符号化方式であれば、本発明をそのまま適用できる。
その際、利用するアルゴリズムに合わせて、フィードバック量を増加させる手段を変更すれば良い。
【産業上の利用可能性】
【０１２２】
本発明によれば、入力映像の性質の急激な変化やデコーダバッファの破綻などの外的要因が生じた場合に、急激な発生符号量の変化を抑えつつ、定常状態への収束を早めることができるようになり、その結果として、シーケンス全体の主観画質低下を防止できるようになる。
【図１】
2008111454.tif 000009
【図２】
2008111454.tif 000010
【図３】
2008111454.tif 000011
【図４】
2008111454.tif 000012
【図５】
2008111454.tif 000013
【図６】
2008111454.tif 000014
【図７】
2008111454.tif 000015
【手続補正書】
【提出日】平成20年12月22日(2008.12.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像を符号化して、予め定めた目標ビットレートに符号化ビットレートを近づける制御を行う映像符号化で用いられる量子化制御方法であって、
目標符号量と発生符号量との差分を計測する過程と、
前記発生符号量を急激に変化させる要因となる予め定めた条件が発生したのか否かを検出する過程と、
前記条件の発生を検出した場合に、量子化ステップサイズを増減させる量となるフィードバック量の変更量を決定して、その決定した変更量に基づいて、フィードバック量を変更する過程と、
前記計測した差分符号量と前記変更したフィードバック量とに基づいて、量子化ステップサイズを増減させる過程とを備えることを、
特徴とする量子化制御方法。
【請求項２】
請求項１に記載の量子化制御方法において、
前記フィードバック量を変更する過程では、前記条件が複数存在する場合に、各条件で求めたフィードバック量の変更量に対して規定の演算を施すことで最終的なフィードバック量の変更量を決定することを、
特徴とする量子化制御方法。
【請求項３】
請求項１に記載の量子化制御方法において、
前記フィードバック量を変更する過程では、前記条件について予め複数の閾値を設定して、その閾値を越える毎に徐々にフィードバック量の変更量を決定することで、フィードバック量を段階的に変更することを、
特徴とする量子化制御方法。
【請求項４】
請求項１に記載の量子化制御方法において、
フィードバック量を変更する場合に、予め定めた一定期間経過後に、フィードバック量を変更前のものに戻す過程を備えることを、
特徴とする量子化制御方法。
【請求項５】
請求項１に記載の量子化制御方法において、
前記条件が複数存在する場合にあって、それらの条件に応じてフィードバック量を変更する場合に、各条件毎にフィードバック量の変更期間を設定して、その設定した変更期間の経過後に、フィードバック量を変更前のものに戻す過程を備えることを、
特徴とする量子化制御方法。
【請求項６】
請求項１に記載の量子化制御方法において、
前記条件の発生を検出する過程では、映像の性質の急激な変化の発生を検出する場合に、前記条件が発生したことを検出することを、
特徴とする量子化制御方法。
【請求項７】
請求項１に記載の量子化制御方法において、
前記条件の発生を検出する過程では、受信側バッファの占有量に従って、受信側バッファがアンダーフローまたはオーバーフローする可能性があることを検出する場合に、前記条件が発生したことを検出することを、
特徴とする量子化制御方法。
【請求項８】
請求項１に記載の量子化制御方法において、
前記条件の発生を検出する過程では、発生符号量と、目標符号量に基づいて設定される最大発生符号量とを比較して、発生符号量が最大発生符号量を越えることを検出する場合に、前記条件が発生したことを検出することを、
特徴とする量子化制御方法。
【請求項９】
映像を符号化して、予め定めた目標ビットレートに符号化ビットレートを近づける制御を行う映像符号化で用いられる量子化制御装置であって、
目標符号量と発生符号量との差分を計測する手段と、
前記発生符号量を急激に変化させる要因となる予め定めた条件が発生したのか否かを検出する手段と、
前記条件の発生を検出した場合に、量子化ステップサイズを増減させる量となるフィードバック量の変更量を決定して、その決定した変更量に基づいて、フィードバック量を変更する手段と、
前記計測した差分符号量と前記変更したフィードバック量とに基づいて、量子化ステップサイズを増減させる手段とを備えることを、
特徴とする量子化制御装置。
【請求項１０】
請求項１に記載の量子化制御方法の実現に用いられる処理をコンピュータに実行させるための量子化制御プログラム。
【請求項１１】
請求項１に記載の量子化制御方法の実現に用いられる処理をコンピュータに実行させるための量子化制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
請求項１に記載の量子化制御方法において、
前記映像符号化は、固定ビットレート符号化方式を用いることを、
特徴とする量子化制御方法。
【請求項１３】
請求項９に記載の量子化制御装置において、
前記映像符号化は、固定ビットレート符号化方式を用いることを、
特徴とする量子化制御装置。
【国際調査報告】
2008111454.tif 000016
2008111454.tif 000017
2008111454.tif 000018
2008111454.tif 000019