(57)【要約】  動画像符号化装置は、ピクチャタイプとしてＩピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像の符号化によって発生した符号量を算出し、その符号量と符号化に用いられた量子化幅とに基づいて符号化済みのピクチャの複雑度履歴を算出する。この動画像符号化装置は、符号化すべき符号化対象ピクチャの推定複雑度を、符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの符号化済みピクチャの複雑度履歴と、符号化対象ピクチャの直前の符号化済みピクチャの複雑度履歴とに基づいて推定する。
2020008858.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャタイプとしてＩピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像の符号化によって発生した符号量を算出する符号化部と、
前記符号量と前記符号化に用いられた量子化幅とに基づいて符号化済みの前記ピクチャの複雑度履歴を算出する複雑度算出部と、
符号化すべき符号化対象ピクチャの推定複雑度を、前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴と、前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴とに基づいて推定する複雑度推定部と、
を備える動画像符号化装置。
【請求項２】
前記符号化対象ピクチャの前記符号化に用いる量子化幅を前記推定複雑度と目標符号量とに基づいて決定する量子化幅決定部と、
前記量子化幅に基づいて前記符号化対象ピクチャの量子化を行う量子化部と、
を備える請求項１に記載の動画像符号化装置。
【請求項３】
前記複雑度推定部は、前記直前の前記符号化済みピクチャのピクチャタイプが前記符号化対象ピクチャのピクチャタイプと異なるか否かにかかわらず、前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴と、前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴とに基づいて、前記符号化対象ピクチャの前記推定複雑度を推定する
請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
前記複雑度推定部は、さらに前記符号化対象ピクチャの直前の前記符号化済みピクチャの推定複雑度履歴に基づいて、前記符号化対象ピクチャの前記推定複雑度を推定する
請求項１から請求項３の何れか一項に記載の動画像符号化装置。
【請求項５】
前記複雑度推定部は、前記符号化対象ピクチャの直前の前記符号化済みピクチャの前記推定複雑度履歴に対する前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴の割合に、前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴を乗じて、前記符号化対象ピクチャの前記推定複雑度を推定する
請求項４に記載の動画像符号化装置。
【請求項６】
前記符号化済みの前記ピクチャの前記複雑度履歴を、前記ピクチャタイプ毎に記憶する複数のバッファを有し、
前記複雑度推定部は、前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴を前記複数のバッファのうちいずれか１つから読み出す請求項１〜５のいずれか1項に記載の動画像符号化装置。
【請求項７】
ピクチャタイプとしてＩピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像の符号化によって発生した符号量を算出し、前記符号量と前記符号化に用いられた量子化幅とに基づいて符号化済みの前記ピクチャの複雑度履歴を算出し、
符号化すべき符号化対象ピクチャの推定複雑度を、前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴と、前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴とに基づいて推定する
動画像符号化方法。
【請求項８】
動画像符号化装置のコンピュータを、
ピクチャタイプとしてＩピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像の符号化によって発生した符号量を算出する符号化手段、
前記符号量と前記符号化に用いられた量子化幅とに基づいて符号化済みの前記ピクチャの複雑度履歴を算出する複雑度算出手段、
符号化すべき符号化対象ピクチャの推定複雑度を、前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴と、前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴とに基づいて推定する複雑度推定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、プログラムに関する。
【背景技術】
【０００２】
高画質な動画像の圧縮符号化を実現するには、目標符号量内で高い画質を得る符号量制御（ビットレート制御）が重要である。Ｈ.２６５／ＨＥＶＣ（High Efficiency Video Coding）などの規格を用いた動画像符号化装置では、予測残差を量子化する際の量子化幅を制御することにより発生符号量を制御することができる。適切な量子化幅の制御により高画質を保てる一方で、量子化幅の制御が不適切の場合、一部のピクチャに過度に符号量を割り当て過ぎてしまい他のピクチャの符号量が削減され視覚的な画質が劣化することになる。【０００３】
関連する技術として特許文献１にはシーンチェンジ画像と判定された場合に、特に双方向予測であるＢピクチャに符号化する場合に正確な推定画面複雑度を算出して発生符号量の増加を抑制する技術が開示されている。
また特許文献２には動画像をリアルタイムで可変レート符号化することができる動画像符号化装置の技術が開示されている。
また特許文献３には動画像の発生符号量、平均量子化スケール、符号化画像特性、及びシーンチェンジ情報から画面複雑度を算出し、発生符号量と画面複雑度と符号化画像特性とから次に符号化する画像の割り当て符号量を決定し、その割り当て符号量から次に符号化する画像の量子化スケールを決定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３５５５７号公報
【特許文献２】特開平１０−１６４５７７号公報
【特許文献３】特開２００１−２３８２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで上述のような符号量制御技術では、発生符号量が目標符号量から大きく乖離した場合、画質劣化やバッファオーバフロー・アンダフローを引き起こしてしまう。
符号量制御技術において、シーンチェンジが発生した場合でも発生していない場合でも同様に、画質劣化やバッファのオーバフローやアンダフロー等の発生を低減した安定的な符号量制御を行うことのできる技術が求められている。【０００６】
そこでこの発明は、上述の課題を解決する動画像符号化装置、動画像符号化方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、動画像符号化装置は、ピクチャタイプとしてＩピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像の符号化によって発生した符号量を算出する符号化部と、前記符号量と前記符号化に用いられた量子化幅とに基づいて符号化済みの前記ピクチャの複雑度履歴を算出する複雑度算出部と、符号化すべき符号化対象ピクチャの推定複雑度を前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴と前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴とに基づいて推定する複雑度推定部とを備える。【０００８】
本発明の第２の態様によれば、動画像符号化方法は、ピクチャタイプとしてＩピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像の符号化によって発生した符号量を算出し、前記符号量と前記符号化に用いられた量子化幅とに基づいて符号化済みの前記ピクチャの複雑度履歴を算出し、符号化すべき符号化対象ピクチャの推定複雑度を前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴と前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴とに基づいて推定する。【０００９】
本発明の第３の態様によれば、プログラムは、動画像符号化装置のコンピュータを、ピクチャタイプとしてＩピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像の符号化によって発生した符号量を算出する符号化手段、前記符号量と前記符号化に用いられた量子化幅とに基づいて符号化済みの前記ピクチャの複雑度履歴を算出する複雑度算出手段、符号化すべき符号化対象ピクチャの推定複雑度を前記符号化対象ピクチャのピクチャタイプと同一のピクチャタイプの前記複雑度履歴と前記符号化対象ピクチャの直前の前記符号化済みピクチャの複雑度履歴とに基づいて推定する複雑度推定手段として機能させる。
【発明の効果】
【００１０】
本発明によれば、符号化対象ピクチャと同一のピクチャタイプの符号化済みピクチャの複雑度履歴だけでなく、符号化対象ピクチャの直前のピクチャの複雑度変化の影響を符号化対象ピクチャに反映することができるため、画質劣化やバッファオーバフローやアンダフロー等の発生を低減した符号量制御を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による動画像符号化装置を示すブロック図である。
【図２】本発明の一実施形態による動画像符号化装置における符号量生成部を示すブロック図である。
【図３】本発明の一実施形態による動画像符号化装置のハードウェア構成を示すブロック図である。
【図４】本発明の一実施形態による符号量制御処理の処理を示すフローチャートである。
【図５】本発明の一実施形態による動画像符号化装置の最小構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による動画像符号化装置を図面を参照して説明する。
図１は同実施形態による動画像符号化装置の構成を示すブロック図である。
動画像符号化装置１は、直交変換部１１、量子化部１２、符号化部１３、逆量子化部１４、逆直交変換部１５、画面内予測部１６、画面間予測部１７、および符号量制御部１８の各機能部を備える。
【００１３】
直交変換部１１は、入力画像と予測画像の差分を直交変換する。
量子化部１２は、直交変換された係数を、与えられた量子化幅で量子化する。
符号化部１３は、量子化されたデータを可変長符号化する。
逆量子化部１４は、量子化されたデータを逆量子化する。
逆直交変換部１５は、逆量子化された係数を変換する。
画面内予測部１６は、画像内の画素を用いて画面内予測符号化画像（Ｉピクチャ）を生成する。
画面間予測部１７は、他のフレーム画像の画素と符号化対象フレームの画像内の画素を用いて画面間片予測符号化画像（Ｐピクチャ）と、画面間双予測符号化画像（Ｂピクチャ）を生成する。
符号量制御部１８は、与えられた目標符号量と符号化部１３が出力した符号量から量子化幅を算出する。
【００１４】
図２は符号量生成部１８の機能ブロック図である。
符号量制御部１８は、図２に示すように、複雑度算出部１８１、第一複雑度バッファ１８２、第二複雑度バッファ１８３、第三複雑度バッファ１８４、第四複雑度バッファ１８５、複雑度推定部１８６、および量子化幅決定部１８７を備える。
複雑度算出部１８１は、直交変換された画像信号の量子化に使用した量子化幅と、符号化部１３が発生した符号量とから複雑度を算出する。
第一複雑度バッファ１８２は、Ｉフレーム画像の過去の複雑度を記憶する。すなわち、第一複雑度バッファ１８２は、符号化済みのＩピクチャの複雑度履歴を記憶する。
第二複雑度バッファ１８３は、Ｐフレーム画像の過去の複雑度を記憶する。すなわち、第二複雑度バッファ１８３は、符号化済みのＰピクチャの複雑度履歴を記憶する。
第三複雑度バッファ１８４は、Ｂフレーム画像の過去の複雑度を記憶する。すなわち、第三複雑度バッファ１８４は、符号化済みのＢピクチャの複雑度履歴を記憶する。
このように、複雑度算出部１８１は、ピクチャタイプがＩであるの符号化済みピクチャの複雑度履歴を記憶し、第二複雑度バッファ１８３および第三複雑度バッファ１８４は、各々、ピクチャタイプがＰおよびＢである符号化済みピクチャの複雑度履歴を記憶する。
第四複雑度バッファ１８５は、符号化すべき符号化対象ピクチャの直前の符号化済みピクチャの複雑度を記憶する。第四複雑度バッファ１８５が記憶する直前のピクチャの複雑度履歴は、直前のピクチャ１つ分でも複数分の平均値や中間値などでも良い。
複雑度推定部１８６は、過去の複雑度履歴から次に符号化する符号化対象ピクチャの複雑度を推定する。
量子化幅決定部１８７は、複雑度推定部１８６で算出された推定複雑度と目標符号量とから量子化幅を算出する。
【００１５】
図３は動画像符号化装置のハードウェア構成を示すブロック図である。
動画像符号化装置１は、図３で示すようにＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、インタフェース１０５、通信モジュール１０６等のハードウェアを備えてよい。図１や図２で示す各機能は、動画像符号化装置１のコンピュータが動画像符号化プログラムを構成することにより動画像符号化装置１のＣＰＵ内部に構成されるものであってもよい。またそれら機能は回路等で構成されてもよい。
【００１６】
関連する技術では、目標符号量と発生符号量の乖離が大きいと出力ビットストリームのバッファメモリがオーバフローやアンダフローして復号できない可能性がある。関連する技術では、符号化したピクチャの発生符号量Ｓと量子化幅Ｑの積（Ｘ＝Ｓ＊Ｑ）を複雑度Ｘと定義し、過去に符号化済みのピクチャの複雑度履歴から次に符号化するピクチャの複雑度を推定している。次に、関連する技術では、推定された複雑度Ｘｅｓｔを基に目標符号量を満たすと予測される量子化幅を決定する。量子化幅Ｑは推定された複雑度Ｘｅｓｔと目標符号量Ｔとを用いて、以下のように算出することができる。
Ｘｅｓｔ＝Ｘ
Ｑ＝Ｘｅｓｔ÷Ｔ
【００１７】
Ｈ．２６５／ＨＥＶＣなどの動画像符号化では、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）によって量子化幅Ｑと発生符号量Ｓとの関係に相違があることから、関連する技術では過去のピクチャの複雑度をピクチャタイプ別に記録し、推定複雑度を算出する際には該当するピクチャタイプの複雑度履歴を用いる。一般にＩピクチャが最も圧縮率が低く、次いでＰピクチャ、Ｂピクチャの順に圧縮率が向上する。
【００１８】
関連する技術では、次に符号化するピクチャの複雑度が過去に符号化したピクチャと同程度と仮定して符号量制御を行っている。しかし、シーンチェンジのように入力画像に大きな変化が生じた場合、画像の性質が変わるため複雑度も変化し、その結果適切に符号量を制御することができない。過去のピクチャの複雑度履歴だけではなく画像特性を示すパラメータであるアクティビティを併用して推定複雑度を算出する方式の関連技術がある。アクティビティは輝度値の分散などの入力画像から算出できるパラメータである。当該技術では、ピクチャタイプ別の推定複雑度Ｘｅｓｔ＿ｉ，Ｘｅｓｔ＿ｐ，Ｘｅｓｔ＿ｂを、過去のピクチャのアクティビティＡＣＴｉ＿ｐ，ＡＣＴｐ＿ｐ， ＡＣＴｂ＿ｐと符号化するピクチャのアクティビティＡＣＴｉ，ＡＣＴｐ，ＡＣＴｂとの比を過去の複雑度履歴Ｘｉ＿ｐ，Ｘｐ＿ｐ，Ｘｂ＿ｐに加重することで算出する。
Ｘｅｓｔ＿ｉ＝Ｘｉ＿ｐ＊（ＡＣＴｉ÷ＡＣＴｉ＿ｐ）
Ｘｅｓｔ＿ｐ＝Ｘｐ＿ｐ＊（ＡＣＴｐ÷ＡＣＴｐ＿ｐ）
Ｘｅｓｔ＿ｂ＝Ｘｂ＿ｐ＊（ＡＣＴｂ÷ＡＣＴｂ＿ｐ）
これにより、シーンチェンジなどにより過去のピクチャ複雑度履歴と次のピクチャの複雑度が同程度でない場合にも、シーンに応じた量子化幅を選択することができる。
【００１９】
しかしながら符号量制御技術では同一ピクチャタイプの情報のみを用いて次のピクチャの複雑度を推定するので、シーンチェンジなどにより複雑度が大きく変化した場合に、他のピクチャタイプの複雑度推定に複雑度の変化を反映できない。例えば、あるＰピクチャで複雑度が大きく変化した場合には、後続するＢピクチャでも複雑度は大きく変化する可能性が高い。よってＰピクチャでの複雑度変化をＢピクチャに反映することが望ましい。
また、アクティビティの変化は複雑度の変化と対応するとは限らないので、アクティビティが変化しないシーンチェンジでは、複雑度の推定にシーンチェンジの影響を反映できない。その結果、実際の複雑度と大きく異なる推定複雑度で量子化幅を決定してしまうため発生符号量が目標符号量から大きく乖離し、画質劣化やバッファオーバフロー・アンダフローを引き起こしてしまう。従って、本発明は以下のような処理を行う。
【００２０】
動画像符号化装置１は動画像を入力する。当該動画像は順に入力される複数のピクチャにより構成される。各ピクチャは、それぞれＩピクチャ（画面内予測符号化画像；Intra-Picture）、Ｐピクチャ（画面間片予測符号化画像；Predictive-Picture）、Ｂピクチャ（画面間双予測符号化画像；Bi-directional Predictive-Picture）である。
【００２１】
入力ピクチャがＩピクチャである場合、動画像符号化装置１は、当該Ｉピクチャの入力画像とＩピクチャの予測画像の差分を直交変換部１１に入力する。直交変換部１１は入力画像と予測画像の差分に直交変換を行い、直交変換係数を算出する。直交変換部１１は直交変換係数を量子化部１２へ出力する。
【００２２】
量子化部１２は直交変換係数を入力する。量子化部１２は直交変換係数を量子化する。例えば量子化部１２は、直交変換係数を符号量制御部１８から入力した量子化幅と各周波数成分に対応した量子化行列とで除算して量子化する。量子化部１２は量子化した直交変換係数を符号化部１３へ出力する。符号化部１３は量子化された直交変換係数を可変長符号化して出力ビットストリームとして出力する。
【００２３】
一方、量子化部１２により量子化された直交変換係数は逆量子化部１４が入力する。逆量子化部１４は、量子化された直交変換係数を逆量子化し逆直交変換部１５へ出力する。逆直交変換部１５は逆量子化された直交変換係数を逆直交変換する。当該逆直交変換したデータは局所復号化画像である。画面内予測部１６は当該逆直交変換後の直交変換係数を用いてＩピクチャの予測画像を生成して出力する。
【００２４】
また動画像符号化装置１の入力した入力ピクチャがＰピクチャまたはＢピクチャである場合にも、動画像符号化装置１はＩピクチャと同様に、当該Ｐピクチャの入力画像と当該Ｐピクチャの予測画像の差分、またはＢピクチャの入力画像とＢピクチャの予測画像の差分を直交変換部１１に入力する。直交変換部１１は各入力画像と予測画像の差分に直交変換を行い、直交変換係数を算出する。直交変換部１１は直交変換係数を量子化部１２へ出力する。
【００２５】
量子化部１２は直交変換係数を入力する。量子化部１２は直交変換係数を量子化する。例えば量子化部１２は、直交変換係数を符号量制御部１８から入力した量子化幅と各周波数成分に対応した量子化行列とで除算して量子化する。量子化部１２は量子化した直交変換係数を符号化部１３へ出力する。符号化部１３は量子化された直交変換係数を可変長符号化して出力ビットストリームとして出力する。
【００２６】
一方、量子化部１２により量子化された直交変換係数は逆量子化部１４が入力する。逆量子化部１４は、量子化された直交変換係数を逆量子化し逆直交変換部１５へ出力する。
逆直交変換部１５は逆量子化された直交変換係数を逆直交変換する。当該逆直交変換したデータは局所復号化画像である。画面内予測部１６はＰピクチャまたはＢピクチャについての当該逆直交変換後の直交変換係数を用いてＰピクチャの予測画像またはＢピクチャの予測画像を生成して出力する。
【００２７】
図４は符号量制御処理の処理フローを示す図である。
次に符号量制御部１８の処理について説明する。
符号量制御部１８は、目標符号量と符号化部１３が可変長符号化により算出した符号量を入力する（ステップＳ１０１）。次に複雑度算出部１８１は過去に用いた量子化幅と、符号化部１３の算出した符号量とから複雑度を算出する（ステップＳ１０２）。具体的には複雑度算出部１８１は、符号化した各ピクチャについて符号化部１３が算出した符号量Ｓと、量子化幅Ｑとの積を複雑度Ｘとして算出する。このような処理により複雑度算出部１８１はＩピクチャの複雑度Ｘｉ＿ｐ、Ｐピクチャの複雑度Ｘｐ＿ｐ、Ｂピクチャの複雑度Ｘｂ＿ｐを算出する。
【００２８】
複雑度算出部１８１は、符号化済みのＩピクチャの複雑度Ｘｉ＿ｐを第一複雑度バッファ１８２と第四複雑度バッファ１８５とに記録する。
複雑度算出部１８１は、符号化済みのＰピクチャの複雑度Ｘｐ＿ｐを第二複雑度バッファ１８３と第四複雑度バッファ１８５とに記録する。
複雑度算出部１８１は、符号化済みのＢピクチャの複雑度Ｘｂ＿ｐを第三複雑度バッファ１８４と第四複雑度バッファ１８５とに記録する。
なお第一複雑度バッファ１８２、第二複雑度バッファ１８３、および第三複雑度バッファ１８４は、それぞれ各ピクチャタイプの過去の複雑度履歴を記憶する。
【００２９】
第四複雑度バッファ１８５は直前のピクチャの複雑度を記憶する。直前のピクチャとは、符号化すべき符号化対象ピクチャの符号化順もしくは表示順に基づく直前の符号化済みピクチャである。ピクチャタイプ別の複雑度バッファ（第一複雑度バッファ１８２、第二複雑度バッファ１８３、および第三複雑度バッファ１８４）、ならびに直前のピクチャの複雑度バッファ（第四複雑度バッファ１８５）において、記憶する複雑度は、直前の対応するピクチャ一つ分でも所定数ピクチャ分の平均や中間値などでも良い。また第四複雑度バッファ１８５には複雑度推定部１８６が推定した直前の推定複雑度履歴Ｘｅｓｔ＿ｍ＿ｐが記録されている。
【００３０】
複雑度推定部１８６は、第一複雑度バッファ１８２、第二複雑度バッファ１８３、および第三複雑度バッファ１８４に記録されているピクチャタイプ別の複雑度履歴Ｘｉ＿ｐ，Ｘｐ＿ｐ，およびＸｂ＿ｐと、第四複雑度バッファ１８５に記録されている直前の複雑度履歴Ｘｍ＿ｐと、直前の推定複雑度履歴Ｘｅｓｔ＿ｍ＿ｐとから、次に符号化するピクチャの推定複雑度Ｘｅｓｔ＿ｉ,Ｘｅｓｔ＿ｐ,およびＸｅｓｔ＿ｂを以下の式（１）〜（３）で算出する（ステップＳ１０３）。なお下記式において「＊」は積を示す。
【００３１】
Ｘｅｓｔ＿ｉ＝Ｘｉ＿ｐ＊（Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ）  ・・・（１）
Ｘｅｓｔ＿ｐ＝Ｘｐ＿ｐ＊（Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ）  ・・・（２）
Ｘｅｓｔ＿ｂ＝Ｘｂ＿ｐ＊（Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ）  ・・・（３）
【００３２】
これにより、ピクチャタイプによらず直前のピクチャの複雑度変化の影響を次に符号化するピクチャに反映することができる。量子化幅決定部１８７は、推定された複雑度と目標符号量を用いてピクチャタイプごとの符号量を決定し、各ピクチャの量子化幅を決定する（ステップＳ１０４）。具体的には、量子化幅決定部１８７は、量子化幅Ｑ（Ｑｉ，Ｑｐ，Ｑｂ）を、推定された複雑度Ｘｅｓｔと目標符号量Ｔとを用いて以下のように算出する。
【００３３】
Ｑｉ＝Ｘｅｓｔ＿ｉ÷Ｔ  ・・・（４）
Ｑｐ＝Ｘｅｓｔ＿ｐ÷Ｔ  ・・・（５）
Ｑｂ＝Ｘｅｓｔ＿ｂ÷Ｔ  ・・・（６）
【００３４】
上述した直前の複雑度履歴Ｘｍ＿ｐ，およびＸｅｓｔ＿ｍ＿ｐは、以下に示すように推定複雑度の下限値として用いても良い。複雑度は、実際よりも大きく推定する分には発生符号量が減少して画質が劣化するだけだが、実際よりも小さく推定すると発生符号量が多くなりバッファオーバフローするという問題や、後続ピクチャの使用可能符号量が極端に少なくなり制御が不安定になるという問題を起こす可能性が高いためである。
【００３５】
Ｘｅｓｔ＿ｉ
＝ｍａｘ（Ｘｉ＿ｐ，Ｘｉ＿ｐ＊(Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ)）  ・・・（６）
Ｘｅｓｔ＿ｐ
＝ｍａｘ（Ｘｐ＿ｐ，Ｘｐ＿ｐ＊(Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ)）  ・・・（７）
Ｘｅｓｔ＿ｂ
＝ｍａｘ（Ｘｂ＿ｐ，Ｘｂ＿ｐ＊(Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ)）  ・・・（８）
【００３６】
また各ピクチャのアクティビティ（ＡＣＴｉ，ＡＣＴｐ，ＡＣＴｂ）を算出し、当該アクティビティを用いて以下のように複雑度を推定することもできる。
Ｘｅｓｔ＿ｉ
＝Ｘｉ＿ｐ＊(ＡＣＴｉ÷ＡＣＴｉ＿ｐ) * (Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ)）  ・・・（９）
Ｘｅｓｔ＿ｐ
＝Ｘｐ＿ｐ＊(ＡＣＴｐ÷ＡＣＴｐ＿ｐ) * (Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ)）    ・・・（１０）
Ｘｅｓｔ＿ｂ
＝Ｘｂ＿ｐ＊(ＡＣＴｂ÷ＡＣＴｂ＿ｐ) * (Ｘｍ＿ｐ÷Ｘｅｓｔ＿ｍ＿ｐ)）  ・・・（１１）
【００３７】
また本実施形態においてもシーンチェンジを検出し、シーンチェンジ後のピクチャの複雑度推定方式を変更しても良い。また本実施形態においては、シーンチェンジがアクティビティによって検出できなくても複雑度の変化を次のピクチャの複雑度推定に反映できる。
【００３８】
上述の処理によれば、複雑度が大きく変化した場合にその影響をピクチャタイプに関わらず後続のすべてのピクチャに反映することができるため、適切な符号量制御を行うことができる。その結果、従来と同一の目標符号量でより高画質の符号化を行うことができ、バッファオーバフロー・アンダフローの少ない安定的な制御を行うことができる。
【００３９】
以上、上記に記した実施形態では、ＨＥＶＣ符号化規格に基づいて説明したが、Ｈ.２６４,ＭＰＥＧ２などの他の符号化規格でも同様に適用可能である。また量子化ステップの制御単位もピクチャ単位でなく、フィールド、スライス、符号化ブロックなど他の単位で制御しても良い。
【００４０】
図５は動画像符号化装置の最小構成を示すブロック図である。
図５で示すように動画像符号化装置は、少なくとも複雑度算出部１８１と、複雑度推定部１８６とにより構成される。
複雑度算出部１８１は、Ｉピクチャ、Ｐピクチャ、およびＢピクチャにより構成される動画像の符号化によって発生した符号量と符号化に用いられた量子化幅とに基づいて各ピクチャタイプの複雑度履歴を算出する。
複雑度推定部１８６は、符号化済みピクチャの各ピクチャタイプの複雑度履歴と符号化対象ピクチャの直前の符号化済みピクチャの複雑度履歴とに基づいて、符号化対象ピクチャの推定複雑度を推定する。
【００４１】
上述の動画像符号化装置は、内部にコンピュータシステムを有してよい。この場合、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われてよい。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４３】
本願は、２０１８年７月３日に、日本に出願された特願２０１８−１２６６４４号に基づき優先権を主張し、その内容をここに援用する。
【符号の説明】
【００４４】
１      動画像符号化装置
１１    直交変換部
１２    量子化部
１３    符号化部
１４    逆量子化部
１５    逆直交変換部
１６    画面内予測部
１７    画面間予測部
１８    符号量制御部
１８１  複雑度算出部
１８２  第一複雑度バッファ
１８３  第二複雑度バッファ
１８４  第三複雑度バッファ
１８５  第四複雑度バッファ
１８６  複雑度推定部
１８７  量子化幅決定部
【図１】
2020008858.tif 000003
【図２】
2020008858.tif 000004
【図３】
2020008858.tif 000005
【図４】
2020008858.tif 000006
【図５】
2020008858.tif 000007
【国際調査報告】
2020008858.tif 000008
2020008858.tif 000009