(57)【要約】【課題】映像符号化において，音声の余剰ビットレートを映像符号化の伝送に利用し，画質を向上させるとともに，全体としては画質の変動が目立たないようにする。【解決手段】映像ＧＯＰ目標符号量決定部１３は，音声符号化装置２０が映像よりも先行して符号化した音声発生符号量をもとに，映像ストリームの伝送に用いることができる余剰ビットレートを算出し，その余剰ビットレートから，べースとなる基準映像ビットレートに加算する追加映像ビットレートが徐々に変化するように，またはシーン切替え時に変化するように，追加映像ビットレートを決定し，基準映像ビットレートと追加映像ビットレートとからＧＯＰ目標符号量を決定する。【選択図】図１
2010136047.tif 000002
【特許請求の範囲】
【請求項１】
映像符号化データと音声符号化データとを多重化した符号化ストリームが所定の伝送ビットレートの範囲内になるように，映像の符号量を制御する映像符号量制御方法であって，
映像符号化制御単位の期間の映像を符号化するのに先立って，同期間に再生される音声を先行して符号化した結果から，その音声発生符号量をビットレート換算した値を求め，前記伝送ビットレートから同換算値と所定の基準映像ビットレートとを減算した値を，同期間の余剰ビットレートとして算出する過程と，
現在の映像符号化対象の映像符号化制御単位の期間よりも過去または将来の所定の期間における最低の前記余剰ビットレートに従って，前記基準映像ビットレートに加算する追加映像ビットレートを決定する過程と，
前記映像符号化対象の映像符号化制御単位の期間における目標符号量を，前記基準映像ビットレートに前記追加映像ビットレートを加算した値をもとに決定する過程と，
前記決定された目標符号量に従って，前記映像符号化制御単位における映像信号を符号化する過程とを有する
ことを特徴とする映像符号量制御方法。
【請求項２】
請求項１に記載の映像符号量制御方法において，
前記追加映像ビットレートを決定する過程では，前記所定の期間における最低の余剰ビットレートが前記映像符号化対象の映像符号化制御単位の直前の映像符号化制御単位における追加映像ビットレートより下回る場合に，前記最低の余剰ビットレートとなる映像符号化制御単位の期間までに，追加映像ビットレートが単調減少するように追加映像ビットレートを決定する
ことを特徴とする映像符号量制御方法。
【請求項３】
請求項１または請求項２に記載の映像符号量制御方法において，
映像符号化よりも先行してシーンチェンジを検出する過程を有し，
前記追加映像ビットレートを決定する過程では，前記映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含む場合に，過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の前記余剰ビットレート，もしくは先行して符号化した音声符号化期間における最低の前記余剰ビットレート，または前記シーンチェンジ後のシーン終了点までの前記余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の前記余剰ビットレートに従って，シーンチェンジ後の追加映像ビットレートを決定し，前記映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含まない場合に，先行して符号化した音声符号化期間における最低の前記余剰ビットレート，または現在のシーンのシーン終了点までの前記余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の前記余剰ビットレートに従って追加映像ビットレートを決定する
ことを特徴とする映像符号量制御方法。
【請求項４】
請求項１，請求項２または請求項３に記載の映像符号量制御方法において，
前記映像符号化対象の映像符号化制御単位の期間よりも過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の前記余剰ビットレートが直前の映像符号化制御単位における追加映像ビットレートより一定値または一定比率以上，上回る場合に，追加映像ビットレートを直前の映像符号化制御単位における追加映像ビットレートよりも一定値または一定比率だけ大きい値にする
ことを特徴とする映像符号量制御方法。
【請求項５】
映像符号化データと音声符号化データとを多重化した符号化ストリームが所定のビットレートの範囲内になるように，映像の符号量を制御し，映像信号を符号化する映像符号化装置であって，
映像符号化制御単位の期間の映像を符号化するのに先立って，同期間に再生される音声を先行して符号化した結果から，その音声発生符号量をビットレート換算した値を求め，前記伝送ビットレートから同換算値と所定の基準映像ビットレートとを減算した値を，同期間の余剰ビットレートとして算出する手段と，
現在の映像符号化対象の映像符号化制御単位の期間よりも過去または将来の所定の期間における最低の前記余剰ビットレートに従って，前記基準映像ビットレートに加算する追加映像ビットレートを決定する手段と，
前記映像符号化対象の映像符号化制御単位の期間における目標符号量を，前記基準映像ビットレートに前記追加映像ビットレートを加算した値をもとに決定する手段と，
前記決定された目標符号量に従って，前記映像符号化制御単位における映像信号を符号化する手段とを備える
ことを特徴とする映像符号化装置。
【請求項６】
請求項１から請求項４までのいずれか１項に記載の映像符号量制御方法を，コンピュータに実行させるための映像符号量制御プログラム。
【請求項７】
請求項１から請求項４までのいずれか１項に記載の映像符号量制御方法を，コンピュータに実行させるための映像符号量制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，音声ストリームのビットレートと映像ストリームのビットレートとの和が所定のビットレートの範囲内になるように，音声の発生符号量に応じて映像の符号量を制御する映像符号量制御方法，映像符号化装置，映像符号量制御プログラムおよびその記録媒体に関するものである。
【背景技術】
【０００２】
一般に，映像ストリームと，音声やデータなどの他のストリームとを多重化して送るような伝送システムでは，映像は，他のストリームとは独立にビットレート制御を行っていた（非特許文献１，２参照）。
【０００３】
一般に映像・音声符号化では，複雑で変化の多い入力信号に対しては符号量が多くなり，単調で変化の少ない入力信号に対しては符号量が少なくなる。
【０００４】
ロッシー符号化ストリームは，固定ビットレート（ＣＢＲ：Constant Bit Rate ）で伝送するために，信号の劣化の程度を変化させることにより，発生符号量を所定の範囲内に収めるように制御する。一方，ロスレス符号化ストリームでは，発生符号量の変化を制御することができないため，一般に可変ビットレート（ＶＢＲ：Variable Bit Rate ）で伝送される。
【非特許文献１】ISO/IEC 13818-2 Annex C, ITU-T Recomendation H.264 Annex C
【非特許文献２】映像情報メディア学会編，“総合マルチメディア選書ＭＰＥＧ”，社団法人映像情報メディア学会，（株）オーム社発行，1996.4.20
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ＭＰＥＧ−４  ＡＬＳのようなロスレス音声符号化ストリームと映像符号化ストリーム（以下，符号化ストリームを単に「ストリーム」ともいう）とを多重化する場合，音声ビットレートの変動が映像ビットレートに比べて無視できないほど大きいことが多い。
【０００６】
したがって，映像と音声の多重化ストリームにおいて，固定で割り当てられていた音声のビットレートのうち，音声符号化データの発生符号量が小さい余剰符号量分を映像符号化に利用することができれば，ビットレートに無駄が生じることがなく，画質の向上に寄与すると考えられる。
【０００７】
しかし，このように音声符号化データの発生符号量の変動分を，映像符号化に有効に利用するために，音声のビットレートに合わせて映像のビットレートを変化させると，映像の全体としての画質は向上するものの，音声符号化データの発生符号量が少ない場面では画質が必要以上に鮮明になることがあり，音声符号化データの変動に応じて画質の変動が目立ち過ぎることがあるという，新たな問題が生じる。
【０００８】
本発明は，上記課題の解決を図り，音声符号化データの伝送における余剰ビットレート分を映像符号化データの伝送に有効に利用するとともに，全体として画質の変動を目立たせなくすることによって，符号化された映像の画質を向上させることを目的とする。  
【課題を解決するための手段】
【０００９】
本発明は，上記課題を解決するため，ロスレス音声符号化ストリームやデータストリーム等の符号化ビットレートを制御できないストリームと，ロッシー映像符号化ストリームとをＣＢＲに多重化する場合に，次のように音声の発生符号量が少ない場合の余剰ビットレートに応じて映像の符号量を制御する。
【００１０】
（１）音声符号量を先読みし，映像伝送可能ビットレートが現在の映像符号化ビットレートを下回る箇所があることが判明したならば，映像符号化ビットレートをその伝送可能レートまで下げる。
【００１１】
例えばＧＯＰ（Group Of Pictures ）単位で映像のレート制御を行う場合，ＧＯＰ発生符号量をビットレート換算した値が映像符号化ビットレートとなる。また，ＴＳ（Transport Stream）ビットレートまたは伝送ビットレートから同一ＧＯＰ期間に再生される音声符号量をビットレート換算した値を減算した値が，映像伝送可能ビットレートとなる。
【００１２】
（２）映像符号化ビットレートを下げる際には，可能な限り，シーン切替え時に下げる。それが不可能な場合には，徐々に下げる。シーンチェンジ検出には，従来方法を利用することができる。
【００１３】
（３）映像符号化ビットレートを上げる場合には，シーン切替え時に過去の一定期間内の映像伝送可能ビットレートの下限値まで上げる。この期間は長ければ画質変動のリスクが減るが，上げるビットレート幅は小さくなる。
【００１４】
（４）音声符号量を先読みする手段として，音声を映像より数秒間先行して符号化する方法，事前に音声を符号化しその符号量を記録しておく方法，事前に音声を解析し，符号量の推定値を記録しておく方法などを用いることができる。
【００１５】
（５）１ＧＯＰ分（例えば０．５秒程度）の先読みにより，通常，ＧＯＰ符号化開始時にＧＯＰ末尾までの利用可能帯域が確定することになるので，レート制御が安定する。また，音声符号量の先読み期間を数秒以上にすれば，シーンチェンジ時にビットレートを変更できる確率が上昇し，シーン途中での画質変動を抑制できる。
【００１６】
以上の点を踏まえて，本発明は，次のように映像の符号量を制御する。まず，映像符号化よりも先行して符号化した音声符号化結果から，映像符号化前の映像符号化制御単位（ＧＯＰまたはフレーム）の期間における，伝送ビットレート（ＴＳビットレート）から同一期間に再生される音声符号量をビットレート換算した値と所定の基準映像ビットレートとを減算した値に相当する余剰ビットレートを算出する。この基準映像ビットレートに余剰ビットレートを加算した値が映像伝送可能ビットレートである。
【００１７】
次に，現在の映像符号化対象の映像符号化制御単位の期間よりも過去または将来の所定の期間における最低の余剰ビットレートに従って，基準映像ビットレートに加算する追加映像ビットレートを決定する。そして，映像符号化対象の映像符号化制御単位の期間における目標符号量を，基準映像ビットレートに追加映像ビットレートを加算した値をもとに決定し，その決定された目標符号量に従って，映像符号化制御単位における映像信号を符号化する。
【００１８】
上記発明において，追加映像ビットレートを決定する際に，所定の期間における最低の余剰ビットレートが映像符号化対象の映像符号化制御単位の直前の映像符号化制御単位における追加映像ビットレートより下回る場合に，最低の余剰ビットレートとなる映像符号化制御単位の期間までに，追加映像ビットレートが単調減少するように追加映像ビットレートを決定することも好適である。追加映像ビットレートを急激に下げるのではなく，徐々に下げることにより，画質の変動が目立ちにくくなるからである。
【００１９】
また，シーンチェンジがあると，シーンチェンジの前後における画質の変動は目立ちにくい。したがって，追加映像ビットレートの上げ下げは，できるだけシーン切替え時に行うようにする実施も好適である。
【００２０】
そこで，さらに本発明を次のように実施することもできる。まず，映像符号化よりも先行してシーンチェンジを検出し，追加映像ビットレートを決定する際には，映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含む場合に，過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の余剰ビットレート，もしくは先行して符号化した音声符号化期間における最低の余剰ビットレート，またはシーンチェンジ後のシーン終了点までの余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の余剰ビットレートに従って，シーンチェンジ後の追加映像ビットレートを決定し，映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含まない場合に，先行して符号化した音声符号化期間における最低の余剰ビットレート，または現在のシーンのシーン終了点までの余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の余剰ビットレートに従って追加映像ビットレートを決定する。
【００２１】
さらに，本発明は，長いシーン期間において，余剰ビットレートが増えていくような期間が続く場合に，それを有効に映像符号化に利用するために，映像符号化対象の映像符号化制御単位の期間よりも過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の余剰ビットレートが直前の映像符号化制御単位における追加映像ビットレートより一定値または一定比率以上，上回る場合に，追加映像ビットレートを直前の映像符号化制御単位における追加映像ビットレートよりも一定値または一定比率だけ大きい値にすることも好適である。
【発明の効果】
【００２２】
本発明によれば，映像符号化データと音声符号化データとを多重化した符号化ストリームが所定の伝送ビットレートの範囲内になるように，映像の符号量を制御する場合に，音声の余剰ビットレート分を映像の伝送に利用し，全体として画質を向上させることができるようになるとともに，音声符号量の変動が大きい場合でも，画質の変動を目立たせなくすることができるようになる。
【発明を実施するための最良の形態】
【００２３】
以下，本発明の実施の形態を図面を用いながら詳細に説明する。
【００２４】
図１は，本発明の実施例に係る装置の構成例を示す図である。映像符号化装置１０は，映像・音声重畳信号のうち映像信号を入力し，映像信号を符号化して映像ストリームを出力する。音声符号化装置２０は，映像・音声重畳信号のうち音声信号を入力し，音声信号を符号化して音声ストリームを出力する。多重化部３０は，音声ストリームと映像ストリームとを所定のビットレートとなるように多重化して出力する。
【００２５】
本実施例において，音声符号化装置２０は，フレーム毎もしくは逐次，音声発生符号量を映像符号化装置１０に伝達する機能を持つほかは従来技術と同様であるので，その内部構成についての詳しい説明は省略する。
【００２６】
映像符号化装置１０は，映像信号を入力する映像入力部１１，入力した映像信号を蓄積する映像入力バッファ１２，ＧＯＰ毎の映像の目標符号量を決定する映像ＧＯＰ目標符号量決定部１３，映像フレーム毎の目標符号量を決定する映像フレーム目標符号量決定部１４，映像信号をフレーム目標符号量に従って符号化する映像フレーム符号化処理部１５，映像ストリームを出力する映像ストリーム出力部１６，映像ストリームを一時的に蓄積する映像ストリーム出力バッファ１７を備える。
【００２７】
シーンチェンジ検出部１８は，入力映像信号のうち符号化に先立ってシーンチェンジ検出対象映像データについてシーンチェンジの有無を検出するものである。
【００２８】
映像ＧＯＰ目標符号量決定部１３は，音声符号化装置２０が符号化した音声発生符号量から映像符号化に利用することができる余剰ビットレートを算出する余剰ビットレート算出部１３１と，算出した余剰ビットレートのうち実際に映像符号化に利用する追加映像ビットレートを算出する追加映像ビットレート算出部１３２と，追加映像ビットレートを用いてＧＯＰ目標符号量を算出するＧＯＰ目標符号量算出部１３３とを備える。
【００２９】
図２および図３は，本発明の実施例の映像符号化処理のフローチャートである。本実施例では，映像と音声の符号化は並行して行われる。ただし，映像符号化に対して音声符号化と映像のシーンチェンジ検出を，１ＧＯＰ以上（図２の例では（ｍ−ｎ＋１）ＧＯＰ）先行して行う。また，本実施例において基準映像ビットレートとは，音声フレームの発生符号量が常に最大の場合に確保できる映像ビットレートを指す。すなわち，基準映像ビットレートは，映像ストリームの伝送に対して最小限保証される所定のビットレートである。ｎ番目のＧＯＰを，ＧＯＰ（ｎ）と表す。
【００３０】
まず，映像ＧＯＰ目標符号量決定部１３は，音声符号化装置２０から音声発生符号量の情報を受け取り，ＧＯＰ（ｎ）の符号化開始時に，ＧＯＰ（ｍ）期間（ただし，ｍ＞ｎ）の先行音声符号化結果から，ＧＯＰ（ｍ）期間の余剰ビットレートＲr （ｍ）を，次式によって求めて記憶する（ステップＳ１０１）。
【００３１】
Ｒr （ｍ）＝Σx=j j+M-1 ｛Ｓamax−Ｓa （ｘ）｝／（Ｎ／Ｐ）
ただし，ＧＯＰ（ｍ）期間の音声フレームをフレームｊ〜ｊ＋Ｍ−１（ＭはＧＯＰ（ｍ）期間の音声フレーム数）とし，Ｓa （ｘ）は音声フレームｘの発生符号量，Ｓamaxは各音声フレームの最大発生符号量である。ＮはＧＯＰ内映像フレーム数，Ｐは映像フレームレートである。
【００３２】
次に，ＧＯＰ（ｎ）から過去ａ個（ａは所定の定数）のＧＯＰの最低余剰ビットレートＲa を更新する（ステップＳ１０２）。ｍｉｎ（）は，引数の要素の中の最小値を返す関数である。
【００３３】
Ｒa ＝ｍｉｎ（Ｒr （ｎ−ａ＋１），Ｒr （ｎ−ａ＋２），…，Ｒr （ｎ））
続いて，シーンチェンジ検出部１８による検出結果に従って，ＧＯＰ（ｎ）内にシーン開始点を含むかどうかを判定する（ステップＳ１０３）。ＧＯＰ（ｎ）内にシーン開始点を含む場合には，図３のステップＳ１１２以降を実行する。
【００３４】
ＧＯＰ（ｎ）内にシーン開始点を含まない場合には，ステップＳ１０４へ進み，符号化中のシーンが終了するフレームおよびそのＧＯＰ（ｓ）は判明済みか否かを判定する（ステップＳ１０４）。判明済みの場合，現在のシーン内の最低余剰ビットレートＲr （ｔ）とその期間ｔを求める（ステップＳ１０５）。すなわち，最低余剰ビットレートＲr （ｔ）は，次式に従って求められる。
【００３５】
Ｒr （ｔ）＝ｍｉｎ（Ｒr （ｎ），Ｒr （ｎ＋１），…，Ｒr （ｓ））
一方，判明済みでない場合，先行符号化期間内の最低余剰ビットレートＲr （ｔ）とその期間ｔを求める（ステップＳ１０６）。この場合，最低余剰ビットレートＲr （ｔ）は，次式となる。
【００３６】
Ｒr （ｔ）＝ｍｉｎ（Ｒr （ｎ），Ｒr （ｎ＋１），…，Ｒr （ｍ））
次に，上記の最低余剰ビットレートＲr （ｔ）が，直前ＧＯＰの追加映像ビットレートＲd （ｎ−１）を下回るか否かを判定する（ステップＳ１０７）。下回る場合には，追加映像ビットレートとなる期間ｔまでに追加映像ビットレートＲd （ｎ）が単調減少していくように設定する（ステップＳ１０８）。例えば，次のように設定する。
【００３７】
Ｒd （ｎ）＝Ｒd （ｎ−１）−｛Ｒd （ｎ−１）−Ｒd （ｔ）｝／（ｔ−ｎ）
一方，下回らない場合には，直前ＧＯＰと同じ追加映像ビットレートとする（ステップＳ１０９）。すなわち，  Ｒd （ｎ）＝Ｒd （ｎ−１）とする。
【００３８】
次に，基準映像ビットレートＲと追加映像ビットレートＲd （ｎ）とから，ＧＯＰ目標符号量Ｇ（ｎ）を算出する（ステップＳ１１０）。ＧＯＰ目標符号量Ｇ（ｎ）は，次式により求められる。
【００３９】
Ｇ（ｎ）＝Ｎ・（Ｒ＋Ｒd （ｎ））／Ｐ＋前のＧＯＰの繰越符号量
ＧＯＰ目標符号量Ｇ（ｎ）が決まったならば，映像フレーム目標符号量決定部１４は，ＧＯＰ目標符号量Ｇ（ｎ）を，ＧＯＰ（ｎ）内の各フレームに対して配分して各フレームの目標符号量を決定し，映像フレーム符号化処理部１５は，各フレームの目標符号量に従ってＧＯＰ（ｎ）内の各フレームを符号化する（ステップＳ１１１）。なお，ＧＯＰ目標符号量Ｇ（ｎ）から，ＧＯＰ（ｎ）内の各フレームの目標符号量を算出する方法としては，例えば次の参考文献１に開示されている方法などがある。
［参考文献１］International Organisation for Standardisation, Test Model Editing Committee, 1993, Test Model 5, April, ISO-IEC/JTC1/SC29/WG11/N0400 
その後，ステップＳ１０１に戻り，次のＧＯＰ（ｎ＋１）について同様に符号化処理を続ける。
【００４０】
ステップＳ１０３において，ＧＯＰ（ｎ）内にシーン開始点を含むと判定された場合，図３のステップＳ１１２へ進み，ＧＯＰ（ｎ）で開始されるシーンが終了するフレームおよびそのＧＯＰ（ｓ）は判明済みか否かを判定する（ステップＳ１１２）。判明済みの場合，上記シーン期間内の最低余剰ビットレートと，映像符号化ビットレートの上限値ＴＨR のどちらか小さいほうの値をＧＯＰ内シーンチェンジ後の追加映像ビットレートＲd * （ｎ）とする（ステップＳ１１３）。
【００４１】
Ｒd * （ｎ）＝ｍｉｎ（ＴＨR ，ｍｉｎ（Ｒr （ｎ），…，Ｒr （ｓ）））
一方，判明済みでない場合には，音声先行符号化期間内の最低余剰ビットレートＲr と，過去ａ個のＧＯＰの最低余剰ビットレートＲa のどちらか小さいほうの値を，ＧＯＰ内シーンチェンジ後の追加映像ビットレートＲd * （ｎ）とする（ステップＳ１１４）。
【００４２】
Ｒd * （ｎ）＝ｍｉｎ（Ｒa ，ｍｉｎ（Ｒr （ｎ），…，Ｒr （ｍ）））
次に，ＧＯＰ（ｎ）の余剰ビットレートＲr （ｎ）が直前のＧＯＰの追加映像ビットレートＲd （ｎ−１）を下回るかどうかを判定する（ステップＳ１１５）。下回る場合には，ＧＯＰ（ｎ）の余剰ビットレートＲr （ｎ）をＧＯＰ内シーンチェンジ前の追加映像ビットレートＲd ′（ｎ）とする（ステップＳ１１６）。すなわち，Ｒd ′（ｎ）＝Ｒr （ｔ）とする。
【００４３】
一方，下回らない場合には，直前ＧＯＰの追加映像ビットレートと同じ値を，ＧＯＰ内シーンチェンジ前の追加映像ビットレートＲd ′（ｎ）とする（ステップＳ１１７）。すなわち，Ｒd ′（ｎ）＝Ｒd （ｎ−１）とする。
【００４４】
次に，基準映像ビットレートＲとＧＯＰ内シーンチェンジ前の追加映像ビットレートＲd ′（ｎ）と前のＧＯＰの繰越符号量から，シーンチェンジ前のＧＯＰ目標符号量Ｇ′（ｎ）を，次式に従って算出する（ステップＳ１１８）。
【００４５】
Ｇ′（ｎ）＝（Ｒ＋Ｒd ′（ｎ））×α′＋前のＧＯＰの繰越符号量
ここで，α′は，ＧＯＰ内シーンチェンジ前のフレーム数，ピクチャタイプ，複雑さ指標により決まる配分比である。
【００４６】
映像フレーム目標符号量決定部１４は，ＧＯＰ目標符号量Ｇ′（ｎ）に従って，ＧＯＰ（ｎ）のシーンチェンジ前の各フレームの目標符号量を決定し，映像フレーム符号化処理部１５は，シーンチェンジ前の各フレームを符号化する（ステップＳ１１９）。
【００４７】
続いて，基準映像ビットレートＲとＧＯＰ内シーンチェンジ後の追加映像ビットレートＲd * （ｎ）とＧＯＰ前半からの繰越符号量からシーンチェンジ後のＧＯＰ目標符号量Ｇ* （ｎ）を，次式に従って算出する（ステップＳ１２０）。
【００４８】
Ｇ* （ｎ）＝（Ｒ＋Ｒd * （ｎ））×α* ＋ＧＯＰ前半からの繰越符号量
ここで，α* は，ＧＯＰ内シーンチェンジ後のフレーム数，ピクチャタイプ，複雑さ指標により決まる配分比である。
【００４９】
映像フレーム目標符号量決定部１４は，ＧＯＰ目標符号量Ｇ* （ｎ）に従って，ＧＯＰ（ｎ）のシーンチェンジ後の各フレームの目標符号量を決定し，映像フレーム符号化処理部１５は，シーンチェンジ後の各フレームを符号化する（ステップＳ１２１）。その後，ステップＳ１０１に戻り，次のＧＯＰ（ｎ＋１）について同様に符号化処理を続ける。
【００５０】
図４に，本発明の実施例においてＧＯＰ（ｎ）内にシーンチェンジ開始点を含まない場合のビットレートの割当ての例を示す。
【００５１】
図４において，Ｒは基準映像ビットレートであり，音声フレームの発生符号量が常に最大の場合に確保できる映像ビットレートである。換言すれば，Ｒは映像ビットレートとして最低保証されるビットレートである。
【００５２】
また，ＧＯＰ（ｎ）期間に再生される音声符号量のビットレート換算値をＴＳビットレートから減算した値を，映像伝送可能ビットレートとすると，余剰ビットレートＲr （ｎ）は，映像伝送可能ビットレートから基準映像ビットレートＲを減算した値である。
【００５３】
最低余剰ビットレートＲr （ｔ）は，映像の符号化に対して音声を先行して符号化した期間内のＧＯＰ単位の余剰ビットレートのうち，最も小さい値をいう。
【００５４】
音声の余剰符号量を映像符号化に利用しようとした場合，原理的にはＧＯＰ（ｎ）の目標符号量を，基準映像ビットレートＲに余剰ビットレートＲr （ｎ）だけ加えた映像伝送可能ビットレートに応じて決定することができる。しかし，この場合，音声の発生符号量の変動が大きいと映像の画質の変動が目につく可能性がある。
【００５５】
そこで，本発明では，例えば図４に示すように，余剰ビットレートＲr （ｎ）のすべてを映像符号化に割り当てるのではなく，その一部を追加映像ビットレートＲd （ｎ）として定め，追加映像ビットレートＲd （ｎ）が大きく変動しないように，最低余剰ビットレート期間までに，追加映像ビットレートを単調減少させ，徐々に小さくする。これにより，画質の変動が極端に大きくなるのを回避することが可能になる。
【００５６】
図５は，本発明の実施例においてＧＯＰ（ｎ）内にシーンチェンジ開始点を含み，符号化中のシーンの終了点が判明している場合のビットレートの割当ての例を示している。
【００５７】
映像中にシーンチェンジがあると，シーンチェンジの前後では，画質の変動が目立ちにくい。そこで，映像信号の先読みによってシーンチェンジを検出した場合には，追加映像ビットレートＲd * （ｎ）を徐々に単調減少させるのではなく，例えば図５に示すように，追加映像ビットレートＲd * （ｎ）がシーンの終了点を含むＧＯＰ（ｍ）までの期間における最低余剰ビットレートＲr （ｔ）になるように決定してもよい。このようにしても音声ビットレートの変動に伴う画質の変動を目立たせなくすることができる。
【００５８】
図６は，本発明の他の実施例の映像符号化処理のフローチャートである。本実施例の場合，シーン途中であっても，余剰ビットレートが連続して十分にある場合に，追加映像ビットレートを単調減少させるのではなく，直前ＧＯＰの追加映像ビットレートよりも，ある値だけ増加させることにより，余剰ビットレートの有効活用を促進する。
【００５９】
本実施例では，図２および図３に示すフローチャートのうち，ステップＳ１１０の部分が，図６に示すステップＳ１１０１〜Ｓ１１０３に置き換わり，他の部分については前の実施例と同様であるので，以下では違う部分の処理についてだけ説明する。
【００６０】
前の実施例のステップＳ１０１〜Ｓ１０９を実行した後，過去ａ個のＧＯＰの最低余剰ビットレートＲa が直前ＧＯＰの追加映像ビットレートＲd （ｎ−１）を一定値Ｒadd 以上，上回るかどうかを判定する（ステップ１１０１）。一定値Ｒadd 以上，上回る場合には，追加映像ビットレートＲd （ｎ）を直前ＧＯＰより一定値Ｒadd 上昇させる（ステップＳ１１０２）。すなわち，Ｒd （ｎ）＝Ｒd （ｎ−１）＋Ｒadd とする。
【００６１】
一方，一定値Ｒadd 以上，上回らない場合には，追加映像ビットレートＲ（ｎ）を直前ＧＯＰのＲd （ｎ−１）と同じにする（ステップＳ１１０３）。すなわち，Ｒd （ｎ）＝Ｒd （ｎ−１）とする。以降は，前の実施例におけるステップＳ１１１〜Ｓ１２１と同じ処理を行う。
【００６２】
この例では，過去ａ個のＧＯＰの最低余剰ビットレートＲa が直前ＧＯＰの追加映像ビットレートＲd （ｎ−１）を一定値Ｒadd 以上，上回るかどうかによって，追加映像ビットレートＲd （ｎ）を上昇させるかどうかを決定しているが，一定値ではなく一定比率以上，上回るかどうかを判定して，上昇させるかどうかを決定するようにしてもよい。
【００６３】
以上の映像符号化の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施例に係る装置の構成例を示す図である。
【図２】本発明の実施例の映像符号化処理のフローチャートである。
【図３】本発明の実施例の映像符号化処理のフローチャートである。
【図４】ＧＯＰ（ｎ）内にシーンチェンジ開始点を含まない場合のビットレートの割当ての例を示す図である。
【図５】ＧＯＰ（ｎ）内にシーンチェンジ開始点を含み，符号化中のシーンの終了点が判明している場合のビットレートの割当ての例を示す図である。
【図６】本発明の他の実施例の映像符号化処理のフローチャートである。
【符号の説明】
【００６５】
１０  映像符号化装置
１１  映像入力部
１２  映像入力バッファ
１３  映像ＧＯＰ目標符号量決定部
１３１  余剰ビットレート算出部
１３２  追加映像ビットレート算出部
１３３  ＧＯＰ目標符号量算出部
１４  映像フレーム目標符号量決定部
１５  映像フレーム符号化処理部
１６  映像ストリーム出力部
１７  映像ストリーム出力バッファ
１８  シーンチェンジ検出部
２０  音声符号化装置
３０  多重化部
【図１】
2010136047.tif 000003
【図２】
2010136047.tif 000004
【図３】
2010136047.tif 000005
【図４】
2010136047.tif 000006
【図５】
2010136047.tif 000007
【図６】
2010136047.tif 000008