(57)【要約】【課題】可変ビットレートで事前に符号化された符号化データのビットレートの変動分を有効に利用した動画像符号化装置を提供する。【解決手段】可変ビットレートで事前に符号化された可変ビットレート符号化データを含む入力符号化データを復号化時間方向に分割して得られる複数の時間区間の各々の符号量から、入力符号化データの時間区間ごとの入力ビットレートを算出する手段と、第１の伝送ビットレートから前記入力ビットレートを減じて時間区間ごとの第２の伝送ビットレートを算出する手段と、第２の伝送ビットレートに従って動画像データを符号化する符号化手段とを具備する。【選択図】      図１
2009171339.tif 000002
【特許請求の範囲】
【請求項１】
可変ビットレートで事前に符号化された可変ビットレート符号化データを含む入力符号化データを復号化時間方向に分割して得られる複数の時間区間の各々の符号量から、前記入力符号化データの前記時間区間ごとの入力ビットレートを算出する手段と、
第１の伝送ビットレートから前記入力ビットレートを減じて前記時間区間ごとの第２の伝送ビットレートを算出する手段と、
前記第２の伝送ビットレートに従って動画像データを符号化する符号化手段と、
を具備することを特徴とする動画像符号化装置。
【請求項２】
前記第１符号化データは、ロスレス符号化されたデータであることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記第１符号化データは、サブピクチャであることを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
第３の伝送ビットレートで可変ビットレート制御する際に各画像に割り当てられる符号量と、前記第２の伝送ビットレートとに基づいて仮想デコーダバッファの入出力のシミュレーションを行う手段と、仮想デコーダバッファのアンダーフローが発生した場合は、アンダーフローした符号量を他の画像に分配する手段とを具備することを特徴とする請求項１〜３のいずれか１記載の動画像符号化装置。
【請求項５】
前記第１の伝送ビットレートは、前記可変ビットレートで符号化された前記符号化データと、前記符号化手段で符号化された動画像データと、を多重化する際の伝送ビットレートであることを特徴する請求項１〜４のいずれか１記載の動画像符号化装置。
【請求項６】
前記復号化時間間隔は、前記第１の伝送ビットレートで多重化されたデータを分離するために必要とされるシステムターゲットデコーダのバッファのサイズを、前記第１の伝送ビットレートで割った値以上であることを特徴とする請求項１〜５のいずれか１項記載の動画像符号化装置。
【請求項７】
前記復号化時間間隔は、符号化予定のＧＯＰ長間隔以上であることを特徴とする請求項１〜５のいずれか１項記載の動画像符号化装置。
【請求項８】
前記可変ビットレートで符号化された前記符号化データと前記符号化手段で符号化された動画像データとを多重化するＭＰＥＧ２  ＰＳ（Program Stream）方式の多重化手段を更に含み、前記システムターゲットデコーダのバッファはＰ−ＳＴＤバッファであることを特徴とする請求項６記載の動画像符号化装置。
【請求項９】
前記可変ビットレートで符号化された前記符号化データと前記符号化手段で符号化された動画像データとを多重化するＭＰＥＧ２  ＴＳ（Transport Stream）方式の多重化手段を更に含み、前記システムターゲットデコーダのバッファはＴ―ＳＴＤバッファであることを特徴とする請求項６記載の動画像符号化装置。
【請求項１０】
可変ビットレートで事前に符号化された可変ビットレート符号化データを含む入力符号化データを復号化時間方向に分割して得られる複数の時間区間の各々の符号量から、前記入力符号化データの前記時間区間毎の入力ビットレートを算出し、第１の伝送ビットレートから前記入力ビットレートを減じて前記時間区間ごとの第２の伝送ビットレートを算出するステップと、
第３の伝送ビットレートで可変ビットレート制御すると仮定したときの各画像に割り当てられる符号量と、前記第２の伝送ビットレートとに基づいて仮想デコーダバッファの入出力のシミュレーションを行い、仮想デコーダバッファのアンダーフローが発生した場合は、アンダーフローした符号量を他の画像に分配するステップと、
を有することを特徴とする動画像符号化方法。
【請求項１１】
可変ビットレートで事前に符号化された符号化データを含む符号化データをデコーダバッファに入力されてから復号化されるまでの遅延時間が最小となるように、第１の伝送ビットレートで前記符号化データを多重化するステップと、
前記多重化データに対して、さらに動画像データを加えて多重化することが可能である時間あたりの符号量に対応する第２の伝送ビットレートを算出するステップと、
第３の伝送ビットレートで可変ビットレート制御すると仮定して各画像に割り当てられる符号量と、前記第第２の伝送ビットレートとに基づいて仮想デコーダバッファの入出力のシミュレーションを行い、仮想デコーダバッファのアンダーフローが発生した場合は、アンダーフローした符号量を他の画像に分配するステップと、
を有することを特徴とする動画像符号化方法。
【請求項１２】
可変ビットレートで事前に符号化された符号化データを含む入力符号化データを復号化時間方向に分割して得られる複数の時間区間の各々の符号量から、前記入力符号化データの前記時間区間ごとの入力ビットレートを算出し、所定の第１の伝送ビットレートから前記入力ビットレートを減じて前記時間区間ごとの第２の伝送ビットレートを算出する機能と、
第３の伝送ビットレートで可変ビットレート制御するとしたら各画像に割り当てられる符号量と、第２の伝送ビットレートとに基づいて仮想デコーダバッファの入出力のシミュレーションを行う機能と、
仮想デコーダバッファのアンダーフローが発生した場合は、アンダーフローした符号量を他の画像に分配する機能と、
をコンピュータに実行させることを特徴とする動画像符号化プログラム。
【請求項１３】
可変ビットレートで事前に符号化された符号化データを含む符号化データをデコーダバッファに入力されてから復号化されるまでの遅延時間が最小となるように、前記符号化データを第１の伝送ビットレートで多重化する機能と、
前記多重化データに対して、さらに動画像データを加えて多重化することが可能である時間あたりの符号量を第２の伝送ビットレートとして算出する機能と、
第３の伝送ビットレートで可変ビットレート制御するときに各画像に割り当てられる符号量と、前記第第２の伝送ビットレートとに基づいて仮想デコーダバッファの入出力のシミュレーションを行い、仮想デコーダバッファのアンダーフローが発生した場合は、アンダーフローした符号量を他の画像に分配する機能と、をコンピュータに実行させることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、事前に可変ビットレートで符号化されたデータのビットレートの変動を事前に調査することで、多重化予定の動画像データの伝送レートを効率良く設定し、高品質な可変ビットレート制御を実現できる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関する。
【背景技術】
【０００２】
所定の多重化伝送ビットレートに対して、複数チャンネルの動画像データを同時に符号化し、そのチャンネル間でビットレートのやりとりを最適化して多重化する統計多重制御装置が開発されている（特開２００１−３５９０９４、特開２００２−５８０２２）。
【０００３】
一方で、多重化されるデータは動画像データだけではなく、オーディオデータもある。特に近年ではオーディオをロスレス可変長圧縮するＤｏｌｂｙ  Ｔｒｕｅ  ＨＤやＤＴＳ  ＨＤといったコーデックが次世代ＤＶＤ規格であるＨＤ  ＤＶＤに採用されており、動画像データと共に多重化されてＨＤ  ＤＶＤディスクに記録されている。
【特許文献１】特開２００１−３５９０９４
【特許文献２】特開２００２−５８０２２
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の統計多重制御はリアルタイム処理が基本となっており、チャンネル間で符号量調整は可能であったが、時間軸方向では最適化されていない問題があった。また、ロスレス可変長符号化されるオーディオデータを合わせて多重化する場合は、オーディオデータの符号量調整が不可能であり、従来の統計多重制御のように動画像データとロスレスオーディオデータとを適切に多重化することが困難であった。即ち、ロスレスオーディオデータではビットレートが可変になっている。この場合、変動の高い領域がオーディオに使う領域とされ、残りの領域がビデオに割り当てられていた。そのため、ビットレートの変動部分、特にビットレートの低い部分が有効利用できない。
【０００５】
本発明は、上記欠点を鑑みて、ロスレスオーディオを符号化して符号化データのビットレートがどのように変動するかを解析し、その情報に基づいて動画像データの伝送ビットレートを動的に設定して動画像符号化する動画像符号化装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施態様は可変ビットレートで事前に符号化された可変ビットレート符号化データを含む入力符号化データを復号化時間方向に分割して得られる複数の時間区間の各々の符号量から、前記入力符号化データの前記時間区間ごとの入力ビットレートを算出する手段と、第１の伝送ビットレートから前記入力ビットレートを減じて前記時間区間ごとの第２の伝送ビットレートを算出する手段と、前記第２の伝送ビットレートに従って動画像データを符号化する符号化手段と、を具備する動画像符号化装置を提供する。
【発明の効果】
【０００７】
本発明によれば、所定の多重化伝送ビットレートを最大限に利用して、効率的な可変ビットレート制御することで、高品質な動画像符号化を実現することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。
【０００９】
（第１の実施形態）
図１に示すように動画像符号化装置は、ビデオ符号器１０１、ロスレスオーディオ符号器１０２、ロッシーオーディオ符号器１０３、サブピクチャ符号化装置１０４及び伝送ビットレート計算器１０５により構成される。ビデオ符号器１０１はビデオソース１０７に接続され、入力された動画像の元データを与えられた伝送ビットレートに基づいて可変ビットレート制御しながら入力動画像を符号化し、ビデオデータを出力する。ロスレスオーディオ符号器１０２はオーディオソース（英語）１０８に接続され、入力されたオーディオ（英語）の元データをロスレス可変ビットレート符号化し、英語データを出力する。ロッシーオーディオ符号器１０３はオーディオソース（スペイン語）１０９及びオーディオソース（フランス語）１１０に接続され、入力されたオーディオ（スペイン語、フランス語）の元データをロッシー固定ビットレート符号化し、スペイン語データ及びフランス語データを出力する。サブピクチャ符号化装置１０４はサブピクチャソース１１１に接続され、入力されたサブピクチャ（字幕データ）の元データを符号化し、サブピクチャデータを出力する。
【００１０】
伝送ビットレート計算器１０５は事前に符号化されたデータ（ここでは、ロスレス英語オーディオデータ、ロッシースペイン語、フランス語オーディオデータ、サブピクチャデータ）のビットレートを計測してビデオ符号器１０１に目標とする伝送ビットレートを設定する。データ多重化器１０６は動画像データ、オーディオデータ、サブピクチャデータを多重化し、多重化データ（ビデオ＋オーディオ＋サブピクチャ）を出力する。この多重化の方式はＭＰＥＧ２  ＰＳ（Program Stream）又はＭＰＥＧ２  ＴＳ（Transport Stream）であってもよい。  
なお、本実施形態における事前に符号化されたデータは、前述のとおり１つのロスレスオーディオデータ、２つのロッシーオーディオデータ、１つのサブピクチャデータを含むが、これらデータの組み合わせや数によって本発明は限定されるものではない。
【００１１】
次に、図２を参照して本発明の実施形態に係わる可変ビットレートによる動画像符号化装置の動作を説明する。  
まず、ロスレスオーディオ符号器１０２は、入力データ（英語）を受け取り、圧縮符号化する（ステップ２０１）。ロスレスオーディオ符号化方法は様々あり、例えばＤｏｌｂｙ  Ｔｒｕｅ  ＨＤやＤＴＳ  ＨＤ、リニアＰＣＭなどがあげられる。本実施形態では可変ビットレート符号化されたデータが存在する際に動画像データの伝送ビットレートを最適化するものであるため、ここではロスレス可変ビットレート符号化されるＤｏｌｂｙ  Ｔｒｕｅ  ＨＤあるはいＤＴＳ  ＨＤが用いられるものとする。
【００１２】
動画像データを符号化する前に他のデータがあるか否かを確認する（ステップ２０２）。本実施形態では、残りのデータに２つのオーディオ、１つのサブピクチャがあるため、継続して符号化処理を行う（ステップ２０１）。即ち、ロッシーオーディオ符号器１０３は、入力データ（スペイン語及びフランス語）を受け取り、それを圧縮符号化する。ロッシーオーディオ符号化方法は様々あり、例えばＡＣ−３，ＭＰ３などがあげられるが、ここでは固定ビットレート符号化する方式を採用したとして、特にコーデックは限定しない。サブピクチャ符号器１０４は、入力データ（字幕データ）を受け取り、それを圧縮符号化する（ステップ２０１）。ビデオデータ以外の符号化がすべて終了したら、次の処理（ステップ２０３）へ移行する。
【００１３】
伝送ビットレート計算器１０５は、まず符号化されたデータ（１つのロスレスオーディオ、２つのロッシーオーディオ、１つのサブピクチャ）を合わせたビットレートを算出する。オーディオデータのビットレートはＡＵ（アクセスユニット）単位の発生符号量を時間軸方向にプロットすれば、図３の（Ａ）に示されるような最小時間間隔でのビットレート変動が簡単に得られる。一方、サブピクチャは表示タイミング（又は復号化タイミング）が時間軸で不連続であるため、単純にＡＵ単位の発生符号量をプロットすると、図３の（Ｂ）に示すような不連続なビットレート変動が得られる。これらを単純に合わせて、ビットレートを算出すると図３の（Ｃ）のようなばらつきの大きいビットレートが算出される。
【００１４】
細かい粒度のビットレートの算出という意味では上記のような算出で問題ないが、最終的にこのビットレートから算出される伝送ビットレートに基づいてビデオ符号器１０１が可変ビットレート制御するということを考慮すると、ビットレートの変動間隔の粒度が細かすぎる。例えば、ビデオ符号器１０１の符号化方法がＨ．２６４であった場合、伝送ビットレートの変動に応じてＣＰＢ（Coding Picture Buffer）が制御する単位はＳＰＳ（Sequence Parameter Set）が付加されているピクチャ単位となる。通常、ＳＰＳはＩピクチャに付加され、ランダムアクセスなどで有効なように０．５ｓｅｃ間隔で存在する場合が多い。このような状況下では、ビットレートを算出する時間間隔は０．５ｓｅｃ間隔以上にすることが望ましい。あるいは、符号化予定のＧＯＰ長間隔以上に設定しても良いし、伝送ビットレートで多重化されたデータを分離するために必要とされるシステムターゲットデコーダのバッファのサイズを伝送ビットレートで割った値以上に設定しても良い。
【００１５】
所定の時間間隔（複数のＡＵ）にまたがってビットレートを算出した場合、図４に示すように平滑化されたビットレートが算出される。なお、ＡＵの符号量はオーディオデータ及びサブピクチャをパース（簡易デコードで、スタートコードを検出するなど）しながら算出しても良いし、例えばロスレスオーディオ符号器１０２、ロッシーオーディオ符号器１０３やサブピクチャ符号器１０４が各ＡＵの符号量を符号化している最中にログとして出力し、それを伝送ビットレート計算器１０５が受け取ってもよい。
【００１６】
また、例えばオーディオデータのうちスペイン語とフランス語は固定ビットレート符号化する予定であることが事前に分かっていれば、ロッシーオーディオ符号器１０３によってオーディオデータを実際に符号化し終わるのを待たなくてもよい。その目標とする固定ビットレートの値と符号化済みのロスレスオーディオ圧縮データとサブピクチャ圧縮データからビットレートを算出すればよい。その際の処理フローは図２とは少し異なり、図６のように変更される。なお、ロスレスオーディオ圧縮（可変ビットレート）データを圧縮しないと、ビットレートを算出するのは困難であるため、即ちロスレスであるためビットレートコントロールできないため、事前に符号化を必要とする。
【００１７】
上述のように可変ビットレートで事前に符号化された可変ビットレート符号化データを含む入力符号化データを復号化時間方向に分割して得られる複数の時間区間の各々の符号量から、入力符号化データの時間区間ごとの入力ビットレートを算出した後、即ち、事前に符号化されたデータのビットレートの算出が終わったあとは、伝送ビットレートの算出が行われる（ステップ２０３）。具体的には、図５に示すように目標とする（システムとしての）伝送ビットレートからビットレートの変動を減じてビデオの伝送ビットレートを算出する。即ち、第１の伝送ビットレートから前記入力ビットレートを減じて前記時間区間ごとの第２の伝送ビットレートを算出する。
【００１８】
ビデオ符号器１０１は、ビデオソース１０７から入力データ（動画像）を受け取り、伝送ビットレート計算器１０５で算出した伝送ビットレートに従って、可変ビットレート制御しながら入力データを圧縮符号化する（ステップ２０４）。可変ビットレート制御の方式は様々あげられるが、本実施形態では、算出された伝送ビットレートや目標ビットレート（即ち、平均ビットレート）の値に応じた制御方法を以下に説明する。
【００１９】
１．伝送ビットレートの最大値≦目標ビットレート
設定された伝送ビットレートは所定の時間間隔で変動しているが、全区間を通して伝送ビットレートの最大値よりも、可変ビットレート制御する際の目標ビットレートの方が伝送ビットレートの最大値より大きい場合は、伝送ビットレート＝目標ビットレートとして符号量割り当てを行い、可変ビットレート制御する。これは、伝送ビットレートよりも大きい値で符号量割り当てを行えば、仮想デコーダのバッファがアンダーフローする可能性があり、規格違反の圧縮となるためである。なお、この際の符号量割り当て制御としては、２パス可変ビットレート制御する必要性はないため、１パス可変ビットレート制御となる。
【００２０】
２．伝送ビットレートによる符号量割り当て≦目標ビットレートによる割り当て符号量（ビットレート×入力動画像データの時間＝割り当て符号量）
設定された伝送ビットレートの上下変動が激しい場合、この条件に当てはまる可能性がある。この条件を満たす場合は上記方法１の場合と同様の処理を行う。即ち、全区間を通して伝送ビットレートの最大値よりも、可変ビットレート制御する際の目標ビットレートの方が伝送ビットレートの最大値より大きい場合は、伝送ビットレート＝目標ビットレートとして符号量割り当てを行い、可変ビットレート制御する。
【００２１】
３．上記方法１及び２以外の方法
方法１及び２に当てはまらない場合、伝送ビットレートと目標ビットレートが一致しない状況で、可変ビットレート制御することが可能となる。単純な方法としては、目標ビットレートで入力動画像データ全体に均一に符号量を割り当てた後、伝送ビットレートで仮想デコーダバッファの破綻がないか確認するものがあげられる。即ち、伝送ビットレートの最小値が目標ビットレートを上回れば破綻は発生しないが、下回れば破綻が発生する可能性がある。これを１パス処理で実現する場合は、符号化途中で、仮想デコーダバッファのアンダーフローが起こりそうになったところで、即ち、占有量が所定の閾値以下になったところで、割り当て符号量を削減する方向にビットレート制御を行う。ここで削減した符号量は仮想デコーダバッファに余裕があるところで使うようにメモリ（図示せず）に蓄えておく。
【００２２】
仮想デコーダバッファのアンダーフローの危険性が去った後、蓄えた符号量を消費する。蓄えた符号量はこれから符号化する予定の画像に均一に振り分けても良いし、符号化が難しいシーンに意図的に割り当ててもよい。いずれにせよ、蓄えた符号量は仮想デコーダバッファのアンダーフローの危険性のないところで使用すればよい。なお、符号化が難しいシーンでも、伝送ビットレートが高い場合、すなわち、ロスレスオーディオデータの符号量が少ない場合が存在する。これは動画像データの符号化複雑度とオーディオデータの符号化複雑度とが時間的に相関が低い可能性が十分あるためである。
【００２３】
上記処理は、１パスで実現しているが２パス処理で実現することも可能であり、２パスであれば事前に仮想デコーダバッファがアンダーフローしそうなシーンにおける割り当て符号量を削減して、他のすべてのシーンに割り当てることができ、１パスのようにフィードバック処理、即ち、現時点以降の画像のみを対象とする処理よりも高度な制御が可能である。ただし、２パス処理するならば、上記のように符号量を入力動画像データ全体に均一に割り当てるのではなく、１パス目の処理で符号化複雑度を解析して、その複雑度に応じて符号量を割り当てる。即ち、所定の伝送ビットレートで可変ビットレート制御する際に各画像に符号量が割り当てられる。その符号量割り当てと、伝送ビットレートに基づいて仮想デコーダバッファの遷移シミュレーションを行い、アンダーフローの危険性がある部分の符号量を他のシーンに分配すれば、より高度な可変ビットレート制御が可能となる。このような効率的な可変ビットレート制御を行うには、事前にビットレート調整が不可能なロスレスオーディオ圧縮データを解析することが必要となっている。このような制御に基づいて、入力された動画像データを可変ビットレート制御しながら圧縮する。
【００２４】
データ多重化器１０６は、１つの動画像圧縮データ、１つのロスレスオーディオ圧縮データ、２つのロッシーオーディオ圧縮データ、１つのサブピクチャ圧縮データを受け取り、多重化する（ステップ２０５）。多重化の方式は様々あげられるが、例えばＭＰＥＧ２システムで規定されているProgram Stream又はTransport Streamがあげられる。いずれにせよ伝送ビットレート計算器１０５で目標とした（システムとしての）伝送ビットレート以上の伝送ビットレートで多重化を行う。多重化されたデータを出力して、第１の実施形態の処理フローが終了する。
【００２５】
（第２の実施形態）
図７に示される第２の実施形態の動画像符号化装置は、ビデオ符号器４０１、ロスレスオーディオ符号器４０２、ロッシーオーディオ符号器４０３、サブピクチャ符号器４０４及びピークビットレート算出装置４０５により構成される。ビデオ符号器４０１はビデオソース４０７から入力された動画像の元データを与えられた伝送ビットレートに基づいて可変ビットレート制御しながら符号化する。ロスレスオーディオ符号器４０２はオーディオソース４０８から入力されたオーディオ（英語）の元データをロスレス可変ビットレート符号化する。ロッシーオーディオ符号器４０３はオーディオソース４０９及び４１０から入力されたオーディオ（スペイン語、フランス語）の元データをロッシー固定ビットレート符号化する。サブピクチャ符号器４０４はサブピクチャソース４１１から入力されたサブピクチャ（字幕データ）の元データを符号化する。
【００２６】
データ多重化器４０６は事前に符号化されたデータ（ここでは、ロスレス英語オーディオデータ、ロッシースペイン語、フランス語オーディオデータ、サブピクチャデータ）又はビデオ符号器４０１で符号化した動画像データを含めたデータを多重化する。伝送ビットレート計算器４０５は入力された多重化データにさらに多重化することが可能なビットレートを算出し、ビデオ符号器４０１に目標とする伝送ビットレートとして設定する。なお、本実施形態における事前に符号化されたデータは、前述のとおり１つのロスレスオーディオデータ、２つのロッシーオーディオデータ、１つのサブピクチャデータとなっているがこれら組み合わせや数によって本発明は限定されるものではない。
【００２７】
次に、図８を参照して本発明の実施形態に係わる可変ビットレートによるビデオ符号器の動作を説明する。  
ビデオ符号器４０１、ロスレスオーディオ符号器４０２、ロッシーオーディオ符号器４０３、サブピクチャ符号器４０４はビデオソース４０７，オーディオソース４０８，オーディオソース４０９及び４１０及びサブピクチャソース４１１からオーディオ及びサブピクチャの入力データを受け取り、この入力データを符号化する（ステップ５０１、ステップ５０２）までは第一の実施形態のステップ２０１、ステップ２０２と同様である。
【００２８】
データ多重化器４０６は、ステップ５０２までに符号化が終了しているデータに関して、目標とする（システムとしての）伝送ビットレートに基づいて、仮のデータ多重化を行う（ステップ５０３）。データの多重化方法には様々な方法があるが、動画像データに対する分離用仮想バッファのサイズよりも、オーディオデータあるいはサブピクチャデータに対する分離用仮想バッファのサイズが小さい場合が多いため、バッファサイズで吸収可能なデコード遅延量の少ないオーディオデータあるいはサブピクチャデータをデコード遅延時間が最小となるように多重化することとする。即ち、可変ビットレートで事前に符号化されたデータをデコーダバッファに入力されてから復号化されるまでの遅延時間が最小となるように伝送ビットレートで符号化データと動画像データとを多重化する。その様子が図９に示されている。
【００２９】
図９では、横軸はシステムの時間を表すＳＣＲ（システムクロックリファレンス）であり、この軸の上側に伝送ビットレートが高い場合のデータ間隔が示され、該軸の下側に伝送ビットレートが低い場合のデータ間隔を示している。ビットレートが高ければ高いほど、同一のＳＣＲ間隔に存在するデータブロック数が多くなる。図９では、データのブロックサイズを２ＫＢ（２０４８Ｂｙｔｅｓ）として、それぞれのデータブロックにオーディオデータ、サブピクチャデータが格納されていく。即ち、図９において、Ａはオーディオデータであり、Ｓはサブピクチャデータであるが、これらを多重化するとき、Ａ及びＳが入るデータブロックが決められており、これらブロックに逐次入れられる。この場合、オーディオのビットレートが低ければ、オーディオデータの出力に合わせてオーディオ・ビデオデータが出力されるが、この出力に間に合うようにデータがデータブロックに入れられる。
【００３０】
ビデオはバッファが大きいので遅延を吸収できない、オーディオはバッファが小さいので遅延を吸収できない。従って、オーディオデータは入ってきたら直ぐ出す仕組みになっている。即ち、オーディオデータはできるだけデコードのタイミングに近いところに溜めておき、余った領域にビデオを入れる。そうすると、ビデオはバッファに余裕があるのでバッファに溜めておいて後から出す。ビットレートが高ければ、データブロックの空きが増える。従って、単位時間について空きのブロックが何個あるかで、ビットレートが計算でき、どれだけデータを送れるかが推定できる。
【００３１】
ブランクデータには、これから符号化される予定の動画像データが格納される。なお、本実施形態ではデータブロックサイズを２ＫＢとして、オーディオ、サブピクチャのデコード遅延量が最小となるように多重化する方法を採用しているが、これによって本発明は限定されるものではない。例えば、ブロックサイズは２ＫＢよりも大きくても良いし、オーディオ、サブピクチャをデコード遅延量が最大となるように多重化し、その空きデータ間隔から伝送ビットレート計算器４０６がビデオ符号器４０１に設定する伝送ビットレートを算出してもよい。また、シーケンスの途中で多重化する方法を変えてもよい。例えば、前半は遅延量最大、後半は遅延量最小にしてもよい。
【００３２】
動画像データがまだ多重化されていない仮多重化データは、伝送ビットレート計算器４０５に入力され、ブランクデータとＳＣＲからビデオ符号器４０１に設定可能な伝送ビットレートを算出する（ステップ５０４）。ビットレート算出は、所定のＳＣＲ間隔内のブランクデータをカウントすることによって行うことができ、このときのＳＣＲ間隔は第１の実施形態で述べた間隔と同様に、ある程度の時間間隔を持つようにする。
【００３３】
ステップ５０５以降の符号化処理は第１の実施形態のステップ２０４移行の処理と同じであるので説明は省略する。
【００３４】
上記動画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、ビデオ符号器、ロスレスオーディオ符号器、ロッシーオーディオ符号器、サブピクチャ符号器、伝送ビットレート算出装置及びデータ多重化器は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００３５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３６】
【図１】第１の実施形態に係わる可変ビットレートによるビデオ符号器及びその入出力データを示すブロック図である。
【図２】第１の実施形態に係わる可変ビットレートによるビデオ符号器及びそこに入力されるデータを生成するための動作を示すフローチャートである。
【図３】ＡＵ単位でのビットレート算出を説明するための図である。
【図４】所定時間区間でのビットレート算出を説明するための図である。
【図５】ビデオの伝送ビットレート算出を説明するための図である。
【図６】本発明の第１の実施形態の変形例の動作を示すフローチャート。
【図７】第２の実施形態に係わる可変ビットレートによるビデオ符号器及びその入出力データを示すブロック図である。
【図８】第２の実施形態に係わる可変ビットレートによるビデオ符号器及び、そこに入力されるデータを生成するための動作を示すフローチャートである。
【図９】多重化データのアサインと空きを示す図である。
【符号の説明】
【００３７】
１０１…ビデオ符号器、１０２…ロスレスオーディオ符号器、１０３…ロッシーオーディオ符号器、１０４…サブピクチャ符号器、１０５…伝送ビットレート計算器、１０６…データ多重化器、１０７…ビデオソース、１０８…オーディオソース（英語）、１０９…オーディオソース（スペイン語）、１１０…オーディオソース（フランス語）、１１１…サブピクチャ、４０１…ビデオ符号器、４０２…ロスレスオーディオ符号器、４０３…ロッシーオーディオ符号器、４０４…サブピクチャ符号器、４０５…伝送ビットレート算出装置、４０６…データ多重化器多重化器、４０７…ビデオソース、４０８…オーディオソース（英語）、４０９…オーディオソース（スペイン語）、４１０…オーディオソース（フランス語）、４１１…サブピクチャ
【図１】
2009171339.tif 000003
【図２】
2009171339.tif 000004
【図３】
2009171339.tif 000005
【図４】
2009171339.tif 000006
【図５】
2009171339.tif 000007
【図６】
2009171339.tif 000008
【図７】
2009171339.tif 000009
【図８】
2009171339.tif 000010
【図９】
2009171339.tif 000011