(57)【要約】【課題】映像データと音声データの入力タイミングにずれがあっても、再生時に、映像と音声とがずれない多重化ストリームを生成できるようにする。【解決手段】映像データＳＩＧ１０１をビデオフレーム単位で符号化して、符号化映像データを生成するビデオ符号化部１０３と、音声データＳＩＧ１０２をオーディオフレーム単位で符号化して、符号化音声データＳＩＧ１０４を生成するオーディオ符号化部１０４とを設ける。そして、動作制御部１０５によって、映像データＳＩＧ１０１のビデオフレーム境界のタイミングで、ビデオ符号化部１０３が符号化を開始するように制御するとともに、ビデオ符号化部１０３の符号化開始タイミングを基準に、入力時間差情報ＳＩＧ１１１が示す時間だけずれたタイミングでオーディオ符号化部１０４が符号化を開始するように制御する。【選択図】図１
2008054159.tif 000002
【特許請求の範囲】
【請求項１】
時間的な相関関係を有する映像データと音声データとが入力され、前記映像データを符号化した符号化映像データと前記音声データを符号化した符号化音声データとを生成し、前記符号化映像データと前記符号化音声データとを多重化して１つの多重化ストリームを生成する映像音声多重化装置であって、
前記映像データをビデオフレーム単位で符号化して、前記符号化映像データを生成するビデオ符号化部と、
前記音声データをオーディオフレーム単位で符号化して、前記符号化音声データを生成するオーディオ符号化部と、
前記映像データと前記音声データとの入力タイミングのずれ時間を示す入力時間差情報が入力されており、前記映像データのビデオフレーム境界の検出タイミングで、前記ビデオ符号化部が符号化を開始するように制御するとともに、前記ビデオ符号化部の符号化開始タイミングを基準に、前記入力時間差情報が示す時間だけずれたタイミングで、前記オーディオ符号化部が符号化を開始するように制御する動作制御部と、
を備えたことを特徴とする映像音声多重化装置。
【請求項２】
時間的な相関関係を有する映像データと音声データとが入力され、前記映像データを符号化した符号化映像データと前記音声データを符号化した符号化音声データとを生成し、前記符号化映像データと前記符号化音声データとを多重化して１つの多重化ストリームを生成する映像音声多重化装置であって、
前記映像データをビデオフレーム単位で符号化して、前記符号化映像データを生成するビデオ符号化部と、
前記音声データをオーディオフレーム単位で符号化して、前記符号化音声データを生成するオーディオ符号化部と、
前記映像データと前記音声データとの入力タイミングのずれ時間を示す入力時間差情報が入力されており、前記映像データのビデオフレーム境界の検出タイミングで、前記ビデオ符号化部が符号化を開始するように制御するとともに、前記ビデオ符号化部の符号化開始タイミングを基準に、ビデオフレーム期間単位の時間だけずれたタイミングで、前記オーディオ符号化部が符号化を開始するように制御し、さらに、前記ビデオ符号化部と前記オーディオ符号化部の符号化開始タイミングのずれ時間と、前記入力時間差情報との差を示す時間差分情報を出力する動作制御部と、
前記時間差分情報が示す時間差に応じた再生時間情報を付加して、前記符号化映像データと前記符号化音声データとを多重化する多重化部と、
を備えたことを特徴とする映像音声多重化装置。
【請求項３】
請求項１及び請求項２のうちの何れか１項の映像音声多重化装置であって、
前記動作制御部は、前記ビデオ符号化部及び前記オーディオ符号化部の符号化を一時停止させる場合には、前記ビデオ符号化部と前記オーディオ符号化部の符号化開始タイミングのずれ時間と同じ時間だけずれたタイミングで、前記ビデオ符号化部及び前記オーディオ符号化部の符号化を、それぞれ一時停止させることを特徴とする映像音声多重化装置。
【請求項４】
請求項１及び請求項２のうちの何れか１項の映像音声多重化装置であって、さらに、
前記ビデオ符号化部の出力を保持する映像データ用バッファと、
前記オーディオ符号化部の出力を保持する音声データ用バッファとを備え、
前記映像データ用バッファは、前記多重化のために、バッファリングする必要のある前記符号化映像データの容量に加えて、前記ビデオ符号化部と前記オーディオ符号化部の符号化開始タイミングのずれ時間の間に前記ビデオ符号化部が生成した符号化映像データを保持できる容量を有し、
前記音声データ用バッファは、前記多重化のために、バッファリングする必要のある前記符号化音声データの容量に加えて、前記ビデオ符号化部と前記オーディオ符号化部の符号化開始タイミングのずれ時間の間に前記オーディオ符号化部が生成した符号化音声データを保持できる容量を有していることを特徴とする映像音声多重化装置。
【請求項５】
請求項１の映像音声多重化装置であって、
前記動作制御部は、前記音声データの入力タイミングが、前記映像データの入力タイミングよりも遅い場合には、前記ビデオ符号化部の符号化開始タイミングを基準に、入力時間差情報が示す時間だけ遅れたタイミングで、前記オーディオ符号化部が符号化を開始するように制御することを特徴とする映像音声多重化装置。
【請求項６】
請求項１の映像音声多重化装置であって、
前記動作制御部は、前記映像データの入力タイミングが、前記音声データの入力タイミングよりも遅い場合には、前記ビデオ符号化部の符号化開始タイミングを基準に、入力時間差情報が示す時間だけ早いタイミングで、オーディオ符号化部が符号化を開始するように制御することを特徴とする映像音声多重化装置。
【請求項７】
請求項２の映像音声多重化装置であって、
前記動作制御部は、前記音声データの入力タイミングが、前記映像データの入力タイミングよりも遅い場合には、前記ビデオ符号化部の符号化開始タイミングを基準に、ビデオフレーム期間単位の時間だけ遅れたタイミングで、前記オーディオ符号化部が符号化を開始するように制御することを特徴とする映像音声多重化装置。
【請求項８】
請求項２の映像音声多重化装置であって、
前記動作制御部は、前記映像データの入力タイミングが、前記音声データの入力タイミングよりも遅い場合には、前記ビデオ符号化部の符号化開始タイミングを基準に、ビデオフレーム期間単位の時間だけ早いタイミングで、前記オーディオ符号化部が符号化を開始するように制御することを特徴とする映像音声多重化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データと音声データとの符号化、及び符号化した映像データと符号化した音声データとの多重化を行なう映像音声多重化装置に関するものである。
【背景技術】
【０００２】
近年、情報のデジタル化が進んでおり、映像や音声など信号もデジタル化され利用されている。映像と音声などのデジタルデータ間には関連性が存在するため、一つのストリームデータとして多重化されるのが一般的である。
【０００３】
映像と音声などのデジタルデータの保存や伝送などの用途では、国際標準規格で定められた多重化の規格があり、その一例として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）と呼ばれる国際標準規格で定められたＰｒｏｇｒａｍＳｔｒｅａｍ（以降、ＰＳと略記する）やＴｒａｎｓｐｏｒｔＳｔｒｅａｍ（以降、ＴＳと略記する）などが存在する。
【０００４】
ＰＳやＴＳは、多重化する映像データと音声データに時間的な相関関係が存在する場合には、映像データと音声データにＰＴＳと呼ばれる再生時間情報を付加することで多重化データの分離後に、時間的な相関関係を復元することができる仕組みを有している。
【０００５】
また、デジタル化された映像データや音声データは、非常に情報量が多く、そのままで保存や伝送などの用途で扱うのには向いていない。多重化される前の段階で情報量を減少させるためには、ＭＰＥＧ２などの符号化の規格に従い、映像データや音声データを符号化する処理が行われる。映像データは、一般的にサンプル期間毎の静止画データの集合（ビデオフレーム）であり、映像データを符号化する場合、ビデオフレーム単位で符号化が行われる。一方、音声データは、一般的にサンプル期間毎の音の強弱データの集合であるが、サンプル期間が非常に短いため、音声データを符号化する場合は、サンプル期間よりも大きいある一定期間のデータの集合（オーディオフレーム）として音声データを扱い、オーディオフレーム単位で符号化が行われる。
【０００６】
例えば、ＭＰＥＧ２規格のＴＳを出力する映像音声多重化装置では、入力された映像データと音声データとを順次符号化して、生成したＴＳを所定の出力レート、及び出力タイミングで送信するものがある（例えば、特許文献１を参照）。
【０００７】
また、映像音声多重化装置には、符号化の一時停止が可能なものがある。このような装置の一例としては、一時停止指示を受付けると映像信号を入手するタイミングに同期させて映像信号と音声信号の入手を同時に一時停止し、以後、各符号化、多重化、記録をそれぞれのタイミングで一時停止するものが知られている（例えば、特許文献２を参照）。
【特許文献１】特開２００１−７８１９５号公報
【特許文献２】特開２００１−１６０９６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
デジタル化された映像データや音声データの利用拡大に伴い、映像データの高画質化や音声データの高音質化への要望は必然の流れである。それに伴って、符号化される映像データや音声データに対し、符号化処理の前段階として高画質化処理や高音質化処理が行なわれる場合がある。
【０００９】
映像データに対する高画質化処理と、音声データに対する高音質化処理とでは、処理時間が異なる場合がほとんどである。また、処理内容によっても処理時間が変化する。そのため、映像データの高画質化や音声データの高音質化により、映像音声多重化装置への映像データと音声データの入力タイミングに時間差が発生してしまう可能性がある。
【００１０】
しかしながら、従来の映像音声多重化装置は、映像データと音声データとが同時に入力されることを前提に、符号化等の処理を行なっているので、映像データと音声データとの入力タイミングに時間差があると、正しい再生時間情報を付加できず、再生時に映像と音声とがずれてしまい、その結果、視聴者に違和感を与えるおそれがある。
【００１１】
本発明は上記の問題に着目してなされたものであり、映像データと音声データの入力タイミングにずれがあっても、再生時に、映像と音声とがずれない多重化ストリームを生成できる映像音声多重化装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
前記の課題を解決するため、本発明では、映像データの符号化開始タイミングと、音声データの符号化開始タイミングとを、映像データと音声データの入力タイミングのずれ量に応じて調整するようにした。
【００１３】
本発明の一態様は、
時間的な相関関係を有する映像データと音声データとが入力され、前記映像データを符号化した符号化映像データと前記音声データを符号化した符号化音声データとを生成し、前記符号化映像データと前記符号化音声データとを多重化して１つの多重化ストリームを生成する映像音声多重化装置であって、
前記映像データをビデオフレーム単位で符号化して、前記符号化映像データを生成するビデオ符号化部と、
前記音声データをオーディオフレーム単位で符号化して、前記符号化音声データを生成するオーディオ符号化部と、
前記映像データと前記音声データとの入力タイミングのずれ時間を示す入力時間差情報が入力されており、前記映像データのビデオフレーム境界の検出タイミングで、前記ビデオ符号化部が符号化を開始するように制御するとともに、前記ビデオ符号化部の符号化開始タイミングを基準に、前記入力時間差情報が示す時間だけずれたタイミングで、前記オーディオ符号化部が符号化を開始するように制御する動作制御部と、
を備えたことを特徴とする。
【００１４】
また、本発明の一態様は、
時間的な相関関係を有する映像データと音声データとが入力され、前記映像データを符号化した符号化映像データと前記音声データを符号化した符号化音声データとを生成し、前記符号化映像データと前記符号化音声データとを多重化して１つの多重化ストリームを生成する映像音声多重化装置であって、
前記映像データをビデオフレーム単位で符号化して、前記符号化映像データを生成するビデオ符号化部と、
前記音声データをオーディオフレーム単位で符号化して、前記符号化音声データを生成するオーディオ符号化部と、
前記映像データと前記音声データとの入力タイミングのずれ時間を示す入力時間差情報が入力されており、前記映像データのビデオフレーム境界の検出タイミングで、前記ビデオ符号化部が符号化を開始するように制御するとともに、前記ビデオ符号化部の符号化開始タイミングを基準に、ビデオフレーム期間単位の時間だけずれたタイミングで、前記オーディオ符号化部が符号化を開始するように制御し、さらに、前記ビデオ符号化部と前記オーディオ符号化部の符号化開始タイミングのずれ時間と、前記入力時間差情報との差を示す時間差分情報を出力する動作制御部と、
前記時間差分情報が示す時間差に応じた再生時間情報を付加して、前記符号化映像データと前記符号化音声データとを多重化する多重化部と、
を備えたことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、映像データの符号化開始タイミングと、音声データの符号化開始タイミングとが、映像データと音声データの入力タイミングのずれ量に応じて調整されるので、映像データと音声データの入力タイミングにずれがあっても、再生時に、映像と音声とがずれない多重化ストリームを生成できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００１７】
《発明の実施形態１》
図１は、本発明の実施形態１に係る映像音声多重化装置１００の構成を示すブロック図である。映像音声多重化装置１００は、入力された映像データ（映像データＳＩＧ１０１）と音声データ（音声データＳＩＧ１０２）とをそれぞれ符号化して、符号化した映像データ（符号化映像データＳＩＧ１０５）と符号化した音声データ（符号化音声データＳＩＧ１０６）とを多重化して１つのストリーム（多重化ストリームＳＩＧ１０７）にする装置である。
【００１８】
［映像音声多重化装置１００の構成］
映像音声多重化装置１００は、図１に示すように、検出部１０１、時刻計測部１０２、ビデオ符号化部１０３、オーディオ符号化部１０４、動作制御部１０５、映像データ用バッファ１０６、音声データ用バッファ１０７、及び多重化部１０８を備えている。
【００１９】
（検出部１０１）
検出部１０１は、映像データＳＩＧ１０１からビデオフレーム境界を検出し、ビデオフレーム境界情報ＳＩＧ１１２によって、ビデオフレーム境界の検出を、動作制御部１０５に通知するようになっている。
【００２０】
（時刻計測部１０２）
時刻計測部１０２は、時刻情報（時刻情報ＳＩＧ１１６）を動作制御部１０５に通知するようになっている。
【００２１】
（ビデオ符号化部１０３）
ビデオ符号化部１０３は、符号化の開始と一時停止を制御する映像符号化制御情報ＳＩＧ１１３が入力されており、映像符号化制御情報ＳＩＧ１１３に応じて、映像データＳＩＧ１０１を符号化して符号化映像データＳＩＧ１０３を生成し、映像データ用バッファ１０６に出力するようになっている。また、ビデオ符号化部１０３は、１ビデオフレーム分の符号化が完了する毎に、符号化映像データＳＩＧ１０３のビデオフレーム情報（ビデオフレーム情報ＳＩＧ１０８）を多重化部１０８に通知する。ビデオフレーム情報ＳＩＧ１０８は、符号化映像データＳＩＧ１０３のサイズの情報や、例えば符号化映像データＳＩＧ１０３がＭＰＥＧ形式のデータであれば、多重化の際の順番情報を含んでいる。
【００２２】
（オーディオ符号化部１０４）
オーディオ符号化部１０４は、符号化の開始と一時停止を制御する音声符号化制御情報ＳＩＧ１１４が入力されており、音声符号化制御情報ＳＩＧ１１４応じて、音声データＳＩＧ１０２を符号化して符号化音声データＳＩＧ１０４を生成し、音声データ用バッファ１０７に出力するようになっている。また、オーディオ符号化部１０４は、１オーディオフレーム分の符号化が完了する毎に、符号化音声データＳＩＧ１０４のオーディオフレーム情報（オーディオフレーム情報ＳＩＧ１０９）を多重化部１０８に通知する。オーディオフレーム情報ＳＩＧ１０９は、符号化音声データＳＩＧ１０４のサイズの情報を含んでいる。
【００２３】
（動作制御部１０５）
動作制御部１０５は、符号化の開始と一時停止を制御する情報を含んだ制御情報ＳＩＧ１１０が入力されており、制御情報ＳＩＧ１１０に応じて、ビデオ符号化部１０３、オーディオ符号化部１０４、及び多重化部１０８の動作を制御するようになっている。この制御は、音声データＳＩＧ１０２及び映像データＳＩＧ１０１のうち、何れの入力が遅れるかによって異なっている。
【００２４】
音声データＳＩＧ１０２が映像データＳＩＧ１０１よりも遅れて入力される場合には、動作制御部１０５は、以下のように、符号化及び多重化の開始及び一時停止を制御する。
【００２５】
動作制御部１０５は、符号化開始を指示する制御情報ＳＩＧ１１０が入力されると、多重化開始を指示する多重化制御情報ＳＩＧ１１５を多重化部１０８に出力して、多重化部１０８に動作を開始させる。
【００２６】
そして、動作制御部１０５は、符号化する最初のビデオフレームのビデオフレーム境界情報ＳＩＧ１１２が入力されたタイミング（映像データ符号化開始時刻）で、符号化開始を指示する映像符号化制御情報ＳＩＧ１１３を出力して、ビデオ符号化部１０３に符号化動作を開始させる。
【００２７】
また、動作制御部１０５は、映像データＳＩＧ１０１と音声データＳＩＧ１０２との入力時間差を示す入力時間差情報ＳＩＧ１１１が入力されており、映像データ符号化開始時刻から、入力時間差情報ＳＩＧ１１１が示す入力時間差だけ遅れたタイミングを、時刻情報ＳＩＧ１１６に基づいて検出し、検出したタイミングで、音声符号化制御情報ＳＩＧ１１４を出力して、オーディオ符号化部１０４に符号化動作を開始させる。
【００２８】
また、符号化の一時停止を指示する制御情報ＳＩＧ１１０が入力されると、動作制御部１０５は、制御情報ＳＩＧ１１０を受けた後に入力される最初のビデオフレーム境界情報ＳＩＧ１１２の入力タイミング（映像データ符号化一時停止時刻）で、符号化の一時停止を指示する映像符号化制御情報ＳＩＧ１１３を出力して、ビデオ符号化部１０３の符号化動作を一時停止させる。さらに、動作制御部１０５は、映像データ符号化一時停止時刻を基準に、入力時間差情報ＳＩＧ１１１が示す時間差だけ遅れたタイミングを時刻情報ＳＩＧ１１６に基づいて検出し、検出したタイミングで、符号化の一時停止を指示する音声符号化制御情報ＳＩＧ１１４を出力して、オーディオ符号化部１０４の符号化動作を一時停止させる。
【００２９】
一方、映像データＳＩＧ１０１が音声データＳＩＧ１０２よりも遅れて入力される場合には、動作制御部１０５は、以下のように、符号化及び多重化の開始及び一時停止を制御する。
【００３０】
動作制御部１０５は、符号化開始を指示する制御情報ＳＩＧ１１０が入力されると、符号化する最初のビデオフレームのビデオフレーム境界よりも、入力時間差情報ＳＩＧ１１１が示す時間差Δｔ（映像データＳＩＧ１０１が遅れる場合は負の値）だけ早いタイミングで、音声符号化制御情報ＳＩＧ１１４を出力する。
【００３１】
具体的には、動作制御部１０５は、音声符号化制御情報ＳＩＧ１１４を出力するタイミング（音声データ符号化開始時刻）として、ｔ＋（ビデオフレーム期間）−（｜Δｔ｜％（ビデオフレーム期間））を算出する。ただし、ｔは、制御情報ＳＩＧ１１０が入力された後の最初に検出されるビデオフレーム境界の検出時刻である。また、｜Δｔ｜％（ビデオフレーム期間）は、｜Δｔ｜を（ビデオフレーム期間）で割り算したときの余りである。
【００３２】
さらに、動作制御部１０５は、（音声データ符号化開始時刻）＋｜Δｔ｜で表される時刻において、ビデオ符号化部１０３に対して、符号化開始を指示する映像符号化制御情報ＳＩＧ１１３を通知する。
【００３３】
符号化の一時停止を指示する制御情報ＳＩＧ１１０が入力されると、動作制御部１０５は、ｔ＋（ビデオフレーム期間）−（｜Δｔ｜％（ビデオフレーム期間））で定まる時刻（音声データ符号化一時停止時刻）に、符号化一時停止を指示する音声符号化制御情報ＳＩＧ１１４をオーディオ符号化部１０４に通知する。ただし、ｔは、制御情報ＳＩＧ１１０が入力された後に検出される最初のビデオフレーム境界の検出時刻である。さらに、動作制御部１０５は、（音声データ符号化一時停止時刻）＋｜Δｔ｜で表される時刻に、符号化一時停止を指示する映像符号化制御情報ＳＩＧ１１３をビデオ符号化部１０３に通知する。
【００３４】
（映像データ用バッファ１０６・音声データ用バッファ１０７）
映像データ用バッファ１０６は、ビデオ符号化部１０３が出力した符号化映像データＳＩＧ１０３を保持するようになっている。
【００３５】
映像データ用バッファ１０６の容量は、映像データＳＩＧ１０１と音声データＳＩＧ１０２との入力タイミングにずれが無い場合に必要な容量（すなわち、符号化映像データＳＩＧ１０５と符号化音声データＳＩＧ１０６との多重化のために、バッファリングする必要のある符号化映像データＳＩＧ１０５の容量）に加えて、ビデオ符号化部１０３とオーディオ符号化部１０４との符号化開始時間差分の時間に、ビデオ符号化部１０３が符号化したデータを保持できる容量が必要である。
【００３６】
本実施形態では、符号化映像データＳＩＧ１０３が多重化されるタイミングは、音声データが映像データよりも遅れる場合は、遅れがない場合と比べて、入力時間差情報ＳＩＧ１１１が示す時間差（Δｔ）だけ遅くなる。すなわち、映像データ用バッファ１０６における符号化映像データＳＩＧ１０３の保持期間がΔｔだけ長くなる。したがって、映像データ用バッファ１０６は、映像データＳＩＧ１０１と音声データＳＩＧ１０２との入力タイミングにずれが無い場合に必要な容量に加えて、（［Δｔ／（ビデオフレーム期間）］＋１）×（符号化された映像データの１ビデオフレーム分の最大サイズ）の容量を有している必要がある。なお、映像データ用バッファ１０６は、あらかじめ必要な容量を確保しておく構成でもよいし、外部からの開始指示をうけて、必要な容量を確保する構成でもよい。
【００３７】
音声データ用バッファ１０７は、オーディオ符号化部１０４が出力した符号化音声データＳＩＧ１０４を保持するようになっている。
【００３８】
音声データ用バッファ１０７の容量は、映像データＳＩＧ１０１と音声データＳＩＧ１０２との入力タイミングにずれが無い場合に必要な容量（すなわち、符号化映像データＳＩＧ１０５と符号化音声データＳＩＧ１０６との多重化のために、バッファリングする必要のある符号化音声データＳＩＧ１０６の容量）に加えて、ビデオ符号化部１０３とオーディオ符号化部１０４との符号化開始時間差分の時間に、オーディオ符号化部１０４が符号化したデータを保持できる容量が必要である。
【００３９】
本実施形態では、音声データＳＩＧ１０２が多重化されるタイミングは、映像データが音声データよりも遅れる場合は、遅れがない場合と比べて、入力時間差情報ＳＩＧ１１１が示す時間差（Δｔ）だけ遅くなる。すなわち、音声データ用バッファ１０７における符号化音声データＳＩＧ１０４の保持期間がΔｔだけ長くなる。したがって、音声データ用バッファ１０７は、映像データＳＩＧ１０１と音声データＳＩＧ１０２との入力タイミングにずれが無い場合に必要な容量に加えて、（［｜Δｔ｜／（オーディオフレーム期間）］＋１）×（符号化された音声データの１オーディオフレーム分の最大サイズ）の容量を有している必要がある。なお、音声データ用バッファ１０７は、あらかじめ必要な容量を確保しておく構成でもよいし、外部からの開始指示をうけて、必要な容量を確保する構成でもよい。
【００４０】
（多重化部１０８）
多重化部１０８は、多重化制御情報ＳＩＧ１１５が入力されると動作を開始し、映像データ用バッファ１０６及び音声データ用バッファ１０７のそれぞれに格納されているデータ（符号化映像データＳＩＧ１０５及び符号化音声データＳＩＧ１０６）を多重化したストリーム（多重化ストリームＳＩＧ１０７）を出力するようになっている。詳しくは、多重化部１０８は、ビデオフレーム情報ＳＩＧ１０８及びオーディオフレーム情報ＳＩＧ１０９に基づいて、符号化映像データＳＩＧ１０５及び符号化音声データＳＩＧ１０６の再生時間（再生時間情報）を算出し、算出した再生時間情報を基に多重化順を決定する。そして、決定した多重化順にしたがって、映像データ用バッファ１０６から取得した符号化映像データＳＩＧ１０５と、音声データ用バッファ１０７から取得した符号化音声データＳＩＧ１０６とを、再生時間情報を付加して多重化する。
【００４１】
［映像音声多重化装置１００の動作］
（音声データが映像データに対して遅れたタイミングで入力される場合の動作）
音声データが映像データに対して遅れたタイミングで入力される場合における符号化開始、一時停止、及び符号化再開の動作を、図２を参照しつつ説明する。図２は、動作制御部１０５、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【００４２】
映像音声多重化装置１００に多重化を行なわせるには、例えば外部から、制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とを、動作制御部１０５に対して入力する。ここでは、動作制御部１０５は、図２に示す開始指示時刻ｔ２００において、制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とを受けたものとする。また、入力時間差情報ＳＩＧ１１１が示す時間差は、Δｔ２（音声データが遅れる場合は正の値）とする。
【００４３】
制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とが入力されると、動作制御部１０５は、開始指示時刻ｔ２００の後の最初にビデオフレーム境界が検出された時刻ｔ２０１において、ビデオ符号化部１０３に対して、映像符号化制御情報ＳＩＧ１１３を出力する。これにより、ビデオ符号化部１０３は、映像データＳＩＧ１０１を符号化した符号化映像データＳＩＧ１０３を映像データ用バッファ１０６に出力する。
【００４４】
さらに、動作制御部１０５は、時刻ｔ２０１（映像データ符号化開始時刻）よりもΔｔ２遅れた時刻ｔ２０２のタイミングを、時刻情報ＳＩＧ１１６に基づいて検出し、検出したタイミングで、オーディオ符号化部１０４に対して、音声符号化制御情報ＳＩＧ１１４を出力する。これにより、オーディオ符号化部１０４は、音声データＳＩＧ１０２を符号化した符号化音声データＳＩＧ１０４を音声データ用バッファ１０７に出力する。
【００４５】
また、動作制御部１０５は、制御情報ＳＩＧ１１０が入力されると、多重化制御情報ＳＩＧ１１５を多重化部１０８に出力する。それにより、多重化部１０８は、多重化動作を開始する。具体的には、多重化部１０８は、ビデオフレーム情報ＳＩＧ１０８及びオーディオフレーム情報ＳＩＧ１０９に基づいて、符号化映像データＳＩＧ１０５及び符号化音声データＳＩＧ１０６の再生時間情報を算出して多重化順を決定する。そして、多重化部１０８は、決定した多重化順にしたがって、映像データ用バッファ１０６から取得した符号化映像データＳＩＧ１０５と、音声データ用バッファ１０７から取得した符号化音声データＳＩＧ１０６とを、再生時間情報を付加して多重化する。
【００４６】
図３は、音声データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示している。上記のように、多重化部１０８は、ビデオフレーム情報ＳＩＧ１０８とオーディオフレーム情報ＳＩＧ１０９とに基づいて、再生時間情報を算出するので、ビデオフレームｖ２０１（先頭のビデオフレーム）の再生時間情報と、オーディオフレームａ２０１（先頭のオーディオフレーム）の再生時間情報とは、図３に示すように、同じ再生時刻（再生時間情報ｔ３００）を示している。
【００４７】
（符号化の一時停止及び再開）
また、例えば、動作制御部１０５が、図２に示す一時停止指示時刻ｔ２０３において、一時停止の指示を受けた場合には、一時停止指示時刻ｔ２０３の後の最初にビデオフレーム境界が検出された時刻ｔ２０４において、動作制御部１０５は、ビデオ符号化部１０３に一時停止を指示する映像符号化制御情報ＳＩＧ１１３を通知する。さらに、動作制御部１０５は、時刻ｔ２０４よりもΔｔ２遅れた時刻ｔ２０５のタイミングを、時刻情報ＳＩＧ１１６によって検出し、検出したタイミングで、一時停止を指示する音声符号化制御情報ＳＩＧ１１４をオーディオ符号化部１０４に出力する。
【００４８】
また、例えば、動作制御部１０５が、再開指示時刻ｔ２０６において、符号化開始（再開）の指示を受けた場合には、再開指示時刻ｔ２０６の後の最初にビデオフレーム境界が検出された時刻ｔ２０７において、動作制御部１０５は、ビデオ符号化部１０３に符号化開始を指示する映像符号化制御情報ＳＩＧ１１３を通知する。さらに、動作制御部１０５は、時刻ｔ２０７よりもΔｔ２遅れた時刻ｔ２０８のタイミングを、時刻情報ＳＩＧ１１６によって検出し、検出したタイミングで、符号化開始（再開）を指示する音声符号化制御情報ＳＩＧ１１４をオーディオ符号化部１０４に出力する。それにより、一時停止及び再開の前後のビデオフレームｖ２０４とビデオフレームｖ２０５とは、図３に示すように、再生時間情報ｔ３０１において、シームレスに接続される。また、一時停止及び再開のタイミングにまたがるオーディオフレームａ２０７は、図３に示すように、再生時間情報ｔ３０１において、シームレスに接続される。
【００４９】
（映像データが音声データに対して遅れたタイミングで入力される場合の動作）
次に、映像データが音声データに対して遅れたタイミングで入力される場合における符号化開始、一時停止、及び符号化再開の動作を、図４を参照しつつ説明する。図４は、動作制御部１０５、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【００５０】
映像音声多重化装置１００に多重化を行なわせるには、まず、動作制御部１０５に対して、例えば外部から制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とを入力する。ここでは、動作制御部１０５は、図４に示す開始指示時刻ｔ４００において、制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とを受けたものとする。また、入力時間差情報ＳＩＧ１１１が示す時間差は、Δｔ４（映像データが遅れる場合は負の値）であるものとする。また、開始指示時刻ｔ４００の後の最初に検出されるビデオフレーム境界の検出時刻は、時刻ｔ４０１であるものとする。
【００５１】
制御情報ＳＩＧ１１０が入力されると、動作制御部１０５は、時刻ｔ４０１＋（ビデオフレーム期間）−（｜Δｔ４｜％（ビデオフレーム期間））で表される時刻ｔ４０２（音声データ符号化開始時刻）を求め、時刻ｔ４０２において、オーディオ符号化部１０４に対して、符号化開始を指示する音声符号化制御情報ＳＩＧ１１４を通知する。
【００５２】
また、動作制御部１０５は、時刻ｔ４０２＋｜Δｔ４｜で表される時刻ｔ４０３において、ビデオ符号化部１０３に対して、符号化開始を指示する映像符号化制御情報ＳＩＧ１１３を通知する。
【００５３】
また、動作制御部１０５は、制御情報ＳＩＧ１１０が入力されると、多重化制御情報ＳＩＧ１１５を多重化部１０８に出力し、多重化部１０８の多重化動作を開始させる。
【００５４】
以上により、映像データＳＩＧ１０１及び音声データＳＩＧ１０２は符号化された後に、多重化されて出力される。
【００５５】
図５は、映像データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示している。多重化部１０８は、ビデオフレーム情報ＳＩＧ１０８とオーディオフレーム情報ＳＩＧ１０９とに基づいて、再生時間情報を算出するので、ビデオフレームｖ４０１（先頭のビデオフレーム）の再生時間情報と、オーディオフレームａ４０１（先頭のオーディオフレーム）の再生時間情報とは、図５に示すように、同じ再生時刻（再生時間情報ｔ５００）を示している。
【００５６】
（符号化の一時停止及び再開）
また、例えば、動作制御部１０５が、図４に示す一時停止指示時刻ｔ４０４において、一時停止の指示を受けた場合には、一時停止指示時刻ｔ４０４の後の最初のビデオフレーム境界が時刻ｔ４０５であるとすると、時刻ｔ４０５＋（ビデオフレーム期間）−（｜Δｔ４｜％（ビデオフレーム期間））で表される時刻ｔ４０６において、オーディオ符号化部１０４に対して、符号化の一時停止を指示する音声符号化制御情報ＳＩＧ１１４を通知する。
【００５７】
また、時刻ｔ４０６＋｜Δｔ４｜で表される時刻ｔ４０７において、ビデオ符号化部１０３に対して、符号化の一時停止を指示する映像符号化制御情報ＳＩＧ１１３を通知する。
【００５８】
また、動作制御部１０５が、再開指示時刻ｔ４０８において、符号化開始（再開）の指示を受けた場合には、再開指示時刻ｔ４０８の後の最初のビデオフレーム境界が時刻ｔ４０９であるとすると、時刻ｔ４０９＋（ビデオフレーム期間）−（｜Δｔ４｜％（ビデオフレーム期間））で表される時刻ｔ４１０において、オーディオ符号化部１０４に対して、符号化開始を指示する音声符号化制御情報ＳＩＧ１１４を通知する。また、時刻ｔ４１０＋｜Δｔ４｜で表される時刻ｔ４１１において、ビデオ符号化部１０３に対して、符号化開始（再開）を指示する映像符号化制御情報ＳＩＧ１１３を通知する。
【００５９】
以上により、一時停止及び再開の前後のビデオフレームｖ４０５とビデオフレームｖ４０６とは、図５に示すように、再生時間情報ｔ５０１でシームレスに接続される。また、一時停止及び再開のタイミングにまたがるオーディオフレームａ４０８は、図５に示すように、再生時間情報ｔ５０１でシームレスに接続される。
【００６０】
上記のように、本実施形態によれば、ビデオ符号化部における符号化開始タイミングと、オーディオ符号化部における符号化開始タイミングとを、映像データと音声データの入力タイミングのずれ量に応じて調整するので、映像データと音声データの入力タイミングにずれがあっても、多重化ストリームの再生時に、映像と音声とがずれないようにすることが可能になる。
【００６１】
しかも、映像データと音声データを符号化した後に、バッファリングして入力タイミングのずれを吸収するので、例えば、映像データがより高画質化されたり、音声データがより高音質化されたりした場合にも、映像データ用バッファや音声データ用バッファの容量を、実現可能な範囲に収めることが可能になる。
【００６２】
《発明の実施形態２》
図６は、本発明の実施形態２に係る映像音声多重化装置２００の構成を示すブロック図である。映像音声多重化装置２００は、同図に示すように、検出部１０１、ビデオ符号化部１０３、オーディオ符号化部１０４、映像データ用バッファ１０６、音声データ用バッファ１０７、動作制御部２０１、及び多重化部２０２を備えている。
【００６３】
（動作制御部２０１）
動作制御部２０１は、符号化の開始と一時停止を制御する情報を含んだ制御情報ＳＩＧ１１０が映像音声多重化装置２００の外部から入力されており、制御情報ＳＩＧ１１０に応じて、ビデオ符号化部１０３及びオーディオ符号化部１０４の符号化動作の制御と、多重化部２０２の多重化動作とを制御するようになっている。この制御は、音声データＳＩＧ１０２及び映像データＳＩＧ１０１のうち、何れの入力が遅れるかによって異なっている。
【００６４】
音声データＳＩＧ１０２が映像データＳＩＧ１０１よりも遅れて入力される場合には、動作制御部１０５は、以下のように、符号化及び多重化の開始及び一時停止を制御する。
【００６５】
動作制御部２０１は、符号化開始を指示する制御情報ＳＩＧ１１０が入力されると、符号化する最初のビデオフレームのビデオフレーム境界情報ＳＩＧ１１２が入力されたタイミング（映像データ符号化開始時刻）で、符号化開始を指示する映像符号化制御情報ＳＩＧ１１３を出力して、ビデオ符号化部１０３に符号化動作を開始させる。
【００６６】
また、動作制御部２０１には、入力時間差情報ＳＩＧ１１１が入力されており、入力時間差情報ＳＩＧ１１１が示す時間差をΔｔ（音声データが遅れる場合は正の値）とすると、動作制御部２０１は、（映像データ符号化開始時刻）＋Δｔよりも後で、かつ、最も早いタイミングのビデオフレーム境界の検出時刻（この時刻は、ビデオフレーム境界情報ＳＩＧ１１２によって検出する）において、オーディオ符号化部１０４に符号化開始を指示する音声符号化制御情報ＳＩＧ１１４を通知する。
【００６７】
同時に、動作制御部２０１は、（ビデオフレーム期間）−Δｔ％（ビデオフレーム期間）の値を時間差分情報ＳＩＧ２０１として、多重化部２０２に通知する。また、多重化開始を指示する多重化制御情報ＳＩＧ１１５を多重化部２０２に通知する。
【００６８】
また、符号化の一時停止を指示する制御情報ＳＩＧ１１０が入力されると、動作制御部２０１は、制御情報ＳＩＧ１１０を受けた後に入力される最初のビデオフレーム境界情報ＳＩＧ１１２の入力タイミング（映像データ符号化一時停止時刻）に、符号化の一時停止を指示する映像符号化制御情報ＳＩＧ１１３を出力して、ビデオ符号化部１０３の符号化動作を一時停止させる。動作制御部２０１は、（映像データ符号化一時停止時刻）＋Δｔよりも後で、かつ、最も早いタイミングのビデオフレーム境界の検出時刻（この時刻は、ビデオフレーム境界情報ＳＩＧ１１２によって検出する）に、オーディオ符号化部１０４に一時停止を指示する音声符号化制御情報ＳＩＧ１１４を通知する。
【００６９】
一方、映像データＳＩＧ１０１が音声データＳＩＧ１０２よりも遅れて入力される場合には、動作制御部２０１は、以下のように、符号化及び多重化の開始及び一時停止を制御する。
【００７０】
動作制御部２０１は、制御情報ＳＩＧ１１０が入力された時刻の後の最初にビデオフレーム境界が検出された時刻（音声データ符号化開始時刻）に、符号化開始を指示する音声符号化制御情報ＳＩＧ１１４をオーディオ符号化部１０４に通知する。入力時間差情報ＳＩＧ１１１が示す時間差をΔｔ（映像データが遅れる場合は負の値）とすると、動作制御部２０１は、（音声データ符号化開始時刻）＋｜Δｔ｜よりも小さく、かつ、最も遅いタイミングのビデオフレーム境界の検出時刻において、符号化開始を指示する映像符号化制御情報ＳＩＧ１１３をビデオ符号化部１０３に通知する。同時に、動作制御部２０１は、｜Δｔ｜％（ビデオフレーム期間）の値を、時間差分情報ＳＩＧ２０１として多重化部２０２に通知する。さらに、多重化開始を指示する多重化制御情報ＳＩＧ１１５を多重化部２０２に通知する。
【００７１】
また、符号化の一時停止を指示する制御情報ＳＩＧ１１０が入力されると、動作制御部２０１は、制御情報ＳＩＧ１１０を受けた後の最初にビデオフレーム境界が検出された時刻時刻（音声データ符号化一時停止時刻）に、符号化の一時停止を指示する音声符号化制御情報ＳＩＧ１１４をオーディオ符号化部１０４に通知する。さらに、動作制御部２０１は、（音声データ符号化一時停止時刻）＋｜Δｔ｜よりも前で、かつ、最も遅いタイミングのビデオフレーム境界の検出時刻に、一時停止を指示する映像符号化制御情報ＳＩＧ１１３をビデオ符号化部１０３に通知する。
【００７２】
（多重化部２０２）
多重化部２０２は、多重化制御情報ＳＩＧ１１５が入力されると動作を開始し、ビデオフレーム情報ＳＩＧ１０８、オーディオフレーム情報ＳＩＧ１０９及び時間差分情報ＳＩＧ２０１に基づいて、符号化映像データＳＩＧ１０５及び符号化音声データＳＩＧ１０６の再生時間情報を算出する。詳しくは、多重化部２０２は、１ビデオフレームの時間間隔とのビデオフレーム情報ＳＩＧ１０８の通知された回数から算出された値を、ビデオフレームの再生時間情報とし、１オーディオフレームの時間間隔とのオーディオフレーム情報ＳＩＧ１０９の通知された回数から算出される値に、時間差分情報ＳＩＧ２０１が示す値を加算し、オーディオフレームの再生時間情報とするようになっている。
【００７３】
そして、動作制御部２０１は、算出した再生時間情報を基に、多重化順を決定し、決定した多重化順にしたがって、映像データ用バッファ１０６から取得した符号化映像データＳＩＧ１０５と、音声データ用バッファ１０７から取得した符号化音声データＳＩＧ１０６とを、再生時間情報を付加して多重化する。
【００７４】
（映像音声多重化装置２００の動作）
（音声データが映像データに対して遅れたタイミングで入力される場合の動作）
音声データが映像データに対して遅れたタイミングで入力される場合における符号化開始、一時停止、及び符号化再開の動作を、図７を参照しつつ説明する。図７は、動作制御部２０１、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【００７５】
映像音声多重化装置２００に多重化を行なわせるには、まず動作制御部２０１に対して、例えば外部から制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とを入力する。ここでは、動作制御部２０１は、図７に示す開始指示時刻ｔ７００において、制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とを受けたものとする。また、入力時間差情報ＳＩＧ１１１が示す時間差は、Δｔ７（音声データが遅れる場合は正の値）とする。
【００７６】
制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とが入力されると、動作制御部２０１は、開始指示時刻ｔ７００の後の最初にビデオフレーム境界が検出された時刻ｔ７０１（映像データ符号化開始時刻）において、ビデオ符号化部１０３に対して、映像符号化制御情報ＳＩＧ１１３を出力する。これにより、ビデオ符号化部１０３は、符号化映像データＳＩＧ１０３を映像データ用バッファ１０６に出力する。
【００７７】
さらに、動作制御部２０１は、時刻ｔ７０１＋Δｔ７よりも後で、かつ、最も早いタイミングのビデオフレーム境界の検出時刻（時刻ｔ７０２）において、オーディオ符号化部１０４に符号化開始を指示する音声符号化制御情報ＳＩＧ１１４を通知する。これにより、オーディオ符号化部１０４は、符号化音声データＳＩＧ１０４を音声データ用バッファ１０７に出力する。
【００７８】
また、動作制御部２０１は、多重化制御情報ＳＩＧ１１５と、時間差分情報ＳＩＧ２０１とを多重化部２０２に出力する。時間差分情報ＳＩＧ２０１の値は、（ビデオフレーム期間）−Δｔ７％（ビデオフレーム期間）である。この時、ビデオ符号化部１０３とオーディオ符号化部１０４の符号化開始時に取り込まれた映像データと音声データの時間のずれは、時間差分情報ＳＩＧ２０１と同じである。
【００７９】
それにより、多重化部２０２は、ビデオフレーム情報ＳＩＧ１０８に基づいて、符号化映像データＳＩＧ１０５の再生時間情報を算出する。さらに、オーディオフレーム情報ＳＩＧ１０９と時間差分情報ＳＩＧ２０１の値に基づいて、符号化音声映像データＳＩＧ１０６の再生時間情報を算出する。そして、多重化部２０２は、符号化映像データＳＩＧ１０５及び符号化音声データＳＩＧ１０６の多重化順を決定し、決定した多重化順にしたがって、映像データ用バッファ１０６から取得した符号化映像データＳＩＧ１０５と、音声データ用バッファ１０７から取得した符号化音声データＳＩＧ１０６とを、再生時間情報を付加して多重化する。
【００８０】
図８は、音声データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示している。図８に示すように、ビデオフレームｖ７０１（先頭のビデオフレーム）の再生時間情報を再生時間情報ｔ８００とすると、オーディオフレームａ７０１（先頭のオーディオフレーム）の再生時間情報ｔ８０１は、再生時間情報ｔ８００＋（ビデオフレーム期間）−Δｔ７％（ビデオフレーム期間）となる。すなわち、ビデオフレームｖ７０１とオーディオフレームａ７０１の入力タイミングのずれは、付加する再生時間情報のずれと等しい。再生時ｔ８０１−ｔ８００の期間、無音状態となるが、１ビデオフレーム期間以下なので、視聴時に影響することはない。
【００８１】
なお、音声データが映像データに対して遅れたタイミングで入力される場合には、上記のように、映像データ用バッファ１０６における符号化された映像データの保持期間は、（時刻ｔ７０２−時刻ｔ７０１）だけ長くなる。したがって、本実施形態では、映像データ用バッファ１０６は、映像データＳＩＧ１０１と音声データＳＩＧ１０２との入力タイミングにずれが無い場合に必要な容量に加えて、（［（時刻ｔ７０２−時刻ｔ７０１）／（ビデオフレーム期間）］＋１）×（符号化された映像データの１ビデオフレーム分の最大サイズ）の容量を有している必要がある。
【００８２】
（符号化の一時停止及び再開）
例えば、動作制御部２０１が、図７に示す一時停止指示時刻ｔ７０３において、一時停止の指示を受けた場合には、一時停止指示時刻ｔ７０３の後の最初にビデオフレーム境界が検出された時刻ｔ７０４において、動作制御部２０１は、ビデオ符号化部１０３に一時停止を指示する映像符号化制御情報ＳＩＧ１１３を通知する。さらに、動作制御部２０１は、時刻ｔ７０４＋Δｔ７よりも後で、かつ、最も早いタイミングのビデオフレーム境界（時刻ｔ７０５）で、一時停止を指示する音声符号化制御情報ＳＩＧ１１４をオーディオ符号化部１０４に出力する。
【００８３】
また、動作制御部２０１が、再開指示時刻ｔ７０６において、符号化開始（再開）の指示を受けた場合には、再開指示時刻ｔ７０６の後の最初にビデオフレーム境界が検出された時刻ｔ７０７において、動作制御部２０１は、ビデオ符号化部１０３に符号化開始を指示する映像符号化制御情報ＳＩＧ１１３を通知する。さらに、時刻ｔ７０７＋Δｔ７よりも後で、かつ、最も早いタイミングのビデオフレーム境界（時刻ｔ７０８）で、符号化開始（再開）を指示する音声符号化制御情報ＳＩＧ１１４を、オーディオ符号化部１０４に出力する。
【００８４】
したがって、図８に示すように、一時停止及び再開の前後のビデオフレームｖ７０４、及びビデオフレームｖ７０５は、再生時間情報ｔ８０２でシームレスに接続される。一時停止及び再開のタイミングにまたがるオーディオフレームａ７０８は、再生時間情報ｔ８０２＋（ビデオフレーム期間）−Δｔ７％（ビデオフレーム期間）となる時刻ｔ８０３でシームレスに接続される。この場合も、再生時間情報ｔ８０２と再生時間情報ｔ８０３の差は、１ビデオフレーム期間以下であり、視聴時に影響することはない。
【００８５】
（映像データが音声データに対して遅れたタイミングで入力される場合の動作）
次に、映像データが音声データに対して遅れたタイミングで入力される場合における符号化開始、一時停止、及び符号化再開の動作を、図９を参照しつつ説明する。図９は、動作制御部２０１、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【００８６】
ここでは、動作制御部２０１は、図９示す開始指示時刻ｔ９００において、制御情報ＳＩＧ１１０と入力時間差情報ＳＩＧ１１１とを受けたものとする。また、入力時間差情報ＳＩＧ１１１が示す時間差は、Δｔ９（映像データが遅れる場合は負の値）であるものとする。また、開始指示時刻ｔ９００の後の最初に検出されるビデオフレーム境界の検出時刻は、時刻ｔ９０１であるものとする。
【００８７】
制御情報ＳＩＧ１１０が入力されると、動作制御部２０１は、時刻ｔ９０１に、オーディオ符号化部１０４に対して、符号化開始を指示する音声符号化制御情報ＳＩＧ１１４を通知する。
【００８８】
さらに、動作制御部２０１は、時刻ｔ９０１＋｜Δｔ９｜よりも前で、かつ、最も遅いタイミングのビデオフレーム境界の検出時刻（時刻ｔ９０２）で、ビデオ符号化部１０３に対して符号化開始を指示する映像符号化制御情報ＳＩＧ１１３を通知する。
【００８９】
また、多重化部２０２に対しては、｜Δｔ９｜％（ビデオフレーム期間）を時間差分情報ＳＩＧ２０１として、多重化制御情報ＳＩＧ１１５と同時に通知する。この時、ビデオ符号化部１０３とオーディオ符号化部１０４の符号化開始時に取り込まれた映像データと音声データの時間のずれは、時間差分情報ＳＩＧ２０１と同じである。
【００９０】
それにより、多重化部２０２は、ビデオフレーム情報ＳＩＧ１０８に基づいて、符号化映像データＳＩＧ１０５の再生時間情報を算出する。さらに、オーディオフレーム情報ＳＩＧ１０９と時間差分情報ＳＩＧ２０１の値に基づいて、符号化音声映像データＳＩＧ１０６の再生時間情報を算出する。そして、多重化部２０２は、符号化映像データＳＩＧ１０５及び符号化音声データＳＩＧ１０６の多重化順を決定し、決定した多重化順にしたがって、映像データ用バッファ１０６から取得した符号化映像データＳＩＧ１０５と、音声データ用バッファ１０７から取得した符号化音声データＳＩＧ１０６とを、再生時間情報を付加して多重化する。
【００９１】
図１０は、映像データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示している。図１０に示すように、ビデオフレームｖ９０１（先頭のビデオフレーム）の再生時間情報を再生時間情報ｔ１０００とすると、オーディオフレームａ９０１（先頭のオーディオフレーム）の再生時間情報ｔ１００１は、再生時間情報ｔ１０００＋｜Δｔ９｜％（ビデオフレーム期間）となるとなる。すなわち、ビデオフレームｖ９０１とオーディオフレームａ９０１の入力タイミングのずれは、付加する再生時間情報のずれと等しい。再生時ｔ１００１−ｔ１０００の期間、無音状態となるが、１ビデオフレーム期間以下なので、視聴時に影響することはない。
【００９２】
なお、音映像データが音声データに対して遅れたタイミングで入力される場合には、上記のように、音声データ用バッファ１０７における符号化された音声データの保持期間は、（時刻ｔ９０２−時刻ｔ９０１）だけ長くなる。したがって、本実施形態では、音声データ用バッファ１０７は、映像データＳＩＧ１０１と音声データＳＩＧ１０２との入力タイミングにずれが無い場合に必要な容量に加えて、（［｜時刻ｔ９０２−時刻ｔ９０１｜／（オーディオフレーム期間）］＋１）×（符号化された音声データの１オーディオフレーム分の最大サイズ）の容量を有している必要がある。
【００９３】
（符号化の一時停止及び再開）
また、例えば、動作制御部２０１が、図９に示す一時停止指示時刻ｔ９０４において、一時停止の指示を受けた場合には、動作制御部２０１は、一時停止指示時刻ｔ９０４の後の最初にビデオフレーム境界が検出された時刻ｔ９０５で、オーディオ符号化部１０４に一時停止を指示する音声符号化制御情報ＳＩＧ１１４を通知する。さらに、時刻ｔ９０５＋｜Δｔ９｜よりも前で、かつ、最も遅いタイミングのビデオフレーム境界の時刻ｔ９０５で、ビデオ符号化部１０３に対して、一時停止を指示する映像符号化制御情報ＳＩＧ１１３を通知する。
【００９４】
また、例えば、動作制御部２０１が、再開指示時刻ｔ９０８において、符号化開始（再開）の指示を受けた場合には、動作制御部２０１は、再開指示時刻ｔ９０８の後の最初にビデオフレーム境界が検出された時刻ｔ９０９で、オーディオ符号化部１０４に対して、符号化開始（再開）を指示する音声符号化制御情報ＳＩＧ１１４を通知する。また、時刻ｔ９０９＋｜Δｔ９｜よりも前で、かつ、最も遅いタイミングのビデオフレーム境界の時刻ｔ９１０で、ビデオ符号化部１０３に対して、符号化開始（再開）を指示する映像符号化制御情報ＳＩＧ１１３を通知する。
【００９５】
したがって、図１０に示すように、一時停止及び再開の前後のビデオフレームｖ９０５、及びビデオフレームｖ９０６は、再生時間情報ｔ１００２でシームレスに接続される。また、一時停止及び再開のタイミングにまたがるオーディオフレームａ９０７は、再生時間情報ｔ１００２＋｜Δｔ９｜％（ビデオフレーム期間）となる再生時間情報ｔ１００３でシームレスに接続される。この場合も、再生時間情報ｔ１００２と再生時間情報ｔ１００３との差は、１ビデオフレーム期間以下であり、視聴時に影響することはない。
【００９６】
上記のように、本実施形態によれば、ビデオ符号化部における符号化開始タイミングと、オーディオ符号化部における符号化開始タイミングとを、映像データと音声データの入力タイミングのずれ量に応じて、ビデオフレーム期間単位で調整する。また、ビデオフレーム期間単位で調整しきれないずれに対しては、多重化ストリームに付加する再生時間情報を変更することで調整する。それゆえ、映像データと音声データの入力タイミングにずれがあっても、多重化ストリームの再生時に、映像と音声とがずれないようにすることが可能になる。
【００９７】
しかも、本実施形態では、実施形態１の映像音声多重化装置１００のように、時刻計測部１０２を必要としないので、より小規模に構成することが可能になる。
【００９８】
なお、実施形態１、及び実施形態２の各構成要素は、ハードウェアによって実現してもよいし、ソフトウェアで中央演算装置（ＣＰＵ）を動作させることによって実現してもよい。
【産業上の利用可能性】
【００９９】
本発明に係る映像音声多重化装置は、映像データの符号化開始タイミングと、音声データの符号化開始タイミングとが、映像データと音声データの入力タイミングのずれ量に応じて調整されるので、映像データと音声データの入力タイミングにずれがあっても、再生時に、映像と音声とがずれない多重化ストリームを生成できるという効果を有し、映像データと音声データとの符号化、及び符号化した映像データと符号化した音声データとの多重化を行なう映像音声多重化装置等として有用である。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施形態１に係る映像音声多重化装置１００の構成を示すブロック図である。
【図２】実施形態１において、音声データが遅れる場合の、動作制御部１０５、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【図３】実施形態１において、音声データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示す図である。
【図４】実施形態１において、映像データが遅れる場合の、動作制御部１０５、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【図５】実施形態１において、映像データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示す図である。
【図６】本発明の実施形態２に係る映像音声多重化装置２００の構成を示すブロック図である。
【図７】実施形態２において、音声データが遅れる場合の、動作制御部２０１、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【図８】実施形態２において、音声データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示す図である。
【図９】実施形態２において、映像データが遅れる場合の、動作制御部２０１、ビデオ符号化部１０３、及びオーディオ符号化部１０４の制御タイミングを示す図である。
【図１０】実施形態２において、映像データが遅れる場合に、各ビデオフレーム及びオーディオフレームに付加される再生時間情報を示す図である。
【符号の説明】
【０１０１】
１００      映像音声多重化装置
１０１      検出部
１０２      時刻計測部
１０３      ビデオ符号化部
１０４      オーディオ符号化部
１０５      動作制御部
１０６      映像データ用バッファ
１０７      音声データ用バッファ
１０８      多重化部
２００      映像音声多重化装置
２０１      動作制御部
２０２      多重化部
【図１】
2008054159.tif 000003
【図２】
2008054159.tif 000004
【図３】
2008054159.tif 000005
【図４】
2008054159.tif 000006
【図５】
2008054159.tif 000007
【図６】
2008054159.tif 000008
【図７】
2008054159.tif 000009
【図８】
2008054159.tif 000010
【図９】
2008054159.tif 000011
【図１０】
2008054159.tif 000012