(57)【特許請求の範囲】
【請求項１】
動画像のＭＰＥＧ符号化データである第１の符号化データと、音声の符号化データである第２の符号化データを入力する第１の入力手段と、
前記第１の符号化データ中の各Ｉピクチャ／Ｐピクチャに対応し、当該Ｉピクチャ／Ｐピクチャと次のＩピクチャ／Ｐピクチャとの間に存在するＢピクチャの表示期間を表すフィールド数を入力する第２の入力手段と、
前記第１の入力手段で入力された前記第１の符号化データ中の各Ｉピクチャ／Ｐピクチャに対応する前記第２の入力手段で入力された前記フィールド数を基に当該Ｉピクチャ／Ｐピクチャのタイムスタンプを算出するとともに、前記第１の入力手段で入力された前記第１の符号化データ及び前記第２の符号化データをそれぞれパケット化し、前記第１の符号化データのパケットに前記タイムスタンプを付加するパケット化手段と、
前記第２の符号化データのパケットと前記タイムスタンプの付加された前記第１の符号化データのパケットを多重化する多重化手段と、
前記多重化手段で多重化されて得られた多重化データを出力する出力手段と、
を具備したことを特徴とする情報多重化装置。
【請求項２】
動画像のＭＰＥＧ符号化データと、当該ＭＰＥＧ符号化データ中の各Ｉピクチャ／Ｐピクチャに対応し、当該Ｉピクチャ／Ｐピクチャと次のＩピクチャ／Ｐピクチャとの間に存在するＢピクチャの表示期間を表すフィールド数を含む第１の符号化データと、音声の符号化データである第２の符号化データをそれぞれ入力する第１の入力手段と、
前記第１の入力手段で入力された前記第１の符号化データ中の各Ｉピクチャ／Ｐピクチャに対応する前記フィールド数を基に当該Ｉピクチャ／Ｐピクチャのタイムスタンプを算出するとともに、前記第１の入力手段で入力された前記第１の符号化データ及び前記第２の符号化データをそれぞれパケット化し、前記第１の符号化データのパケットに前記タイムスタンプを付加するパケット化手段と、
前記第２の符号化データのパケットと前記タイムスタンプの付加された前記第１の符号化データのパケットを多重化する多重化手段と、
前記多重化手段で多重化されて得られた多重化データを出力する出力手段と、
を具備したことを特徴とする情報多重化装置。
【請求項３】
動画像のＭＰＥＧ符号化データと、当該ＭＰＥＧ符号化データ中のＧＯＰ（group of pictures）毎に、当該ＧＯＰに含まれる１つのＩピクチャ／Ｐピクチャと次のＩピクチャ／Ｐピクチャとの間に存在するＢピクチャの表示期間を表し、当該ＧＯＰ内の各Ｉピクチャ／Ｐピクチャに共通するフィールド数を含む第１の符号化データと、音声の符号化データである第２の符号化データをそれぞれ入力する第１の入力手段と、
前記第１の入力手段で入力された前記第１の符号化データ中の各ＧＯＰに対応する前記フィールド数を基に当該ＧＯＰ中の各Ｉピクチャ／Ｐピクチャのタイムスタンプを算出するとともに、前記第１の入力手段で入力された前記第１の符号化データ及び前記第２の符号化データをそれぞれパケット化し、前記第１の符号化データのパケットに前記タイムスタンプを付加するパケット化手段と、
前記第２の符号化データのパケットと前記タイムスタンプの付加された前記第１の符号化データのパケットを多重化する多重化手段と、
前記多重化手段で多重化されて得られた多重化データを出力する出力手段と、
を具備したことを特徴とする情報多重化装置。
【請求項４】
動画像のＭＰＥＧ符号化データと、当該ＭＰＥＧ符号化データ中の複数のＧＯＰ（group of pictures）からなる１単位のシーケンス毎に、当該シーケンスに含まれる１つのＩピクチャ／Ｐピクチャと次のＩピクチャ／Ｐピクチャとの間に存在するＢピクチャの表示期間を表し、当該シーケンス内の各Ｉピクチャ／Ｐピクチャに共通するフィールド数を含む第１の符号化データと、音声の符号化データである第２の符号化データをそれぞれ入力する第１の入力手段と、
前記第１の入力手段で入力された前記第１の符号化データ中の各シーケンスに対応する前記フィールド数を基に当該シーケンス中の各Ｉピクチャ／Ｐピクチャのタイムスタンプを算出するとともに、前記第１の入力手段で入力された前記第１の符号化データ及び前記第２の符号化データをそれぞれパケット化し、前記第１の符号化データのパケットに前記タイムスタンプを付加する手段と、
前記第２の符号化データのパケットと前記タイムスタンプの付加された前記第１の符号化データのパケットとを多重化する多重化手段と、
前記多重化手段で多重化されて得られた多重化データを出力する出力手段と、
を具備したことを特徴とする情報多重化装置。
【請求項５】
一定のビットレートで前記第１の入力手段から入力される前記第２の符号化データを一時蓄積するバッファをさらに具備し、
前記バッファに蓄積された前記第２の符号化データのデータ量と前記ビットレートとから定まる経過時間が予め定められた時間となる度に、前記多重化手段は多重化処理の開始をすることを特徴とする請求項１記載の情報多重化装置。
【請求項６】
前記第１の入力手段から入力される前記第１の符号化データに含まれる符号化フレーム数を計数する手段をさらに具備し、
前記符号化フレーム数が予め定められた経過時間に対応する数になる度に、前記多重化手段は多重化処理の開始をすることを特徴とする請求項１記載の情報多重化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化された動画像ビット列と符号化された音声ビット列と、さらに他の符号化ビット列をパケット多重して送信する情報多重化装置に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方式の国際規格として、比較的低ビットレートの蓄積メディアをターゲットとしたＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２）や、次世代のデジタル放送、ＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）    あるいは    ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｋ）などへの応用が期待されているＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）    などが知られている。
【０００３】
ＭＰＥＧ符号化方式では、映像、音声、およびその他のデータストリーム（データ列）を独立に符号化し、それらの符号化データをそれぞれパケット化して、パケット多重化を行なう方式が採用されている。また、送信側と受信側との間では、パケットの受信側到達時刻、デコード時刻、及び表示時刻の各タイムスタンプを一定以上の頻度で伝送することにより、同期の確立を行なう。
【０００４】
デコード時刻及び表示時刻の各タイムスタンプは、通常、各画像、音声それぞれの符号化パラメータにより異なるものとなる。入力順に一定間隔の符号化フレームに分割して符号化がされる場合では、これらのタイムスタンプは、常に一定の差分値を加算することにより更新することが可能である。しかし、ＭＰＥＧビデオ符号化では、表示順と符号化順とが異なり、またその関係が動的に変化する場合がある。そのような場合、一定値の加算ではタイムスタンプの更新が不可能となり、入力される符号化データのヘッダ情報等から、タイムスタンプの適切な更新を行なうことが必要となる。
【０００５】
さらに、送信側では、受信側での入力バッファのオーバーフローやアンターフロー等の破綻を起こさずに、同期が正しく確立するように、パケット多重化順の選択、及びタイムスタンプの多重を行なわなければならない。
【０００６】
通常、ハードウェアで構成される多重化装置では、これらのタイムスタンプは、多重化処理部のタイムベースに基づいて計算される。多重化処理部のタイムベースは、伝送路や入力ソースのクロックに同期している場合、あるいは、それらと非同期に動作する場合もあり得る。通常、多重化システムの構成は、これらのクロックの同期／非同期によって大きく異なるものとなる。
【０００７】
【発明が解決しようとする課題】
ＭＰＥＧ符号化方式等では、入力される符号化データのヘッダ情報のみから、デコード時刻及び表示時刻の各タイムスタンプの算出を行なうためには、表示順と符号化順とのずれの最大値の遅延をもって、符号化データのヘッダ情報の解析を順次行なわなければならない。実時間で、符号化、伝送、及び復号を行なう伝送システムにおいては、この遅延量は無視できないものとなる。
【０００８】
動画像、音声等の各情報源からの情報を個別に符号化して符号化データストリームを求め、それらを多重し１本化した多重化ビットストリームを得るまでの全ての処理において、単一のタイムベースへの同期を仮定した情報多重化装置では、時刻と符号化ビット数および符号化レートとは、完全に１対１の関係付けをすることが可能となる。従って、多重化装置におけるパケット多重化順の選択やタイムスタンプ等の計算は、符号化データストリームから得られる仮想的なタイムベースに基づいて、論理的に計算することが可能となる。
【０００９】
このような情報多重化装置においては、多重化処理はソフトウェア処理のみで実現可能となり、実時間管理のための専用ハードウェアに対して、低コストで且つ汎用性のあるシステム構築が可能となる。
【００１０】
一方、実時間管理を伴わないソフトウェア処理による多重化処理では、多重化処理のスループットは、少なくとも実符号化レートよりも十分速いことが要求される。従って、多重化処理はバースト的に行なわれ、ソフトウェア上の仮想的なタイムベースと実タイムベースとの間には、大きなジッタを伴うことになる。
【００１１】
このジッタは、通常、送信バッファで吸収する必要があるが、実時間伝送を用いて符号化および復号化を行なう場合は、バッファ遅延量を極力小さくすることが求められる。また、受信側においても、ジッタ吸収のための入力バッファ遅延を、必要以上に大きくとることは好ましくない。そのため、受信側において入力バッファ遅延を最小化し、符号化データストリームの入力時刻から、通常の復号動作を開始することを仮定すると、多重化部の仮想タイムベースと実時刻とのずれのために、多重化ビットストリームの伝送開始時刻の前倒しが起こった場合、伝送路あるいは受信側でのアンダーフローを起こす可能性が生じる。
【００１２】
そこで、本発明は、以上の問題点に鑑みてなされたものであり、動画像符号化データと音声符号化データの多重化遅延を減少できる情報多重化装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の情報多重化装置は、少なくとも動画像の符号化データと音声の符号化データをパケット化して多重化する多重化手段と、この多重化手段で多重化されて得られた多重化データを出力する出力手段と、動画像データを符号化する際に得られる符号化パラメータを入力する入力手段とを具備し、前記多重化手段は、前記入力手段で入力された符号化パラメータをもとに、前記動画像の符号化データの復号・再生の時刻管理情報を算出して、それを前記動画像の符号化データのパケットに付加して多重することにより、タイムスタンプ等の復号・再生の時刻管理情報を算出するためにヘッダ情報の解析により生じる多重化遅延を減少できる。
【００１５】
また、本発明の情報多重化装置は、入力された少なくとも動画像の符号化データと音声の符号化データをそれぞれ一時蓄積する複数のバッファと、この複数のバッファのそれぞれに蓄積された符号化データをパケット化して多重化する多重化手段と、この多重化手段で多重化されて得られた多重化データを出力する出力手段とを具備し、前記多重化手段は、前記バッファに一時蓄積される符号化データのうち、前記バッファの占有量の推移が時間基準となり得る符号化データの前記バッファの占有量を基に、多重化処理を開始するタイミングを決定することにより、ソフトウエアによる実時間管理が容易に行え、復号側の受信バッファにおけるアンダーフローを防ぐとともに、複雑なハードウェアを必要としない。
【００１６】
また、本発明の情報多重化装置は、入力された少なくとも動画像の符号化データと音声の符号化データをそれぞれ一時蓄積する複数のバッファと、この複数のバッファのそれぞれに蓄積された符号化データをパケット化して多重化する多重化手段と、この多重化手段で多重化されて得られた多重化データを出力する出力手段とを具備し、前記多重化手段は、前記符号化データを解析することにより符号化フレーム数を計数し、この計数値を基に多重化処理を開始するタイミングを決定することにより、ソフトウエアによる実時間管理が容易に行え、復号側の受信バッファにおけるアンダーフローを防ぐとともに、複雑なハードウェアを必要としない。
従って、情報の符号化、伝送、復号化の実時間管理と、個別に符号化された情報の同期多重が容易に行える情報多重化装置を提供できる。
【００１７】
【発明の実施の形態】
本発明の一実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報多重化装置の構成を概略的に示したブロック図である。
【００１８】
図１では、１チャンネルの動画像信号１０とｎチャンネルの音声信号と１チャンネルのデータ信号を多重化する場合について示している。
動画像（ビデオ）信号１０、複数本の音声信号１１−１〜１１−ｎは、それぞれ動画像符号化装置１５、音声符号化装置１６−１〜１６−ｎに入力されて符号化され、個別の符号化データとして入力バッファ２３、２４−１〜２４−ｎへそれぞれ入力される。
【００１９】
符号化を必要としない、あるいは、既に符号化されたデータストリーム１４も、同様に入力バッファ２５へ入力される。
入力バッファ２３、２４−１〜２４−ｎに一時蓄積された各符号化データおよび入力バッファ２５に一時蓄積されたデータは、それぞれ、パケット化処理部３３、３４−１〜３４−ｎ、３５で個別にパケット化され、さらに、これらパケットが多重化処理部４３で多重化されて多重化ビットストリームが得られる。この多重化ビットストリーム４４は、出力バッファ４５に一時蓄積されてから、所定のタイミングに従って、例えば、ネットワークを介して伝送されるようになっている。
【００２０】
動画像（ビデオ）および音声信号のパケット化処理部３３、３４−１〜３４−ｎには、それぞれの符号化装置１５、１６−１〜１６−ｎで動画像、音声を符号化する際に得られる符号化パラメータがサイド情報５０〜５３として入力するようになっている。
【００２１】
サイド情報には、符号化ビットレート、フレーム符号化データ長、表示フレームレート、各フレームの表示期間、ビデオ符号化の予測構造に関わるパラメータ等を含むことが可能である。
【００２２】
パケット化処理部３３、３４−１〜３４−ｎでは、これらのサイド情報を用いてパケット化、タイムスタンプの算出、多重化順の決定等を行なうようになっている。
【００２３】
また、これらのサイド情報の一部は、入力される符号化データを文法解析することにより抽出することも可能である。
図２は、ＭＰＥＧビデオ符号化におけるフレームの処理順序とその並びについて説明するためのものである。
【００２４】
ＭＰＥＧビデオ符号化では、フレーム内符号化画像（Ｉピクチャ）、前方予測符号化画像（Ｐピクチャ）および両方向予測符号化画像（Ｂピクチャ）を組み合わせた符号化が可能である。ただし、Ｂピクチャを含む場合は、符号化順序と表示順序は異なるものとなる。
【００２５】
図２では、ＩピクチャおよびＰピクチャの間に、常にＢピクチャが２フレーム入る予測構造を用いた場合の例である。
この場合、復号化側では、ＩピクチャおよびＰピクチャは復号化された時刻から３フレーム期間経過した後に表示され、その間は復号化装置のフレームメモリに記憶され、予測画像の参照画像として復号化処理に用いられる。
【００２６】
ＭＰＥＧのシステム多重化規格では、ビデオ及び音声を多重化して伝送する際に、復号すべき時刻（ＤＴＳ：Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）と表示すべき時刻（ＰＴＳ：  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を、ＭＰＥＧシステム規格で規定されるヘッダ情報に多重化して伝送される。
【００２７】
図２のでは、ＩピクチャおよびＰピクチャのＰＴＳは、該ピクチャのＤＴＳに対して３フレーム期間の時間だけ加算して算出する。また、得られたＰＴＳは、次に符号化されたＩピクチャまたはＰピクチャのＤＴＳとして用いることができる。
【００２８】
しかし、図３に示すように、ＩピクチャまたはＰピクチャに挟まれたＢピクチャの数は、任意に変更可能であり、一般には前述のようにＤＴＳからＰＴＳを算出することは不可能である。通常、あるＩピクチャまたはＰピクチャに対して、その次に符号化されたＩピクチャまたはＰピクチャが入力された時点で、その間に含まれるＢピクチャの数が確定する。従って、図１の動画像のパケット化処理部３３では、ＩまたはＰピクチャは入力と同時にタイムスタンプの計算をすることができず、その次に符号化されたＩピクチャまたはＰピクチャの符号化データが得られるまでの多重化遅延を生じることになる。
【００２９】
第１の実施形態における情報多重化装置では、ＩピクチャまたはＰピクチャのフレーム間隔を符号化装置１５からサイド情報としてパケット化処理部３３に入力することにより、各ＩピクチャまたはＰピクチャの符号化データが得られると同時に、パケット化に必要なタイムスタンプの算出が容易に行え、前述の多重化遅延を生じることなくパケット化および多重化処理が可能となる。
【００３０】
また、ＩピクチャまたはＰピクチャの間隔を常に一定として符号化を行なう場合は、その一定値を例えば符号化開始前にパケット化処理部３３に入力することも可能である。
【００３１】
さらに、ＭＰＥＧ２ビデオ符号化においては、図４に示すように符号化された１フレームを表示する期間は、２フィールドあるいは３フィールドと任意に設定することが可能となっている。これは、フレーム周期２４Ｈｚの映画のソースを、フレーム周期３０Ｈｚの受像器でフレームレート変換して表示させる場合等に用いられる。この場合、ＩピクチャまたはＰピクチャの間隔を常に一定として符号化した場合においても、各ＩピクチャまたはＰピクチャのＤＴＳとＰＴＳの間隔は一定値とはならず、前述した理由により一般に多重化遅延を生じる。
【００３２】
第１の実施形態における情報多重化装置では、ＩピクチャまたはＰピクチャのフレーム間隔を符号化フレームの表示する期間を考慮したフィールド数として、動画像符号化装置１５からパケット化処理部３３にサイド情報として入力することにより、前述の多重化遅延を生じることなくパケット化および多重化処理が可能となる。
【００３３】
図７は、ＭＰＥＧビデオ符号化データのデータ構造の一例を示したもので、ビデオシーケンス全体に関わるシーケンスヘッダ、Ｉピクチャで始まる１５ピクチャ程度の単位でグループ化したピクチャ集合（ＧＯＰ：Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に関わるＧＯＰヘッダ、および、各ピクチャのヘッダと符号化データとから構成される。
【００３４】
図７に示した構成の符号化データは、動画像符号化装置１５から出力され、入力バッファ２３を介してパケット化処理部３３に入力される。
パケット化処理部３３には、図７に示したような構成のデータが入力バッファ２３から入力されるとともに、動画像符号化装置１５からは、ＩピクチャまたはＰピクチャのフレーム間隔、あるいは、そのフレーム間隔を符号化フレームの表示する期間を考慮したフィールド数で表した値がサイド情報として入力され、このサイド情報をもとに、パケット化に必要なタイムスタンプ（ＤＴＳ、ＰＴＳ）の算出を行い、図７に示した構成のデータ列がパケット化されると、算出されたタイムスタンプが付加されて多重化処理部４３に出力される。
（第２の実施形態）
図５は、本発明の第２の実施形態に係る情報多重化装置の構成を概略的に示したブロック図である。
【００３５】
図５において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図５に示した情報多重化装置は、動画像及び音声の符号化装置１５、１６−１〜１６−ｎとパケット化処理部３３、３４−１〜３４−ｎを制御する制御部６０を具備している。また、図１で示した動画像および音声符号化装置１５、１６−１〜１６−ｎでの符号化の際に得られるサイド情報は、制御部６０を介してパケット化処理部３３、３４−１〜３４−ｎへ入力するようになっている。
（第３の実施形態）
図６は、本発明の第３の実施形態に係る情報多重化装置の構成を概略的に示したブロック図である。
【００３６】
図６において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図６に示した情報多重化装置は、第１の実施形態で示したサイド情報のうち、特にタイムスタンプの算出に必要なデータ等を各符号化データ中に多重化して、符号化装置１５、１６−１〜１６−ｎから出力するようになっている。
【００３７】
図７に示したＭＰＥＧビデオ符号化データのデータ構造では、例えば、各ヘッダに続けてユーザデータを多重化することも可能である。その場合のユーザデータの多重化例を図８〜図１０を参照して説明する。
【００３８】
図８では、シーケンスヘッダに続いてユーザーデータを多重化している。このユーザデータには、前述のＩピクチャまたはＰピクチャの間隔に関わるパラメータが含まれていて、パケット化処理部では、このパラメータに応じてタイムスタンプの算出を行なう。ＩピクチャまたはＰピクチャの間隔が１単位のシーケンスを通して一定で、前述のフレームレート変換を用いない場合は、この手法を用いて多重化遅延を低減することが可能である。
【００３９】
図９では、ＧＯＰヘッダに続いてユーザーデータを多重化している。このユーザデータには、前述のＩピクチャまたはＰピクチャの間隔に関わるパラメータが含まれていて、パケット化処理部では、このパラメータに応じてタイムスタンプの算出を行なう。ＩピクチャまたはＰピクチャの間隔がＧＯＰ単位に可変となり、前述のフレームレート変換を用いない場合は、この手法を用いて多重化遅延を低減することが可能である。
【００４０】
図１０では、ピクチャヘッダに続いてユーザーデータを多重している。このユーザデータには、前述のＩピクチャまたはＰピクチャの間隔に関わるパラメータが含まれていて、パケット化処理部４３では、このパラメータに応じてタイムスタンプの算出を行なう。この場合は、任意の予測構造について、常に多重化遅延なくタイムスタンプの算出が可能となる。
【００４１】
以上、説明したように、上記第１から第３の実施形態によれば、ＭＰＥＧシステム等のタイムスタンプの多重化が必要な多重化方式において、動画像、音声等の情報を符号化装置１５、１６−１〜１６−ｎで符号化する際に得られる、入力順と符号化順との関係を示すパラメータや、フレームの表示継続時間を表すパラメータ等をサイド情報として、パケット化処理部３３、３４−１〜３４−ｎへ入力し、パケット化処理部３３、３４−１〜３４−ｎでは、入力されたパラメータに従って順次タイムスタンプの算出をおこうことで、符号化データのヘッダ部を解析して得られた情報をもとにタイムスタンプを算出する従来の方式と比較すると、低遅延での多重化処理を実現することが可能となる。通常、符号化データを解析してタイムスタンプの算出を行なう場合、数フレームの遅延が原理的に生じるが、本発明ではタイムスタンプの算出のための原理的な遅延は生じないものとなる。
【００４２】
符号化パラメータを含むサイド情報は、符号化データと独立の経路から入力してもよいが、符号化データに予め多重化して入力することにより、ハードウェアを簡略化することも可能である。
【００４３】
符号化パラメータは、フレーム単位に動的に変化するものであれは、順次パケット化処理部へ入力し、またシーケンス単位に一定のものであれは、１つのシーケンスに対して１度だけパケット化処理部へ入力することで実現可能である。
【００４４】
（第４の実施形態）
図１１は、本発明の第４の実施形態に係る情報多重化装置の構成を概略的に示したブロック図である。なお、図１１において、図１と同一部分には同一符号を付し、異なる部分について説明する。
【００４５】
図１１において、パケット化処理部３３、３４−１〜３４−ｎ、３５及び多重化処理部４３では、仮想的なタイムベースに従って、タイムスタンプの多重化、および多重化順の制御を順次行なう。
【００４６】
制御部４８は、入力バッファ２３、２４−１〜２４−ｎ、２５に入力された符号化データのバッファ占有量を監視して、多重化処理部４３に符号化データの多重化処理および送出の開始時を通知する多重化ビットストリームの送信開始のタイミング制御を行うものである。例えば、各入力バッファの占有量が、固定レートで入力される音声の符号化データの入力バッファ占有量から論理的に導き出されるデータ転送開始タイミングの時刻に相当するバッファ占有量となったタイミングを多重化処理部４３に通知するようになっている。
【００４７】
図１２は、図１１の情報多重化装置の要部（図１１の点線で囲まれた部分で、以下、多重化部４７と呼ぶ）の構成をより具体的に示したものである。
符号化装置１５、１６−１〜１６−ｎで符号化されて出力された動画像、音声の符号化データ１９、２０−１〜２０−ｎ及びその他のデータ１４は、それぞれ符号化データ入力装置１００、１０１−１〜１０１−ｎ、１０２に入力され、さらに、ＤＭＡコントローラ１１０、１１１−１〜１１１−ｎ、１１２により、それぞれ、データバス１２０を介して、メインメモリ１２５上に構成される入力バッファ１３０、１３１−１〜１３１−ｎ、１３２へと転送される。
【００４８】
転送された各データは、図１１のパケット化処理部３３、３４−１〜３４−ｎ、３５と多重化処理部４３の機能に相当する処理動作を司るＣＰＵ１４０およびソフトウェア１４１により、多重化ビットストリームに変換され、メインメモリ１２５内の出力バッファ１５０に書き込まれる。
【００４９】
出力バッファ１５０に書き込まれた多重化ビットストリームは、ＤＭＡコントローラ１６１により、データバス１２０を介して出力装置１６２から伝送路へと出力される。
【００５０】
ここで、ＣＰＵ１４０および多重化ソフトウェア１４１は、多重化ビットストリームの出力ビット数をカウントすることにより仮想タイムベースの更新を行ない、また、後述する第５の実施形態においては、各入力符号化データの符号化フレーム数をカウントして、タイムスタンプの更新等を行なう処理を司るようになっている。ＣＰＵ１４０および多重化ソフトウェア１４１は、図１１の制御部４８、後述の図１８の制御部３４９を構成する。
【００５１】
図１３および図１４は、バッファを用いた同期方法について説明するための図である。図１３において、１７０および１７４は符号化データ、１７１は送信（出力）バッファ、１７２は伝送路、１７３は受信（入力）バッファを示している。この送信バッファ及び受信バッファは、平滑化バッファとも呼ばれる。
【００５２】
符号化データ１７０は、送信バッファ１７１に入力されて一時蓄積されて遅延させられた後、伝送路１７２を介して受信バッファ１７３に入力される。伝送された符号化データは、受信バッファ１７３においても同様に遅延が加えられた後に出力される。
【００５３】
ここで、送信バッファ１７１での遅延量と受信バッファ１７３での遅延量の和が常に一定となるように制御することにより、符号化データ１７０が送信バッファ１７１へ入力してから受信バッファ１７３から出力されるまでの総遅延量が常に一定となり、送受信で同期したデータ転送が可能となる。
【００５４】
図１４は、図１３の平滑化バッファを用いた場合の送受信のタイミングチャート示したものである。
図１４において、例えば、動画像の１フレームの画像データが所定間隔で符号化されて、１フレーム毎に符号量が異なる符号化データが生成され、送信バッファ１７１に順次送られる。
【００５５】
１９０は送信バッファ１７１での滞留時間を示しており、１９２は受信バッファ１７３での滞留時間を示している。平滑化バッファの原理より、送信バッファ１７１での滞留時間と受信バッファ１７３での滞留時間は、それぞれ時間的に変動する場合もあるが、その和である送受信間の総遅延量は常に一定となるように制御せされている。
【００５６】
ＭＰＥＧビデオ符号化のようにフレーム単位の符号量が変動する符号化方式では、送受信バッファ１７１を用いた伝送符号量の平滑化が行なわれる。
前述のように、送信側では符号化データが入力されてから、送信バッファ１７１による遅延の後に出力される。送信バッファ１７１及び受信バッファ１７３のサイズは、いずれも規定された有限値であるため、各バッファでの遅延量は、それぞれのバッファでアンダーフローおよびオーバーフローを起こさないように厳密に制御されなければならない。
【００５７】
図１５は、起動時における送信側の各符号化データの多重化処理部４３における入力バッファ占有量を示している。画像および音声の各符号化データは、符号化方式および符号化パラメータに固有な符号化遅延をもって、入力バッファ１３０、１３１−１〜１３１−ｎに入力され、さらに前述の送信バッファ遅延に相当する時間をへてから、多重化されて送出される。
【００５８】
図１５において、２０１は画像の符号化データ、２０２および２０３はそれぞれ音声の符号化データであり、この３つのデータを多重化する場合の例を示したものである。図１５では、全ての符号化データは一定レートで多重化部４７に入力される場合の入力バッファ占有量の初期状態からの推移を示したものである。ここで、画像の符号化データは、送信側の遅延を持つため時刻２０４のタイミングで伝送を開始し、音声の符号化データ２０２および２０３は、それぞれ時刻２０６及び２０７のタイミングから多重化および送信を開始する必要があるものとする。
【００５９】
動画像の符号化データのように、フレーム単位の符号量が変動する場合、符号化対象であるフレームの入力間隔と、それを符号化して得られる符号量と符号化レート等が完全に１対１に関係付けされないので、多重化部４７の機能をソフトウェアで実現した場合、前述のバッファによる平滑化を行うだけでは、実時間（実時刻）の管理は通常困難となる。
【００６０】
すなわち、送信側で（本発明の多重化ビットストリームの送信開始のタイミング制御を行なわずに）送出を前倒しで開始すると、多重化部４７の仮想タイムベースと実時刻とのずれのために、受信側でのアンダーフローを起こす可能性が生じる。
【００６１】
このように、実時間の管理とは、動画像の符号化データの場合、１符号化単位である１フレーム（画面）の符号量をも考慮することにより、受信側の復号器で実際の画面間隔を保持して符号化データを復号できるような送信側における符号化データの送信タイミングの管理制御とも言える。
【００６２】
そこで、ある特定の動画像あるいは音声の符号化データ、例えば、常に固定ビットレートで入力されるような音声の符号化データ２０２）の入力バッファ占有量を監視し、この固定ビットレートから論理的に導き出されるデータ転送開始タイミングの時刻（例えば、図１５では時刻２０４）に相当するバッファ占有量（例えば、図１５では入力バッファ占有量２０５）となった時点から、多重化処理及び送出を開始する多重化ビットストリームの送信開始のタイミング制御を行う。これにより、前述したような受信バッファにおけるアンダーフローは防ぐことが可能となる。
【００６３】
図１６では動画像の符号化データ２１０が多重化部４７にバースト的に入力される場合の入力バッファ占有量の初期状態からの推移を示し、図１７は、動画像の符号化データ２２０が多重化部４７に入力レートが時間変動しながら入力される場合の入力バッファ占有量の初期状態からの推移を示したものである。
【００６４】
入力が固定レートでない場合、バッファ占有量から実時刻を推定することは困難であるが、固定レートで入力される付随の音声符号化データ（図１６の２１２、図１７の２２２）がある場合、図１５の説明と同様にして、その符号化データに関する多重化部４７の入力バッファ占有量から、論理的に導き出されるデータ転送開始タイミングの時刻（例えば、図１６では時刻２１４、図１７では時刻２２４）に相当するバッファ占有量（例えば、図１６では入力バッファ占有量２１５、図１７では、入力バッファ占有量２２５）となった時点から、多重化処理及び送出を開始する多重化ビットストリームの送信開始のタイミング制御を行う。
【００６５】
（第５の実施形態）
図１２に示した多重化部４７の構成では、各符号化データの入力バッファ１３０、１３１−１〜１３１−ｎ、１３２がメインメモリ１２５上に構成されるため、そのデータはソフトウェアから透過的なものとなる。したがって、入力バッファ内の符号化データの占有量を計測する代わりに、その符号化フレーム数をカウントし、それから多重化開始タイミングを制御するための現在時刻を導きだす構成としてもよい。
【００６６】
図１８は、第５の実施形態に係る情報多重化装置の構成を概略的に示したブロック図である。
図１８は、動画像及び音声の組である複数のプログラムを、同時に符号化および多重化する場合を示している。ここでは、実時間で符号化される動画像および音声で構成されるプログラムＣｈ１とＣｈ２、および事前に符号化され、蓄積メディアに記録されているプログラムＣｈ３の計３Ｃｈのプログラムを同時に多重するものである。図１８の情報多重化装置の要部（図１８の点線で囲まれた部分で、以下、多重化部３４７と呼ぶ）の詳細な構成は、図１２と同様である。
【００６７】
動画像（ビデオ）信号３００と音声信号３０１、動画像信号３０２と音声画像３０３は、それぞれ動画像符号化装置３１５、音声符号化装置３１６、動画像符号化装置３１７、音声符号化装置３１８に入力されて符号化され、個別の符号化データとして入力バッファ３２３、３２４、３２５、３２６へそれぞれ入力される。
【００６８】
蓄積メディアから読み出されたプログラムデータ３０４も同様に入力バッファ３２７へ入力される。
また、符号化を必要としない、あるいは、既に符号化されたデータストリーム３０５も、同様に入力バッファ３５１へ入力するようにしてもよい。
【００６９】
各入力バッファに一時蓄積された各符号化データ等は、それぞれ、パケット化処理部３３３〜３３７、３５３で個別にパケット化され、さらに、これらパケットが多重化処理部３４３で多重化されて多重化ビットストリームが得られる。この多重化ビットストリーム３４４は、出力バッファ３４５に一時蓄積されてから、所定のタイミングに従って、例えば、ネットワークを介して伝送されるようになっている。
【００７０】
パケット化処理部３３３〜３３７、３５３のそれぞれには、各入力バッファから入力される符号化データ等のヘッダ部を抽出、解析するデータ解析部３３３ａ、３３４ａ、３３５ａ、３３６ａ、３３７ａ、３５３ａを具備している。
【００７１】
制御部３４９は、これらデータ解析部での解析結果を基に、動画像の符号化フレーム数をカウントして、多重化開始タイミング制御、すなわち、実時刻を算出し、多重化・送信するタイミングを多重化処理部３４３に通知するようになっている。なお、Ｃｈ１〜Ｃｈ３の各プログラムについて、そのタイムベースが独立である場合は、多重化ソフトウェアにおける仮想クロックをそれぞれ独立に計算し、各プログラム毎に多重化開始のタイミング制御を行なう。また、タイムベースが共通なプログラムでは、多重化ソフトウェアにおける仮想クロックも共通化して、多重化開始のタイミング制御を行なうものとする。
【００７２】
以上、説明したように、上記第４の実施形態によれば、個別に符号化された動画像、音声等の符号化データとその他のデータを同期多重する際に、制御部４８は、各入力バッファのデータの占有量を監視し、固定ビットレートで入力される特定の画像または音声の符号化データについて、その固定ビットレートから論理的に導き出されるデータ転送開始タイミングの時刻（例えば、図１５では時刻２０４）に相当するバッファ占有量（例えば、図１５では入力バッファ占有量２０５）となった時点を多重化処理部４３に通知し、多重化処理部４３は、制御部４８から通知されたタイミングに従って多重化処理及び送出を開始することにより、実時間伝送にも耐えうる多重化処理を、ソフトウェアのみで実現することが可能なる。多重化部４７をソフトウェアのみで実現することにより、複雑なハードウェアによるタイミング制御を行なう必要がなくなり、システム構成を簡略化することができる。また、ソフトウェアによるカスタマイズが容易となり、様々なアプリケーションに対して柔軟に対応可能となる。
【００７３】
また、本発明の第５の実施形態によれば、個別に符号化された動画像、音声等の符号化データとその他のデータを同期多重する際に、制御部３４９は、各パケット化処理部のデータ解析部の解析結果をもとに、動画像の符号化フレーム数をカウントして実時刻を算出し、それを多重化処理部３４３に通知し、多重化処理部３４３は、制御部３４９から通知されたタイミングに従って多重化処理及び送出を開始することにより、実時間伝送にも耐えうる多重化処理を、ソフトウェアのみで実現することが可能なる。多重化部３４７をソフトウェアのみで実現することにより、複雑なハードウェアによるタイミング制御を行なう必要がなくなり、システム構成を簡略化することができる。また、ソフトウェアによるカスタマイズが容易となり、様々なアプリケーションに対して柔軟に対応可能となる。
さらに、上記第１から第５の実施形態を適宜組み合わせて用いても有効である。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、動画像、音声、その他の符号化データの復号化時刻、表示時刻に関する符号化パラメータを、そのヘッダ情報とは独立に多重化部へ入力することにより、ヘッダ情報を解析してタイムスタンプを算出するために生じる多重化遅延を減少できる情報多重化装置を提供できる。
【００７５】
また、本発明によれば、固定ビットレートで入力される特定の画像または音声の符号化データの入力バッファ占有量、あるいは入力バッファ内の符号化フレーム数から、それらを実時刻への変換した値を用いて多重化ビットストリーム送出開始の制御を行なうことにより、実時間管理が容易に行え、伝送路あるいは復号側の受信バッファのアンダーフローを防ぐとともに、複雑なハードウェアを必要としない情報多重化装置を提供できる。
このように、本発明の情報多重化装置によれば、情報の符号化、伝送、復号化の実時間管理と、個別に符号化された情報の同期多重が容易に行える。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報多重化装置の構成を示したブロック図。
【図２】ＭＰＥＧビデオ符号化におけるフレームの処理順序とその並びについて説明するための図で、Ｂピクチャの枚数が固定の場合を示している。
【図３】ＭＰＥＧビデオ符号化における関わるフレームの処理順序とその並びについて説明するための図で、Ｂピクチャの枚数が可変する場合について示している。
【図４】ＭＰＲＧビデオ符号化における各符号化フレームの表示期間について説明するための図。
【図５】本発明の第２の実施形態に係る情報多重化装置の構成を示したブロック図。
【図６】本発明の第３の実施形態に係る情報多重化装置の構成を示したブロック図。
【図７】第１の実施形態および第２の実施形態に係る情報多重化装置におけるＭＰＥＧビデオ符号化データのデータ構造の一例を示した図。
【図８】第３の実施形態に係る情報多重化装置におけるＭＰＥＧビデオ符号化データのデータ構造の一例を示した図。
【図９】第３の実施形態に係る情報多重化装置におけるＭＰＥＧビデオ符号化データのデータ構造の他の例を示した図。
【図１０】第３の実施形態に係る情報多重化装置におけるＭＰＥＧビデオ符号化データのデータ構造のさらに他の例を示した図。
【図１１】本発明の第４の実施形態に係る情報多重化装置の構成を示したブロック図。
【図１２】情報多重化装置の要部の構成をより詳細に示したブロック図。
【図１３】送受信バッファ（平滑化バッファ）を用いた同期方法について説明するための図。
【図１４】平滑化バッファの動作を説明するための図。
【図１５】本発明に係る多重化処理および送信開始のタイミング制御について説明するための図で、全ての符号化データは一定レートで多重化部に入力される場合の入力バッファ占有量の初期状態からの推移を示している。
【図１６】本発明に係る多重化処理および送信開始のタイミング制御について説明するための図で、動画像の符号化データが多重化部にバースト的に入力される場合の入力バッファ占有量の初期状態からの推移を示している。
【図１７】本発明に係る多重化処理および送信開始のタイミング制御について説明するための図で、動画像の符号化データが多重化部に入力レートが時間変動しながら入力される場合の入力バッファ占有量の初期状態からの推移を示している。
【図１８】本発明の第５の実施形態に係る情報多重化装置の構成を示したブロック図。
【符号の説明】
１５…動画像符号化装置、１６−１〜１６−ｎ…音声符号化装置、２３、２４−１〜２４−ｎ、２５…入力バッファ、３３、３４−１〜３４−ｎ、３５…パケット化処理部、４３…多重化処理部、４４…多重化ビットストリーム、４５…出力バッファ、４７…多重化部、４８、６０…制御部、３４７…多重化部。
【図１】
0003556381.tif 000002
【図２】
0003556381.tif 000003
【図３】
0003556381.tif 000004
【図４】
0003556381.tif 000005
【図５】
0003556381.tif 000006
【図６】
0003556381.tif 000007
【図７】
0003556381.tif 000008
【図８】
0003556381.tif 000009
【図９】
0003556381.tif 000010
【図１０】
0003556381.tif 000011
【図１１】
0003556381.tif 000012
【図１２】
0003556381.tif 000013
【図１３】
0003556381.tif 000014
【図１４】
0003556381.tif 000015
【図１５】
0003556381.tif 000016
【図１６】
0003556381.tif 000017
【図１７】
0003556381.tif 000018
【図１８】
0003556381.tif 000019