(57)【特許請求の範囲】
【請求項１】
少なくともビデオ信号を含む一つ以上の信号を圧縮符号化し、当該圧縮符号化信号を所定のデータ長に分割し、タイムスタンプ値等のヘッダを付加して一つのストリームに生成して伝送する符号化伝送方式において、
前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記ストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報に基づき演算することを特徴とする符号化伝送方式におけるタイムスタンプ値演算方法。
【請求項２】
請求項１記載のものにおいて、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記圧縮符号化されたビデオ信号が前記一つのストリームに生成される信号処理部に入力された時間情報と、前記ビデオストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報と、前記圧縮符号化信号の所定の分割データ長および前記ビデオ信号の符号化のモードに応じて定まる固定の時間情報との加算により演算することを特徴とする符号化伝送方式におけるタイムスタンプ値演算方法。
【請求項３】
請求項１または請求項２記載のものにおいて、前記一つのストリームに生成される信号として、少なくとも前記圧縮符号化されたビデオ信号と圧縮符号化されたオーディオ信号とを含むことを特徴とする符号化伝送方式におけるタイムスタンプ値演算方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、オーディオ信号や、ビデオ信号を符号化伝送する場合に必要とするタイムスタンプ値の演算方法に関するものである。
【０００２】
【従来の技術】
一般に、オーディオ信号およびビデオ信号を多重伝送する符号化伝送装置では、オーディオ、ビデオそれぞれの復号化処理部において両者の同期をとり出力をする必要がある。
これは、画像とオーディオの同期をとること、例えば、ビデオの復号化処理部が、「あ」という音を発生している人の顔を出力しているとき、オ−ディオの復号化処理部の出力は、「あ」という音を出力している必要があるということである。
このように画像とオーディオの同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ２（Moving Picture Image Coding Experts Group Phase2）、ＭＰＥＧ１などでは、タイムスタンプ（time stamp。以下、ＴＳと記す。）という出力タイミング情報を使用することになっている。
【０００３】
このＴＳには、プレゼンテーションタイムスタンプ（presentation time stamp 。以下、ＰＴＳと記す。）とデコーディングタイムスタンプ（decoding time stamp 。以下、ＤＴＳと記す。）とがあり、基本的には、ＰＴＳで指示された時間に従って、復号化処理をしたオーディオ信号あるいはビデオ信号を出力すれば、同期が可能となる。
一般に、オーディオ信号が符号化されたデータ（以下、オーディオストリームと記す。）と、ビデオ信号が符号化されたデータ（以下、ビデオストリームと記す。）とを、多重したストリームをシステムストリームと呼ぶが、このシステムストリームには、オーディオ、ビデオそれぞれのＴＳが付加される。
なお、このＴＳは、オーディオ信号の場合にはシンクワード（オ−ディオストリーム内の一定ワードごとにあるコード）、ビデオ信号の場合にはピクチャスタートコード（picture start code。ビデオストリーム内にあるピクチャの区切りを示すコード）部分を基準に付加される。
【０００４】
ここで図２に、従来の符号化伝送装置の概略ブロック図を示す。符号化伝送装置は、大別して、送信側、伝送路、受信側で構成されている。
図２において、送信側では、入力オーディオ信号５０が、オーディオ符号化処理部５１に入力して符号化され、オーディオストリーム５２となりマルチプレクサ部５６へ出力される。
また、入力ビデオ信号５３は、ビデオ符号化処理部５４に入力して符号化され、ビデオストリーム５５となりマルチプレクサ部５６へ出力される。
マルチプレクサ部５６に入力したオーディオストリーム５２とビデオストリーム５５は多重され、システムストリーム６１となり伝送路６２へ出力される。
さらに、多重を行なう前記マルチプレクサ部５６の説明をすると、マルチプレクサ部５６は、システムタイムクロック（system time clock 。以下、ＳＴＣと記す。）発生部５７、オーディオパケッタイズ部５９、ビデオパケッタイズ部６０、スイッチ部１０５で構成されている。なお、ＳＴＣは、ＭＰＥＧ２、ＭＰＥＧ１などで定義されているもので、図２に示すような信号処理系における共通の時計のようなものである。
【０００５】
オーディオパケッタイズ部５９は、入力したオーディオストリーム５２を一定長に区切り、パケットを形成し、データ１０３をスイッチ部１０５へ出力する。そして、スイッチ部１０５により選択され、システムストリーム６１としてパケット単位で多重される。このとき、オーディオストリーム５２のパケッタイズされるデータ長の中にシンクワードがあれば、前記パケットのヘッダ部分にＴＳを付加する。なお、このＴＳは、ＳＴＣ発生部５７のＳＴＣデータ５８を基に求めている。
一方、ビデオパケッタイズ部６０も、入力したビデオストリーム５５を一定長に区切り、パケットを形成し、データ１０４をスイッチ部１０５へ出力する。そして、スイッチ部１０５により選択され、システムストリーム６１としてパケット単位で多重される。このとき、ビデオストリーム５５のパケッタイズされるデータ長の中に、ピクチャスタートコードがあれば、前記パケットのヘッダ部分にＴＳを付加する。なお、このＴＳは、ＳＴＣ発生部５７のＳＴＣデータ５８を基に求めている。
そして、さらに受信側でＳＴＣの再生が可能なように、周期的にＳＴＣデータ５８は、スイッチ部１０５により選択され、システムストリーム６１として多重される。
【０００６】
つぎに受信側では、伝送路６２を伝送されてきたシステムストリーム６３が、デマルチプレクサ部６４に入力して分離され、オーディオストリーム６７とオーディオＴＳ１１２、ビデオストリーム７０とビデオＴＳ１１３、ＳＴＣデータ１１０となり出力される。
さらに、分離を行なう前記デマルチプレクサ部６４の説明をすると、デマルチプレクサ部６４は、スイッチ部１０６、ＳＴＣ再生部１１１、オーディオパケット解析部６５、ビデオパケット解析部６６で構成されている。
デマルチプレクサ部６４において、入力されたシステムストリーム６３から、スイッチ部１０６を使用して、オーディオパケットデータ１０７をオーディオパケット解析部６５へ、ビデオパケットデータ１０９をビデオパケット解析部６６へ、ＳＴＣデータ１０８をＳＴＣ再生部１１１へ出力する。
【０００７】
オーディオパケット解析部６５は、入力したオーディオパケットデータ１０７を解析し、オーディオストリーム６７とオーディオＴＳ１１２とに分離してオーディオ復号化処理部６８へ出力する。
一方、ビデオパケット解析部６６は、入力したビデオパケットデータ１０９を解析し、ビデオストリーム７０とビデオＴＳ１１３とに分離してビデオ復号化処理部７１へ出力する。
また、ＳＴＣ再生部１１１は、入力したＳＴＣデータ１０８から、送信側のＳＴＣ発生部５７が出力するＳＴＣデータ５８と常に同一の出力となるようにＳＴＣデータ１１０を再生し、オーディオ復号化処理部６８およびビデオ復号化処理部７１へ出力する。
オーディオ復号化処理部６８は、入力したオーディオストリーム６７を、オーディオＴＳ１１２とＳＴＣデータ１１０とを参照して復号化し、ＴＳ値に従った時間で、出力オーディオ信号６９を出力する。
ビデオ復号化処理部７１は、入力したビデオストリーム７０を、ビデオＴＳ１１３とＳＴＣデータ１１０とを参照して復号化し、ＴＳ値に従った時間で、出力ビデオ信号７２を出力する。
【０００８】
つぎに、各復号化処理部でのＴＳによる出力動作について、さらに具体的に説明する。
ＴＳによる出力動作は、オーディオ復号化処理部６８とビデオ復号化処理部７１とで、オーディオとビデオのそれぞれのＴＳのＰＴＳの値とＳＴＣデータの値とが一致したときに、対応するデータ部分を出力することで実現される。
例えば、オーディオストリーム６７の或るシンクワードＡｎに対応するＰＴＳの値を、ＰＴＳ（Ａｎ）とすれば、ＳＴＣデータ１１０の値がＰＴＳ（Ａｎ）と同じになったときに、オーディオ復号化処理部６８は、シンクワードＡｎ部分の復号化されたデータを出力する。
同様に、ビデオストリーム７０の或るピクチャスタートコードＶｎに対応するＰＴＳの値を、ＰＴＳ（Ｖｎ）とすれば、ＳＴＣデータ１１０の値がＰＴＳ（Ｖｎ）と同じになったときに、ビデオ復号化処理部７１は、ピクチャスタートコードＶｎ部分の復号化されたデータを出力する。
【０００９】
ここで、図２に示す符号化伝送装置において、送信側のオーディオ符号化処理部５１に入力オーディオ信号５０が入力されてから、受信側のオーディオ復号化処理部６８より出力オーディオ信号６９が出力されるまでの時間がｔａであるとする。
同様に、送信側のビデオ符号化処理部５４に入力ビデオ信号５３が入力されてから、受信側のビデオ復号化処理部７１より出力ビデオ信号７２が出力されるまでの時間がｔｖであるとする。
この場合、オーディオとビデオの同期をとるには、入力から出力までの時間をｔａ＝ｔｖとなるように、伝送処理系の時間を設定し、その時間を基にそれぞれのＰＴＳの値を設定すれば良いことになる。
【００１０】
つぎに、マルチプレクサ５６を構成するオーディオパケッタイズ部５９とビデオパケッタイズ部６０とにおけるＴＳ算出を説明する。
まず、前記オーディオ信号の入力から出力までの時間ｔａのうち、マルチプレクサ部５６に入力されるまでの時間がｔａ1 で、残りの時間がｔａ2 であるとする。
ここで、マルチプレクサ部５６に入力したオーディオストリーム５２のパケッタイズされるべきデータ長の中に、或るシンクワードＡｎがあり、パケットのヘッダ部分にＴＳを付加するときのＳＴＣデータ５８の値がＳＴＣ２（Ａｎ）であるとすれば、ＰＴＳ（Ａｎ）は、以下のように求めることができる。
ＰＴＳ（Ａｎ）＝ＳＴＣ２（Ａｎ）＋ｔａ2
【００１１】
ビデオについても、前記ビデオ信号の入力から出力までの時間ｔｖのうち、マルチプレクサ部５６に入力されるまでの時間がｔｖ1 で、残りの時間がｔｖ2 であるとする。
ここで、マルチプレクサ部５６に入力したビデオストリーム５５のパケッタイズされるべきデータ長の中に、或るピクチャスタートコードＶｎがあり、パケットのヘッダ部分にＴＳを付加するときのＳＴＣデータ５８の値がＳＴＣ２（Ｖｎ）であるとすれば、ＰＴＳ（Ｖｎ）も、下記のように求めることができるはずである。
ＰＴＳ（Ｖｎ）＝ＳＴＣ２（Ｖｎ）＋ｔｖ2
【００１２】
しかし、ビデオの場合、ビデオ符号化処理部５４において可変長符号化されたり、ピクチャ単位の入れ替わりが行なわれる。このため、ｔｖ1 が符号化状況により変動する。したがって、ｔｖ2 も変動してしまい、（ｔｖが固定で、ｔｖ2 ＝ｔｖ−ｔｖ1 であるため。）ＳＴＣ２（Ｖｎ）に加算すべきｔｖ2 を、あらかじめ設定することができないという問題があり、オーディオと同様に求めることは不可能である。また、ビデオの場合、ピクチャ単位の入れ替わりがあるために、ＤＴＳも求める必要がある。
ここで、ピクチャ単位の入れ替わりについて、図３の概略図を使用して説明をする。
図３では、ピクチャ単位の入れ替わりに関する遅延時間は考慮されているが、その他の処理時間等は省略している。
図３において、（ａ）は、ビデオ符号化処理部５４に入力する入力ビデオ信号５３、（ｂ）は、ビデオ符号化処理部５４から出力されるビデオストリーム５５（あるいは、ビデオパケット解析部６６から出力されるビデオストリーム７０。）、（ｃ）は、ビデオ復号化処理部７１から出力される出力ビデオ信号７２を示している。
【００１３】
前記いずれの信号にも記載されている符号Ｉ、Ｐ、Ｂは、ＭＰＥＧ２、ＭＰＥＧ１で定義されているピクチャコーディングタイプ（picture coding type ）を示している
また、図３の例では、ＩあるいはＰピクチャのピクチャ間隔は３ピクチャ分であり、このＩあるいはＰピクチャのピクチャ間隔のことを、一般にＭ値と呼んでいる（図３の場合、Ｍ値＝３となる。）。なお、各信号の上部の（）内に示す数値はテンポラルリファレンス（temporal reference）の値で、これは、入力ビデオ信号５３におけるピクチャの順番を示している。
ピクチャ単位の入れ替わりは、つぎのように行なわれる。ビデオ符号化処理部５４において、（ａ）に示す入力ビデオ信号５３は、Ｂピクチャのみを、後方のＩあるいはＰピクチャの後に、順次遅延し挿入してピクチャの順番を入れ替え、（ｂ）に示すビデオストリーム５５の状態とする。この入れ替わりの状態は、ビデオストリーム７０でも変わらない。
つぎに、ビデオ復号化処理部７１において、逆にビデオストリーム７０のＩ、Ｐピクチャを、後方の連続するＢピクチャの後に順次遅延し挿入して、元の順番に戻し、（ｃ）に示すビデオ出力信号７２のように元の順番とする。このように、ビデオ復号化処理部７１で順番を戻すことを、リオーダ（reorder ）と呼んでいる。
【００１４】
つぎに、ビデオ復号化処理部７１でのリオーダにおけるＰＴＳとＤＴＳの関係を図４に示し、説明する。
ビデオ復号化処理部７１に入力したビデオストリーム７０は、まず、可変長符号化による時間軸上での変動分を吸収するため、ビデオ復号化バッファ７３に記憶された後、ビデオストリーム７４としてビデオ復号化回路７５へ出力される。ビデオ復号化回路７５は、入力したビデオストリーム７４を復号化し、データ７６とする。
ここで、データ７６のＢピクチャ部分は、そのまま出力ビデオ信号７２として出力される。一方、データ７６のＩあるいはＰピクチャ部分は、ビデオリオーダバッファ７７で遅延されデータ７８となり、ビデオ出力信号７２として出力される。これを切り替え選択しているのがスイッチ部７９である。
また、ビデオリオーダバッファ７７での遅延時間は、（Ｍ値×ピクチャ周期）となる。このビデオ復号化処理部７１の手段でピクチャ単位の順番を元に戻すことが可能となる。
【００１５】
図４において、ＰＴＳは、ビデオ復号化処理部７１から出力する出力ビデオ信号７２の出力時間を示すものであるが、ＤＴＳは、ビデオ復号化バッファ７３から出力するビデオストリーム７４の出力が持つ時間を示すものである。
ＭＰＥＧ２、ＭＰＥＧ１では、ＴＳの定義において、ビデオ復号化回路７５の処理時間はゼロと仮定している。従って、Ｂピクチャの場合、ＤＴＳ＝ＰＴＳとなる。
したがって、
Ｉ、Ｐピクチャ：ＰＴＳとＤＴＳが付加される。
Ｂピクチャ：ＰＴＳだけが付加される。（ＤＴＳ＝ＰＴＳであるため）
以上のように、ビデオに関するＴＳの付加は、オーディオに比べ複雑なものとなる。
【００１６】
ここまでの説明に使用した、ピクチャスタートコード、テンポラルリファレンス、ピクチャコーディングタイプが、図２のビデオストリーム５５に付加されている構成例を図６に示す。これは、ＭＰＥＧ２における例である。
図６に示すように、入力ビデオ信号５３（図２参照）の各フレームあるいは各フィールドに対応する符号データ部分は、ピクチャレイヤ（picture layer ）と呼ばれ、３２ビットの固定値であるピクチャスタートコードで始まる。このコードに続き１０ビットのテンポラルリファレンスがあり、さらに３ビットのピクチャコーディングタイプがある。
また、その後に１６ビットのビデオ遅延時間制御情報（video buffering verifier delay : vbv＿delay ）などのヘッダが付加されており、そのヘッダの後に実際の符号データが続いている。
【００１７】
なお、前記ビデオ遅延時間制御情報は、可変長符号化された符号データ、つまり部分的に可変レートの符号データを、その平均レートとしての一定レートで受信し、復号化するために必要なビデオ復号化処理部内のバッファ（図４のビデオ復号化バッファ７３）における遅延時間を示す情報である。このビデオ遅延時間制御情報に従って、前記バッファの読み出し制御をすることで、バッファのアンダーフローやオーバーフローの回避が可能になる。
なお、このビデオ遅延時間制御情報は、ビデオ符号化処理部５４の内部で、生成して付加している。このとき一般的には、受信側のビデオ復号化処理部７１内の前記目的のためのバッファの容量と、各ピクチャごとの圧縮された結果である符号量と、前記平均レートから、各ピクチャ単位に演算して生成している。
ＭＰＥＧ２では、前記ビデオ遅延時間制御情報をvbv＿delayと呼び、前記バッファをVBV bufferと呼ぶ。
【００１８】
一般にビデオ遅延時間制御情報は、図２の一定レートのビデオストリーム５５を直接ビデオ復号化処理部で復号するときには有効であるが、マルチプレクサ部５６などで、さらにヘッダが付加され、前記一定レートと異なるレートのストリームに変換されたり、時分割多重のために、時間軸方向にシフトしたストリームに変換された場合は、その変換内容に応じ正確さが失われる。
したがって、多重化されたシステムストリームのレベルでは、ＴＳがバッファのアンダーフローやオーバーフローの回避機能も有する。つまり、ＴＳに従ってビデオ復号化処理部内のバッファ（図４のビデオ復号化バッファ７３）の読み出し制御をすれば、バッファのアンダーフローやオーバーフローの回避が保証されることになる。
このようにＴＳ機能には、多重化される信号間の同期機能のみでなく、バッファのアンダーフローやオーバーフローの回避機能もある。このため、システムストリームが単一の信号（例えばビデオのみ）の場合においても、ＴＳは必要になる。
【００１９】
ここで、従来技術におけるＴＳ値の演算方式について説明する。
従来技術においては、前述したように、ＳＴＣ２（Ｖｎ）を使用するのではなく、図２に示すＳＴＣ１（Ｖｎ）を使用している。これは、ビデオストリーム５５のピクチャスタートコード部分に対応する部分（つまり、各ピクチャの先頭データ）がビデオ符号化処理部５４に入力された時間ＳＴＣ１（Ｖｎ）にｔｖ時間を加算すれば、ＰＴＳ（Ｖｎ）が求まるからである。
しかし、ビデオ符号化処理部５４では、信号処理にある程度の処理時間（数十ｍｓｅｃ）を必要とするため、実際にＴＳ値の演算に使用するまでの間、メモリに記憶させておく必要がある。さらに、ビデオ符号化処理部５４では、前述のようなピクチャ単位の入れ替わりがあるため、記憶させたＳＴＣ１（Ｖｎ）を使用する時にも、それを考慮しなければならない。
また、前記メモリの制御において、ビデオ符号化処理部５４のピクチャの先頭データ（フレーム）単位の入力に依存して一定周期に動作するライト制御部と、可変長符号化されたビデオストリーム５５のピクチャスタートコードの入力に依存して一定周期でない動作をするリード制御部とは、お互いに非同期の関係であるため、リード、ライトタイミングの発生の競合を回避する手段が必ず必要である。このためにビデオパケッタイズ部６０は、処理が複雑なものとなる。
【００２０】
【発明が解決しようとする課題】
従来の符号化伝送装置は、送信側のマルチプレクサ部において、ＳＴＣ（システムタイムクロック）の値をホールドして、ホールドしたＳＴＣをＴＳ（タイムスタンプ）値の演算に使用するまでに、数十ｍｓのオーダの遅延時間が生じるため、ＳＴＣ用のメモリが必要であった。
さらに、このメモリのアクセスには、ピクチャ単位の入れ替わりをも考慮した複雑なアクセスをしなければならず、また、国際標準の符号化方式であるＭＰＥＧ２、ＭＰＥＧ１などでは、ＴＳに使用するＳＴＣのビット長は、３３ビットであるためメモリの数も多くなり、加えて、前記メモリに対するライトとリードの関係は非同期であるため、それらのタイミングの競合に対する調整回路も必須となる等の諸問題があった。
本発明は、前記問題を解決するため、ビデオ符号化処理部が出力するビデオストリーム中のビデオ遅延時間制御情報（vbv＿delay）を基にＴＳ値を算出することにより、従来必要であった３３ビットというビット幅の広いメモリや関連するアドレス発生部等と、書き込みと読み出しが同時発生した場合の調整回路も必要としない、符号化伝送方式におけるＴＳ値の演算方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
前記目的を達成するため、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、少なくともビデオ信号を含む一つ以上の信号を圧縮符号化し、当該圧縮符号化信号を所定のデータ長に分割し、タイムスタンプ値等のヘッダを付加して一つのストリームに生成して伝送する符号化伝送方式において、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記ストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報に基づき演算するものである。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記圧縮符号化されたビデオ信号が前記一つのストリームに生成される信号処理部に入力された時間情報と、前記ビデオストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報と、前記圧縮符号化信号の所定の分割データ長および前記ビデオ信号の符号化のモードに応じて定まる固定の時間情報との加算により演算するものである。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記一つのストリームに生成される信号として、少なくとも前記圧縮符号化されたビデオ信号と圧縮符号化されたオーディオ信号とを含むものである。
【００２２】
【作用】
本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、少なくともビデオ信号を含む一つ以上の信号を圧縮符号化し、当該圧縮符号化信号を所定のデータ長に分割し、タイムスタンプ値等のヘッダを付加して一つのストリームに生成して伝送する符号化伝送方式であって、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記ストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報に基づき演算する。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記圧縮符号化されたビデオ信号が前記一つのストリームに生成される信号処理部に入力された時間情報と、前記ビデオストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報と、前記圧縮符号化信号の所定の分割データ長および前記ビデオ信号の符号化のモードに応じて定まる固定の時間情報との加算により演算する。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記一つのストリームに生成される信号として、少なくとも前記圧縮符号化されたビデオ信号と圧縮符号化されたオーディオ信号とを含み使用する。
【００２３】
【実施例】
本発明による符号化伝送装置を、図１を使用し、図２を参照して説明する。図２は、従来の符号化伝送装置の説明に使用したが、本発明による符号化伝送装置と基本的に構成は同一である。
図１は、図２に示す符号化伝送装置を構成するマルチプレクサ部５６のビデオパケッタイズ部６０におけるＴＳ値の演算に関する部分の構成を示している。
ＳＴＣ発生部５７の出力であるＳＴＣデータ５８は、ＴＳ演算部１１６に入力されている。
また、入力ビデオ信号５３がビデオ符号化処理部５４（図２参照）において符号化されたデータであるビデオストリーム５５は、ピクチャスタートコード検出部８６とピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報（vbv＿delay）検出部１１５とに入力されている。
また、ピクチャスタートコード検出部８６には、ビデオ符号化処理部５４から出力されるビデオストリーム有効信号８２も入力されている。
【００２４】
一方、ピクチャスタートコード検出部８６の出力であるデータ８９、ピクチャコーディングタイプ検出部８７の出力であるデータ９３、ビデオ遅延時間制御情報検出部１１５の出力であるデータ１１７は、それぞれＴＳ演算部１１６に入力されている。また、ピクチャスタートコード検出部８６の出力であるデータ８９は、ピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報検出部１１５にも入力されている。
さらに、ＴＳ演算部１１６には、符号化のモードを示す情報であるＭ値パラメータ９９と固定のオフセット遅延量の情報である遅延パラメータ１００とが入力されている。そして、ＴＳ演算部１１６からは、バッファ１０１へデータ９７と制御信号９８とが出力されている。バッファ１０１からは、データ１０４がスイッチ部１０５（図２参照）へ出力されている。
【００２５】
つぎに動作について説明する。本発明による符号化伝送装置においては、ビデオ符号化処理部５４から出力されるビデオストリーム５５のパケッタイズされるべきデータ長の中にあるピクチャスタートコードがマルチプレクサ部５６に入力された時間（図２におけるＳＴＣ２（Ｖｎ）の値）をＴＳ値の演算に使用する。ただし、図２に示すｔｖ２が変動してしまうため、ビデオストリーム５５を構成するビデオ遅延時間制御情報という情報を利用する。
つぎに、ビデオ遅延時間制御情報と符号化伝送装置の処理時間との関係を図７に示す。図７に示すｔｖは、入力ビデオ信号５３がビデオ符号化処理部５４に入力されてから、ビデオ復号化処理部７１より出力ビデオ信号７２として出力されるまでの時間とする。
このｔｖのうち、入力ビデオ信号５３がビデオ符号化処理部５４で処理されてマルチプレクサ部１１８に入力されるまでの時間をｔｖ１、残りのビデオ復号化処理部７１より出力されるまでの時間をｔｖ２とする。このｔｖ１、ｔｖ２の時間は前述したように変動する。
【００２６】
ここで、ｔｖ２の時間を、さらにｔｖ３とｔｖ４とｔｖ５とに分割する。ｔｖ３は、マルチプレクサ部１１８に入力されてから、ビデオ復号化処理部７１に入力されるまでの時間、ｔｖ４は、ビデオ復号化処理部７１内のビデオ復号化バッファ７３での遅延時間、ｔｖ５は、ビデオ復号化処理部７１内のビデオリオーダバッファ７７での遅延時間である。
ビデオ遅延時間制御情報は、ビデオ復号化処理部７１内のビデオ復号化バッファ７３での遅延時間であるｔｖ４に関するものであり、ｔｖ２の時間の変動は、このビデオ復号化バッファ７３での遅延時間の変動に相当する。つまり、ビデオ遅延時間制御情報の変動である。他のｔｖ３、ｔｖ５は基本的に固定値である。（従来技術について図４を使用して説明したように、ｔｖ５に関しては、Ｂピクチャの場合はビデオリオーダバッファ７７を通過しないのでゼロである。）したがって、このビデオ遅延時間制御情報を検出し、その値を使用すれば、マルチプレクサ部１１８に入力された時間（図７におけるＳＴＣ２（Ｖｎ）の値）により、ＴＳ値の演算が可能となる。
【００２７】
ここで、図１の具体的動作について説明をする。最初にピクチャスタートコード検出部８６は、入力したビデオストリーム有効信号８２でビデオストリーム５５が有効となったことを認識し、有効なビデオストリーム５５内のピクチャスタートコードを検出する。ピクチャスタートコードを検出すると、データ８９をＴＳ演算部１１６とピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報検出部１１５へ出力する。
ピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報検出部１１５は、ピクチャスタートコードの検出をきっかけに、それぞれその後にあるピクチャコーディングタイプとビデオ遅延時間制御情報を検出し、データ９３、データ１１７としてＴＳ演算部１１６へ出力する。ＴＳ演算部１１６は、データ８９によるピクチャスタートコードの検出をきっかけにＳＴＣ発生部５７からのＳＴＣデータ５８をホールドし、データ９３、データ１１７、Ｍ値パラメータ９９、遅延パラメータ１００により、ＴＳを演算する。
【００２８】
まず、データ９３により、ピクチャコーディングタイプを判別し、ついで、それぞれのピクチャコーディングタイプごとに、以下のようにＴＳを演算する。
［ＩあるいはＰピクチャの場合］
ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
＋（Ｍ値パラメータ９９×ピクチャ周期）
ＤＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
［Ｂピクチャの場合］
ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
【００２９】
上式において、ＳＴＣデータ５８は、ピクチャスタートコードの検出をきっかけにホールドした値で、図７に示したＳＴＣ２（Ｖｎ）に相当し、遅延パラメータ１００は、図７に示すｔｖ３に相当する固定値であり、データ１１７は、ビデオ遅延時間制御情報の値で図７に示すｔｖ４に相当する。
また、（Ｍ値パラメータ９９×ピクチャ周期）は、図７に示すビデオリオーダバッファ７７による遅延時間（ｔｖ５）に相当する。
通常、符号化処理の初期値設定において、このＭ値とピクチャ周期は固定値に設定されるため、この遅延時間は符号化処理中、固定値である。
なお、前述の式は、Ｂピクチャを含むビデオストリームの場合であるが、Ｂピクチャを含まない場合は、Ｉ、Ｐピクチャについてビデオリオーダ処理が不要となる。
このため、ビデオ復号化処理部７１内のビデオリオーダバッファ７７による遅延時間を考慮する必要が無い（ＰＴＳ＝ＤＴＳとなるため）。
【００３０】
したがって、この場合は、以下の式によってＴＳを演算する。
［ＩあるいはＰピクチャの場合］
ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
そして、演算されたＴＳ値は、データ９７として、制御信号９８により、バッファ１０１に書き込まれる。その後、ビデオパケットヘッダのＴＳの出力タイミングのときに、データ１０４として、バッファ１０１内に書き込まれたＴＳ値が出力される。
以上により、ピクチャスタートコードがマルチプレクサ部１１８に入力された時点のＳＴＣデータ５８をホールドして、ただちにＴＳ値の演算に利用できるため、ＳＴＣ用のメモリを不要とすることができ、また、メモリ制御の複雑な回路も不要とすることができる。さらに、ビデオ符号化処理部とのインターフェース信号も、より単純化することができる。
【００３１】
以下、本発明のさらに詳細な実施例を図５を使用して説明をする。
まず、ＳＴＣ発生部５７の出力であるＳＴＣデータ５８は、ＳＴＣホールド回路１２５に入力される。また、ビデオ符号化処理部５４の出力であるビデオストリーム有効信号８２は、ピクチャスタートコード検出回路１３８に入力される。同様に、ビデオ符号化処理部５４の出力であるビデオストリーム５５は、ピクチャスタートコード検出回路１３８と、ピクチャコーディングタイプホールド回路１２６とビデオ遅延時間制御情報ホールド回路１２７とに入力される。
ピクチャスタートコード検出回路１３８の出力であるデータ８９は、ＳＴＣホールド回路１２５とピクチャコーディングタイプホールド回路１２６とビデオ遅延時間制御情報ホールド回路１２７と出力制御回路１３７とに入力される。
【００３２】
図示していないＣＰＵからのＣＰＵバス１２０は、レジスタ１２１とレジスタ１２２とに接続されている。ＳＴＣホールド回路１２５の出力であるデータ１２９は、加算器１３３に入力される。レジスタ１２１の出力であるデータ１２３とレジスタ１２２の出力であるデータ１２４は、セレクタ１２８に入力される。
ピクチャコーディングタイプホールド回路１２６の出力であるデータ９３は、セレクタ１２８と出力制御回路１３７とに入力される。
ビデオ遅延時間制御情報ホールド回路１２７の出力であるデータ１１７は、加算器１３４に入力される。また、セレクタ１２８の出力であるデータ１３０も加算器１３４に入力される。
加算器１３４の出力であるデータ１３５は、加算器１３３に入力される。その加算器１３３の出力であるデータ１３６は、出力制御回路１３７に入力される。出力制御回路１３７からは、データ９７と制御信号９８が出力される。
【００３３】
以下、動作について説明をする。まず、最初にＣＰＵバス１２０により、レジスタ１２１、１２２にデータを設定する。レジスタ１２１には図７に示すｔｖ３＋ｔｖ５の値を、また、レジスタ１２２にはｔｖ３の値を設定する。これらは、いずれも固定値なのであらかじめ設定が可能である。なお、ｔｖ５としては、（Ｍ値×ピクチャ周期）を計算した値である。
ついで、ピクチャスタートコード検出回路１３８に入力されたビデオストリーム有効信号８２により、ビデオストリーム５５が有効となったことを認識し、ピクチャスタートコード検出回路１３８においてビデオストリーム５５内にあるピクチャスタートコードを検出し、その結果をデータ８９としてＳＴＣホールド回路１２５と出力制御回路１３７とピクチャコーディングタイプホールド回路１２６とビデオ遅延時間制御情報ホールド回路１２７とへ出力する。
【００３４】
ＳＴＣホールド回路１２５は、デ−タ８９によるピクチャスタートコードの検出タイミングに合わせて、ＳＴＣ発生部５７からのＳＴＣデータ５８の値をホールドする。同様に、ピクチャコーディングタイプホールド回路１２６は、デ−タ８９によるピクチャスタートコードの検出タイミングを基に、ピクチャスタートコードの１０ビット後（図６参照）にあるピクチャコーディングタイプをホールドする。
また、ビデオ遅延時間制御情報ホールド回路１２７は、デ−タ８９によるピクチャスタートコードの検出タイミングをもとに、ピクチャスタートコードの１３ビットあとにあるビデオ遅延時間制御情報をホールドする。
【００３５】
セレクタ１２８は、ピクチャコーディングタイプホールド回路１２６の出力であるデータ９３により、動作が規定される。まず、データ９３がＩあるいはＰピクチャを示す場合は、始めに、レジスタ１２１の出力であるデータ１２３をデータ１３０として出力し、つぎに、レジスタ１２２の出力であるデータ１２４をデータ１３０として出力する。
前記セレクタ１２８の動作に従って、加算器１３３の出力であるデータ１３６の値は、はじめにデータ１２９とデータ１２３とデータ１１７を加算した値となる。これは、以下のようにＰＴＳの値になる。
ＰＴＳ＝データ１２９＋データ１２３＋データ１１７
データ１２９：ピクチャスタートコードが入力された時点のＳＴＣデータ５８の値
データ１２３：図７に示すｔｖ３＋ｔｖ５の値
データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間制御情報）
【００３６】
つぎのセレクタ１２８の動作では、加算器１３３の出力であるデータ１３６の値は、データ１２９とデータ１２４とデータ１１７を加算した値となる。これは、以下のようにＤＴＳの値になる。
ＤＴＳ＝データ１２９＋データ１２４＋データ１１７
データ１２９：ピクチャスタートコードが入力された時点のＳＴＣデータ５８の値
データ１２４：図７に示すｔｖ３の値
データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間制御情報）
そして、出力制御回路１３７は、ピクチャスタートコード検出回路１３８からのデータ８９でＩ、Ｐピクチャ用の出力モードとなり、データ９７としてデータ１３６として算出されたＰＴＳとＤＴＳとを出力する。同時にそれらを後段のＦＩＦＯに書き込むための制御信号９８を出力する。
【００３７】
つぎに、データ９３がＢピクチャを示す場合を説明する。
この場合セレクタ１２８は、レジスタ１２２の出力であるデータ１２４だけをデータ１３０とする。これにより、加算器１３３の出力であるデータ１３６の値は、データ１２９とデータ１２４とデータ１１７を加算した値になる。これは、以下のようにＢピクチャの場合のＰＴＳの値になる。なぜなら、Ｂピクチャの場合、図７に示すビデオリオーダバッファ７７の遅延時間ｔｖ５がゼロになるためである。
ＰＴＳ＝データ１２９＋データ１２４＋データ１１７
データ１２９：ピクチャスタートコードが入力された時点のＳＴＣデータ５８の値
データ１２４：図７に示すおけるｔｖ３の値
データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間制御情報）
【００３８】
そして、出力制御回路１３７は、ピクチャスタートコード検出回路１３８からのデータ８９でＢピクチャ用の出力モードとなり、データ９７としてデータ１３６として算出されたＰＴＳだけを出力する。同時にそれらを後段のＦＩＦＯに書き込むための制御信号９８を出力する。
以上説明したように、ビデオストリーム中に記述されたビデオ遅延時間制御情報（vbv＿delay）を基にＴＳ値（タイムスタンプ値）を算出することにより、従来技術のようにＳＴＣ（システムタイムクロック）の値を蓄積しておくメモリを不要とすることができる。
そのため、メモリ関係のアドレス発生部やアービトレイション回路など複雑な回路も必要なくなり、回路規模の縮小が可能となる。また、ビデオ符号化処理部とのインターフェース信号も本数を減らすことができる。
なお、ピクチャコーディングタイプが１程度のストリームでは、ピクチャコーディングタイプ検出部８７を不要とすることができる。
【００３９】
【発明の効果】
本発明によれば、ビデオ符号化処理部が出力するビデオストリーム中に記述されたビデオ遅延時間制御情報を基にＴＳ値を算出することにより、従来必要であった３３ビットというビット幅の広いメモリや関連するアドレス発生部等と、書き込みと読み出しが同時発生した場合の調整回路も必要としない、符号化伝送方式におけるＴＳ値の演算方法を提供することができる。
【図面の簡単な説明】
【図１】本発明による符号化伝送装置を構成するビデオパケッタイズ部のタイムスタンプ演算部分ブロック図。
【図２】符号化伝送装置のブロック図。
【図３】ビデオ信号符号化処理におけるピクチャ単位の入れ替わり説明図。
【図４】ビデオ符号化処理部ブロック図。
【図５】本発明による符号化伝送装置を構成するビデオパケッタイズ部ブロック図。
【図６】ビデオストリームの構成説明図。
【図７】符号化伝送装置におけるビデオ遅延時間制御情報と処理時間との関係説明図。
【符号の説明】
５１…オーディオ符号化処理部、５４…ビデオ符号化処理部、５６、１１８…マルチプレクサ部、５７…システムタイムクロック発生部、５９…オーディオパケッタイズ部、６０…ビデオパケッタイズ部、６２…伝送路、６４…デマルチプレクサ部、６５…オーディオパケット解析部、６６…ビデオパケット解析部、６８…オーディオ復号化処理部、７１…ビデオ復号化処理部、７３…ビデオ復号化バッファ、７５…ビデオ復号化回路、７７…ビデオリオーダバッファ、７９、１０５、１０６…スイッチ部、８６…ピクチャスタートコード検出部、８７…ピクチャコーディングタイプ検出部、１１６…タイムスタンプ演算部、１０１…バッファ、１１１…システムタイムクロック再生部、１１５…ビデオ遅延時間制御情報検出部、１２０…ＣＰＵバス、１２１、１２２…レジスタ、１２５…システムタイムクロックホールド回路、１２６…ピクチャコーディングタイプホールド回路、１２７…ビデオ遅延時間制御情報ホールド回路、１２８…セレクタ、１３３、１３４…加算器、１３７…出力制御回路、１３８…ピクチャスタートコード検出回路。
５０…入力オーディオ信号、５２、６７…オーディオストリーム、５３…入力ビデオ信号、５５、７０、７４…ビデオストリーム、５８…システムタイムクロックデータ、６１、６３…システムストリーム、６９…出力オーディオ信号、７２…出力ビデオ信号、７６、７８、８８、８９、９３、９７、１０３、１０４、１１７、１２３、１２４、１２９、１３０、１３５、１３６…データ、８２…ビデオストリーム有効信号、９８…制御信号、９９…Ｍ値パラメータ、１００…遅延パラメータ、１０７…オーディオパケットデータ、１０８、１１０…システムタイムクロックデータ、１０９…ビデオパケットデータ、１１２…オーディオタイムスタンプ、１１３…ビデオタイムスタンプ。
【図１】
0003644995.tif 000002
【図２】
0003644995.tif 000003
【図３】
0003644995.tif 000004
【図４】
0003644995.tif 000005
【図５】
0003644995.tif 000006
【図６】
0003644995.tif 000007
【図７】
0003644995.tif 000008