(57)【特許請求の範囲】
【請求項１】
画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記所定の信号を、その位相差から前記所定の信号を符号化する手段での処理時間を減算した時間だけ遅延させる手段とを具えることを特徴とする同期制御装置。
【請求項２】
画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記画像信号及び所定の信号の出力タイミングを、前記位相差から前記所定の信号を符号化する手段での処理時間を減算した時間に基づいて補正して、前記画像信号及び所定の信号を多重化する手段とを具えることを特徴とする同期制御装置。
【請求項３】
前記位相差を検出する手段が、
符号化する処理を開始させる信号によって計測を開始するとともに、前記画像信号の符号化出力の有効性を検出する信号が前記有効性を検出することによって計測を終了する手段を有することを特徴とする請求項１又は２記載の同期制御装置。
【請求項４】
前記所定の信号を音声信号又は文字信号としたことを特徴とする請求項１から３のうちのいずれか１項に記載の同期制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、画像や音声のようなデータの入力信号を符号化して多重伝送する符号化装置の同期制御装置に関するものである。
【０００２】
【従来の技術】
一般に、画像信号及び音声信号を符号化して多重伝送する場合、受信側で分離及び復号化処理した後に再生する際に、同期がとられた画像信号及び音声信号を出力する必要がある。その理由は、復号された画像信号と音声信号との間に時間差が生じると、受信側で違和感が発生するからである。
【０００３】
従来の同期制御装置は、図４に示すように、画像信号が入力部１を通じて入力される画像符号化器２と、画像信号と同期をとった音声信号が入力部３を通じて入力される音声符号化器４と、入力部５を通じて同期信号が入力される制御器６と、遅延回路７と、多重化器８と、多重化器からの出力を伝送路に出力する出力部９とを具える。
【０００４】
画像符号化器２は、入力された画像信号を符号化し、符号化した画像信号を多重化器８に出力する。音声符号化器４は、入力された音声信号を符号化する。符号化された音声信号は、符号化された画像信号と同期をとるために、遅延回路７に入力され、所定時間遅延された後に多重化器８に入力される。
【０００５】
多重化器８は、符号化された画像信号及び音声信号を多重化し、伝送路に応じたフォーマットに変換した後に、多重化された画像信号及び音声信号を出力部９を通じて伝送路に出力する。制御器６は、符号化開始信号を画像符号化器２及び音声符号化器４に供給する。
【０００６】
近年、動画像符号化装置の国際標準としてＭＰＥＧ(Moving Picture Experts Group)方式が提案されている。ＭＰＥＧ方式では、入力する動画像に対して、Ｉピクチャ（フレーム内符号化画像）、Ｐピクチャ（順方向予測画像）及びＢピクチャ（双方向予測画像）の３種類の符号化画像を出力する。また、ＭＰＥＧ方式では、タイムスタンプという出力タイミング情報を使用している。タイムスタンプとしては、プレゼンテーションタイムスタンプと、デコーディングタイムスタンプとがある。
【０００７】
ＭＰＥＧ方式の復号器のシステムタイムクロックがプレゼンテーションタイムスタンプに一致すると、画像信号又は音声信号を再生し及び出力する。システムタイムクロックは、ＭＰＥＧで定義された基準となる時刻情報である。デコーディングタイムスタンプは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの復号順序及び再生出力順序の相違に対応するために設けられる。プレゼンテーションタイムスタンプがデコーディングタイムスタンプと一致する場合、タイムスタンプとしてプレゼンテーションタイムスタンプのみを付加する。
【０００８】
ＭＰＥＧ２では、ＰＥＳ(Packetized Elementary Stream)パケットのように複数のパケットを可変長の長さでパケット化して、ビデオストリームにタイムスタンプを付加している。一般に、符号化された画像信号及び音声信号には、対応するタイムスタンプがそれぞれ付加される。そのようなタイムスタンプは、画像信号及び音声信号とともにアクセスユニットを基準として付加される。音声信号のアクセスユニットの場合、シンクワード（オーディオストリーム内の一定ワードごとに存在するコード）部分を基準にしてタイムスタンプが付加され、画像信号のアクセスユニットの場合、ピクチャスタートコード（ビデオストリーム内にあるピクチャの区分を示すコード）部分を基準にしてタイムスタンプが付加される。
【０００９】
また、プレゼンテーションタイムスタンプ及びデコーディングタイムスタンプは、ＰＥＳパケットのヘッダ内に付加される。この場合、ＰＥＳパケットの実効パケットデータであるペイロード中に出現するＰＥＳパケットのヘッダの直後のアクセスユニットを基準にして、プレゼンテーションタイムスタンプ及びデコーディングタイムスタンプの値が算出される。
【００１０】
【発明が解決しようとする課題】
図４に示したような従来の同期制御装置の場合、遅延回路７の遅延時間が一定である。したがって、画像符号化器２の処理時間が符号化パラメータの変化などに起因して変動した場合、遅延回路７が正確かつ高精度に追従できないので、受信側の復号化器で再生したときに画像信号と音声信号との間に時間差が生じ、受信側で違和感が発生する。
【００１１】
このような時間差を、復号器によって解消することができるが、放送システムのように受信側の個数が送信側の個数に比べて著しく多い場合には、受信側で対応するとコスト的に高くなる。
【００１２】
特に、ＭＰＥＧのような動画像符号化システムの場合、符号化されたフレーム内画像及び予測画像が混在して出力され、図４に示す構成の同期制御装置では、受信側の復号化器で再生したときの画像信号と音声信号との時間差が顕著になる。
【００１３】
本発明の目的は、受信側における画像信号と音声信号との間の時間差の影響を低コストで軽減する同期制御装置を提供することである。
【００１４】
本発明による同期制御装置は、
画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記所定の信号を、その位相差から前記所定の信号を符号化する手段での処理時間を減算した時間だけ遅延させる手段とを具えることを特徴とするものである。
【００１５】
本発明によれば、符号化された所定の信号を、符号化の開始時と画像信号の符号化の検出時との差から所定の信号の符号化の処理時間を減算した時間だけ遅延させているので、画像信号と所定の信号との位相差が大幅に小さくなる。その結果、受信側における画像信号と音声信号のような所定の信号との間の時間差の影響が大幅に軽減する。なお、本発明による同期制御装置を、送信側で比較的少数の回路によって構成することができるので、コスト的に高くなるおそれはない。
【００１６】
本発明による他の同期制御装置は、
画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記画像信号及び所定の信号の出力タイミングを、前記位相差から前記所定の信号を符号化する手段での処理時間を減算した時間に基づいて補正して、前記画像信号及び所定の信号を多重化する手段とを具えることを特徴とするものである。
【００１７】
本発明によれば、符号化された画像信号及び所定の信号の出力タイミングを、符号化を開始させる信号と画像信号の符号化出力の有効性を検出する信号との位相差から所定の信号の符号化の処理時間を減算した時間に基づいて補正して、画像信号及び所定の信号を多重化しているので、画像信号と所定の信号との位相差が大幅に小さくなる。その結果、受信側における画像信号と音声信号のような所定の信号との間の時間差の影響が大幅に軽減する。本発明による他の同期制御装置も、送信側で比較的少数の回路によって構成することができるので、コスト的に高くなるおそれはない。
【００１８】
前記位相差を検出する手段は、例えば、符号化する処理を開始させる信号によって計測を開始するとともに、前記画像信号の符号化出力の有効性を検出する信号が前記有効性を検出することによって計測を終了する手段を有する。
【００１９】
本発明による同期制御装置は、符号化されたフレーム内画像及び予測画像が混在して出力されるＭＰＥＧの場合に有効である。また、前記所定の信号を音声信号又は文字信号（例えば、文字スーパー、字幕）とすることができる。
【００２０】
【発明の実施の形態】
本発明による同期制御装置の実施の形態を、図面を参照して詳細に説明する。図１は、本発明による同期制御装置の第１の実施の形態を示す図である。本実施の形態では、符号化方式としてＭＰＥＧ方式に適用し、第１信号として画像信号を使用し、第２信号として音声信号を使用し、これら画像信号及び音声信号を多重化して出力する場合について説明する。
【００２１】
この同期制御装置は、画像信号が入力部１１を通じて入力される画像符号化器１２と、画像信号と同期をとった音声信号が入力部１３を通じて入力される音声符号化器１４と、入力部１５を通じて同期信号が入力される制御器１６と、有効データ検出器１７と、可変遅延回路１８と、遅延計測器１９と、多重化器２０と、多重化器からの出力を伝送路に出力する出力部２１とを具える。
【００２２】
画像信号及び音声信号は、入力部１１及び１３にそれぞれ入力される前に互いに同期がとられている。画像符号化器１２によって符号化された画像信号は、有効データ検出器１７及び多重化器２０に入力される。
【００２３】
有効データ検出器１７は、符号化された画像信号の有効データを検出するものであり、有効データを検出すると、遅延計測器１９に検出信号を出力する。有効データを、例えばＭＰＥＧ２のＳＨＣ(Sequence Header Code: 0x000001B3)から始まるデータとする。ＳＨＣは、規格でＭＰＥＧ２ビデオストリームの開始信号として定められる３２ビット長のユニークな符号語である。すなわち、開始符号以外の意味で現れることはない。このユニークコードを１バイトずつ比較して検出する。
【００２４】
音声符号化器１４によって符号化された音声信号は、可変遅延回路１８に入力される。画像信号と音声信号との同期をとった同期信号が、入力部１５を通じて制御器１６に入力される。制御器１６は、符号化開始信号を画像符号化器１２、遅延計測器１９及び音声符号化器１４に出力し、計測用クロック（フレーム）信号を遅延計測器１９に出力する。
【００２５】
遅延計測器１９は、符号化開始信号が入力されると計測を開始し、検出信号が入力されると計測を終了する。なお、計測の際には計測用クロック信号を使用する。計測用クロック信号としては、同期信号に基づいて発生したクロック信号を使用するが、遅延時間が数フレームに及ぶ場合にはフレームパルス信号を使用してもよい。遅延計測器１９の計測値に音声符号化器１４での処理時間を減算した値を、制御値として可変遅延回路１８に供給され、可変遅延回路１８は、その制御値に応じて遅延時間を設定する。または、計測値を可変遅延回路１８に供給して、可変遅延回路１８内で音声符号化器１４の処理時間を減算した値を、遅延時間として設定してもよい。
【００２６】
画像符号化器１２からの出力及び可変遅延回路１８からの出力は、多重化器２０で多重化され、伝送路に応じたフォーマットに変換した後に、多重化された画像信号及び音声信号を出力部２１を通じて伝送路に出力される。
【００２７】
遅延計測器１９の動作を、図２のタイムチャートを用いて更に詳しく説明する。
図２において、入力同期信号としてフレームパルス信号を使用する。すなわち、入力同期信号は、２フィールドに１回のパルス信号となる。符号化開始信号は、任意のタイミングで出力される。
【００２８】
画像符号化器１２は、符号化開始信号によって符号化処理を開始するが、フレーム内符号化やフレーム間符号化のために、有効な符号化画像をすぐに得ることができない。また、符号化パラメータの設定によっても有効な画像をすぐに得ることができない。図２の場合には、有効データが２フレーム遅れて出力されることを示している。
【００２９】
有効データ検出器１７は、符号化された画像信号が有効となったタイミングでパルスを出力する。ＭＰＥＧ２方式の場合、ＳＨＣを検出したときが有効データとなる。遅延計測器１９は、符号化開始信号が出力された瞬時から有効データが出力された瞬時までの区間Ｔｄに音声符号化処理時間Ｄａを減じた値、すなわち（Ｔｄ−Ｄａ）を、可変遅延回路１８に供給する。
【００３０】
図３は、本発明による同期制御装置の第２の実施の形態を示す図である。図３において、図１と同一構成のパーツについては同一符号を付す。
本実施の形態では、可変遅延回路１８（図１）の代わりに、遅延回路７（図４）と同一構成の遅延回路２２を設ける。
【００３１】
多重化器２０には、画像符号化器１２の出力及び遅延回路２２の出力だけでなく、遅延計測器１９の出力も入力される。ＭＰＥＧ方式などのように、プレゼンテーションタイムスタンプやデコーディングタイムスタンプと称する時刻情報を多重化して伝送する場合、遅延計測器１９によって得られた遅延量をプレゼンテーションタイムスタンプやデコーディングタイムスタンプに加算することによって、これらプレゼンテーションタイムスタンプやデコーディングタイムスタンプが補正され、補正したプレゼンテーションタイムスタンプやデコーディングタイムスタンプを、新たな時刻情報として多重化する。
【００３２】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態では符号化方式としてＭＰＥＧ方式に適用した場合について説明したが、本発明を、ＭＰＥＧ方式以外の他の任意の符号化方式に適用することもできる。
【００３３】
また、第１信号として画像信号を用いるとともに第２信号として音声信号を用いる場合について説明したが、第１信号と第２信号のそれ以外の組合せについても適用することができ、例えば、第１信号として画像信号を用いるとともに第２信号として文字信号を用いることもできる。
【図面の簡単な説明】
【図１】  本発明による同期制御装置の第１の実施の形態を示す図である。
【図２】  図１の遅延計測器のタイミングチャートである。
【図３】  本発明による同期制御装置の第２の実施の形態を示す図である。
【図４】  従来の同期制御装置を示す図である。
【符号の説明】
１，３，５，１１，１３，１５  入力部
２，１２  画像符号化器
４，１４  音声符号化器
６，１６  制御器
７，２２  遅延回路
８，２０  多重化器
９，２１  出力部
１７  有効データ検出器
１８  可変遅延回路
１９  遅延計測器
【図１】
0003958531.tif 000002
【図２】
0003958531.tif 000003
【図３】
0003958531.tif 000004
【図４】
0003958531.tif 000005