(57)【特許請求の範囲】
【請求項１】
少なくとも圧縮動画データ及び音声データがそれぞれ単位長を有する各単位データに分割されてＩＤとともに各パケットに組込まれると共に、所定のパケット毎に、再生時に使用する時刻情報及び前記各ＩＤの種別を特定するためのＰＭＴのパケットが組込まれた作成済みのＭＰＥＧ−ＴＳに対して、新たに圧縮されていない付加データをプライベートデータとして書込む映像データ多重化装置において、
前記付加データを単位長を有した複数の単位データに分割してそれぞれ再生時刻とともに記憶するプライベートデータファイルと、
このプライベートデータファイルから再生時刻が付された各単位データを順番に読出していくプライベートデータ読出手段と、
このプライベートデータ読出手段で順次読出される各単位データの再生時刻に対して前記圧縮動画データを再生装置で一旦バッファに記憶して伸張するに要する時間で定まる遅延時間を加算補正するデコーダ遅延時間補正手段と、
前記作成済みのＭＰＥＧ−ＴＳの各パケット及び時刻情報を順番に読出していくＴＳ読出手段と、
このＴＳ読出手段が前記ＰＭＴのパケットを読出す毎に、この読出したＰＭＴのパケットに対してプライベートデータを特定するＩＤを設定するＰＭＴパケット更新手段と、
前記ＴＳ読出手段が前記時刻情報を読出す毎に、該当時刻情報が前記デコーダ遅延時間補正手段で加算補正された再生時刻に一致したときのみ、前記プライベートデータ読出手段で読出されている単位データをプライベートデータを特定するＩＤを付して、前記ＭＰＥＧ−ＴＳにおける該当時刻情報の隣接位置にプライベートデータのパケットとして挿入するパケット挿入手段と
を備えた映像データ多重化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮された動画データに対して例えばテキストや字幕等の付加データを組込む映像データ多重化装置に係わり、特に作成済みのＭＰＥＧ−ＴＳに対して付加データをプライベートデータとして書込む映像データ多重化装置に関する。
【０００２】
【従来の技術】
近年、画像圧縮技術が実用化されている。特に、デジタルの動画に対しては、例えば画像や音声等のマルチメディアを多重化するＭＰＥＧ（Moving Picture Expert Group ）−ＴＳ（Transport Strem ：トランスポート・ストリーム  ＩＳＯ／ＩＥＣ−１３８１８−１）を使用することが有利である。
【０００３】
周知のように、このＭＰＥＧ−ＴＳにおいては、図６に示すように、圧縮画像データ１、音声データ２、プライベートデータ３をそれぞれ単位バイト長を有する複数の単位データ４に分割する。そして、各単位データ４を自己のデータ種別を特定するＩＤ（識別子）５を付してＴＳ−パケットと呼ばれる１８８バイト長のパケット６に編集して、この各パケット６をＭＰＥＧ−ＴＳ７に順次組込んでいく。
【０００４】
したがって、ＭＰＥＧ−ＴＳ７は、図７（ａ）に示すように、画像データ（Ｖ）、音声データ（Ａ）、プライベートデータ（Ｐ）の各単位データ４を示す複数のパケット６を接続したフォーマットを有する。
【０００５】
また、各パケット６に組込まれたＩＤ５は、このパケット６に組込まれた単位データ４の種別を特定する数字であり、例えば、圧縮画像データ１、音声データ２、プライベートデータ３等を特定する。そして、各ＩＤ５と各データ種別との関係は、ＰＭＴ（ Program Map Table：ＩＳＯ／ＩＥＣ１３８１８−１）８に予め定義されている。そして、このＭＰＥＧ−ＴＳ７を画像再生装置で動画，音声，字幕等に再生する場合に、各パケット６のデータ種別を把握するために、このＭＰＥＧ−ＴＳ７に対してＰＭＴ８のパケット６が所定のバケット毎に組込まれている。
【０００６】
また、連続して配列された多数のパケット６からなるＭＰＥＧ−ＴＳ７内に画像再生装置（デコーダ）に対する到達時刻を示すＰＣＲ（Program Clock Reference ；時刻情報 ＩＳＯ／ＩＥＣ１３８１８−１）９が埋込まれている。
【０００７】
このような圧縮動画データ１、音声データ２、プライベートデータ３及びＰＭＴ８が各パケット６に組込まれたＭＰＥＧ−ＴＳ７に対して、例えば字幕データ等の付加データを組込む場合、この付加データをプライベートデータ３としてＭＰＥＧ−ＴＳ７に組込むことによって、画像再生装置（デコーダ）で再生される映像データを簡単に多重化できる。
【０００８】
【発明が解決しようとする課題】
しかしながら、字幕データ等の付加データをただ単にプライベートデータ３としてＭＰＥＧ−ＴＳ７に組込む映像データ多重化装置においても、まだ解消すべき次のような課題があった。
【０００９】
すなわち、プライベートデータ３の各パケット６のＭＰＥＧ−ＴＳ７上における組込位置は、ＰＣＲ（時刻情報）９の組込み位置に同期していないので、字幕データ等からなる付加データと再生された動画との間の同期を精度よく取ることは困難である。
【００１０】
このような不都合を解消するために、プライベートデータ３の各パケット６に対して、単位データ４の他に、該当単位データの動画上における再生時刻情報を組込んで、このＭＰＥＧ−ＴＳ７を画像再生装置（デコーダ）で、動画と音声と付加データとしての字幕に分離した後、この字幕の出力時刻を前記パケット６に組込まれた再生時刻情報に基づいて制御する手法が考えられる。
【００１１】
しかしながら、このような手法においては、画像再生装置（デコーダ）側の再生処理が複雑化し、特別仕様の画像再生装置（デコーダ）となり、汎用性に欠けると共に、製造費が大幅に上昇する。
【００１２】
また、プライベートデータ３の各パケット６が組込まれていないＭＰＥＧ−ＴＳ７に対して、字幕データ等の付加データを追加して組込む必要がある場合は、図６に示すよように、ＭＰＥＧ−ＴＳ７の各パケット６に組込まれている各単位データ４をデータ種別毎に分離して、元の圧縮画像データ１、音声データ２に分離する。そして、元に戻した圧縮画像データ１、音声データ２にプライベートデータ３を加えて、再度ＭＰＥＧ−ＴＳ７を編集する必要がある。
【００１３】
よって、このＭＰＥＧ−ＴＳ７の分離処理及び再編集処理に多大の処理時間が必要であり、映像データ多重化処理能率が大幅に低下する。
本発明はこのような事情に鑑みてなされたものであり、パケットの組込む位置を時刻情報に隣接させることによって、画像再生装置（デコーダ）側の仕様を変更することなく、既に作成済みのＭＰＥＧ−ＴＳに対しても、簡単に付加データのプライベートデータを組込むことができ、かつ、再生された動画に対して正確に同期した付加データをＭＰＥＧ−ＴＳに組込むことができる映像データ多重化装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、少なくとも圧縮動画データ及び音声データがそれぞれ単位長を有する各単位データに分割されてＩＤとともに各パケットに組込まれると共に、所定のパケット毎に、再生時に使用する時刻情報及び各ＩＤの種別を特定するためのＰＭＴのパケットが組込まれた作成済みのＭＰＥＧ−ＴＳに対して、新たに圧縮されていない付加データをプライベートデータとして書込む映像データ多重化装置に適用される。
【００１５】
そして、上記課題を解消するためには、本発明の映像多重化装置においては、付加データを単位長を有した複数の単位データに分割してそれぞれ再生時刻とともに記憶するプライベートデータファイルと、このプライベートデータファイルから再生時刻が付された各単位データを順番に読出していくプライベートデータ読出手段と、このプライベートデータ読出手段で順次読出される各単位データの再生時刻に対して圧縮動画データを再生装置で一旦バッファに記憶して伸張するに要する時間で定まる遅延時間を加算補正するデコーダ遅延時間補正手段と、作成済みのＭＰＥＧ−ＴＳの各パケット及び時刻情報を順番に読出していくＴＳ読出手段と、このＴＳ読出手段が前記ＰＭＴのパケットを読出す毎に、この読出したＰＭＴのパケットに対してプライベートデータを特定するＩＤを設定するＰＭＴパケット更新手段と、ＴＳ読出手段が時刻情報を読出す毎に、該当時刻情報がデコーダ遅延時間補正手段で加算補正された再生時刻に一致したときのみ、プライベートデータ読出手段で読出されている単位データをプライベートデータを特定するＩＤを付して、ＭＰＥＧ−ＴＳにおける該当時刻情報の隣接位置にプライベートデータのパケットとして挿入するパケット挿入手段とを備えている。
【００１６】
このように構成された映像データ多重化装置においては、プライベートデータファイルに、付加データが単位長を有した複数の単位データに分割してそれぞれ再生時刻とともに記憶されている。そして、このプライベートデータファイルに記憶された各単位データをＭＰＥＧ−ＴＳにパケットとして挿入する場合に、各単位データの再生時刻が、ＭＰＥＧ−ＴＳに所定パケット毎に設定された時刻情報と一致した場合に、該当パケットが時刻情報の隣接位置に挿入される。
【００１７】
この時刻情報は、この時刻情報に隣接するＭＰＥＧ−ＴＳのパケットの画像再生装置（デコーダ）に対する到達時刻を規定する。付加データの各パケットが画像再生装置（デコーダ）に到達する時刻はこの時刻情報に規制されるので、付加データの動画に対する同期誤差は各時刻情報（ＰＣＲ）の設置時間間隔に制限される。したがって、付加データは高い精度で動画に同期する。
【００１９】
一般に、画像再生装置においては、圧縮画像データは連続する複数の静止画データに伸長されて出力されるまでの過程でバッファに一旦格納されるが、プライベートデータは分離されてそのまま出力される。したがって、たとえ、圧縮画像データのパケットとプライベートデータのパケットとが同時に画像再生装置に到達したとしても、動画が付加データより遅くれて出力される。
【００２０】
よって、本発明においては、付加データの出力タイミングを動画の出力タイミングと一致させるために、単位データの再生時刻に対して再生装置特性で定まる所定の遅延時間を加算した時刻がＭＰＥＧ−ＴＳに組込まれた時刻情報と一致した時点で、該当単位データのパケットを該当時刻情報の隣接位置に挿入している。
よって、より高い精度で付加データを再生された動画に同期させることができる。
【００２１】
【発明の実施の形態】
以下本発明の各実施形態を図面を用いて説明する。
（第１実施形態）
図１は本発明の第１実施形態に係わる映像データ多重化装置の概略構成を示すブロック図である。
【００２２】
ＭＰＥＧ−ＴＳファイル１１内には、図４に示す作成済みのＭＰＥＧ−ＴＳ１２が記憶されている。このＭＰＥＧ−ＴＳ１２の各パケット１３には、圧縮画像データ及び音声データがそれぞれ単位長を有する単位データ１８に分割されてかつＩＤ１９が付された状態で組込まれている。さらに、このＭＰＥＧ−ＴＳ１２内には、所定のパケット１３毎に、時刻情報としてのＰＣＲ１４が挿入されている。
【００２３】
また、パケット１３として、前述した画像データパケット（Ｖ）１５及び音声データパケット（Ａ）１６の他に、ＰＭＴパケット１７が含まれる。ＰＭＴパケット１７内には、前述したように、各パケット１３に組込まれた単位データ１８のＩＤ１９とデータ種別との関係が記憶されている。
【００２４】
プライベートデータファイル２０内には、ＭＰＥＧ−ＴＳファイル１１内に記憶されたＭＰＥＧ−ＴＳ１２を再生して得られる動画に組込むべき例えば字幕等の付加データが、単位長を有する複数の単位データ２１に分割されて、かつそれぞれに再生時刻としてのＭＰＥＧ−ＴＳ１２に対する挿入指定時間２２及びプライベートデータであることを示すＩＤが付された状態で記憶されている。
【００２５】
ＴＳ読出部２３は、ＭＰＥＧ−ＴＳファイル１１内に記憶されている図４に示すＭＰＥＧ−ＴＳ１２に組込まれている各パケット１３及びＰＣＲ１４を所定の周期で順番に読出していく。
【００２６】
ＰＭＴ更新部２４は、ＴＳ読出部２３で順次読出される各パケット１３を監視して、ＰＭＴパケット１７を検出すると、このＰＭＴパケット１７を取出して、このＰＭＴパケット１７に既に登録されている画像データパケット１５のＩＤ、及び音声データパケット１６のＩＤに加えて、図３に示すように、新たに今回付加するプライベートパケット３１のＩＤをこのＴＰＭパケット１７に対して追加登録する。そして、プライベートパケット３１のＩＤが追加登録されたＴＰＭパケット１７を次のパケット挿入部２９へ送出する。
【００２７】
ＰＣＲ検出部２５は、ＴＳ読出部２３で順次読出される各パケット１３を次のパケット挿入部２９へ送出すると共に、パケット１３間に挿入されているＰＣＲ１４を検出して、比較部２６へ送出する。
【００２８】
プライベートデータ読出部２７は、比較部２６からの読出指令ａに応じて、プライベートデータファイル２０内に記憶されている挿入指定時間２２及びＩＤがが付された単位データ２１を読出して、挿入指定時間取出部２８へ送出する。指定時間取出部２８は、読出された挿入指定時間２２及びＩＤが付された単位データ２１のうち挿入指定時間２２のみを抽出して比較部２６へ送出するとともに、挿入指定時間２２が取除かれたＩＤ及び単位データ２１をプライベートパケット３１として次のパケット挿入部２９へ送出する。
【００２９】
比較部２６は、ＰＣＲ検出部２５で検出されたＰＣＲ１４の示す時刻が挿入指定時間取出部２８で取出された挿入指定時間２２に一致した場合のみプライベートデータ読出部２７へ読出指令ａを送出するとともに、パケット挿入部２９へパケット挿入指令ｂを送出する。
【００３０】
パケット挿入部２９は、ＴＳ読出部２３で読出されてＰＣＲ検出部２５を経由したＭＰＥＧ−ＴＳ１２に組込まれている各パケット１３及びＰＣＲ１４をパケット出力部３０へ送出するとともに、入力したパケット１３がＰＭＴパケット１７の場合は、このＰＭＴパケット１７をＰＭＴ更新部２４から出力された更新済みのＰＭＴパケット１７に置換える。
【００３１】
さらに、パケット挿入部２９は、図３に示すように、比較部２６からパケット挿入指令ｂが入力すると、この時点で挿入指定時間取出部２８から入力されているプライベートパケット３１をＭＰＥＧ−ＴＳ１２のこの時点におけるＰＣＲ１４の隣接位置に挿入する。
【００３２】
パケット出力部３０は、ＰＭＴパケット１７が更新され、かつ時間が一致したＰＣＲ１４の隣接位置にプライベートパケット３１が挿入された図３に示すＭＰＥＧ−ＴＳ１２をＭＰＥＧ−ＴＳファイル３２に書込む。
【００３３】
次に、図１に示した映像データ多重化装置における作成済みのＭＰＥＧ−ＴＳ１２に対して付加データをプライベートパケット３１として多重化する付加データ多重化処理の全体動作を図２の流れ図を用いて説明する。
【００３４】
Ｓ（ステップ）１にて、ＭＰＥＧ−ＴＳファイル１１に記憶されている図４に示すＭＰＥＧ−ＴＳ１２を構成する一つのパケット１３又はＰＣＲ１４を読出す。読出したパケット１３又はＰＣＲ１４がＰＭＴパケット１７の場合（Ｓ２）、パケット挿入部２９において、ＰＭＴ更新部２４から更新済みのＰＭＴパケット１７をパケット出力部３０へ出力する。
【００３５】
読出したパケット１３又はＰＣＲ１４がＰＭＴパケット１７以外の場合で、ＰＣＲ１４の場合（Ｓ４）、このＰＣＲ１４の時刻が、プライベートデータファイル２０から読出した単位データ２１に付された挿入指定時間２２に一致しているか否かを調べる（Ｓ５）。
【００３６】
一致していなければ、このＰＣＲ１４及びこのＰＣＲ１４に続く画像データ又は音声データのパケット１３をパケット出力部３０へ出力する（Ｓ６）。
Ｓ５にて、一致している場合は、先にプライベートデータファイル２０から読出した単位データ２１及びＩＤをプライベートデータパケット３１としてパケット出力部３０へ出力する（Ｓ７）。
【００３７】
そして、プライベートデータファイル２０から次の挿入指定時間２２が付された単位データ２１を読出した後（Ｓ８）、Ｓ４へ戻る。
今度は、ＰＣＲ１４の時刻がＳ８にて読出された単位データ２１の挿入指定時間２２と一致しないので、Ｓ６へ進み、このＰＣＲ１４及びこのＰＣＲ１４に続く画像データ又は音声データのパケット１３をパケット出力部３０へ出力する。
【００３８】
その後、Ｓ１へ戻り、ＭＰＥＧ−ＴＳファイル１１に記憶されている図４に示すＭＰＥＧ−ＴＳ１２を構成する次の一つのパケット１３又はＰＣＲ１４を読出す。
【００３９】
このように構成された第１実施形態の映像データ多重化装置においては、プライベートデータファイル２０に、付加データが単位長を有した複数の単位データ２１に分割されて挿入指定時間２２及びＩＤが付された状態で記憶されている。また、ＭＰＥＧ−ＴＳファイル１１内には、映像データパケット１５、音声データパケット１６、ＰＭＴパケット１７及びＰＣＲ１４が組込まれた作成済みのＭＰＥＧ−ＴＳ１２が記憶されている。
【００４０】
そして、プライベートデータファイル２０に記憶された各単位データ２１及びＩＤを作成済みのＭＰＥＧ−ＴＳ１２にプライベートデータパケット３１として挿入する場合に、各単位データ２１の挿入指定時間２２が、ＭＰＥＧ−ＴＳ１２に所定パケット１３毎に設定されたＰＣＲ１４と一致した場合に、該当プライベートデータパケット１３がこのＰＣＲ１４の隣接位置に挿入される。
【００４１】
このＰＣＲ１４は、このＰＣＲ１４に隣接するＭＰＥＧ−ＴＳのパケットの画像再生装置（デコーダ）に対する到達時刻を規定するので、付加データの各プライベートデータパケット３１が画像再生装置（デコーダ）に到達する時刻はこのＰＣＲ１４に規制される。
【００４２】
よって、字幕データ等の付加データは、画像再生装置（デコーダ）で再生された動画に対して高い精度で同期する。
このように、既に作成済みのＭＰＥＧ−ＴＳ１２に対して字幕データ等の付加データを高い同期精度を維持した状態で簡単に組込むことができる。
【００４３】
（第２実施形態）
図５は本発明の第２実施形態に係わる映像データ多重化装置の概略構成を示すブロック図である。図１に示す第１実施形態の映像データ多重化装置と同一部分には同一符号が付してある。したがって、重複する部分の詳細説明を省略する。
【００４４】
この第２実施形態の映像データ多重化装置においては、挿入指定時間取出部２８と比較部２６との間にデコーダ遅延時間補正部３３が介挿されている。その他の構成は図１に示す第１実施形態の映像データ多重化装置と同じである。
【００４５】
このデコーダ遅延時間補正部３３は、挿入指定時間取出部２８で取出されたブライベートデータの単位データ２１に付された挿入指定時間２２に対して、ＭＰＥＧ−ＴＳ１２を再生する画像再生装置（デコーダ）の特性で定まる遅延時間Ｔｄを付加して、比較部２６へ送出する。
【００４６】
比較部２５は、ＰＣＲ検出部２５で検出されＰＣＲ１４の示す時刻が挿入指定時間取出部２８で取出された挿入指定時間２２にデコーダ遅延時間補正部３３で遅延時間Ｔｄが加算された時間に一致した場合のみプライベートデータ読出部２９へ読出指令ａを送出するとともに、パケット挿入部２９へパケット挿入指令ｂを送出する。
【００４７】
前述したように、画像再生装置（デコータ）においては、たとえ、圧縮画像データのパケット１５とプライベートデータのパケット３１とが同時に画像再生装置に到達したとしても、動画が付加データより遅く表示出力される。
【００４８】
このような不都合を解消するために、この第２実施形態装置においては、付加データの出力タイミングを動画の出力タイミングと一致させるために、プライベートデータの単位データ２１の挿入指定時間２２（再生時刻）に対して再生装置の特性で定まる所定の遅延時間Ｔｄを加算した時刻がＭＰＥＧ−ＴＳ１２に組込まれたＰＣＲ１４と一致した時点で、該当単位データ２１のパケット３１を該当ＰＣＲ１４の隣接位置に挿入している。よって、より高い精度で付加データを再生された動画に同期させることができる。
【００４９】
【発明の効果】
以上説明したように本発明の画像データ多重化装置においては、付加データのパケットの作成済みのＭＰＥＧ−ＴＳに対するる組込み位置を、付加データを構成する単位データに付した再生時刻に一致する時刻情報（ＰＣＲ）に隣接させている、
したがって、画像再生装置（デコーダ）側の仕様を変更することなく、既に作成済みのＭＰＥＧ−ＴＳに対しても、簡単に付加データのプライベートデータを組込むことができ、かつ、再生された動画に対して正確に同期した付加データをＭＰＥＧ−ＴＳに組込むことができる。
【００５０】
さらに、画像再生装置（デコーダ）側の画像データの再生時に発生する遅延時間を加算した時刻とＭＰＥＧ−ＴＳに組込まれた時刻情報とを比較することによって、より高い精度で付加データを再生された動画に同期させることができる。
【図面の簡単な説明】
【図１】  本発明の第１実施形態の映像データ多重化装置の概略構成を示すブロック図
【図２】  同第１実施形態の映像データ多重化装置における付加データ多重化処理動作を示す流れ図
【図３】  同第１実施形態の映像データ多重化装置で多重化されたＭＰＥＧ−ＴＳを示す図
【図４】  同第１実施形態の映像データ多重化装置における多重化前のＭＰＥＧ−ＴＳを示す図
【図５】  本発明の第２実施形態の映像データ多重化装置の概略構成を示すブロック図
【図６】  各データをＭＰＥＧ−ＴＳに組込む一般的な手順を示す図
【図７】  一般的なＭＰＥＧ−ＴＳのフォーマットを示す図
【符号の説明】
１１…ＭＰＥＧ−ＴＳファイル
１２…ＭＰＥＧ−ＴＳ
１３…パケット
１４…ＰＣＲ
１５…画像データパケット
１６…音声データパケット
１７…ＰＭＴパケット
１９…ＩＤ
２０…プライベートデータファイル
２１…単位データ
２２…挿入指定時間
２３…ＴＳ読出部
２４…ＰＭＴ更新部
２５…ＰＣＲ検出部
２６…比較部
２７…プライベートデータ読出部
２８…挿入指定時間取出部
２９…パケット挿入部
３０…パケット出力部
３１…プライベートデータパケット
３３…デコーダ遅延時間補正部
【図１】
0003926910.tif 000002
【図２】
0003926910.tif 000003
【図３】
0003926910.tif 000004
【図４】
0003926910.tif 000005
【図５】
0003926910.tif 000006
【図６】
0003926910.tif 000007
【図７】
0003926910.tif 000008