(57)【特許請求の範囲】
【請求項１】
符号化画像を生成する画像符号化装置において、
動画像を構成する複数のフレームを符号化して符号化画像を生成する符号化手段と、
前記複数のフレーム間の時間差に応じて、前記符号化手段で符号化されるフレームのスキップの有無およびフレームのスキップ数を検出するスキップ検出手段と、
フレーム間隔に基づいて前記フレームを再生するための基準時間を求めるものであって、前記スキップ検出手段がスキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、前記フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための前記基準時間を求める再生タイミング計算手段と、
前記符号化画像と前記基準時間とを含むパケットを生成するパケット生成手段とを具備したことを特徴とする画像符号化装置。
【請求項２】
符号化画像を生成する画像符号化装置において、
動画像を構成する複数のフレームを符号化するとともに、各フレームの入力時間を付加して符号化画像を生成する符号化手段と、
連続するフレームの前記入力時間を比較して、前記符号化手段で符号化されるフレームのスキップの有無を求めるとともに、連続するフレームの前記入力時間の差をフレーム間隔で割ることによってフレームのスキップ数を検出するスキップ検出手段と、
前記フレーム間隔に基づいて前記フレームを再生するための基準時間を求めるものであって、前記スキップ検出手段がスキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、前記フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための前記基準時間を求める再生タイミング計算手段と、
前記符号化画像と前記基準時間とを含むパケットを生成するパケット生成手段とを具備したことを特徴とする画像符号化装置。
【請求項３】
符号化画像を生成する画像符号化装置において、
動画像を構成する複数のフレームを符号化するとともに、フレームのスキップ数を示すフレームスキップ数情報を含む符号化画像を生成する符号化手段と、
前記符号化画像に含まれるフレームスキップ数情報から、前記符号化手段で符号化されるフレームのスキップの有無およびフレームのスキップ数を検出するスキップ検出手段と、
フレーム間隔に基づいて前記フレームを再生するための基準時間を求めるものであって、前記スキップ検出手段がスキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、前記フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための前記基準時間を求める再生タイミング計算手段と、
前記符号化画像と前記基準時間とを含むパケットを生成するパケット生成手段とを具備したことを特徴とする画像符号化装置。
【請求項４】
マルチメディアデータを生成する画像符号化装置において、
前記マルチメディアデータに含まれるオーディオデータを予め定められたサンプル単位で符号化して符号化オーディオデータを生成するオーディオ符号化手段と、
フレーム間隔に基づいて前記サンプル単位の符号化オーディオデータを再生するための第１基準時間を求めるオーディオ再生タイミング計算手段と、
前記マルチメディアデータに含まれる動画像を構成する複数のフレームを符号化して符号化画像を生成する動画像符号化手段と、
前記複数のフレーム間の時間差に応じて、前記動画像符号化手段で符号化されるフレームのスキップの有無およびフレームのスキップ数を検出するスキップ検出手段と、
フレーム間隔に基づいて前記フレームを再生するための第２基準時間を求めるものであって、前記スキップ検出手段がスキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、前記フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための前記第２基準時間を求める動画像再生タイミング計算手段と、
前記符号化オーディオデータ、前記第１基準時間、前記符号化画像および前記第２基準時間を含むパケットを生成するパケット生成手段とを具備したことを特徴とする画像符号化装置。
【請求項５】
マルチメディアデータを生成する画像符号化装置において、
前記マルチメディアデータに含まれるオーディオデータを予め定められたサンプル単位で符号化して符号化オーディオデータを生成するオーディオ符号化手段と、
フレーム間隔に基づいて前記サンプル単位の符号化オーディオデータを再生するための第１基準時間を求めるオーディオ再生タイミング計算手段と、
前記マルチメディアデータに含まれる動画像を構成する複数のフレームを符号化するとともに、各フレームの入力時間を付加して符号化画像を生成する動画像符号化手段と、
連続するフレームの前記入力時間を比較して、前記動画像符号化手段で符号化されるフレームのスキップの有無を求めるとともに、連続するフレームの前記入力時間の差をフレーム間隔で割ることによってフレームのスキップ数を検出するスキップ検出手段と、
フレーム間隔に基づいて前記フレームを再生するための第２基準時間を求めるものであって、前記スキップ検出手段がスキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、前記フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための前記第２基準時間を求める動画像再生タイミング計算手段と、
前記符号化オーディオデータ、前記第１基準時間、前記符号化画像および前記第２基準時間を含むパケットを生成するパケット生成手段とを具備したことを特徴とする画像符号化装置。
【請求項６】
マルチメディアデータを生成する画像符号化装置において、
前記マルチメディアデータに含まれるオーディオデータを予め定められたサンプル単位で符号化して符号化オーディオデータを生成するオーディオ符号化手段と、
フレーム間隔に基づいて前記サンプル単位の符号化オーディオデータを再生するための第１基準時間を求めるオーディオ再生タイミング計算手段と、
前記マルチメディアデータに含まれる動画像を構成する複数のフレームを符号化するとともに、フレームのスキップ数を示すフレームスキップ数情報を含む符号化画像を生成する動画像符号化手段と、
前記符号化画像に含まれるフレームスキップ数情報から、前記符号化手段で符号化されるフレームのスキップの有無およびフレームのスキップ数を検出するスキップ検出手段と、
フレーム間隔に基づいて前記フレームを再生するための第２基準時間を求めるものであって、前記スキップ検出手段がスキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、前記フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための前記第２基準時間を求める動画像再生タイミング計算手段と、
前記符号化オーディオデータ、前記第１基準時間、前記符号化画像および前記第２基準時間を含むパケットを生成するパケット生成手段とを具備したことを特徴とする画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は例えばビデオ、オーディオ等の異なるメディア情報を多重化して伝送する情報データ多重化伝送システムおよび同システムに適用される時間情報生成方法に関し、特にビデオ符号化においてフレームスキップを起こすことが予想される符号化方式（ＭＰＥＧ−４  Ｖｉｓｕａｌ等）を使用した画像符号化装置に関する。
【０００２】
【従来の技術】
従来より、ビデオ、オーディオ、データ等の種類の異なる複数のメディア情報をそれぞれ符号化した後に多重化して伝送するシステムとして、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）システムが知られている。
【０００３】
例えばＭＰＥＧ２システムでは、送信側において、先ずビデオやオーディオ等の個別素材をそれぞれの連携を保ちながら別個に符号化し、この符号化された個別の各ストリームをそれぞれＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）と呼ばれるパケットに変換する。各ＰＥＳは、ＰＥＳヘッダとＰＥＳペイロードとから構成される可変長パケットであり、図４に示すように、そのＰＥＳヘッダには、パケット開始コード、パケット長等の情報に加え、メディアを表示・出力するのに必要な時間情報（タイムスタンプ）としてＰＴＳ（プレゼンテーションタイムスタンプ）なども含まれている。
【０００４】
次に、このように生成されたＰＥＳを図５に示すように一定長ずつに区切り、これをトランスポート・ストリーム（ＴＳ）の各ＴＳパケット（１８８バイトの固定長）に順次挿入する。つまり、１つのＰＥＳパケットは、複数のＴＳパケットのペイロード部に分割して伝送される。各ＴＳパケットにはそれぞれＴＳヘッダを付加する。ＴＳヘッダには、図６に示すように同期バイトから始まって誤り表示、ユニット開始表示等の情報が挿入され、さらにパケット識別情報（ＰＩＤ：Ｐａｃｋｅｔ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と、ペイロードのスクランブルの有無やアダプテーション・フィールドの有無及びペイロードの有無等を示す制御情報が挿入される。ＰＩＤは１３ビットのストリーム識別情報であり、当該パケットの個別ストリームの属性を表す。
【０００５】
これに対し受信側では、送信側から伝送されたトランスポート・ストリームから、ユーザが視聴を希望したプログラムのビデオＰＥＳ及びオーディオＰＥＳが挿入されたＴＳパケットを分離する。そして、この分離したＴＳパケットのビデオＰＥＳ及びオーディオＰＥＳの各ペイロード部分をそれぞれ個別の復号器で復号し、さらにＰＥＳヘッダに挿入されているタイムスタンプ情報に応じて時間的な対応をとって再生する。
【０００６】
【発明が解決しようとする課題】
ところが、特にビデオ符号化において、ＭＰＥＧ−２  Ｖｉｄｅｏ符号化以外の方式、例えばＭＰＥＧ−４  Ｖｉｓｕａｌ等に代表される符号化方式のように、符号化されたビデオフレームが原画像に対して不規則なフレームスキップを起こす可能性のある方式を採用した場合には、ビデオの符号化データに対して正しいタイムスタンプを付けることができなくなる場合がある。
【０００７】
ここでフレームスキップとはいくつかのフレームに関する符号化が省略される現象を意味している。このフレームスキップは、例えば符号化時における発生符号量の増加によって目標ビットレートが得られなくなるような場合などに発生する。フレームスキップ無しでは、割り当て符号量の著しい低下を招く場合があるからである。ＭＰＥＧ−４  Ｖｉｓｕａｌ等に代表される符号化方式は超低ビットレートでの符号化を目標としており、不規則なフレームスキップが生じやすい。
【０００８】
ＭＰＥＧ２システムを前提とした従来の送信側装置では、フレームスキップを考慮する仕組みが無いため、フレームスキップ後のビデオの符号化データに対しては正しいタイムスタンプを付けることができなくなる。よって、フレームスキップが生じると、受信側ではオーディオなどの他メディアとの時間的な対応をとってビデオを再生（同期再生）することができなくなるという不具合が生じる。
【０００９】
本発明はこのような事情を考慮してなされたものであり、原画像に対して不規則なフレームスキップを起こす可能性のある符号化方式を採用した場合でも、送信側でフレームスキップを考慮した時間情報を挿入できるようにし、受信側で他メディアとの時間的な対応をとって再生（同期再生）を行うことが可能な画像符号化装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、符号化画像を生成する画像符号化装置において、動画像を構成する複数のフレームを符号化して符号化画像を生成する符号化手段と、複数のフレーム間の時間差に応じて、符号化手段で符号化されるフレームのスキップの有無およびフレームのスキップ数を検出するスキップ検出手段と、フレーム間隔に基づいてフレームを再生するための基準時間を求めるものであって、スキップ検出手段がスキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための基準時間を求める再生タイミング計算手段と、符号化画像と基準時間とを含むパケットを生成するパケット生成手段とを具備したことを特徴とする。
【００１１】
この発明では、フレーム間隔に基づいてフレームを再生するための基準時間を求めるものであって、複数のフレーム間の時間差に応じて、符号化されるフレームのスキップの有無およびフレームのスキップ数を検出し、このとき、スキップ有りを検出した場合に、フレームのスキップが検出される直前のフレームの基準時間に、フレーム間隔とスキップ数から求めた時間とを加算して当該フレームを再生するための基準時間を求め、符号化画像と基準時間とを含むパケットを生成するようにしている。
【００１２】
したがって、この発明によれば、フレームスキップが生じた場合には、再生するための基準時間を、そのスキップ数に応じて調整できるので、画像に対して不規則なフレームスキップを起こす可能性のある符号化方式を採用した場合でも、送信側でフレームスキップを考慮した基準時間の情報を生成可能な画像符号化装置を提供できる。
【００１３】
【発明の実施の形態】
以下、図面参照して本発明の実施形態を説明する。
図１は本発明の一実施形態に係わるＭＰＥＧ−２システム送信側の構成を示すブロック図である。
【００１４】
送信側の装置はビデオ、オーディオ等の異なる複数のメディア情報を多重化して伝送するマルチメディア多重化伝送システムとして機能するものであり、この送信側の装置には、送信すべき番組（プログラム）の数に対応する複数の符号化ユニット＃１〜＃ｎが設けられている。これらの符号化ユニット＃１〜＃ｎは、それぞれビデオ符号器１１１〜１ｎ１と、オーディオ符号器１１２〜１ｎ２とから構成されている。
【００１５】
ビデオ符号器１１１〜１ｎ１の各々は、それぞれＭＰＥＧ−４  Ｖｉｓｕａｌ等に対応している。オーディオ符号器１１２〜１ｎ２も、それぞれＭＰＥＧ−４Ａｕｄｉｏ等に対応している。すなわち、ＭＰＥＧ−４の規格では、符号化データをＭＰＥＧ−２システムの多重化ストリーム形式で送信することが許容されてあり、本実施形態の送信側の装置は、ＭＰＥＧ−４等で符号化されたビデオおよびオーディオであってもそれをＭＰＥＧ−２システムの多重化ストリーム形式で多重化して送信するように構成されている。
【００１６】
なお、各符号化ユニット＃１〜＃ｎは、ビデオ符号器とオーディオ符号器に限定されるものではなく、例えばパーソナルコンピュータのデータを符号化するデータ符号器等を含むものでもよい。
【００１７】
また送信側の装置には、ＭＰＥＧ−２トランスポートストリームの多重装置（ＭＰＥＧ−２ＴＳ多重装置）５０と、多重化されたトランスポートストリームを伝送路に送り出すための変調処理を行う変調部４０とが設けてられている。
【００１８】
ＭＰＥＧ−２ＴＳ多重装置５０は、上記各符号化ユニット＃１〜＃ｎの各符号器１１１〜１ｎ１、１１２〜１ｎ２に対応して設けられたバッファ２１１〜２ｎ１、２１２〜２ｎ２を有している。これらのバッファ２１１〜２ｎ１、２１２〜２ｎ２は、上記ビデオ符号器１１１〜１ｎ１から出力されたビデオ・エレメンタリストリーム及びオーディオ符号器１１２〜１ｎ２から出力されたオーディオ・エレメンタリストリームをそれぞれ一時蓄積する。バッファ２１１〜２ｎ１、２１２〜２ｎ２内のエレメンタリストリームは次にパース・ＰＥＳ生成部６１１〜６ｎ１、６１２〜６ｎ２に送られ、そこでパース（ストリーム解析）処理と、ＰＥＳと呼ばれる可変長パケットへの変換処理が施される。そして、パース・ＰＥＳ生成部６１１〜６ｎ１、６１２〜６ｎ２で得られたＰＥＳはそれぞれトランスポートストリーム多重部（ＴＳ多重部）３１に供給される。
【００１９】
ＴＳ多重部３１は、上記各パース・ＰＥＳ生成部６１１〜６ｎ１、６１２〜６ｎ２から供給された各ＰＥＳを、図５に示したように所定長ずつに区切ってＴＳパケットに順次挿入することによりトランスポートストリーム（ＴＳ）上に多重化する。また各ＴＳパケットのヘッダには、図６に示すように、誤り表示及びユニット開始表示等の情報と、ペイロードのスクランブルの有無やアダプテーションフィールドの有無及びペイロードの有無等を示す制御情報等を挿入すると共に、各プログラム＃１〜＃ｎに対応して設定されたＰＩＤを挿入する。
【００２０】
上記ＴＳ多重部３１から出力されたトランスポートストリームはバッファ３２を介して変調部４０に入力され、そして有線または無線の伝送路に出力される。
【００２１】
一方、本実施形態のＭＰＥＧ−２システムの受信側装置は次のように構成される。図２はその構成を示すブロック図である。
【００２２】
前記送信側の装置から伝送路を介して到来した伝送信号は復調部６０に入力されトランスポートストリームに復調される。そして、この受信トランスポート・ストリームは、ＭＰＥＧ−２トランスポート・ストリーム分離装置（ＭＰＥＧ２ＴＳ分離装置）７０に入力される。
【００２３】
ＭＰＥＧ２−ＴＳ分離装置７０はバッファ７１を有しており、このバッファ７１で上記受信トランスポート・ストリームを蓄積する。
ＴＳ分離部７４は、制御部７６から与えられたプログラム指定情報に従い、受信トランスポート・ストリームより先ずプログラムアソシエイションテーブルＰＡＴ（ＰＩＤ＝０ｘ００００のＴＳパケット）を抽出し、このＰＡＴから上記指定されたプログラムの管理情報が記述されたプログラムマップテーブルＰＭＴのＰＩＤを検出する。そして、このＰＩＤをもとにＰＭＴを抽出して、このＰＭＴの記述からビデオ・ストリームのＰＩＤ及びオーディオ・ストリームのＰＩＤをそれぞれ検出する。次に、この検出した各ＰＩＤが記述されたＴＳパケットをトランスポート・ストリームから選択的に分離し、この分離した各ＴＳパケットをバッファ７５１，７５２を介してビデオ復号器８１１又はオーディオ復号器８１２に供給する。ビデオ復号器８１１及びオーディオ復号器８１２はそれぞれバッファ７５１，７５２に蓄積されている符号化データをそこに含まれているタイムスタンプ情報に従い表示・出力を行う。
【００２４】
次に、以上のように構成されたシステムの動作を説明する。
【００２５】
先ず送信側の装置では、各プログラム毎に、そのビデオ信号及びオーディオ信号が各々ビデオ符号器１１１〜１ｎ１及びオーディオ符号器１１２〜１ｎ２で符号化されて、ビデオエレメンタリストリーム及びオーディオエレメンタリストリームとなる。そして、これらのビデオエレメンタリストリーム及びオーディオエレメンタリストリームは、それぞれバッファ２１１〜２ｎ１、２１２〜２ｎ２を介してパース・ＰＥＳ生成部６１１〜６ｎ１、６１２〜６ｎ２に入力される。パース・ＰＥＳ生成部６１２〜６ｎ２に入力されるオーディオエレメンタリストリームは一般的に符号化前の原信号に対してフレームスキップを起こすようなことはない。オーディオフレームの再生時間はサンプル数とサンプリング周波数によって決定されるのでパース・ＰＥＳ生成部６１２〜６ｎ２ではパースによってフレームの区切りを認識した後、以下に示す式でＰＴＳ（タイムスタンプ）を容易に計算することができる。ＭＰＥＧ−２のシステムではＰＴＳ（タイムスタンプ）は９０ＫＨｚの精度で表さなければならない。
【００２６】
・オーディオのｎフレーム目のＰＴＳの計算式
ＰＴＳ（ｎフレーム目）
＝ＰＴＳ初期値＋90000×ｎ×（フレームサンプル数／サンプリング周波数）
…（１）
これに対して、ビデオ符号化においてＭＰＥＧ−４  Ｖｉｓｕａｌ等に代表される符号化によって原画像に対して不規則なフレームスキップを起こす可能性のある方式を採用した場合は前記オーディオのように単純に計算することはできない。そのためオーディオとは違い次に示すような動作を行う。パース・ＰＥＳ生成部６１１〜６ｎ１では入力されたビデオエレメンタリストリームに対して、まずパースを行いそのストリームからフレームスキップ情報を抽出し、その情報を使ってタイムスタンプ（ＰＴＳ）を計算する。パースではそれと同時にそのＰＴＳを乗せるべきフレームを切り出し、そのＰＥＳヘッダに前記計算したＰＴＳを乗せる。
【００２７】
ここで、図３フローチャートを参照して、ビデオの符号化データに対するタイムスタンプ生成処理について具体的に説明する。
【００２８】
ＭＰＥＧ−４  Ｖｉｓｕａｌでは直接的にスキップ情報を持っているわけではなく、スキップ数を計算する場合は、ＭＰＥＧ−４  Ｖｉｓｕａｌ自体が持っているローカルなタイムスタンプを利用する。すなわち、パース・ＰＥＳ生成部６１１〜６ｎ１では、先ず入力されたビデオエレメンタリストリームに対してパースを行い、ローカルなタイムスタンプをフレームスキップ情報として抽出する（ステップＳ１０１）。ローカルなタイムスタンプは、ビデオ符号器１１１〜１ｎ１における原画像のフレーム入力時間を示している。すなわち、ＭＰＥＧ−４  Ｖｉｓｕａｌ上ではｎフレーム目、ｎ＋１フレーム目の時間は次のように計算される。
【００２９】
ｎフレーム目の時間＝初期値＋ｎ×（1001/30000）
ｎ＋１フレーム目の時間＝初期値＋（ｎ＋１）×（1001/30000）  …（２）
これはフレーム周波数が約２９．９７Ｈｚの場合であり、（1001/30000）はフレーム間隔1/29.97秒を表している。
【００３０】
次に、ｎフレーム目の時間とｎ＋１フレーム目の時間との差分からフレームスキップ数が算出される（ステップＳ１０２）。つまり、パース・ＰＥＳ生成部６１１〜６ｎ１では、過去１フレーム（ｎ）分の時間が記憶されており、現在のフレーム（ｎ＋１）との差分（＝ｎ＋１フレーム目の時間−ｎフレーム目の時間）からフレームスキップ数が求められる。その差分を1001/30000で割った商がフレームスキップ数となり、差分＝1001/30000であればフレームスキップなしの連続フレームとなる。
【００３１】
この後、パース・ＰＥＳ生成部６１１〜６ｎ１では、フレームスキップ数を考慮して現在のフレームに対応するＰＴＳが算出される（ステップＳ１０３）。現在のフレームがｎ＋１の場合、そのときのＰＴＳは次のようになる。
【００３２】
ＰＴＳ（ｎ＋１フレーム目）
＝ＰＴＳ（ｎフレーム目）＋90000×フレームスキップ数×（1001/30000）
＝ＰＴＳ（ｎフレーム目）＋90000×（ｎ＋１フレーム目の時間−ｎフレーム目の時間）                    …（３）
ただし、上式（３）はＰＴＳ（タイムスタンプ）を９０ＫＨｚの精度で表現する場合を想定している。
【００３３】
この後、パース・ＰＥＳ生成部６１１〜６ｎ１ではＰＥＳヘッダへのＰＴＳの埋め込みが行われ、フレームスキップ数を考慮した正しいＰＴＳを含むＰＥＳヘッダが生成される（ステップＳ１０４）。
【００３４】
以上のようなＰＴＳ生成を行うことで、不規則なフレームスキップが発生しても、その発生したフレームスキップ数分だけＰＴＳの値を時間的に後にずらすことが可能となり、受信側ではビデオをオーディオなどの他のメディアと同期させて正しい時間で表示再生することが可能となる。
【００３５】
このようにしてパース・ＰＥＳ生成部６１１〜６ｎ１、６１２〜６ｎ２から出力されたＰＥＳは次にＴＳ多重部に３１に入力される。ＴＳ多重部３１では、上記各プログラムのビデオＰＥＳ及びオーディオＰＥＳが、それぞれ一定の長さに分割されて順次ＴＳパケットに挿入され、これによりトランスポートストリーム（ＴＳ）に多重化される。そして、バッファ３２を介して変調部４０に送られ伝送路に出力される。
【００３６】
これに対して受信側装置では、伝送路から伝送信号が到来すると、復調部６０でトランスポート・ストリームに復調されてバッファ７１に蓄積される。ＴＳ分離部７４では、制御部７６から与えられたプログラム指定情報に従い、受信トランスポート・ストリームから先ずＰＡＴ（ＰＩＤ＝０ｘ００００）が抽出され、このＰＡＴから上記指定されたプログラムの管理情報が記述されたＰＭＴのＰＩＤが検出される。そして、このＰＩＤをもとにＰＭＴが抽出され、このＰＭＴの記述からビデオ・ストリームのＰＩＤ及びオーディオ・ストリームのＰＩＤがそれぞれ検出される。
【００３７】
次に、このＰＩＤが挿入されたＴＳパケットが受信トランスポート・ストリームから選択的に分離抽出され、この分離された各ＴＳパケットがバッファ７５１，７５２を介してビデオ復号器８１１又はオーディオ復号器８１２に供給される。ビデオ復号器８１１及びオーディオ復号器８１２はバッファ７５１，７５２に存在するＰＴＳを参照してそれぞれ表示再生を行う。
【００３８】
以上のように、本実施形態によれば、ｎ＋１フレーム目の時間とｎフレーム目の時間との差分からフレームスキップ数を検出し、そのフレームスキップ数を考慮してＰＴＳの値を実際の入力ビデオフレームの時間に合わせているので、受信側ではオーディオなどの他の情報データ系列との時間的な対応をとって再生（同期再生）することが可能となる。
【００３９】
なお、符号化の段階でフレームスキップ数情報をビデオエレメンタリストリームに含めて出力するようにビデオ符号器１１１〜１ｎ１を構成し、そのビデオエレメンタリストリームからフレームスキップ数情報を抽出することによってフレームスキップ数を認識するようにしてもよい。
【００４０】
また、本実施形態では、伝送路に対して特に記述はしていないが有線、無線のどちらにも適用可能であることはもちろんである。
【００４１】
また、本実施形態の構成はソフトウエアによって符号化処理・多重化処理を行うソフトウェアエンコードシステムにも適用することができ、本実施形態の手順を記述したコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、その記録媒体を通じてあるいは通信媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を得ることが可能である。
【００４２】
また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、フレームスキップが生じた場合には、再生するための基準時間を、そのスキップ数に応じて調整できるので、画像に対して不規則なフレームスキップを起こす可能性のある符号化方式を採用した場合でも、送信側でフレームスキップを考慮した基準時間の情報を生成可能な画像符号化装置を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるＭＰＥＧ−２システムの送信側の構成を示すブロック図。
【図２】同実施形態のＭＰＥＧ−２システムの受信側の構成を示すブロック図。
【図３】同実施形態のＭＰＥＧ−２システムの送信側に設けられたパース・ＰＥＳ生成部の処理手順を示すフローチャート。
【図４】ＭＰＥＧ２システムにおけるＰＥＳパケットのデータ構造を示す図。
【図５】ＭＰＥＧ２システムにおける各ストリームの相互関係を示す図。
【図６】ＭＰＥＧ２システムにおけるトランスポート・パケットのデータ構造を示す図。
【符号の説明】
１１１〜１ｎ１…ビデオ符号器
１１２〜１ｎ２…オーディオ符号器
２１１〜２ｎ１…バッファ
２１２〜２ｎ２…バッファ
３１…ＴＳ多重部
３２…バッファ
４０…変調部
５０…ＭＰＥＧ−２ＴＳ多重装置
６１１〜６ｎ１…パース・ＰＥＳ生成部
６１２〜６ｎ２…パース・ＰＥＳ生成部
６０…復調部
７０…ＭＰＥＧ−２ＴＳ分離装置
７１，７５１，７５２…バッファ
７４…ＴＳ分離部
７６…制御部
８１１…ビデオ復号器
８１２…オーディオ復号器
【図１】
0004481444.tif 000002
【図２】
0004481444.tif 000003
【図３】
0004481444.tif 000004
【図４】
0004481444.tif 000005
【図５】
0004481444.tif 000006
【図６】
0004481444.tif 000007