(57)【要約】【課題】メインおよびサブストリームの読み出しの切り替えでジャンプを不要とし、また、メインストリームとサブストリームの同期再生を容易とし、さらに、各エレメンタリストリームの分離を容易に行う。【解決手段】Ｓ１０１において、メイントランスポートストリームとサブトランスポートストリームの全てのエレメンタリストリームのＰＩＤの値が重複しないような値に決定される。Ｓ１０２において、共通のＳＴＣを参照して、メインおよびサブトランスポートストリームが符号化される。メインストリームとサブストリームの中で、ＰＣＲパケットのＰＩＤが同じ値とされ、また、メインおよびサブストリームの中で、プログラムマップテーブルの内容が同じものとされる。Ｓ１０３において、メインおよびサブトランスポートストリームがインターリーブされ、記録媒体に記録される。【選択図】　図６
2004120098.tif 000002
【特許請求の範囲】
【請求項１】
オーディオビデオストリームデータを記録または送信する情報処理装置において、
オーディオストリームとビデオストリームとを多重化してメイン多重化ストリームを生成する第１の多重化手段と、
上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームを多重化してサブ多重化ストリームを生成する第２の多重化手段と、
上記メイン多重化ストリームおよび上記サブ多重化ストリームをインターリーブして１つのストリームを生成するインターリーブ手段と、
上記インターリーブ手段からのストリームを記録または送信する手段と
からなる情報処理装置。
【請求項２】
請求項１において、
上記メインストリームと上記サブストリームとが共通の時刻基準信号を参照して多重化された情報処理装置。
【請求項３】
請求項１において、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにした情報処理装置。
【請求項４】
オーディオビデオストリームデータを記録または送信する情報処理方法において、
オーディオストリームとビデオストリームとを多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームを多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームをインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録または送信するステップと
からなる情報処理方法。
【請求項５】
請求項４において、
上記メインストリームと上記サブストリームとが共通の時刻基準信号を参照して多重化される情報処理方法。
【請求項６】
請求項４において、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにする情報処理方法。
【請求項７】
オーディオビデオストリームデータを記録または送信する情報処理装置のプログラムにおいて、
オーディオストリームとビデオストリームとを多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームを多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームをインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録または送信するステップと
からなる情報処理装置のプログラム。
【請求項８】
オーディオビデオストリームデータを記録または送信する情報処理装置を制御するプログラムにおいて、
オーディオストリームとビデオストリームとを多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームを多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームをインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録または送信するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項９】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームが記録または送信されたデータを再生または受信する情報処理装置において、
再生または受信されたデータからメイン多重化ストリームとサブ多重化ストリームとを分離するデインターリーブ手段と、
上記メイン多重化ストリームをオーディオストリームおよびビデオストリームに分離する第１の分離手段と、
上記サブ多重化ストリームを複数の画像ストリームに分離する第２の分離手段と、
上記メイン多重化ストリームおよびサブ多重化ストリームの一方から分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号手段と、
上記複数の画像ストリームを上記時刻基準信号にしたがって復号する第２の復号手段と、
上記第１の復号手段から出力されるビデオ信号と、上記第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置。
【請求項１０】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームであって、上記メイン多重化ストリームおよび上記サブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにされたストリームが記録または送信されたデータを再生または受信する情報処理装置において、
上記パケットＩＤに基づいて、再生または受信されたデータからオーディオストリーム、ビデオストリームおよび上記複数の画像ストリームをそれぞれ分離する分離手段と、
上記再生または受信されたストリームから分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号手段と、
上記複数の画像ストリームを上記時刻基準信号にしたがって復号する第２の復号手段と、
上記第１の復号手段から出力されるビデオ信号と、上記第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置。
【請求項１１】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームが記録または送信されたデータを再生または受信する情報処理方法において、
再生または受信されたデータからメイン多重化ストリームとサブ多重化ストリームとを分離するデインターリーブステップと、
上記メイン多重化ストリームをオーディオストリームおよびビデオストリームに分離し、上記サブ多重化ストリームを複数の画像ストリームに分離する分離ステップと、
上記メイン多重化ストリームおよびサブ多重化ストリームの一方から分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号し、上記複数の画像ストリームを上記時刻基準信号にしたがって復号する復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
からなる情報処理方法。
【請求項１２】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームであって、上記メイン多重化ストリームおよび上記サブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにされたストリームが記録または送信されたデータを再生または受信する情報処理方法において、
上記パケットＩＤに基づいて、再生または受信されたデータからオーディオストリーム、ビデオストリームおよび上記複数の画像ストリームをそれぞれ分離する分離ステップと、
上記再生または受信されたストリームから分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号し、上記複数の画像ストリームを上記時刻基準信号にしたがって復号する復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
からなる情報処理方法。
【請求項１３】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームが記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
再生または受信されたデータからメイン多重化ストリームとサブ多重化ストリームとを分離するデインターリーブステップと、
上記メイン多重化ストリームをオーディオストリームおよびビデオストリームに分離し、上記サブ多重化ストリームを複数の画像ストリームに分離する分離ステップと、
上記メイン多重化ストリームおよびサブ多重化ストリームの一方から分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号し、上記複数の画像ストリームを上記時刻基準信号にしたがって復号する復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
からなる情報処理装置のプログラム。
【請求項１４】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームであって、上記メイン多重化ストリームおよび上記サブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにされたストリームが記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
上記パケットＩＤに基づいて、再生または受信されたデータからオーディオストリーム、ビデオストリームおよび上記複数の画像ストリームをそれぞれ分離する分離ステップと、
上記再生または受信されたストリームから分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号し、上記複数の画像ストリームを上記時刻基準信号にしたがって復号する復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
からなる情報処理装置のプログラム。
【請求項１５】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームが記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
再生または受信されたデータからメイン多重化ストリームとサブ多重化ストリームとを分離するデインターリーブステップと、
上記メイン多重化ストリームをオーディオストリームおよびビデオストリームに分離し、上記サブ多重化ストリームを複数の画像ストリームに分離する分離ステップと、
上記メイン多重化ストリームおよびサブ多重化ストリームの一方から分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号し、上記複数の画像ストリームを上記時刻基準信号にしたがって復号する復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１６】
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームであって、上記メイン多重化ストリームおよび上記サブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにされたストリームが記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
上記パケットＩＤに基づいて、再生または受信されたデータからオーディオストリーム、ビデオストリームおよび上記複数の画像ストリームをそれぞれ分離する分離ステップと、
上記再生または受信されたストリームから分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号し、上記複数の画像ストリームを上記時刻基準信号にしたがって復号する復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１７】
オーディオビデオストリームデータが記録された記録媒体において、
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされたストリームが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ビデオとそれに付随する字幕、グラフィックス等のサブピクチャの記録および再生のための情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
ディスクメディア等のパッケージメディアに映画等のビデオ素材を記録する場合、ビデオストリームとそれに付随するオーディオ、字幕やグラフィックスを多重化したストリームが記録される。例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　またはＤｉｇｉｔａｌ　Ｖｉｄｅｏ　Ｄｉｓｃ）　では、ＭＰＥＧ２で符号化されたビデオストリームとそれに付随するオーディオやサブピクチャ（字幕、グラフィックス、静止画等のメインのビデオ以外の映像情報を意味する）を多重化したＭＰＥＧ２プログラムストリームが記録される。
【０００３】
ＤＶＤのプログラムストリーム上では、あるビデオフレームのデータアドレスとそのビデオに同期表示されるサブピクチャユニットのデータアドレスが隣接していないことが多い。また、１つのサブピクチャユニットは、２０４８バイト長のパックに分割され、各パックがストリーム上で離散的に配置される。
【０００４】
先に、ディスク上にオーディオビデオストリーム（以下、ＡＶストリームと適宜称する）を記録する場合、高速再生のような特殊再生を可能とするために、ストリーム中のＩピクチャの位置等を記録したアドレステーブルを持つ管理方法が本願出願人によって提案されている（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２００２−１５８９７２号公報
【０００６】
ビデオ、オーディオとサブピクチャが多重化されている多重化ＡＶストリーム（例えばＤＶＤビデオのＭＰＥＧ２プログラムストリームファイル）がディスク媒体に記録されている時には、ランダムアクセス再生が図１に示すようになされる。先ず、ランダムアクセスしたい再生時間ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ；再生出力の時刻管理情報）のＩピクチャに同期して再生されるサブピクチャが開始するパックのアドレスが求められる。図１において、Ｐｍ１がアクセスしたい再生時間ＰＴＳのＩピクチャが開始するパックを示す。
【０００７】
求められたサブピクチャのアドレスからデータのリードが開始される。図１において、Ｐｓ１がアクセスしたい再生時間ＰＴＳのＩピクチャに同期して再生されるサブピクチャが開始するパックを示す。そのサブピクチャのデータを全て読み出すまで、リード動作を続ける。図１では、Ｐｓ１，Ｐｓ２，・・・，Ｐｓｎがそのサブピクチャの全データが入っているｎ個のパックを示している。このリード動作では、サブピクチャのパックの間に存在するサブピクチャ以外のパックのデータも読み出さねばならない。
【０００８】
このリードが終了すると、ランダムアクセスしたい再生時間のＩピクチャが開始するパックＰｍ１のアドレスにジャンプする。そして、そのアドレスから読み出しを再開する。これによって、ランダムアクセスしたところのビデオとそれに同期するサブピクチャを再生することができる。
【０００９】
ビデオとそれに付随する符号化されたオーディオ、符号化されたサブピクチャを１つの多重化ストリームにまとめ、この多重化ストリームを記録する方法の他に、ビデオストリームとそれに付随するサブピクチャを別々のストリームとして記録する方法がある。この場合、プレーヤは、同時に複数のストリームを記録媒体から読み出して、それらを同時にデコードする必要がある。
【００１０】
図２は、メインＡＶストリーム（オーディオパケットおよびビデオパケットを多重化したストリーム）とサブストリーム（メインストリームのオーディオ、ビデオ以外のサブピクチャのパケットを多重化したストリーム）とが記録媒体上に別々に記録されている場合の再生方法を示す。ディスク上では、各ストリームが連続記録領域にそれぞれ記録されている。
【００１１】
プレーヤは、メインＡＶストリームの読み出しを開始し、サブストリームのデータが必要な時点となると、サブストリームにジャンプし（ジャンプ１）、サブストリームを再生し、必要なサブストリーム中のデータの読み出しを終了すると、メインＡＶストリームの読み出しに戻るためにジャンプする（ジャンプ２）。各ストリームから読み出されたデータは、連続再生できるようにデコーダに供給される。このように、メインＡＶストリームのリードが止まってから、次にそのリードが再開するまでに、２回のジャンプ動作が必要とされる。
【００１２】
【発明が解決しようとする課題】
図１に示されるように、ビデオとそれに付随するオーディオ、字幕、グラフィックスが１つの多重化ストリームとして記録されていると、ランダムアクセス再生時にサブピクチャのデータをストリームから取り出すことが容易でない。すなわち、サブピクチャ以外のデータも読み出す必要があるために、読み出すことが必要なデータ量が多くなる問題がある。
【００１３】
図２に示されるように、ビデオストリームとそれに付随する字幕やグラフィックスを別々のストリームで記録する方法では、プレーヤが２本のストリームをディスクから交互に読み出すために、読み出しの切り替え時にジャンプが必要である。さらに、読み出された各ストリームを連続再生できるように、各ストリームをデコーダに供給するために、ストリームのビットレートを低く抑えることが必要になる。そのために、ビデオストリームの符号化ビットレートを低くしなければならないので、ビデオ等の符号化画質が低下する問題がある。
【００１４】
したがって、この発明の目的は、オーディオビデオなどのメインストリームに付随する字幕や、グラフィックス等のサブピクチャのサブストリームが記録媒体に記録されている時に、プレーヤがサブストリームを容易に読み出せることができ、また、メインストリームのビットレートの制限が少ない情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、オーディオビデオストリームデータを記録または送信する情報処理装置において、
オーディオストリームとビデオストリームとを多重化してメイン多重化ストリームを生成する第１の多重化手段と、
オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームを多重化してサブ多重化ストリームを生成する第２の多重化手段と、
メイン多重化ストリームおよびサブ多重化ストリームをインターリーブして１つのストリームを生成するインターリーブ手段と、
インターリーブ手段からのストリームを記録または送信する手段と
からなる情報処理装置である。
【００１６】
請求項４の発明は、オーディオビデオストリームデータを記録または送信する情報処理方法において、
オーディオストリームとビデオストリームとを多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームを多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームをインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録または送信するステップと
からなる情報処理方法である。
【００１７】
請求項９の発明は、オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームが記録または送信されたデータを再生または受信する情報処理装置において、
再生または受信されたデータからメイン多重化ストリームとサブ多重化ストリームとを分離するデインターリーブ手段と、
メイン多重化ストリームをオーディオストリームおよびビデオストリームに分離する第１の分離手段と、
サブ多重化ストリームを複数の画像ストリームに分離する第２の分離手段と、
メイン多重化ストリームおよびサブ多重化ストリームの一方から分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号手段と、
複数の画像ストリームを時刻基準信号にしたがって復号する第２の復号手段と、
第１の復号手段から出力されるビデオ信号と、第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置である。
【００１８】
請求項１０の発明は、オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームであって、メイン多重化ストリームおよびサブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにされたストリームが記録または送信されたデータを再生または受信する情報処理装置において、
パケットＩＤに基づいて、再生または受信されたデータからオーディオストリーム、ビデオストリームおよび複数の画像ストリームをそれぞれ分離する分離手段と、
再生または受信されたストリームから分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号手段と、
複数の画像ストリームを時刻基準信号にしたがって復号する第２の復号手段と、
第１の復号手段から出力されるビデオ信号と、第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置である。
【００１９】
請求項１１の発明は、オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームが記録または送信されたデータを再生または受信する情報処理方法において、
再生または受信されたデータからメイン多重化ストリームとサブ多重化ストリームとを分離するデインターリーブステップと、
メイン多重化ストリームをオーディオストリームおよびビデオストリームに分離し、サブ多重化ストリームを複数の画像ストリームに分離する分離ステップと、
メイン多重化ストリームおよびサブ多重化ストリームの一方から分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号し、複数の画像ストリームを時刻基準信号にしたがって復号する復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
からなる情報処理方法である。
【００２０】
請求項１２の発明は、オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされた１つのストリームであって、メイン多重化ストリームおよびサブ多重化ストリームの中で、パケットの属性を表すパケットＩＤの値が重複しないようにされたストリームが記録または送信されたデータを再生または受信する情報処理方法において、
パケットＩＤに基づいて、再生または受信されたデータからオーディオストリーム、ビデオストリームおよび複数の画像ストリームをそれぞれ分離する分離ステップと、
再生または受信されたストリームから分離された時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号し、複数の画像ストリームを時刻基準信号にしたがって復号する復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
からなる情報処理方法である。
【００２１】
請求項１７の発明は、オーディオビデオストリームデータが記録された記録媒体において、
オーディオストリームとビデオストリームとが多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される複数の画像ストリームが多重化されたサブ多重化ストリームとがインターリーブされたストリームが記録された記録媒体である。
【００２２】
この発明では、メインストリーム中のビデオと同期して再生されるサブピクチャのサブストリームとがインターリーブされて１つのストリームとして記録または送信されるので、メインストリームとサブストリームの切り替えでジャンプ動作が不要であり、各ストリームを連続再生できる。同期再生は、時刻基準信号がメインおよびサブのストリームで共通とされているので、容易になしうる。さらに、メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤが重複しないように、ストリームを符号化することによって、エレメンタリストリームのデマルチプレックス（分離）を容易とできる。
【００２３】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図３は、この発明における記録データの生成方法の一例を示す。オーディオビデオなどのメイン多重化オーディオビデオストリームファイル（以下、適宜メインＡＶストリームと称する）と、それに付随する字幕やグラフィックス等のサブ多重化ストリームファイル（以下、適宜サブストリームと称する）を別々と生成する。これらのストリームは、例えばＭＰＥＧ２のプログラムストリームの形式とされている。そして、これらのストリームを図３に示すように、インターリーブして記録媒体上に記録する。
【００２４】
図３において、メインＡＶストリームが所定時間例えば１ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）毎のデータユニット１ａ，１ｂ，１ｃ，・・・に分割され、また、サブストリームが同様に１ＧＯＰ等の所定時間毎のデータユニット２ａ，２ｂ，２ｃ，・・・に分割される。例えばメインＡＶストリームのデータユニット１ａと同期して、サブストリームのデータユニット２ａが再生されるようになされる。そして、メインＡＶストリームおよびサブストリームから交互にデータユニットが選択されるように、インターリーブされ、１つのストリームが形成され、このストリームがディスク上に記録される。サブストリームのデータユニットがメインストリームのデータユニットよりも先に記録されても良い。メインストリームとサブストリームとは、共通の時刻基準信号例えばシステムタイムクロックＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ：基本となる同期信号）を参照して符号化されている。これは、メインストリームとサブストリームの同期再生を容易とするためである。
【００２５】
図４は、例えば、メインストリームとサブストリームとがそれぞれトランスポートストリームである例を示す。図４において、１つの矩形の領域がトランスポートストリームパケットを示している。トランスポートストリームパケットは、１８８バイトの固定長を有し、ヘッダ部分にパケットＩＤ（ＰＩＤ：Ｐａｃｋｅｔ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と略す）が含まれる。ＰＩＤは、ストリームの識別情報で、そのパケットが含まれるストリームの属性が示される。
【００２６】
また、パケットのヘッダ部分にオプションで挿入できるアダプテーションフィールド内にＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ：プログラム時刻基準参照値）が挿入される。それぞれのストリームのＰＣＲが共通のＳＴＣを参照する。デコーダにおける時刻基準となるＳＴＣの値がＰＣＲの示す値にセットされる。
【００２７】
トランスポートストリームのメインストリームとサブストリームがインターリーブされる。上述したように、メインストリーム中の１ＧＯＰ分のデータユニットとサブストリーム中の１ＧＯＰ分のデータユニットとが１つのストリームにインターリーブされる。メインストリームとサブストリームの全てのストリーム中で、ＰＩＤが重複しないように規定されている。それによって、後述するように、プレーヤシステムにおいて、デマルチプレクサの個数を１つとできる。
【００２８】
図５を参照して、この発明によるレコーダシステムの一例について説明する。ビデオ入力とオーディオ入力とがＡＶエンコーダ１１に入力され、符号化およびパケット化の処理を受ける。例えばＭＰＥＧ２でビデオデータが符号化され、ＡＣ−３でオーディオデータが符号化される。ＡＶエンコーダ１１からのタイムスタンプが付加されたビデオエレメンタリストリームＶと、タイムスタンプが付加されたオーディオエレメンタリストリームＡとがマルチプレクサ（図５ではＭＵＸと表記する）１２に入力される。マルチプレクサ１２は、メインのトランスポートストリームを符号化する。そして、メインのトランスポートストリームがバッファメモリ１６へ入力される。
【００２９】
グラフィックス入力データとサブタイトル入力データとがグラフィックスおよびサブタイトルエンコーダ１３に入力され、符号化およびパケット化の処理を受ける。エンコーダ１３からのグラフィックスエレメンタリストリームＧとサブタイトルエレメンタリストリームＳとがマルチプレクサ３４に入力される。マルチプレクサ３４は、サブのトランスポートストリームを符号化する。そして、サブのトランスポートストリームがバッファメモリ１７へ入力される。
【００３０】
マルチプレクサ１２および１４のそれぞれは、次のような符号化処理を行う。すなわち、
メインストリームとサブストリームがＳＴＣ生成部１５からの、共通のシステムクロックＳＴＣを参照して符号化され、
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）が重複しないようにされ、
好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３１】
バッファメモリ１６および１７の出力がスイッチ部１８によって、所定時間毎に例えば１ＧＯＰ毎に選択され、スイッチ部１８の出力にインターリーブされたストリームが取り出される。バッファメモリ１６、１７およびスイッチ部１８がインターリーブ装置を構成する。インターリーブされたストリームがドライブ部１９に供給され、メディア２０に記録される。図示を省略するが、通常、スイッチ部１８とドライブ部１９の間に、エラー訂正符号化の処理を行うＥＣＣエンコーダとディジタル変調を行うディジタル変調器が設けられる。
【００３２】
ドライブ部１９は、メディア（例えば記録可能な光ディスク）２０を回転させ、光学的ヘッドによって記録データを所定の書き込み位置に記録する構成とされている。ドライブ部１９は、メディア２０の回転サーボ、光学的ヘッドに対するトラッキングサーボおよびフォーカスサーボのためのサーボ部を有している。インターリーブされたストリームが光学的ヘッドによってメディア２０に記録される。
【００３３】
図６は、記録方法の処理の流れを示すフローチャートである。図６では、省略されているが、ステップＳ１０１の前の段階において、入力されたビデオデータおよびオーディオデータに対して符号化処理がなされ、グラフィックスデータおよびサブタイトルデータに対して符号化処理がなされる。
【００３４】
ステップＳ１０１において、ＡＶデータからなるメインのトランスポートストリーム（図ではＴＳと表記する）とグラフィックスおよびサブタイトルのデータからなるサブのトランスポートストリームの全てのエレメンタリストリームのＰＩＤの値が重複しないような値に決定される。
【００３５】
ステップＳ１０２において、共通のシステムタイムクロックＳＴＣを参照して、メイントランスポートストリームとサブトランスポートストリームが符号化される。好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３６】
ステップＳ１０３において、メイントランスポートストリームとサブトランスポートストリームがインターリーブされ、インターリーブされたストリームが記録媒体に記録される。
【００３７】
図７は、上述したように、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムを示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えで読み出し位置のジャンプ動作は、不要である。
【００３８】
入力端子３１に対してメディア例えば光ディスクから読み出されたデータが供給され、読み出しデータがバッファメモリ３２に蓄えられる。バッファメモリ３２の出力には、デインターリーブ用のスイッチ部３３が設けられている。スイッチ部３３によって、メインストリームのデータがバッファメモリ３４へ入力され、サブストリームのデータがバッファメモリ３５へ入力される。
【００３９】
バッファメモリ３４から出力されるメインストリームのデータがデマルチプレクサ（図中、ＤＥ−ＭＵＸと表記されている）３６へ入力される。デマルチプレクサ３６は、ＰＩＤに基づいてメインストリーム中の各パケットの属性を判別し、判別結果に基づいて属性毎にパケットデータを分離する。デマルチプレクサ３６によって抜き出されたＰＣＲパケットがＳＴＣ（システムタイムクロック）生成部３８へ供給される。
【００４０】
ＳＴＣ生成部３８は、ＰＣＲパケットのＰＣＲの値に基づいて２７ＭＨｚのクロックおよびＳＴＣを生成する。ＳＴＣ生成部３８は、一例として、ＰＣＲとカウンタの出力とを比較する比較器と、比較器の出力が供給されるローパスフィルタと、ローパスフィルタの出力が制御電圧として供給され、２７ＭＨｚのクロックを発生するＶＣＯ（Ｖｏｌｔａｇｅ　Ｃｏｎｔｒｏｌｌｅｄ　Ｏｓｃｉｌｌａｔｏｒ）と、ＶＣＯの出力が入力され、その出力が比較器に出力されるカウンタとから構成される。カウンタに対してＰＣＲの値がセットされる。
【００４１】
また、デマルチプレクサ３６は、メインストリーム中のオーディオストリームとビデオストリームとを分離して、各ストリームをＡＶデコーダ３９へ入力する。ＡＶデコーダ３９は、オーディオストリームおいてビデオストリームをそれぞれ復号して、復号されたビデオデータおよびオーディオデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４２】
一方、バッファメモリ３５から出力されるサブストリームのデータは、デマルチプレクサ３７へ入力される。デマルチプレクサ３７は、サブストリームからグラフィックスストリームと、サブタイトルストリームを分離する。グラフィックスストリームおよびサブタイトルストリームがデコーダ４０へ供給される。デコーダ４０は、グラフィックスストリームとサブタイトルストリームをそれぞれ復号する。復号されたグラフィックスデータおよびサブタイトルデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４３】
コントローラ４１は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ４１は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照して、ＳＴＣ生成部３８で生成された基準クロックＳＴＣに基づいて、オーディオとビデオを同期させて出力する。
【００４４】
次に、この発明が適用されたプレーヤシステムの他の例について説明する。他の例は、メディアに記録されるメインストリームとサブストリームを以下のように符号化することによって、デマルチプレクサの個数を減少させ、プレーヤシステムを簡単化するものである。
【００４５】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）の値が重複しないように、ストリームが符号化されている。それによって、１つのデマルチプレクサによって、各エレメンタリストリームのデマルチプレックス（分離）を行うことができる。
【００４６】
この場合に、メインストリームとサブストリームの中でＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値であることが好ましい。また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容を同じにすることが好ましい。すなわち、メインストリームのＰＭＴの中にサブストリームの情報も記述し、また、サブストリームのＰＭＴの中にメインストリームの情報も記述する。なお、ＭＰＥＧ２トランスポートストリームにおいて、プログラムマップテーブルは、プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのＰＩＤのリストや付属情報を記述するためのものである。
【００４７】
図８は、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムの他の例の構成を示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。
【００４８】
メディアから読み出されたデータは、入力端子５１から入力され、バッファメディア５２に蓄えられる。バッファ５２から読み出されたストリームのデータは、デマルチプレクサ５３に入力される。デマルチプレクサ５３は、最初のＰＣＲパケットを抜き出して、それをＳＴＣの初期値として、ＳＴＣ（システムタイムクロック）生成部５４内のカウンタにセットする。ＳＴＣ生成部５４内のカウンタは、ＰＬＬの構成の分周回路として機能し、カウンタがＶＣＯからの２７ＭＨｚのクロックをカウントし、ＳＴＣを出力する。
【００４９】
デマルチプレクサ５３は、オーディオビデオストリームからオーディオパケット、ビデオパケットを分離して、各パケットをＡＶデコーダ５５へ入力する。ＡＶデコーダ５５は、オーディオストリームおよびビデオストリームをそれぞれ復号して、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５０】
また、デマルチプレクサ５３は、サブストリームからグラフィックスパケットおよびサブタイトルパケットを分離し、各パケットをグラフィックスおよびサブタイトルデコーダ５６へ入力する。グラフィックスおよびサブタイトルデコーダ５６は、グラフィックスおよびサブタイトルデータを復号して、復号データをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５１】
ＡＶデコーダ５５とグラフィックスおよびサブタイトルデコーダ５６は、バッファメモリ５２にデータがあれば、それを復号し、バッファメモリ５２が空になると、復号を止める。すなわち、ＡＶデコーダ５５とデコーダ５６は、多重化ストリーム中のデコードタイムスタンプ（ＤＴＳ：Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）を無視して、ストリームの復号を行う。ＤＴＳは、ＭＰＥＧにおいて、復号する順序と再生する順序が異なることから設けられている。すなわち、ＩピクチャとＰピクチャは、Ｂピクチャよりも先行してストリームに出力するようになされる。
【００５２】
ビデオコンポーザおよびシンクコントローラ５７は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ５７は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照してＳＴＣ生成部５４からの基準クロックＳＴＣに基づいて、オーディオとビデオを同期して出力する。
【００５３】
図９は、図８のプレーヤシステムにおける再生の処理の流れを示すフローチャートである。ステップＳ２０１において、インターリーブしてメディア上に記録されている２個のトランスポートストリームをデータ配置の順に読み出す。
【００５４】
ステップＳ２０２において、読み出されたデータをデマルチプレクサ５３に入力する。
【００５５】
ステップＳ２０３において、デマルチプレクサ５３が入力データからエレメンタリストリームを分離して、デコーダへ入力する。すなわち、デマルチプレクサ５３は、オーディオストリームおよびビデオストリームを分離して、ＡＶデコーダ５５へ入力する。また、デマルチプレクサ５３は、サブストリームからグラフィックスストリームおよびサブタイトルストリームを分離して、グラフィックスおよびサブタイトルデコーダ５６へ入力する。
【００５６】
ステップＳ２０４において、各デコーダは、ＤＴＳを無視して復号を行う。すなわち、ＡＶデコーダ５５がオーディオデータおよびビデオデータを復号し、グラフィックスおよびサブタイトルデコーダ５６がグラフィックスデータおよびサブタイトルデータを復号する。
【００５７】
ステップＳ２０５において、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力し、ビデオデータとグラフィックスデータを合成して表示ビデオ信号を生成する。また、ＰＴＳを参照して、オーディオビデオを同期出力する。
【００５８】
次に、メインストリームとサブストリームがディスク媒体にインターリーブして記録されている時のランダムアクセス再生の例について説明する。メインストリームの所定再生時間分のデータと、これに対応して同期再生される時間分のサブストリームとをインターリーブして記録すると、ランダムアクセス再生を容易にできる。
【００５９】
図１０は、ランダムアクセス再生動作を説明するもので、参照符号ＡＤ１は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生される字幕やグラフィックスが開始するパケットのアドレスを示す。参照符号ＡＤ２は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャが開始するパケットのアドレスを示す。
【００６０】
ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生されるサブストリームが開始するパケットのアドレスＡＤ１からデータのリードを開始する。メインストリームとサブストリームは、連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプ動作が不要である。これにより、ランダムアクセスしたい箇所のビデオとそれに同期するサブストリームを再生することができる。
【００６１】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、メインストリームおよびサブストリームをネットワークを介して伝送する通信に対しても適用することができる。送信装置の場合では、図５中のドライブ部１９およびメディア２０が送信部に変更される。受信装置の場合では、図７中の入力端子３１および図８中の入力端子５１に受信データが供給される。
【００６２】
【発明の効果】
この発明では、オーディオビデオなどのメインストリームと、メインストリームに付随する字幕やグラフィックスなどのサブストリームがインターリーブして連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。したがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームの符号化ビットレートを低くする必要がなく、ビデオ等の画質が劣化する問題が生じない。
【００６３】
この発明では、メインストリームとサブストリームが共通の時刻基準信号（ＳＴＣ）を参照するように、ストリームを符号化するので、メインストリームとサブストリームの同期再生を容易にできる。
【００６４】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤの値が重複しないように、ストリームを符号化するので、各エレメンタリストリームのデマルチプレックス（分離）を容易にできる。
【図面の簡単な説明】
【図１】メインＡＶデータとサブピクチャが多重化されているストリームをランダムアクセス再生する従来の方法を説明するための略線図である。
【図２】従来のＡＶストリームとサブストリームを別々のストリームとして記録した場合の従来の再生方法を説明するための略線図である。
【図３】この発明によるメインストリームおよびサブストリームの記録方法を説明するための略線図である。
【図４】トランスポートストリームの場合のこの発明による記録方法を説明するための略線図である。
【図５】この発明によるレコーダシステムの一例の構成を示すブロック図である。
【図６】この発明による記録方法の処理の流れを示すフローチャートである。
【図７】この発明によるプレーヤシステムの一例の構成を示すブロック図である。
【図８】この発明によるプレーヤシステムの他の例の構成を示すブロック図である。
【図９】この発明によるプレーヤシステムの他の例の再生方法の処理の流れを示すフローチャートである。
【図１０】この発明によりインターリーブして記録されている２個のトランスポートストリームをランダムアクセス再生する方法を説明するための略線図である。
【符号の説明】
１２，１４・・・マルチプレクサ、１５・・・ＳＴＣ生成部、１８・・・インターリーブ用スイッチ部、３３・・・デインターリーブ用スイッチ部、３６，３７・・・デマルチプレクサ、３８・・・ＳＴＣ生成部、３９・・・ＡＶデコーダ、４０・・・グラフィックスおよびサブタイトルデコーダ、４１・・・ビデオコンポーザおよびシンクコントローラ
【図１】
2004120098.tif 000003
【図２】
2004120098.tif 000004
【図３】
2004120098.tif 000005
【図４】
2004120098.tif 000006
【図５】
2004120098.tif 000007
【図６】
2004120098.tif 000008
【図７】
2004120098.tif 000009
【図８】
2004120098.tif 000010
【図９】
2004120098.tif 000011
【図１０】
2004120098.tif 000012