(57)【要約】【課題】マルチメディア符号化データを再生に先立って取得することを可能とし、ビデオ再生中のマルチメディア表示のタイミングで必要なモノメディアデータを迅速に取得する。【解決手段】Ｓ３０２で取得したマルチメディア符号化データが解釈され、次にＣＰＩデータが読み出され、Ｓ３０４でランダムアクセス再生を開始する時刻が取得される。Ｓ３０５でマルチメディア符号化データに基づいてその時刻のビデオに同期して表示されるモノメディアデータが特定され、Ｓ３０６でＣＰＩデータから時刻に最も近い、アドレスが決定され、Ｓ３０７でそのアドレスから多重化ＡＶストリームが読み出される。Ｓ３０８で読み出されたビデオ、オーディオおよびモノメディアデータが復号される。Ｓ３０９で表示ビデオ信号が生成され、Ｓ３１０において表示ビデオ信号とオーディオとが同期再生して出力される。【選択図】　図１１
2004104477.tif 000002
【特許請求の範囲】
【請求項１】
ＡＶストリームデータを記録または送信する情報処理装置において、
メインＡＶデータとそれに付随するモノメディアデータと上記モノメディアデータの表示タイミングと表示態様制御データとを含むマルチメディア符号化データとを記録または送信する時に、
マルチメディア表示タイミングで必要な上記モノメディアデータが上記多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍に位置するように、上記メインＡＶデータと上記モノメディアデータとを多重化して１つの多重化ストリームを生成し、
上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルと、上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データを生成し、
上記多重化ストリームと上記マルチメディア符号化データと上記特徴点データとを分離して記録または送信するようにした情報処理装置。
【請求項２】
請求項１において、
上記表示態様制御データは、再生画面上の表示位置のデータと、表示倍率のデータである情報処理装置。
【請求項３】
請求項１において、
上記モノメディアデータは、グラフィックスデータ、静止画データおよびテキストデータの何れかである情報処理装置。
【請求項４】
ＡＶストリームデータを記録または送信する情報処理方法において、
メインＡＶデータとそれに付随するモノメディアデータと上記モノメディアデータの表示タイミングと表示態様制御データとを含むマルチメディア符号化データとを記録または送信する時に、
マルチメディア表示タイミングで必要な上記モノメディアデータが上記多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍に位置するように、上記メインＡＶデータと上記モノメディアデータとを多重化して１つの多重化ストリームを生成するステップと、
上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルと、上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データを生成するステップと、
上記多重化ストリームと上記マルチメディア符号化データと上記特徴点データとを分離して記録または送信するステップと
からなる情報処理方法。
【請求項５】
ＡＶストリームデータを記録または送信する情報処理装置のプログラムにおいて、
メインＡＶデータに付随するモノメディアデータの表示タイミングと表示態様制御データとを含むマルチメディア符号化データとを記録または送信するステップと、
マルチメディア表示タイミングで必要な上記モノメディアデータが上記多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍に位置するように、上記メインＡＶデータと上記モノメディアデータとを多重化して１つの多重化ストリームを生成するステップと、
上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルと、上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データを生成するステップと、
上記マルチメディア符号化データを記録または送信するステップと、
上記多重化ストリームおよび上記特徴点データを記録または送信するステップと
からなる情報処理装置のプログラム。
【請求項６】
ＡＶストリームデータを記録または送信する情報処理装置を制御するプログラムにおいて、
メインＡＶデータに付随するモノメディアデータの表示タイミングと表示態様制御データとを含むマルチメディア符号化データとを記録または送信するステップと、
マルチメディア表示タイミングで必要な上記モノメディアデータが上記多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍に位置するように、上記メインＡＶデータと上記モノメディアデータとを多重化して１つの多重化ストリームを生成するステップと、
上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルと、上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データを生成するステップと、
上記マルチメディア符号化データを記録または送信するステップと、
上記多重化ストリームおよび上記特徴点データを記録または送信するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームとが分離して記録または送信されたデータを再生または受信する情報処理装置において、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成し、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号し、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成する情報処理装置。
【請求項８】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームとが分離して記録または送信されたデータを再生または受信する情報処理方法において、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号するステップと、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
とからなる情報処理方法。
【請求項９】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームとが分離して記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号するステップと、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
からなる情報処理装置のプログラム。
【請求項１０】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームとが分離して記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号するステップと、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１１】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームと、上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよび上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データとが分離して記録または送信されたデータを再生または受信する情報処理装置において、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成し、
上記マルチメディア符号化データに基づいて、ランダムアクセス時刻のビデオに同期して表示されるモノメディアデータを特定し、取得された上記特徴点データから特定された上記モノメディアデータの上記多重化ストリーム中のアドレスを決定し、上記特定されたモノメディアデータを取得し、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号し、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成する情報処理装置。
【請求項１２】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームと、上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよび上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データとが分離して記録または送信されたデータを再生または受信する情報処理方法において、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
上記マルチメディア符号化データに基づいて、ランダムアクセス時刻のビデオに同期して表示されるモノメディアデータを特定し、取得された上記特徴点データから特定された上記モノメディアデータの上記多重化ストリーム中のアドレスを決定し、上記特定されたモノメディアデータを取得するステップと、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号するステップと、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
とからなる情報処理方法。
【請求項１３】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームと、上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよび上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データとが分離して記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
上記マルチメディア符号化データに基づいて、ランダムアクセス時刻のビデオに同期して表示されるモノメディアデータを特定し、取得された上記特徴点データから特定された上記モノメディアデータの上記多重化ストリーム中のアドレスを決定し、上記特定されたモノメディアデータを取得するステップと、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号するステップと、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
からなる情報処理装置のプログラム。
【請求項１４】
モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームと、上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよび上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データとが分離して記録または送信されたデータを再生または受信する情報処理装置のプログラムにおいて、
上記マルチメディア符号化データを取得し、取得した上記マルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
上記マルチメディア符号化データに基づいて、ランダムアクセス時刻のビデオに同期して表示されるモノメディアデータを特定し、取得された上記特徴点データから特定された上記モノメディアデータの上記多重化ストリーム中のアドレスを決定し、上記特定されたモノメディアデータを取得するステップと、
上記多重化ストリームを取得し、上記メインＡＶデータおよび上記モノメディアデータを復号するステップと、
上記プレゼンテーションコントロール情報に基づいて上記メインＡＶデータおよび上記モノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１５】
ＡＶストリームデータが記録された記録媒体において、
モノメディアデータの表示タイミングおよび表示態様制御データを含むマルチメディア符号化データと、
多重化ストリームのアドレス上で上記表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータと上記モノメディアデータとが多重化された多重化ストリームと、
上記メインＡＶデータ中の特徴点の時刻と上記多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよび上記モノメディアの上記多重化ストリーム中のアドレスが記述された第２のテーブルからなる特徴点データとが分離して記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ビデオとそれに付随するモノメディアデータの処理に適用される情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
最近では、ビデオとオーディオの表示にマルチメディア符号化データを付加したビデオサービスが増えている。このサービスでは、ビデオデータ、オーディオデータ、文字図形データ、静止画データなどの複数のモノメディアデータがマルチメディア符号化データにより関連付けて符号化される。マルチメディア符号化データには、例えばＨＴＭＬ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）やＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）がある。
【０００３】
図１を参照して、送信側（記録再生装置では、送信側が記録側となる）と受信側（記録再生装置では、受信側が再生側となる）とで授受される複数のモノメディアデータおよびマルチメディア画面の合成例を説明する。図１（Ａ）に示すように、送信側は、メインビデオデータ１、ボタン１〜ボタン３を表示させるための文字図形データ２ａ、２ｂ、２ｃ、”ＡＢＣ・・・・”といった文字を表示させるための文字データ３、並びにこれらを関連付けるためのマルチメディア符号化データ４が図１（Ｂ）に示す受信側に対して送信される。ここで、送信データとは、テレビジョン放送局から送信されるデータ、記録媒体から読み出されるデータ等である。
【０００４】
マルチメディア符号化データ４は、メインビデオデータ１、文字図形データ２ａ，２ｂ，２ｃおよび文字データを、受信側で合成して表示できるようなデータを含んでいる。すなわち、マルチメディア符号化データは、図１（Ｂ）に示すように、メインビデオデータ１、文字図形データ２ａ，２ｂ，２ｃおよび文字データ３のそれぞれのデータによって表示される画像、文字図形、および文字の画面上のレイアウト表示（画面上の表示位置（ｘ＝ｘ１、ｙ＝ｙ１）、表示倍率等）に関するデータである。
【０００５】
受信側では、マルチメディア符号化データ４を基に、メインビデオデータ１、文字図形データ２ａ，２ｂ，２ｃおよび文字データ３がそれぞれ処理され、図１（Ｂ）に示すように、それぞれのデータに基づくメインビデオ画像１１、ボタン１、ボタン２およびボタン３のそれぞれの画像１２ａ，１２ｂ，１２ｃ並びに文字画像１３が表示される。ユーザは、図１（Ｂ）に示すように表示された画面において、例えばボタン１の画像１２ａを操作すると、その操作に対応した情報がメインビデオ画像１１の部分に表示されるといったサービスや、画面下側に表示されている文字画像１３からメインビデオ画像１１に表示されている事柄に関する情報を取得するといったサービスを受けることができる。
【０００６】
このようなマルチメディア符号化データを付加したビデオサービスがディジタルテレビジョン放送やパッケージメディア例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　またはＤｉｇｉｔａｌ　Ｖｉｄｅｏ　Ｄｉｓｃ）　ビデオで使用されている。
【０００７】
ディジタルテレビジョン放送では、ビデオデータ、オーディオデータ、文字図形データ、静止画データ等のモノメディアデータとマルチメディア符号化データは、それぞれトランスポートパケットにパケット化され、１つのトランスポートストリームに多重化されて送信される。例えば日本のＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ　Ｓａｔｅｌｌｉｔｅ）ディジタル放送では、マルチメディア符号化データとして、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）ベースのＢＭＬ（Ｂｒｏａｄｃａｓｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）が使用される。
【０００８】
また、パッケージメディアの一例であるＤＶＤビデオでは、ビデオデータ、サブピクチャ（ビットマップデータ）がマルチメディア符号化データによって関連付けて符号化される。ＤＶＤビデオの場合では、マルチメディア符号化データは、サブピクチャ表示情報とナビコマンドが用いられる。ＤＶＤビデオでは、メインビデオデータとサブピクチャとマルチメディア符号化データのそれぞれのパケット化されたエレメンタリストリームは、１つのプログラムストリームに多重化されたフォーマットでもってＤＶＤに記録される。
【０００９】
先に、ディスク上にオーディオビデオストリーム（以下、ＡＶストリームと適宜称する）を記録する場合、高速再生のような特殊再生を可能とするために、ストリーム中のＩピクチャの位置等を記録したアドレステーブルを持つ管理方法が本願出願人によって提案されている（例えば特許文献１参照）。
【００１０】
【特許文献１】
特開２００２−１５８９７２号公報
【００１１】
図２は、ディジタルテレビジョン放送におけるトランスポートストリームや、ＤＶＤビデオにおけるプログラムストリームのように、メインＡＶデータと、メインＡＶデータ以外のモノメディアデータとマルチメディア符号化データとが多重化されているストリーム（以下、適宜多重化ＡＶストリームと称する）が記録媒体に記録されている場合を示す。トランスポートストリームの場合のデータの単位がトランスポートパケットであり、プログラムストリームの場合のデータの単位がパックである。複数のパケットからパックが構成される。
【００１２】
メインＡＶデータは、例えばＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　Ｐｈａｓｅ　２）ビデオおよびＡＣ−３で圧縮されたオーディオである。メインＡＶデータ以外のモノメディアデータは、ＢＳディジタル放送におけるＰＮＧ（Ｐｏｒｔａｂｌｅ　Ｎｅｔｗｏｒｋ　Ｇｒａｐｈｉｃｓ）　、ＭＮＧ、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、テキスト情報、ＤＶＤのサブタイトル等である。マルチメディア符号化データは、例えばＢＳディジタル放送におけるＢＭＬ、ＤＶＤにおけるサブピクチャ表示情報とナビコマンドである。
【００１３】
また、メインＡＶデータとそれに付随するモノメディアデータとマルチメディア符号化データとが図３に示すように、それぞれ別々のファイルとされてディスク上に記録される場合がある。図３の例では、モノメディアデータとして、グラフィックスデータ（ＰＮＧ／ＭＮＧファイル）、静止画データ（ＪＰＥＧファイル）、テキストファイルを使用している。このように、各データを別々のファイルとして記録する方法は、パーソナルコンピュータ（ＰＣ）のアプリケーションで多い。
【００１４】
ところで、マルチメディア符号化データが付加されているビデオサービスを再生する場合、その再生に先立って、全てのマルチメディア符号化データを読み出すことができると、その再生の始終にわたる再生の全体像（構成、様子）を把握することができるので、便利である。例えば、マルチメディア符号化データを利用してグラフィックスデータの表示されるタイミングを予め取得し、グラフィックスデコーダの初期設定等の制御に取得したタイミングを利用することが可能となる。
【００１５】
【発明が解決しようとする課題】
しかしながら、図２に示す多重化ＡＶストリームの場合、その再生に先立って、マルチメディア符号化データだけを読み出すことが難しかった。このマルチメディア符号化データを読み出すためには、多重化ＡＶストリームをデマルチプレックス（分離）して、マルチメディア符号化データを抽出することになる。この処理は、時間が長くかかり、実用的でなかった。そのため、従来では、再生時間の経過にまかせて、その時々に受信するモノメディアデータとマルチメディア符号化データを処理する方法をとっていた。
【００１６】
一方、図３に示すように、メインＡＶデータとそれに付随するモノメディアデータとマルチメディア符号化データがそれぞれ別にファイル化されているビデオサービスを再生する場合、その再生に先立ってマルチメディア符号化データ（ファイル）を容易に取得することができる。しかしながら、メインＡＶストリームとそれに付随するモノメディア表示のタイミングで、プレーヤは、複数のファイルをディスクから順番に読み出すために、読み出しの切り替え時にジャンプが必要である。
【００１７】
図３の例では、予め取得されたマルチメディア符号化データファイルからマルチメディアの表示タイミングが分かる。メインＡＶデータの読み出しを開始して、表示タイミングになると、グラフィックス（例えばＰＮＧ／ＭＮＧファイル）、静止画ファイル（例えばＪＰＥＧファイル）、テキストファイルを読み出すために、ジャンプがなされる。また、マルチメディアの表示が終了すると、ジャンプがなされ、メインＡＶデータの読み出しに戻る。
【００１８】
このように、ジャンプのために、マルチメディア表示に時間がかかる問題がある。また、ビデオ再生中のマルチメディア表示のタイミングにおいて、ビデオ再生をシームレスにする場合は、メインＡＶストリームを連続再生できるように、ストリームをＡＶデコーダに供給する必要がある。そのことを保証するために、ＡＶストリームのビットレートを低く抑えることが必要になる。ビデオストリームの符号化ビットレートを低くする結果、ビデオの符号化画質が低下する問題がある。
【００１９】
したがって、この発明の目的は、ビデオ表示に加えて、モノメディアデータとマルチメディア符号化データを付加したビデオサービスにおいて、その再生に先立って、マルチメディア符号化データを容易に取得することができ、また、ビデオ再生中のマルチメディア表示のタイミングで、必要なモノメディアデータの読み出しにかかる時間を短くでき、さらに、ビデオ再生中のマルチメディア表示のタイミングにおいて、ビデオストリームのビットレートに対する制限が小さく、ビデオ再生をシームレスとできる情報処理装置および方法、プログラム、並びに記録媒体情報処理装置および方法、記録媒体、プログラム、並びに記録媒体を提供することにある。
【００２０】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、ＡＶストリームデータを記録または送信する情報処理装置において、
メインＡＶデータとそれに付随するモノメディアデータとモノメディアデータの表示タイミングと表示態様制御データとを含むマルチメディア符号化データとを記録または送信する時に、
マルチメディア表示タイミングで必要なモノメディアデータが多重化ストリームのアドレス上で表示タイミングのビデオデータの近傍に位置するように、メインＡＶデータとモノメディアデータとを多重化して１つの多重化ストリームを生成し、
メインＡＶデータ中の特徴点の時刻と多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルと、モノメディアの多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データを生成し、
多重化ストリームとマルチメディア符号化データと特徴点データとを分離して記録または送信するようにした情報処理装置である。
【００２１】
請求項４の発明は、マルチメディア表示タイミングで必要なモノメディアデータが多重化ストリームのアドレス上で表示タイミングのビデオデータの近傍に位置するように、メインＡＶデータとモノメディアデータとを多重化して１つの多重化ストリームを生成するステップと、
メインＡＶデータ中の特徴点の時刻と多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルと、モノメディアの多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データを生成するステップと、多重化ストリームとマルチメディア符号化データと特徴点データとを分離して記録または送信するステップと
からなる情報処理方法である。請求項５の発明は、請求項４の情報処理方法をコンピュータに実行させるプログラムである。請求項６の発明は、請求項５のプログラムが記録されている記録媒体である。
【００２２】
請求項７の発明は、モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータとモノメディアデータとが多重化された多重化ストリームとが分離して記録または送信されたデータを再生または受信する情報処理装置において、
マルチメディア符号化データを取得し、取得したマルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成し、
多重化ストリームを取得し、メインＡＶデータおよびモノメディアデータを復号し、
プレゼンテーションコントロール情報に基づいてメインＡＶデータおよびモノメディアデータとを合成することによって、表示ビデオ信号を生成する情報処理装置である。
【００２３】
請求項８の発明は、モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータとモノメディアデータとが多重化された多重化ストリームとが分離して記録または送信されたデータを再生または受信する情報処理方法において、
マルチメディア符号化データを取得し、取得したマルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
多重化ストリームを取得し、メインＡＶデータおよびモノメディアデータを復号するステップと、
プレゼンテーションコントロール情報に基づいてメインＡＶデータおよびモノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
とからなる情報処理方法である。請求項９の発明は、請求項８の情報処理方法をコンピュータに実行させるプログラムである。請求項１０の発明は、請求項９のプログラムが記録されている記録媒体である。
【００２４】
請求項１１の発明は、モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータとモノメディアデータとが多重化された多重化ストリームと、メインＡＶデータ中の特徴点の時刻と多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよびモノメディアの多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データとが分離して記録または送信されたデータを再生または受信する情報処理装置において、
マルチメディア符号化データを取得し、取得したマルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成し、
マルチメディア符号化データに基づいて、ランダムアクセス時刻のビデオに同期して表示されるモノメディアデータを特定し、取得された特徴点データから特定されたモノメディアデータの多重化ストリーム中のアドレスを決定し、特定されたモノメディアデータを取得し、
多重化ストリームを取得し、メインＡＶデータおよびモノメディアデータを復号し、
プレゼンテーションコントロール情報に基づいてメインＡＶデータおよびモノメディアデータとを合成することによって、表示ビデオ信号を生成する情報処理装置である。
【００２５】
請求項１２の発明は、モノメディアデータの表示タイミングおよび表示態様制御データとを含むマルチメディア符号化データと、多重化ストリームのアドレス上で表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータとモノメディアデータとが多重化された多重化ストリームと、メインＡＶデータ中の特徴点の時刻と多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよびモノメディアの多重化ストリーム中のアドレスが記述された第２のテーブルとからなる特徴点データとが分離して記録または送信されたデータを再生または受信する情報処理方法において、
マルチメディア符号化データを取得し、取得したマルチメディア符号化データを解釈することによって、プレゼンテーションコントロール情報を生成するステップと、
マルチメディア符号化データに基づいて、ランダムアクセス時刻のビデオに同期して表示されるモノメディアデータを特定し、取得された特徴点データから特定されたモノメディアデータの多重化ストリーム中のアドレスを決定し、特定されたモノメディアデータを取得するステップと、
多重化ストリームを取得し、メインＡＶデータおよびモノメディアデータを復号するステップと、
プレゼンテーションコントロール情報に基づいてメインＡＶデータおよびモノメディアデータとを合成することによって、表示ビデオ信号を生成するステップと
とからなる情報処理方法である。請求項１３の発明は、請求項１２の情報処理方法をコンピュータに実行させるプログラムである。請求項１４の発明は、請求項１３のプログラムが記録されている記録媒体である。
【００２６】
請求項１５の発明は、ＡＶストリームデータが記録された記録媒体において、
モノメディアデータの表示タイミングおよび表示態様制御データを含むマルチメディア符号化データと、
多重化ストリームのアドレス上で表示タイミングのビデオデータの近傍にモノメディアデータが位置するように、メインＡＶデータとモノメディアデータとが多重化された多重化ストリームと、
メインＡＶデータ中の特徴点の時刻と多重化ストリーム中のアドレスの対応関係が記述された第１のテーブルおよびモノメディアの多重化ストリーム中のアドレスが記述された第２のテーブルからなる特徴点データとが分離して記録された記録媒体である。
【００２７】
この発明においては、メインビデオデータとそれに付随するモノメディアデータが多重化された多重化ストリームとマルチメディア符号化データを別々に記録する。したがって、この発明によれば、ビデオ表示に加えて、モノメディアデータとマルチメディア符号化データを付加したビデオサービスにおいて、再生に先立ってマルチメディア符号化データを容易に読み出すことができる。また、この発明では、ビデオ再生中のマルチメディア表示のタイミングで必要とされるモノメディアデータは、そのタイミングに再生されるメインビデオデータにデータアドレス的に近接して多重化されるように符号化される。したがって、多重化ストリームの読み出しの中で、ビデオ再生中のマルチメディア表示のタイミングで必要なモノメディアデータの読み出しにかかる時間が短く、また、プレーヤは、ビデオデータの読み出しからモノメディアデータの読み出しに切り替えるためのジャンプが不要であるので、マルチメディア表示に要する時間を短くでき、さらに、ビデオ再生中のマルチメディア表示のタイミングにおいて、ビデオ再生をシームレスにしたい場合に、ビットストリームのビットレートに対する制限が小さいので、ビデオを高画質に符号化できる利点がある。
【００２８】
【発明の実施の形態】
この発明では、メインビデオデータとそれに付随するモノメディアデータを多重化して、１つの多重化ストリームとして記録する。ビデオ再生中のマルチメディア表示のタイミングにおいて、必要なモノメディアデータは、そのタイミングに再生されるメインビデオデータにデータアドレス的に近接例えば隣接して多重化される。そして、この多重化ストリームとマルチメディア符号化データを別々のファイルに記録する。
【００２９】
また、再生においては、多重化ストリームの再生に先立って、マルチメディア符号化データのファイルを読み出す。次に、多重化ストリームの読み出しを開始して、読み出されるメインビデオデータとモノメディアデータを、マルチメディア符号化データに基づいて、マルチメディア表示する。
【００３０】
以下、この発明の一実施形態について、図面を参照して説明する。図４は、この発明の一実施形態における記録方法を説明するものであり、図４において、参照符号２１は、ランダムアクセス可能な記録媒体例えば記録可能な光ディスクである。この発明は、光ディスク以外に、磁気ディスク、半導体メモリ等のランダムアクセス可能な記録媒体を使用することができる。
【００３１】
ディスク２１に対して、多重化ＡＶストリームと、多重化ＡＶストリームとは分離されたマルチメディア符号化データファイルとが記録される。多重化ＡＶストリームは、メインＡＶデータと、メインＡＶデータ以外のモノメディアデータとが多重化されているストリームである。多重化ストリームは、パックが連続するプログラムストリームまたはトランスポートパケットが連続するトランスポートストリームである。
【００３２】
メインＡＶデータは、パックが連続するＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　ＥｘｐｅｒｔｓＧｒｏｕｐ　Ｐｈａｓｅ　２）プログラムストリーム、またはトランスポートパケットが連続するＭＰＥＧ２トランスポートストリームである。１パックの長さが例えば２ｋバイトとされ、１トランスポートパケットの長さが１８８バイトとされる。この一実施形態では、メインＡＶデータ中のビデオデータがＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ　ｐｉｃｔｕｒｅ：イントラ符号化画像）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ　ｐｉｃｔｕｒｅ　：順方向予測符号化画像）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ　ｐｉｃｔｕｒｅ　：両方向予測符号化画像）によって構成されている。
【００３３】
Ｉピクチャは、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものがマクロブロック単位で選択される。
【００３４】
後述するランダムアクセス再生の場合では、再生データを復号可能とするために、Ｉピクチャの位置から再生が開始される。そのため、後述するように、Ｉピクチャの開始時刻と多重化ストリーム上のＩピクチャの開始アドレスとの対応関係を記述した第１のテーブルが記録時に作成され、ディスク２１上の所定の位置に記録されている。また、モノメディアの識別子と、モノメディアのストリーム上のアドレスとを記述した第２のテーブルが記録時に作成され、ディスク２１上に記録されている。これらの第１および第２のテーブルを含むデータが特徴点データ（ＣＰＩ：Ｃｈａｒａｃｔｅｒｉｓｔｉｃ　Ｐｏｉｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）と称される。
【００３５】
メインＡＶデータ以外のモノメディアデータは、ＢＳディジタル放送におけるＰＮＧ（Ｐｏｒｔａｂｌｅ　Ｎｅｔｗｏｒｋ　Ｇｒａｐｈｉｃｓ）　、ＭＮＧ、ＪＰＥＧ（Ｊｏｉｎｔ　ＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓ　Ｇｒｏｕｐ）、テキスト情報、ＤＶＤのサブタイトル等である。マルチメディア符号化データは、モノメディアデータの表示タイミングと、その画面上の表示態様例えば表示レイアウト情報（表示位置、拡大、縮小等の表示倍率）を含むものである。
【００３６】
なお、表示タイミングは、ビデオの再生時刻の基準であるプレゼンテーションタイムスタンプ（ＰＴＳと適宜称する）上の時刻として規定される。ＰＴＳは、アクセスユニット（１ビデオフレーム、１オーディオフレーム）と呼ばれる復号再生単位毎に付加されている。例えばオーディオデータ、動画データ等の素材を組み合わせて映像作品のようなプレゼンテーションを記述構成するための言語である、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｏｕｓ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｇｒａｔｉｏｎ　Ｌａｎｇｕａｇｅ）をマルチメディア符号化データとして使用できる。
【００３７】
この発明では、多重化ＡＶストリームをメインＡＶデータと、それ以外のモノメディアデータとで構成し、マルチメディア符号化データを別のファイルとして分離する。記録媒体の場合では、多重化ＡＶストリームの記録領域と、マルチメディア符号化データの記録領域とが異なった領域とされる。
【００３８】
図４において、参照符号２２がディスク２１上で多重化ＡＶストリームが記録される領域を示し、参照符号２３がディスク２１上でマルチメディア符号化データファイルが記録される領域を示す。また、ビデオ再生中のマルチメディア表示のタイミングにおいて、必要なモノメディアデータは、そのタイミングで再生されるメインビデオデータにデータアドレスに関して隣接するように、多重化がなされる。
【００３９】
ディスク２１上で、領域２２および２３の位置は、ファイルシステムによって分かっているものとし、ディスクドライブは、それぞれの領域２２および２３からデータを読み出すことができる。多重化ＡＶストリームによるビデオサービスを再生する時には、多重化ＡＶストリームによるビデオサービスを再生するのに先行して、マルチメディア符号化データファイルを領域２３から読み出し、取得する。マルチメディア符号化データからマルチメディアの表示タイミングが分かる。
【００４０】
次に、領域２２から多重化ＡＶストリームの再生を開始し、表示タイミングが到来すると、同じ領域２２のデータアドレスに関して隣接した位置から再生されるモノメディアデータによってマルチメディアの表示が行われる。したがって、読み出し位置がジャンプすることを不要とできる。
【００４１】
図５は、この発明におけるマルチメディア符号化データと多重化ＡＶストリームの関係をより具体的に示すものである。再生に先立って取得されたマルチメディア符号化データファイルが図５に示すように、ＰＴＳで規定される表示タイミングｔ１およびｔ２のそれぞれにおける表示レイアウトを規定するファイルＰ１およびＰ２を含んでいる。この例では、複数の表示タイミングの表示の態様を規定するものが１個のファイルとされている。ファイルＰ１は、「時刻ｔ１に図形Ａを、画面上の座標（ｘ１，ｙ１）に表示する」との内容である。ファイルＰ２は、「時刻ｔ２に図形Ｂを、画面上の座標（ｘ２，ｙ２）に表示する」との内容である。但し、各表示タイミングのデータを１つのファイルとして規定しても良い。さらに、マルチメディア符号化データがファイルとして構成されておらず、ディスク上の所定の領域に記録されたデータであっても良い。
【００４２】
多重化ＡＶストリーム上では、時刻ｔ１に再生されるビデオデータのパックまたはトランスポートパケットの前または後に図形Ａのデータのパックまたはトランスポートパケットが配置されている。図形Ｂのデータのパックまたはパケットも、時刻ｔ２で再生されるビデオデータのパックまたはパケットと隣接して配置されている。複数のパックまたはトランスポートパケットによってビデオデータおよび図形のデータが構成されている場合には、それぞれの先頭のパックまたはトランスポートパケットが隣接するようになされる。
【００４３】
このように、メインＡＶデータを再生している途中で、モノメディアデータの表示を行うことは、例えば映画の再生中に字幕を表示する場合に適用できる。字幕のデータは、グラフィックスデータとして記録されている。また、ユーザが自分で撮影したメインＡＶデータに対して、所望の図形、文字等を表示する場合に対してもこの発明は適用できる。文字の情報をテキストではなく、ビットマップデータとして記録しておき、指定したタイミングおよびレイアウトで表示することができる。
【００４４】
次に、図６を参照してマルチメディア符号化データファイルの内容を使用して多重化ＡＶストリームをランダムアクセス再生する方法について説明する。この場合、マルチメディア符号化データファイルに加えて、特徴点（ＣＰＩ：Ｃｈａｒａｃｔｅｒｉｓｔｉｃ　Ｐｏｉｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）ファイルと呼ぶデータ（テーブル）を使用する。ＣＰＩは、記録時に作成され、記録媒体上に記録される。ＣＰＩは、ランダムアクセス再生の場合に、指定された時刻に最も近いＰＴＳを持つＩピクチャからデータの読み出しを開始するために使用され、また、高速再生が指示された場合に、ＡＶストリーム中のＩピクチャデータのみを順次連続して読み出すために使用される。
【００４５】
ＣＰＩは、プログラムストリームまたはトランスポートストリーム中で、各Ｉピクチャの開始ＰＴＳ（ＰＴＳ　ＥＰ　ｓｔａｒｔと表記する）とそのピクチャが開始するストリーム中のデータアドレス（ＳＰＮ　ＥＰ　ｓｔａｒｔと表記する）の対で構成される第１のテーブルを持つ。ここで、データアドレスの表現として、ソースパケット番号（ＳＰＮ：Ｓｏｕｒｃｅ　Ｐａｃｋｅｔ　Ｎｕｍｂｅｒ）を使用する。ＥＰは、Ｅｎｔｒｙ　Ｐｏｉｎｔを意味する。多重化ＡＶストリームの中で、全てのパケットに一連の番号を付加し、それらの番号をソースパケット番号ＳＰＮと称する。多重化ＡＶストリームの中で、最初のパケットのソースパケット番号をゼロとして、その次のソースパケット番号が１であり、以降、ソースパケット番号がパケット毎に１ずつ増加する。
【００４６】
また、ＣＰＩは、トランスポートストリームの中で、ビデオに付随する各モノメディアデータについて、それを特定するＩＤ（モノメディアＩＤ）とそれがトランスポートストリームの中で開始するソースパケット番号（ＳＰＮ　ＭＤ　ｓｔａｒｔと表記する）の第２のテーブルを持つ。図形ＡのモノメディアＩＤがｉｄＡとされ、図形ＢのモノメディアＩＤがｉｄＢとされている。
【００４７】
一例として、ビデオのプレゼンテーションタイム上の時刻ｔ２にランダムアクセスしたいとする。まず、マルチメディア符号化データに基づいて、時刻ｔ２のビデオに同期して表示されるモノメディアデータを特定する。この場合、マルチメディア符号化データから図形Ｂであることが分かる。
【００４８】
次に、ＣＰＩデータから多重化ＡＶストリームの読み出しアドレスを決定する。先ず、時刻ｔ２とＰＴＳ　ＥＰ　ｓｔａｒｔの値を比較して、時刻ｔ２に最も近い過去のＰＴＳを持つＩピクチャのＳＰＮ　ＥＰ　ｓｔａｒｔの値を特定する。この場合、（ｐｔｓ１≦ｔ２＜ｐｔｓ２）とすると、時刻ｔ２に最も近い過去のＰＴＳを持つＩピクチャのデータアドレスＳＰＮ　ＥＰ　ｓｔａｒｔの値がｉｓａ１であるとが分かる。
【００４９】
そして、図形ＢのモノメディアＩＤであるｉｄＢで特定されるモノメディアのデータアドレスＳＰＮ　ＭＤ　ｓｔａｒｔの値ｍｓａＢが取得される。値ｍｓａＢと値ｉｓａ１を比較する。この場合、値ｍｓａＢの方が小さいものとする。その結果、多重化ＡＶストリームの読み出しアドレスがｍｓａＢと決定される。このアドレスからストリームを読み出すことによって時刻ｔ２のビデオとそれに付随する図形Ｂを表示することができる。
【００５０】
図７を参照して、この発明によるレコーダシステムの一例について説明する。メインＡＶデータおよびモノメディアデータの記録に先行してマルチメディア符号化データが記録される。マルチメディア符号化データファイルがＥＣＣエンコーダ３５に供給され、エラー訂正符号化の処理を受ける。ＥＣＣエンコーダ３５の出力がディジタル変調器３６（図７では、ＭＯＤと表記する）を介してドライブ部３７に供給される。
【００５１】
ドライブ部３７は、メディア（例えば記録可能な光ディスク）３８を回転させ、光学的ヘッドによって記録データを所定の書き込み位置に記録する構成とされている。ドライブ部３７は、メディアの回転サーボ、光学的ヘッドに対するトラッキングサーボおよびフォーカスサーボのためのサーボ部を有している。ディジタル変調器３６からのマルチメディア符号化データファイルが光学的ヘッドによってメディア３８に記録される。
【００５２】
次に、多重化ＡＶストリームをメディア３８に対して記録する。ビデオ入力とオーディオ入力とがＡＶエンコーダ３１に入力され、符号化およびパケット化の処理を受ける。例えばＭＰＥＧ２でビデオデータが符号化され、ＡＣ−３でオーディオデータが符号化される。ＡＶエンコーダ３１からのタイムスタンプが付加されたビデオエレメンタリストリームＶと、タイムスタンプが付加されたオーディオエレメンタリストリームＡとが多重化器（図７ではＭＵＸと表記する）３３に入力される。
【００５３】
グラフィックス入力データと静止画入力データとがグラフィックスおよび静止画エンコーダ３２に入力され、符号化およびパケット化の処理を受ける。エンコーダ３２からのグラフィックスエレメンタリストリームＧと静止画エレメンタリストリームＳとが多重化器３３に入力される。
【００５４】
多重化器３３は、ビデオエレメンタリストリームＶ、オーディオエレメンタリストリームＡ、モノメディアエレメンタリストリームＧおよびＳとを多重化し、多重化ＡＶストリーム（プログラムストリーム）を出力する。多重化ＡＶストリームがバッファメモリ３４およびホスト３９に入力される。ビデオ再生中のマルチメディア表示のタイミングでもって、必要なモノメディアデータは、そのタイミングに再生されるメインビデオデータにデータアドレス的に隣接して多重化される。
【００５５】
バッファメモリ３４からの多重化ＡＶストリームがＥＣＣエンコーダ３５およびディジタル変調器３６を介してドライブ部３７に入力され、メディア３８上に記録される。多重化ＡＶストリームとマルチメディア符号化データとは、メディア３８上で別々のファイルとして記録される。
【００５６】
多重化ＡＶストリームがホスト３９に入力され、ホスト３９が多重化ＡＶストリームの解析部として機能し、ＣＰＩデータを作成する。すなわち、トランスポートストリーム中で、各ＩピクチャのＰＴＳ（ＰＴＳ　ＥＰ　ｓｔａｒｔ）とそのピクチャが開始するストリーム上のデータアドレス（ソースパケット番号：ＳＰＮ　ＥＰ　ｓｔａｒｔ）を検出し、それらのデータをテーブル化する。また、トランスポートストリームの中で、ビデオに付随する各モノメディアデータについて、モノメディアＩＤ）とそれがトランスポートストリームの中で開始するアドレス（ソースパケット番号：ＳＰＮ　ＭＤ　ｓｔａｒｔ）をテーブル化する。このＣＰＩのデータは、ＥＣＣエンコーダ３５とディジタル変調器３６で処理されて、メディア３８に記録される。
【００５７】
図８は、記録方法の流れを示すフローチャートである。ステップＳ１０１では、マルチメディア符号化データが入力される。次のステップＳ１０２では、マルチメディア符号化データがエラー訂正符号化の処理と変調処理とを受け、メディア３８上に記録される。
【００５８】
ステップＳ１０３では、入力されたビデオデータおよびオーディオデータに対して符号化処理がなされる。グラフィックスデータおよび静止画データのようなモノメディアデータに対して符号化処理がなされる。符号化処理で得られたビデオストリーム、オーディオストリーム、モノメディアストリームが多重化され、多重化ＡＶストリームが形成される。
【００５９】
ステップＳ１０４では、多重化ＡＶストリームに対してエラー訂正符号化の符号化処理がなされる。また、上述したように、多重化ＡＶストリームについてのＣＰＩが作成される。そして、多重化ＡＶストリームファイルがディジタル変調されてメディア３８上に記録される。また、作成されたＣＰＩデータがエラー訂正符号化の処理とディジタル変調処理を受け、メディア３８上の所定の領域に記録される。
【００６０】
図９は、この発明によるプレーヤシステムの構成例を示す。メディア（例えば光ディスク）４１がドライブ部４２によって再生される。ドライブ部４２は、メディアを回転させるモータおよびメディアからデータを読み取る光学的ヘッドを有し、また、メディアの回転、光学的ヘッドのトラッキングおよびフォーカスを制御するサーボ部を備えている。通常、前述したレコーダ（図７参照）におけるドライブ部３７と共通の構成部分（光学的ヘッド、サーボシステム等）をドライブ部４２が備えていても良い。
【００６１】
メディア４１からドライブ部４２で再生されたデータがディジタル復調器（図９では、ＤＥＭＯＤと表記する）４３に入力され、ディジタル変調が復調される。ディジタル復調器４３からの再生データがＥＣＣデコーダ４４に入力され、エラー訂正がなされる。メディア４１から最初にマルチメディア符号化データファイルとＣＰＩデータとが読み出される。これらのデータがディジタル復調器４３で復調され、ＥＣＣデコーダ４４によってエラー訂正されてからホスト５０に入力される。
【００６２】
ホスト５０は、マルチメディア符号化データを処理し、プレゼンテーションコントロール情報を生成する機能を持つマルチメディアエンジンを含む。マルチメディア符号化データの内容は、ＸＭＬや、ＥＣＭＡ（ＪＡＶＡ）スクリプトのデータである。マルチメディアエンジンは、例えばＸＭＬパーサや、ＥＣＭＡ（Ｊａｖａ（登録商標））スクリプトのインタープリタである。ＸＭＬパーサは、ＸＭＬを復号する。インタープリタは、ＥＣＭＡ（ＪＡＶＡ）スクリプトの解釈を行う部分である。ホスト５０は、マルチメディア符号化データからプレゼンテーションコントロール情報を生成し、生成したプレゼンテーションコントロール情報をプレゼンテーションプロセッサ４９に供給する。
【００６３】
また、ドライブ部４２によって、メディア４１から多重化ＡＶストリームが読み出される。読み出された多重化ＡＶストリームがディジタル復調器４３およびＥＣＣデコーダ４４を介してバッファメモリ４５に入力される。バッファメモリ４５の出力データが分離化器（図９では、ＤＥＭＵＸと表記する）４６に入力される。
【００６４】
分離化器４６は、多重化ＡＶストリームからオーディオ、ビデオ、グラフィックス、静止画のそれぞれのストリームを分離する。分離されたオーディオおよびビデオの各ストリームがＡＶデコーダ４７に入力され、ＡＶデコーダ４７によって復号される。ＡＶデコーダ４７からビデオデータＶおよびオーディオデータＡがプレゼンテーションプロセッサ４９に入力される。分離されたグラフィックスおよび静止画のストリームがグラフィックスおよび静止画デコーダ４８に入力され、デコーダ４８によって復号される。デコーダ４８からのグラフィックスデータＧおよび静止画データＳがプレゼンテーションプロセッサ４９に入力される。
【００６５】
プレゼンテーションプロセッサ４９は、ビデオデータとグラフィックスデータと静止画データとをホスト５０からのプレゼンテーションコントロール情報に基づいて合成し、表示ビデオ信号を生成する。また、プレゼンテーションプロセッサ４９は、オーディオデータとビデオデータのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照して、オーディオとビデオとを同期させて出力する。
【００６６】
さらに、多重化ＡＶストリームをランダムアクセス再生する場合、ホスト５０に対してランダムアクセス時刻が入力される。そして、ホスト５０は、マルチメディア符号化データを参照して、ランダムアクセス時刻のビデオと同期して表示されるモノメディアデータを特定する。そして、ＣＰＩデータから多重化ＡＶストリームの読み出しアドレスを決定する。すなわち、指定されたランダムアクセスを開始するアドレス時刻と最も近いＩピクチャのデータアドレスを読み出しアドレスとしてＣＰＩデータから決定する。
【００６７】
ホスト５０は、求めた読み出しアドレスからデータを読み出すことをドライブ部４２に指示する。そして、メディア４１から多重化ＡＶストリームのデータが読み出される。読み出された多重化ＡＶストリームの再生時の処理は、上述したものと同様であり、オーディオとビデオとが同期して再生される出力がプレゼンテーションプロセッサ４９から発生する。
【００６８】
図１０は、この発明による再生方法の処理の流れを説明するためのフローチャートである。ステップＳ２０１において、メディア４１からマルチメディア符号化データが読み出される。ステップＳ２０２において、読み出したマルチメディア符号化データがマルチメディアエンジンによって解釈される。
【００６９】
ステップＳ２０３において、多重化ＡＶストリームがメディア４１から読み出される。ステップＳ２０４において、多重化ＡＶストリーム中のビデオデータ、オーディオデータ、モノメディアデータ（グラフィックスデータ、静止画データ等）が復号される。ステップＳ２０５において、マルチメディアエンジンからのプレゼンテーションコントロール情報に基づいて表示ビデオ信号が合成される。そして、ステップＳ２０６において、表示ビデオ信号とオーディオとが同期再生して出力される。
【００７０】
図１１は、この発明によるランダムアクセス再生の処理の流れを示すフローチャートである。ステップＳ３０１において、メディア４１からマルチメディア符号化データが読み出される。ステップＳ３０２において、読み出したマルチメディア符号化データがマルチメディアエンジンによって解釈される。
【００７１】
次にＣＰＩデータがメディア４１から読み出される。次に、ステップＳ３０４において、ランダムアクセスの再生を開始するランダムアクセス時刻が取得される。ステップＳ３０５において、マルチメディア符号化データに基づいて、ランダムアクセス時刻のビデオに同期して表示されるモノメディアデータが特定される。
【００７２】
ステップＳ３０６において、ＣＰＩデータからランダムアクセス時刻に最も近い、多重化ＡＶストリームの読み出しアドレスが決定される。ステップＳ３０７において、メディア４１のそのアドレスから多重化ＡＶストリームが読み出される。ステップＳ３０８において、読み出されたビデオ、オーディオおよびモノメディアデータが復号される。
【００７３】
ステップＳ３０９において、マルチメディアエンジンからのプレゼンテーションコントロール情報にしたがって、表示ビデオ信号が合成される。そして、ステップＳ３１０において、表示ビデオ信号とオーディオとが同期再生して出力される。
【００７４】
上述した図８、図１０および図１１のフローチャートに示される一連の処理は、ハードウエアに限らず、ソフトウェアにより実行させることもできる。ソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウエアに組み込まれているコンピュータ、またはそのソフトウェアがインストールされたコンピュータが使用される。ソフトウェアは、記録媒体に記録され、記録媒体からコンピュータにインストールされる。プログラムが記録された記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、光磁気ディスク等）または半導体メモリが使用される。
【００７５】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した説明においては、マルチメディア符号化データが表示タイミング、表示対象、表示位置（画面上の座標）を規定するものであったが、これ以外に色等をマルチメディア符号化データが規定するものであっても良い。また、この発明は、メインデータおよびマルチメディア符号化データをネットワークを介して伝送する通信に対しても適用することができる。送信装置の場合では、図７中のドライブ部３７およびメディア３８が送信部に変更される。受信装置の場合では、図９中のメディア４１およびドライブ部４２が受信部に変更される。
【００７６】
【発明の効果】
この発明においては、メインビデオデータとそれに付随するモノメディアデータを多重化し、１つの多重化ストリームを形成し、この多重化ストリームとマルチメディア符号化データを別々のファイルに記録する。したがって、この発明によれば、ビデオ表示に加えて、モノメディアデータとマルチメディア符号化データを付加したビデオサービスにおいて、再生に先立ってマルチメディア符号化データを容易に読み出すことができる。読み出したマルチメディア符号化データによって、再生の始終にわたる全体の再生の全体像（構成、様子）を把握することができるので便利である。例えばマルチメディア符号化データを利用して、グラフィックスデータが表示されるタイミングを予め取得し、グラフィックスデコーダの初期設定などの制御に利用することができる。
【００７７】
また、この発明では、ビデオ再生中のマルチメディア表示のタイミングで必要とされるモノメディアデータは、そのタイミングに再生されるメインビデオデータにデータアドレス的に近接して多重化されるように符号化される。したがって、多重化ストリームの読み出しの中で、ビデオ再生中のマルチメディア表示のタイミングで必要なモノメディアデータの読み出しにかかる時間が短く、また、プレーヤは、ビデオデータの読み出しからモノメディアデータの読み出しに切り替えるためのジャンプが不要であるので、マルチメディア表示に要する時間を短くできる。さらに、ビデオ再生中のマルチメディア表示のタイミングにおいて、ビデオ再生をシームレスにしたい場合に、ビットストリームのビットレートに対する制限が小さいので、ビデオを高画質に符号化できる利点がある。
【図面の簡単な説明】
【図１】メインＡＶデータ、モノメディアデータ、マルチメディア符号化データからマルチメディア画面を合成する例を説明するための略線図である。
【図２】従来の多重化ストリームの構成の一例を説明するための略線図である。
【図３】メインＡＶデータとモノメディアデータとマルチメディア符号化データとがそれぞれ別々のファイルとして記録される従来の例を説明するための略線図である。
【図４】この発明による記録方法を説明するための略線図である。
【図５】この発明におけるマルチメディア符号化データと多重化ストリームの関係を示す略線図である。
【図６】この発明におけるランダムアクセス再生の一例を説明するための略線図である。
【図７】この発明によるレコーダシステムの一例の構成を示すブロック図である。
【図８】この発明による記録方法の処理の流れを示すフローチャートである。
【図９】この発明によるプレーヤシステムの一例の構成を示すブロック図である。
【図１０】この発明による再生方法の処理の流れを示すフローチャートである。
【図１１】この発明によるランダムアクセス再生方法の処理の流れを示すフローチャートである。
【符号の説明】
２１・・・ディスク、２２・・・多重化ＡＶストリームが記録される領域、２３・・・マルチメディア符号化データ符号化が記録される領域、３３・・・多重化器、３５・・・ＥＣＣエンコーダ、３６・・・変調器、３７，４２・・・ドライブ、３８，４１・・・メディア、４３・・・復調器、４４・・・ＥＣＣデコーダ、４６・・・分離化器、４９・・・プレゼンテーションプロセッサ、５０・・・マルチメディアエンジンを含むプロセッサ
【図１】
2004104477.tif 000003
【図２】
2004104477.tif 000004
【図３】
2004104477.tif 000005
【図４】
2004104477.tif 000006
【図５】
2004104477.tif 000007
【図６】
2004104477.tif 000008
【図７】
2004104477.tif 000009
【図８】
2004104477.tif 000010
【図９】
2004104477.tif 000011
【図１０】
2004104477.tif 000012
【図１１】
2004104477.tif 000013