(57)【要約】      （修正有）【課題】ＡＶマルチプレクスに他のデータを追加し同期できるようにする。【解決手段】幾つかのデータストリームは、ビデオデータおよび／またはオーディオデータおよび／または別のデータを含んでいる。データストリームのうち幾つかは、記憶媒体上にマルチプレクスに事前記録されており、他のデータストリームは該記憶媒体上のデータストリームマルチプレクスの外に存在している。データストリームはナビゲーションファイル（List_of_PlayItems）を使用して同期される。ナビゲーションファイル（List_of_PlayItems）は、該データストリームの各部分をポインティングする記述子（PlayItem，SubPlayItem）を有しており、該記述子は、データサブストリームパスを使用して、該データストリームパスの時間的な配列を定義する。【選択図】図１
2011254515.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータ、オーディオデータおよび／または別のデータを含むデータストリームを配列する方法であって、該方法は、
多重化されたエレメンタリ・ストリームの基本的なＡＶ  ＭＰＥＧ‐２トランスポート・ストリームの各部分をポインティングする一連の連続した記述子（PlayItem）である基本的なストリームパスを定義するステップであって、前記一連における前記記述子の順番は、前記基本的なＡＶ  ＭＰＥＧ‐２トランスポート・ストリームの前記各部分を再生する時間的な順番を定義している、該定義するステップと、
前記基本的なＡＶ  ＭＰＥＧ‐２トランスポート・ストリームと同期した再生のために、ナビゲーションファイルのグローバル時間軸上に配列されたサブストリームパスを定義するステップであって、前記サブストリームパスは、更なるデータストリームを、又は該更なるデータストリームの各部分をポインティングする、更なる一連の、１つまたは複数の連続した更なる記述子（SubPlayItem）を有し、前記更なるデータストリームは、前記基本的なＡＶ  ＭＰＥＧ‐２トランスポート・ストリームの外部のデータソースから由来する、異なる更なるＡＶ  ＭＰＥＧ‐２トランスポート・ストリームとして形成された更なるエレメンタリ・ストリーム内にエンコードされている、該定義するステップと、を有し、
前記更なる記述子は、再生中に、前記更なるデータストリームの中の１つの或る部分をデコードすることを、前記更なるデータストリームの中の別の１つの或る部分をデコードすること、と目立った作用なく置き換えることをユーザが許される、前記更なるデータストリーム上のポイントおよび時間上のポイントを定義し、
前記更なるエレメンタリ・ストリームは、必須のＧＯＰラスタおよび／またはバッファ要求の制限に従ってエンコードされる、前記方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオデータ、ビデオデータおよび／または別のデータを含むデータストリームを配列する方法に関する。ここで、データストリームのうち幾つかが記憶媒体に多重に記録され、他のデータストリームはデータストリームマルチプレクスの外に存在する。
【背景技術】
【０００２】
光学的記憶媒体は、１つまたは複数のビデオおよびオーディオのデータストリームおよび／または別のデータを含む音響映像（ＡＶ）信号を記録または再生することができる。前記別のデータは、たとえば字幕およびサービス情報等である。www.dvdforum.orgによって広められたデジタル多用途ディスク（ＤＶＤ）標準規格に基づいて、事前記録された映画タイトルは、読み出し専用の光学的ディスクを使用して量販市場向けに複製される。赤色レーザを基礎とするＤＶＤ標準規格の導入および拡大に続いて、青色レーザを基礎とする、ますます大きな容量の媒体システムが、「Ｂｌｕ‐ｒａｙ」という商標名で広まってきている。これは、ＢＤと表示される。
【０００３】
現在のＤＶＤでは、コンテンツプロバイダは多数の異なる対象国に対してビデオを作成しており、このビデオは、多数の異なる言語および字幕を含んでいる。ＡＶマテリアルのこのような言語固有のバージョンの上にさらに、光学的ではマルチアングルの適用および多層的な適用も存在する。ＢＤの適用でこの可能性は、ＳＤＴＶビデオおよびＨＤＴＶビデオ等の異なるビデオフォーマットを導入することによって拡大される。光学的な記録および事前記録では、上記で挙げられた異なるエレメンタリストリーム（ビデオアングル、オーディオトラック、字幕等）はすべて、ただ１つの多重トランスポートストリームにパケット化しなければならない。再生時にデコーダは、このマルチプレクスを読み出して、選択されたストリームに所属するパケットを復号化する。
【発明の概要】
【０００４】
本発明は、以下の事実の認識に基づく。すべての有効なコンポーネントを含むＡＶマルチプレクスを有する場合、たとえば別のサウンドトラックまたは別のウェブページ等の付加的なマテリアルを後で提供することはできない。すなわち、コンテンツプロバイダが制作ツールを使用して、ＢＤ映画を生成する場合、すべてのエレメンタリストリームを把握してから生成を開始しなければならない。ＡＶマルチプレクスを製作した後に別のエレメンタリストリームを追加することはできない。また、別のデータストリームを後で追加しなければならない場合、既存のデータストリームと同期する必要がある。
【０００５】
したがって本発明において解決すべき課題は、記憶媒体にマルチプレクスに記録されたデータストリームと、該データストリームマルチプレクスの外に存在する別のデータストリームとを同期できるようにすることである。
【０００６】
前記課題は、請求項１に記載された方法によって解決される。
【０００７】
原理的に、基本的に本発明の方法によれば、ビデオデータおよび／またはオーディオデータおよび／または別のデータを含むデータストリームの同期が可能であり、このデータストリームのうち幾つかは、記憶媒体にマルチプレクスに事前記録されており、ナビゲーションファイルが、該データストリームの各部分をポインティングする記述子を含み、前記記述子は、データサブストリームパスを使用して、各データストリームの時間的な配列を定義する。
【０００８】
本発明の有利な付加的実施形態が以下の説明に記載されている。
【図面の簡単な説明】
【０００９】
【図１】異なるビデオストリームパスとオーディオストリームパスと字幕ストリーム    パスとを含む再生リストの一例を示す。
【発明を実施するための形態】
【００１０】
本発明の実施例を、添付図面を参照して説明する。
図１は、異なるビデオストリームパスと、オーディオストリームパスと、字幕ストリームパスとを含む再生リストList_of_PlayItemsの一例を示している。この再生リストはPlayItemまたはSubPlayItemを有し、これをデコードしてストリームパスを再生しなければならない。PlayItemの第１のストリームパスはＡＶ多重ストリームを有している。さらに幾つかのSubPlayItemによって、上記のオーディオストリームパスと、ビデオストリームパスと、字幕ストリームパスとが記述される。
【００１１】
ここに図示されているように、多重ストリームパスはPlayListの汎用的な時間軸上に平行して存在する。ストリームパスは、時間軸の一部分を空にすることによってリーキー（leaky）と定義される。
【００１２】
PlayItemまたはSubPlayItemによって記述されたストリームはどれでも、エレメンタリストリームとすることができるか、またはストリームのマルチプレクスとすることもできる。
【００１３】
光学的ディスク上のメインＡＶマルチプレクスの外部に位置付けられたエレメンタリストリームの本発明の同期を、以下で説明する。
【００１４】
２つの異なる事例に関して同期を考察する。第１の事例は、時間的な相互関係に関するコンポーネントの同期である。ここでは、別個のコンポーネントがどの時点で開始および終了するかが決定される。第２の事例は、スイッチングに関するコンポーネントの同期である。ここでは、１つのコンポーネントのデコードを別のコンポーネントのデコードによって置換できる、時間およびバイナリストリームにおける位置が決定される。たとえばビデオコンポーネントのスイッチングは、マルチアングルの適用において有用である。
【００１５】
このような適用において有利な媒体は、アウト・オブ・マルチプレクス（out  of  multiplex）のビットストリーム読み出しに必要な転送速度を実現する、ＤＶＤ機能を超える媒体であり、たとえばＢｌｕ‐ｒａｙディスクである。
【００１６】
アウト・オブ・マルチプレクスのセマンティクスによって、異なるエレメンタリストリームを組み合わせて、Ｂｌｕ‐ｒａｙディスクのＡＶストリームを再生することができる。ここでは、ディスクをソースとするストリームと、インターネットを介して得られたストリームまたは別の記憶媒体からのストリームとの組み合わせも含まれる。たとえば、ビデオストリームをＢｌｕ‐ｒａｙディスクから読み出し、オーディオストリームをハードディスクから読み出し、字幕をインターネットサービスから読み出す映画の再生が可能である。
【００１７】
アウト・オブ・マルチプレクスのＡＶマテリアルの記述は、ナビゲーションファイルおよびストリームファイルを含む異なったファイルから成る。ナビゲーションファイルは、ストリームファイル内をナビゲーションするためのすべてのエントリポイントを有している。ここでは、時間軸におけるポイント、視角、字幕およびオーディオチャネル等が挙げられる。ナビゲーションファイルのより上位の層には、ＡＶマテリアルの再生に割り当てられているすべてのストリーム部分を説明する再生アイテムのリストが設けられている。
【００１８】
以下で、上位レベルのナビゲーションファイルの一般的な構文を説明する。表１〜４には、本発明において必須の要素のみが略述されている。すなわち、付加的な要素はここでは記載されておらず、異なる命令も可能である。
【００１９】
表１にて定義されているように、ディスク上の再生要素はList_of_PlayItemsによって記述されている。この再生要素は、映画のどの部分（たとえばチャプタ）であってもよい。List_of_PlayItemsは、List_of_PlayItems構造の構造全長をバイトで示すlengthと、PlayItem()要素の数を示すplayItemと、SubPlayItem()の数を示すsubPlayItemとから成る。List_of_PlayItemsでは少なくとも１つのPlayItemが必要であるのに対し、SubPlayItemは任意である。SubPlayItem(s)の時間軸は、PlayItem(s)の時間軸を参照している。
【００２０】
表１：List_of_PlayItems構文
【００２１】
【表１】
2011254515.tif 000003
【００２２】
表２において定義されているように、PlayItem構造は、該構造の全長をバイトで示すlengthと、エレメンタリストリームファイルへのリンクを記述するStreamFileと、StreamFile内のPlayItemのプレゼンテーション開始時点を記述するStart_timeと、該StreamFile内のPlayItemのプレゼンテーション終了時点を記述するEnd_timeとから成る。
【００２３】
付加的にPlayItem構造は、バイトの位置合わせを保存するための要素「reserved」、該PlayItemがコンポーネント間におけるシームレスな移行を提供するか否かを指示するSeamless_presentation_flagも含む。Seamless_presentation_flagはSubPlayItem（表３）の場合と同じ意味を有し、そこでさらに詳細に説明される。
【００２４】
表２：PlayItem構文
【００２５】
【表２】
2011254515.tif 000004
【００２６】
表３にて定義されているように、SubPlayItem構造はPlayItemの構造に非常に似ている。このSubPlayItem構造は、該構造の全長をバイトで示すlengthと、エレメンタリストリームファイルに対するリンクを記述するStreamFileと、該StreamFile内のPlayItemのプレゼンテーション開始時点を記述するStart_timeと、該StreamFile内のPlayItemのプレゼンテーション終了時点を記述するEnd_timeとから成る。
【００２７】
付加的にSubPlayItem構造は、バイトの位置合わせを保存するための要素「reserved」と、該PlayItemがコンポーネント間におけるシームレスな移行を提供するか否かを指示するSeamless_presentation_flagと、サブストリームパスの終了を指示するStream_path_endと、SubPlayItemに対して与えられたサブストリームパスの種類を示す１つの８ビットフィールドであるSubStream_typeも含む。
【００２８】
表３：SubPlayItem構文
【００２９】
【表３】
2011254515.tif 000005
【００３０】
表４にて定義されているように、SubStream_typeはSubPlayItemの種類を定義する。これは、オーディオダビングのための補助的なオーディオストリームパスと、ビデオストリームパスと、オーディオストリームパスと、字幕ストリームパスまたはグラフィックスストリームパスとから成る。値６〜２５５は、将来のストリームパス形式のために使用することができる。
【００３１】
表４：SubStream_type
【００３２】
【表４】
2011254515.tif 000006
【００３３】
表５に示されているような、SubStream_typeの択一的な定義も可能である。異なるエレメンタリストリームパスの代わりに、補助的なトランスポートストリームパスを設けることの利点は、どのエレメンタリストリームも別の多重ストリームに再び組み込めることである。すなわち、幾つかの異なる字幕を、１つのファイルに一緒に多重化することができる。
【００３４】
表５：SubStream_type
【００３５】
【表５】
2011254515.tif 000007
【００３６】
Seamless_presentation_flagは、再生中にコンポーネントのシームレスなスイッチングに関する同期のケースを支援する。
【００３７】
Seamless_presentation_flagはPlayItem／SubPlayItem内に位置付けられており、PlayItem／SubPlayItemによって参照されるトランスポートストリームが、エレメンタリストリーム間のシームレスな移行を支援しているか否かを示す。Seamless_presentation_flagが「真」にセットされている場合、トランスポートストリームにあるすべてのエレメンタリストリームがシームレス移行制約に従う。
【００３８】
シームレス移行制約は、エレメンタリストリーム内部の接続ポイントを提供する。接続ポイントは、再生中に１つのエレメンタリストリームのデコードを停止して、目立った作用を伴わずに別のエレメンタリストリームのデコードを開始できるポイントである。ここでは、両エレメンタリストリームがシームレス移行制約に従ってエンコードされたことが前提条件である。接続ポイントはエンコード中に、必須のＧＯＰラスタを定義して必要なバッファサイズを制限することにより、デコード時に異なるエレメンタリストリームを切り替える際にバッファがあふれるのを防止することによって生成される。前記ＧＯＰラスタは、たとえば固定的なＧＯＰ長さである。
【００３９】
シームレス移行の典型的な適用例が、マルチアングルビデオである。マルチアングルビデオは、１つのビデオに対して異なるカメラ角度を提供する。たとえば、１つのカメラはレースカー内部を表示し、別の１つのカメラはボックスを表示し、１つのカメラはフィニッシュラインを表示する。マルチアングルビデオが再生される際には、ユーザはシームレスに、これらの異なるカメラトラックの間で切り替えることができる。
【００４０】
Stream_path_endおよびSubstream_typeは、コンポーネントの時間的な相対関係に関する同期のケースを支援する。
【００４１】
Stream_path_end：このフラグは、ストリームパスの終了を指示する。ストリームパスは、SubPlayItemの順序付けられたセットである。これは、該ストリームパスに所属するすべてのSubPlayItemの数および順序を定義する。第１のストリームパスは最初のSubPlayItemによって開始し、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemによって終了する。第２のストリームパスは、先行するストリームパスに後続する最初のSubPlayItemによって開始し、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemによって終了し、同様に繰り返される。最後のストリームパスは、最後のSubPlayItemで終了する。PlayListの最後のSubPlayItemに対してStream_path_endフラグを「真」にセットすることは、任意である。ストリームパスのすべてのSubPlayItemは、同一のSubPlayItem_typeを有しなければならない。
【００４２】
ストリームパスの再生によって、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemを含むか、またはPlayListの最後のSubPlayItemを含むストリームパスに所属するSubPlayItemの連続的なセットがデコードされる。
【００４３】
トランスポートストリーム（ＴＳ）は、ＩＳＯ／ＩＥＣ１３８１８‐１にて規定されているように、ＭＰＥＧ‐２システム標準規格にしたがって、動画および関連のオーディオ情報の一般的な符号化にしたがって編成されている。しかし、デコード中に衝突のない再生を実現すると同時に、後で独立してコンテンツを付加できるようにするため、たとえばメインの作成がすでに終了した後に補助的な字幕を付与できるようにするためには、トランスポートストリームにおいて制約の以下の規則が必要である。
【００４４】
PlayItemのＴＳは、プログラム割り当てテーブル（ＰＡＴ）およびプログラムマップテーブル（ＰＭＴ）を有しなければならない。これらは、マルチプレクス内のすべてのＴＳコンポーネント（エレメンタリストリーム）に対してＰＩＤテーブルおよび言語情報を提供する。
【００４５】
SubPlayItemのＴＳは、補助ストリームを含む。補助ストリームの有利な形式もＴＳで
ある。
【００４６】
SubPlayItemのＴＳ内にＰＡＴを設けることはできない。このことによって、PlayItemのＴＳとの不一致が防止される。
【００４７】
SubPlayItemのＴＳは、PlayItemのＴＳ内で使用されていないＰＩＤを有するＰＭＴを含んでいなければならない。
【００４８】
PlayItemおよびSubPlayItem双方のすべてのＴＳに含まれるエレメンタリストリームに関連するすべてのＰＩＤは、異なっていなければならない。
【００４９】
上記のＴＳ規則の利点は、すべてのエレメンタリストリームをデコードするために、１つのＰＩＤフィルタだけで十分であることである。ＴＳ規則に違反すると、入力データをバッファリングする前にＰＩＤの再スタンプを行うか、または異なるバッファを分離しなければならなくなる。
【００５０】
本発明は複数の利点を有する。
事前記録されたＢｌｕ‐ｒａｙディスクの作成におけるフレキシビリティが向上される。たとえば、メインのＡＶマルチプレクスが完成した後に、付加的な言語を後の時点でディスクに容易に追加することができる。これは、たとえば他言語のオーディオ情報および字幕情報を含む補助的なＡＶマルチプレクスを別個に作成し、基本ＡＶマルチプレクスを変更せずに（記録、再多重化する必要なく）、補助ＡＶマルチプレクスをディスクイメージに追加できるためである。
【００５１】
オーディオフォーマット、字幕フォーマット、ビデオアングルフォーマット、ＡＶフォーマット等の最大個数は、マルチプレクスに対する所与の帯域幅によって制限されることはない。この最大個数は、容量キャパシティによってのみ定義される。
【００５２】
外部ソースとディスクコンテンツとを任意に組み合わせることができる。これはたとえば、ハードディスクまたはインターネットからの特別なサウンドトラックである。こうすることによって、新たなストリームと事前記録されたディスクとを組み合わせることによる付加価値が得られる。
【００５３】
さらに、異なるトランスポートストリームから得られたエレメンタリストリームのデコードを簡略化し、異なるトランスポートストリームにわたってシームレスにストリームを切り替えられるようにするため（たとえばマルチアングルビデオ）、規則が設けられる。
【図１】
2011254515.tif 000008