(57)【特許請求の範囲】
【請求項１】
データストリームを配列するための方法であって、
前記データストリームは、ビデオデータおよび／またはオーディオデータおよび／または別のデータを含んでおり、
多重化された要素ストリームの基本的なＡＶ ＭＰＥＧ‐２搬送ストリームの各部分をポインティングする一連の連続的な記述子（PlayItem）である基本的なストリームパスを定義し、
ここで、前記一連における該記述子の順番は、前記基本的なＡＶ ＭＰＥＧ‐２搬送ストリームの前記各部分を再生するための一時的な順番を定義し、
前記基本的なＡＶ ＭＰＥＧ‐２搬送ストリームと同期した再生のために、ナビゲーションファイルのグローバル時間軸上に配列されたサブストリームパスを定義し、
ここで、
前記サブストリームパスは、更なるデータストリームを、又は更なるデータストリームの各部分をポインティングする、更なる一連の、１つまたは複数の連続的な更なる記述子（SubPlayItem）を有し、
前記更なるデータストリームは、前記基本的なＡＶ ＭＰＥＧ‐２搬送ストリームに対し外部に位置づけられたデータソースから由来する、異なる更なるＡＶ ＭＰＥＧ‐２搬送ストリームとして形成された更なる要素ストリーム内にエンコードされ、
前記更なる記述子は、再生中に、前記更なるデータストリームの中の１つの或る部分を復号化することを、前記更なるデータストリームの中の別の１つの或る部分を復号化すること、と目立った作用なく置き換えることをユーザが許される、前記更なるデータストリーム上のポイントおよび時間上のポイントを定義する、
ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオデータおよび／またはビデオデータおよび／または別のデータを含むデータストリームを同期するための方法および装置に関する。ここでは、データストリームのうち幾つかが記憶媒体に多重に記録され、他のデータストリームはデータストリームマルチプレクスの外部に位置づけされている。
【０００２】
背景技術
光学的記憶媒体は、１つまたは複数のビデオおよびオーディオのデータストリームおよび／または別のデータを含む音響映像（ＡＶ）信号を記録または再生することができる。前記別のデータは、たとえば字幕およびサービス情報等である。www.dvdforum.orgによって広められたデジタル多用途ディスク（ＤＶＤ）標準規格に基づいて、事前記録された映画タイトルは、読み出し専用の光学的ディスクを使用して量販市場向けに複製される。赤色レーザを基礎とするＤＶＤ標準規格の導入および拡大に続いて、青色レーザを基礎とする、ますます大きな容量の媒体システムが、「Ｂｌｕ‐ｒａｙ」という商標名で広まってきている。これは、ＢＤと表示される。
【０００３】
現在のＤＶＤでは、コンテンツプロバイダは多数の異なる対象国に対してビデオを作成しており、このビデオは、多数の異なる言語および字幕を含んでいる。ＡＶマテリアルのこのような言語固有のバージョンの上にさらに、光学的ではマルチアングルの適用および多層的な適用も存在する。ＢＤの適用でこの可能性は、ＳＤＴＶビデオおよびＨＤＴＶビデオ等の異なるビデオフォーマットを導入することによって拡大される。光学的な記録および事前記録では、上記で挙げられた異なる要素ストリーム（ビデオアングル、オーディオトラック、字幕等）はすべて、ただ１つの多重搬送ストリームにパケット化しなければならない。再生時にデコーダは、このマルチプレクスを読み出して、選択されたストリームに所属するパケットを復号化する。
【０００４】
本発明
本発明は、以下の事実の認識に基づく。すべての有効なコンポーネントを含むＡＶマルチプレクスを有する場合、たとえば別のサウンドトラックまたは別のウェブページ等の付加的なマテリアルを後で提供することはできない。すなわち、コンテンツプロバイダが制作ツールを使用して、ＢＤ映画を生成する場合、すべての要素ストリームを把握してから生成を開始しなければならない。ＡＶマルチプレクスを製作した後に別の要素ストリームを追加することはできない。また、別のデータストリームを後で追加しなければならない場合、既存のデータストリームと同期する必要がある。
【０００５】
したがって本発明において解決すべき課題は、マルチプレクスで記憶媒体に記録されたデータストリームと、該データストリームマルチプレクスの外部に位置付けられた別のデータストリームとを同期できるようにすることである。
【０００６】
前記課題は、請求項１に記載された方法と、相応の装置とによって解決される。
【０００７】
基本的に本発明の方法では、ビデオデータおよび／またはオーディオデータおよび／または別のデータを含むデータストリームの同期が可能であり、このデータストリームのうち幾つかは、マルチプレクスで記憶媒体に事前記録されており、ナビゲーションファイルが、該データストリームの各部分をポインティングする記述子を含み、前記記述子はデータサブストリームパスを使用して、各データストリームの時間的な配列を定義する。
【０００８】
本発明の有利な付加的実施形態が、各従属請求項に記載されている。
【０００９】
図面
本発明の実施例を、添付図面を参照して説明する。この図面は、異なるビデオストリームパスとオーディオストリームパスと字幕ストリームパスとを含む再生リストの一例を示している。
【００１０】
実施例
図１は、異なるビデオストリームパスと、オーディオストリームパスと、字幕ストリームパスとを含む再生リストList_of_PlayItemsの一例を示している。この再生リストはPlayItemまたはSubPlayItemを有し、これをデコードしてストリームパスを再生しなければならない。PlayItemの第１のストリームパスはＡＶ多重ストリームを有している。さらに幾つかのSubPlayItemによって、上記のオーディオストリームパスと、ビデオストリームパスと、字幕ストリームパスとが記述される。
【００１１】
ここに図示されているように、多重ストリームパスはPlayListの汎用的な時間軸上に平行して存在する。ストリームパスは、時間軸の一部分を空にすることによってリーキー（leaky）と定義される。
【００１２】
PlayItemまたはSubPlayItemによって記述されたストリームはどれでも、要素ストリームとすることができるか、またはストリームのマルチプレクスとすることもできる。
【００１３】
光学的ディスク上のメインＡＶマルチプレクスの外部に位置付けられた要素ストリームの本発明の同期を、以下で説明する。
【００１４】
同期を２つの異なる事例に対して考察する。第１の事例は、時間的な相互関係に関するコンポーネントの同期である。ここでは、別個のコンポーネントがどの時点で開始および終了するかが決定される。第２の事例は、スイッチングに関するコンポーネントの同期である。ここでは、１つのコンポーネントのデコードを別のコンポーネントのデコードによって置換できる、時間およびバイナリストリームにおける位置が決定される。たとえばビデオコンポーネントのスイッチングは、マルチアングルの適用において有用である。
【００１５】
このような適用において有利な媒体は、アウト・オブ・マルチプレクス（out of multiplex）のビットストリーム読み出しに必要な転送速度を実現する、ＤＶＤ機能を超える媒体であり、たとえばＢｌｕ‐ｒａｙディスクである。
【００１６】
アウト・オブ・マルチプレクスのセマンティクスによって、異なる要素ストリームを組み合わせて、Ｂｌｕ‐ｒａｙディスクのＡＶストリームを再生することができる。ここでは、ディスクをソースとするストリームと、インターネットを介して得られたストリームまたは別の記憶媒体からのストリームとの組み合わせも含まれる。たとえば、ビデオストリームをＢｌｕ‐ｒａｙディスクから読み出し、オーディオストリームをハードディスクから読み出し、字幕をインターネットサービスから読み出す映画の再生が可能である。
【００１７】
アウト・オブ・マルチプレクスのＡＶマテリアルの記述は、ナビゲーションファイルおよびストリームファイルを含む異なったファイルから成る。ナビゲーションファイルは、ストリームファイル内をナビゲーションするためのすべてのエントリポイントを有している。ここでは、時間軸におけるポイント、視角、字幕およびオーディオチャネル等が挙げられる。ナビゲーションファイルのより上位の層には、ＡＶマテリアルの再生に割り当てられているすべてのストリーム部分を説明する再生アイテムのリストが設けられている。
【００１８】
以下で、上位レベルのナビゲーションファイルの一般的な構文を説明する。表１〜４には、本発明において必須の要素のみが略述されている。すなわち、付加的な要素はここでは記載されておらず、異なる命令も可能である。
【００１９】
表１にて定義されているように、ディスク上の再生要素はList_of_PlayItemsによって記述されている。この再生要素は、映画のどの部分（たとえばチャプタ）であってもよい。List_of_PlayItemsは、List_of_PlayItems構造の構造全長をバイトで示すlengthと、PlayItem () 要素の数を示すplayItemと、SubPlayItem () の数を示すsubPlayItemとから成る。List_of_PlayItemsでは少なくとも１つのPlayItemが必要であるのに対し、SubPlayItemは任意である。SubPlayItem (s) の時間軸は、PlayItem (s) の時間軸を参照している。
【００２０】
表１：List_of_PlayItems構文
【００２１】
【表１】
0004678761.tif 000002
【００２２】
表２において定義されているように、PlayItem構造は、該構造の全長をバイトで示すlengthと、要素ストリームファイルへのリンクを記述するStreamFileと、StreamFile内のPlayItemのプレゼンテーション開始時点を記述するStart_timeと、該StreamFile内のPlayItemのプレゼンテーション終了時点を記述するEnd_timeとから成る。
【００２３】
付加的にPlayItem構造は、バイトの位置合わせを保存するための要素「reserved」、該PlayItemがコンポーネント間におけるシームレスな移行を提供するか否かを指示するSeamless_presentation_flagも含む。Seamless_presentation_flagはSubPlayItem（表３）の場合と同じ意味を有し、そこでさらに詳細に説明される。
【００２４】
表２：PlayItem構文
【００２５】
【表２】
0004678761.tif 000003
【００２６】
表３にて定義されているように、SubPlayItem構造はPlayItemの構造に非常に似ている。このSubPlayItem構造は、該構造の全長をバイトで示すlengthと、要素ストリームファイルに対するリンクを記述するStreamFileと、該StreamFile内のPlayItemのプレゼンテーション開始時点を記述するStart_timeと、該StreamFile内のPlayItemのプレゼンテーション終了時点を記述するEnd_timeとから成る。
【００２７】
付加的にSubPlayItem構造は、バイトの位置合わせを保存するための要素「reserved」と、該PlayItemがコンポーネント間におけるシームレスな移行を提供するか否かを指示するSeamless_presentation_flagと、サブストリームパスの終了を指示するStream_path_endと、SubPlayItemに対して与えられたサブストリームパスの種類を示す１つの８ビットフィールドであるSubStream_typeも含む。
【００２８】
表３：SubPlayItem構文
【００２９】
【表３】
0004678761.tif 000004
【００３０】
図４にて定義されているように、SubStream_typeはSubPlayItemの種類を定義する。これは、オーディオダビングのための補助的なオーディオストリームパスと、ビデオストリームパスと、オーディオストリームパスと、字幕ストリームパスまたはグラフィックスストリームパスとから成る。値６〜２５５は、将来のストリームパス形式のために使用することができる。
【００３１】
表４：SubStream_type
【００３２】
【表４】
0004678761.tif 000005
【００３３】
表５に示されているような、SubStream_typeの択一的な定義も可能である。異なる要素ストリームパスの代わりに、補助的な搬送ストリームパスを設けることの利点は、どの要素ストリームも別の多重ストリームに再び組み込めることである。すなわち、幾つかの異なる字幕を、１つのファイルに一緒に多重化することができる。
【００３４】
表５：Substream_type
【００３５】
【表５】
0004678761.tif 000006
【００３６】
Seamless_presentation_flagは、再生中にコンポーネントのシームレスなスイッチングに関する同期のケースを支援する。
【００３７】
Seamless_presentation_flagはPlayItem／SubPlayItem内に位置付けられており、PlayItem／SubPlayItemによって参照される搬送ストリームが、要素ストリーム間のシームレスな移行を支援しているか否かを示す。Seamless_presentation_flagが「真」にセットされている場合、搬送ストリームにあるすべての要素ストリームがシームレス移行制約に従う。
【００３８】
シームレス移行制約は、要素ストリーム内部の接続ポイントを提供する。接続ポイントは、再生中に１つの要素ストリームのデコードを停止して、目立った作用を伴わずに別の要素ストリームのデコードを開始できるポイントである。ここでは、両要素ストリームがシームレス移行制約に従ってエンコードされたことが前提条件である。接続ポイントはエンコード中に、必須のＧＯＰラスタを定義して必要なバッファサイズを制限することにより、デコード時に異なる要素ストリームを切り替える際にバッファがあふれるのを防止することによって生成される。前記ＧＯＰラスタは、たとえば固定的なＧＯＰ長さである。
【００３９】
シームレス移行の典型的な適用例が、マルチアングルビデオである。マルチアングルビデオは、１つのビデオに対して異なるカメラ角度を提供する。たとえば、１つのカメラはレースカー内部を表示し、別の１つのカメラはボックスを表示し、１つのカメラはフィニッシュラインを表示する。マルチアングルビデオが再生される際には、ユーザはシームレスに、これらの異なるカメラトラックの間で切り替えることができる。
【００４０】
Stream_path_endおよびSubstream_typeは、コンポーネントの時間的な相対関係に関する同期のケースを支援する。
【００４１】
Stream_path_end：このフラグは、ストリームパスの終了を指示する。ストリームパスは、SubPlayItemの順序付けられたセットである。これは、該ストリームパスに所属するすべてのSubPlayItemの数および順序を定義する。第１のストリームパスは最初のSubPlayItemによって開始し、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemによって終了する。第２のストリームパスは、先行するストリームパスに後続する最初のSubPlayItemによって開始し、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemによって終了し、同様に繰り返される。最後のストリームパスは、最後のSubPlayItemで終了する。PlayListの最後のSubPlayItemに対してStream_path_endフラグを「真」にセットすることは、任意である。ストリームパスのすべてのSubPlayItemは、同一のSubPlayItem_typeを有しなければならない。
【００４２】
ストリームパスの再生によって、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemを含むか、またはPlayListの最後のSubPlayItemを含むストリームパスに所属するSubPlayItemの連続的なセットがデコードされる。
【００４３】
搬送ストリーム（ＴＳ）は、ＩＳＯ／ＩＥＣ１３８１８‐１にて規定されているように、ＭＰＥＧ‐２システム標準規格にしたがって、動画および関連のオーディオ情報の一般的な符号化にしたがって編成されている。しかし、デコード中に衝突のない再生を実現すると同時に、後で独立してコンテンツを付加できるようにするため、たとえばメインの作成がすでに終了した後に補助的な字幕を付与できるようにするためには、搬送ストリームにおいて制約の以下の規則が必要である。
【００４４】
PlayItemのＴＳは、プログラム割り当てテーブル（ＰＡＴ）およびプログラムマップテーブル（ＰＭＴ）を有しなければならない。これらは、マルチプレクス内のすべてのＴＳコンポーネント（要素ストリーム）に対してＰＩＤテーブルおよび言語情報を提供する。
【００４５】
SubPlayItemのＴＳは、補助ストリームを含む。補助ストリームの有利な形式もＴＳである。
【００４６】
SubPlayItemのＴＳ内部にＰＡＴを設けることはできない。このことによって、PlayItemのＴＳとの衝突が防止される。
【００４７】
SubPlayItemのＴＳは、PlayItemのＴＳ内部で使用されていないＰＩＤを有するＰＭＴを含んでいなければならない。
【００４８】
PlayItemおよびSubPlayItem双方のすべてのＴＳに含まれる要素ストリームに関連するすべてのＰＩＤは、異なっていなければならない。
【００４９】
上記のＴＳ規則の利点は、すべての要素ストリームをデコードするために、１つのＰＩＤフィルタだけで十分であることだ。ＴＳ規則に違反すると、入力データをバッファリングする前にＰＩＤの再スタンプを行うか、または異なるバッファを分離しなければならなくなる。
【００５０】
本発明は複数の利点を有する。
事前記録されたＢｌｕ‐ｒａｙディスクの作成におけるフレキシビリティが向上される。たとえば、メインのＡＶマルチプレクスが完成した後に、付加的な言語を後の時点でディスクに容易に追加することができる。これは、たとえば他言語のオーディオ情報および字幕情報を含む補助的なＡＶマルチプレクスを別個に作成し、基本的なＡＶマルチプレクスを変更せずに（記録、再多重化する必要なく）該補助的なＡＶマルチプレクスをディスクイメージに追加できるからだ。
【００５１】
オーディオフォーマット、字幕フォーマット、ビデオアングルフォーマット、ＡＶフォーマット等の最大個数は、マルチプレクスに対する所与の帯域幅によって制限されることはない。この最大個数は、容量キャパシティによってのみ定義される。
【００５２】
外部ソースとディスクコンテンツとを任意に組み合わせることができる。これはたとえば、ハードディスクまたはインターネットからの特別なサウンドトラックである。こうすることによって、新たなストリームと事前記録されたディスクとを組み合わせることによる付加価値が得られる。
【００５３】
さらに、異なる搬送ストリームから得られた要素ストリームのデコードを簡略化し、異なる搬送ストリームにわたってシームレスにストリームを切り替えられるようにするため（たとえばマルチアングルビデオ）、規則が設けられる。
【図面の簡単な説明】
【００５４】
【図１】異なるビデオストリームパスとオーディオストリームパスと字幕ストリームパスとを含む再生リストの一例を示している。
【図１】
0004678761.tif 000007