"再生装置においてコンテンツ再生に用いる再生管理データを生成するデータ生成方法であって、メインストリームの映像と、サブストリームの映像とを取得し、前記メインストリームに対応して再生される音声を取得し、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得し、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成するステップを含むデータ生成方法。前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の表示位置に関する情報を含む請求項1に記載のデータ生成方法。前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の表示の大きさに関する情報を含む請求項1に記載のデータ生成方法。前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の表示色に関する情報を含む請求項1に記載のデータ生成方法。前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の、原映像に対する合成後の回転角度に関する情報を含む請求項1に記載のデータ生成方法。前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の明るさを示す情報に基づいて実行される、前記メインストリームの映像と、前記サブストリームの映像とを合成する処理に関する情報を含む請求項1に記載のデータ生成方法。前記サブストリームの映像の明るさを示す情報は、透過処理を行うべき明るさを示す情報の少なくとも1つの閾値であり、前記サブストリームの映像の明るさが、前記閾値以上または以下となる映像部分に対して透過処理を行う請求項6に記載のデータ生成方法。前記再生管理データには、前記メインストリームに対して前記サブストリームが必ず同時に再生されるか、ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されるかを示す情報が記載され、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されることを示す情報が前記再生管理データに記載されている場合、前記ユーザの操作入力に基づいて、前記ユーザから前記サブストリームの再生が指令されたときのみ、前記メインストリームの映像と前記サブストリームの映像とが合成される請求項1に記載のデータ生成方法。前記再生管理データには、前記表示状態に関する情報を含むことを示す情報が含まれる請求項1に記載のデータ生成方法。少なくとも1つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とが含まれているデータ構造であり、前記データ構造を取得した再生装置により、取得された前記データ構造に含まれる前記再生管理情報の前記第1の情報および前記第2の情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し、取得された前記データ構造に含まれる前記再生管理情報の前記表示状態に関する情報を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記第1の情報を基に読み出される前記メインストリームに対応して再生される音声と、前記第2の情報を基に読み出される前記サブストリームに対応して再生される音声とを合成する処理に用いられるデータ構造。少なくとも1つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームであって、前記第1の情報を基に読み出される前記メインストリームの映像と合成される映像と、前記第1の情報を基に読み出される前記メインストリームに対応して再生される音声と合成される音声が存在する場合にはその音声と、を含んでいる前記サブストリームを再生する時間軸上の位置を示す第2の情報と、前記第1の情報を基に読み出される前記メインストリームの映像と合成される、前記第2の情報を基に読み出される前記サブストリームの映像の表示状態に関する情報とが含まれているデータ構造。再生装置においてコンテンツ再生に用いる再生管理データが記録される記録媒体にデータを記録する記録装置において、メインストリームの映像と、サブストリームの映像とを取得する第1の取得手段と、前記メインストリームに対応して再生される音声を取得する第2の取得手段と、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得する第3の取得手段と、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成する生成手段と、取得された前記メインストリームの映像および音声、取得された前記サブストリームの映像および音声または前記サブストリームの映像、並びに生成された前記再生管理データを前記記録媒体に記録する記録手段とを備える記録装置。再生装置においてコンテンツ再生に用いる再生管理データが記録される記録媒体の記録方法であって、メインストリームの映像と、サブストリームの映像とを取得し、前記メインストリームに対応して再生される音声を取得し、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得し、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成し、取得された前記メインストリームの映像および音声、取得された前記サブストリームの映像および音声または前記サブストリームの映像、並びに生成された前記再生管理データを前記記録媒体に記録するステップを含む記録媒体の記録方法。再生装置においてコンテンツ再生に用いる再生管理データが記録される記録媒体にデータを記録する処理をコンピュータに実行させるためのプログラムであって、メインストリームの映像と、サブストリームの映像とを取得し、前記メインストリームに対応して再生される音声を取得し、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得し、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成し、取得された前記メインストリームの映像および音声、取得された前記サブストリームの映像および音声または前記サブストリームの映像、並びに生成された前記再生管理データを前記記録媒体に記録するステップを含む処理をコンピュータに実行させるプログラム。上述したように、複数のコンテンツの映像データを合成して表示させる場合のみならず、1つのコンテンツが、複数の映像データを含む場合などにおいても、複数の映像データを合成して出力させることが求められている。複数の映像データが合成されて出力される場合、主な表示画面に対する副となる表示画面の表示方法を、再生装置に依存させるのではなく、例えば、コンテンツごとに、または、コンテンツの所定の再生箇所ごとに、コンテンツの作成元またはコンテンツの配給元などが設定することは困難であった。本発明はこのような状況に鑑みてなされたものであり、主な表示画面に対する副となる表示画面の表示方法を指定することができるようにするものである。本発明のデータ生成方法は、再生装置においてコンテンツ再生に用いる再生管理データを生成するデータ生成方法であって、メインストリームの映像と、サブストリームの映像とを取得し、前記メインストリームに対応して再生される音声を取得し、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得し、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成するステップを含む。前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示位置に関する情報を含むようにすることができる。前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示の大きさに関する情報を含むようにすることができる。前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示色に関する情報を含むようにすることができる。前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の、原映像に対する合成後の回転角度に関する情報を含むようにすることができる。前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の明るさを示す情報に基づいて実行される、前記メインストリームの映像と、前記サブストリームの映像とを合成する処理に関する情報を含むようにすることができる。前記サブストリームの映像の明るさを示す情報は、透過処理を行うべき明るさを示す情報の少なくとも1つの閾値であり、前記サブストリームの映像の明るさが、前記閾値以上または以下となる映像部分に対して透過処理を行うことができる。前記再生管理データには、前記メインストリームに対して前記サブストリームが必ず同時に再生されるか、ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されるかを示す情報が記載され、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されることを示す情報が前記再生管理データに記載されている場合、前記ユーザの操作入力に基づいて、前記ユーザから前記サブストリームの再生が指令されたときのみ、前記メインストリームの映像と前記サブストリームの映像とが合成されるようにすることができる。前記再生管理データには、前記表示状態に関する情報を含むことを示す情報が含まれるようにすることができる。本発明のデータ生成方法においては、メインストリームの映像と、サブストリームの映像とが取得され、メインストリームに対応して再生される音声が取得され、サブストリームに対応して再生される音声が存在する場合には、メインストリームに対応して再生される音声と合成される、サブストリームに対応して再生される音声が取得され、メインストリームを再生する時間軸上の位置を示す第1の情報と、メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、メインストリームの映像と合成されるサブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データが生成される。本発明の第1のデータ構造は、少なくとも1つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とが含まれているデータ構造であり、前記データ構造を取得した再生装置により、取得された前記データ構造に含まれる前記再生管理情報の前記第1の情報および前記第2の情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し、取得された前記データ構造に含まれる前記再生管理情報の前記表示状態に関する情報を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記第1の情報を基に読み出される前記メインストリームに対応して再生される音声と、前記第2の情報を基に読み出される前記サブストリームに対応して再生される音声とを合成する処理に用いられる。本発明の第2のデータ構造は、少なくとも1つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームであって、前記第1の情報を基に読み出される前記メインストリームの映像と合成される映像と、前記第1の情報を基に読み出される前記メインストリームに対応して再生される音声と合成される音声が存在する場合にはその音声と、を含んでいる前記サブストリームを再生する時間軸上の位置を示す第2の情報と、前記第1の情報を基に読み出される前記メインストリームの映像と合成される、前記第2の情報を基に読み出される前記サブストリームの映像の表示状態に関する情報とが含まれている。本発明の記録装置は、再生装置においてコンテンツ再生に用いる再生管理データが記録される記録媒体にデータを記録する記録装置において、メインストリームの映像と、サブストリームの映像とを取得する第1の取得手段と、前記メインストリームに対応して再生される音声を取得する第2の取得手段と、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得する第3の取得手段と、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成する生成手段と、取得された前記メインストリームの映像および音声、取得された前記サブストリームの映像および音声または前記サブストリームの映像、並びに生成された前記再生管理データを前記記録媒体に記録する記録手段とを備える。本発明の記録方法は、再生装置においてコンテンツ再生に用いる再生管理データが記録される記録媒体の記録方法であって、メインストリームの映像と、サブストリームの映像とを取得し、前記メインストリームに対応して再生される音声を取得し、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得し、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成し、取得された前記メインストリームの映像および音声、取得された前記サブストリームの映像および音声または前記サブストリームの映像、並びに生成された前記再生管理データを前記記録媒体に記録するステップを含む。本発明のプログラムは、再生装置においてコンテンツ再生に用いる再生管理データが記録される記録媒体にデータを記録する処理をコンピュータに実行させるためのプログラムであって、メインストリームの映像と、サブストリームの映像とを取得し、前記メインストリームに対応して再生される音声を取得し、前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と合成される、前記サブストリームに対応して再生される音声を取得し、前記メインストリームを再生する時間軸上の位置を示す第1の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データを生成し、取得された前記メインストリームの映像および音声、取得された前記サブストリームの映像および音声または前記サブストリームの映像、並びに生成された前記再生管理データを前記記録媒体に記録するステップを含む。本発明の記録装置、記録方法、およびプログラムにおいては、メインストリームの映像と、サブストリームの映像とが取得され、メインストリームに対応して再生される音声が取得され、サブストリームに対応して再生される音声が存在する場合には、メインストリームに対応して再生される音声と合成される、サブストリームに対応して再生される音声が取得され、メインストリームを再生する時間軸上の位置を示す第1の情報と、メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第2の情報と、メインストリームの映像と合成されるサブストリームの映像の表示状態に関する情報とを含むデータ構造を有する再生管理データが生成され、取得されたメインストリームの映像および音声、取得されたサブストリームの映像および音声またはサブストリームの映像、並びに生成された再生管理データが記録媒体に記録される。以上のように、本発明によれば、メインストリームファイルの映像と、サブストリームファイルの映像とを合成することができ、特に、再生管理情報に含まれるサブストリームファイルの映像の表示状態に関する情報を基に、メインストリームファイルの映像と、サブストリームファイルの映像とを合成することができるので、例えば、ピクチャインピクチャ表示における副表示画面の大きさと表示位置は、再生装置の仕様に依存することなく、コンテンツの製作者、または、コンテンツの配給元が、適宜定めることができる。また、本発明によれば、少なくとも1つのストリームを含むメインストリームファイルの再生を管理する情報である再生管理情報を含むデータ構造を有するデータを提供することができ、特に、再生管理情報に、メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第1の情報と、メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第2の情報と、メインストリームファイルの映像と合成されるサブストリームファイルの映像の表示状態に関する情報とを含むデータ構造を有するデータを提供することができるので、例えば、ピクチャインピクチャ表示における副表示画面の大きさと表示位置は、再生装置の仕様に依存することなく、コンテンツの製作者、または、コンテンツの配給元が、適宜定めることができる。以下、図を参照して、本発明の実施の形態について説明する。図1は、本発明を適用した再生装置20図35を参照して後述するに装着される記録媒体上のアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。アプリケーションフォーマットは、AVAudioVisualストリームの管理のために、PlayListとClipの2つのレイヤを有している。ここでは、1つのAVストリームとそれに付随する情報であるClipインフォメーションのペアを1つのオブジェクトと考え、それらをまとめてClipと称する。以下、AVストリームをAVストリームファイルとも称する。また、ClipインフォメーションをClipインフォメーションファイルとも称する。一般的に、コンピュータなどで用いられるファイルはバイト列として扱われるが、AVストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、AVストリームの管理のためのレイヤである。Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、ClipInformationファイルは、タイムスタンプから、AVストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。PlayListは、AVストリームの再生区間の集まりである。あるAVストリーム中の1つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のIN点再生開始点とOUT点再生終了点のペアで表される。従って、PlayListは、図1に示されるように1つ、または複数のPlayItemにより構成される。図1において、左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照されている。また、左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照されている。さらに、左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照されている。例えば、図1のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から1番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。このように、PlayListは、AVストリームファイルの再生を管理するための再生管理情報として用いられる。ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このディスクナビゲーションプログラムは、例えば、Java登録商標などのプログラミング言語で記述され、記録媒体上に用意される。本実施の形態では、PlayListの中で、1つ以上のPlayItemの並びによって連続するPlayItemにより作られる再生パスをメインパスと称し、PlayListの中で、MainPathに平行並列して、1つ以上のSubPlayItemの並びによって非連続でもよいし、連続してもよいSubPlayItemにより作られる再生パスをサブパスSubPathと称する。すなわち、再生装置20図35を参照して後述するに装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて合わせて再生されるサブパスをPlayListの中に持つ。図2は、メインパスとサブパスの構造を説明する図である。PlayListは、1つのメインパスと1つ以上のサブパスを持つことができる。1つのメインパスは、1つ以上のPlayItemの並びによって作られ、1つのサブパスは、1つ以上のSubPlayItemの並びによって作られる。図2の例の場合、PlayListは、3つのPlayItemの並びにより作られる1つのメインパスと、3つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれIDIdentificationが付されている。具体的には、メインパスは、PlayItemid=0、PlayItemid=1、およびPlayItemid=2のPlayItemからなる。また、サブパスにも先頭から順番にSubpathid=0、Subpathid=1、およびSubpathid=2、とそれぞれIDが付されている。Subpathid=0のサブパスには、1つのSubPlayItemが含まれ、Subpathid=1のサブパスには、2つのSubPlayItemが含まれ、Subpathid=2のサブパスには、1つのSubPlayItemが含まれる。Subpathid=0のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるAVストリームファイルのオーディオストリームに替えて再生される場合が考えられる。また、Subpathid=1のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、MainPathにより参照されるAVストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。1つのPlayItemが参照するClipAVストリームファイルには、少なくともビデオストリームデータメイン画像データが含まれる。また、ClipAVストリームファイルには、ClipAVストリームファイルに含まれるビデオストリームメイン画像データと同じタイミングで同期して再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。さらに、ClipAVストリームファイルには、ClipAVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリームが1つ以上含まれてもよいし、含まれなくてもよい。また、ClipAVストリームファイルには、ClipAVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが1つ以上含まれてもよいし、含まれなくてもよい。そして、ClipAVストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、1つのPlayItemが参照するClipAVストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される0個以上のオーディオストリーム、0個以上のビットマップ字幕ストリームデータ、および0個以上のインタラクティブグラフィックスストリームデータとが多重化されている。すなわち、1つのPlayItemが参照するClipAVストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリーム、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。また、1つのSubPlayItemは、PlayItemが参照するClipAVストリームファイルとは異なるストリーム別ストリームのオーディオストリームデータや字幕データを参照する。メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中からしか音声や字幕を選択することができない。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClipAVストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリームを参照することができる。このように、1つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、MainPathで参照されるClipAVストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。図3は、メインパスとサブパスの例を説明する図である。図3においては、メインパスと同じタイミングでAV同期して再生されるオーディオの再生パスを、サブパスを使用して表している。図3のPlayListには、メインパスとして、PlayItemid=0である1つのPlayItemと、サブパスとして1つのSubPlayItemが含まれている。メインパスのPlayItemid=0である1つのPlayItemは、図3のメインAVストリームを参照している。SubPlayItemには、以下に示すデータが含まれる。まず、SubPlayItemには、PlayListの中のSubPathサブパスが参照するClipを指定するためのClipInformationfilenameが含まれる。図3の例の場合、SubPlayItemによって、SubClipentryid=0のAuxiliaryaudiostreamオーディオストリームが参照されている。また、SubPlayItemには、Clipここでは、Auxiliaryaudiostreamの中のSubPathの再生区間を指定するためのSubPlayItemINtimeとSubPlayItemOUTtimeとが含まれる。さらに、SubPlayItemには、Mainpathの時間軸上でSubPathが再生開始する時刻を指定するためのsyncPlayItemidとsyncstartPTSofPlayItemとが含まれる。図3の例の場合、syncPlayItemid=0とされ、syncstartPTSofPlayItem=t1とされている。これにより、メインパスのPlayItemid=0の時間軸上でSubPathが再生を開始する時刻t1を指定することができる。すなわち、図3の例の場合では、メインパスの再生開始時刻t1とサブパスの開始時刻t1が同時刻であることを示している。ここで、SubPathに参照されるオーディオのClipAVストリームは、STC不連続点システムタイムベースの不連続点を含んではならない。サブパスに使われるClipのオーディオサンプルのクロックは、メインパスのオーディオサンプルのクロックにロックされている。換言すると、SubPlayItemには、SubPathが参照するClipを指定する情報、SubPathの再生区間を指定する情報、およびMainpathの時間軸上でSubPathが再生を開始する時刻を指定する情報が含まれている。SubPathに使われるClipAVストリームがSTCを含まないため、SubPlayItemに含まれる情報SubPathが参照するClipを指定する情報、SubPathの再生区間を指定する情報、およびMainpathの時間軸上でSubPathが再生を開始する時刻を指定する情報に基づいて、メインパスが参照するClipAVストリームメインAVストリームとは異なるClipAVストリームのオーディオストリームを参照して、再生することができる。このように、PlayItemとSubPlayItemは、ClipAVストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClipAVストリームファイルメインAVストリームとSubPlayItemが管理するClipAVストリームファイルは異なるファイルとなる。なお、図3の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。図4は、メインパスとサブパスの別の例を説明する図である。図4においては、メインパスと同じタイミングでAV同期して再生されるビデオとオーディオの再生パスを、サブパスを使用して表している。メインパスのPlayItem-1が参照するストリームファイルは、Clip-0のプライマリprimaryビデオストリームおよびプライマリオーディオストリーム、並びに、PGPresentationGraphicsストリームおよびIGIntaractiveGraphicsストリームの前半部分であり、PlayItem-2が参照するメインAVストリームファイルは、Clip-0のプライマリprimaryビデオストリームおよびプライマリオーディオストリーム、並びに、PGストリームおよびIGストリームの後半である。そして、サブパスのSubPlayItemが参照するストリームファイルは、Clip1のセカンダリ2ndaryビデオストリームと、セカンダリオーディオストリームである。例えば、メインパスにより参照されるプライマリprimaryビデオストリームおよびプライマリオーディオストリーム、並びに、PGストリームおよびIGストリームを1つの映画のコンテンツAVコンテンツとし、サブパスにより参照されるセカンダリビデオストリームと、セカンダリオーディオストリームをその映画に対して監督がコメントしているボーナストラックとし、メインパスで参照されるビデオおよびオーディオのストリームにサブパスで参照されるビデオおよびオーディオのストリームをミキシング重ねて再生するような場合に、このような構成が利用される。また、セカンダリストリームがプライマリのストリームと同期必ず同時に再生されるようなプレイリストの設定していない場合であっても、ユーザが、映画を見ながら、ボーナストラックを合成させて表示させる指令を再生装置プレーヤへ入力した場合に、メインパスで参照されるプライマリストリームの映像および音声と、サブパスで参照されるセカンダリストリームの映像および音声とがミキシングされて再生される場合には、同様にこのような構成が用いられる。図4においては、メインパスに2つのPlayItemがPlayItemid=0,1と配置され、サブパスSubpathid=0に1つのSubPlayItemが配置されている。そして、SubPath図19にて後述するで呼び出すSubPlayItem図21にて後述するは、Subpathの再生区間を指定するための、SubPlayItemINtimeと、SubPlayItemouttimeを含む。図4を用いて説明したプライマリビデオ、プライマリオーディオに対して、セカンダリビデオ、セカンダリオーディオが重畳されて再生出力される場合、音声は、合成されて出力され、映像は、図5に示されるように、プライマリビデオが表示される主表示画面1に対して、セカンダリビデオが、所定の位置で所定の大きさの副表示画面2によって重ねあわされて表示される。なお、図4においては、メインパスによって参照されたものがプライマリストリームであり、サブパスによって参照されたものがセカンダリストリームであるが、プライマリストリームおよびセカンダリストリームは、それぞれ、メインパスによって参照されていても、サブパスによって参照されていてもよい。例えば、プライマリストリームおよびセカンダリストリームがいずれもメインパスによって参照されていてもよいし、プライマリストリームおよびセカンダリストリームがいずれもサブパスによって参照されていてもよい。すなわち、このような構成は、図5に示されるように、プライマリビデオストリームを主画面として表示させ、主画面の中に、セカンダリストリームを子画面として合成して表示させる、いわゆるPinPピクチャインピクチャ:PictureinPicture表示を行う場合に利用することができる。図6は、再生装置20図35を参照して後述するにおいて再生可能なデータファイルのファイルシステムの例を示す図である。図6には、一例として、再生装置20において再生可能なデータファイルが光ディスクなどの記録媒体によって供給されている場合を示しており、このファイルシステムはディレクトリ構造を有している。なお、再生装置20において再生可能なデータファイルが光ディスク以外の記録媒体に記録されて供給されている場合や、内部の記録媒体に記録され再生される場合などにおいても、再生装置20において再生可能なデータファイルは、図6に示されるようなファイルシステムを有すると好適である。このファイルシステムにおいて、rootの下にはBDMVの名前が設定されたディレクトリが用意され、そのディレクトリに、Indexbdmvの名前が設定されたファイルと、NavigationObjectbdmvの名前が設定されたファイルが格納されている。以下、適宜、これらのファイルをそれぞれIndexファイル、NavigationObjectファイルと称する。また、適宜、各ファイルについては、ファイル名にファイルを付加した形で、または、各ディレクトリについては、ディレクトリ名にディレクトリを付加した形で称する。Indexファイルは、上述したインデックステーブルが記載されたファイルであり、再生装置20において再生可能なデータファイルを再生するメニューに関する情報を含む。再生装置20は、例えば、再生装置20において再生可能なデータファイルに含まれるコンテンツを全て再生する、特定のチャプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面をIndexファイルに基づいて、表示装置に表示させる。Indexファイルのインデックステーブルには各項目が選択されたときに実行するNavigationObjectを設定することができ、ユーザにより再生メニュー画面から1つの項目が選択された場合、再生装置20はIndexファイルのインデックステーブルに設定されているNavigationObjectのコマンドを実行する。NavigationObjectファイルは、NavigationObjectを含むファイルである。NavigationObjectは、再生装置20において再生可能なデータファイルに含まれているPlayListの再生を制御するコマンドを含み、例えば、再生装置20は、このファイルシステムに含まれているNavigationObjectの中から1つを選択して、実行することにより、コンテンツを再生させることができる。BDMVディレクトリにはまた、BACKUPの名前が設定されたディレクトリBACKUPディレクトリ、PLAYLISTの名前が設定されたディレクトリPLAYLISTディレクトリ、CLIPINFの名前が設定されたディレクトリCLIPINFディレクトリ、STREAMの名前が設定されたディレクトリSTREAMディレクトリ、AUXDATAの名前が設定されたディレクトリAUXDATAディレクトリが設けられている。BACKUPディレクトリには、再生装置20において再生可能なファイルやデータをバックアップするためのファイルやデータが記録される。PLAYLISTディレクトリには、PlayListファイルが格納される。各PlayListファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子mplsを付加した名称が命名される。PlayListファイルについては、図7を用いて後述する。CLIPINFディレクトリには、ClipInformationファイルが格納される。各ClipInformationファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子clpiを付加した名称が命名される。STREAMディレクトリには、ClipAVストリームファイルやサブストリームファイルが格納される。各ストリームファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子m2tsを付加した名称が命名される。AUXDATAディレクトリには、ClipAVストリームファイルやサブストリームファイルに含まれずに、ClipAVストリームファイルやサブストリームファイルから参照されるデータや、ClipAVストリームファイルやサブストリームファイルとは独立して利用されるデータなどのファイルが格納される。図6の例においては、AUXDATAディレクトリには、11111otfの名前がつけられている字幕のフォントのファイル、soundbdmvの名前が設定された効果音などのサウンドデータが格納されている。また、再生装置20において再生可能なデータファイルが光ディスクによって配布されている場合、例えば、製作会社や映画の配給会社など、このコンテンツ製作元や、または、この記録媒体の供給元であるタイトルオーサを識別するために各タイトルオーサに割り当てられた識別子であるauthorid、および、authoridに示されるタイトルオーサにおいて製作された光ディスクの種類を識別するために割り当てられた識別子であるdiscidが、ユーザなどにより書き換えることができないセキュアな電子データとして、または、物理的にピットによって記録されている。また、再生装置20において再生可能なデータファイルが光ディスク以外のリムーバブルな記録媒体に記録されている場合や、ネットワークを介してダウンロードされ、再生装置内部の記録媒体に記録されていたり、内部の記憶部に記憶されている場合も、authorid、および、authoridに相当するidが割り当てられてそれぞれ区別可能なようになされ、図6に示す場合と同様のディレクトリ構造を有していると好適である。また、再生装置20において再生可能なデータファイルには、authorid、および、authoridに相当するidが割り当てられていないとしても、図6を用いて説明した場合と同様に、Indexbdmvの名前が設定されたファイル、NavigationObjectbdmvの名前が設定されたファイルが含まれており、BACKUPの名前が設定されたファイル群、PLAYLISTの名前が設定されたファイル群、CLIPINFの名前が設定されたファイル群、STREAMの名前が設定されたファイル群、AUXDATAの名前が設定されたファイル群のうち、適宜必要なファイル群が含まれている。次に、図2乃至図4を用いて説明したメインパスとサブパスの構造を具体的に実現するための、図6を用いて説明したそれぞれのファイルのデータ構造シンタクスを説明する。図7に、PLAYLISTディレクトリに格納される、拡張子mplsを有するPlayListファイルのデータ構造を示す。typeindicatorは、このファイルの種類を示す情報が記載されているものであり、このフィールドには、ISO646に従って、MPLSと符号化されなくてはならない。versionnumberは、このxxxxxmplsのバージョンナンバを示す4個のキャラクター文字を示すものであり、vesrionnumberはISO0089と符号化されなければならない。PlayListstartaddressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListの先頭アドレスを示すものである。PlayListMarkstartaddressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListMarkの先頭アドレスを示すものである。PlayListEntsnsionDatastartaddressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListEntsnsionDataの先頭アドレスを示すものである。AppInfoPlayListには、PlayListの再生コントロールに関するパラメータが格納されている。PlayListには、PlayListのメインパスやサブパスなどに関するパラメータが格納されている。PlayListの詳細は、図18を用いて後述する。PlayListMarkには、PlayListのマーク情報が格納されている。また、PlayListExtensionDataの中には、プライベートデータが挿入できるようになっている。図8に、PlayListExtensionDataのシンタクスを示す。Lengthは、このlengthフィールドの直後からPlayListExtensionDataの最後までのPlayListExtensionDataのバイト数を示すものである。datablockstartaddressは、PlayListExtensionDataの先頭のバイトからの相対バイト数を単位として、最初のdatablockの先頭アドレスを示すものである。numberofPLextdataentriesは、PlayListExtensionDataの中に含まれているPlayListExtensionDataのエントリー数を示すものである。PlayListExtensionData内には、同じIDが2個以上存在してはならない。ID1ID2には、このPlayListExtensionDataのdatablockに記載される情報の種類を識別することができる情報識別子などが記載される。PLextdatastartaddressは、そのPlayListExtensionDataが開始されるdatablockの番号を示すものである。PlayListExtensionDataの先頭データは、datablockの先頭にアラインされなければならない。PLextdatalengthは、バイト単位でPlayListExtensionDataの大きさを示すものである。datablockは、PlayListExtensionDataが格納される領域であり、PlayListExtensionData内の全てのdatablockは、同じサイズでなければならない。そして、datablockには、図5を用いて説明したセカンダリビデオが表示される副表示画面2の表示位置や大きさを示す情報を記載することができる。datablockには、ピクチャインピクチャPictureinPictureの表示設定を示すメタデータを記載することができる。図9に、datablockに記載されるpipmetadataPictureinPictureの表示設定を示すメタデータのシンタクスの第1の例を示す。lengthは、このlengthフィールドの直後からpipmetadataの最後までのpipmetadataのバイト数を示すものである。pipmetadatatypeのフィールドは、pipmetadataの種類を示すものである。図10に示されるように、pipmetadatatype0x01の場合、このpipmetadataによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームは同期型、すなわち、MainPathのPlayItemの時間軸に同期して再生されるので、プライマリストリームに対して、セカンダリストリームが同期して常に再生出力される。また、pipmetadatatype0x02の場合、このpipmetadataによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームは非同期型、すなわち、SubPathのSubPlayItemの時間軸に同期して再生されるが、MainPathのPlayItemの時間軸には同期しなくてもよいので、ユーザの操作入力により、セカンダリストリームの表示が指令された場合のみ、セカンダリストリームが再生出力されるようになされている。すなわち、pipmetadatatype0x02で、SubPlayItemに同期するとは、このpipmetadataによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームは、mainpathの時間軸とは非同期であるが、SubPathの時間軸には同期しているという意味である。すなわち、pipmetadatatype0x02である場合のpipmetadataは、ユーザのアクション操作入力によってセカンダリビデオの表示がスタートした瞬間を基準に考えた場合のSubPlayItem再生中の副表示画面2の表示位置および大きさを示すものである。reftoPlayItemSubPathidは、pipmetadataが適応されるPlayItemのPlayItemidの値を示すか、または、pipmetadataが適応されるSubPlayItemのSubPathidの値を示すものである。すなわち、このpipmetadataによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームがMainPathと同期する場合pipmetadatatype0x01である場合、reftoPlayItmとなり、このpipmetadataによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームがSubPathと同期する場合pipmetadatatype0x02である場合、reftoSubPathidとなる。pipmetadatatimestampは、pipmetadataが適応されるPlayItemのタイムスタンプであり、pipmetadatatimestampに示されるタイミングでpipmetadataにより指定される表示位置および大きさで、セカンダリビデオストリームの映像が副表示画面2に表示される。すなわち、pipmetadatatimestampは、reftoPlayItemSubPathidで参照されるPlayItemのIntimeOuttimeの間にあるpresentationtimeを指す必要がある。そして、このpipmetadataによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームがSubPathと同期の場合すなわち、pipmetadatatype0x02のときには、SubPlayItemの時間軸のなかでpipmetadatatimestampに示されるタイミングでpipmetadataにより指定される表示位置および大きさで、セカンダリビデオストリームの映像が副表示画面2に表示される。pipentryvideoPIDは、ピクチャインピクチャ表示に用いられるセカンダリビデオのPIDの値を示すものである。piphorizontalpositionは、プライマリビデオのフレーム図5の主表示画面1上において、セカンダリビデオが表示される副表示画面2の左上隅のX座標を示すものである。また、pipverticalpositionは、プライマリビデオのフレーム図5の主表示画面1上において、セカンダリビデオが表示される副表示画面2の左上隅のY座標を示すものである。なお、例えば、副表示画面2の右下隅のX座標およびY座標の指定や、あらかじめ定められた複数の表示位置のうちのいずれかを指定するなど、piphorizontalpositionおよびpipverticalpositionによる副表示画面2の左上隅のX座標およびY座標の指定以外の方法によって、セカンダリビデオが表示される副表示画面2の表示位置を指定するようにしてもよいことはもちろんである。pipscaleは、セカンダリビデオが表示される副表示画面2の大きさを示す情報が記載されるフィールドであり、例えば、プライマリビデオに対するセカンダリビデオの大きさの比率、セカンダリビデオのオリジナルの画像の大きさに対する縮小率、または、副表示画面2を構成する画素が、縦横それぞれ何画素で構成されているかを示す情報などが記載される。図10に、図9のpipmetadatatypeの値とその意味を示す。pipmetadatatype0x00は、将来の拡張のために意味が未設定とされている値である。pipmetadatatype0x01の場合、このpipmetadataは同期型、すなわち、MainPathのPlayItemの時間軸に同期しているので、プライマリストリームに対して、セカンダリストリームが同期して常に再生出力されるものであり、pipmetadatatype0x02の場合、このpipmetadataは非同期型、すなわち、SubPathのSubPlayItemの時間軸に同期するようになされているので、ユーザの操作入力により、セカンダリストリームの表示が指令された場合のみ、セカンダリビデオストリームの映像が副表示画面2に再生出力されるようになされているものである。また、pipmetadatatypeの上述した3つの値以外は、将来の拡張のために意味が未設定とされている。図11に、datablockに記載されるpipmetadataのシンタクスの、図9における場合と異なる第2の例を示す。なお、図9における場合と同一名称で同一定義のデータフィールドに関する説明は適宜省略する。numberofpipentriesは、ピクチャインピクチャのアプリケーション数を示すフィールドである。SynchronousPIPmetadataflagは、ピクチャインピクチャのアプリケーションすなわち、セカンダリビデオストリームがどのパスに同期するかを示すものである。すなわち、SynchronousPIPmetadataflagの値が0の場合、このピクチャインピクチャのアプリケーションは、SubPathに同期するものであり、reftoPlayItemSubPathidでは、reftoSubPathidが登録される。これに対して、SynchronousPIPmetadataflagの値が1の場合、このピクチャインピクチャのアプリケーションは、MainPathに同期するものであり、reftoPlayItemSubPathidでは、reftoPlayItemが登録される。すなわち、図11のSynchronousPIPmetadataflagは、図9を用いて説明したpipmetadataにおけるpipmetadatatype図10とほぼ同一の内容を定義するための情報である。numberofpipmetadataentriesは、reftoPlayItemreftoSubPathidのVideoストリームのためのPinPMetadataの総数を示すフィールドである。pipmetadatatypeは、このピクチャインピクチャのメタデータの種類を示すものであり、例えば、セカンダリビデオストリームが表示される副表示画面2の位置と大きさを示す情報以外に、例えば、セカンダリビデオストリームの原映像に対して表示される映像の回転や色の指定などに関する情報を記載することができるものである。すなわち、図11のpipmetadatatypeは、図9を用いて説明したpipmetadataにおけるpipmetadatatypeとは定義の異なる情報である。また、図12に、datablockに記載されるpipmetadataのシンタクスの、図9および図11における場合と異なる第3の例を示す。Lengthは、このlengthフィールドの直後からpipmetadataの最後までのpipmetadataのバイト数を示す情報が記載されるフィールドである。numberofmetadatablockentriesは、pipmetadataの中に含まれているmetadatablockのエントリー数を示す情報が記載されるフィールドである。metadatablockheaderkには、metadatablockに関連するヘッダー情報を含む情報が記載される。reftoPlayItemidkは、pipmetadataが適用されるPlayItemのPlayItemidの値を示す情報が記載されるフィールドである。reftosecondaryvideostreamidkは、pipmetadataが適用されるセカンダリビデオのidで、reftoPlayItemidによって参照されるPlayItem内のSTNtable図22にて後述するで定義されているsecondaryvideostreamidの値を示す情報が記載されるフィールドである。piptimelinetypekは、pipmetadatatimestampが参照する時間軸のタイプを表す情報が記載されるフィールドである。なお、piptimelinetypekの値とその意味については後述する。islumakeyは、このフラグが1にセットされている場合は、lumakeyingがlowerlimitlumakeyとupperlimitlumakeyの値に従って、セカンダリビデオストリームに適用される。lowerlimitlumakeyは、lumakeyingのためのセカンダリビデオの輝度値の下限を示す情報が記載されるフィールドである。upperlimitlumakeyは、lumakeyingのためのセカンダリビデオの輝度値の上限を示す情報が記載されるフィールドである。ここでlumakeyingとは、明るさ輝度値の成分差を利用して不要な部分を切り抜いた画像を、映像に重ねて合成することを意味する。すなわち、islumakeyのフラグが1に設定されている場合には、lowerlimitlumakeyとupperlimitlumakeyで定義された、輝度値の下限から上限までの範囲で指定された輝度値を持つ画像を透明に設定することにより、この明るさ情報で指定された範囲の画像が取り除かれたセカンダリビデオがプライマリビデオに重ねて合成される。これにより、必要最小限のセカンダリビデオを表示することで、セカンダリビデオの不要な部分によって、プライマリビデオが見にくくなるのを防止することができるのに加え、セカンダリビデオとプライマリビデオの合成をより柔軟に行うことができる。また、この実施例では、lowerlimitlumakeyとupperlimitlumakeyとの2つの閾値を用いることにより、透明に設定できるとして説明したが、本発明はそれに限らず、閾値をどちらか一方にすることにより、輝度値が、例えば、upperlimitlumakey以下またはlowerlimitlumakey以上となる部分のみを透明に設定するなどとしてもよい。metadatablockdatastartaddresskは、pipmetadataの先頭のバイトからの相対バイト数を単位として、最初のmetadatablockdatakの先頭アドレスを示す情報が記載されるフィールドである。なお、pipmetadata内にエントリーされているmetadatablockdatastartaddresskは、アドレス値の照準で登録されていなければならない。paddingwordには、metadatablockdatastartaddresskの値によって、paddingwordが挿入される。metadatablockdatakには、metadatablockのデータ情報を含む情報が記載される。numberpipmetadataentrieskは、metadatablockdataにあるpipmetadataの総数を示す情報が記載されるフィールドである。pipmetadatatimestampiは、pipmetadataが適用される時間を表す、例えば、45kHzのタイムスタンプを含む情報が記載されるフィールドである。なお、連続する2つのpipmetadatatimestampの最小間隔は1秒である。なお、piptimelinetypeの値に応じたpipmetadatatimestampの意味については、後述する。pipcompositionmetadataは、プライマリビデオのフレームの大きさや位置などに関する情報が記載されるフィールドである。piphorizontalpositioniは、プライマリビデオのフレーム図5の主表示画面1上において、セカンダリビデオが表示される副表示画面2の左上隅のX座標を示すものである。pipverticalpositioniは、プライマリビデオのフレーム図5の主表示画面1上において、セカンダリビデオが表示される副表示画面2の左上隅のY座標を示すものである。pipscaleiは、図13に示すように、セカンダリビデオのオリジナルの画像の大きさに対する縮小率を、1倍、1/2倍、1/4倍、1.5倍、またはfullScreenにする情報が記載されるフィールドである。なお、pipmetadatatimestampiのpipcompositionmetadataは、pipmetadatatimestampiからpipmetadatatimestampi1のintervalの間、有効になる。ただし、最後のpipcompositoinmetadataの有効intervalは、最後のpipmetadatatimestampから、reftosecondaryvideostreamidkによって示されるSubPathのpresentationendtimeまでとなる。次に、図14を参照してpiptimelinetypeの値とその意味を説明し、図15乃至図17を参照してpiptimelinetypeの値に応じたpipmetadatatimestampの意味を説明する。piptimelinetype0は、将来の拡張のために意味が未設定とされている値である。piptimelinetype1は、ピクチャインピクチャプレゼンテーションパスは同期型のタイプであることを意味する。このときreftosecondaryvideostreamidで指し示されているSubpathのタイプは、5または7でなければならないSubpathのタイプの詳細は、図20にて後述する。pipmetadatatimestampはこのとき、図15に示すように、reftoPlayItemidのPlayItemの時間軸を参照し、関連付けられたSubPlayItemの再生区間を示している。すなわちSubPlayItemの再生区間はreftoPlayItemidkで参照されるPlayItemの時間軸に投影される。pipmetadatatimestamp0は、SubPath内のSubPlayItem0の再生区間の先頭を示している。piptimelinetype2は、ピクチャインピクチャプレゼンテーションパスは非同期型のタイプであることを意味する。このときreftosecondaryvideostreamidで指し示されているSubpathのタイプは、6でなければならない。この場合SubPathtype6のSubPathには1つのSubPlayItemしか含まれていない。pipmetadatatimestampはこのとき、図16に示すように、Subpathの時間軸を参照し、reftosecondaryvideostreamidkによって示されるSubPathのSubPlayItemの再生区間を示している。pipmetadatatimestamp0は、SubPlayItemの再生区間の先頭を示している。piptimelinetype3は、ピクチャインピクチャプレゼンテーションパスは非同期型のタイプであることを意味する。このときreftosecondaryvideostreamidで指し示されているSubpathのタイプは、6でなければならない。pipmetadatatimestampはこのとき、図17に示すように、reftoPlayItemidのPlayItemの時間軸を参照し、reftoPlayItemidkのPlayItemの再生区間を示している。pipmetadatatimestamp0は、reftoPlayItemidkのPlayItemの再生区間の先頭を示している。図18は、PlayListのシンタクスを示す図である。lengthは、このlengthフィールドの直後からPlayListの最後までのバイト数を示す32ビットの符号なし整数である。すなわち、reservedforfutureuseからPlaylistの最後までのバイト数を示すフィールドである。このlengthの後には、16ビットのreservedforfutureuseが用意される。numberofPlayItemsは、PlayListの中にあるPlayItemの数を示す16ビットのフィールドである。例えば、図2の例の場合PlayItemの数は3個である。PlayItemidの値は、PlayListの中でPlayItemが現れる順番に0から割り振られる。例えば、図2および図4に示されるように、PlayItemid=0,1,2が割り振られる。numberofSubPathsは、PlayListの中にあるSubPathの数エントリー数を示す16ビットのフィールドである。例えば、図2の例の場合、SubPathの数は3個である。SubPathidの値は、PlayListの中でSubPathが現れる順番に0から割り振られる。例えば、図2に示されるように、Subpathid=0,1,2が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、SubPathの数だけ、SubPathが参照される。図19は、SubPathのシンタクスを示す図である。lengthは、このlengthフィールドの直後からSubPathの最後までのバイト数を示す32ビットの符号なし整数である。すなわち、reservedforfutureuseからPlaylistの最後までのバイト数を示すフィールドである。このlengthの後には、8ビットのreservedforfutureuseが用意される。SubPathtypeは、SubPathのアプリケーション種類を示す8ビットのフィールドである。SubPathtypeは、例えば、SubPathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPathtypeについては、図20を参照して後述する。SubPathtypeの後には、15ビットのreservedforfutureuseが用意される。isrepeatSubPathは、SubPathの再生方法を指定する1ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を1回だけ行うかを示すものである。例えば、メインAVストリームとサブパスが指定するClipの再生タイミングが異なる場合メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGMとして使う場合などに利用される。IsrepeatSubPathの後には、8ビットのreservedforfutureuseが用意される。numberofSubPlayItemsは、1つのSubPathの中にあるSubPlayItemの数エントリー数を示す8ビットのフィールドである。例えば、numberofSubPlayItemsは、図2のSubPathid=0のSubPlayItemは1個であり、SubPathid=1のSubPlayItemは2個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。図20は、SubPathtypeサブパスのタイプの例を説明する図である。すなわち、SubPathの種類は、例えば、図20に示されるように定義されている。また、それぞれのサブパスタイプのうち、Outofmuxtypeという記述は、サブパスで参照されるESエレメンタリストリームが含まれるTSトランスポートストリーム、すなわち、Clipと、メインパスで参照されるプレイアイテム1以上のESが含まれるTSとが異なっている場合のサブパスのタイプ種類、すなわち、サブパスで参照されるESが、メインパスで参照されるプレイアイテムが含まれるTSに多重化されていないサブパスのタイプ種類であることを示している。以下、かかる種類を、メインパス非多重型のパスと称する。図20において、SubPathtype=0,1は、reservedとされている。SubPathtype=2は、AudiopresentationpathoftheBrowsableslideshowプラウザブルスライドショーのオーディオプレゼンテーションパスとされている。例えば、SubPathtype=2は、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期であることを示している。SubPathtype=3は、Interactivegraphicspresentationmenuインタラクティブグラフィックスのプレゼンテーションメニューとされている。例えば、SubPathtype=3は、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期であることを示している。SubPathtype=4は、Textsubtitlepresentationpathテキスト字幕のプレゼンテーションパスとされている。例えば、SubPathtype=4は、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。ここで、SubPathtype=2,3のように、メインパスで参照されるESとサブパスで参照されるESとが非同期である場合、そのサブパスのタイプ種類を、以下、非同期型のパスと称する。一方、SubPathtype=4のように、メインパスで参照されるESとサブパスで参照されるESとが同期する場合、そのサブパスのタイプ種類を、以下、同期型のパスと称する。SubPathtype=5は、OutofmuxandAVSynchronizedtypeofoneormoreelementarystreamspathOutofmuxandAVsynchronizedtypeofPictureinPicturepresentationpathwhichcontainsoneormoreelementarystreamspathsとされている。すなわち、SubPathtype=5は、メインパスTS非多重型、かつ、同期型のパスであって、1本以上のESのパスや、ピクチャインピクチャプレゼンテーションパスとされている。ここで、ピクチャインピクチャプレゼンテーションパスとは、上述したピクチャインピクチャの手法において、所定のプライマリビデオストリームメインパスで参照されるビデオストリームについての、プライマリオーディオストリームストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのうちの1以上のパスそのようなサブパスのタイプであることをいう。SubPathtype=6は、OutofmuxandAVnonSynchronizedtypeofPictureinPicturepresentationpathwhichcontainsoneormoreelementarystreamspathsとされている。すなわち、SubPathtype=6は、メインパスTS非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス1以上のESのパスとされている。SubPathtype=7は、InmuxtypeandAVSynchronizedtypeofPictureinPicturepresentationpathwhichcontainsoneormoreelementarystreamspathsとされている。ここで、Inmuxtypeという記述は、サブパスで参照されるESが含まれるTSと、メインパスで参照されるプレイアイテム1以上のESが含まれるTSとが同一の場合のサブパスのタイプ種類、すなわち、サブパスで参照されるESが、メインパスで参照されるプレイアイテムが含まれるTSに多重化されているサブパスのタイプ種類であることを示している。以下、かかる種類を、メインパス多重型のパスと称する。すなわち、SubPathtype=7は、メインパスTS多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス1以上のESのパスとされている。SubPathtype=8乃至255は、reservedとされている。図21は、SubPlayItemのシンタクスを示す図である。lengthは、このlengthフィールドの直後からSubplayItemの最後までのバイト数を示す16ビットの符号なし整数である。図21においては、SubPlayItemが1つのClipを参照する場合と、複数のClipを参照する場合に分けられている。最初に、SubPlayItemが1つのClipを参照する場合について説明する。SubPlayItemには、Clipを指定するためのClipInformationfilename0が含まれる。また、Clipのコーデック方式を指定するClipcodecidentifier[0]、reservedforfutureuse、マルチクリップの登録の有無を示すフラグであるismultiClipentries、STC不連続点システムタイムベースの不連続点に関する情報であるreftoSTCid[0]を含む。ismultiClipentriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSubPathの再生区間を指定するためのSubPlayItemINtimeとSubPlayItemOUTtimeを含む。さらに、mainpathの時間軸上でSubPathが再生開始する時刻を指定するためsyncPlayItemidとsyncstartPTSofPlayItemを含む。このsyncPlayItemidとsyncstartPTSofPlayItemは、上述したように、図3と図4の場合メインAVストリームとサブパスにより示されるファイルの再生タイミングが同じである場合に使用され、メインAVストリームとサブパスにより示されるファイルの再生タイミングが異なる場合例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合には使用されない。また、SubPlayItemINtime、SubPlayItemOUTtime、syncPlayItemid、syncstartPTSofPlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。次に、SubPlayItemが複数のClipを参照する場合ifismultiClipentries==1bである場合、すなわちマルチクリップの登録が行われている場合について説明する。具体的には、図4に示されるように、SubPlayItemが複数のClipを参照する場合を示す。numofClipentriesは、Clipの数を示しており、ClipInformationfilenameSubClipentryidの数が、ClipInformationfilename0を除く、Clipsを指定する。すなわち、ClipInformationfilename0を除く、ClipInformationfilename1、ClipInformationfilename2などのClipを指定する。また、SubPlayItemは、Clipのコーデック方式を指定するClipcodecidentifierSubClipentryid、STC不連続点システムタイムベースの不連続点に関する情報であるreftoSTCidSubClipentryid、およびreservedforfutureuseを含む。なお、複数のClipの間で、SubPlayItemINtimeSubPlayItemOUTtime、syncPlayItemid、およびsyncstartPTSofPlayItemは共通して使われる。図4の例の場合、SubPlayItemINtimeSubPlayItemOUTtime、syncPlayItemid、およびsyncstartPTSofPlayItemは、SubClipentryid=0とSubClipentryid=1との間で共通して使用されるものであり、選択されたSubClipentryidに対するTextbasedsubtitleがこのSubPlayItemINtimeSubPlayItemOUTtime、syncPlayItemid、およびsyncstartPTSofPlayItemに基づいて再生される。ここで、SubClipentryidの値は、SubPlayItemの中にあるClipInformationfilenameSubClipentryidが現れる順番に1から割り振られる。また、ClipInformationfilename0のSubClipentryidは0である。図22は、PlayItemのシンタクスを示す図である。lengthは、このlengthフィールドの直後からPlayItemの最後までのバイト数を示す16ビットの符号なし整数である。ClipInformationfilename0は、PlayItemが参照するClipを指定するためのフィールドである。図3の例の場合、ClipInformationfilename0により、メインAVストリームが参照される。また、Clipのコーデック方式を指定するClipcodecidentifier[0]、reservedforfutureuse、ismultiangle、connectioncondition、STC不連続点システムタイムベースの不連続点に関する情報であるreftoSTCid[0]を含む。さらに、Clipの中のPlayItemの再生区間を指定するためのINtimeとOUTtimeを含む。図3の例の場合、INtimeとOUTtimeにより、メインClipAVストリームファイルの再生範囲が表される。また、UOmasktable、PlayItemrandomaccessmode、stillmodeを含む。ismultiangleが複数ある場合については、本発明と直接的には関係ないのでその説明を省略する。PlayItemの中のSTNtableは、対象のPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作が、そのPlayItemが参照するClipとこれらの1つ以上のSubPathが参照するClipsの中から選ぶことができる仕組みを提供するものである。また、STNtableは、2つのオーディオストリームのミキシング再生を選ぶことができる仕組みを提供するものである。図23は、STNtableのシンタクスの第1の例を示す図である。STNtableは、PlayItemの属性として設定されている。lengthは、このlengthフィールドの直後からSTNtableの最後までのバイト数を示す16ビットの符号なし整数である。lengthの後には、16ビットのreservedforfutureuseが用意される。numberofvideostreamentriesは、STNtableの中でエントリーされる登録されるvideostreamidが与えられるストリーム数を示す。videostreamidは、ビデオストリームを識別するための情報であり、videostreamnumberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。numberofaudiostreamentriesは、STNtableの中でエントリーされるaudiostreamidが与えられる1番目のオーディオストリームのストリーム数を示す。audiostreamidは、オーディオストリームを識別するための情報であり、audiostreamnumberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。numberofaudiostream2entriesは、STNtableの中でエントリーされるaudiostreamid2が与えられる2番目のオーディオストリームのストリーム数を示す。audiostreamid2は、オーディオストリームを識別するための情報であり、audiostreamnumberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。具体的には、STNtableでエントリーされるnumberofaudiostreamentriesのオーディオストリームは、後述する図35の再生装置20の1stオーディオデコーダ75-1でデコードされるオーディオストリームであり、STNtableでエントリーされるnumberofaudiostream2entriesのオーディオストリームは、後述する図35の再生装置20の2ndオーディオデコーダ75-2でデコードされるオーディオストリームである。このように、図23、並びに、後述する図33および図34のSTNtableでは、2つのオーディオデコーダのそれぞれにデコードさせるオーディオストリームをエントリーすることができる。なお、以下において、図35の再生装置20の1stオーディオデコーダ75-1でデコードされるnumberofaudiostreamentriesのオーディオストリーム、すなわち、プライマリオーディオストリームをオーディオストリーム1と称し、図35の再生装置20の2ndオーディオデコーダ75-2でデコードされるnumberofaudiostream2entriesのオーディオストリーム、すなわち、セカンダリオーディオストリームをオーディオストリーム2と称する。また、オーディオストリーム1は、オーディオストリーム2よりも優先されるオーディオストリームであるものとする。numberofPGtxtSTstreamentriesは、STNtableの中でエントリーされるPGtxtSTstreamidが与えられるストリーム数を示す。この中では、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリームPGPresentationGraphicsstreamとテキスト字幕ファイルがエントリーされる。PGtxtSTstreamidは、字幕ストリームを識別するための情報であり、PGtxtSTstreamnumberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号テキストサブタイトルストリームの番号である。numberofIGstreamentriesは、STNtableの中でエントリーされるIGstreamidが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリームがエントリーされる。IGstreamidは、インタラクティブグラフィックスストリームを識別するための情報であり、IGstreamnumberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。ここで、streamentryのシンタクスについて図24を参照して説明する。lengthは、このlengthフィールドの直後からstreamentryの最後までのバイト数を示す8ビットの符号なし整数である。typeは、上述したストリーム番号が与えられるストリームを一意に特定するために必要な情報の種類を示す8ビットのフィールドである。type=1では、PlayItemによって参照されるClipの中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、16ビットのパケットIDが指定される。reftostreamPIDofmainClipが、このPIDを示している。すなわち、type=1では、メインClipAVストリームファイルの中のPIDを指定するだけでストリームが決定される。type=2では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される1つのClipの複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、そのSubPathのSubPathid、Clipid、およびパケットIDが指定される。reftoSubPathidがこのSubPathidを示し、reftoSubClipentryidがこのClipidを示し、reftostreamPIDofSubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。このように、typetype=1とtype=2の2つのtypeを使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から1つのエレメンタリストリームを特定することができる。なお、type=1はMainPathが参照するClipメインClipを示しており、type=2はSubPathが参照するClipサブClipを示している。図23のSTNtableの説明に戻って、ビデオストリームIDのforループの中で、順番にstreamentryごとに特定される1つのビデオエレメンタリストリームに、0からvideostreamidが与えられる。なお、ビデオストリームIDvideostreamidの代わりに、ビデオストリーム番号videostreamnumberを用いるようにしてもよい。この場合、videostreamnumberは、0ではなく1から与えられる。すなわち、videostreamidの値に1を加算したものがvideostreamnumberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、1から定義される。同様に、オーディオストリームIDのforループの中で、順番にstreamentryごとに特定される1つのオーディオエレメンタリストリームに、0からaudiostreamidが与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームIDaudiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いるようにしてもよい。この場合、audiostreamnumberは、0ではなく1から与えられる。すなわち、audiostreamidの値に1を加算したものがaudiostreamnumberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、1から定義される。同様に、オーディオストリームID2のforループの中で、順番にstreamentryごとに特定される1つのオーディオエレメンタリストリームに、0からaudiostreamid2が与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームID2audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。この場合、audiostreamnumber2は、0ではなく1から与えられる。すなわち、audiostreamid2の値に1を加算したものがaudiostreamnumber2である。オーディオストリーム番号2は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号2であるので、1から定義される。すなわち、図23のSTNtableにおいては、numberofaudiostreamentriesオーディオストリーム1のオーディオストリームと、numberofaudiostream2entriesオーディオストリーム2のオーディオストリームとが定義される。換言すれば、STNtableを用いて、オーディオストリーム1とオーディオストリーム2とをエントリーすることができるので、ユーザは、同期して再生するオーディオストリームを2本選択することができる。同様に、字幕ストリームIDのforループの中で、順番にstreamentryごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、0からPGtxtSTstreamidが与えられる。なお、ビデオストリームの場合と同様に、字幕ストリームIDPGtxtSTstreamidの代わりに、字幕ストリーム番号PGtxtSTstreamnumberを用いるようにしてもよい。この場合、PGtxtSTstreamnumberは、0ではなく1から与えられる。すなわち、PGtxtSTstreamidの値に1を加算したものがPGtxtSTstreamnumberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号テキストサブタイトルストリームの番号であるので、1から定義される。同様に、グラフィックスストリームIDのforループの中で、順番にstreamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームに、0からIGstreamidが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームIDIGstreamidの代わりに、グラフィックスストリーム番号IGstreamnumberを用いるようにしてもよい。この場合、IGstreamnumberは、0ではなく1から与えられる。すなわち、IGstreamidの値に1を加算したものがIGstreamnumberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、1から定義される。次に、図23のSTNtableのstreamattributeについて説明する。reservedforfutureuseの後のfor文では、videostreamの分だけvideostreamが参照され、ディスク製造者が、オーディオストリームに対してMainPathおよびSubPathを設定した分だけaudiostreamが参照され、PGtextSTstreamの分だけPGtextSTstreamが参照され、IGstreamの分だけIGstreamが参照される。ビデオストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報が記述されている。同様に、オーディオストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図24のstreamentryのtype=1またはtype=2で特定されるオーディオエレメンタリストリームは1つであるので、streamattributeは、その1つのオーディオエレメンタリストリームのストリーム属性情報を与える。同様に、オーディオストリームID2のforループの中のstreamattributeは、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図24のstreamentryのtype=1またはtype=2で特定されるオーディオエレメンタリストリームは1つであるので、streamattributeは、その1つのオーディオエレメンタリストリームのストリーム属性情報を与える。同様に、字幕ストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕エレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのビットマップ字幕エレメンタリストリームのストリーム属性情報が記述されている。同様に、グラフィックスストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報が記述されている。ここで、streamattributeのシンタクスについて図25を参照して説明する。lengthは、このlengthフィールドの直後からstreamattributeの最後までのバイト数を示す16ビットの符号なし整数である。streamcodingtypeは、図26に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG2videostream、HDMVLPCMaudio、DolbyAC3audio、dtsaudio、Presentationgraphicsstream、Interactivegraphicsstream、およびTextsubtitlestreamが記述される。videoformatは、図27に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、480i、576i、480p、1080i、720p、および1080pが記述される。framerateは、図28に示されるように、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、24000/1001、24、25、30000/1001、50、および60000/1001が記述される。aspectratioは、図29に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、4:3displayaspectratio、および16:9displayaspectratioが記述される。audiopresentationtypeは、図30に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、singlemonochannel、dualmonochannel、stereo、およびmultichannelが記述される。samplingfrequencyは、図31に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、48kHz、および96kHzが記述される。audiolanguagecodeは、オーディオエレメンタリストリームの言語コードを示す。PGlanguagecodeは、ビットマップ字幕エレメンタリストリームの言語コードを示す。IGlanguagecode、インタラクティブグラフィックスエレメンタリストリームの言語コードを示す。textSTlanguagecodeは、テキスト字幕エレメンタリストリームの言語コードを示す。charactercodeは、図32に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、UnicodeV11、ShiftJISJapanese、KSC56011987includingKSC5653forRomancharacter、GB180302000、GB2312、およびBIG5が記述される。以下に、図25のstreamattributeのシンタクスについて、図25と、図26乃至図32を用いて具体的に説明する。エレメンタリストリームの符号化タイプ図25のstreamcodingtypeがMPEG2videostream図26である場合、streamattributeには、そのエレメンタリストリームのビデオフォーマット図27、フレームレート図28、およびアスペクト比情報図29が含まれる。エレメンタリストリームの符号化タイプ図25のstreamcodingtypeがHDMVLPCMaudio、DolbyAC3audio、またはdtsaudio図26である場合、streamattributeには、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報図30、サンプリング周波数図31、および言語コードが含まれる。エレメンタリストリームの符号化タイプ図25のstreamcodingtypeがPresentationgraphicsstream図26である場合、streamattributeには、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。エレメンタリストリームの符号化タイプ図25のstreamcodingtypeがInteractivegraphicsstream図26である場合、streamattributeには、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。エレメンタリストリームの符号化タイプ図25のstreamcodingtypeがTextsubtitlestream図26である場合、streamattributeには、そのテキスト字幕エレメンタリストリームのキャラクタコード図32、言語コードが含まれる。なお、これらの属性情報はこれに限定されない。このように、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から、streamentryによって特定された1つのエレメンタリストリームの属性情報をstreamattributeによって知ることができる。再生装置は、この属性情報streamattributeを調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームIDのforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。この再生装置に対して、ユーザが音声切り替えを指示した場合、再生装置は、オーディオストリームIDのforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリームからなるAVストリーム例えば、映画を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、オーディオストリーム1通常の映画で出力される音声と、オーディオストリーム2監督や出演者によるコメントとを、再生する音声として指定選択した場合、再生装置は、オーディオストリーム1とオーディオストリーム2とをミキシング重畳して、ビデオストリームとともに再生する。なお、オーディオストリーム1とオーディオストリーム2とは、図23のSTNtableを参照しても分かるように、両方ともメインパスにより参照されるClipに含まれるオーディオストリームとしてもよい。また、オーディオストリーム1とオーディオストリーム2のうちの、一方をメインパスにより参照されるClipに含まれるオーディオストリームとし、他方をサブパスにより参照されるClipに含まれるオーディオストリームとしてもよい。このように、メインパスにより参照されるメインAVストリームに重畳された複数のオーディオストリームを2つ選択して、ミキシングして再生することも可能である。このようにして、PlayItemの中のSTNtableは、このPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作が、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から選ぶことができる仕組みを提供するようにしたので、メインAVストリームが記録されている、再生するAVストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。また、1つのPlayListの中にSubPathを複数使用し、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、後で、SubPlayItemを追加できる構成とすることができる。例えば、MainPathが参照するClipAVストリームファイルとこれに対応付けられるPlayListがあり、このPlayListが新たなSubPathを追加したPlayListに書き換えられた場合、新たなPlayListに基づいて、MainPathが参照するClipAVストリームファイルとともに、MainPathが参照するClipAVストリームファイルとは異なるClipAVストリームファイルを参照して、再生を行うことができる。このように、拡張性を有する構成とすることができる。さらに、PlayItemの中のSTNtableは、後述する図35の再生装置20の1stオーディオデコーダ75-1でデコードされるオーディオストリーム1と、2ndオーディオデコーダ75-2でデコードされるオーディオストリーム2とをミキシングして再生することができる仕組みを提供するようにした。例えば、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、PlayItemが参照するClipのオーディオストリームをオーディオストリーム1とし、SubPathが参照するClipのオーディオストリームをオーディオストリーム2とし、これらををミキシングして再生することができる仕組みを提供するようにした。また、例えば、PlayItemが参照するClipメインClipに含まれる2つのオーディオストリームを、それぞれオーディオストリーム1とオーディオストリーム2とし、これらをミキシングして再生することができる仕組みを提供するようにした。これにより、メインAVストリームが記録されている、再生するメインのオーディオストリームとは異なるオーディオストリーム例えば、監督のコメントのストリームの重畳再生を行うことができる。また、メインAVストリームに重畳されている2つのオーディオストリーム1とオーディオストリーム2とを重畳ミキシングして再生することができる。また、STNtableによって、プライマリビデオストリームと組み合わせて同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。図33および図34は、STNtableのシンタクスの第2の例を示す図である。図33と図34とは、プライマリビデオストリームと組み合わせて同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義する場合のSTNtableのシンタクスの例を示す図である。なお、図中、図23と同一の部分については、繰り返しになるのでその説明は省略する。図33と図34の例では、プライマリビデオストリームと組み合わせて同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせは、次のように定義される。すなわち、最初に、プライマリビデオストリームと組み合わせて同時再生されるセカンダリビデオストリームが1以上定義される。そして、1以上のセカンダリビデオストリームのそれぞれに対して、同時に再生されるオーディオストリームプライマリオーディオストリームとセカンダリオーディオストリームとサブタイトルストリームとが定義される。具体的には、図33において、numberofvideostream2entriesは、STNtableの中でエントリーされる登録されるvideostreamid2が与えられるストリーム数を示す。videostreamid2は、セカンダリビデオストリームを識別するための情報であり、videostreamnumber2は、ビデオ切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号である。図34において、ビデオストリームID2のforループの中で、順番にstreamentryごとに特定される1つのビデオエレメンタリストリームに、0からvideostreamid2が与えられる。このとき、videostreamid2に対して、numberofAudiocombinationsforvideo2が与えられ、その後のfor文では、numberofAudiocombinationsforvideo2の数だけ、audiostreamidとaudiostreamid2が与えられる。numberofAudiocombinationsforvideo2とその後のfor文とは、セカンダリビデオストリームと同時再生されるオーディオストリームの組み合わせ、すなわち、audiostreamidで特定されるプライマリオーディオストリームと、audiostreamid2で特定されるセカンダリオーディオストリームとの組み合わせを定義する情報である。videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なオーディオストリームの組プライマリオーディオストリームとセカンダリオーディオストリームとの組の数が、numberofAudiocombinationsforvideo2とされる。そして、videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なオーディオストリームの組として、プライマリオーディオストリームを特定するaudiostreamidと、セカンダリオーディオストリームを特定するaudiostreamid2とが、numberofAudiocombinationsforvideo2の後のfor文でそれぞれ定義される。また、同じvideostreamid2に対して、numberofSubtitlecombinationsforvideo2が与えられ、その後のfor文では、numberofSubtitlecombinationsforvideo2の数だけ、PGtextSTstreamidが与えられる。numberofSubtitlecombinationsforvideo2とその後のfor文とは、セカンダリビデオストリームと同時再生されるサブタイトルストリームの組み合わせ、すなわち、PGtextSTstreamidで特定されるサブタイトルストリームの組み合わせを定義する情報である。videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なサブタイトルストリームの数が、numberofSubtitlecombinationsforvideo2とされる。そして、videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なサブタイトルストリームを特定するPGtextSTstreamidが、numberofSubtitlecombinationsforvideo2の後のfor文で定義される。なお、図23を参照して説明した場合と同様に、各IDの代わりに各番号、例えば、audiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いたり、audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。ビデオストリームやサブタイトルストリームについても同様である。図33と図34によれば、videostreamid2を用いて、プライマリビデオストリームと同時再生されるセカンダリビデオストリームを定義することができ、さらに、videostreamid2、および、audiostreamid、audiostreamid2、並びに、PGtextSTstreamidを用いて、そのセカンダリビデオストリームと同時再生される、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。すなわち、プライマリビデオストリームと同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。従って、プライマリビデオストリームと同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせとして、矛盾するような組み合わせを定義せずに済むので、ユーザは、プライマリビデオストリームと同時再生可能なストリームの組み合わせの再生を容易に選択することができる。また、PlayItemの中のSTNtableは、このPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このSubpathのSubpathtypeを5乃至7、すなわちピクチャインピクチャプレゼンテーションパスセカンダリビデオストリーム、セカンダリオーディオストリーム、および、プレゼンテーショングラフィックストリームのうちの1以上のパスと定義することにより、図5を用いて説明したようにして、主に再生表示されるプライマリビデオストリームに対して、セカンダリビデオストリームを表示することにより、ピクチャインピクチャ表示を行うことができるようになる。また、ピクチャインピクチャの表示設定を、図9、図11、または図12を用いて説明したようにして、pipmetadataに記載するようにしたので、図5を用いて説明した副表示画面2の大きさや表示位置は、再生装置に依存することなく、コンテンツの作成元またはコンテンツの提供元などが任意に設定することができる。また、ピクチャインピクチャの表示設定は、ピクチャインピクチャ表示されるビデオストリームセカンダリビデオストリームのデータ自体に記載されるのではなく、図9、図11、または図12を用いて説明したpipmetadataに記載される。すなわち、図5を用いて説明した副表示画面2の大きさや表示位置を変更したい場合は、ピクチャインピクチャ表示されるビデオストリームセカンダリビデオストリームを修正する必要はなく、pipmetadataの記載を修正するようにすればよい。また、ピクチャインピクチャの表示設定を、図9、図11、または図12を用いて説明したようにして、pipmetadataに記載するようにしたことにより、図5を用いて説明した副表示画面2に表示される映像の大きさは、セカンダリビデオストリームの元となる画像の大きさにも依存することなく、コンテンツの作成元またはコンテンツの提供元などが任意に設定することができる。次に、本発明を適用した再生装置について説明する。図35は、本発明を適用した再生装置20の構成例を示すブロック図である。この再生装置20は、上述したメインパスとサブパスを有するPlayListを再生する再生装置20である。再生装置20には、ストレージドライブ31、スイッチ32、AVデコーダ部33、およびコントローラ34が設けられている。図35の例の場合、最初に、コントローラ34がストレージドライブ31を介してPlayListファイルを読み出し、PlayListファイルの情報に基づいて、ストレージドライブ31を介してHDD、ブルーレイディスク、またはDVDなどの記録媒体からAVストリームやAVデータを読み出す。ユーザは、ユーザインターフェースを用いて、コントローラ34に対し、音声や字幕などの切り替えの指令を行うことができる。また、コントローラ34には、再生装置20の言語設定の初期情報が図示せぬ記憶部などから供給される。PlayListファイルには、MainPath、SubPathの情報の他、STNtableが含まれている。コントローラ34は、PlayListファイルに含まれるPlayItemが参照するメインClipAVストリームファイル以下、メインClipと称する、SubPlayItemが参照するサブClipAVストリームファイル以下、サブClipと称する、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ31を介して記録媒体などから読み出す。ここで、PlayItemが参照するメインClipとSubPlayItemが参照するサブClipとが、異なる記録媒体に記録されていてもよい。例えば、メインClipが記録媒体に記録されており、対応するサブClipは図示せぬネットワークを介して供給され、HDDに記憶されたものであってもよい。また、コントローラ34は、自分自身再生装置20の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置20の言語設定の初期情報に対応するエレメンタリストリームだけを選択し、再生するよう制御する。また、コントローラ34は、PlayListファイルのPlayListExtensionDataのID1ID2に記載されている情報または識別子を参照し、このPlayListExtensionDataのdatablockに、ピクチャインピクチャ表示に関する情報pipmetadataが記載されていることを検出した場合、図9または図11を用いて説明したpipmetadataを参照して、図5を用いて説明した副表示画面2に表示されるセカンダリビデオの表示設定を取得し、AVデコーダ部33のビデオプレーン生成部92によるプライマリビデオストリームとセカンダリビデオストリームの映像の合成を制御する。AVデコーダ部33には、バッファ51乃至54、PIDフィルタ55、PIDフィルタ56、スイッチ57乃至59、PIDフィルタ60、バックグラウンドデコーダ71、1stビデオデコーダ72-1、2ndビデオデコーダ72-2、プレゼンテーショングラフィックスデコーダ73、インタラクティブグラフィックスデコーダ74、1stオーディオデコーダ75-1、2ndオーディオデコーダ75-2、TextSTコンポジション76、スイッチ77、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、インタラクティブグラフィックスプレーン生成部94、バッファ95、ビデオデータ処理部96、ミキシング処理部97、およびミキシング処理部101が設けられている。1stビデオデコーダ72-1は、プライマリビデオストリームをデコードするためのものであり、2ndビデオデコーダ72-2は、セカンダリビデオストリームをデコードするためのものである。また、1stオーディオデコーダ75-1は、オーディオストリーム1プライマリオーディオストリームをデコードするためのものであり、2ndオーディオデコーダ75-2は、オーディオストリーム2セカンダリオーディオストリームをデコードするためのものである。具体的には、図23、並びに、図33および図34のSTNtableにおいて、videostreamidで与えられるビデオストリームをデコードするためのものが1stビデオデコーダ72-1であり、videostreamid2で与えられるビデオストリームをデコードするためのものが2ndビデオデコーダ72-2であり、audiostreamidで与えられるオーディオストリームをデコードするためのものが1stオーディオデコーダ75-1であり、audiostreamid2で与えられるオーディオストリームをデコードするためのものが2ndオーディオデコーダ75-2である。このように、再生装置20は、2つのビデオストリームをデコードするために2つのビデオデコーダ1stビデオデコーダ72-1、2ndビデオデコーダ72-2を有し、2つのオーディオストリームをデコードするために、2つのオーディオデコーダ1stオーディオデコーダ75-1、2ndオーディオデコーダ75-2を有している。なお、以下において、1stビデオデコーダ72-1と2ndビデオデコーダ72-2とを個々に区別しない場合、ビデオデコーダ72と称し、1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2とを個々に区別しない場合、オーディオデコーダ75と称する。コントローラ34により読み出されたファイルデータは、図示せぬ復調、ECC復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ32は、復調され、誤り訂正が施されたデータを、コントローラ34からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ51乃至54に供給する。具体的には、スイッチ32は、コントローラ34からの制御に基づいて、バックグラウンドイメージデータをバッファ51に供給し、メインClipのデータをバッファ52に供給し、サブClipのデータをバッファ53に供給し、TextSTのデータをバッファ54に供給するようスイッチ32を切り替える。バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClipのデータをバッファリングし、バッファ53は、サブClipのデータをバッファリングし、バッファ54は、TextSTデータをバッファリングする。メインClipは、ビデオとオーディオとビットマップ字幕とインタラクティブグラフィックスのうち、ビデオに加えて1つ以上のストリームを多重化したストリーム例えばトランスポートストリームである。サブClipは、ビデオとビットマップ字幕とインタラクティブグラフィックスとオーディオのうち、1つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイルTextSTのデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。また、メインClipとサブClipおよびテキストサブタイトルデータを、ストレージドライブ31記録媒体から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、サブClipやテキストサブタイトルデータをメインClipから読み出す前に、すべてバッファへプリロードしてもよい。再生装置20は、これらのファイルのデータを、ストレージドライブ31を介して記録媒体から読み出し、ビデオ、ビットマップ字幕、インタラクティブグラフィックス、およびオーディオを再生する。具体的には、メインClip用リードバッファであるバッファ52から読み出されたストリームデータは、所定のタイミングで、後段のPIDパケットIDフィルタ55へ出力される。このPIDフィルタ55は、入力されたメインClipをPIDパケットIDに応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ55は、ビデオストリームを1stビデオデコーダ72-1または2ndビデオデコーダ72-2のいずれかに供給するためのPIDフィルタ60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ59に供給する。プレゼンテーショングラフィックスストリームは、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、例えば、テキスト字幕データである。サブClip用リードバッファであるバッファ53から読み出されたストリームデータは、所定のタイミングで、後段のPIDパケットIDフィルタ56へ出力される。このPIDフィルタ56は、入力されたサブClipをPIDパケットIDに応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ56は、供給されたビデオストリームを1stビデオデコーダ72-1または2ndビデオデコーダ72-2のいずれかに供給するためのPIDフィルタ60へ供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ59に供給する。バックグラウンドイメージデータをバッファリングするバッファ51から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ71に供給される。バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部91に供給する。スイッチ57は、PIDフィルタ55から供給されたメインClipに含まれるプレゼンテーショングラフィックスストリームと、サブClipに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか1つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ73に供給する。プレゼンテーショングラフィックスデコーダ73は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部93への供給元となるスイッチ77に供給する。また、スイッチ58は、PIDフィルタ55から供給されたメインClipに含まれるインタラクティブグラフィックスストリームと、サブClipに含まれるインタラクティブグラフィックスストリームのうちのいずれか1つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。すなわち、インタラクティブグラフィックスデコーダ74へ同時に入力されるインタラクティブグラフィックスストリームは、メインClipまたはサブClipのどちらかから分離されたストリームである。インタラクティブグラフィックスデコーダ74は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、インタラクティブグラフィックスプレーン生成部94に供給する。さらに、スイッチ59は、PIDフィルタ55から供給されたメインClipに含まれるオーディオストリームと、サブClipに含まれるオーディオストリームのうちのいずれか1つを選択し、選択したオーディオストリームを、後段の1stオーディオデコーダ75-1または、2ndオーディオデコーダ75-2に供給する。ここで、1stオーディオデコーダ75-1へ同時に入力されるオーディオストリームは、メインClipまたはサブClipのどちらかから分離されたストリームである。また、同様に、2ndオーディオデコーダ75-2へ同時に入力されるオーディオストリームも、メインClipまたはサブClipのどちらかから分離されたストリームである。例えば、メインClipにオーディオストリーム1とオーディオストリーム2とが含まれていた場合、PIDフィルタ55は、オーディオストリームのPIDに基づいて、オーディオストリーム1とオーディオストリーム2とをフィルタリングし、スイッチ59に供給する。スイッチ59は、例えば、PIDフィルタ55から供給されたオーディオストリーム1を、1stオーディオデコーダ75-1に供給するようスイッチを選択し、PIDフィルタ55から供給されたオーディオストリーム2を、2ndオーディオデコーダ75-2に供給するようスイッチを選択する。PIDフィルタ60は、PIDフィルタ55から供給されたメインClipに含まれていたビデオストリーム、または、PIDフィルタ56から供給されたサブClipに含まれていたビデオストリームの入力を受け、コントローラ34の制御に基づいて、プライマリビデオストリームであるか、セカンダリビデオストリームであるかを判別し、プライマリビデオストリームを1stビデオデコーダ72-1に供給し、セカンダリビデオストリームを2ndビデオデコーダ72-2に供給する。PIDフィルタ60により振り分けられたビデオストリームは、後段の1stビデオデコーダ72-1または2ndビデオデコーダ72-2に供給される。1stビデオデコーダ72-1または2ndビデオデコーダ72-2は、供給されたビデオストリームをデコードし、デコードしたビデオデータをビデオプレーン生成部92へ出力する。ビデオプレーン生成部92は、1stビデオデコーダ72-1および2ndビデオデコーダ72-2からビデオデータが供給された場合、pipmetadataを参照したコントローラ34の制御に基づいて、供給されたビデオデータを合成して、図5を用いて説明したような、主表示画面1および副表示画面2により構成されるビデオプレーンを生成し、これをビデオデータ処理部96に供給する。また、ビデオプレーン生成部92は、1stビデオデコーダ72-1のみからビデオデータが供給された場合、供給されたビデオデータを用いてビデオプレーンを生成し、これをビデオデータ処理部96に供給する。なお、2つのビデオデータを合成することは、例えば、ミキシングする、重畳するとも称される。1stオーディオデコーダ75-1は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。また、2ndオーディオデコーダ75-2は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。ここで、オーディオストリーム1とオーディオストリーム2とを重畳して再生するような場合ユーザにより再生するオーディオストリームとして、2つのオーディオストリームが選択された場合、1stオーディオデコーダ75-1によりデコードされたオーディオストリーム1と、2ndオーディオデコーダ75-2によりデコードされたオーディオストリーム2とが、ミキシング処理部101に供給される。ミキシング処理部101は、1stオーディオデコーダ75-1からのオーディオデータと、2ndオーディオデコーダ75-2からのオーディオデータとをミキシング重畳し、後段のミキシング処理部97に出力する。なお、本実施の形態においては、1stオーディオデコーダ75-1から出力されるオーディオデータと2ndオーディオデコーダ75-2から出力されるオーディオデータとをミキシング重畳することを、合成するとも称する。すなわち、合成とは、2つのオーディオデータを、ミキシングすることも示すものとする。また、スイッチ32により選択されたサウンドデータは、バッファ95に供給され、バッファリングされる。バッファ95は、所定のタイミングでサウンドデータをミキシング処理部97に供給する。サウンドデータは、この場合、メニュー選択などによる効果音のデータである。ミキシング処理部97は、ミキシング処理部101によりミキシングされたオーディオデータ1stオーディオデコーダ75-1から出力されたオーディオデータと2ndオーディオデコーダ75-2から出力されたオーディオデータとがミキシングされたオーディオデータと、バッファ95から供給されてきたサウンドデータをミキシング重畳、または合成し、音声信号として出力する。テキストサブタイトル用リードバッファであるバッファ54から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジションデコーダ76へ出力される。テキストサブタイトルコンポジション76は、TextSTデータをデコードし、スイッチ77に供給する。スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、TextSTテキストサブタイトルデータのうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。すなわち、プレゼンテーショングラフィックスプレーン93へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ73またはテキストサブタイトルTextSTコンポジション76のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ73へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClipまたはサブClipのいずれかから分離されたストリームであるスイッチ57により選択される。したがって、プレゼンテーショングラフィックスプレーン93へ同時に出力される字幕画像は、メインClipからのプレゼンテーショングラフィックスストリーム、またはサブClipからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部96に供給する。プレゼンテーショングラフィックスプレーン生成部93は、スイッチ77により選択され、供給されたデータプレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータに基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。ビデオデータ処理部96は、バックグラウンドプレーン生成部91からのバックグラウンドプレーン、ビデオプレーン生成部92からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部93からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部94からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。また、ミキシング処理部97は、ミキシング処理部101からのオーディオデータ1stオーディオデコーダ75-1によりデコードされたオーディオデータと2ndオーディオデコーダ75-2によりデコードされたオーディオデータとがミキシングされたオーディオデータと、バッファ95からのサウンドデータをミキシング合成または重畳し、音声信号として出力する。これらのスイッチ57乃至59、並びにスイッチ77は、ユーザインターフェースを介するユーザからの選択、または、対象となるデータが含まれるファイル側に基づいて、スイッチを切り替える。例えば、サブClipAVストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ59はサブ側にスイッチを切り替える。次に、図35の再生装置20における再生処理を、図36のフローチャートを参照して説明する。なお、この処理は、ユーザによりユーザインターフェースを介して、所定のAVストリームの再生が指令されたとき開始される。ステップS1において、コントローラ34は、ストレージドライブ31を介して、記録媒体や図示せぬHDDに記録されているPlayListファイルを読み出す。例えば、図7を用いて説明したPlayListファイル×××××mplsが読み出される。ステップS2において、コントローラ34は、読み出したPlayListファイルを基に、再生するストリームにセカンダリビデオが存在するか否かを判断する。具体的には、コントローラ34は、読み出したPlayListファイルの中のPlayItemの中の、例えば、図33および図34を用いて説明したSTNtableのセカンダリビデオループvideostreamid2のforループを実行することにより、再生するストリームにセカンダリビデオが存在するか否かを判断する。ステップS2において、セカンダリビデオが存在しないと判断された場合、ステップS3において、図37乃至図39を用いて後述するプライマリビデオ再生処理が実行される。ステップS4において、コントローラ34は、読み出されたPlayListファイルに対応するストリームの再生は終了であるか否かを判断する。ステップS4において、ストリームの再生は終了ではないと判断された場合、処理は、ステップS3に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される。ステップS2において、セカンダリビデオが存在すると判断された場合、ステップS5において、コントローラ34は、pipmetadataを読み出す。なお、上記の通りセカンダリビデオが含まれることを確認してから、PlayItemに関連するpipmetadataだけをメモリに保持するようにしても良いし、また、図7乃至図9で説明したようにpipmetadataは、Playlistの一部であるため、ステップS1のPlayListファイル読み出し時にpipmetadataも同時に読み出すようにしても良い。具体的には、コントローラ34は、例えば、現在のPlayItemidおよびSTNtableにより判別されるsecondaryvideostreamidに基づいて、対象となるpipmetadataを特定し、PlayListファイルから特定したpipmetadataを読み出す。ステップS6において、コントローラ34は、読み出したpipmetadataの記載を基に、セカンダリストリームは、プライマリストリームに同期しているすなわち、メインパスのPlayItemの時間軸に同期しているか否かを判断する。具体的には、例えば、pipmetadataのデータ構造が、図9を用いて説明したものであった場合、コントローラ34は、図10を用いて説明したpipmetadatatypeの値を基に、セカンダリストリームは、プライマリストリームに同期しているか否かを判断し、pipmetadataのデータ構造が、図11を用いて説明したものであった場合、コントローラ34は、SynchronousPIPmetadataflagを参照し、セカンダリストリームは、プライマリストリームに同期しているか否かを判断することができる。また、例えば、pipmetadataのデータ構造が、図12を用いて説明したものであった場合、コントローラ34は、Subpathtypeによって、セカンダリストリームは、プライマリストリームと同期しているか否かを判断することができる。なお、pipmetadataのデータ構造が、図9または図11を用いて説明したものであった場合、セカンダリストリームがプライマリストリームに同期しているか否かは、pipmetadata以外にも、図12のpipmetadataのデータ構造と同様に、Subpathtypeによって判断することもできる。すなわち、コントローラ34は、Subpathtypeにより、セカンダリストリームがプライマリストリームに同期しているか否かを判断することができる。ステップS6において、セカンダリストリームは、プライマリストリームに同期していると判断された場合、ステップS7に進み、コントローラ34は、図17を参照して説明したように、プライマリストリームの表示時刻が、セカンダリストリームの再生区間の先頭を示すSubPlayItemINtimeとなっているか否かを判断する。ステップS7において、プライマリストリームの表示時刻が、SubPlayItemINtimeでないと判断された場合、ステップS8において、図37乃至図39を用いて後述するプライマリビデオ再生処理が実行される。一方、ステップS7において、プライマリストリームの表示時刻が、SubPlayItemINtimeであると判断された場合、ステップS9において、図40乃至図42を用いて後述するプライマリおよびセカンダリビデオ再生処理が実行される。ステップS10において、コントローラ34は、プライマリストリームの表示時刻が、セカンダリストリームの再生区間の終了を示すSubPlayItemOUTtimeであるか否かを判断する。ステップS10において、SubPlayItemOUTtimeでないと判断された場合、ステップS9に戻り、それ以降の処理が繰り返され、SubPlayItemOUTtimeであると判断された場合、ステップS11において、コントローラ34は、読み出されたPlayListファイルに対応するストリームの再生は終了であるか否かを判断する。ステップS11において、ストリームの再生は終了ではないと判断された場合、処理は、ステップS7に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される。一方、ステップS6において、セカンダリストリームは、プライマリストリームに同期していないすなわち、サブパスのSubPlayItemの時間軸に同期していると判断された場合、ユーザからセカンダリビデオストリームの表示が指示されるまで、プライマリビデオストリームのみが表示されるので、ステップS12において、図37乃至図39を用いて後述するプライマリビデオ再生処理が実行される。ステップS13において、コントローラ34は、ユーザから、セカンダリビデオストリームの表示の指示を受けたか否かを判断する。ステップS13において、セカンダリストリームの表示の指示を受けていないと判断された場合、ステップS14において、コントローラ34は、読み出されたPlayListファイルに対応するストリームの再生は終了であるか否かを判断する。ステップS14において、ストリームの再生は終了ではないと判断された場合、処理は、ステップS12に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される。一方、ステップS13において、セカンダリビデオストリームの表示の指示を受けたと判断された場合、ステップS15において、図40乃至図42を用いて後述するプライマリおよびセカンダリビデオ再生処理が実行される。ステップS16において、コントローラ34は、ユーザから、セカンダリビデオストリームの表示終了の指令を受けたか否かを判断する。ステップS16において、セカンダリストリームの表示終了の指令を受けたと判断された場合、処理は、ステップS12に戻り、それ以降の処理が繰り返される。ステップS16において、セカンダリビデオストリームの表示終了の指令を受けていないと判断された場合、ステップS17において、コントローラ34は、読み出されたPlayListファイルに対応するストリームの再生は終了であるか否かを判断する。ステップS17において、ストリームの再生は終了ではないと判断された場合、処理は、ステップS15に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される。このような処理により、読み出されたPlayListファイルに対応するストリームの再生において、セカンダリストリームが存在するか否か、存在する場合は、プライマリストリームメインパスに同期しているか否かを基に、セカンダリストリームをプライマリストリームに重畳させて常に表示させるか否かが決まり、プライマリストリームメインパスに同期していない場合は、ユーザからセカンダリストリームの表示が指令されたか、または、セカンダリストリームの表示終了が指令されたかに基づいて、セカンダリストリームをプライマリストリームに重畳させるか否かが決まる。次に、図37乃至図39のフローチャートを参照して、図36のステップS3、ステップS8、またはステップS12において実行される、プライマリビデオ再生処理について説明する。ステップS41において、コントローラ34は、メインClip、サブClip、およびテキストサブタイトルデータTextSTデータを読み出す。具体的には、コントローラ34は、図18を用いて説明したPlayListに含まれる、図22を用いて説明したPlayItemに基づいて、メインClipを読み出す。また、コントローラ34は、PlayListに含まれるSubPathで参照される、図21を用いて説明したSubPlayItemに基づいて、サブClipと、テキストサブタイトルデータを読み出す。ステップS42において、コントローラ34は、読み出したデータメインClip、サブClip、およびテキストサブタイトルデータを対応するバッファ51乃至54に供給するようスイッチ32を制御する。具体的には、コントローラ34は、バックグラウンドイメージデータをバッファ51に供給し、メインClipのデータをバッファ52に供給し、サブClipのデータをバッファ53に供給し、TextSTのデータをバッファ54に供給するようスイッチ32を切り替える。ステップS43において、スイッチ32はコントローラ34からの制御に基づいて、スイッチ32を切り替える。これにより、バックグラウンドイメージデータはバッファ51に供給され、メインClipのデータはバッファ52に供給され、サブClipのデータはバッファ53に供給され、テキストサブタイトルデータはバッファ54に供給される。ステップS44において、各バッファ51乃至54は、供給されたデータをそれぞれバッファリングする。具体的には、バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClipのデータをバッファリングし、バッファ53は、サブClipのデータをバッファリングし、バッファ54は、TextSTデータをバッファリングする。ステップS45において、バッファ51は、バックグラウンドイメージデータをバックグラウンドデコーダ71に出力する。ステップS46において、バッファ52はメインClipのストリームデータをPIDフィルタ55に出力する。ステップS47において、PIDフィルタ55は、メインClipAVストリームファイルを構成するTSパケットに付されているPIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、PIDフィルタ55は、ビデオストリームをPIDフィルタ60を介して1stビデオデコーダ72-1に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1への供給元となるスイッチ59に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。ステップS48において、バッファ53は、サブClipのストリームデータをPIDフィルタ56に出力する。ステップS49において、PIDフィルタ56は、PIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、PIDフィルタ56は、供給されたビデオストリームをPIDフィルタ60を介して1stビデオデコーダ72-1へ供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ59に供給する。ステップS50において、PIDフィルタ55およびPIDフィルタ56の後段のスイッチ57乃至59およびPIDフィルタ60は、ユーザインターフェースを介するコントローラ34からの制御に基づいて、メインClipとサブClipのいずれかを選択する。具体的には、スイッチ57は、PIDフィルタ55から供給されたメインClipまたはサブClipのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ73に供給する。また、スイッチ58は、PIDフィルタ55から供給されたメインClipまたはサブClipのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。さらに、スイッチ59は、PIDフィルタ55から供給されたメインClip、または、PIDフィルタ56から供給されたサブClipのオーディオストリームここでは、音声が切り替えられる前であるので、オーディオストリーム1を選択し、後段の1stオーディオデコーダ75-1に供給する。なお、音声を切り替えるような指令がユーザにより行われた場合には、スイッチ59は、メインClipのオーディオストリームを2ndオーディオデコーダ75-2に供給したり、サブClipのオーディオストリームを1stオーディオデコーダ75-1や2ndオーディオデコーダ75-2に供給したりもするが、ここでは、音声が切り替えられる前の再生処理について説明しているので、その説明は省略している。ステップS51において、バッファ54は、テキストサブタイトルデータをテキストサブタイトルコンポジション76に出力する。ステップS52において、バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部91に出力する。ステップS53において、1stビデオデコーダ72-1は、ビデオストリームすなわち、供給されたプライマリビデオストリームをデコードし、これをビデオプレーン生成部92に出力する。ステップS54において、プレゼンテーショングラフィックスデコーダ73は、スイッチ57により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ77に出力する。ステップS55において、インタラクティブグラフィックスデコーダ74は、スイッチ58により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部94に出力する。ステップS56において、1stオーディオデコーダ75-1は、スイッチ59により選択され、供給されたオーティオストリームオーディオストリーム1をデコードし、これを後段のミキシング処理部101に出力する。音声の切り替えがユーザにより指示されていない状態における再生処理では、2ndオーディオデコーダ75-2からオーディオデータが出力されることはないので、ミキシング処理部101は、1stオーディオデコーダ75-1から出力されたオーディオデータを、そのまま後段のミキシング処理部97に供給する。ステップS57において、TextSTコンポジション76は、テキストサブタイトルデータをデコードし、これを後段のスイッチ77に出力する。ステップS58において、スイッチ77は、プレゼンテーショングラフィックスデコーダ73またはTextSTコンポジション76からのデータのいずれかを選択する。具体的には、スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、TextSTテキストサブタイトルデータのうち、いずれか1つを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。ステップS59において、バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成する。ステップS60において、ビデオプレーン生成部92は1stビデオデコーダ72-1から供給されたビデオデータに基づいて、ビデオプレーンを生成する。ステップS61において、プレゼンテーショングラフィックスプレーン生成部93は、ステップS58の処理でスイッチ77により選択され、供給されたプレゼンテーショングラフィックスデコーダ73からのデータまたはTextSTコンポジション76からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成する。ステップS62において、インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。ステップS63において、バッファ95は、ステップS43の処理で選択され、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部97に供給する。ステップS64において、ビデオデータ処理部96は、各プレーンのデータを合成し、出力する。具体的には、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、およびインタラクティブグラフィックスプレーン生成部94からのデータを合成し、ビデオデータとして出力する。ステップS65において、ミキシング処理部97は、オーディオデータミキシング処理部101から出力されたオーディオデータとサウンドデータをミキシング合成し、出力して、処理は、図36のステップS3に戻り、ステップS4に進むか、または、図36のステップS8に戻り、ステップS7に進むか、図36のステップS12に戻り、ステップS13に進む。図37乃至図39を用いて説明した処理により、PlayListに含まれるメインパスとサブパスによりメインClip、サブClip、およびテキストサブタイトルデータが参照され、再生される。ここで、表示される映像は、プライマリビデオストリームの映像のみであり、図5を用いて説明した副表示画面2は表示されない。PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClipAVストリームファイルとは異なるClipを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipのデータとメインClipのデータを一緒に同じタイミングで再生することができる。なお、図37乃至図39において、ステップS45,ステップS46の処理は、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップS47、ステップS49の処理も、その順番が逆であってもよいし、平行して実行されてもよい。さらに、ステップS52乃至ステップS57の処理も、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップS59乃至ステップS62の処理も、その順番が逆であってもよいし、平行して実行されてもよい。さらに、ステップS64,ステップS65の処理も、その順番が逆であってもよいし、平行して実行されてもよい。すなわち、図35において、縦に同じ階層のバッファ51乃至54の処理、スイッチ57乃至59の処理、デコーダ71乃至76の処理、プレーン生成部91乃至94の処理、ビデオデータ処理部96およびミキシング処理部97の処理は、それぞれ、平行して実行されてもよいし、その順番は問わない。次に、図40乃至図42のフローチャートを参照して、図36のステップS9またはステップS15において実行される、プライマリおよびセカンダリビデオ再生処理について説明する。ステップS101乃至ステップS106において、図37および図38を用いて説明したステップS41乃至ステップS46と基本的に同様の処理が実行される。すなわち、コントローラ34により、メインClip、サブClip、およびテキストサブタイトルデータTextSTデータが読み出され、読み出したデータメインClip、サブClip、およびテキストサブタイトルデータを対応するバッファ51乃至54に供給するようスイッチ32が制御される。スイッチ32により、コントローラ34からの制御に基づいて、バックグラウンドイメージデータはバッファ51に供給され、メインClipのデータはバッファ52に供給され、サブClipのデータはバッファ53に供給され、テキストサブタイトルデータはバッファ54に供給され、バッファ51乃至54にバッファリングされる。バッファ51は、バックグラウンドイメージデータをバックグラウンドデコーダ71に出力する。バッファ52はメインClipのストリームデータをPIDフィルタ55に出力する。ステップS107において、PIDフィルタ55は、メインClipAVストリームファイルを構成するTSパケットに付されているPIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、PIDフィルタ55は、ビデオストリームをPIDフィルタ60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1への供給元となるスイッチ59に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。PIDフィルタ60は、コントローラ34の制御に基づいて、プライマリビデオストリームを1stビデオデコーダ72-1に供給し、セカンダリビデオストリームを2ndビデオデコーダ72-2に供給する。ステップS108において、バッファ53は、サブClipのストリームデータをPIDフィルタ56に出力する。ステップS109において、PIDフィルタ56は、PIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、PIDフィルタ56は、供給されたビデオストリームをPIDフィルタ60へ供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ59に供給する。PIDフィルタ60は、コントローラ34の制御に基づいて、プライマリビデオストリームを1stビデオデコーダ72-1に供給し、セカンダリビデオストリームを2ndビデオデコーダ72-2に供給する。そして、ステップS110乃至ステップS112において、図37および図38を用いて説明したステップS50乃至ステップS52と基本的に同様の処理が実行される。すなわち、スイッチ57乃至59およびPIDフィルタ60は、コントローラ34からの制御に基づいて、メインClipとサブClipのいずれかを選択する。バッファ54は、テキストサブタイトルデータをテキストサブタイトルコンポジション76に出力する。バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部91に出力する。そして、ステップS113において、1stビデオデコーダ72-1は、供給されたプライマリビデオストリームをデコードし、これをビデオプレーン生成部92に出力する。ステップS114において、2ndビデオデコーダ72-2は、供給されたセカンダリビデオストリームをデコードし、これをビデオプレーン生成部92に出力する。ステップS115において、プレゼンテーショングラフィックスデコーダ73は、スイッチ57により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ77に出力する。ステップS116において、インタラクティブグラフィックスデコーダ74は、スイッチ58により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部94に出力する。ステップS117において、1stオーディオデコーダ75-1は、スイッチ59により選択され、供給されたプライマリオーティオストリームをデコードし、これを後段のミキシング処理部101に出力する。ステップS118において、2ndオーディオデコーダ75-2は、スイッチ59により選択され、供給されたセカンダリオーティオストリームをデコードし、これを後段のミキシング処理部101に出力する。ステップS119において、TextSTコンポジション76は、プライマリまたはセカンダリのうち、表示されるテキストサブタイトルデータをデコードし、これを後段のスイッチ77に出力する。ステップS120において、スイッチ77は、プレゼンテーショングラフィックスデコーダ73またはTextSTコンポジション76からのデータのいずれかを選択する。具体的には、スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、TextSTテキストサブタイトルデータのうち、いずれか1つを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。ステップS121において、バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成する。ステップS122において、ビデオプレーン生成部92は、pipmetadataを参照したコントローラ34の制御に基づいて、1stビデオデコーダ72-1および2ndビデオデコーダ72-2から供給されたビデオデータを合成して、図5を用いて説明したような、主表示画面1および副表示画面2により構成されるビデオプレーンを生成し、これをビデオデータ処理部96に供給する。具体的には、ビデオプレーン生成部92は、例えば、図9、図11、または図12を用いて説明したpipmetadataを参照したコントローラ34の制御に基づいて、ポジショニング、スケーリングしたセカンダリビデオストリームをプライマリビデオストリームに合成して、図5を用いて説明したような、主表示画面1および副表示画面2により構成されるビデオプレーンを生成し、これをビデオデータ処理部96に供給する。ここで、図43を参照して、ポジショニングとスケーリングの詳細について説明する。図9、図11、または図12を用いて説明したpipmetadataに示したように、piphorizontalpositionは、例えば、図5の主表示画面1上において、セカンダリビデオが表示される副表示画面2の左上隅のX座標を示し、pipverticalpositionは、例えば、図5の主表示画面1上において、セカンダリビデオが表示される副表示画面2の左上隅のY座標を示す。また、pipscaleは、セカンダリビデオが表示される副表示画面2の大きさに関する情報を示す。すなわち、図43に示すように、PrimaryVideoplaneプライマリビデオプレーン上において、pipscaleに基づいて所定の大きさに調節されたスケーリングセカンダリビデオScaledSecondaryVideoは、プライマリビデオプレーンの左上隅から、X軸方向にpiphorizontalposition、Y軸方向にpipverticalpositionとなる位置が、スケーリングセカンダリビデオの左上隅となるように配置されることになる。また、このとき、図12を用いて説明したpipmetadataにおいて、islumakey1である場合、ビデオプレーン生成部92は、プライマリビデオストリームとセカンダリビデオストリームとをlumakeying合成して、ビデオプレーンを生成し、これをビデオデータ処理部96に供給する。ここで、lumakeying合成とは、図12のpipmetadataにより説明したように、明るさ輝度値の成分差を利用して不要な部分を切り抜いた画像を、映像に重ねて合成する手法である。次に、図44および図45を参照して、lumakeying合成の詳細について説明する。図44は、lumakeying合成前のPrimaryVideoプライマリビデオとSecondaryVideoセカンダリビデオを示す図である。図中右側のプライマリビデオと、左側のセカンダリビデオとをlumakeying合成する場合、図12のpipmetadataを用いて説明したように、lowerlimitlumakeyにより示される輝度値の下限から、upperlimitlumakeyにより示される輝度値の上限までの範囲に含まれる、セカンダリビデオの輝度値を透明にし、そのセカンダリビデオをプライマリビデオに合成する。すなわち、lowerlimitlumakeyとupperlimitlumakeyで定義された輝度値の下限と上限の範囲が取り除かれたセカンダリビデオがプライマリビデオに重ねて合成される。具体的には、図44で示されるように、左側のセカンダリビデオの平行四辺形と円以外のハッチングされた領域は、輝度値の下限と上限の範囲内の輝度値となるので透明となり、そのように処理された左側のセカンダリビデオが、右側のプライマリビデオに重ねて合成される。図45は、lumakeying合成後のプライマリビデオとセカンダリビデオを示す図である。lumakeying合成後のプライマリビデオとセカンダリビデオは、図45に示すように、セカンダリビデオの平行四辺形と円以外の領域は透明となっているので、セカンダリビデオの領域のうち、平行四辺形と円の領域のみが、プライマリビデオと合成されることになる。なお、図45では、説明を分かり易くするために、セカンダリビデオの領域を点線によって表現しているが、実際には、この点線が表示されることはない。図42のフローチャートに戻り、ステップS123において、プレゼンテーショングラフィックスプレーン生成部93は、ステップS58の処理でスイッチ77により選択され、供給されたプレゼンテーショングラフィックスデコーダ73からのデータまたはTextSTコンポジション76からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成する。ステップS124において、インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。ステップS125において、バッファ95は、ステップS43の処理で選択され、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部97に供給する。ステップS126において、ビデオデータ処理部96は、各プレーンのデータを合成し、出力する。具体的には、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、およびインタラクティブグラフィックスプレーン生成部94からのデータを合成し、ビデオデータとして出力する。ステップS127において、ミキシング処理部101は、1stオーディオデコーダ75-1から出力されたプライマリオーディオデータ、および、2ndオーディオデコーダ75-2から出力されたセカンダリオーディオデータを合成し、ミキシング処理部97に供給する。ステップS128において、ミキシング処理部97は、ミキシング処理部101から出力された、合成されたオーディオデータとサウンドデータをミキシング合成し、出力して、処理は、図36のステップS9に戻り、ステップS10に進むか、または、図36のステップS15に戻り、ステップS16に進む。図40乃至図42を用いて説明した処理により、PlayListに含まれるメインパスとサブパスによりメインClip、サブClip、およびテキストサブタイトルデータが参照され、再生される。PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClipAVストリームファイルとは異なるClipを指定可能な構成とし、プライマリビデオストリームの表示画像にセカンダリビデオストリームの表示画像を重畳させることができる。このとき、セカンダリビデオストリームの表示画像の大きさと表示位置を設定することができるようにしたので、副表示画面の表示位置や表示の大きさが再生装置に依存してあらかじめ定められている場合と比較して、コンテンツによって、または、表示されるタイミングによって、プライマリビデオストリームの表示の邪魔とならない位置や大きさでセカンダリビデオストリームを表示させるようにしたり、または、セカンダリビデオストリームの内容に応じて、例えば、重要な内容であれば、目立つ位置に大きく表示させたり、重要でない内容であれば、主表示画面1の端に小さく表示させるようにすることなどが可能である。また、セカンダリビデオストリームの表示画像の大きさと表示位置は、コンテンツの製作者、または、コンテンツの配給元が、適宜定めることができる。なお、図40乃至図42において、ステップS105,ステップS106の処理は、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップS107、ステップS109の処理も、その順番が逆であってもよいし、平行して実行されてもよい。さらに、ステップS112乃至ステップS119の処理も、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップS121乃至ステップS124の処理も、その順番が逆であってもよいし、平行して実行されてもよい。さらに、ステップS126の処理と、ステップS127およびステップS128の処理も、その順番が逆であってもよいし、平行して実行されてもよい。すなわち、図35において、縦に同じ階層のバッファ51乃至54の処理、スイッチ57乃至59の処理、デコーダ71乃至76の処理、プレーン生成部91乃至94の処理、ビデオデータ処理部96およびミキシング処理部97の処理は、それぞれ、平行して実行されてもよいし、その順番は問わない。以上の処理をまとめると、以下のようになる。再生装置20は、少なくとも1つのストリームを含むメインClipAVストリームファイルの位置を示す主の再生パスであるメインパスと、メインClipAVストリームファイルとは異なる再生パスで再生されるサブClipAVストリームファイルの再生パスであるサブパスの情報を含んで構成される再生管理情報としてのPlayListを取得する。そして、再生装置20は、PlayListに含まれる再生するストリームを選択するためのSTNtableに基づいて、再生するストリームの選択を受け付ける。STNtableは、メインClipAVストリームファイルの所定の種類のストリーム例えば、プライマリビデオストリームと、そのストリームの再生のタイミングに合わせて、または、非同期で再生される他のストリームファイルを選択するための情報であるので、このSTNtableに基づいて、再生するストリームの選択を受け付けることができる。また、PlayListSubpathtypeがInMuxのものであれば、メインパスとサブパスが同一Clipを参照することができ、さらにサブパスを追加することができるので、ストリームに拡張性を持たせることができる。また、1つのSubPathで複数のファイルを参照可能な構成としたので例えば、図4、複数の異なるストリームの中からユーザが選択することができる。さらに、MainPathのPlayItemの中に、MainPathにより参照されるAVストリームファイルに多重化されている含まれる付属データ例えば、オーディオストリームと、SubPathにより参照される付属データとを定義するテーブルとして、図23、並びに、図33および図34のSTNtableを設けるようにしたので、より、拡張性の高いストリームを実現することができる。また、STNtableにエントリーすれば、SubPathを容易に拡張することができる。また、STNtableにストリームの属性情報である図25のstreamattributeを設けるようにしたので、再生装置20側で、選択されたストリームを再生可能か否かを判定することができる。さらに、streamattributeを参照することで、再生機能を有するストリームだけを選択して再生することができる。さらに、STNtable図23、並びに、図33および図34において、2つの同じ種類のストリームファイルここでは、プライマリビデオストリームファイルとセカンダリビデオストリームファイル、または、プライマリオーディオストリームファイルとセカンダリオーディオストリームファイルを定義するようにした。さらに、図35の再生装置20に2つのビデオデコーダ1stビデオデコーダ72-1と2ndビデオデコーダ72-2および2つのオーディオデコーダ1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2を設けた。そして、2つのビデオデコーダによりデコードされたプライマリビデオデータとセカンダリビデオデータを合成ミキシングするビデオプレーン生成部92を設け、2つのオーディオデコーダによりデコードされたオーディオデータを合成するミキシング処理部101を設けるようにした。これにより、2つの同じ種類のストリームを組み合わせて同時に再生することができる。すなわち、本発明を適用した再生装置においては、図5に示されるように、プライマリビデオストリームを主画面に表示させ、主画面の中に、セカンダリストリームを子画面として合成して表示させる、いわゆるPinPピクチャインピクチャ表示が可能である。また、このとき、pipmetadataによって、ピクチャインピクチャ表示におけるセカンダリビデオストリームの表示画像の大きさと表示位置を設定することができるようにした。これにより、副表示画面の表示位置や表示の大きさが再生装置に依存してあらかじめ定められている場合と比較して、コンテンツによって、または、表示されるタイミングによって、プライマリビデオストリームの表示の邪魔とならない位置や大きさでセカンダリビデオストリームを表示させるようにしたり、または、セカンダリビデオストリームの内容に応じて、例えば、重要な内容であれば、目立つ位置に大きく表示させたり、重要でない内容であれば、主表示画面1の端に小さく表示させるようにすることなどが可能である。また、セカンダリビデオストリームの表示画像の大きさと表示位置は、コンテンツの製作者、または、コンテンツの配給元が、適宜定めることができる。また、pipmetadataには、セカンダリビデオストリームの表示画像の大きさと表示位置以外に、このピクチャインピクチャの表示の設定を示す情報を記載することができる。セカンダリビデオストリームが表示される副表示画面2の位置と大きさを示す情報以外に、例えば、セカンダリビデオストリームの原映像に対して表示される映像の回転や色の指定などに関する情報を記載することができる。ここで、セカンダリビデオストリームの表示画像の大きさと表示位置をはじめとする表示に関する情報は、セカンダリビデオストリームには記載されず、セカンダリビデオストリームの再生を制御するためのプレイリストに記載される。すなわち、セカンダリビデオストリームを変更することなく、その表示形式のみを変更したい場合例えば、セカンダリビデオストリームの表示位置のみを変更したり、表示の大きさを変更したい場合など、再生装置の設定や、セカンダリビデオストリーム自体に手を加えることなく、プレイリストのpipmetadataの記載のみを更新するようにすればよい。また、第1のコンテンツと第2のコンテンツにおいて、同一のセカンダリビデオストリームを、異なる表示方法で表示させること例えば、同一のセカンダリビデオストリームを、第1のコンテンツでは大きく、第2のコンテンツでは小さく表示させることなどが非常に容易である。すなわち、セカンダリビデオストリーム自体のデータをそれぞれ変更することなく、第1のコンテンツと第2のコンテンツのそれぞれにおいて、プレイリストのpipmetadataに、所望する表示形式を示す情報を記載することにより、第1のコンテンツと第2のコンテンツにおいて、同一のセカンダリビデオストリームを、コンテンツ作成者またはコンテンツ配給元が所望する異なる表示方法で表示させることが可能となる。また、セカンダリビデオストリームの表示画像の大きさと表示位置をはじめとする表示に関する情報が、時間情報をはじめとする詳細な再生管理情報を有するプレイリストに記載されるので、セカンダリビデオの表示を詳細に設定することが可能となる。また、SubPathには、図20に示されるように、SubPathのタイプオーディオやテキスト字幕といった種類と、メインパスと同期しているか否かを示すタイプを示すSubPathtype、SubPathが参照するサブClipの名を示す図21のClipInformationfilename、およびSubPathが参照するClipのイン点を示す図21のSubPlayItemINtimeとアウト点を示す図21のSubPlayItemOUTtimeを含むようにしたので、SubPathが参照するデータを的確に特定することができる。なお、図35のストレージドライブ31が読み出すデータは、DVDDigitalVersatileDiscなどの記録媒体に記録されているデータであってもよいし、ハードディスクに記録されているデータであってもよいし、図示せぬネットワークを介してダウンロードしたデータであってもよいし、これらが組み合わされたデータでもよい。例えば、ダウンロードされ、ハードディスクに記録されたPlayListおよびサブClipと、DVDに記録されたメインClipAVストリームファイルに基づいて、再生されてもよい。また、例えば、DVDに記録されたClipAVストリームファイルをサブClipとするようなPlayListとメインClipがハードディスクに記録されている場合に、ハードディスクに記録されているPlayListに基づいて、メインClipとサブClipがそれぞれ、ハードディスクとDVDから読み出され再生されてもよい。なお、セカンダリビデオの位置、大きさなどが再生装置20プレーヤの機能で変更するようにすることもできるが、この場合、オーサが意図した大きさなどにならないときがある。一方、本願発明のように管理情報であるPlaylistで大きさ、位置などを管理すれば、例えばROMディスクの取得後に位置などを変更させたい場合であっても、実際のClipに変更を加えなくても、サイズが比較的小さいプレイリストを取得するだけで、オーサが意図したとおりにセカンダリビデオの位置などを変更することができる。次に、図46および図47を参照して、再生装置20において再生可能なデータが記録された記録媒体21の製造方法について、記録媒体21がディスク状の記録媒体だった場合を例として説明する。すなわち、図46に示すように、例えばガラスなどよりなる原盤が用意され、その上に、例えばフォトレジストなどよりなる記録材料が塗布される。これにより、記録用原盤が製作される。そして、図47に示すように、ソフト製作処理部において、符号化装置ビデオエンコーダで符号化された、再生装置20において再生可能な形式のビデオデータが、一時バッファに記憶され、オーディオエンコーダで符号化されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号化された、ストリーム以外のデータ例えば、Indexes、Playlist、PlayItemなどが一時バッファに記憶される。それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器MPXで同期信号と共に多重化され、誤り訂正符号回路ECCでエラー訂正用のコードが付加される。そして、変調回路MODで所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどに一旦記録され、再生装置20において再生可能な記録媒体21に記録されるソフトウェアが製作される。このソフトウェアを必要に応じて編集プリマスタリングし、光ディスクに記録すべきフォーマットの信号が生成される。そして、図46に示すように、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。これにより、原盤上のフォトレジストが記録信号に対応して露光される。その後、この原盤を現像し、原盤上にピットを出現させる。このようにして用意された原盤に、例えば電鋳などの処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする。この成形用金型に、例えばインジェクションなどによりPMMAアクリルまたはPCポリカーボネートなどの材料を注入し、固定化させる。あるいは、金属スタンパ上に2P紫外線硬化樹脂などを塗布した後、紫外線を照射して硬化させる。これにより、金属スタンパ上のピットを、樹脂よりなるレプリカ上に転写することができる。このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。その後、このディスクに対して内外径の加工が施され、2枚のディスクを張り合わせるなどの必要な処置が施される。さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。このようにして再生装置20によって再生可能なデータが記録された記録媒体21が完成する。上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図48に示されるようなパーソナルコンピュータ500により実行される。図48において、CPUCentralProcessingUnit501は、ROM502に記憶されているプログラム、または、記憶部508からRAM503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRTCathodeRayTube,LCDLiquidCrystalDisplayなどよりなるディスプレイ、スピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、並びに、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム格納媒体からインストールされる。このプログラム格納媒体は、図48に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。"