"主の再生パスによって参照され、第1のビデオストリームと第1のオーディオストリームを含む第1のストリームの時間軸上の再生区間を示す情報を含む第1の再生区間情報と、副の再生パスによって参照される前記第1のストリームまたは第2のストリームの時間軸上の再生区間を示す情報および前記副の再生パスのタイプを示す第1のタイプ情報を含む第2の再生区間情報と、前記第1の再生区間情報に含まれ、再生するストリームの選択に用いられるテーブル情報であって、それぞれのストリームが、前記主の再生パスが参照する前記第1のストリームに含まれる第1のタイプ、前記副の再生パスが参照する前記第2のストリームに含まれる第2のタイプ、前記副の再生パスが参照する前記第1のストリームに含まれる第3のタイプのうちのいずれのタイプであるのかを示す第2のタイプ情報を含む前記テーブル情報と、を含む再生管理情報を取得する取得部と、前記第1のストリームを記録媒体から読み出すとともに、前記第1のタイプ情報により示される前記副の再生パスのタイプが、参照するストリームが前記第1のストリームとは異なるストリームに含まれ、前記第1のビデオストリームと同期して再生され、ピクチャインピクチャ形式で出力するタイプである場合、前記第2のストリームを前記記録媒体から読み出す読み出し部と、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のビデオストリームをデコードして第1のビデオデータを出力する第1のビデオデコーダと、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のビデオストリームを前記第1のビデオストリームの再生と同期するようにデコードして、前記第1のビデオデータに合成される第2のビデオデータを出力する第2のビデオデコーダと、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のオーディオストリームをデコードする第1のオーディオデコーダと、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のオーディオストリームを前記第1のビデオストリームの再生と同期するようにデコードする第2のオーディオデコーダと、前記第1のオーディオデコーダによるデコードによって得られたオーディオデータと前記第2のオーディオデコーダによるデコードによって得られたオーディオデータを合成する合成部とを備える再生装置。前記テーブル情報には、前記第1のビデオストリームに関する第1のエントリ情報、前記第1のオーディオストリームに関する第2のエントリ情報、前記第2のビデオストリームに関する第3のエントリ情報、および前記第2のオーディオストリームに関する第4のエントリ情報が含まれ、前記第1と第2のエントリ情報には前記第1のタイプであることを示す前記第2のタイプ情報と前記第1のストリームのPIDが含まれ、前記第3と第4のエントリ情報には前記第2のタイプであることを示す前記第2のタイプ情報と前記第2のストリームのPIDが含まれる請求項1に記載の再生装置。主の再生パスによって参照され、第1のビデオストリームと第1のオーディオストリームを含む第1のストリームの時間軸上の再生区間を示す情報を含む第1の再生区間情報と、副の再生パスによって参照される前記第1のストリームまたは第2のストリームの時間軸上の再生区間を示す情報および前記副の再生パスのタイプを示す第1のタイプ情報を含む第2の再生区間情報と、前記第1の再生区間情報に含まれ、再生するストリームの選択に用いられるテーブル情報であって、それぞれのストリームが、前記主の再生パスが参照する前記第1のストリームに含まれる第1のタイプ、前記副の再生パスが参照する前記第2のストリームに含まれる第2のタイプ、前記副の再生パスが参照する前記第1のストリームに含まれる第3のタイプのうちのいずれのタイプであるのかを示す第2のタイプ情報を含む前記テーブル情報と、を含む再生管理情報を取得し、前記第1のストリームを記録媒体から読み出すとともに、前記第1のタイプ情報により示される前記副の再生パスのタイプが、参照するストリームが前記第1のストリームとは異なるストリームに含まれ、前記第1のビデオストリームと同期して再生され、ピクチャインピクチャ形式で出力するタイプである場合、前記第2のストリームを前記記録媒体から読み出し、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のビデオストリームを第1のビデオデコーダによってデコードして第1のビデオデータを出力し、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のビデオストリームを前記第1のビデオストリームの再生と同期するように第2のビデオデコーダによってデコードして、前記第1のビデオデータに合成される第2のビデオデータを出力し、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のオーディオストリームを第1のオーディオデコーダによってデコードし、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のオーディオストリームを前記第1のビデオストリームの再生と同期するように第2のオーディオデコーダによってデコードし、前記第1のオーディオデコーダによるデコードによって得られたオーディオデータと前記第2のオーディオデコーダによるデコードによって得られたオーディオデータを合成するステップを含む再生方法。主の再生パスによって参照され、第1のビデオストリームと第1のオーディオストリームを含む第1のストリームと、副の再生パスによって参照され、第2のビデオストリームと第2のオーディオストリームを含む第2のストリームと、ストリームの再生を管理する情報である、前記第1のストリームの時間軸上の再生区間を示す情報を含む第1の再生区間情報と、前記第2のストリームの時間軸上の再生区間を示す情報、および前記副の再生パスのタイプを示す情報である、参照するストリームが前記第1のストリームとは異なるストリームに含まれ、前記第1のビデオストリームと同期して再生され、ピクチャインピクチャ形式で出力するタイプを示す第1のタイプ情報を含む第2の再生区間情報と、前記第1の再生区間情報に含まれ、再生するストリームの選択に用いられるテーブル情報であって、それぞれのストリームが、前記主の再生パスが参照する前記第1のストリームに含まれる第1のタイプ、前記副の再生パスが参照する前記第2のストリームに含まれる第2のタイプ、前記副の再生パスが参照する前記第1のストリームに含まれる第3のタイプのうちのいずれのタイプであるのかを示す第2のタイプ情報を含む前記テーブル情報とを含む再生管理情報とが記録され、前記再生管理情報を取得した再生装置においては、前記第1のストリームと前記第2のストリームを読み出し、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のビデオストリームを第1のビデオデコーダによってデコードして第1のビデオデータを出力し、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のビデオストリームを前記第1のビデオストリームの再生と同期するように第2のビデオデコーダによってデコードして、前記第1のビデオデータに合成される第2のビデオデータを出力し、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のオーディオストリームを第1のオーディオデコーダによってデコードし、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のオーディオストリームを前記第1のビデオストリームの再生と同期するように第2のオーディオデコーダによってデコードし、前記第1のオーディオデコーダによるデコードによって得られたオーディオデータと前記第2のオーディオデコーダによるデコードによって得られたオーディオデータを合成する処理が行われる記録媒体。再生装置において再生可能な記録媒体に、主の再生パスによって参照され、第1のビデオストリームと第1のオーディオストリームを含む第1のストリームと、副の再生パスによって参照され、第2のビデオストリームと第2のオーディオストリームを含む第2のストリームと、ストリームの再生を管理する情報である、前記第1のストリームの時間軸上の再生区間を示す情報を含む第1の再生区間情報と、前記第2のストリームの時間軸上の再生区間を示す情報、および前記副の再生パスのタイプを示す情報である、参照するストリームが前記第1のストリームとは異なるストリームに含まれ、前記第1のビデオストリームと同期して再生され、ピクチャインピクチャ形式で出力するタイプを示す第1のタイプ情報を含む第2の再生区間情報と、前記第1の再生区間情報に含まれ、再生するストリームの選択に用いられるテーブル情報であって、それぞれのストリームが、前記主の再生パスが参照する前記第1のストリームに含まれる第1のタイプ、前記副の再生パスが参照する前記第2のストリームに含まれる第2のタイプ、前記副の再生パスが参照する前記第1のストリームに含まれる第3のタイプのうちのいずれのタイプであるのかを示す第2のタイプ情報を含む前記テーブル情報とを含む再生管理情報とを記録するステップを含む記録方法。しかしながら、DVDビデオでは、プログラムストリームのビデオを再生している場合に、ユーザによる音声切り替えや字幕切り替えという操作は、再生しているプログラムストリームに多重化されているオーディオストリームとサブピクチャストリームの中からしか、選ぶことができなかった。すなわち、図3に示されるようなMPEG2プログラムストリームを再生している場合に、音声の切り替えを行う場合、選択肢はオーディオ1乃至3のいずれか1つとなる。そのため、再生しているプログラムストリームとは別の他のストリームでオーディオストリームと字幕を用意した場合、ユーザは、音声の切り替えの操作が、他のストリームから選択することができないため、拡張性がないという問題があった。さらに、将来的には、切り替え対象のコンテンツとして、音声のみならず映像等、様々な種類のコンテンツが対象となることが想定されている。従って、将来的には、これらの様々な種類のコンテンツの切り替えの操作が、他のストリームから選択することができないため、拡張性がないという問題にまで発展してしまうことになる。また、特許文献1に記載の技術では、たしかに、追加して記録された音声例えば、いわゆるアフレコと称される音声を再生するために、Subpathが用いられているが、2つの同一の種類のストリーム、すなわち、2つのオーディオストリームや2つのビデオストリームを合成して再生するための構成についてはなんら開示されていない。本技術は、このような状況に鑑みてなされたものであり、メインのAVストリームとともに再生する各種のデータを選択することができるようにするものである。本技術の一側面の再生装置は、主の再生パスによって参照され、第1のビデオストリームと第1のオーディオストリームを含む第1のストリームの時間軸上の再生区間を示す情報を含む第1の再生区間情報と、副の再生パスによって参照される前記第1のストリームまたは第2のストリームの時間軸上の再生区間を示す情報および前記副の再生パスのタイプを示す第1のタイプ情報を含む第2の再生区間情報と、前記第1の再生区間情報に含まれ、再生するストリームの選択に用いられるテーブル情報であって、それぞれのストリームが、前記主の再生パスが参照する前記第1のストリームに含まれる第1のタイプ、前記副の再生パスが参照する前記第2のストリームに含まれる第2のタイプ、前記副の再生パスが参照する前記第1のストリームに含まれる第3のタイプのうちのいずれのタイプであるのかを示す第2のタイプ情報を含む前記テーブル情報と、を含む再生管理情報を取得する取得部と、前記第1のストリームを記録媒体から読み出すとともに、前記第1のタイプ情報により示される前記副の再生パスのタイプが、参照するストリームが前記第1のストリームとは異なるストリームに含まれ、前記第1のビデオストリームと同期して再生され、ピクチャインピクチャ形式で出力するタイプである場合、前記第2のストリームを前記記録媒体から読み出す読み出し部と、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のビデオストリームをデコードして第1のビデオデータを出力する第1のビデオデコーダと、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のビデオストリームを前記第1のビデオストリームの再生と同期するようにデコードして、前記第1のビデオデータに合成される第2のビデオデータを出力する第2のビデオデコーダと、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のオーディオストリームをデコードする第1のオーディオデコーダと、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のオーディオストリームを前記第1のビデオストリームの再生と同期するようにデコードする第2のオーディオデコーダと、前記第1のオーディオデコーダによるデコードによって得られたオーディオデータと前記第2のオーディオデコーダによるデコードによって得られたオーディオデータを合成する合成部とを備える。前記テーブル情報には、前記第1のビデオストリームに関する第1のエントリ情報、前記第1のオーディオストリームに関する第2のエントリ情報、前記第2のビデオストリームに関する第3のエントリ情報、および前記第2のオーディオストリームに関する第4のエントリ情報が含まれ、前記第1と第2のエントリ情報には前記第1のタイプであることを示す前記第2のタイプ情報と前記第1のストリームのPIDが含まれ、前記第3と第4のエントリ情報には前記第2のタイプであることを示す前記第2のタイプ情報と前記第2のストリームのPIDが含まれるようにすることができる。本技術の一側面においては、主の再生パスによって参照され、第1のビデオストリームと第1のオーディオストリームを含む第1のストリームの時間軸上の再生区間を示す情報を含む第1の再生区間情報と、副の再生パスによって参照される前記第1のストリームまたは第2のストリームの時間軸上の再生区間を示す情報および前記副の再生パスのタイプを示す第1のタイプ情報を含む第2の再生区間情報と、前記第1の再生区間情報に含まれ、再生するストリームの選択に用いられるテーブル情報であって、それぞれのストリームが、前記主の再生パスが参照する前記第1のストリームに含まれる第1のタイプ、前記副の再生パスが参照する前記第2のストリームに含まれる第2のタイプ、前記副の再生パスが参照する前記第1のストリームに含まれる第3のタイプのうちのいずれのタイプであるのかを示す第2のタイプ情報を含む前記テーブル情報と、を含む再生管理情報が取得され、前記第1のストリームが記録媒体から読み出されるとともに、前記第1のタイプ情報により示される前記副の再生パスのタイプが、参照するストリームが前記第1のストリームとは異なるストリームに含まれ、前記第1のビデオストリームと同期して再生され、ピクチャインピクチャ形式で出力するタイプである場合、前記第2のストリームが前記記録媒体から読み出される。また、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のビデオストリームが第1のビデオデコーダによってデコードされて第1のビデオデータが出力され、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のビデオストリームが前記第1のビデオストリームの再生と同期するように第2のビデオデコーダによってデコードされて、前記第1のビデオデータに合成される第2のビデオデータが出力され、前記第1のストリームに含まれ、前記第1のタイプのストリームであることが前記第2のタイプ情報により示される前記第1のオーディオストリームが第1のオーディオデコーダによってデコードされ、前記第2のストリームに含まれ、前記第2のタイプのストリームであることが前記第2のタイプ情報により示される第2のオーディオストリームが前記第1のビデオストリームの再生と同期するように第2のオーディオデコーダによってデコードされ、前記第1のオーディオデコーダによるデコードによって得られたオーディオデータと前記第2のオーディオデコーダによるデコードによって得られたオーディオデータが合成される。本技術によれば、メインのAVストリームとともに再生する各種のデータを選択することができる。図5は、本発明を適用した再生装置1図27および図28を参照して後述するのローカルストレージ上の、または、装着される記録媒体上のアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。アプリケーションフォーマットは、AVAudioVisualストリームの管理のために、PlayListとClipの2つのレイヤを有している。ここでは、1つのAVストリームとそれに付随する情報であるClipインフォメーションのペアを1つのオブジェクトと考え、それらをまとめてClipと称する。以下、AVストリームをAVストリームファイルとも称する。なお、AVストリームファイルには、音声データや映像データ以外にも、これらのデータとともに再生される各種のストリームファイルが含まれていてもよい。また、ClipインフォメーションをClipインフォメーションファイルとも称する。一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、AVストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、AVストリームの管理のためのレイヤである。Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、ClipInformationファイルは、タイムスタンプから、AVストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。PlayListは、AVストリームの再生区間の集まりである。あるAVストリーム中の1つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のIN点再生開始点とOUT点再生終了点のペアで表される。従って、PlayListは、図5に示されるように1つ、または複数のPlayItemにより構成される。図5において、左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照されている。また、左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照されている。さらに、左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照されている。例えば、図5のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から1番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。このように、PlayListは、AVストリームファイルの再生を管理するための再生管理情報として用いられる。ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このディスクナビゲーションプログラムは、例えば、Java登録商標などのプログラミング言語で記述され、記録媒体上に用意される。本実施の形態では、PlayListの中で、1つ以上のPlayItemの並びによって連続するPlayItemにより作られる再生パスをメインパスと称し、PlayListの中で、MainPathに並行並列して、1つ以上のSubPathの並びによって非連続でもよいし、連続してもよいSubPlayItemにより作られる再生パスをサブパスSubPathと称する。すなわち、再生装置1図27および図28を参照して後述する内部のローカルストレージ上の、または、装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて合わせて再生されるサブパスをPlayListの中に持つ。図6は、メインパスとサブパスの構造を説明する図である。PlayListは、1つのメインパスと1つ以上のサブパスを持つことができる。1つのメインパスは、1つ以上のPlayItemの並びによって作られ、1つのサブパスは、1つ以上のSubPlayItemの並びによって作られる。図6の例の場合、PlayListは、3つのPlayItemの並びにより作られる1つのメインパスと、3つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれIDIdentificationが付されている。具体的には、メインパスは、PlayItemid=0、PlayItemid=1、およびPlayItemid=2のPlayItemからなる。また、サブパスにも先頭から順番にSubpathid=0、Subpathid=1、およびSubpathid=2、とそれぞれIDが付されている。Subpathid=0のサブパスには、1つのSubPlayItemが含まれ、Subpathid=1のサブパスには、2つのSubPlayItemが含まれ、Subpathid=2のサブパスには、1つのSubPlayItemが含まれる。Subpathid=0のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるAVストリームファイルのオーディオストリームに替えて再生される場合が考えられる。また、Subpathid=1のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、MainPathにより参照されるAVストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。1つのPlayItemが参照するClipAVストリームファイルには、少なくともビデオストリームデータメイン画像データが含まれる。また、ClipAVストリームファイルには、ClipAVストリームファイルに含まれるビデオストリームメイン画像データと同じタイミングで同期して再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。さらに、ClipAVストリームファイルには、ClipAVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリームPresentationGraphicstreamが1つ以上含まれてもよいし、含まれなくてもよい。また、ClipAVストリームファイルには、ClipAVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが1つ以上含まれてもよいし、含まれなくてもよい。そして、ClipAVストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、1つのPlayItemが参照するClipAVストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される0個以上のオーディオストリーム、0個以上のビットマップ字幕ストリームデータ、および0個以上のインタラクティブグラフィックスストリームデータとが多重化されている。すなわち、1つのPlayItemが参照するClipAVストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。また、1つのSubPlayItemは、PlayItemが参照するClipAVストリームファイルとは異なるストリーム別ストリームのオーディオストリームデータや字幕データを参照する。メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中からしか音声や字幕を選択することができない。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClipAVストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリームを参照することもできる。このように、1つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、MainPathで参照されるClipAVストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。図7は、メインパスとサブパスの例を説明する図である。図7においては、メインパスと同じタイミングでAV同期して再生されるオーディオの再生パスを、サブパスを使用して表している。図7のPlayListには、メインパスとして、PlayItemid=0である1つのPlayItemと、サブパスとして1つのSubPlayItemが含まれている。メインパスのPlayItemid=0である1つのPlayItemは、メインClipAVストリームを参照している。SubPlayItemには、以下に示すデータが含まれる。まず、SubPlayItemには、PlayListの中のSubPathサブパスが参照するClipを指定するためのClipInformationfilenameが含まれる。図7の例の場合、SubPlayItemによって、SubClipentryid=0のAuxiliaryaudiostreamオーディオストリームが参照されている。また、SubPlayItemには、Clipここでは、Auxiliaryaudiostreamの中のSubPathの再生区間を指定するためのSubPlayItemINtimeとSubPlayItemOUTtimeとが含まれる。さらに、SubPlayItemには、Mainpathの時間軸上でSubPathが再生開始する時刻を指定するためのsyncPlayItemidとsyncstartPTSofPlayItemとが含まれる。図7の例の場合、syncPlayItemid=0とされ、syncstartPTSofPlayItem=t1とされている。これにより、メインパスのPlayItemid=0の時間軸上でSubPathが再生を開始する時刻t1を指定することができる。すなわち、図7の例の場合では、メインパスの再生開始時刻t1とサブパスの開始時刻t1が同時刻であることを示している。ここで、SubPathに参照されるオーディオのClipAVストリームは、STC不連続点システムタイムベースの不連続点を含んではならない。サブパスに使われるClipのオーディオサンプルのクロックは、メインパスのオーディオサンプルのクロックにロックされている。換言すると、SubPlayItemには、SubPathが参照するClipを指定する情報、SubPathの再生区間を指定する情報、およびMainpathの時間軸上でSubPathが再生を開始する時刻を指定する情報が含まれている。SubPathに使われるClipAVストリームがSTCを含まないため、SubPlayItemに含まれる情報SubPathが参照するClipを指定する情報、SubPathの再生区間を指定する情報、およびMainpathの時間軸上でSubPathが再生を開始する時刻を指定する情報に基づいて、メインパスが参照するClipAVストリーム主に再生されるメインAVストリームとは異なるClipAVストリームのオーディオストリームを参照して、再生することができる。このように、PlayItemとSubPlayItemは、ClipAVストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClipAVストリームファイルメインAVストリームとSubPlayItemが管理するClipAVストリームファイルは異なるファイルとなりうる。なお、図7の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。図8は、メインパスとサブパスの別の例を説明する図である。図8においては、メインパスと同じタイミングでAV同期して再生されるオーディオの再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインClipAVストリームファイルは、図7と同様であるので省略している。例えば、メインパスにより参照されるClipAVストリームを1つの映画のコンテンツAVコンテンツとし、サブパスのオーディオパスにより参照されるAuxiliaryaudiostreamClipをその映画に対する監督のコメントとし、メインパスで参照されるClipAVストリームのオーディオストリームにサブパスのオーディオパスで参照されるAuxiliaryaudiostreamをミキシング重ねて再生するような場合に、このような構成が利用される。すなわち、ユーザが、映画を見ながら、その映画に対する監督のコメントを合わせて聞く指令を再生装置プレーヤへ入力した場合、換言すれば、メインパスで参照されるClipAVストリームの音声と、サブパスのオーディオパスで参照されるAuxiliaryaudiostreamとを、ミキシングして再生させる場合に利用される。図8においては、メインパスに3つのPlayItemがPlayItemid=0,1,2と配置され、サブパスSubpathid=0に2つのSubPlayItemが配置されている。そして、Subpathid=0のSubPath図10にて後述するで呼び出すSubPlayItem図12にて後述するは、AuxiliaryaudiostreamSubClipentryid=0の英語のAuxiliaryaudiostreamのクリップ及びSubClipentryid=1の日本語のAuxiliaryaudiostreamのクリップのSubpathの再生区間を指定するための、SubPlayItemINtimeと、SubPlayItemouttimeを含む。図8と図7とを比較するに、図8においては、SubPlayItemによって、SubClipentryid=0,1のAuxiliaryaudiostream英語または日本語のオーディオストリームを参照することができる。すなわち、SubPlayItemを用いて、複数のオーディオストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のオーディオストリームファイルからオーディオストリームファイルが選ばれて再生される。図8の例の場合、英語のオーディオストリームファイルと日本語のオーディオストリームファイルのうち、1つのオーディオストリームファイルが選ばれて再生される。具体的には、subClipentryid=0,1の中から例えば、ユーザの指令に基づいて1つが選択され、そのIDが参照するAuxiliaryaudiostreamが再生される。また、これに加えて、さらにメインパスにより参照されるオーディオストリームとの組み合わせによる再生が選択された場合、メインパスで参照される1stオーディオストリームと、サブパスのオーディオパスで参照される2ndオーディオストリームファイルとが、ミキシングされて再生される。なお、2つのサブパスで参照される2つのオーディオストリームが、ミキシングされて再生されるようにすることも可能であるが、これについては後述する。次に、図6乃至図8を用いて説明したメインパスとサブパスの構造を具体的に実現するためのデータ構造シンタクスを説明する。図9は、PlayListのシンタクスを示す図である。lengthは、このlengthフィールドの直後からPlayListの最後までのバイト数を示す32ビットの符号なし整数である。すなわち、reservedforfutureuseからPlayListの最後までのバイト数を示すフィールドである。このlengthの後には、16ビットのreservedforfutureuseが用意される。numberofPlayItemsは、PlayListの中にあるPlayItemの数を示す16ビットのフィールドである。例えば、図6の例の場合PlayItemの数は3個である。PlayItemidの値は、PlayListの中でPlayItemが現れる順番に0から割り振られる。例えば、図6および図8に示されるように、PlayItemid=0,1,2が割り振られる。numberofSubPathsは、PlayListの中にあるSubPathの数エントリー数を示す16ビットのフィールドである。例えば、図6の例の場合、SubPathの数は3個である。SubPathidの値は、PlayListの中でSubPathが現れる順番に0から割り振られる。例えば、図6に示されるように、Subpathid=0,1,2が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、SubPathの数だけ、SubPathが参照される。図10は、SubPathのシンタクスを示す図である。lengthは、このlengthフィールドの直後からSubPathの最後までのバイト数を示す32ビットの符号なし整数である。すなわち、reservedforfutureuseからPlayListの最後までのバイト数を示すフィールドである。このlengthの後には、16ビットのreservedforfutureuseが用意される。SubPathtypeは、SubPathのアプリケーション種類を示す8ビットのフィールドである。SubPathtypeは、例えば、SubPathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPathtypeの第1の例については、図11を参照して後述する。SubPathtypeの後には、15ビットのreservedforfutureuseが用意される。isrepeatSubPathは、SubPathの再生方法を指定する1ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を1回だけ行うかを示すものである。例えば、メインAVストリームとサブパスが指定するClipに含まれるストリームとの再生タイミングが異なる場合メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGMとして使う場合などに利用される。IsrepeatSubPathの後には、8ビットのreservedforfutureuseが用意される。numberofSubPlayItemsは、1つのSubPathの中にあるSubPlayItemの数エントリー数を示す8ビットのフィールドである。例えば、numberofSubPlayItemsは、図6のSubPathid=0のSubPlayItemは1個であり、SubPathid=1のSubPlayItemは2個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。図11は、SubPathtypeサブパスのタイプの第1の例を説明する図である。すなわち、SubPathの種類は、例えば、図11に示されるように定義することができる。図11において、SubPathtype=0,1は、reservedとされている。SubPathtype=2は、AudiopresentationpathoftheBrowsableslideshowプラウザブルスライドショーのオーディオプレゼンテーションパスとされている。例えば、SubPathtype=2は、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期であることを示している。SubPathtype=3は、Interactivegraphicspresentationmenuインタラクティブグラフィックスのプレゼンテーションメニューとされている。例えば、SubPathtype=3は、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期であることを示している。SubPathtype=4は、Textsubtitlepresentationpathテキスト字幕のプレゼンテーションパスとされている。例えば、SubPathtype=4は、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。SubPathtype=5は、2ndAudioPresentationpath2番目のオーディオプレゼンテーションパス2ndオーディオストリームを参照するためのパスとされている。具体的には、SubPathtype=5は、プレイリストの中において、サブパスで参照される2番目のオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。例えば、このサブパスで参照される2番目のオーディオストリームは、映画に対する監督のコメント音声である。図8においてSubpathid=0で示されるSubpathの場合、図10のSubPathtypeは、このSubPathtype=5となる。SubPathtype=6は、2ndVideoPresentationpath2番目のビデオプレゼンテーションパス2ndビデオストリームを参照するためのパスとされている。具体的には、SubPathtype=6は、プレイリストの中において、サブパスで参照される2番目のビデオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。例えば、このサブパスで参照される2番目のビデオストリームは、映画に対する監督のコメント動画像である。なお、図27および図28を用いて説明する再生装置1の処理の説明ではオーディオの合成のみを詳述するが、動画像の合成も同様の構成で実現をすることができ、その詳細については後述する。SubPathtype=7乃至255は、reservedとされている。図12は、SubPlayItemのシンタクスを示す図である。lengthは、このlengthフィールドの直後からSubplayItemの最後までのバイト数を示す16ビットの符号なし整数である。図12においては、SubPlayItemが1つのClipを参照する場合と、複数のClipを参照する場合に分けられている。最初に、SubPlayItemが1つのClipを参照する場合について説明する。SubPlayItemには、Clipを指定するためのClipInformationfilename0が含まれる。また、Clipのコーディック方式を指定するClipcodecidentifier[0]、reservedforfutureuse、マルチクリップの登録の有無を示すフラグであるismultiClipentries、STC不連続点システムタイムベースの不連続点に関する情報であるreftoSTCid[0]を含む。ismultiClipentriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSubPathの再生区間を指定するためのSubPlayItemINtimeとSubPlayItemOUTtimeを含む。さらに、mainpathの時間軸上でSubPathが再生開始する時刻を指定するためsyncPlayItemidとsyncstartPTSofPlayItemを含む。このsyncPlayItemidとsyncstartPTSofPlayItemは、上述したように、図7と図8の場合メインAVストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが同じである場合に使用され、メインAVストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが異なる場合例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合には使用されない。また、SubPlayItemINtime、SubPlayItemOUTtime、syncPlayItemid、syncstartPTSofPlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。次に、SubPlayItemが複数のClipを参照する場合ifismultiClipentries==1bである場合、すなわちマルチクリップの登録が行われている場合について説明する。具体的には、図8に示されるように、SubPlayItemが複数のClipを参照する場合を示す。numofClipentriesは、Clipの数を示しており、ClipInformationfilenameSubClipentryidの数が、ClipInformationfilename0を除く、Clipsを指定する。すなわち、ClipInformationfilename0を除く、ClipInformationfilename1、ClipInformationfilename2などのClipを指定する。また、SubPlayItemは、Clipのコーディック方式を指定するClipcodecidentifierSubClipentryid、STC不連続点システムタイムベースの不連続点に関する情報であるreftoSTCidSubClipentryid、およびreservedforfutureuseを含む。なお、複数のClipの間で、SubPlayItemINtimeSubPlayItemOUTtime、syncPlayItemid、およびsyncstartPTSofPlayItemは共通して使われる。図8の例の場合、SubPlayItemINtimeSubPlayItemOUTtime、syncPlayItemid、およびsyncstartPTSofPlayItemは、SubClipentryid=0とSubClipentryid=1との間で共通して使用されるものであり、選択されたSubClipentryidに対するTextbasedsubtitleがこのSubPlayItemINtimeSubPlayItemOUTtime、syncPlayItemid、およびsyncstartPTSofPlayItemに基づいて再生される。ここで、SubClipentryidの値は、SubPlayItemの中にあるClipInformationfilenameSubClipentryidが現れる順番に1から割り振られる。また、ClipInformationfilename0のSubClipentryidは0である。図13は、PlayItemのシンタクスを示す図である。lengthは、このlengthフィールドの直後からPlayItemの最後までのバイト数を示す16ビットの符号なし整数である。ClipInformationfilename0は、PlayItemが参照するClipを指定するためのフィールドである。図7の例の場合、ClipInformationfilename0により、メインClipAVストリームファイルが参照される。また、PlayItemには、Clipのコーディック方式を指定するClipcodecidentifier[0]、reservedforfutureuse、ismultiangle、connectioncondition、STC不連続点システムタイムベースの不連続点に関する情報であるreftoSTCid[0]が含まれる。さらに、PlayItemには、Clipの中のPlayItemの再生区間を指定するためのINtimeとOUTtimeが含まれる。図7の例の場合、INtimeとOUTtimeにより、メインClipAVストリームファイルの再生範囲が表される。また、PlayItemには、UOmasktable、PlayItemrandomaccessmode、stillmodeが含まれる。なお、ismultiangleが複数ある場合については、本発明と直接的には関係ないのでその説明を省略する。PlayItemの中のSTNtableは、対象のPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作が、そのPlayItemが参照するClipとこれらの1つ以上のSubPathが参照するClipsの中から選ぶことができる仕組みを提供するものである。図14は、STNtableのシンタクスの第1の例第1のSTNtableを示す図である。第1のSTNtableは、PlayItemの属性として設定されている。また、図14の第1のSTNtableは、PlayItemが参照するClipとSubPathが参照するClipを組み合わせたものの再生を選ぶことができる仕組みを提供するものである。lengthは、このlengthフィールドの直後からSTNtableの最後までのバイト数を示す16ビットの符号なし整数である。lengthの後には、16ビットのreservedforfutureuseが用意される。numberofvideostreamentriesは、STNtableの中でエントリーされる登録されるvideostreamidが与えられるストリーム数を示す。videostreamidは、ビデオストリームを識別するための情報であり、videostreamnumberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。numberofaudiostreamentriesは、STNtableの中でエントリーされるaudiostreamidが与えられるストリーム数を示す。audiostreamidは、オーディオストリームを識別するための情報であり、audiostreamnumberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。numberofPGtxtSTstreamentriesは、STNtableの中でエントリーされるPGtxtSTstreamidが与えられるストリーム数を示す。この中では、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリームPGPresentationGraphicsstreamとテキスト字幕ファイルがエントリーされる。PGtxtSTstreamidは、字幕ストリームを識別するための情報であり、PGtxtSTstreamnumberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号テキストサブタイトルストリームの番号である。numberofIGstreamentriesは、STNtableの中でエントリーされるIGstreamidが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリームがエントリーされる。IGstreamidは、インタラクティブグラフィックスストリームを識別するための情報であり、IGstreamnumberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。ここで、streamentryのシンタクスについて図15を参照して説明する。lengthは、このlengthフィールドの直後からstreamentryの最後までのバイト数を示す8ビットの符号なし整数である。typeは、上述したストリーム番号が与えられるストリームを一意に特定するために必要な情報の種類を示す8ビットのフィールドである。type=1またはtype=3では、PlayItemによって参照されるClipの中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、16ビットのパケットIDが指定される。reftostreamPIDofmainClipが、このPIDを示している。すなわち、type=1とtype=3では、メインClipAVストリームファイルの中のPIDを指定するだけでストリームが決定される。type=2またはtype=3では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される1つのClipの複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、そのSubPathのSubPathid、Clipid、およびパケットIDが指定される。reftoSubPathidがこのSubPathidを示し、reftoSubClipentryidがこのClipidを示し、reftostreamPIDofSubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。すなわち、type=3の場合、PlayItemによって参照されるClipの中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するためのパケットIDと、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される1つのClipの複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するための、SubPathのSubPathid、Clipid、およびパケットIDとにより、2つのストリームをエントリーすることができる。例えば、メインパスが参照するオーディオストリームと、サブパスが参照するオーディオストリームとの2つのオーディオストリームをエントリーすることができる。なお、以下においては、メインパスが参照するオーディオストリームを1stオーディオストリームとも称し、サブパスが参照するオーディオストリームを2ndオーディオストリームとも称する。このように、type1乃至3の3つのtypeを使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から1つのエレメンタリストリームを特定することができる。なお、type=1はMainPathが参照するClipメインClipを示しており、type=2および3はSubPathが参照するClipサブClipを示している。また、type=3の場合、メインパスで参照されるメインClipAVストリームファイルのオーディオストリーム1stオーディオストリームと、サブパスで参照されるオーディオストリーム2ndオーディオストリームとを特定し、エントリーすることができる。例えば、1stオーディオストリームと、2ndオーディオストリームとを合わせてミキシングして再生することができる。図14の第1のSTNtableの説明に戻って、ビデオストリームIDのforループの中で、順番にstreamentryごとに特定される1つのビデオエレメンタリストリームに、0からvideostreamidが与えられる。なお、ビデオストリームIDvideostreamidの代わりに、ビデオストリーム番号videostreamnumberを用いるようにしてもよい。この場合、videostreamnumberは、0ではなく1から与えられる。すなわち、videostreamidの値に1を加算したものがvideostreamnumberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、1から定義される。同様に、オーディオストリームIDのforループの中で、順番にstreamentryごとに特定される1つのオーディオエレメンタリストリームに、0からaudiostreamidが与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームIDaudiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いるようにしてもよい。この場合、audiostreamnumberは、0ではなく1から与えられる。すなわち、audiostreamidの値に1を加算したものがaudiostreamnumberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、1から定義される。同様に、字幕ストリームIDのforループの中で、順番にstreamentryごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、0からPGtxtSTstreamidが与えられる。なお、ビデオストリームの場合と同様に、字幕ストリームIDPGtxtSTstreamidの代わりに、字幕ストリーム番号PGtxtSTstreamnumberを用いるようにしてもよい。この場合、PGtxtSTstreamnumberは、0ではなく1から与えられる。すなわち、PGtxtSTstreamidの値に1を加算したものがPGtxtSTstreamnumberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号テキストサブタイトルストリームの番号であるので、1から定義される。同様に、グラフィックスストリームIDのforループの中で、順番にstreamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームに、0からIGstreamidが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームIDIGstreamidの代わりに、グラフィックスストリーム番号IGstreamnumberを用いるようにしてもよい。この場合、IGstreamnumberは、0ではなく1から与えられる。すなわち、IGstreamidの値に1を加算したものがIGstreamnumberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、1から定義される。次に、図14の第1のSTNtableのstreamattributeについて説明する。このstreamattributeでは、streamentryで特定されるストリームの属性情報が記録される。ビデオストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報が記述されている。オーディオストリームIDのforループの中のstreamattributeは、streamentryごとに特定される少なくとも1つ以上のオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される少なくとも1つ以上のオーディオエレメンタリストリームのストリーム属性情報が記述されている。具体的には、図15のstreamentryにおいてtype=1またはtype=2である場合、このstreamentryで特定されるオーディオエレメンタリストリームは1つであるので、streamattributeは、その1つのオーディオエレメンタリストリームのストリーム属性情報を与える。ここで、図15のstreamentryにおいてtype=3である場合、このstreamentryで特定されるオーディオエレメンタリストリームは2つメインパスで参照される1stオーディオストリームとサブパスで参照される2ndオーディオストリームの2つであるので、streamattributeは、2つのオーディオエレメンタリストリームのストリーム属性情報を与える。このように、type=3である場合、すなわち、メインパスとサブパスの両方で、audiostreamを参照する場合、streamattributesも2本分挿入できるものとされている。すなわち、for文のaudiostreamにおいて、streamentryでtype=3である場合、その後のstreamattributesでは、streamattributesが2つエントリーされる。すなわち、図14の第1のSTNtableでは、オーディオストリームIDのstreamentryごとに、streamattributesが定義されるのであるが、type=3の場合、streamentryに対して、2つのstreamattributesが与えられる。これにより、audiostreamidひとつに対して、メインパスとサブパスにより参照される2つのstreamattributesがエントリーされることになるので、同時に再生するオーディオストリームを2本エントリーすることが可能となる。字幕ストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕エレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのビットマップ字幕エレメンタリストリームのストリーム属性情報が記述されている。同様に、グラフィックスストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報が記述されている。なお、図14と図15の例では、メインパスで参照されるオーディオストリームとサブパスで参照されるオーディオストリームの2本のオーディオストリームをエントリーする場合について説明したが、2本のサブパスで参照される2本のオーディオストリームをエントリーすることができるようにした第2のSTNtableのシンタクスと、第2のStreamentryのシンタクスの例を、図16と図17に示す。なお、図中、図14および図15と対応する部分については、繰り返しになるのでその説明は省略する。図16は、第2のSTNtableのシンタクスを示す図である。第2のSTNtableは、PlayItemの属性として設定されている。図17は、第2のStreamentryのシンタクスを示す図である。図17のtype=1では、PlayItemによって参照されるClipの中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、16ビットのパケットIDが指定される。reftostreamPIDofmainClipが、このPIDを示している。すなわち、type=1では、メインClipAVストリームファイルの中のPIDを指定するだけでストリームが決定される。type=2では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される1つのClipの複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、そのSubPathのSubPathid、Clipid、およびパケットIDが指定される。reftoSubPathidがこのSubPathidを示し、reftoSubClipentryidがこのClipidを示し、reftostreamPIDofSubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。このように、typetype1とtype2の2つのtypeを使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から1つのエレメンタリストリームを特定することができる。なお、type=1はMainPathが参照するClipメインClipを示しており、type=2はSubPathが参照するClipサブClipを示している。図16の第2のSTNtableの説明に戻って、オーディオストリームIDのforループの中で、順番にstreamentryごとに特定されるオーディオエレメンタリストリームに、0からaudiostreamidが与えられる。ここでは、図14とは異なり、1番目のオーディオストリームのための後述する図28の再生装置の1stオーディオデコーダ75-1がデコードするStreamentryとStreamattributesの後に、2番目のオーディオストリームを定義するか否かを示すsecondaryaudiopresentflagが設けられている。2番目のオーディオストリームSecondaryAudioStreamを定義する場合、このsecondaryaudiopresentflagの値が1にセットされ、その後に記述されているif文の中のStreamentry、Streamattributesにて、2番目のオーディオストリームが定義される。Secondaryaudiopresentflagが1である場合、オーディオストリームIDのforループの中に、2つのstreamentryが定義されているので、2つのstreamentryのそれぞれにより特定される2つのオーディオエレメンタリストリームに、0からaudiostreamidが与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームIDaudiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いるようにしてもよい。この場合、audiostreamnumberは、0ではなく1から与えられる。すなわち、audiostreamidの値に1を加算したものがaudiostreamnumberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、1から定義される。また、SecondaryAudioStreamがエントリーされない場合すなわち、2つ目のstreamentryがエントリーされない場合もあり、その場合には、secondaryaudiopresentflagが0とされ、1番目のオーディオストリームMainAudioStreamのみがエントリーされる。すなわち、2つ目のオーディオストリームがない場合には、2つ目のStreamentryがエントリーされないことになる。この場合、2本のオーディオのミキシング再生は行われない。オーディオストリームIDのforループには、streamentryとstreamattributeとの組み合わせが2つ記述されている。最初のstreamentryとstreamattributeとの組み合わせは、後述する図28の再生装置1の1stオーディオデコーダ75-1でデコードされるオーディオストリームのための定義であり、secondaryaudiopresentflagが1である場合にエントリーされる2番目のstreamentryとstreamattributeとの組み合わせは、後述する図28の再生装置1の2ndオーディオデコーダ75-2でデコードされるオーディオストリームのための定義である。すなわち、2つのオーディオストリームを定義することができる。オーディオストリームIDのforループの中のstreamattributeは、streamentryごとに特定される少なくとも1つ以上のオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される少なくとも1つ以上のオーディオエレメンタリストリームのストリーム属性情報が記述されている。具体的には、図16のsecondaryaudiopresentflagが1である場合、2つのstreamentryで特定されるオーディオエレメンタリストリームは2つであるので、streamattributeは、それぞれ対応するオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、オーディオストリームIDのforループの中の最初のstreamentryにより、後述する図28の再生装置1の1stオーディオデコーダ75-1でデコードされるオーディオストリームMainAudioStreamが定義され、これにより特定されるオーディオエレメンタリストリームのストリーム属性情報が、オーディオストリームIDのforループの中の最初のstreamattributeにより与えられる。同様にして、secondaryaudiopresentflagが1である場合、オーディオストリームIDのforループの中の次の2番目のstreamentryにより、後述する図28の再生装置1の2ndオーディオデコーダ75-2でデコードされるオーディオストリームSecondaryAudioStreamが定義され、これにより特定されるオーディオエレメンタリストリームのストリーム属性情報が、オーディオストリームIDのforループの中の2番目のstreamattributeにより与えられる。例えば、オーディオストリームIDのforループの中の最初のstreamentryにより定義されるオーディオストリームは、例えば、映画の日本語吹き替えの音声や、英語の音声とされ、オーディオストリームIDのforループの中のsecondaryaudiopresentflagが1である場合、2番目のstreamentryにより定義されるオーディオストリームは、例えば、映画のディレクターズカット用の音声と想定され、MainPathにより参照されるAVストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合などに用いられることが考えられる。すなわち、2つのオーディオストリームを合成する場合には、Primary1stのオーディオストリームに合成すべきオーディオストリームが存在することを示すフラグである、図16のsecondaryaudiopresentflagに1がセットされ、合成すべきオーディオストリームのstreamentrystreamattributeが参照されて、オーディオストリームの合成が行われる。詳しくは、合成する一方のオーディオストリームを、メインパスで参照されるオーディオストリーム後述する図28の再生装置1の1stオーディオデコーダ75-1でデコードされるMainAudioStreamとし、他方をサブパスで参照されるオーディオストリーム後述する図28の再生装置1の2ndオーディオデコーダ75-2でデコードされるSecondaryAudioStreamとした場合、図16の最初のstreamentryのtypeの値が、type=1とされ、それにより特定されるオーディオエレメンタリストリームのストリーム属性情報がstreamattributeにより与えられ、図16のsecondaryaudiopresentflagが1とされ、2番目のstreamentryのtypeの値が、type=2とされ、それにより特定されるオーディオエレメンタリストリームのストリーム属性情報がstreamattributeにより与えられる。また、合成するオーディオストリームを、2つとも、サブパスで参照されるオーディオストリームとした場合、図16のオーディオストリームIDのforループの中の最初のstreamentryのtypeの値が、type=2とされ、それにより特定されるオーディオエレメンタリストリームのストリーム属性情報がstreamattributeにより与えられ、図16のオーディオストリームIDのforループの中のsecondaryaudiopresentflagが1とされ、2番目のstreamentryのtypeの値が、type=2とされ、それにより特定されるオーディオエレメンタリストリームのストリーム属性情報がstreamattributeにより与えられる。すなわち、合成するオーディオストリームを、2つともサブパスで参照されるオーディオストリームとする場合、図17のstreamentryのtypeは、いずれも2とされる。このように、オーディオストリーム又はビデオストリームをそれぞれサブパスで指定する形で追加することとしたため、ディスク上にあるオーディオストリーム又はビデオストリームと、ダウンロード等により取得したまたはローカルストレージ上にあるオーディオストリーム又はビデオストリームとを同期して再生することができると共に、共にダウンロード等により取得したオーディオストリーム同士又はビデオストリーム同士を、ディスク上のまたは取得したビデオストリーム又はオーディオストリームと同期して再生することができる。なお、PlayListも取得するようにすれば、メインパスにより指定される取得したビデオストリーム又はオーディオストリームと、サブパスにより指定される取得した2本のオーディオストリーム又はビデオストリームを同期して再生することもできる。なお、メインパスで参照されるオーディオのみを再生、もしくは、1つのサブパスで指定されるオーディオのみを再生する場合には、図16のsecondaryaudiopresentflagに0がセットされ、最初のstreamentryでメインパスで参照される場合にはtype1とし、サブパスで指定されるオーディオのみを再生する場合にはtype2として、それにより特定されるオーディオエレメンタリストリームのストリーム属性情報がstreamattributeにより与えられる。すなわち、ミキシングせずに1つのオーディオストリームのみを再生することもできる。このように、図16では、streamentryとstreamattributesとを、2本のオーディオエレメンタリストリームの分だけ挿入できるものとされている。すなわち、for文のaudiostreamにおいて、2つのstreamentryを用いて、それぞれ対応するstreamattributesをエントリーすることができる。すなわち、図16の第2のSTNtableでは、オーディオストリームIDの2つのstreamentryによって、それぞれ対応するstreamattributesが定義される。これにより、audiostreamidひとつに対して、メインパスとサブパスにより参照される、または、2つのサブパスにより参照される2つのstreamentryとstreamattributesの組み合わせがエントリーされることになるので、同時に再生するオーディオストリームを2本エントリーすることが可能となる。なお、図16のビデオストリームID、字幕ストリームID、グラフィックスストリームIDについては、図14と同様である。次に、streamattributeのシンタクスについて図18を参照して説明する。lengthは、このlengthフィールドの直後からstreamattributeの最後までのバイト数を示す16ビットの符号なし整数である。streamcodingtypeは、図19に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG2videostream、HDMVLPCMaudio、DolbyAC3audio、dtsaudio、Presentationgraphicsstream、Interactivegraphicsstream、およびTextsubtitlestreamが記述される。なお、このstreamcodingtypeを拡張し、MPEG-4AVC、VC-1等の他のコーディックにより圧縮されたビデオストリームを扱えるようにしてもよい。videoformatは、図20に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、480i、576i、480p、1080i、720p、および1080pが記述される。framerateは、図21に示されるように、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、24000/1001、24、25、30000/1001、50、および60000/1001が記述される。aspectratioは、図22に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、4:3displayaspectratio、および16:9displayaspectratioが記述される。audiopresentationtypeは、図23に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、singlemonochannel、dualmonochannel、stereo、およびmultichannelが記述される。samplingfrequencyは、図24に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、48kHz、および96kHzが記述される。audiolanguagecodeは、オーディオエレメンタリストリームの言語コードを示す。PGlanguagecodeは、ビットマップ字幕エレメンタリストリームの言語コードを示す。IGlanguagecode、インタラクティブグラフィックスエレメンタリストリームの言語コードを示す。textSTlanguagecodeは、テキスト字幕エレメンタリストリームの言語コードを示す。charactercodeは、図25に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、UnicodeV11、ShiftJISJapanese、KSC56011987includingKSC5653forRomancharacter、GB180302000、GB2312、およびBIG5が記述される。以下に、図18のstreamattributeのシンタクスについて、図18と、図19乃至図25を用いて具体的な例を説明する。エレメンタリストリームの符号化タイプ図18のstreamcodingtypeがMPEG2videostream図19である場合、streamattributeには、そのエレメンタリストリームのビデオフォーマット図20、フレームレート図21、およびアスペクト比情報図22が含まれる。エレメンタリストリームの符号化タイプ図18のstreamcodingtypeがHDMVLPCMaudio、DolbyAC3audio、またはdtsaudio図19である場合、streamattributeには、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報図23、サンプリング周波数図24、および言語コードが含まれる。エレメンタリストリームの符号化タイプ図18のstreamcodingtypeがPresentationgraphicsstream図19である場合、streamattributeには、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。エレメンタリストリームの符号化タイプ図18のstreamcodingtypeがInteractivegraphicsstream図19である場合、streamattributeには、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。エレメンタリストリームの符号化タイプ図18のstreamcodingtypeがTextsubtitlestream図19である場合、streamattributeには、そのテキスト字幕エレメンタリストリームのキャラクタコード図25、言語コードが含まれる。なお、これらの属性情報はこれに限定されない。このように、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から、streamentryによって特定されたエレメンタリストリームtype=1とtype=2の場合は1つ、type=3の場合は2つの属性情報をstreamattributeによって知ることができる。再生装置は、この属性情報streamattributeを調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームIDのforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。この再生装置に対して、ユーザが副音声すなわちSecondaryaudioへの切り替えまたは、主音声と副音声とのミキシング再生を指示した場合、再生装置は、副音声として用意されているオーディオストリームIDのforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリームからなるAVストリーム映画を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、サブパスにより参照されるオーディオストリーム監督や出演者によるコメントとのミキシング再生が指令された場合、再生装置は、メインパスにより参照される1stオーディオストリームに、さらに、サブパスにより参照される2ndオーディオストリームをミキシング重畳して、ビデオストリームとともに再生する。また、例えば、ユーザが音声の切り替えを指令し、2つのサブパスにより参照される2つのオーディオストリームのミキシング再生が再生装置に対して指令された場合図16と図17のシンタクスが用いられ、図16のsecondaryaudiopresentflagが1とされ、図17のtypeがともに2とされているオーディオストリームIDに対応するオーディオストリームの再生が指令された場合、再生装置は、2つのサブパスによりそれぞれ参照される2つのオーディオストリームをミキシング重畳して、ビデオストリームとともに再生する。このようにして、PlayItemの中にSTNtableを設けることにより、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作により、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から再生されるストリームを選ぶことができる仕組みが提供されるので、再生するAVストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。また、1つのPlayListの中にSubPathを複数使用し、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、このPlayListにより再生されるコンテンツにおいて、後で、SubPlayItemを追加できる構成とすることができる。例えば、MainPathが参照するClipAVストリームファイルと、これに対応付けられるPlayListがあり、このPlayListが新たなSubPathを追加したPlayListに書き換えられた場合、新たなPlayListに基づいて、MainPathが参照するClipAVストリームファイルとともに、MainPathが参照するClipAVストリームファイルとは異なるClipAVストリームファイルを参照して、再生を行うことができる。このように、拡張性を有する構成とすることができる。さらに、PlayItemの中のSTNtableは、このPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、2つのSubPathが参照するClipのオーディオストリームをミキシングして再生することができる仕組みを提供するようにしたので図16と図17、1stオーディオデコーダ75-1でデコードされるオーディオストリーム例えば、映画の日本語吹き替え音声と、2ndオーディオデコーダ75-2でデコードされるオーディオストリーム例えば、監督のディレクターズカットとの重畳再生に対しても、インタラクティブな操作を行うことができる。また、PlayItemの中にSTNtableが設けられることにより、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipの1stオーディオストリームと、SubPathが参照するClipの2ndオーディオストリームとをミキシングして再生することができる仕組みが提供されるので、ユーザは、メインClipAVストリームとは異なるオーディオストリーム2ndオーディオストリーム、例えば、監督のコメントのストリームの重畳再生に対しても、インタラクティブな操作を行うことができる。具体的な例を、図26を参照して説明する。図26は、ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルの例を示す図である。図26は、図16と図17の第2のSTNtableと第2のStreamentryに対応する場合の例である。図26においては、音声番号をA_SNAudioStreamNumberと称し、字幕番号をS_SNSubPictureStreamNumberと称する。図26においては、PlayListのMainPathで参照されるメインClipAVストリームの複数のオーディオストリームと、SubPathで参照されるサブClipAVストリームのオーディオストリームのそれぞれにA_SNが与えられている。すなわち、A_SN=1にMainPathで参照されるオーディオストリームであるオーディオ2が与えられ、A_SN=2にSubPathで参照されるオーディオストリームであるオーディオ1が与えられ、A_SN=3にMainPathで参照されるオーディオストリームであるオーディオ3が与えられている。また、PlayListのSubPathで参照されるオーディオストリームが、A_SN=1乃至3で与えられるオーディオストリームオーディオストリームのそれぞれとミキシング再生可能なように、A_SNが与えられている。すなわち、A_SN=4にオーディオ2SubPathで参照されるオーディオストリームであるオーディオ4が与えられ、A_SN=5にSubPathで参照されるオーディオストリームであるオーディオ1SubPathで参照されるオーディオストリームであるオーディオ4が与えられている。すなわち、A_SN=4では、メインパスにより参照されるオーディオストリームと、サブパスにより参照されるオーディオストリームのミキシング再生のためのA_SNが与えられ、A_SN=5では、2つのサブパスにより参照される2つのオーディオストリームのミキシング再生のためのA_SNが与えられている。また、PlayListのMainPathで参照されるメインClipAVストリームの複数のサブピクチャストリームのそれぞれに、S_SNが与えられている。すなわち、S_SN=1にサブピクチャ3が与えられ、S_SN=2にサブピクチャ1が与えられ、S_SN=3にサブピクチャ2が与えられる。ここでは、A_SNやS_SNの番号が小さい程、ユーザに提供される音声信号やサブピクチャの優先度が高い。すなわち、A_SN=1はデフォルトで再生されるオーディオストリームであり、S_SN=1はデフォルトで再生されるサブピクチャストリームである。具体的には、再生装置の言語設定の初期情報に基づいて再生される音声は、A_SN=1であるオーディオ2図26に対応しており、音声が切り替えられた後、再生される音声は、A_SN=2であるオーディオ1図26に対応している。このようなストリームナンバーテーブルを提供するために、まず、PlayListで参照されるPlayItemの中のSTNtableにおいて、PlayItemのメインパスでオーディオ1,またはオーディオ3と、サブピクチャ1、サブピクチャ2、またはサブピクチャ3とを参照できる構成とし、さらに、PlayItemに関連付けられて再生されるサブパスPlayListで参照されるSubPathでオーディオ2、またはオーディオ4を参照できる構成とする。そして、STNtable図16のaudiostreamid=0A_SN=1でオーディオ2type=1を与え、audiostreamid=1A_SN=2でオーディオ1type=2を与え、audiostreamid=2A_SN=3でオーディオ3type=1を与え、audiostreamid=3A_SN=4でオーディオ2とオーディオ4type=1とtype=2を与え、audiostreamid=4A_SN=5でオーディオ1とオーディオ4type=2とtype=2を与える。すなわち、audiostreamid=3A_SN=4の場合、図16のオーディオストリームIDに対応する最初のstreamentryとstreamattributesとにより、メインパスが参照するオーディオストリームtype=1が登録され、その後のsecondaryaudiopresentflagが1とされ、2番目のstreamentryとstreamattributesにより、サブパスが参照するオーディオストリームtype=2が登録される。このとき、audiostreamidを用いて、メインパスが参照するオーディオストリームとサブパスが参照するオーディオストリームとの組み合わせを定義することができる。すなわち、矛盾するような組み合わせを定義せずに済むので、ユーザは、常に再生可能なオーディオストリームの組み合わせを選択することができる。すなわち、図26の例においては、矛盾するオーディオストリームの組み合わせであるオーディオ2オーディオ3を定義しないようにすることで、ユーザに、選択可能なもののみを提供することができる。このように、PlayItemの中のSTNtable図16のstreamentry図17で、メインパスで参照される1stオーディオストリームと、サブパスで参照される2ndオーディオストリームとをエントリー登録することが可能な構成としsecondaryaudiopresentflagを設け、さらに、audiostreamidを用いて、1stオーディオストリームと2ndオーディオストリームとを組み合わせて提供する構成としたので、2つのオーディオストリームをミキシングして再生することができる。すなわち、複数の種類からなるストリームから、同じ種類この例の場合、オーディオストリームのストリームをミキシング重畳、または合成して、同時に再生することができる。また、audiostreamid=4A_SN=5の場合、図16のオーディオストリームIDに対応する最初のstreamentryおよびstreamattributes、secondaryaudiopresentflag、並びに、2番目のstreamentryおよびstreamattributesとにより、2つのサブパスが参照する2つのオーディオストリームいずれもtype=2が登録される。このとき、audiostreamidを用いて、2つのサブパスが参照する2本のオーディオストリームの組み合わせを定義することができる。すなわち、矛盾するような組み合わせを定義せずに済むので、ユーザは、常に再生可能なオーディオストリームの組み合わせを選択することができる。このように、PlayItemの中のSTNtable図16のstreamentry図17で、2つのサブパスで参照される2本のオーディオストリームとをエントリー登録することが可能な構成とし、さらに、audiostreamidを用いて、2本のオーディオストリームの組み合わせを提供する構成としたので、2つのオーディオストリームをミキシングして再生することができる。すなわち、複数の種類からなるストリームから、同じ種類この例の場合、オーディオストリームのストリームをミキシング重畳、または合成して、同時に再生することができる。また、ミキシングする2つのオーディオストリームを個々に選ぶ必要がなく、2つのオーディオストリームが組み合わせられたものの中から、再生するオーディオストリームを選択することができる。なお、図14と図15のシンタクスにおいても、図26のメインパスで参照される1stオーディオストリームとサブパスで参照される2ndオーディオストリームとの組み合わせaudiostreamid=3A_SN=4は定義可能である。この場合、図14のstreamentryにtype=3でメインパスが参照するオーディオストリームとサブパスが参照するオーディオストリームとを登録し、これに伴い、streamattributesも2本挿入する。このように、PlayItemの中のSTNtable図14のstreamentry図15で、メインパスで参照される1stオーディオストリームと、サブパスで参照される2ndオーディオストリームとをエントリー登録することが可能な構成としtype=3を設けた、さらに、audiostreamidを用いて、1stオーディオストリームと2ndオーディオストリームとを組み合わせて提供する構成としたので、2つのオーディオストリームをミキシングして再生することができる。すなわち、複数の種類からなるストリームから、同じ種類この例の場合、オーディオストリームのストリームをミキシング重畳、または合成して、同時に再生することができる。次に、本発明を適用した再生装置の第1の構成例について説明する。図27は、本発明を適用した再生装置1の構成例を示すブロック図である。この再生装置1は、上述したメインパスとサブパスを有するPlayListを再生する再生装置1である。コントローラ21は、予め用意されている制御プログラムを実行するか、または、ストレージドライブ22を制御して、例えば、光ディスクなどの記録媒体11に記録されている、または、ローカルストレージ24に記録されているナビゲーションプログラムを読み出し、メモリ23に展開して実行することで、再生装置1の全体の動作を制御する。例えば、コントローラ21は、記録媒体11が装着されたとき、所定のメニュー画面を外部の表示装置に表示させることができる。ストレージドライブ22は、コントローラ21による制御に従って記録媒体11からデータを読み出し、読み出したデータを、コントローラ21、メモリ23、または、AVデコーダ部26に出力する。記録媒体11から読み出された情報が、ナビゲーションプログラムやPlayListなどであった場合、ストレージドライブ22により読み出された情報は、コントローラ21、または、メモリ23に出力される。記録媒体11から読み出された情報が、AVストリームやテキストデータであった場合、ストレージドライブ22により読み出された情報は、AVデコーダ部26に出力される。メモリ23は、コントローラ21が各種の処理を実行する上において必要なデータなどを適宜記憶する。さらに、メモリ23の記憶領域の一部には、再生装置1の再生処理において必要な情報が設定される各種のレジスタが設けられている。ローカルストレージ24は、例えば、HDDなどより構成される。インターネットインタフェース25は、有線または無線によりネットワーク2に接続されており、コントローラ21からの制御に従って、ネットワーク2を介して、サーバ3との間で通信を行い、サーバ3からダウンロードされたデータをローカルストレージ24に供給する。サーバ3からは、例えば、そのとき再生装置1に装着されている記録媒体11に記録されている、図5を用いて説明したデータをアップデートさせるデータがコンテンツとしてダウンロードされる。ローカルストレージ24は、サーバ3からネットワーク2経由でダウンロードしたコンテンツを記録することができる。AVデコーダ部26は、ストレージドライブ22、または、ローカルストレージ24から供給されるAVストリーム、または、テキストデータをデコードし、得られたビデオ信号とオーディオ信号を外部の表示装置に出力する。表示装置においては、AVデコーダ部26によりデコードされた信号に基づいて、例えば、記録媒体11に記録されているコンテンツの出力映像の表示、音声の出力が行われる。操作入力部29は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ21に供給する。また、コントローラ21には、必要に応じてドライブ27も接続されており、ドライブ27には、例えば、磁気ディスクフレキシブルディスクを含む、光ディスクCDROMCompactDiskReadOnlyMemory,DVDを含む、光磁気ディスクMD登録商標MiniDiskを含む、もしくは半導体メモリなどよりなるリムーバブルメディア28が装着される。図28は、図27の再生装置1のAVデコーダ部26の構成例を示すブロック図である。図28の例の場合、最初に、コントローラ21がストレージドライブ22、または、ローカルストレージ24からPlayListファイルを読み出し、PlayListファイルの情報に基づいて、ストレージドライブ22を介してHDD、Blu-rayDisc商標、またはDVDなどの記録媒体11から、または、ローカルストレージ24から、AVストリームやAVデータを読み出す。ユーザは、操作入力部29を用いて、コントローラ21に対し、音声や字幕などの切り替えの指令を行うことができる。また、コントローラ21は、メモリ23のレジスタに登録されている再生装置1の言語設定の初期情報を含む各種設定情報を読み込む。PlayListファイルには、MainPath、SubPathの情報の他、STNtableが含まれている。コントローラ21は、PlayListファイルに含まれるPlayItemが参照するメインClipAVストリームファイル、SubPlayItemが参照するサブClipAVストリームファイル、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ22を介して記録媒体11またはローカルストレージ24から読み出す。ここで、PlayItemが参照するメインClipAVストリームファイルとSubPlayItemが参照するサブClipAVストリームファイルとが、異なる記録媒体に記録されていてもよい。例えば、メインClipAVストリームファイルが記録媒体11に記録されており、対応するサブClipAVストリームファイルは図示せぬネットワーク2を介して供給され、HDDなどのローカルストレージ24に記憶されたものであってもよい。また、コントローラ21は、メモリ23のレジスタに登録されている各種設定情報を参照して、自分自身再生装置1の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置1の言語設定の初期情報に対応するエレメンタリストリームを選択し、再生するよう制御する。AVデコーダ部26には、バッファ51乃至54、PIDフィルタ55、PIDフィルタ56、スイッチ57乃至59、バックグラウンドデコーダ71、MPEGMovingPictureExpertsGroup2ビデオデコーダ72、プレゼンテーショングラフィックスデコーダ73、インタラクティブグラフィックスデコーダ74、1stオーディオデコーダ75-1、2ndオーディオデコーダ75-2、TextSTコンポジション76、スイッチ77、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、インタラクティブグラフィックスプレーン生成部94、バッファ95、ビデオデータ処理部96、ミキシング処理部97、およびミキシング処理部98が設けられている。1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2は、ともにオーディオストリームをデコードする。1stオーディオデコーダ75-1は、2ndオーディオデコーダ75-2よりも優先的に使用されるオーディオデコーダである。すなわち、デコードするオーディオストリームが1つしかない場合、そのオーディオストリームがメインClipAVストリームファイルに含まれるオーディオストリームであっても、サブClipAVストリームファイルに含まれるオーディオストリームであっても、1stオーディオデコーダ75-1でデコードされる。すなわち、再生装置1は、2つのオーディオストリームをデコードするために、2つのオーディオデコーダ1stオーディオデコーダ75-1、2ndオーディオデコーダ75-2を有している。なお、以下において、1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2とを個々に区別しない場合、オーディオデコーダ75と称する。コントローラ21により読み出されたファイルデータは、図示せぬ復調、ECC復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ32は、復調され、誤り訂正が施されたデータを、コントローラ21からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ51乃至54に供給する。具体的には、スイッチ32は、コントローラ21からの制御に基づいて、バックグラウンドイメージデータをバッファ51に供給し、メインClipAVストリームファイルのデータをバッファ52に供給し、サブClipのデータをバッファ53に供給し、TextSTのデータをバッファ54に供給するようスイッチ32を切り替える。バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClipAVストリームファイルのデータをバッファリングし、バッファ53は、サブClipAVストリームファイルのデータをバッファリングし、バッファ54は、TextSTデータをバッファリングする。メインClipAVストリームファイルは、ビデオとオーディオとビットマップ字幕とインタラクティブグラフィックスのうち、ビデオに加えて1つ以上のストリームを多重化したストリーム例えばトランスポートストリームである。サブClipAVストリームファイルは、オーディオとビットマップ字幕とインタラクティブグラフィックスとオーディオのうち、1つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイルTextSTのデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。また、メインClipAVストリームファイルとサブClipAVストリームファイルおよびテキストサブタイトルデータを、ストレージドライブ22記録媒体11から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、サブClipAVストリームファイルやテキストサブタイトルデータをメインClipから読み出す前に、すべてバッファへプリロードしてもよい。再生装置1は、これらのファイルのデータを、ストレージドライブ22を介して記録媒体11から読み出し、ビデオ、ビットマップ字幕、インタラクティブグラフィックス、およびオーディオを再生する。具体的には、メインClipAVストリームファイル用リードバッファであるバッファ52から読み出されたストリームデータは、所定のタイミングで、後段のPIDパケットIDフィルタ55へ出力される。このPIDフィルタ55は、入力されたメインClipAVストリームファイルをPIDパケットIDに応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ55は、ビデオストリームをビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1への供給元となるスイッチ59に供給する。プレゼンテーショングラフィックスストリームは、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、例えば、テキスト字幕データである。サブClipAVストリームファイル用リードバッファであるバッファ53から読み出されたストリームデータは、所定のタイミングで、後段のPIDパケットIDフィルタ56へ出力される。このPIDフィルタ56は、入力されたサブClipAVストリームファイルをPIDパケットIDに応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ56は、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、メインClipのオーディオストリームとサブClipAVストリームファイルのオーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ59に供給する。バックグラウンドイメージデータをバッファリングするバッファ51から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ71に供給される。バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部91に供給する。PIDフィルタ55により振り分けられたビデオストリームは、後段のビデオデコーダ72に供給される。ビデオデコーダ72は、ビデオストリームをデコードし、デコードしたビデオデータをビデオプレーン生成部92へ出力する。スイッチ57は、PIDフィルタ55から供給されたメインClipAVストリームファイルに含まれるプレゼンテーショングラフィックスストリームと、サブClipAVストリームファイルに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか1つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ73に供給する。プレゼンテーショングラフィックスデコーダ73は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部93への供給元となるスイッチ77に供給する。また、スイッチ58は、PIDフィルタ55から供給されたメインClipAVストリームファイルに含まれるインタラクティブグラフィックスストリームと、サブClipAVストリームファイルに含まれるインタラクティブグラフィックスストリームのうちのいずれか1つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。すなわち、インタラクティブグラフィックスデコーダ74へ同時に入力されるインタラクティブグラフィックスストリームは、メインClipAVストリームファイルまたはサブClipAVストリームファイルのどちらかから分離されたストリームである。インタラクティブグラフィックスデコーダ74は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、インタラクティブグラフィックスプレーン生成部94に供給する。さらに、スイッチ59は、PIDフィルタ55から供給されたメインClipAVストリームファイルに含まれるオーディオストリームと、サブClipAVストリームファイルに含まれるオーディオストリームのうちのいずれか1つを選択し、選択したオーディオストリームを、後段の1stオーディオデコーダ75-1または、2ndオーディオデコーダ75-2に供給する。ここで、1stオーディオデコーダ75-1へ同時に入力されるオーディオストリームは、メインClipAVストリームファイルまたはサブClipAVストリームファイルのどちらかから分離されたストリームである。また、2ndオーディオデコーダ75-2へ同時に入力されるオーディオストリームは、サブClipから分離されたストリームである。具体的には、スイッチ59は、図15または図17のstreamentryのtypeの値によって、その選択を切り替える。例えば、type=1である場合、スイッチ59は、PIDフィルタ55を介して供給されるメインClipAVストリームファイルのオーディオストリームを、1stオーディオデコーダ75-1に供給するよう選択を切り替える。また、例えば、type=2である場合、スイッチ59は、PIDフィルタ56を介して供給されるサブClipAVストリームファイルのオーディオストリームを、1stオーディオデコーダ75-1または2ndオーディオデコーダ75-2に供給するよう選択を切り替える。例えば、メインClipAVストリームファイルのオーディオストリームと、サブClipAVストリームファイルのオーディオストリームとのミキシング再生が指令された場合すなわち、図14を用いて説明した第1のSTNtableのStreamentryではtype=3、図16用いて説明した第2のSTNtableのStreamentryでは、secondaryaudiopresentflagが1とされ、1番目のStreamentryでtype=1、2番目のStreamentryでtype=2とされるオーディオの再生が指令された場合、スイッチ59は、PIDフィルタ55を介して供給されるメインClipAVストリームファイルのオーディオストリームを1stオーディオデコーダ75-1に供給するよう選択を切り替えるとともに、PIDフィルタ56を介して供給されるサブClipAVストリームファイルのオーディオストリームを2ndオーディオデコーダ75-2に供給するよう選択を切り替える。また、例えば、2つのサブClipAVストリームファイルのオーディオストリームのミキシング再生が指令された場合図16のsecondaryaudiopresentflagが1、1番目のStreamentryでtype=2、2番目のStreamentryでtype=2であるオーディオストリームの再生が指令された場合、スイッチ59は、PIDフィルタ56を介して供給されるサブClipAVストリームファイルのオーディオストリームが、図16のstreamentryのオーディオストリームIDのforループの中の最初のstreamentryにより定義されるオーディオストリームに対応する場合、1stオーディオデコーダ75-1に供給するよう選択を切り替え、PIDフィルタ56を介して供給されるサブClipAVストリームファイルのオーディオストリームが、図16のstreamentryのオーディオストリームIDのforループの中の2番目のstreamentryにより定義されるオーディオストリームに対応する場合、2ndオーディオデコーダ75-2に供給するよう選択を切り替える。すなわち、1stオーディオデコーダ75-1には、メインClipAVストリームファイル用リードバッファであるバッファ52から読み出されたオーディオストリーム図15の例でtype=1またはtype=3、もしくは図17の例でtype=1である場合、または、サブClipAVストリームファイル用リードバッファであるバッファ53から読み出されたオーディオストリーム図15の例でtype=2またはtype=3、もしくは、図17の例でtype=2である場合が供給され、2ndオーディオデコーダ75-2には、サブClipAVストリームファイル用リードバッファであるバッファ53から読み出されたオーディオストリームのみが供給される。1stオーディオデコーダ75-1は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。また、2ndオーディオデコーダ75-2は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。ここで、2つのオーディオストリームを重畳して再生するような場合、1stオーディオデコーダ75-1によりデコードされたオーディオストリームと、2ndオーディオデコーダ75-2によりデコードされたオーディオストリームとが、ミキシング処理部101に供給される。例えば、メインパスで参照される1stオーディオストリームとサブパスで参照される2ndオーディオストリームとを重畳して再生するような場合図15の例ではtype=3であり、図16ではsecondaryaudiopresentflagが1、1番目のStreamentryのtype=1、2番目のStreamentryのtype=2である場合、1stオーディオデコーダ75-1によりデコードされたメインClipAVストリームファイルのオーディオストリームと、2ndオーディオデコーダ75-2によりデコードされたサブClipAVストリームファイルのオーディオストリームとが、ミキシング処理部101に供給される。また、例えば、サブパスで参照される2本のオーディオストリームを重畳して再生するような場合図16のsecondaryaudiopresentflagが1であり、1番目および2番目のStreamentryのいずれにおいてもtypeが2である場合、1stオーディオデコーダ75-1によりデコードされたサブClipAVストリームファイルのオーディオストリームtype=2、図16の最初のstreamentryで定義されるオーディオストリームと、2ndオーディオデコーダ75-2によりデコードされたサブClipAVストリームファイルのオーディオストリームtype=2、図16のsecondaryaudiopresentflagが1である場合に、2番目のstreamentryで定義されるオーディオストリームとが、ミキシング処理部101に供給される。ミキシング処理部101は、1stオーディオデコーダ75-1からのオーディオデータと、2ndオーディオデコーダ75-2からのオーディオデータとをミキシング重畳し、後段のミキシング処理部97に出力する。なお、本実施の形態においては、1stオーディオデコーダ75-1から出力されるオーディオデータと2ndオーディオデコーダ75-2から出力されるオーディオデータとをミキシング重畳することを、合成するとも称する。すなわち、合成とは、2つのオーディオデータを、ミキシングすることも示すものとする。また、スイッチ32により選択されたサウンドデータは、バッファ95に供給され、バッファリングされる。バッファ95は、所定のタイミングでサウンドデータをミキシング処理部97に供給する。サウンドデータは、例えば、メニュー選択などによる効果音のデータなどである。ミキシング処理部97は、ミキシング処理部101によりミキシングされたオーディオデータ1stオーディオデコーダ75-1から出力されたオーディオデータと2ndオーディオデコーダ75-2から出力されたオーディオデータとがミキシングされたオーディオデータと、バッファ95から供給されてきたサウンドデータをミキシング重畳、または合成し、音声信号として出力する。テキストサブタイトル用リードバッファであるバッファ54から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジションデコーダ76へ出力される。テキストサブタイトルコンポジション76は、TextSTデータをデコードし、スイッチ77に供給する。スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、TextSTテキストサブタイトルデータのうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。すなわち、プレゼンテーショングラフィックスプレーン93へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ73またはテキストサブタイトルTextSTコンポジション76のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ73へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClipAVストリームファイルまたはサブClipAVストリームファイルのいずれかから分離されたストリームであるスイッチ57により選択される。したがって、プレゼンテーショングラフィックスプレーン93へ同時に出力される字幕画像は、メインClipAVストリームファイルからのプレゼンテーショングラフィックスストリーム、またはサブClipAVストリームファイルからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部96に供給する。ビデオプレーン生成部92は、ビデオデコーダ72から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部96に供給する。プレゼンテーショングラフィックスプレーン生成部93は、スイッチ77により選択され、供給されたデータプレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータに基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。ビデオデータ処理部96は、バックグラウンドプレーン生成部91からのバックグラウンドプレーン、ビデオプレーン生成部92からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部93からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部94からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。これらのスイッチ57乃至59、並びにスイッチ77は、操作入力部29を介するユーザからの選択に基づいて、または、対象となるデータが含まれるファイルが供給される側に、スイッチを切り替える。例えば、サブClipAVストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ59はサブClipAVストリームファイルを供給する側PIDフィルタ56の出力にスイッチを切り替える。次に、図28の再生装置1における再生処理を、図29乃至図31のフローチャートを参照して説明する。なお、この処理は、ユーザにより操作入力部29を介して、所定のAVストリームの再生が指令されたとき開始される。ステップS11において、コントローラ21は、ストレージドライブ22を介して、記録媒体11やHDDなどのローカルストレージ24に記録されているPlayListファイルを読み出す。例えば、図9を用いて説明したPlayListのファイルが読み出される。ステップS12において、コントローラ21は、メインClipAVストリームファイル、サブClipAVストリームファイル、およびテキストサブタイトルデータTextSTデータを読み出す。具体的には、コントローラ21は、図9を用いて説明したPlayListに含まれるPlayItemに基づいて、メインClipから対応するメインClipAVストリームファイルを読み出す。また、コントローラ21は、PlayListに含まれるSubPathで参照される、図10乃至図12を用いて説明したSubPlayItemに基づいて、サブClipAVストリームファイルと、テキストサブタイトルデータを読み出す。ステップS13において、コントローラ21は、読み出したデータメインClipAVストリームファイル、サブClipAVストリームファイル、およびテキストサブタイトルデータを対応するバッファ51乃至54に供給するようスイッチ32を制御する。具体的には、コントローラ21は、バックグラウンドイメージデータをバッファ51に供給し、メインClipAVストリームファイルのデータをバッファ52に供給し、サブClipAVストリームファイルのデータをバッファ53に供給し、TextSTのデータをバッファ54に供給するようスイッチ32を切り替える。ステップS14において、スイッチ32はコントローラ21からの制御に基づいて、スイッチ32を切り替える。これにより、バックグラウンドイメージデータはバッファ51に供給され、メインClipAVストリームファイルのデータはバッファ52に供給され、サブClipAVストリームファイルのデータはバッファ53に供給され、テキストサブタイトルデータはバッファ54に供給される。ステップS15において、各バッファ51乃至54は、供給されたデータをそれぞれバッファリングする。具体的には、バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClipAVストリームファイルのデータをバッファリングし、バッファ53は、サブClipAVストリームファイルのデータをバッファリングし、バッファ54は、TextSTデータをバッファリングする。ステップS16において、バッファ51は、バックグラウンドイメージデータをバックグラウンドデコーダ71に出力する。ステップS17において、バッファ52はメインClipAVストリームファイルのストリームデータをPIDフィルタ55に出力する。ステップS18において、PIDフィルタ55は、メインClipAVストリームファイルを構成するTStransportstreamパケットに付されているPIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、PIDフィルタ55は、ビデオストリームをビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1への供給元となるスイッチ59に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。ステップS19において、バッファ53は、サブClipAVストリームファイルのストリームデータをPIDフィルタ56に出力する。ステップS20において、PIDフィルタ56は、PIDに基づいて、各エレメンタリストリームを、それぞれのエレメンタリストリームに対応するデコーダへ振り分ける。具体的には、PIDフィルタ56は、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ59に供給する。ステップS21において、PIDフィルタ55およびPIDフィルタ56の後段のスイッチ57乃至59は、コントローラ21からの制御に基づいて、メインClipAVストリームファイルとサブClipAVストリームファイルのいずれかを選択する。具体的には、スイッチ57は、PIDフィルタ55から供給されたメインClipAVストリームファイルまたはサブClipAVストリームファイルのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ73に供給する。また、スイッチ58は、PIDフィルタ55から供給されたメインClipAVストリームファイルまたはサブClipAVストリームファイルのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。さらに、スイッチ59は、PIDフィルタ55から供給されたメインClipAVストリームファイルまたはPIDフィルタ56から供給されたサブCliAVストリームファイルのオーディオストリームを選択し、後段の1stオーディオデコーダ75-1に供給する。なお、音声を切り替えるような指令がユーザにより行われた場合には、スイッチ59は、サブClipAVストリームファイルのオーディオストリームを2ndオーディオデコーダ75-2に供給したりもするが、ここでは、音声が切り替えられる前の処理について説明しているので、その説明は省略している。ステップS22において、バッファ54は、テキストサブタイトルデータをテキストサブタイトルコンポジション76に出力する。ステップS23において、バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部91に出力する。ステップS24において、ビデオデコーダ72は、ビデオストリームをデコードし、これをビデオプレーン生成部92に出力する。ステップS25において、プレゼンテーショングラフィックスデコーダ73は、スイッチ57により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ77に出力する。ステップS26において、インタラクティブグラフィックスデコーダ74は、スイッチ58により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部94に出力する。ステップS27において、1stオーディオデコーダ75-1は、スイッチ59により選択され、供給されたオーティオデータをデコードし、これを後段のミキシング処理部101に出力する。音声の切り替えがユーザにより指示されていない状態における再生処理図29乃至図32の再生処理では、2ndオーディオデコーダ75-2からオーディオデータが出力されることはないので、ミキシング処理部101は、1stオーディオデコーダ75-1から出力されたオーディオデータを、そのまま後段のミキシング処理部97に供給する。ステップS28において、TextSTコンポジション76は、テキストサブタイトルデータをデコードし、これを後段のスイッチ77に出力する。ステップS29において、スイッチ77は、プレゼンテーショングラフィックスデコーダ73またはTextSTコンポジション76からのデータのいずれかを選択する。具体的には、スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、TextSTテキストサブタイトルデータのうち、いずれか1つを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。ステップS30において、バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成する。ステップS31において、ビデオプレーン生成部92は、ビデオデコーダ72から供給されたビデオデータに基づいて、ビデオプレーンを生成する。ステップS32において、プレゼンテーショングラフィックスプレーン生成部93は、ステップS29の処理でスイッチ77により選択され、供給されたプレゼンテーショングラフィックスデコーダ73からのデータまたはTextSTコンポジション76からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成する。ステップS33において、インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。ステップS34において、バッファ95は、ステップS14の処理で選択され、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部97に供給する。ステップS35において、ビデオデータ処理部96は、各プレーンのデータを合成し、出力する。具体的には、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、およびインタラクティブグラフィックスプレーン生成部94からのデータを合成し、ビデオデータとして出力する。ステップS36において、ミキシング処理部97は、オーディオデータミキシング処理部101から出力されたオーディオデータとサウンドデータをミキシング合成し、出力し、処理が終了される。図29乃至図31を用いて説明した処理により、PlayListに含まれるメインパスとサブパスに関連付けられているメインClipAVストリームファイル、サブClipAVストリームファイル、およびテキストサブタイトルデータが参照され、再生される。PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClipAVストリームファイルとは異なるClipAVストリームファイルを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipに含まれるサブClipAVストリームファイルのデータとメインClipに含まれるメインClipAVストリームファイルのデータを一緒に同じタイミングで再生することができる。なお、図29乃至図31において、ステップS16,ステップS17の処理は、その順番が逆であってもよいし、並行して実行されてもよい。また、ステップS18、ステップS20の処理も、その順番が逆であってもよいし、並行して実行されてもよい。さらに、ステップS23乃至ステップS28の処理も、その順番が逆であってもよいし、並行して実行されてもよい。また、ステップS30乃至ステップS33の処理も、その順番が逆であってもよいし、並行して実行されてもよい。さらに、ステップS35,ステップS36の処理も、その順番が逆であってもよいし、並行して実行されてもよい。すなわち、図28において、縦に同じ階層のバッファ51乃至54の処理、スイッチ57乃至59の処理、デコーダ71乃至76の処理、プレーン生成部91乃至94の処理、ビデオデータ処理部96およびミキシング処理部97の処理は、それぞれ、並行して実行されてもよいし、その順番は問わない。次に、音声の切り替えが指示された場合の再生装置1における処理を、図32のフローチャートを参照して説明する。なお、この処理は、例えば、図29乃至図31の再生処理の実行中に実行される処理である。ステップS51において、コントローラ21は、オーディオストリーム番号IDでもよいの順番リストを取得する。具体的には、コントローラ21は、図13を用いて説明したPlayItemのSTNtableを参照し、さらに図14または図16を用いて説明したSTNtableにエントリーされているオーディオストリーム番号IDの順番のリストを取得する。この処理は、図29乃至図31の再生処理が開始されたときに実行される処理である。ユーザにより操作入力部29を介して、音声切り替えの指令が行われた場合、ステップS52において、コントローラ21は、ユーザからの音声切り替えの指令を受け付ける。このとき、コントローラ21は、図示せぬ外部の表示装置を制御して、図26に示されるようなストリームナンバーテーブルを外部の表示装置に表示させるように制御してもよい。このように、コントローラ21は、ユーザに提供する音声信号と字幕信号の選択肢を表示させ、ユーザからの音声切り替え音声選択の指令を受け付ける。図32において、ステップS51の処理はあらかじめ実行されている処理であり、ユーザにより音声切り替えの指令が行われた場合に、ステップS52以降の処理が行われる。ステップS53において、コントローラ21は、再生しているオーディオストリーム番号の次のオーディオストリーム番号を取得する。例えば、図8のSubClipentryid=0のオーディオストリームAuxiliaryaudiostreamが再生されていた場合、次のSubClipentryid=1に対応するオーディオストリームファイルの番号が取得される。例えば、図26のA_SN=3のオーディオ3に対応するオーディオストリームファイルが再生されていた場合、次は、A_SN=4のオーディオ2オーディオ4であるので、コントローラ21は、メインパスで参照される、オーディオ2に対応するオーディオストリームの番号と、サブパスで参照される、オーディオ4に対応するオーディオストリームの番号とを取得する。ステップS54において、コントローラ21は、取得した番号に対応するオーディオストリームを再生する機能を有するか否かを判定する。具体的には、コントローラ21は、streamattribute図18に記述されている内容に基づいて、例えば、必要に応じて、メモリ23に登録されている各種設定を参照することなどにより、取得した番号に対応するオーディオストリームを自分自身再生装置1が再生する機能を有するか否かを判定する。例えば、図15または図17のStreamentryにおいて、type=1である場合、コントローラ21は、取得した番号に対応するメインClipAVストリームファイルのオーディオストリームを再生する機能を有するか否かを判定する。また、例えば、図15または図17のStreamentryにおいて、type=2である場合、コントローラ21は、取得した番号に対応するサブClipのオーディオストリームを再生する機能を有するか否かを判定する。さらに、例えば、メインClipAVストリームファイルのオーディオストリームとサブClipAVストリームファイルのオーディオストリームとをミキシングして再生する場合図14の第1のSTNtableにおいて、図15のstreamentryでtype=3である場合、または、図16の第2のSTNtableにおいて、secondaryaudiopresentflagが1であり、1番目のStreamentryでtype=1であり、2番目のStreamentryでtype=2である場合、コントローラ21は、メインClipAVストリームファイルのオーディオストリームのみに対して、取得した番号に対応するオーディオストリームを再生する機能を有するか否かを判定する。ここで、メインClipAVストリームファイルのオーディオストリームとサブClipのオーディオストリームのミキシング再生をする場合、サブClipAVストリームファイルのオーディオストリームを再生する機能を有するか否かの判定は省略してもよい。このことは、メインClipAVストリームファイルには、拡張されたストリームやマルチチャンネルのストリームが含まれる可能性があるが、サブClipAVストリームファイルだと、ある程度の制約が設けられている可能性が高く、特にサブClipAVストリームファイルに含まれるストリームが再生できるか否かを判定する必要がないからである。勿論、コントローラ21は、サブClipAVストリームファイルに含まれるストリームを再生できるか否かも判定するようにしてもよい。また、例えば、2本のサブClipAVストリームファイルのオーディオストリームをミキシングして再生する場合図16の第2のSTNtableにおいて、secondaryaudiopresentflagが1であり、1番目のStreamentryのtype=2であり、2番目のStreamentryのtype=2である場合、コントローラ21は、1stオーディオデコーダ75-1でデコードされる図16のオーディオストリームIDのforループの中の最初のオーディオストリームに対して、取得した番号に対応するオーディオストリームを再生する機能を有するか否かを判定する。ここで、図16のstreamentryにおいてsecondaryaudiopresentflagが1とされた後の2番目にエントリーされているサブClipAVストリームファイルのオーディオストリームを再生する機能を有するか否かの判定は省略してもよい。このことは、図16のオーディオストリームIDのforループの中の最初のオーディオストリームは、映画の日本語吹き替えなどの音声と想定され、図16のstreamentryにおいて2番目にエントリーされているサブClipAVストリームファイルのオーディオストリームとして想定される映画のディレクターズカットよりも高品質の音声である可能性が高いため、特に、品質の低い方の図16のstreamentryにおいて2番目にエントリーされているサブClipAVストリームファイルのオーディオストリームを再生する機能を有するかの判定が必要ないからである。勿論、コントローラ21は、2本のサブパスで参照される2つのサブClipAVストリームファイルのオーディオストリームに対して、再生できるか否かを判定するようにしてもよい。ステップS54において、取得した番号に対応するオーディオストリームを再生する機能を有しないと判定された場合、ステップS55において、コントローラ21は、現在のストリーム番号の次のストリーム番号を取得する。すなわち、現在のストリーム番号のオーディオストリームを再生する機能を有さない場合には、そのストリーム番号は飛ばされ再生対象とならず、次のストリーム番号が取得される。そして、ステップS55の処理の後、処理はステップS54に戻り、それ以降の処理が繰り返される。すなわち、コントローラ21により自分自身が再生する機能を有するオーディオストリームの番号が取得されるまで、処理が繰り返される。ステップS54において、取得した番号に対応するオーディオストリームを再生する機能を有すると判定された場合、ステップS56において、コントローラ21は、取得した番号に対応するメインClipに含まれるClipAVストリームファイルのオーディオストリームと、サブClipに含まれるClipAVストリームファイルのオーディオストリームとを調べる。例えば、図8の例の場合、取得されたSubClipentryid=1はSubPathにより参照されるので、コントローラ21は、取得した番号に対応するオーディオストリームが、サブClipAVストリームファイルにあることを確認することができる。また、例えば、図15または図17のStreamentryにおいて、type=1である場合、コントローラ21は、取得した番号に対応するオーディオストリームが、メインClipAVストリームファイルにあることを確認する。さらに、例えば、図15または図17のStreamentryにおいて、type=2である場合、コントローラ21は、取得した番号に対応するオーディオストリームがサブClipAVストリームファイルにあることを確認する。また、例えば、メインClipAVストリームファイルとサブClipAVストリームファイルのオーディオストリームをミキシング再生する場合図14の第1のSTNtableにおいて図15のstreamentryでtype=3である場合、または、図16の第2のSTNtableにおいて、secondaryaudiopresentflagが1であり、1番目のStreamentryでtype=1であり、2番目のStreamentryでtype=2である場合、コントローラ21は、取得した番号に対応するオーディオストリームが、メインClipAVストリームファイルとサブClipAVストリームファイルの両方にあることを確認する。さらに、例えば、2本のサブClipAVストリームファイルのオーディオストリームをミキシング再生する場合図16のsecondaryaudiopresentflagが1であり、1番目のStreamentryでtype=2であり、2番目のStreamentryでtype=2である場合、コントローラ21は、取得した番号に対応するオーディオストリームが、サブClipAVストリームファイルのみにあることを確認する。ステップS57において、コントローラ21は、所望のオーディオストリームを特定する。具体的には、取得した番号に対応するストリームの属するメインClipAVストリームファイルまたはサブClipAVストリームファイルの中の所望のオーディオストリームを特定する。例えば、コントローラ21は、図15または図17において、type=1である場合、メインClipAVストリームファイルの中の所定のオーディオストリームを特定し、type=2である場合、サブClipAVストリームファイルの中の所定のオーディオストリームを特定し、図15においてtype=3であるか、図17において、secondaryaudiopresentflagが1、1番目のStreamentryがtype=1、2番目のStreamentryがtype=2である場合、メインClipAVストリームファイルの中の所定のオーディオストリームと、サブClipの中の所定のオーディオストリームとを特定する。また、図17においてsecondaryaudiopresentflagが1、1番目のStreamentryがtype=2、2番目のStreamentryがtype=2である場合、コントローラ21は、2つのサブClipAVストリームファイルの中の2つの所定のオーディオストリームを特定する。ステップS58において、コントローラ21は、所望のオーディオストリームが多重化されているClipメインClipAVストリームファイルのみ、サブClipAVストリームファイルのみ、メインClipAVストリームファイルとサブClipAVストリームファイル、または、2本のサブClipAVストリームファイル、のうちのいずれかを含むClipから、特定されたオーディオストリームを読み出すようストレージドライブ22に指示するか、または、ローカルストレージ24に記録されている所望のオーディオストリームが多重化されているClipから、特定されたオーディオストリームを読み出す。ストレージドライブ22は、コントローラ21から指示を受けた場合、この指示に基づいて、対象となるオーディオストリームを読み出す。そして、コントローラ21は、読み出されたオーディオストリームをAVデコーダ部26に供給して、再生するようAVデコーダ部26に指示する。コントローラ21は、例えば、図14の第1のSTNtableにおいて、図15のstreamentryでtype=3である場合、または、図16の第2のSTNtableにおいて、secondaryaudiopresentflagが1であり、1番目のStreamentryがtype=1であり、2番目のStreamentryがtype=2である場合、メインClipのオーディオストリームとサブClipAVストリームファイルのオーディオストリームの両方を再生するよう、AVデコーダ部26に指示する。ステップS59において、AVデコーダ部26は、オーディオストリームをデコードし、オーディオ出力する。すなわち、オーディオデコーダ75によりデコードされたオーディオデータと、バッファ95から出力されるサウンドデータが、ミキシング処理部97によりミキシング処理され、オーディオ信号として出力される。具体的には、図15または図17においてtype=1である場合、1stオーディオデコーダ75-1は、メインClipAVストリームファイルの中の所定のオーディオストリームをデコードし、これを、ミキシング処理部101を介してミキシング処理部97に供給する。また、図15または図17においてtype=2である場合、1stオーディオデコーダ75-1または2ndオーディオデコーダ75-2のうちのいずれかSTNtableの記載によって決まるは、サブClipAVストリームファイルの中の所定のオーディオストリームをデコードし、これを、ミキシング処理部101を介してミキシング処理部97に供給する。このとき、メインClipAVストリームファイルとサブClipAVストリームファイルのオーディオストリームをミキシング再生する場合図15のtype=3である場合、または、図16のsecondaryaudiopresentflagが1、1番目のStreamentryのtype=1、2番目のStreamentryのtype=2である場合、1stオーディオデコーダ75-1は、メインClipAVストリームファイルの中の所定のオーディオストリームをデコードし、これをミキシング処理部101に供給し、2ndオーディオデコーダ75-2は、サブClipAVストリームファイルの中の所定のオーディオストリームをデコードし、これをミキシング処理部101に供給する。また、2本のサブClipAVストリームファイルのオーディオストリームをミキシング再生する場合図16のsecondaryaudiopresentflagが1、1番目のStreamentryのtype=2、2番目のStreamentryのtype=2である場合、1stオーディオデコーダ75-1は、サブClipAVストリームファイルの中の所定のオーディオストリームをデコードし、これをミキシング処理部101に供給し、2ndオーディオデコーダ75-2は、サブClipAVストリームファイルの中の所定のオーディオストリームをデコードし、これをミキシング処理部101に供給する。ミキシング処理部101は、1stオーディオデコーダ75-1から供給されたオーディオデータと、2ndオーディオデコーダ75-2から供給されたオーディオデータとをミキシング重畳、合成し、これをミキシング処理部97に供給する。ミキシング処理部97は、ミキシング処理部101から供給されてきたオーディオデータと、バッファ95から供給されてきたサウンドデータとをミキシング重畳、合成し、これをオーディオ信号として出力する。この図32のステップS59の処理の詳細な例を、図33のフローチャートを参照して説明する。図33は、AVデコーダ部26におけるオーディオストリームを出力する処理の例を説明するフローチャートである。ステップS81において、AVデコーダ部26は、コントローラ21からの制御に基づいて、再生するオーディオストリームがメインClipAVストリームファイルのオーディオストリームのみであるか否かを判定する。例えば、AVデコーダ部26は、図14または図16でエントリーされているオーディオストリームが、図15または図17においてtype=1のみであるか否かを判定する。ステップS81において、再生するオーディオストリームがメインClipAVストリームファイルのオーディオストリームのみであると判定された場合、PIDフィルタ55により選択されて供給されてきたメインClipAVストリームファイルのオーディオストリームが、スイッチ59により選択され、1stオーディオデコーダ75-1に供給されるので、ステップS82において、1stオーディオデコーダ75-1は、メインClipAVストリームファイルのオーディオストリームをデコードする。1stオーディオデコーダ75-1は、デコードしたメインClipAVストリームファイルのオーディオストリームを、後段のミキシング処理部101に供給する。ミキシング処理部101は、供給されてきたオーディオデータをそのまま後段のミキシング処理部97に出力する。ステップS81において、再生するオーディオストリームがメインClipAVストリームファイルのオーディオストリームのみでないと判定された場合、すなわち、再生するオーディオストリームが図15においてtype=2またはtype=3である場合、または、図17において、type=2を少なくとも含む場合、ステップS83において、AVデコーダ部26は、コントローラ21からの制御に基づいて、再生するオーディオストリームがサブClipAVストリームファイルのオーディオストリームのみであるか否かを判定する。すなわち、AVデコーダ部26は、図14または図16でエントリーされているオーディオストリームが図15または図17においてtype=2のみであるか否かを判定する。ステップS83において、再生するオーディオストリームがサブClipAVストリームファイルのオーディオストリームのみでないと判定された場合、再生するオーディオストリームがメインClipAVストリームファイルのオーディオストリームとサブClipAVストリームファイルのオーディオストリームとの組み合わせであることを示す、すなわち、再生するオーディオストリームが図15においてtype=3である、または、図16において、secondaryaudiopresentflagが1とされ、さらに、1番目のStreamentryがtype=1と2番目のStreamentryがtype=2とされる組み合わせであるので、PIDフィルタ55により選択されて供給されてきたメインClipAVストリームファイルのオーディオストリームがスイッチ59により選択され、1stオーディオデコーダ75-1に供給されると共に、PIDフィルタ56により選択されて供給されてきたサブClipAVストリームファイルのオーディオストリームが、スイッチ59により選択され、2ndオーディオデコーダ75-2に供給される。そこで、ステップS84において、1stオーディオデコーダ75-1は、メインClipAVストリームファイルのオーディオストリームをデコードする。1stオーディオデコーダ75-1は、デコードしたメインClipAVストリームファイルのオーディオストリームを、後段のミキシング処理部101に供給する。また、ステップS85において、2ndオーディオデコーダ75-2は、サブClipAVストリームファイルのオーディオストリームをデコードする。2ndオーディオデコーダ75-2は、デコードしたサブClipAVストリームファイルのオーディオストリームを、後段のミキシング処理部101に供給する。なお、ステップS84とステップS85の処理は、並行して実行されてもよいし、順番を逆にして実行されてもよい。ステップS86において、ミキシング処理部101は、1stオーディオデコーダ75-1によりデコードされたメインClipAVストリームファイルのオーディオストリームと、2ndオーディオデコーダ75-2によりデコードされたサブClipAVストリームファイルのオーディオストリームとをミキシングする。すなわち、ミキシング処理部101は、1stオーディオデコーダ75-1から供給されてきたオーディオデータと2ndオーディオデコーダ75-2から供給されてきたオーディオデータとを、ミキシング合成、重畳する。ミキシング処理部101は、ミキシングした結果得られたオーディオデータを、後段のミキシング処理部97に供給する。一方、ステップS83において、再生するオーディオストリームがサブClipAVストリームファイルのオーディオストリームのみであると判定された場合図15または図17においてtype=2のみである場合、処理はステップS87に進み、AVデコーダ部26は、コントローラ21からの制御に基づいて、再生するオーディオストリームは、サブClipAVストリームファイルの2つのオーディオストリームの組み合わせであるか否かを判定する。すなわち、図16のstreamentryにおいて、secondaryaudiopresentflagが1とされて2本のオーディオストリームがエントリーされ、さらに図17において、ともにtype=2とされているか否かが判定される。なお、図14と図15のシンタクスの場合、サブClipAVストリームファイルの2つのオーディオストリームの組み合わせは定義されないので、ステップS87においては、再生するオーディオストリームは、サブClipAVストリームファイルの2つのオーディオストリームの組み合わせではないと判定される。ステップS87において、再生するオーディオストリームは、サブClipAVストリームファイルの2つのオーディオストリームの組み合わせでないと判定された場合図14と図15において、type=2とされる場合、または、図16と図17において、secondaryaudiopresentflagが0とされ、1番目のStreamentryでtype=2とされる場合、すなわち、オーディオストリームが1本しかエントリーされていない場合、このオーディオストリームは、勿論サブClipAVストリームファイルのオーディオストリームであるので、PIDフィルタ56により選択されて供給されてきたサブClipAVストリームファイルのオーディオストリームが、スイッチ59により選択され、1stオーディオデコーダ75-1に供給される。そこで、ステップS88において、1stオーディオデコーダ75-1は、サブClipAVストリームファイルのオーディオストリームをデコードする。1stオーディオデコーダ75-1は、デコードしたサブCliAVストリームファイルpのオーディオストリームを、後段のミキシング処理部101に供給する。ミキシング処理部101は、供給されてきたオーディオデータをそのまま後段のミキシング処理部97に出力する。一方、ステップS87において、再生するオーディオストリームは、サブClipAVストリームファイルの2つのオーディオストリームの組み合わせであると判定された場合図16と図17において、secondaryaudiopresentflagが1とされ、1番目のStreamentryと2番目のStreamentryがともにtype=2とされる場合、PIDフィルタ56により選択されて供給されてきたサブClipAVストリームファイルのオーディオストリームは2本となるので、スイッチ59は、1stオーディオデコーダ75-1でデコードされるオーディオストリーム、すなわち、図16において、オーディオストリームIDのforループの中の最初にエントリーされたオーディオストリームを、1stオーディオデコーダ75-1に供給するようスイッチを選択し、2ndオーディオデコーダ75-2でデコードされるオーディオストリーム、すなわち、図16において、オーディオストリームIDのforループの中のsecondaryaudiopresentflagが1とされた後に、2番目にエントリーされたオーディオストリームを、2ndオーディオデコーダ75-2に供給するようスイッチを選択する。そこで、ステップS89において、1stオーディオデコーダ75-1は、供給されてきたサブClipAVストリームファイルのオーディオストリームをデコードする。1stオーディオデコーダ75-1は、デコードしたサブClipAVストリームファイルのオーディオストリームを、後段のミキシング処理部101に供給する。また、ステップS90において、2ndオーディオデコーダ75-2は、供給されてきたサブClipAVストリームファイルのオーディオストリームをデコードする。2ndオーディオデコーダ75-2は、デコードしたサブClipAVストリームファイルのオーディオストリームを、後段のミキシング処理部101に供給する。なお、ステップS89とステップS90の処理は、並行して実行されてもよいし、順番を逆にして実行されてもよい。ステップS91において、ミキシング処理部101は、1stオーディオデコーダ75-1によりデコードされたサブClipAVストリームファイルのオーディオストリームと、2ndオーディオデコーダ75-2によりデコードされたサブClipAVストリームファイルのオーディオストリームとすなわち、2つのサブClipAVストリームファイルのオーディオストリームをミキシングする。換言すれば、ミキシング処理部101は、1stオーディオデコーダ75-1から供給されてきたオーディオデータと2ndオーディオデコーダ75-2から供給されてきたオーディオデータとを、ミキシング合成、重畳する。ミキシング処理部101は、ミキシングした結果得られたオーディオデータを、後段のミキシング処理部97に供給する。ステップS82の処理の後、ステップS86の処理の後、ステップS88の処理の後、または、ステップS91の処理の後、処理はステップS92に進み、ミキシング処理部97は、供給されてきたオーディオデータと、バッファ95から供給されてきたサウンドデータとをミキシングし、出力する。例えば、このステップS92の処理が、ステップS82の処理の後の場合、ミキシング処理部97は、メインClipAVストリームファイルのオーディオストリームがデコードされたオーディオデータと、サウンドデータとをミキシングする。また、例えば、このステップS92の処理が、ステップS88の処理の後の場合、ミキシング処理部97は、サブClipAVストリームファイルのオーディオストリームがデコードされたオーディオデータとサウンドデータとをミキシングする。さらに、例えば、このステップS92の処理が、ステップS86の処理の後の場合、ミキシング処理部97は、メインClipAVストリームファイルのオーディオストリームがデコードされたオーディオデータとサブClipAVストリームファイルのオーディオストリームがデコードされたオーディオデータとがミキシングされたオーディオデータに、サウンドデータをミキシングする。また、例えば、このステップS92の処理が、ステップS91の処理の後の場合、ミキシング処理部97は、2本のサブClipAVストリームファイルのオーディオストリームがそれぞれデコードされたオーディオデータがミキシングされたオーディオデータに、サウンドデータをミキシングする。図33の処理によれば、メインパスで参照されるオーディオストリームとサブパスで参照されるオーディオストリームとのミキシング再生を行うことができる。また、2つのサブパスで参照される2本のオーディオストリームのミキシング再生を行うことができる。図33を用いて説明した処理のようにして、図30のステップS21における図28のスイッチ59の選択が決定される。すなわち、図33を用いて説明した処理において再生されるオーディオストリームがメインClipAVストリームファイルのみである場合、スイッチ59は、メイン側、すなわちPIDフィルタ55から供給されたオーディオストリームを1stオーディオデコーダ75-1に供給するよう選択し図33のステップS81でYES、対象となるClipが1本のサブClipAVストリームファイルのみである場合、スイッチ59は、サブ側、すなわち、PIDフィルタ56から供給されたオーディオストリームを1stオーディオデコーダ75-1に供給するよう選択し図33のステップS87でNO、対象となるClipAVストリームファイルがメインClipAVストリームファイルとサブClipAVストリームファイルの両方である場合、スイッチ59は、PIDフィルタ55から供給されたオーディオストリームを1stオーディオデコーダ75-1に供給するとともに、PIDフィルタ56から供給されたオーディオストリームを、2ndオーディオデコーダ75-2に供給するよう選択し図33のステップS83でNO、対象となるClipが2本のサブClipAVストリームファイルである場合、スイッチ59は、サブ側、すなわち、PIDフィルタ56から供給されたオーディオストリームを、1stオーディオデコーダ75-1または2ndオーディオデコーダ75-2に供給するよう選択図33のステップS87でYESする。このように、コントローラ21は、PlayItemのSTNtableに基づいて、音声オーディオの切り替えを制御することができる。また、コントローラ21は、STNtableのstreamattributeを参照することで、自分自身が再生機能を有するストリームだけを選んで、再生切り替えの制御をすることができる。さらに、コントローラ21は、STNtableに基づいて、メインClipAVストリームファイルに含まれるオーディオストリームと、サブClipAVストリームファイルに含まれるオーディオストリームとを重畳して再生するとともに、2本のサブClipAVストリームファイルに含まれるオーディオストリームを重畳して再生するよう制御することができる。なお、図14と図15のシンタクス第1のSTNtableを用いる場合、サブClipAVストリームファイルの2つのオーディオストリームの組み合わせは定義されないので、図33のステップS87では必ずNOと判定され、ステップS88以降の処理が実行される。すなわち、図14と図15のシンタクスに対応する場合、図33のステップS89、ステップS90、およびステップS91の処理は実行されない。なお、図32の処理では、オーディオストリーム番号に基づいて、オーディオを切り替えるようにしたが、オーディオストリームIDaudiostreamidに基づいて、オーディオを切り替えるようにしてもよい。この場合、オーディオストリーム番号から1を減算したものが、オーディオストリームIDとなる。また、以上の例では、メインパスにより参照されるオーディオストリームと、サブパスにより参照されるオーディオストリームとをミキシング合成して再生する場合の例図14と図15、または、図16と図17や、2本のサブパスにより参照されるオーディオストリームをミキシング合成して再生する場合の例図16と図17を説明したが、オーディオストリームに限らず、ストリームの種類が同じであれば、各種のストリームファイルについて同様に適用することができる。例えば、ビデオストリームストリームの種類がビデオストリームを2つ合成して再生するピクチャインピクチャ表示をする場合にも、この構成は適用することができる。このように、本発明によれば、メインClipに含まれる所定の種類のストリームファイルと、同じ種類のサブClipに含まれるストリームファイルとの組み合わせを定義したり、サブClipに含まれる同じ種類のストリームファイルの組み合わせを定義することで、メインパスで参照されるストリームとサブパスで参照されるストリーム同じ種類の2つのストリームや、2つのサブパスで参照されるストリーム同じ種類の2つのストリームを合成して再生することができる。すなわち、上述したような構成は、例えば、図43を用いて後述するように、メインパスで参照されるAVストリームのビデオストリームを主画面として表示させ、主画面の中に、サブパスのビデオパスで参照されるビデオストリームを子画面として合成して表示させる、いわゆるPinPピクチャインピクチャ表示などについても利用することができる。上述した構成を応用することにより、PinPピクチャインピクチャ表示を実行する場合の詳細については、後述する。以上により、メインのAVストリームとは別のストリームやデータファイルでオーディオや字幕などを用意する場合、PlayListの中にメインパスとサブパスを有する構成としたので、ユーザにより音声切り替えや字幕切り替えという操作が行われる場合、メインClipAVストリームとは異なる別ストリームや別データファイルの中から再生されるストリームを選ぶことができる。また、第1および第2のSTNtableで、メインClipに含まれるオーディオストリームと、サブClipに含まれるオーディオストリームとの2つのオーディオストリームの組み合わせを選択できる構成としたので、ユーザは、2つのオーディオストリームの重畳再生を選ぶことができる。具体的には、STNtableにおいて、オーディオストリームとして2つのstreamattributesをエントリー可能な構成とし、streamentryを、メインClipとサブClipの両方の組み合わせでオーディオストリームをエントリーすることが可能な構成としたので、オーディオストリームを2つ重畳して再生するよう指令することができる。また、図16と図17に示されるように、第2のSTNtableで、2つのサブClipに含まれる2本のオーディオストリームの組み合わせを選択できる構成としたのでsecondaryaudiopresentflagを設けたので、ユーザは、2つのオーディオストリームの重畳再生を選ぶことができる。具体的には、第2のSTNtableにおいて、オーディオストリームとして1つのオーディオストリームIDで、2つのstreamentryとstreamattributesとの組み合わせをエントリー可能な構成としたので、オーディオストリームを2つ重畳して再生するよう指令することができる。また、メインパスのPlayItemの中に、AVストリームファイルに多重化されているデータと、SubPathにより参照されるデータのtypeを定義するSTNTableを設けるようにしたので、より、拡張性の高いストリームを実現することができる。さらに、再生装置1は、STNtableのstreamattributeを参照することで、自分自身が有する機能に対応するストリームだけを順次選択して再生することができる。以上説明した再生装置1の処理をまとめると、以下のようになる。再生装置1は、記録媒体に記録されている、少なくとも1つのストリームを含むメインClipAVストリームファイル複数の種類のストリームからなるメインClipAVストリームファイルの位置を示す主の再生パスであるMainPathと、メインClipAVストリームファイルに含まれるメインストリームファイルの再生のタイミングに合わせて再生されるサブClipAVストリームファイルのそれぞれの位置を示す複数のサブパスにより構成される再生管理情報としてのPlayListを取得し、PlayListの中のメインパスに含まれる、メインClipAVストリームファイルの所定の種類のメインストリームファイル例えば、1stオーディオストリームの再生のタイミングに合わせて再生される、同じ種類のサブClipAVストリームファイル例えば、2ndオーディオストリームの組み合わせを示す情報であるSTNtablePlayItemで示されるSTNtableに基づいて、再生するストリームの選択を受け付ける。ここで、メインClipAVストリームファイルに含まれる所定の種類のメインストリームファイル例えば、1stオーディオストリームと、そのメインストリームファイルの再生のタイミングに合わせて再生される、同じ種類のサブClipAVストリーム2ndオーディオストリームとの組み合わせの選択が受け付けられた場合、再生装置1は、選択されたメインClipAVストリームファイルとともに、サブパスにより参照される、対応するサブClipAVストリームファイルを読み出す。そして、再生装置1のミキシング処理部101は、この2つのオーディオストリームデコードされたオーディオストリームを合成し、ミキシング処理部97AVデコーダ部26は、合成されたストリームを再生出力する。これにより、図34に示されるように、メインClipAVストリームファイルである本編のMovie映画にビデオデータVideoとオーディオデータAudioが含まれており、監督のコメンタリCommentaryとして、英語のコメンタリと、日本語のコメンタリがサブClipAVストリームファイルで与えられている場合に、ユーザは、audiostreamnumber=1の本編のaudioと、audiostreamnumber=2の本編のaudio英語のコメンタリと、audiostreamnumber=3の本編のaudio日本語のコメンタリとの中から、再生するオーディオストリームを選択することができる。そして、メインClipAVストリームファイルとサブClipAVストリームファイルの組み合わせaudiostreamnumber=1と2が選択された場合には、それらを合成して再生することができる。このように、PlayListにMainPathとSubPathを含め、MainPathとSubPathが異なるClipAVストリームファイルを参照する構成としたので、ストリームに拡張性を持たせることができる。また、1つのSubPathで複数のファイルを参照可能な構成としたので例えば、図8、複数の異なるストリームの中からユーザが選択することができる。さらに、MainPathのPlayItemの中に、MainPathにより参照されるAVストリームファイルに多重化されている含まれる付属データ例えば、オーディオストリームと、SubPathにより参照される付属データとを定義するテーブルとして、図14を用いて説明した第1のSTNtableまたは図16を用いて説明した第2のSTNtableを設けるようにしたので、より、拡張性の高いストリームを実現することができる。また、STNtableにエントリーすることにより、SubPathを容易に拡張することができる。また、STNtableにストリームの属性情報である図18のstreamattributeを設けるようにしたので、再生装置1側で、選択されたストリームを再生可能か否かを判定することができる。さらに、streamattributeを参照することで、再生機能を有するストリームだけを選択して再生することができる。さらに、第1または第2のSTNtable図14または図16において、streamentry図15または図17でメインパスにより参照されるストリームファイルと、サブパスにより参照される、同じ種類のストリームファイルここでは、オーディオストリームファイルとの組み合わせを定義するとともに、図16と図17でサブパスにより参照される2本のオーディオストリームファイルの組み合わせを定義するようにし、さらに、図28を用いて説明したように、再生装置1に2つのオーディオデコーダ1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2を設けるとともに、2つのオーディオデコーダによりデコードされたオーディオデータを合成ミキシングするミキシング処理部101を設けるようにしたので、2つの同じ種類のストリームを組み合わせて同時に再生することができる。例えば、サブClipAVストリームファイルに含まれる所定の種類の2つのサブClipAVストリームファイルの組み合わせの選択が受け付けられた場合すなわち、第2のSTNtableが参照され、secondaryaudiopresentflagが1とされ、1番目のStreamentryと2番目のStreamentryがともにtype=2とされる場合、再生装置1は、選択された2つのサブClipAVストリームファイルを読み出す。そして、再生装置1のミキシング処理部101は、この2つのオーディオストリームデコードされたオーディオストリームを合成し、ミキシング処理部97AVデコーダ部26は、合成されたストリームを再生出力する。また、SubPathには、図11に示されるように、SubPathのタイプオーディオやテキスト字幕といったタイプを示すSubPathtype、SubPathが参照するサブClipの名を示す図12のClipInformationfilename、およびSubPathが参照するClipのイン点を示す図12のSubPlayItemINtimeとアウト点を示す図12のSubPlayItemOUTtimeを含むようにしたので、SubPathが参照するデータを的確に特定することができる。さらに、SubPathには、SubPathがMainPathとを同じタイミングで再生するためのMainPath上のAVストリームファイルを指定する指定情報である図12のsyncPlayItemid例えば、図7と図8のsyncPlayItemidと、SubPathが参照するデータのイン点がMainPathの時間軸上で同期してスタートするMainPath上の時刻であるsyncstartPTSofPlayItem例えば、図7と図8のsyncstartPTSofPlayItemとをさらに含むため、図7や図8に示されるように、MainPathが参照するメインClipAVストリームファイルに同期してSubPathが参照するデータファイルを再生することができる。なお、図28のストレージドライブ22が読み出してAVデコーダ部26に供給するデータは、例えば、DVDDigitalVersatileDiscなどの記録媒体11に記録されているデータである。そして、ハードディスクなどで構成されているローカルストレージ24に記録されているデータも、ストレージドライブ22が読み出したデータとともに、AVデコーダ部26に供給される。そして、ローカルストレージ24に記録されているデータは、ネットワーク2を介してダウンロードしたデータであってもよい。換言すれば、AVデコーダ部26に供給されるデータは、着脱可能な記録媒体11に記録されているデータであっても、あらかじめ再生装置1に記憶されているデータであっても、他の装置からネットワークを介して供給されたデータであっても、これらが組み合わされたデータでもよい。例えば、ダウンロードされ、ハードディスクなどで構成されているローカルストレージ24に記録されたPlayListおよびサブClipと、DVDなどの記録媒体11に記録されたメインClipAVストリームファイルに基づいて、AVストリームの再生処理が実行されてもよい。また、例えば、DVDなどの記録媒体11に記録されたClipAVストリームファイルをサブClipとするようなPlayListとメインClipとがハードディスクなどで構成されているローカルストレージ24に記録されている場合に、ローカルストレージ24に記録されているPlayListに基づいて、メインClipAVストリームファイルとサブClipAVストリームファイルがそれぞれ、ローカルストレージ24と記録媒体11から読み出され再生されてもよい。また、例えば、1つのメインパスと1つのサブパスで示されるストリームデータが再生される場合、又は2本のサブパスで示されるストリームデータが再生される場合、メインパスとサブパス、または、2本のサブパスで示されるストリームデータがそれぞれ別のトランスポートストリームTSとしてダウンロード等により取得されたときには、取得された2本の異なるTSにそれぞれ含まれるオーディオストリームが合成されることになる。一方、2本のサブパスで示されるストリームデータが再生される場合であっても、その2本のサブパスで示される少なくとも2つのストリームが含まれる1つのTSが取得された場合には、1つのTSに含まれる2つのオーディオストリームが合成されることになる。また、図14を用いて説明した第1のSTNtableを用い、図15のstreamattributeにおいてtype=3とすることによりメインパスとサブパスで、2つのオーディオストリームを定義した場合や、図16を用いて説明した第2のSTNtableを用い、secondaryaudiopresentflagを用いて、図17のstreamattributeにおいてメインパスとサブパス、またはサブパスのみで2つのオーディオストリームを定義した場合、再生装置1の1stオーディオデコーダ75-1は、メインClipAVストリームファイルまたはサブClipAVストリームファイルのオーディオストリームをデコードし、2ndオーディオデコーダ75-2はサブClipAVストリームファイルのオーディオストリームをデコードするのであるが、コーディックエンコード方式が同一例えば、図19のDolbyAC3audioである2つのClipのオーディオストリームの組み合わせを、STNtableで定義するよう制約を設けてもよい。換言すれば、STNtableで定義される組み合わせにおいて同時にデコードされるものを、同一のコーディック方式となるように、制限を設けるようにしてもよい。この場合、1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2がオーディオストリームをデコードしている途中例えば、MPEGにおいては、逆量子化されたが、IDCTされていない状態であっても、コーディック方式が同一であれば、デコード途中のデータ方式も同様であるので、ミキシング処理部101によりミキシング可能となるからである。以上説明した再生装置1においては、上述した図14の第1のSTNtableまたは図16の第2のSTNtableを参照することにより、PlayItemが参照するClipとSubPathが参照するClipを組み合わせたものの再生を選ぶことができるようになされていた。次に、2つのオーディオストリームのミキシング再生を選ぶことができる仕組みを提供するための異なる例について説明する。図35は、2つのオーディオストリームのミキシング再生を行う場合における、STNtableのシンタクスの第3の例第3のSTNtableを示す図である。第3のSTNtableも、PlayItemの属性として設定されていることは言うまでもない。図35の第3のSTNtableは、PlayItemが参照するClipとSubPathが参照するClipを組み合わせたものの再生を選ぶのではなく、再生されるClipを自由に選択することができるようになされている。なお、図14を用いて説明した場合と同様の部分については、その説明を、適宜省略する。図35の第3のSTNtableは、2つのオーディオストリームが定義されている点で、図14を用いて説明した場合と異なる。Length、numberofvideostreamentries、videostreamid、videostreamnumberについては、図14を用いて説明した場合と同様である。numberofaudiostreamentriesは、第3のSTNtableの中でエントリーされるaudiostreamidが与えられる1番目のオーディオストリームのストリーム数を示す。audiostreamidは、オーディオストリームを識別するための情報であり、audiostreamnumberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。numberofaudiostream2entriesは、第3のSTNtableの中でエントリーされるaudiostreamid2が与えられる2番目のオーディオストリームのストリーム数を示す。audiostreamid2は、オーディオストリームを識別するための情報であり、audiostreamnumberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。具体的には、第3のSTNtableでエントリーされるnumberofaudiostreamentriesのオーディオストリームは、後述する図36の再生装置141または図53の再生装置401の1stオーディオデコーダ75-1でデコードされるオーディオストリームであり、第3のSTNtableでエントリーされるnumberofaudiostream2entriesのオーディオストリームは、後述する図36の再生装置141または図53の再生装置401の2ndオーディオデコーダ75-2でデコードされるオーディオストリームである。このように、図35の第3のSTNtableでは、2つのオーディオデコーダのそれぞれにデコードさせるオーディオストリームをエントリーすることができる。なお、以下において、図36の再生装置141または図53の再生装置401の1stオーディオデコーダ75-1でデコードされるnumberofaudiostreamentriesのオーディオストリームをオーディオストリーム1と称しさらに、オーディオストリーム1は、後述するように、プライマリPrimaryオーディオストリームと称される場合もある、図36の再生装置141または図53の再生装置401の2ndオーディオデコーダ75-2でデコードされるnumberofaudiostream2entriesのオーディオストリームをオーディオストリーム2と称するさらに、オーディオストリーム2は、後述するように、セカンダリSecondaryオーディオストリームと称される場合もある。また、オーディオストリーム1は、オーディオストリーム2よりも優先されるオーディオストリームであるものとする。numberofPGtxtSTstreamentries、PGtxtSTstreamid、および、PGtxtSTstreamnumberについては、図14を用いて説明した場合と同様である。また、numberofIGstreamentries、IGstreamid、IGstreamnumberについては、図14を用いて説明した場合と同様である。そして、streamentryのシンタクスについては、図17を用いて説明した場合と同様である。そして、図14、図16を用いて説明したビデオストリームIDのforループ、および、オーディオストリームIDのforループにおける場合と同様に、オーディオストリームID2のforループの中で、順番にstreamentryごとに特定される1つのオーディオエレメンタリストリームに、0からaudiostreamid2が与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームID2audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。この場合、audiostreamnumber2は、0ではなく1から与えられる。すなわち、audiostreamid2の値に1を加算したものがaudiostreamnumber2である。オーディオストリーム番号2は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号2であるので、1から定義される。すなわち、図35の第3のSTNtableにおいては、numberofaudiostreamentriesオーディオストリーム1のオーディオストリームと、numberofaudiostream2entriesオーディオストリーム2のオーディオストリームとが定義される。換言すれば、第3のSTNtableを用いて、オーディオストリーム1とオーディオストリーム2とをエントリーすることができるので、ユーザは、同期して再生するオーディオストリームを2本選択することができる。そして、字幕ストリームIDのforループ、および、グラフィックスストリームIDのforループの中idについても、図14、または、図16における場合と同様である。次に、図35の第3のSTNtableのstreamattributeについて説明する。なお、streamattributeのシンタクスについては、図18乃至図25を用いて説明した場合と同様である。reservedforfutureuseの後のfor文では、videostreamの分だけvideostreamが参照され、ディスク製造者が、オーディオストリームに対してMainPathおよびSubPathを設定した分だけaudiostreamが参照され、PGtextSTstreamの分だけPGtextSTstreamが参照され、IGstreamの分だけIGstreamが参照される。ビデオストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報が記述されている。同様に、オーディオストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図15のstreamentryのtype=1またはtype=2で特定されるオーディオエレメンタリストリームは1つであるので、streamattributeは、その1つのオーディオエレメンタリストリームのストリーム属性情報を与える。同様に、オーディオストリームID2のforループの中のstreamattributeは、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図15のstreamentryのtype=1またはtype=2で特定されるオーディオエレメンタリストリームは1つであるので、streamattributeは、その1つのオーディオエレメンタリストリームのストリーム属性情報を与える。同様に、字幕ストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕エレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのビットマップ字幕エレメンタリストリームのストリーム属性情報が記述されている。同様に、グラフィックスストリームIDのforループの中のstreamattributeは、streamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報を与える。すなわち、このstreamattributeには、streamentryごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報が記述されている。このように、第3のSTNtableが用いられる場合においても、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されているとき、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から、streamentryによって特定された1つのエレメンタリストリームの属性情報をstreamattributeによって知ることができる。再生装置は、第1または第2のSTNtableが用いられる場合と同様にして、この属性情報streamattributeを調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。なお、図35の第3のSTNtableが適用される場合、オーディオストリーム1とオーディオストリーム2とは、両方ともメインパスにより参照されるClipに含まれるオーディオストリームとしてもよい。また、オーディオストリーム1とオーディオストリーム2のうちの、一方をメインパスにより参照されるClipに含まれるオーディオストリームとし、他方をサブパスにより参照されるClipに含まれるオーディオストリームとしてもよい。このように、図35の第3のSTNtableが適用される場合、メインパスにより参照されるメインClipAVストリームに重畳された複数のオーディオストリームを2つ選択して、ミキシングして再生することも可能である。このようにして、PlayItemの中に第3のSTNtableを設けるようにすることにより、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作により、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から再生されるストリームを自由に組み合わせて選ぶことができる仕組みが提供されるので、ユーザは、再生するAVストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。また、第1および第2のSTNtableにおける場合と同様に、第3のSTNtableが適用される場合においても、1つのPlayListの中にSubPathを複数使用し、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、このPlayListにより再生されるコンテンツにおいて、後で、SubPlayItemを追加できる構成とすることができる。さらに、図35を用いて説明した第3のSTNtableは、後述する図36の再生装置141または図53の再生装置401の1stオーディオデコーダ75-1でデコードされるオーディオストリーム1と、2ndオーディオデコーダ75-2でデコードされるオーディオストリーム2とをミキシングして再生することができる仕組みを提供するようにした。例えば、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、PlayItemが参照するClipに含まれるオーディオストリームをオーディオストリーム1とし、SubPathが参照するClipに含まれるオーディオストリームをオーディオストリーム2とし、これらををミキシングして再生することができる仕組みを提供するようにした。また、例えば、PlayItemが参照するClipメインClipに含まれる2つのオーディオストリームを、それぞれオーディオストリーム1とオーディオストリーム2とし、これらをミキシングして再生することができる仕組みを提供するようにした。これにより、メインオーディオストリームと、メインのオーディオストリームとは異なるオーディオストリーム例えば、監督のコメントのストリームの重畳再生を行うことができる。また、メインClipAVストリームに重畳されている2つのオーディオストリーム1とオーディオストリーム2とを重畳ミキシングして再生することができる。具体的には、例えば、図26を参照して説明した場合と同様にして、ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルにおいて、音声番号をA_SNAudioStreamNumber、A_SN2と称し、字幕番号をS_SNSubPictureStreamNumberと称した場合、PlayListのMainPathを構成するPlayItemの第3のSTNtableでエントリーされるオーディオストリーム1audiostreamidでエントリーされるオーディオストリームのそれぞれにA_SNが与えられ、ユーザは、A_SNが与えられているオーディオストリームの中から、再生するオーディオストリーム1を選択することができるようになされる。同様に、第3のSTNtableでエントリーされるオーディオストリーム2audiostreamid2でエントリーされるオーディオストリームのそれぞれにA_SN2を与えることにより、ユーザに、選択したオーディオストリーム1とミキシングされるオーディオストリーム2を、A_SN2が与えられているオーディオストリームの中から選択させるようにすることができる。ここで、オーディオストリーム1を選択するためのA_SNと、オーディオストリーム2を選択するためのA_SN2とは、ユーザにより独立に選択可能なようになされているため、2つの音声の切り替えは独立している。すなわち、再生する2つのオーディオストリームオーディオストリーム1とオーディオストリーム2とを別々に定義することで、ユーザは、再生する2つのオーディオストリームを、定義されたものの中から任意に選択することができる。換言すれば、ユーザは、再生する2つのオーディオストリームの選択を自由にオーディオストリーム1とオーディオストリーム2で定義されているものの中から自由に行うことができるので、組み合わせの自由度の高い選択を行うことができる。例えば、ユーザは、オーディオ2オーディオ4の組み合わせA_SN=1とA_SN2=1の組み合わせや、オーディオ2オーディオ5の組み合わせA_SN=1とA_SN2=2の組み合わせを選択することができる。このように、PlayItemの中の第3のSTNtable図35のstreamentryで、2本のオーディオストリームをエントリーすることが可能な構成としたので、2つのオーディオストリームをミキシングして再生することができる。すなわち、複数の種類からなるストリームから、同じ種類この例の場合、オーディオストリームの2本のストリームをミキシング重畳、または合成して、同時に再生することができる。また、ユーザは、所望する2本の同じ種類のストリームのミキシング再生を指令することができる。次に、本発明を適用した再生装置の異なる例として、第3のSTNtable図35など、2本のオーディオストリームを個別にエントリーすることが可能な構成を用いて、2つのオーディオストリームをミキシングして再生することができる再生装置141について説明する。再生装置141は、再生装置1のAVデコーダ部26に代わって、AVデコーダ部151が設けられている以外は、基本的に、図27を用いて説明した再生装置1と同様の構成を有するものである。図36は、AVデコーダ部151の構成例を示すブロック図である。このAVデコーダ部151を備えた再生装置141は、上述したメインパスとサブパスを有する、図35を用いて説明した第3のSTNtableが記載されたPlayListに基づいて、AVストリームを再生することができる。そして、再生装置141のAVデコーダ部151は、PIDフィルタ55に代わってPIDフィルタ161が設けられ、スイッチ59に代わってスイッチ162が設けられている以外は、基本的に、再生装置1のAVデコーダ部26と同様の構成を有するものである。また、図35の第3のSTNtableにおいて、audiostreamidで与えられるオーディオストリームをデコードするためのものが1stオーディオデコーダ75-1であり、audiostreamid2で与えられるオーディオストリームをデコードするためのものが2ndオーディオデコーダ75-2である。コントローラ21により読み出されたファイルデータは、図示せぬ復調、ECC復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ32は、復調され、誤り訂正が施されたデータを、コントローラ21からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ51乃至54に供給する。具体的には、スイッチ32は、コントローラ21からの制御に基づいて、バックグラウンドイメージデータをバッファ51に供給し、メインClipから読み出されたデータすなわち、メインClipAVストリームをバッファ52に供給し、サブClipから読み出されたデータすなわち、サブClipAVストリームをバッファ53に供給し、TextSTのデータをバッファ54に供給するようスイッチ32を切り替える。バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClipから読み出されたデータをバッファリングし、バッファ53は、サブClipから読み出されたデータをバッファリングし、バッファ54は、TextSTデータをバッファリングする。メインClipAVストリーム用リードバッファであるバッファ52から読み出されたストリームデータは、所定のタイミングで、後段のPIDパケットIDフィルタ161へ出力される。このPIDフィルタ161は、入力されたメインClipAVストリームをPIDパケットIDに応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ161は、ビデオストリームをビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ162に供給する。サブClipAVストリーム用リードバッファであるバッファ53から読み出されたストリームデータは、所定のタイミングで、後段のPIDパケットIDフィルタ56へ出力される。このPIDフィルタ56は、入力されたサブClipAVストリームをPIDパケットIDに応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ56は、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ162に供給する。PIDフィルタ161により振り分けられたビデオストリームは、後段のビデオデコーダ72に供給される。ビデオデコーダ72は、ビデオストリームをデコードし、デコードしたビデオデータをビデオプレーン生成部92へ出力する。スイッチ57は、PIDフィルタ161から供給されたメインClipAVストリームに含まれるプレゼンテーショングラフィックスストリームと、サブClipAVストリームに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか1つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ73に供給する。プレゼンテーショングラフィックスデコーダ73は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部93への供給元となるスイッチ77に供給する。また、スイッチ58は、PIDフィルタ161から供給されたメインClipAVストリームに含まれるインタラクティブグラフィックスストリームと、サブClipAVストリームに含まれるインタラクティブグラフィックスストリームのうちのいずれか1つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。すなわち、インタラクティブグラフィックスデコーダ74へ同時に入力されるインタラクティブグラフィックスストリームは、メインClipAVストリームまたはサブClipAVストリームのどちらかから分離されたストリームである。インタラクティブグラフィックスデコーダ74は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、インタラクティブグラフィックスプレーン生成部94に供給する。さらに、スイッチ162は、PIDフィルタ161から供給されたメインClipAVストリームに含まれるオーディオストリームと、サブClipAVストリームに含まれるオーディオストリームのうちのいずれか1つを選択し、選択したオーディオストリームを、後段の1stオーディオデコーダ75-1または、2ndオーディオデコーダ75-2に供給する。ここで、1stオーディオデコーダ75-1へ同時に入力されるオーディオストリームは、メインClipAVストリームまたはサブClipAVストリームのどちらかから分離されたストリームである。また、同様に、2ndオーディオデコーダ75-2へ同時に入力されるオーディオストリームも、メインClipAVストリームまたはサブClipAVストリームのどちらかから分離されたストリームである。例えば、メインClipAVストリームにオーディオストリーム1とオーディオストリーム2とが含まれていた場合、PIDフィルタ161は、オーディオストリームのPIDに基づいて、オーディオストリーム1とオーディオストリーム2とをフィルタリングし、スイッチ162に供給する。スイッチ162は、例えば、PIDフィルタ161から供給されたオーディオストリーム1を、1stオーディオデコーダ75-1に供給するようスイッチを選択し、PIDフィルタ161から供給されたオーディオストリーム2を、2ndオーディオデコーダ75-2に供給するようスイッチを選択する。1stオーディオデコーダ75-1は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。また、2ndオーディオデコーダ75-2は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。ここで、オーディオストリーム1とオーディオストリーム2とを重畳して再生するような場合ユーザにより再生するオーディオストリームとして、2つのオーディオストリームが選択された場合、1stオーディオデコーダ75-1によりデコードされたオーディオストリーム1と、2ndオーディオデコーダ75-2によりデコードされたオーディオストリーム2とが、ミキシング処理部101に供給される。ミキシング処理部101は、1stオーディオデコーダ75-1からのオーディオデータと、2ndオーディオデコーダ75-2からのオーディオデータとをミキシング重畳し、後段のミキシング処理部97に出力する。なお、本実施の形態においては、1stオーディオデコーダ75-1から出力されるオーディオデータと2ndオーディオデコーダ75-2から出力されるオーディオデータとをミキシング重畳することを、合成するとも称する。すなわち、合成とは、2つのオーディオデータを、ミキシングすることも示すものとする。また、スイッチ32により選択されたサウンドデータは、バッファ95に供給され、バッファリングされる。バッファ95は、所定のタイミングでサウンドデータをミキシング処理部97に供給する。サウンドデータは、この場合、メニュー選択などによる効果音のデータである。ミキシング処理部97は、ミキシング処理部101によりミキシングされたオーディオデータ1stオーディオデコーダ75-1から出力されたオーディオデータと2ndオーディオデコーダ75-2から出力されたオーディオデータとがミキシングされたオーディオデータと、バッファ95から供給されてきたサウンドデータをミキシング重畳、または合成し、音声信号として出力する。そして、テキストサブタイトルTextSTデータ、プレゼンテーショングラフィックスストリーム、バックグラウンドイメージデータ、および、ビデオデータの処理については、基本的に、再生装置1のAVデコーダ部26を用いて説明した場合と同様である。また、スイッチ57乃至58、および、スイッチ162、並びにスイッチ77は、操作入力部29を用いて指令されるユーザからの選択に基づいて、または、対象となるデータが含まれるファイルが供給される側に、スイッチを切り替える。例えば、サブClipAVストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ162はサブClipAVストリームファイルを供給する側PIDフィルタ56の出力にスイッチを切り替える。次に、図36の再生装置141における再生処理について説明する。操作入力部29を用いてユーザにより所定のAVストリームの再生が指令されたとき、コントローラ21は、ストレージドライブ22を介して記録媒体11から、または、HDDなどで構成されるローカルストレージ24から、例えば、図9を用いて説明したPlayListのファイルと、PlayListに含まれるPlayItemおよびSubPlayItemに基づいて、メインClipAVストリーム、サブClipAVストリーム、およびテキストサブタイトルデータTextSTデータを読み出す。コントローラ21は、バックグラウンドイメージデータをバッファ51に供給し、メインClipAVストリームのデータをバッファ52に供給し、サブClipAVストリームのデータをバッファ53に供給し、TextSTのデータをバッファ54に供給するようスイッチ32を切り替える。そして、スイッチ32が切り替えられて、バックグラウンドイメージデータはバッファ51に供給され、メインClipAVストリームのデータはバッファ52に供給され、サブClipAVストリームのデータはバッファ53に供給され、テキストサブタイトルデータはバッファ54に供給され、各バッファ51乃至54は、供給されたデータをそれぞれバッファリングする。そして、バッファ51は、バックグラウンドイメージデータをバックグラウンドデコーダ71に出力し、バッファ52はメインClipAVストリームのストリームデータをPIDフィルタ161に出力し、バッファ54は、テキストサブタイトルデータをテキストサブタイトルコンポジション76に出力し、バッファ53は、サブClipAVストリームのストリームデータをPIDフィルタ56に出力する。PIDフィルタ161は、ビデオストリームをビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1または2ndオーディオデコーダ75-2への供給元となるスイッチ162に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。そして、PIDフィルタ56は、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2への供給元となるスイッチ162に供給する。そして、PIDフィルタ161およびPIDフィルタ56の後段のスイッチ57、スイッチ58、および、スイッチ162は、コントローラ21からの制御に基づいて、メインClipとサブClipのいずれかを選択する。すなわち、スイッチ57は、PIDフィルタ161から供給されたメインClipAVストリームまたはサブClipAVストリームのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ73に供給する。また、スイッチ58は、PIDフィルタ161から供給されたメインClipAVストリームまたはサブClipAVストリームのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。さらに、スイッチ162は、PIDフィルタ161から供給されたメインClipAVストリーム、または、PIDフィルタ56から供給されたサブClipAVストリームのオーディオストリームここでは、音声が切り替えられる前であるので、オーディオストリーム1を選択し、後段の1stオーディオデコーダ75-1に供給する。なお、音声を切り替えるような指令がユーザにより行われた場合には、スイッチ162は、メインClipAVストリームのオーディオストリームを2ndオーディオデコーダ75-2に供給したり、サブClipAVストリームのオーディオストリームを1stオーディオデコーダ75-1や2ndオーディオデコーダ75-2に供給したりもするが、ここでは、音声が切り替えられる前の再生処理について説明しているので、その説明は省略している。そして、バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部91に出力し、ビデオデコーダ72は、ビデオストリームをデコードし、これをビデオプレーン生成部92に出力し、プレゼンテーショングラフィックスデコーダ73は、スイッチ57により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ77に出力し、インタラクティブグラフィックスデコーダ74は、スイッチ58により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部94に出力し、TextSTコンポジション76は、テキストサブタイトルデータをデコードし、これを後段のスイッチ77に出力する。そして、1stオーディオデコーダ75-1は、スイッチ162により選択され、供給されたオーティオストリームオーディオストリーム1をデコードし、これを後段のミキシング処理部101に出力する。音声の切り替えがユーザにより指示されていない状態における再生処理では、2ndオーディオデコーダ75-2からオーディオデータが出力されることはないので、ミキシング処理部101は、1stオーディオデコーダ75-1から出力されたオーディオデータを、そのまま後段のミキシング処理部97に供給する。スイッチ77は、プレゼンテーショングラフィックスデコーダ73またはTextSTコンポジション76からのデータのいずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成し、ビデオプレーン生成部92は、ビデオデコーダ72から供給されたビデオデータに基づいて、ビデオプレーンを生成し、プレゼンテーショングラフィックスプレーン生成部93は、スイッチ77により選択され、供給されたプレゼンテーショングラフィックスデコーダ73からのデータまたはTextSTコンポジション76からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成し、インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。また、バッファ95は、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部97に供給する。そして、ビデオデータ処理部96は、各プレーンのデータを合成し、ビデオデータとして出力する。ミキシング処理部97は、オーディオデータミキシング処理部101から出力されたオーディオデータとサウンドデータをミキシング合成し、出力する。このような処理により、PlayListに含まれるメインパスとサブパスによりメインClipAVストリーム、サブClipAVストリーム、およびテキストサブタイトルデータが参照され、再生される。PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClipAVストリームファイルとは異なるClipAVストリームである、サブClipAVストリームを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipに含まれるデータとメインClipに含まれるデータとを一緒に同じタイミングで再生することができる。次に、音声の切り替えが指示された場合の再生装置141における処理について説明する。最初に、ユーザによりオーディオストリーム1に対する音声の切り替えが指示される場合の処理を説明する。オーディオストリーム2に対する音声の切り替えの処理については、後述する。なお、これらの処理は、例えば、再生装置141の再生処理の実行中に実行される処理である。まず、コントローラ21は、オーディオストリーム番号IDでもよいの順番リストを取得する。具体的には、コントローラ21は、PlayItemのSTNtableを参照し、さらに図35を用いて説明した第3のSTNtableにエントリーされているオーディオストリーム番号IDの順番のリストを取得する。この処理は、再生処理が開始されたときに実行される処理である。ユーザにより、操作入力部29を用いて、音声切り替えの指令が行われた場合、コントローラ21は、ユーザからのオーディオストリーム1に対する音声切り替えの指令を受け付ける。このとき、コントローラ21は、図示せぬ外部の表示装置を制御して、ストリームナンバーテーブルを外部の表示装置に表示させるように制御するようにしてもよい。この処理は、オーディオストリーム1に対する音声の切り替えが指令される場合の処理であるので、ユーザは、例えば、ストリームナンバーテーブルにおける、A_SN=1、A_SN=2、A_SN=3のオーディオの切り替えを指令する。具体的には、ユーザは、A_SN=1のオーディオ2からA_SN=2のオーディオ1へのオーディオの切り替えを指令する。コントローラ21は、この、ユーザからのオーディオストリーム1に対する音声の切り替えを受け付ける。コントローラ21は、再生しているオーディオストリーム番号の次のオーディオストリーム番号を取得する。例えば、A_SN=1に対応するオーディオストリームファイルが再生されていた場合、A_SN=2に対応するオーディオストリームの番号が取得される。コントローラ21は、streamattribute図18に記述されている内容に基づいて、自分自身再生装置141が、取得した番号に対応するオーディオストリームオーディオストリーム1を再生する機能を有するか否かを判定する。例えば、Streamentryにおいて、type=1である場合、コントローラ21は、再生装置141が取得した番号に対応するメインClipに含まれるオーディオストリームを再生する機能を有するか否かを判定する。取得した番号に対応するオーディオストリームは、オーディオデコーダ75-1でデコードされるオーディオストリーム1であるので、この処理は、このオーディオストリーム1を、オーディオデコーダ75-1がデコードできるか否かを判定しているとも換言することができる。取得した番号に対応するオーディオストリームを再生する機能を有しない場合、コントローラ21は、現在のストリーム番号の次のストリーム番号を取得する。すなわち、現在のストリーム番号のオーディオストリームを再生する機能を有さない場合には、そのストリーム番号は飛ばされ再生対象とならず、自分自身が再生する機能を有するオーディオストリームオーディオストリーム1の番号が取得されるまで、次のストリーム番号を取得する処理が繰り返される。一方、取得した番号に対応するオーディオストリームを再生する機能を有する場合、コントローラ21は、取得した番号に対応するオーディオストリームを含むClipを調べる。例えば、コントローラ21は、Streamentryのtypeに基づいて、取得した番号に対応するオーディオストリームがメインClipにあるのかtype=1、サブClipにあるのかtype=2を調べる。また、例えば、Streamentryにおいて、type=1である場合、コントローラ21は、取得した番号に対応するオーディオストリームが、メインClipにあることを確認する。さらに、例えば、type=2である場合、コントローラ21は、取得した番号に対応するオーディオストリームがサブClipにあることを確認する。そして、コントローラ21は、所望のオーディオストリーム、具体的には、取得した番号に対応するストリームの属するメインClipまたはサブClipの中の所望のオーディオストリームを特定する。例えば、取得した番号に対応するオーディオストリームが、メインClipに含まれることが確認された場合、コントローラ21は、Streamentryのtype=1でエントリーされている情報reftostreamPIDofmainClipに基づいて、メインClipの中の所定のオーディオストリームを特定する。また、例えば、取得した番号に対応するオーディオストリームがサブClipに含まれることが確認された場合、コントローラ21は、Streamentryのtype=2でエントリーされている情報reftoSubPathid、reftoSubClipentryid、reftostreamPIDofSubClipに基づいて、サブClipの中の所定のオーディオストリームを特定する。この特定されたオーディオストリームが、オーディオデコーダ75-1でデコードされるオーディオストリーム1となる。そして、コントローラ21は、所望のオーディオストリームが多重化されているClipに含まれるClipAVストリームメインClipAVストリームまたはサブClipAVストリームから特定されたオーディオストリームを読み出すようストレージドライブ22に指示し、ストレージドライブ22は、この指示に基づいて、対象となるClipから所望のオーディオストリームを読み出して、AVデコーダ部151に供給する。または、コントローラ21は、ローカルストレージ24に記録されている、所望のオーディオストリームが多重化されているClipAVストリームメインClipAVストリームまたはサブClipAVストリームから所望のオーディオストリームを読み出して、AVデコーダ部151に供給する。そして、コントローラ21は、読み出された所望のオーディオストリームすなわち、オーディオストリーム1をAVデコーダ部151のオーディオデコーダ75-1に供給するとともに、そのオーディオストリームをデコードさせるようオーディオデコーダ75-1に指示する。AVデコーダ部151のオーディオデコーダ75-1は、オーディオストリーム1ステップS58の処理で読み出しが指令されたオーディオストリームをデコードし、ミキシング処理部101に出力する。ここで、オーディオストリーム2がオーディオデコーダ75-2によってデコードされている場合には、ミキシング処理部101は、デコードされたオーディオストリーム1とオーディオストリーム2とをミキシングし、後段のミキシング処理部97に供給する。一方、オーディオストリーム2がオーディオデコーダ75-2によってデコードされていない場合には、ミキシング処理部101は、デコードされたオーディオストリーム1をそのまま、後段のミキシング処理部97に供給する。ミキシング処理部97は、ミキシング処理部101から供給されたオーディオデータオーディオストリーム1のみがデコードされたオーディオデータ、または、オーディオストリーム1とオーディオストリーム2とがそれぞれデコードされ、ミキシングされたオーディオデータと、バッファ95から出力されるサウンドデータとを、ミキシング処理し、オーディオ信号として出力する。次に、ユーザによりオーディオストリーム2に対する音声の切り替えが指示される場合の処理を説明する。なお、この処理も、再生処理の実行中に実行される処理である。また、一般的には、オーディオストリーム2を再生する場合、オーディオストリーム1もまた再生されているので、この処理は、例えば、オーディオストリーム1の再生処理と並行して実行され、オーディオストリーム2がユーザにより選択されない場合には、オーディオストリーム1の再生処理のみが実行される。まず、コントローラ21は、PlayItemのSTNtableを参照し、さらに図35を用いて説明した第3のSTNtableにエントリーされているオーディオストリーム番号IDの順番のリストを取得する。この処理は、再生処理が開始されたときに実行される処理である。ユーザにより、操作入力部29を用いて、音声切り替えの指令が行われた場合、コントローラ21は、ユーザからのオーディオストリーム2に対する音声切り替えの指令を受け付ける。このとき、コントローラ21は、図示せぬ外部の表示装置を制御して、図26ストリームナンバーテーブルを外部の表示装置に表示させるように制御するようにしてもよい。この処理は、オーディオストリーム2に対する音声の切り替えが指令される場合の処理であるので、ユーザは、例えば、ストリームナンバーテーブルにおける、A_SN2=1とA_SN2=2とに対応するオーディオの切り替えを指令する。コントローラ21は、この、ユーザからのオーディオストリーム2に対する音声の切り替えを受け付ける。コントローラ21は、再生しているオーディオストリーム番号の次のオーディオストリーム番号を取得する。そして、コントローラ21は、streamattribute図18に記述されている内容に基づいて、取得した番号に対応するオーディオストリームオーディオストリーム2を自分自身再生装置141が再生する機能を有するか否かを判定する。取得した番号に対応するオーディオストリームは、オーディオデコーダ75-2でデコードされるオーディオストリーム2であるので、この処理は、このオーディオストリーム2を、オーディオデコーダ75-2がデコードできるか否かを判定しているとも換言することができる。なお、1stオーディオデコーダ75-1でデコードされるオーディオストリーム1の方が、2ndオーディオデコーダ75-2でデコードされるオーディオストリーム2より拡張性が高くマルチストリームである場合を仮定するような場合、例えば、1stオーディオデコーダ75-1の方が2ndオーディオデコーダ75-2よりも高い性能を有する場合オーディオストリーム1が通常の映画の音声であり、オーディオストリーム2が映画に対する監督のコメントなどの場合、2ndオーディオデコーダ75-2でデコードされるオーディオストリーム2は、ある程度の制約が設けられている可能性が高く、オーディオデコーダ75-2がデコードできないようなストリームは、オーディオストリーム2として設定されない可能性が高いと仮定することができるので、この処理を省略するようにしてもよい。取得した番号に対応するオーディオストリームを再生する機能を有しない場合、コントローラ21は、現在のストリーム番号の次のストリーム番号を取得する。すなわち、現在のストリーム番号のオーディオストリームを再生する機能を有さない場合には、そのストリーム番号は飛ばされ再生対象とならず、自分自身が再生する機能を有するオーディオストリームオーディオストリーム2の番号が取得されるまで、次のストリーム番号を取得する処理が繰り返される。一方、取得した番号に対応するオーディオストリームを再生する機能を有する場合、コントローラ21は、Streamentryのtypeに基づいて、取得した番号に対応するオーディオストリームがメインClipにあるのかtype=1、サブClipにあるのかtype=2を調べる。Streamentryにおいて、type=1である場合、コントローラ21は、取得した番号に対応するオーディオストリームが、メインClipにあることを確認する。また、Streamentryにおいて、type=2である場合、コントローラ21は、取得した番号に対応するオーディオストリームがサブClipにあることを確認する。そして、コントローラ21は、取得した番号に対応するストリームの属するメインClipまたはサブClipの中の所望のオーディオストリームを特定する。例えば、取得した番号に対応するオーディオストリームが、メインClipに含まれることが確認された場合、コントローラ21は、Streamentryのtype=1でエントリーされている情報reftostreamPIDofmainClipに基づいて、メインClipの中の所定のオーディオストリームを特定する。また、例えば、取得した番号に対応するオーディオストリームがサブClipに含まれることが確認された場合、コントローラ21は、Streamentryのtype=2でエントリーされている情報reftoSubPathid、reftoSubClipentryid、reftostreamPIDofSubClipに基づいて、サブClipの中の所定のオーディオストリームを特定する。この特定されたオーディオストリームが、オーディオデコーダ75-1でデコードされるオーディオストリーム2となる。そして、コントローラ21は、所望のオーディオストリームが多重化されているClipAVストリームメインClipAVストリームまたはサブClipAVストリームAVストリームを読み出すようストレージドライブ22に指示し、ストレージドライブ22は、この指示に基づいて、対象となるClipAVストリームを読み出し、AVデコーダ151に供給する。または、コントローラ21は、ローカルストレージ24からは、所望のオーディオストリームが多重化されているClipAVストリームメインClipAVストリームまたはサブClipAVストリームを読み出させ、AVデコーダ151に供給させる。そして、コントローラ21は、読み出されたClipに含まれる所望のオーディオストリームすなわち、オーディオストリーム2をAVデコーダ部151のオーディオデコーダ75-2にデコードさせるよう指示する。AVデコーダ部151は、オーディオストリームオーディオストリーム2をデコードし、オーディオ出力する。具体的には、AVデコーダ部151のオーディオデコーダ75-2は、オーディオストリーム2ステップS78の処理で読み出しが指令されたオーディオストリームをデコードし、ミキシング処理部101に出力する。この処理で、オーディオストリーム2がオーディオデコーダ75-2によってデコードされているということは、の処理でオーディオストリーム1がオーディオデコーダ75-1によってもデコードされ、デコードされたオーディオストリーム1がミキシング処理部101に出力されているので、ミキシング処理部101は、デコードされたオーディオストリーム1とオーディオストリーム2とをミキシングし、後段のミキシング処理部97に供給する。ミキシング処理部97は、ミキシング処理部101から供給されたオーディオデータオーディオストリーム1とオーディオストリーム2とがそれぞれデコードされ、ミキシングされたオーディオデータと、バッファ95から出力されるサウンドデータとを、ミキシング処理し、オーディオ信号として出力する。このようにして、2つのオーディオストリームを選択し、ミキシングして再生することができる。すなわち、再生するオーディオストリームが1つである場合、スイッチ59は、PIDフィルタ55またはPIDフィルタ56からから供給されたオーディオストリームを1stオーディオデコーダ75-1に供給するよう選択し、再生するオーディオストリームが2つである場合、スイッチ59は、PIDフィルタ55またはPIDフィルタ56から供給されたオーディオストリームを2ndオーディオデコーダ75-2に供給するよう選択する。すなわち、コントローラ21は、PlayItemのSTNtableに基づいて、音声オーディオの切り替えを制御することができ、STNtableのstreamattributeを参照することで、自分自身が再生機能を有するストリームだけを選んで、再生切り替えの制御をすることができる。さらに、コントローラ21は、STNtableに基づいて、2つのオーディオストリームを重畳して再生するよう制御することができる。また、コントローラ21は、1つのメインとなるオーディオストリーム1と、オーディオストリーム1と同期して再生される同じ種類のストリームオーディオストリームであるオーディオストリーム2とを、ミキシングして再生するよう制御することができる。なお、この処理においても、オーディオストリーム番号に基づいて、オーディオを切り替えるものとして説明したが、オーディオストリームIDaudiostreamidに基づいて、オーディオを切り替えるようにしてもよい。この場合、オーディオストリーム番号から1を減算したものが、オーディオストリームIDとなる。また、第3のSTNtableを用いる場合の処理も、オーディオストリームに限らず、ストリームの種類が同じであれば、各種のストリームファイルについて同様に適用することができる。例えば、ビデオストリームストリームの種類がビデオストリームであるストリームを2つ合成して再生するピクチャインピクチャ表示をする場合にも、この構成は適用することができる。このように、本発明によれば、2つの同じ種類のストリームファイルを合成して再生することができる。すなわち、この構成も、例えば、図43を用いて後述するように、メインパスで参照されるAVストリームのビデオストリームビデオストリーム1を主画面として表示させ、主画面の中に、サブパスやメインパスのビデオパスで参照されるビデオストリームビデオストリーム2を子画面として合成して表示させる、いわゆるPinPピクチャインピクチャ表示などについても利用することができる。以上により、再生装置141も、再生装置1における場合と同様に、メインのAVストリームとは別のストリームやデータファイルでオーディオや字幕などを用意する場合に、PlayListの中にメインパスとサブパスを有する構成としたので、ユーザによる音声切り替えや字幕切り替えという操作が、メインClipAVストリームとは異なる別ストリームや別データファイルの中から選ぶことができる。また、メインパスのPlayItemの中に、AVストリームファイルに多重化されているデータと、SubPathにより参照されるデータのtypeを定義するSTNTableを設けるようにしたので、より、拡張性の高いストリームを実現することができる。さらに、再生装置141も、再生装置1における場合と同様に、STNtableのstreamattributeを参照することで、自分自身が有する機能に対応するストリームだけを順次選択して再生することができる。以上説明した再生装置141が、図35の第3のSTNtableを参照して再生処理を行った場合についてまとめると、以下のようになる。再生装置141は、少なくとも1つのストリームを含むメインClipAVストリームファイルの位置を示す主の再生パスであるメインパスと、メインClipAVストリームファイルのタイミングに合わせて再生されるサブClipAVストリームファイルのそれぞれの位置を示す複数のサブパスにより構成される再生管理情報としてのPlayListを取得する。そして、再生装置141は、PlayListに含まれる再生するストリームを選択するためのSTNtableに基づいて、再生するストリームの選択を受け付ける。STNtableは、メインClipAVストリームファイルの所定の種類のストリーム例えば、オーディオストリーム1と、そのストリームの再生のタイミングに合わせて再生される、同じ種類のストリームファイル例えば、オーディオストリーム2とを選択するための情報であるので、このSTNtablePlayItemで示されるSTNtableに基づいて、再生するストリームの選択を受け付ける。ここで、2つの同じ種類のストリームオーディオストリームが再生するストリームとして選択された場合、再生装置141は、選択された2つのストリームファイルを読み出し、再生装置141のミキシング処理部101は、この2つのオーディオストリームデコードされたオーディオストリームを合成し、ミキシング処理部97AVデコーダ部151は、合成されたストリームを再生出力する。これにより、ユーザに選択された切り替えられて選択された2つのオーディオがミキシング合成されて再生される。また、上述した再生装置1における場合と同様に、PlayListにMainPathとSubPathを含め、MainPathとSubPathが異なるClipを参照する構成としたので、ストリームに拡張性を持たせることができ、例えば、図8を用いて説明したように、1つのSubPathで複数のファイルを参照可能な構成としたので、複数の異なるストリームの中からユーザが選択することができる。さらに、MainPathのPlayItemの中に、MainPathにより参照されるAVストリームファイルに多重化されている含まれる付属データ例えば、オーディオストリームと、SubPathにより参照される付属データとを定義するテーブルとして、図35のSTNtableを設けるようにしたので、より、拡張性の高いストリームを実現することができる。また、STNtableにエントリーすれば、SubPathを容易に拡張することができる。また、STNtableにストリームの属性情報である図18のstreamattributeを設けるようにしたので、再生装置141は、選択されたストリームを再生可能か否かを判定することができ、再生機能を有するストリームだけを選択して再生することができる。さらに、STNtable図35において、2つの同じ種類のストリームファイルここでは、オーディオストリームファイルを定義するようにし、さらに、図36の再生装置141に2つのオーディオデコーダ1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2を設けるとともに、2つのオーディオデコーダによりデコードされたオーディオデータを合成ミキシングするミキシング処理部101を設けるようにしたので、2つの同じ種類のストリームを組み合わせて同時に再生することができる。また、上述した再生装置1における場合と同様に、SubPathには、図11を用いて説明した、SubPathのタイプオーディオやテキスト字幕といったタイプを示すSubPathtype、SubPathが参照するサブClipの名を示す図12のClipInformationfilename、およびSubPathが参照するClipAVストリームのイン点を示す図12のSubPlayItemINtimeとアウト点を示す図12のSubPlayItemOUTtimeを含むようにしたので、SubPathが参照するデータを的確に特定することができる。さらに、上述した再生装置1における場合と同様に、SubPathには、SubPathがMainPathとを同じタイミングで再生するためのMainPath上のAVストリームファイルを指定する指定情報である図12のsyncPlayItemid例えば、図7と図8のsyncPlayItemidと、SubPathが参照するデータのイン点がMainPathの時間軸上で同期してスタートするMainPath上の時刻であるsyncstartPTSofPlayItem例えば、図7と図8のsyncstartPTSofPlayItemとをさらに含むため、図7や図8に示されるように、MainPathが参照するメインClipAVストリームファイルに同期してSubPathが参照するデータファイルを再生することができる。また、2つのオーディオストリームをミキシングして再生する場合、再生装置141の1stオーディオデコーダ75-1はオーディオストリーム1をデコードし、2ndオーディオデコーダ75-2はオーディオストリーム2をデコードするのであるが、コーディックエンコード方式が同一例えば、図19のDolbyAC3audioであるか否かを、さらに判定するようにしてもよい。このことは、1stオーディオデコーダ75-1と2ndオーディオデコーダ75-2がオーディオストリームをデコードしている途中であっても、コーディック方式が同一であれば、デコード途中のデータ方式も同様であるので、途中の同一の段階までデコードされた2つのストリームを、ミキシング処理部101によりミキシングすることが可能となるからである。なお、図36を用いて説明した再生装置141のAVデコーダ部151に供給されるデータは、上述した再生装置1における場合と同様に、DVDDigitalVersatileDiscなどの記録媒体11に記録されているデータであってもよいし、ハードディスクなどで構成されるローカルストレージ24に記録されているデータであってもよいし、ネットワーク2を介してダウンロードされたデータであってもよいし、これらが組み合わされたデータでもよい。また、図35を用いて説明した第3のSTNtableを参照して再生処理が行われる場合においては、図36の再生装置141の1stオーディオデコーダ75-1でデコードされるオーディオストリーム1と、2ndオーディオデコーダ75-2でデコードされるオーディオストリーム2とを、ユーザが別々に選択可能な構成としたが、オーディオストリーム1とオーディオストリーム2との組み合わせを定義し、ミキシング再生する場合には、この組み合わせの中からユーザに選択させる構成としてもよい。すなわち、オーディオストリーム1とミキシング再生可能なオーディオストリーム2の組み合わせを定義しておくようにしてもよい。以下、再生されるストリームの組み合わせが定義されている場合について説明する。図37は、オーディオストリーム1とオーディオストリーム2との組み合わせを定義する場合のSTNtableのシンタクスの第4の例第4のSTNtableの例を示す図である。第4のSTNtableを参照して実行される再生処理は、図36を用いて説明した再生装置141において実行可能である。なお、図中、図35と同一の部分については、繰り返しになるのでその説明は省略する。図37において、オーディオストリームID2のforループの中で、順番にstreamentryごとに特定される1つのオーディオエレメンタリストリームに、0からaudiostreamid2が与えられる。このとき、audiostreamid2に対し、streamentryとstreamattributeとの他に、新たにCombinationofPrimaryandSecondaryが定義される。CombinationofPrimaryandSecondaryは、オーディオストリーム1Primaryとオーディオストリーム2Secondaryとの組み合わせを定義する情報である。すなわち、オーディオストリームID2で特定されるオーディオストリーム2に対して、どのオーディオストリーム1が組み合わせ可能であるかを示す情報が、オーディオストリームID2のforループの中で定義される。換言すれば、CombinationofPrimaryandSecondaryにより、オーディオストリーム1に対して組み合わせ可能なオーディオストリーム2が定義される。このように、オーディオストリームID1のforループ内で組み合わせるオーディオストリームID2を定義するのではなく、オーディオストリームID1とオーディオストリームID2を個別に定義し、オーディオストリームID2のforループの中で組み合わせを定義することにより、オーディオストリームID1の登録可能数が決まっている場合にでも、組み合わせの登録を1つとカウントさせないことにより、その登録可能数を有効に使うことができる。なお、図35を参照して説明したように、オーディオストリームID2audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。この場合、audiostreamnumber2は、0ではなく1から与えられる。すなわち、audiostreamid2の値に1を加算したものがaudiostreamnumber2である。オーディオストリーム番号2は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号2であるので、1から定義される。ここで、図37のCombinationofPrimaryandSecondaryのビットマップシンタクスの例を、図38を参照して説明する。CombinationofPrimaryandSecondaryのビットマップシンタクスは、図38の例の場合、32bitとされる。図38において、audiostreamidは、図37の第3のSTNtableで定義されるaudiostreamidオーディオストリームIDを示しており、indicatorの値は、対応するaudiostreamid2オーディオストリームID2により特定されるオーディオストリーム2と組み合わせ可能なオーディオストリーム1を特定するaudiostreamidを示すフラグである。すなわち、audiostreamidとindicatorとにより、audiostreamid2で与えられるオーディオストリーム2と組み合わせ可能なオーディオストリーム1のaudiostreamidを特定することができる。すなわち、図37のaudiostreamid2のforループの中にCombinationofPrimaryandSecondaryが規定されるように、それぞれのaudiostreamid2に対して、CombinationofPrimaryandSecondaryが存在し、ある特定のaudiostreamid2により特定されるオーディオストリーム2に対して組み合わせが可能なオーディオストリーム1が、indicatorにより示されるaudiostreamidにより特定される。具体的には、Indicatorの値が0の場合、そのaudiostreamid2は、audiostreamidで特定されるオーディオストリーム1に対応していないことを示し、indicatorの値が1の場合、そのaudiostreamid2は、audiostreamidで特定されるオーディオストリーム1に対応していることを示す。すなわち、図38の例の場合、audiostreamid2オーディオストリームID2で特定されるオーディオストリーム2には、audiostreamid=0と、audiostreamid=1で特定される2つのオーディオストリームオーディオストリーム1が組み合わせ可能であることが示されている。なお、図38においては、組み合わせ可能なオーディオストリーム1を、audiostreamidで特定するようにしたが、audiostreamidの代わりに、オーディオストリーム番号を用いるようにしてもよい。この場合、audiostreamidは、0ではなく1から与えられる。図38のように、CombinationofPrimaryandSecondaryを32bitのビットマップシンタクスで定義するようにしたので、32本のオーディオストリーム1に対して、組み合わせ可能なオーディオストリーム2をそれぞれ定義することができる。図37と図38によれば、audiostreamidおよびaudiostreamid2、並びに、CombinationofPrimaryandSecondaryを用いて、オーディオストリーム1とオーディオストリーム2との組み合わせを定義することができる。すなわち、矛盾するようなオーディオストリームの組み合わせを定義せずに済むので、ユーザは、常に再生可能なオーディオストリームの組み合わせの再生を選択することができる。具体的な例を、図39を参照して説明する。図39は、ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルの例を示す図である。なお、図中、字幕信号サブピクチャの記載については、図26と同様であるので、その説明は省略する。図39においては、PlayListのMainPathを構成するPlayItemの第4のSTNtableでエントリーされるオーディオストリーム1audiostreamidでエントリーされるオーディオストリームのそれぞれにA_SNが与えられる。具体的には、A_SN=1にオーディオ2が与えられ、A_SN=2にオーディオ1が与えられ、A_SN=3にオーディオ3が与えられている。このとき、A_SN=1のオーディオ2に対しては、オーディオ4audiostreamid2=0、すなわち、オーディオストリーム番号2が1であるオーディオ4が組み合わせ可能とされている。また、A_SN=2のオーディオ1に対しては、オーディオ4audiostreamid2=0、すなわち、オーディオストリーム番号2が1であるオーディオ4とオーディオ5audiostreamid2=1、すなわち、オーディオストリーム番号2が2であるオーディオ5とが組み合わせ可能とされている。具体的には、オーディオ4audiostreamid2=0のオーディオ4の場合、図38のCombinationofPrimaryandSecondaryのビットマップシンタクスは、audiostreamid=0とaudiostreamid=1に対するindicatorの値がともに1とされ、audiostreamid=2からaudiostreamid=31までのindicatorの値は、すべて0とされる。また、オーディオ5audiostreamid2=1のオーディオ5の場合、図38のCombinationofPrimaryandSecondaryのビットマップシンタクスは、audiostreamid=1に対するindicatorの値のみが1とされ、audiostreamid=0と、audiostreamid=2からaudiostreamid=31までのindicatorの値は、すべて0とされる。ユーザは、A_SNが与えられているオーディオストリームの中から、再生するオーディオストリーム1を選択し、選択したオーディオストリーム1とミキシングするオーディオストリーム2を、A_SNが与えられているオーディオストリームの図中右側に表示されているものの中から選択する。図39の例の場合、オーディオストリーム1として、オーディオ2A_SN=1を選択する場合、ミキシング可能なオーディオストリーム2は、オーディオ2の図中右側に表示されているオーディオ4のみであるので、これを、ミキシング再生するか否かを選択する。図39においては、A_SN=1のオーディオ2に対応するオーディオ4は、×、すなわち、ミキシング再生を選択しない状態とされている。ユーザは、この×を切り替えて○とすることで、オーディオ2とオーディオ4とのミキシング再生が選択された状態とすることができる。また、例えば、図39の例の場合、オーディオストリーム1として、オーディオ1A_SN=2を選択する場合、ミキシング可能なオーディオストリーム2は、オーディオ2の図中右側に表示されているオーディオ4とオーディオ5の中から選択することができる。そのため、ユーザは、オーディオストリーム1をどのオーディオストリーム2と再生するか否かを選択する。図39においては、A_SN=2のオーディオ1に対応するオーディオ4とオーディオ5は、×、すなわち、ミキシング再生を選択しない状態とされている。ユーザは、この×を切り替えて○とすることで、オーディオ2とオーディオ4、またはオーディオ2とオーディオ5のミキシング再生が選択された状態とすることができる。この再生の選択の具体的な例としては、A_SN=1のオーディオ2が選択されている場合に、ユーザが、オーディオの切り替えを指令した場合、A_SN=1のオーディオ2とオーディオ4との組み合わせの再生図39のオーディオ2に対応するオーディオ4が○となるに切り替えられ、ユーザが、さらにオーディオの切り替えを指令した場合、オーディオは、A_SN=2のオーディオ1の再生図39のオーディオ2に対応するオーディオ4が×となるに切り替えられ、ユーザが、さらにオーディオの切り替えを指令した場合、オーディオは、A_SN=2のオーディオ1とオーディオ4との組み合わせの再生図39のオーディオ1に対応するオーディオ4が○となるに切り替えられる。また、ユーザが、さらにオーディオの切り替えを指令した場合、オーディオは、A_SN=2のオーディオ1とオーディオ5との組み合わせの再生図39のオーディオ1に対応するオーディオ4が×となり、オーディオ5が○となるに切り替えられる。ユーザは、このようにして再生されるオーディオストリームの選択を切り替えて、例えば、図40に示されるように、A_SN2のオーディオ1とオーディオ5との組み合わせの再生を選択することができる。これにより、オーディオ1オーディオストリーム1とオーディオ5オーディオストリーム2とをミキシング再生することができる。このように、audiostreamidおよびaudiostreamid2、並びに、CombinationofPrimaryandSecondaryを用いて、オーディオストリーム1とオーディオストリーム2との組み合わせを定義するようにすることで、矛盾するような組み合わせを定義せずに済み、ユーザは、常に再生可能なオーディオストリームの組み合わせを選択することができる。すなわち、図39の例においては、矛盾するオーディオストリームの組み合わせであるオーディオ2オーディオ5を定義しないようにすることで、ユーザに、選択可能なもののみを提供することができる。換言すれば、PlayItemの中の第4のSTNtable図37で、図36の1stオーディオデコーダ75-1でデコードするオーディオストリーム1と、2ndオーディオデコーダ75-2でデコードするオーディオストリーム2との組み合わせを、CombinationofPrimaryandSecondaryを用いて定義するようにしたので、2つのオーディオストリームをミキシングして再生することができる。すなわち、複数の種類からなるストリームから、同じ種類この例の場合、オーディオストリームのストリームをミキシング重畳、または合成して、同時に再生することができる。また、このような構成とすることにより、ユーザは、ミキシングする2つのオーディオストリームを個々に選ぶ必要がなく、2つのオーディオストリームが組み合わせられたものの中から、再生するオーディオストリームを選択することができる。次に、オーディオストリーム1とオーディオストリーム2との組み合わせを定義し、ミキシング再生する場合、すなわち、オーディオストリーム1とオーディオストリーム2の組み合わせの中からユーザに再生の選択をさせる構成とする場合の2番目の例を、図41を参照して説明する。換言すれば、図41は、オーディオストリーム1とミキシング再生可能なオーディオストリームを、オーディオストリーム2として定義する場合の2番目の例である。図41は、オーディオストリーム1とオーディオストリーム2との組み合わせを定義する場合のSTNtableのシンタクスの第5の例第5のSTNtableの他の例を示す図である。第5のSTNtableを参照して実行される再生処理も、図36を用いて説明した再生装置141において実行可能である。なお、図中、図35と同一の部分については、繰り返しになるのでその説明は省略する。図41において、オーディオストリームID2のforループの中で、順番にstreamentryごとに記録位置が特定される1つのオーディオエレメンタリストリームに、0からaudiostreamid2が与えられる。このとき、audiostreamid2に対して、numberofcombinationsが与えられ、numberofcombinationsの後のfor文では、numberofcombinationsの数だけ、audiostreamidが与えられる。numberofcombinationsと、numberofcombinationsの後のfor文は、オーディオストリーム1とオーディオストリーム2との組み合わせを定義する情報であり、audiostreamid2で特定されるオーディオストリーム2と組み合わせ可能なオーディオストリーム1の数が、numberofcombinationsとされる。そして、audiostreamid2で特定されるオーディオストリーム2と組み合わせ可能なオーディオストリーム1を特定するaudiostreamidが、numberofcombinationsの後のfor文で定義される。すなわち、図37とは異なり、図41の第5のSTNtableのオーディオストリームID2のfor文の中では、そのオーディオストリームID2で特定されるオーディオストリーム2に対して、オーディオストリーム1との組み合わせ可能な数がnumberofcombinationsで定義され、numberofcombinationsの後のfor文で、対象となるオーディオストリーム1を特定するaudiostreamidを直接定義している。このように、第5のSTNtableでは、オーディオストリームID2で特定されるオーディオストリーム2に対して、どのオーディオストリーム1が組み合わせ可能であるかを示す情報が、オーディオストリームID2のnumberofcombinationsの後のfor文で定義される。すなわち、オーディオストリームID2のnumberofcombinationsの後のfor文により、オーディオストリーム1に対して組み合わせ可能なオーディオストリーム2が定義される。なお、図35を参照して説明した場合と同様に、オーディオストリームID2audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。また、オーディオストリームIDaudiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いるようにしてもよい。すなわち、numberofcombinationsの後のfor文で定義されるaudiostreamidも、オーディオストリーム番号としてもよい。図41によれば、numberofcombinationsと、その後のfor文を用いて、オーディオストリーム1とオーディオストリーム2との組み合わせを定義することができる。すなわち、矛盾するようなオーディオストリームの組み合わせを定義せずに済むので、ユーザは、常に再生可能なオーディオストリームの組み合わせの再生を選択することができる。この場合のストリームナンバーテーブルの具体的な例は、図39および図40を用いて説明した場合と同様である。すなわち、図39が図41の第5のSTNtableに対応する場合、オーディオ4audiostreamid2=0、すなわち、オーディオストリーム番号2が1であるオーディオ4に対して、組み合わせ可能なオーディオストリーム1として、A_SN=1のオーディオ2audiostreamid=0と、A_SN=2のオーディオ1audiostreamid=1とが定義されていることになる。この場合、図41のaudiostreamid2=0に対応するnumberofcombinationsの数は2つであり、定義されるaudiostreamidは、audiostreamid=0とaudiostreamid=1である。また、オーディオ5audiostreamid2=1、すなわち、オーディオストリーム番号2が2であるオーディオ5に対して、組み合わせ可能なオーディオストリーム1として、A_SN=2のオーディオ1audiostreamid=1が定義されていることになる。この場合、図41のaudiostreamid2=1に対応するnumberofcombinationsの数は1つであり、定義されるaudiostreamidは、audiostreamid=1である。ユーザは、図39に示されるオーディオの再生の選択を切り替えて、例えば、図40に示されるように、A_SN=2のオーディオ1とオーディオ5との組み合わせの再生を選択する。これにより、オーディオ1オーディオストリーム1とオーディオ5オーディオストリーム2とをミキシング再生することができる。このように、図41のnumberofcombinationsと、その後のfor文を用いて、オーディオストリーム1とオーディオストリーム2との組み合わせを定義するようにすることで、矛盾するような組み合わせを定義せずに済み、ユーザは、常に再生可能なオーディオストリームの組み合わせを選択することができる。すなわち、図39の例においては、矛盾するオーディオストリームの組み合わせであるオーディオ2オーディオ5を定義しないようにすることで、ユーザに、選択可能なもののみを提供することができる。換言すれば、PlayItemの中の第5のSTNtable図41で、図36の1stオーディオデコーダ75-1でデコードするオーディオストリーム1と、2ndオーディオデコーダ75-2でデコードするオーディオストリーム2との組み合わせを、numberofcombinationsと、その後のfor文とを用いて定義するようにしたので、2つの組み合わせ可能なオーディオストリームをミキシングして再生することができる。すなわち、複数の種類からなるストリームから、同じ種類この例の場合、オーディオストリームのストリームをミキシング重畳、または合成して、同時に再生することができる。また、第5のSTNtableを用いることにより、ユーザは、ミキシングする2つのオーディオストリームを個々に選ぶ必要がなく、2つのオーディオストリームが組み合わせられたものの中から、再生するオーディオストリームを選択することができる。次に、図42は、オーディオストリーム1とオーディオストリーム2との組み合わせを定義する場合のSTNtableのシンタクスの第6の例第6のSTNtableのさらに他の例を示す図である。第6のSTNtableを参照して実行される再生処理も、図36を用いて説明した再生装置141において実行可能である。なお、図中、図35や図41と同一の部分については、繰り返しになるのでその説明は省略する。図42の例のオーディオストリームIDのforループの中で、順番にstreamentryごとに特定される1つのオーディオストリーム1に、0からaudiostreamidが与えられることと、その後に配置されるstreamattributeとについては、図35の例と同様とされている。ただし、図42の例のオーディオストリームIDのforループの中には、さらに、オーディオストリーム1とオーディオストリーム2との組み合わせを定義する次のような情報が含まれる。即ち、numberofaudiostream2entriesが0でない場合if、numberofaudiostream2refentriesが与えられる。numberofaudiostream2refentriesは、audiostreamidで特定されるオーディオストリーム1と組み合わせ可能なオーディオストリーム2の数を示す。そして、audiostreamidで特定されるオーディオストリーム1と組み合わせ可能なオーディオストリーム2を特定するaudiostream2idrefが、numberofaudiostream2refentriesの後のfor文で定義される。なお、他の例と同様に、オーディオストリームID2refaudiostreamid2refの代わりに、オーディオストリーム番号2refaudiostreamnumber2refを用いるようにしてもよい。また、オーディオストリームIDaudiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いるようにしてもよい。このように、図42の例の第6のSTNtableを利用しても、オーディオストリーム1とオーディオストリーム2との組み合わせを定義することができる。すなわち、矛盾するようなオーディオストリームの組み合わせを定義せずに済むので、ユーザは、常に再生可能なオーディオストリームの組み合わせの再生を選択することができる。ところで、上述したように、本発明の再生装置に装着される記録媒体上、または、再生装置のローカルストレージに記録されるデータのアプリケーションフォーマットは、PlayListとClipの2つのレイヤを有している。そして、PlayListは、1つ以上のPlayItemの並びによって連続するPlayItemにより作られるメインパスと、そのMainPathに並行並列して、1つ以上のSubPlayItemの並びによって非連続でもよいし、連続してもよいSubPlayItemにより作られるサブパスSubPathを1以上含むことができる。従って、例えば図43に示されるように、1画面のうちの、全画面301に、メインパスで参照されるAVストリーム図43中、PrimaryVideoと記述されているビデオストリーム311、および、PrimaryAudioと記述されているオーディオストリーム312に対応する映画本編等のコンテンツを再生させるとともに、全画面301に配置される子画面302に、サブパスで参照されるAVストリーム図43中、SecondaryVideoと記述されているビデオストリーム313、および、SecondaryAudioと記述されているオーディオストリーム314に対応する映画の監督のコメンタリー等、メインパスで参照されるAVストリームとは別のコンテンツを再生させる、といった手法を適用することが可能になる。即ち、全画面親画面301と子画面302のそれぞれに別々のコンテンツを同時再生させる、といった手法を適用することが可能になる。このような手法はピクチャインピクチャ手法と称される。なお、PrimaryAudioと記述されているオーディオストリーム312に対応する音声と、SecondaryAudioと記述されているオーディオストリーム314に対応する音声との再生とは、上述したように、それら2つのオーディオストリームに対してミキシング処理が施された結果得られる音声の出力のことをいう。また、実際の再生対象は、上述したように、各ストリームに対応する音声や画像であるが、以下の説明においては、説明の簡略上、各ストリームとする場合もある。即ち、所定のストリームを再生する、といった表現を使用する場合もある。ピクチャインピクチャ手法を適用するアプリケーションを実現するためには、例えば次のようなシンタクスSyntaxが必要になる。即ち、例えば、本実施の形態では、STNtableにおいてvideostreamidで定義されたビデオストリーム以下、プライマリビデオストリームと称する。例えば、図43の例では、PrimaryVideoと記述されているビデオストリーム311を、プライマリビデオストリーム311と称するの数は、1つとされている。そこで、このことを考慮して、プライマリビデオストリームと同時に再生され得るストリームの組み合わせを定義するシンタクスがあれば、ピクチャインピクチャ手法の実現、即ち、ピクチャインピクチャを適用するアプリケーションの実現が可能になる。ここで、ピクチャインピクチャ手法により、プライマリビデオストリームと同時に再生され得るストリームとして、例えば本実施の形態では、次の第1乃至第4の種類のストリームが用意されている。第1の種類のストリームとはSTNtableにおいてaudiostreamidで定義されたオーディオストリーム、即ち、上述したオーディオストリーム1以下、プライマリオーディオストリームと称する。例えば、図43の例では、PrimaryAudioと記述されているオーディオストリーム312を、プライマリオーディオストリーム312と称するのことをいう。第2の種類のストリームとは、STNtableにおいてvideostreamid2で定義されたビデオストリーム以下、セカンダリビデオストリームと称する。例えば、図43の例では、SecondaryVideoと記述されているビデオストリーム313を、セカンダリビデオストリーム313と称するのことをいう。第3の種類のストリームとは、STNtableにおいてaudiostreamid2で定義されたオーディオストリーム、即ち、上述したオーディオストリーム2以下、セカンダリオーディオストリームと称する。例えば、図43の例では、SecondaryAudioと記述されているオーディオストリーム314を、セカンダリオーディオストリーム314と称するのことをいう。第4の種類のストリームとは、サブパスで参照されるテキスト字幕ストリームや、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリームPGPresentationGraphicsstream等のことをいう。例えば図43の例では、Subtitleと記述されているストリーム315が、第4の種類のストリームの一例である。なお、以下、第4の種類のストリームを、即ち、txtSTやPG等をまとめて、サブタイトルストリームと称する。なお、サブタイトルストリームの再生位置字幕等の表示位置は、特に子画面内である必要は無く、全画面のうちの何れの位置でもよい。このため、図43の例では、サブタイトルストリーム315は、子画面302からはみ出すように描画されている。以上説明したように、ピクチャインピクチャ手法を適用するアプリケーションを実現するためには、例えば、プライマリビデオストリームと組み合わせて同時再生され得るストリームの組み合わせの定義、即ち、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせの定義が必要となる。さらに、複数の組み合わせを定義することで、全画面301に再生されるプライマリビデオストリームやプライマリオーディオスオストリームの切り替えのみならず、子画面302に再生されるセカンダリビデオストリームの切り替えや、サブタイトルストリームの切り替えも容易に行えるようになる。ただし、その切り替え操作の例については、図46と図47を参照して後述する。このような、プライマリビデオストリームと組み合わせて同時再生され得るストリームの組み合わせの定義は、例えば、図44と図45に示されるような第7のSTNtableにて行うことが可能である。即ち、図44と図45とは、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの記録位置、属性、および、組み合わせを定義する場合のSTNtableのシンタクスの第7の例第7のSTNtableの例を示す図である。なお、図中、上述した図41と同一の部分については、繰り返しになるのでその説明は省略する。図44と図45の例では、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせは、次のように定義される。即ち、最初に、プライマリビデオストリームと組み合わせて同時再生され得るセカンダリビデオストリームが1以上定義される。そして、1以上のセカンダリビデオストリームのそれぞれに対して、同時に再生され得るオーディオストリームプライマリオーディオストリームとセカンダリオーディオストリームとサブタイトルストリームとが定義される。具体的には、図44において、numberofvideostream2entriesは、第7のSTNtableの中でエントリーされる登録されるvideostreamid2が与えられるストリーム数を示す。videostreamid2は、セカンダリビデオストリームを識別するための情報であり、videostreamnumber2は、ビデオ切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号である。図45において、ビデオストリームID2のforループの中で、順番にstreamentryごとに特定される1つのビデオエレメンタリストリームに、0からvideostreamid2が与えられる。このとき、videostreamid2に対して、numberofAudiocombinationsforvideo2が与えられ、その後のfor文では、numberofAudiocombinationsforvideo2の数だけ、audiostreamidとaudiostreamid2が与えられる。numberofAudiocombinationsforvideo2とその後のfor文とは、セカンダリビデオストリームと同時再生されるオーディオストリームの組み合わせ、即ち、audiostreamidで特定されるプライマリオーディオストリームと、audiostreamid2で特定されるセカンダリオーディオストリームとの組み合わせを定義する情報である。videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なオーディオストリームの組プライマリオーディオストリームとセカンダリオーディオストリームとの組の数が、numberofAudiocombinationsforvideo2とされる。そして、videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なオーディオストリームの組として、プライマリオーディオストリームを特定するaudiostreamidと、セカンダリオーディオストリームを特定するaudiostreamid2とが、numberofAudiocombinationsforvideo2の後のfor文でそれぞれ定義される。また、同じvideostreamid2に対して、numberofSubtitlecombinationsforvideo2が与えられ、その後のfor文では、numberofSubtitlecombinationsforvideo2の数だけ、PGtextSTstreamidが与えられる。numberofSubtitlecombinationsforvideo2とその後のfor文とは、セカンダリビデオストリームと同時再生されるサブタイトルストリームの組み合わせ、即ち、PGtextSTstreamidで特定されるサブタイトルストリームの組み合わせを定義する情報である。videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なサブタイトルストリームの数が、numberofSubtitlecombinationsforvideo2とされる。そして、videostreamid2で特定されるセカンダリビデオストリームと組み合わせ可能なサブタイトルストリームを特定するPGtextSTstreamidが、numberofSubtitlecombinationsforvideo2の後のfor文で定義される。なお、図35や図41を参照して説明したように、各IDの代わりに各番号、例えば、audiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いたり、audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。ビデオストリームやサブタイトルストリームについても同様である。図44と図45で示される第7のSTNtabkeによれば、videostreamid2を用いて、プライマリビデオストリームと同時再生されるセカンダリビデオストリームを定義することができ、さらに、そのvideostreamid2、および、audiostreamid、audiostreamid2、並びに、PGtextSTstreamidを用いて、そのセカンダリビデオストリームと同時再生され得る、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。即ち、プライマリビデオストリームと同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。従って、プライマリビデオストリームと同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせとして、矛盾するような組み合わせを定義せずに済むので、ユーザは、プライマリビデオストリームと同時再生可能なストリームの組み合わせの再生を容易に選択することができる。具体的な例を、図46と図47を参照して説明する。図46は、第7のSTNtableが用いられた場合の、ユーザに提供するプライマリオーディオストリームまたはセカンダリオーディオストリームに対応する音声信号、セカンダリビデオストリームに対応する映像信号、および、サブタイトルストリームに対応する字幕信号の組み合わせの関係を表すストリームナンバーテーブルの例を示す図である。なお、図中、音声信号オーディオと字幕信号サブピクチャとの記載については、図26または図39と同様であるので、その説明は省略する。図46においては、PlayListのMainPathを構成するPlayItemの第7のSTNtableでエントリーされるセカンダリビデオストリームvideostreamid2でエントリーされるセカンダリビデオストリームのそれぞれにV2_SNVideo2StreamNumberセカンダリビデオストリーム番号とも称するが与えられる。具体的には、V2_SN=1にビデオ2が与えられ、V2_SN=2にビデオ1が与えられている。このとき、V2_SN=1のビデオ2に対しては、プライマリオーディオストリームとしてオーディオ2図45のvideostreamid2がビデオ2を特定するIDである場合のfor文中において、audiostreamidでエントリーされるプライマリオーディオストリームが、セカンダリオーディオストリームとしてオーディオ4図45のvideostreamid2がビデオ2を特定するIDである場合のfor文中において、audiostreamid2でエントリーされるセカンダリオーディオストリームが、サブタイトルストリームとしてサブピクチャ3図45のvideostreamid2がビデオ2を特定するIDである場合のfor文中において、PGtextSTstreamidでエントリーされるサブタイトルストリームが、それぞれ組み合わせ可能とされている。また、V2_SN=2のビデオ1に対しては、プライマリオーディオストリームとしてオーディオ1図45のvideostreamid2がビデオ1を特定するIDである場合のfor文中において、audiostreamidでエントリーされるプライマリオーディオストリームが、セカンダリオーディオストリームとしてオーディオ4若しくはオーディオ5図45のvideostreamid2がビデオ1を特定するIDである場合のfor文中において、2つのaudiostreamid2のそれぞれでエントリーされる2つのセカンダリオーディオストリームのそれぞれが、サブタイトルストリームとしてサブピクチャ1図45のvideostreamid2がビデオ1を特定するIDである場合のfor文中において、PGtextSTstreamidでエントリーされるサブタイトルストリームが、それぞれ組み合わせ可能とされている。即ち、図45のvideostreamid2がビデオ1を特定するIDである場合のfor文中において、V2_SN=2のビデオ1と同時再生可能なオーディオストリームの組として、次の第1の組と第2の組とがそれぞれ定義されている。第1の組とは、プライマリオーディオストリームがオーディオ1であり、セカンダリオーディオストリームがオーディオ4である組のことをいう。第2の組とは、プライマリオーディオストリームがオーディオ1であり、セカンダリオーディオストリームがオーディオ5である第2の組のことをいう。かかる図46のストリームナンバーテーブルがユーザに呈示された場合ここでは、呈示形態は特に問わない、ユーザは、はじめに、映画本編等と同時再生させる監督のコメンタリー等の映像に対応するセカンダリビデオストリームとして、即ち、子画面図43の例では子画面302に表示させる映像に対応するセカンダリビデオストリームとして、ビデオ2VS_SN=1とビデオ1VS_SN2とのうちの何れか一方を選択することができるそのような選択操作ができる。例えば、セカンダリビデオストリームとしてビデオ2VS_SN=1が選択された場合には、図46に示されるように、そのビデオ2VS_SN=1と同時再生可能な組み合わせは、オーディオ2、オーディオ4、およびサブピクチャ3の組み合わせのみである。従って、セカンダリビデオストリームとしてビデオ2VS_SN=1が選択された時点で、ユーザの選択操作は終了となる。一方、図47に示されるように、セカンダリビデオストリームとしてビデオ1VS_SN=2が選択された場合には、そのビデオ1VS_SN=2と同時再生可能な組み合わせとしては、オーディオ1、オーディオ4、およびサブピクチャ1の第1の組み合わせと、オーディオ1、オーディオ5、およびサブピクチャ1の第2の組み合わせ、といった2通りの組み合わせが存在する。従って、セカンダリビデオストリームとしてビデオ1VS_SN=2を選択した場合、ユーザは、さらに、かかる第1の組み合わせと第2の組み合わせとのうちの何れか一方を選択することができるそのような選択操作ができる。具体的には、例えば、ここでは、図39で説明した選択操作と同様に、ユーザは、ビデオ1VS_SN=2と同時再生させるストリームに対してストリームナンバーテーブル上の対応する表示の右方に対して、再生を選択するときには、×から○に切り替える一方、再生を選択しないときには、×のまま保持する、といった選択操作を実行することができる。なお、図39を用いて説明した場合と同様に、○は再生を選択する状態を示すシンボルとされている一方、×は再生を選択していない状態を示すシンボルとされている。図47の例では、かかる選択操作により、オーディオ1、オーディオ4、およびサブピクチャ1の第1の組み合わせが選択された結果が示されている。即ち、図47に示されるように、V2_SN=2のビデオ1と同時再生されるプライマリオーディオストリームとしてオーディオ1が選択されるので、その選択状態は、×から○に切り替えられる。また、V2_SN=2のビデオ1と同時再生されるセカンダリオーディオストリームとしてオーディオ4が選択されるのでオーディオ5が選択されないので、オーディオ4の選択状態は、×から○に切り替えられる一方、オーディオ5の選択状態は×のまま保持される。また、V2_SN=2のビデオ1と同時再生されるサブタイトルストリームとしてサブピクチャ1が選択されるので、その選択状態は、×から○に切り替えられる。即ち、以上の一連の選択操作により、ビデオ1、オーディオ1、オーディオ4、および、サブピクチャ1を選択し、メインビデオプライマリビデオストリームのことであるとともに再生可能な状態そのような再生を選択する状態とすることができる。なお、上述した例では、プライマリビデオストリームと同時再生させるストリームの選択操作として、セカンダリビデオストリームを軸とする操作、即ち、先にセカンダリビデオストリームを選択した後、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームを選択する操作について説明した。しかしながら、かかる選択操作として、上述した例のみならず、例えば、図39等を用いて上述した操作と同様にして、先にプライマリオーディオストリームを選択した後、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームを選択する操作を採用してもよい。即ち、図47のストリームナンバーテーブルのうちの、A_SN=1であるオーディオ2、A_SN=2であるオーディオ1、および、A_SN=3であるオーディオ3のうちの何れか1つを、プライマリオーディオストリームとして先に選択した後、図39等を用いて上述した操作と同様の操作により、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームを選択する、といった選択操作を採用することもできる。また、例えば、先にサブタイトルストリームを選択した後、プライマリオーディオストリーム、セカンダリビデオストリーム、および、セカンダリオーディオストリームを選択する操作を採用することもできる。即ち、図47のストリームナンバーテーブルのうちの、S_SN=1であるサブピクチャ3、S_SN=2でサブピクチャ1、および、S_SN=3であるサブピクチャ2のうちの何れか1つを、サブタイトルストリームとして先に選択した後、図47中図示はされていないが、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリームを選択する、といった選択操作を採用することもできる。なお、本実施の形態では、セカンダリオーディオストリームのユーザの切り替え操作は禁止されている。このため、図47の例では、セカンダリオーディオストリームに対するA_SNは与えられていない。即ち、図47の例では、オーディオ1乃至3がプライマリオーディオストリームとして利用され、オーディオ4,5がセカンダリオーディオストリームとして利用されている。ところで、以上説明した図44と図45の第7のSTNtableを利用するシンタクスにより、ピクチャインピクチャ手法図43参照を実現させる場合、Subpathtypeの種類として、上述した図11の第1の例の種類を利用すると、例えば図48に示されるPlayListが生成される。図48の例では、メインパスを構成するプレイアイテム1PlayItem1により参照されるClipAVストリームファイル0メインClipAVストリームファイルに含まれるVideoビデオストリームとAudioオーディオストリームとのそれぞれが、プライマリビデオストリームとプライマリオーディオストリームのそれぞれとしている。つまり、STNtableにおいて、videostreamid、audiostreamidに対応するstreamentryにおいて、type1を設定した場合である。即ち、図43の例に対応させると、ClipAVストリームファイル0に含まれるVideoとAudioとのそれぞれが、プライマリビデオストリーム311とプライマリオーディオストリーム312のそれぞれに対応したClipAVストリームファイル0に含まれるVideoが全画面301に再生されるとともに、ClipAVストリームファイル0に含まれるAudioが再生出力される。一方、サブパス1に含まれるサブプレイアイテムSubPlayItemSPIとしにより参照されるClipAVストリームファイル-1サブClipAVストリームファイルに含まれる2ndVideoビデオストリームが、セカンダリビデオストリームとなり、また、サブパス2に含まれるサブプレイアイテムSPIにより参照されるClipAVストリームファイル1に含まれる2ndAudioオーディオストリームが、セカンダリオーディオストリームとしている。つまり、STNtableにおいて、videostreamid2、audiostreamid2のstreamentryにおいて、type2を設定した場合である。即ち、図43の例に対応させると、ClipAVストリームファイル1に含まれる2ndVideoと2ndAudioとのそれぞれが、セカンダリビデオストリーム313とセカンダリオーディオストリーム314のそれぞれに対応し、ClipAVストリームファイル1に含まれる2ndVideoが子画面302に再生されるとともに、ClipAVストリームファイル1に含まれる2ndAudioが再生出力される。ただし、ClipAVストリームファイル0に含まれるAudioをプライマリオーディオストリームとして全画面301と対応付けて再生させ、かつ、ClipAVストリームファイル1に含まれる2ndAudioをセカンダリオーディオストリームとして子画面302と対応付けて再生させるとは、上述したように、それら2つのオーディオストリームに対してミキシング処理が施された結果得られる音声が出力されることを指す。このように、図48の例では、SubPathtypeの種類として図11の第1の例の種類が利用されて、その結果、メインパス、サブパス1、および、サブパス2により、ピクチャインピクチャ手法が実現されている。しかしながら、図48の例では、プライマリビデオストリームであるClipAVストリームファイル0のVideoと同時に再生されるセカンダリビデオストリームとセカンダリオーディオストリームとのそれぞれは、同一のClipAVストリームファイル1内に含まれる2ndVideoと2ndAudioとのそれぞれであるにも関わらず、別々のサブパス1とサブパス2とのそれぞれで定義されている。なぜならば、図11の例では、参照されるESエレメンタリストリームの本数は1本のみである、というSubPathtypeの種類しか用意されていないためである。即ち、図11の例では、Audio,IG,Text,Videoといった各種類のESが、同一のClipに含まれるClipAVストリームファイルに含まれているか否かによらず、ES1本ずつに対して、SubPathtypeが1つずつ常に割り当てられる、というSubPathtypeの種類しか用意されていないためである。即ち、図48の例によらず、図11の例のSubPathtypeの種類が利用される場合、メインパスで参照されるESと別に、再生対象のESが2本以上存在するときには、それらの2本以上のESは別々のサブパスにそれぞれ分けられて、即ち、2つの別のSPIのそれぞれとして定義されることになる。この場合、それらの2本以上のESが同一のClipに含まれるClipAVストリームファイルに含まれているならば、上述したSubPlayItemINtimeSubPlayItemOUTtime等は同一となるにも関わらず、それぞれ個別に持つその結果何重にも持つ必要が生じてしまい、SubPlayItemINtime、および、SubPlayItemOUTtimeの情報が冗長となる、という第1の問題点が発生する。また、この場合、再生対象のESごとにサブパスを定義しなければならないので、PlayListの構造が必要以上に複雑になる、という第2の問題点も発生する。さらに、かかる第2の問題点から、次のような第3の問題点も発生する。即ち、例えば、本実施の形態では、再生装置例えば上述した図36の再生装置141や後述する図53の再生装置401には、同時に2本のTSすなわち、2つのClipに含まれるそれぞれのTSまでしか読めないという制限縛りが課せられている。かかる制限が課せられた再生装置では、このような複雑な構造のPlayListを再生しようとすると、そのPlayList内に定義されているメインパスと、何れのサブパスを組み合わせて再生すればよいのかを直ちに決められない、即ち、そのような組み合わせを決定するために複雑な処理の実行が必要になる、という第3の問題点が発生する。そこで、本発明人は、かかる第1乃至第3の問題点を解決すべく、SubPathtypeの種類として、複数のESを取り扱える種類、即ち、複数のESを同時に参照可能とする種類を追加する、という手法をさらに発明した。かかる手法が適用されたSubPathtypeの種類の第2の例が図49に示されている。即ち、図49は、SubPathtypeサブパスのタイプの種類の第2の例であって、図11とは異なる例、即ち、図11の例にも存在する種類に対して、かかる第1乃至第3の問題点を解決可能な種類を追加した例を説明する図である。すなわち、かかる第1乃至第3の問題点を解決するためには、例えば、図49に示される第2のSubPathtypeを採用すればよい。図49において、SubPathtype=0乃至4は、図11の対応するタイプと同一とされているので、ここではその説明については省略する。ただし、SubPathtype=0乃至4のMeaningにおいて、図49の例ではOutofmuxという記述がなされているが、図11の例ではその記述は省略されている。そこで、その記述について説明する。即ち、このOutofmuxという記述は、サブパスで参照されるESが含まれるTSと、メインパスで参照されるESが含まれるTSとが異なっている場合のサブパスのタイプ種類、即ち、サブパスで参照されるESが、メインパスで参照されるプレイアイテムが含まれるTSに多重化されていないサブパスのタイプ種類であることを示している。以下、かかる種類を、メインパスTS非多重型のパスと称する。また、SubPathtype=2,3のように、メインパスで参照されるESとサブパスで参照されるESとが非同期である場合、そのサブパスのタイプ種類を、以下、非同期型のパスと称する。一方、SubPathtype=4,5のように、メインパスで参照されるESとサブパスで参照されるESとが同期する場合、そのサブパスのタイプ種類を、以下、同期型のパスと称する。SubPathtype=5は、OutofmuxandAVSynchronizedtypeofoneormoreelementarystreamspathOutofmuxandAVsynchronizedtypeofPictureinPicturepresentationpathwhichcontainsoneormoreelementarystreamspathsとされている。即ち、SubPathtype=5は、メインパスTS非多重型、かつ、同期型のパスであって、1本以上のESのパスや、ピクチャインピクチャプレゼンテーションパスとされている。すなわち、SubPathtype=5は、図11を用いて説明した例におけるSubPathtype=5,6のそれぞれで示される種類も含まれ、2ndAudioPresentationpath2番目のオーディオプレゼンテーションパス2ndオーディオストリームを参照するためのパスや、2ndVideoPresentationpath2番目のビデオプレゼンテーションパス2ndビデオストリームを参照するためのパスを含むものである。ここで、ピクチャインピクチャプレゼンテーションパスとは、上述したピクチャインピクチャ手法図43参照において、所定のプライマリビデオストリームメインパスで参照されるビデオストリームについての、プライマリオーディオストリームストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのうちの1以上のパスそのようなサブパスのタイプであることをいう。SubPathtype=6は、OutofmuxandAVnonSynchronizedtypeofPictureinPicturepresentationpathwhichcontainsoneormoreelementarystreamspathsとされている。即ち、SubPathtype=6は、メインパスTS非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス1以上のESのパスとされている。SubPathtype=7は、InmuxtypeandAVSynchronizedtypeofPictureinPicturepresentationpathwhichcontainsoneormoreelementarystreamspathsとされている。ここで、Inmuxという記述は、サブパスで参照されるESが含まれるTSと、メインパスで参照される1以上のESが含まれるTSとが同一の場合のサブパスのタイプ種類、即ち、サブパスで参照されるESが、メインパスで参照されるESを含むTSに多重化されているサブパスのタイプ種類であることを示している。換言すれば、メインクリップに含まれるメインTSに、メインのClipAVストリームと、サブのClipAVストリームとが含まれている状態である。以下、かかる種類を、メインパスTS多重型のパスと称する。即ち、SubPathtype=7は、メインパスTS多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス1以上のESのパスとされている。そして、SubPathtype8-255は予備とされている。図49の例のSubpathtypeの種類を利用することにより、新たに追加されたSubPathtype5,6,7を利用することが可能となる。ここで、SubPathtype7においては、PlayItemにより参照されるMainTS、すなわち、メインClipAVストリームには、SubPathにより参照されるSubSTも含まれる。そのため、図17を用いて説明したStreamentryに代わって、type=3なお、図50におけるtype=3は、図15を用いて説明した場合のtype=3とは異なるが定義された、図50に示される第3のStreamentryが用いられる。すなわち、第3のStreamentryにおいて定義されているtype=3は、対応するPlayItemにおいてSubPathtype7の場合に、MainClipに含まれ、SubPathによって参照されるエレメンタリストリームを識別するためのものである。なお、図50において、図17と同一の部分については、その説明を適宜省略する。すなわち、type=3では、SubPathがMainPathと同じClipを参照し、換言すれば、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照している場合に、SubPathtype7において、MainClipの複数のエレメンタリストリームの中から、SubPathによって参照される1つのエレメンタリストリームを再生時に特定するために、reftostreamPIDofMainClipにより、MainClipのパケットIDが指定される。また、reftoSubPathidによりSubPathidが示され、このSubPathidにより図9のPlayListで定義されたSubPathが特定され、このSubpathから対応するSubPlayItemが呼び出されることにより図10、エレメンタリストリームの再生時間IntimeOuttime等を把握することができる図12ようになされている。このように、typetype1乃至type3の3つのtypeを使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipが、さらに、SubPathから参照されている場合であっても、Clipの中から1つのエレメンタリストリームを特定することができる。また、以上説明したような図49の例のSubpathtypeの種類を利用することで、即ち、図11の例にも存在したSubPathtype=1乃至4とともに、新たに追加された複数1以上のエレメンタリストリームを扱いうるSubPathtype5,6,7を利用することで、ピクチャインピクチャ手法図43参照を実現させる場合のPlayListとして、図48の例のような複雑な構造のPlayListの代わりに、例えば図51に示されるような簡単な構造のPlayListの作成利用が可能になる。即ち、図51の例では、メインパスに含まれるプレイアイテム1PlayItem1が参照するClipAVストリームファイル0に含まれるVideoビデオストリームとAudioオーディオストリームとのそれぞれが、プライマリビデオストリームとプライマリオーディオストリームのそれぞれとしている。即ち、図43の例に対応させると、clipAVストリームファイル0に含まれるVideoとAudioとのそれぞれが、プライマリビデオストリーム311とプライマリオーディオストリーム312のそれぞれに対応し、clipAVストリームファイル0に含まれるVideoが全画面301に再生されるとともに、clipAVストリームファイル0に含まれるAudioが再生出力される。なお、STNtableにおいて、videostreamidaudiostreamidvideostreamid2audiostreamid2のそれぞれでstreamentryを定義し、かつ、図50のstreamentryにおいて、MainPathで指定されMainClipに存在する場合type1、SubPathで指定し、SubClipに存在する場合、のタイプとして、上述したSubPathtype=5、即ち、メインパスTS非多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパスが採用されている。これにより、サブパスAが参照するサブプレイアイテムSPIとして、ClipAVストリームファイル1に含まれる2ndVideoと2ndAudioとの2つのESを同時に参照できるようになる。その結果、図43の例に対応させると、1つのサブパスAのみで参照されるClipAVストリームファイル1に含まれる2ndVideoと2ndAudioとのそれぞれが、セカンダリビデオストリーム313とセカンダリオーディオストリーム314のそれぞれに対応し、ClipAVストリームファイル1に含まれる2ndVideoが子画面302に再生されるとともに、ClipAVストリームファイル1に含まれる2ndAudioが再生出力される。その際、サブパスAのタイプとして、上述したSubPathtype=5が採用されている場合、セカンダリビデオストリーム313とセカンダリオーディオストリーム314とは、プライマリビデオストリーム311と同期して再生されることになる。換言すると、セカンダリビデオストリーム313とセカンダリオーディオストリーム314とを、プライマリビデオストリーム311と非同期で再生したい場合には或いは非同期で再生する必要がある場合には、サブパスAのタイプとして、上述したSubPathtype=6、即ち、メインパスTS非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス1以上のESのパスを採用すればよい。このように、図51の例では、図49の例のSubpathtypeの種類が採用された結果、メインパスの他1つのサブパス例えば、図50のサブパスAのみで、ピクチャインピクチャ手法が実現されている。即ち、同一のClipAVストリームファイル1に含まれる2ndvideoと2ndAudioとのそれぞれをセカンダリビデオストリーム313とセカンダリオーディオストリーム314として利用する、といったピクチャインピクチャ手法を実現する場合、図11の例のSubpathtypeの種類を利用して生成された図48の例のPlayListでは、同一のClipAVストリームファイル1に含まれる2ndvideoと2ndAudioとのそれぞれは2つの別々のサブパスで参照されていた。これに対して、図49の例のSubpathtypeを利用して生成された図51の例のPlayListでは、同一のClipAVストリームファイル1に含まれる2ndvideoと2ndAudioとのそれぞれは1つのサブパスのみで参照できるようになっている。その結果、2ndvideoと2ndAudioとのそれぞれについての、SubPlayItemINtimeSubPlayItemOUTtime等は1つ持てばよいため、上述した第1の問題点を解決することが可能になる。また、図48の例と図51の例のPlayListを比較すれば明らかなように、その構造を簡素化できるので、第2の問題点と第3の問題点を解決することが可能になる。さらに、図49の例のSubpathtypeの種類のうちのSubPathtype=7、即ち、メインパスTS多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス1以上のESのパスを利用することで、例えば図52に示されるようなPlayListを作成することが可能になる。その結果、図52の例のPlayListを利用したピクチャインピクチャ手法の実現も容易に可能になる。図52の例では、メインパスに含まれるプレイアイテム1PlayItem1により参照されるMainTSには、ClipAVストリームファイル0ただし、図51のClipAVストリームファイル0とは異なるClipAVストリームファイルが含まれており、ClipAVストリームファイル0には、PlayItem-1によって参照されるMainSTと、SubPlayItemによって参照されるSubSTが含まれている。そして、MainSTに含まれるVideoビデオストリームとAudioオーディオストリームとのそれぞれが、プライマリビデオストリームとプライマリオーディオストリームのそれぞれとなる。即ち、図43の例に対応させると、ClipAVストリームファイル0に含まれるMainSTのVideoとAudioとのそれぞれが、プライマリビデオストリーム311とプライマリオーディオストリーム312のそれぞれに対応し、ClipAVストリームファイル0に含まれるVideoが全画面301に再生されるとともに、ClipAVストリームファイル0に含まれるAudioが再生出力される。また、図52の例では、プライマリビデオストリームであるMainSTのVideoと同時に再生されるセカンダリビデオストリームとセカンダリオーディオストリームとのそれぞれは、同じMainTSに含まれる、ClipAVストリームファイル1に含まれる2ndVideoと2ndAudioとのそれぞれとなる。この場合、図52の例のPlayListを作成するためには、サブパスAのタイプとして、SubPathtype=7を採用すればよい。これにより、サブパスAに含まれるサブプレイアイテムSPIが参照するESとして、メインパスでも参照しているMainTSのClipAVストリームファイル0に含まれるSubSTの2ndVideoと2ndAudioとの2つのESを参照できるようになる。その結果、図43の例に対応させると、サブパスAで参照されるClipAVストリームファイル0に含まれる2ndVideoと2ndAudioとのそれぞれを、セカンダリビデオストリーム313とセカンダリオーディオストリーム314のそれぞれに対応し、ClipAVストリームファイル0に含まれる2ndVideoが子画面302に再生できるとともに、ClipAVストリームファイル0に含まれる2ndAudioが再生出力されるようになる。すなわち、図52における場合では、メインクリップに含まれるメインTSに、メインのストリームであるMainSTと、サブのストリームであるSubSTとが含まれている。その他、図52に示されるように、PlayItem1に対するサブパスとして、サブパスAに加えて、ClipAVストリームファイル1が含まれているMainTSとは異なるTSSubTSに含まれているClipAVストリームファイル1を参照するサブパスBが定義されている場合には、上述したように、本実施の形態の再生装置は、2つのTSを同時に読み出すことが可能であるので、メインTSに含まれるVideo,Audio,2ndVideo,2ndAudioとともに、サブTSに含まれるPG等も読み出すことが可能になる。以上、ピクチャインピクチャ手法図43参照を適用するために必要なシンタクスの例、即ち、図44と図45の第7のSTNtableや、図49の例のSubPathtypeの種類について説明した。かかるピクチャインピクチャ手法を実現するためには、プライマリビデオストリームとセカンダリビデオストリームとを同時再生できる機能を有する再生装置、例えば図53に示されるような再生装置の適用が必要である。次に、本発明を適用した再生装置の異なる例について説明する。再生装置401は、図36を用いて説明した再生装置141のAVデコーダ部151に代わって、AVデコーダ部403が設けられている以外は、基本的に、図36を用いて説明した再生装置141と同様の構成を有するものである。図53は、AVデコーダ部403の構成例を示すブロック図である。このAVデコーダ部403を備えた再生装置401は、ピクチャインピクチャ手法を適用して、図47を用いて説明したように、1画面のうちの、全画面301に、メインパスで参照されるAVストリームに対応する映画本編等のコンテンツを再生させるとともに、全画面301に配置される子画面302に、サブパスで参照されるAVストリームに対応する映画の監督のコメンタリー等の別のコンテンツを再生させることが可能である。図53の再生装置401は、上述したメインパスとサブパスを有するPlayListであって、ピクチャインピクチャ手法を実現するためのPlayList例えば図51や図52の例のPlayListに従った再生を行うことができる。なお、図53において、図36と対応する部分ブロックには対応する符号が付してあり、それらの説明については適宜省略する。図53の例の再生装置401には、図36の例の再生装置141と同様の機能と構成を有する、ストレージドライブ22、スイッチ32、およびコントローラ21が設けられている。ただし、コントローラ21の機能は追加されている。追加された機能の詳細については後述する。さらに、図53の例の再生装置401には、図36の例の再生装置141のAVデコーダ部151とは機能と構成が若干異なるAVデコーダ部403が設けられている。即ち、図53の例のAVデコーダ部403には、図36の例のAVデコーダ部151とほぼ同様の機能と構成を有するバッファ51乃至ミキシング処理部101が設けられている他、さらに、図36の例のAVデコーダ部151には設けられていないPIDフィルタ411乃至プリロード用バッファ414が設けられている。なお、図36の例のAVデコーダ部151とほぼ同様の機能と構成を有するといったようにほぼと記述したのは、ビデオデコーダ72やビデオプレーン生成部92の呼称が、1stビデオデコーダ72や1stビデオプレーン生成部92と変更されていたり、PIDフィルタ56の出力が1つ増加していたり等、若干異なるところがあるからである。以下、図53の例のAVデコーダ部403のうちの、図36の例のAVデコーダ部151とは異なる箇所について説明する。AVデコータ部403は、ピクチャインピクチャ手法を実現するために、プライマリビデオストリームとセカンダリビデオストリームとをデコードする必要がある。このため、図36の例のAVデコーダ部151に設けられていたビデオデコーダ72とビデオプレーン生成部92とのそれぞれは、図53の例のAVデコーダ部403においては、プライマリビデオストリーム用の1stビデオデコーダ72と1stビデオプレーン生成部92とのそれぞれとして設けられている。さらに、図53の例のAVデコーダ部403には、1stビデオデコーダ72と1stビデオプレーン生成部92とのそれぞれと同様の機能と構成を有する、セカンダリビデオストリーム用の2ndビデオデコーダ412と2ndビデオプレーン生成部413とのそれぞれが設けられている。また、PIDフィルタ411には、メインClipAVStreamのビデオストリーム、または、サブClipAVStreamのビデオストリームが、PIDフィルタ161またはPIDフィルタ56を介して入力されてくる。そこで、PIDフィルタ411は、入力されたビデオストリームを、そのPIDパケットIDに応じて、後段の1stビデオデコーダ72または2ndビデオデコーダ412に振り分けて出力する。即ち、PIDフィルタ411は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ72に供給する。これに対して、PIDフィルタ411は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ412に供給する。なお、本実施の形態では、プライマリビデオストリームとして、メインClipAVStreamのビデオストリームのみが利用され、サブClipAVStreamのビデオストリームは利用されないとされている。ただし、将来、サブClipAVStreamのビデオストリームもプライマリビデオストリームとして利用され得ることも考慮して、PIDフィルタ56から供給されたサブClipAVStreamのビデオストリームも1stビデオデコーダ72に供給され得るように、PIDフィルタ411が構成されている。すなわち、Subpathにより指定されたサブClipに含まれるビデオストリームのみを再生し、ビデオストリームの再生にメインClipを使わず、オーディオストリームの再生は、サブClip、もしくは、メインClipを用いる場合である。従って、ビデオストリーム、オーディオストリームの再生に、メインクリップを使わずMainPathを使わず、SubClipのみを用いたSubPathのみを用いた再生とする構成も可能である。プリロード用バッファ414は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームを一時記憶する。即ち、上述したように、本実施の形態では、再生装置401には、一度に2つのTSしか読み出せないという制限が課せられている。そこで、再生装置401は、インタラクティブグラフィックスストリームを予め取得しておくことでプリロードしておくことで、ビデオストリームやオーディオストリームを再生するときに、プリロードしておいたインタラクティブグラフィックスストリームも同時再生することができる、といった機能を有している。かかる機能を実現するために、即ち、プリロードされたインタラクティブグラフィックスストリームを、ビデオストリームやオーディオストリームが再生されるタイミングまで保存しておくために、プリロード用バッファ414が図53の例のAVデコード部403に設けられているのである。次に、かかる図53の例の再生装置401が実行するピクチャインピクチャ手法による処理の一例であって、プライマリビデオストリーム等の再生中等に、再生対象のセカンダリビデオストリーム等を切り替えるために必要な一連の処理の一例について、図54と図55のフローチャートを参照して説明する。図54のステップS101において、コントローラ21は、セカンダリビデオストリーム番号IDでもよいの順番リストと、セカンダリビデオストリームに組み合わされているプライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのリストを、図44と図45とを用いて説明した第7のSTNtableから取得する。ここでは、このステップS101の処理後、取得されたリストに基づいて、例えば上述した図46のようなストリームナンバーテーブルが生成され、そのストリームナンバーテーブル自身またはそれに基づいて生成された所定のGUIGraphicalUserInterface画像が、コントローラ21により生成され、表示装置への表示が制御されて、ユーザに呈示されるとする。そして、これにより、処理はステップS102に進むとする。ステップS102において、コントローラ21は、ユーザからのセカンダリビデオストリームに対する切り替えの指令を受け付ける。即ち、上述した図46と図47を用いて説明したユーザの切り替え操作の内容が、ステップS102において、ユーザからのセカンダリビデオストリームに対する切り替えの指令としてコントローラ21に受け付けられることになる。ステップS103において、コントローラ21は、再生しているセカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルの組み合わせの次の組み合わせの番号を取得する。具体的には、例えば、図46の例のストリームナンバーテーブルがユーザに呈示されたとすると、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルの組み合わせとして、次の第1の組み合わせ乃至第3の組み合わせが存在することになる。即ち、第1の組み合わせとは、ビデオ2、オーディオ2、オーディオ4、サブピクチャ3の組み合わせをいう。第2の組み合わせとは、ビデオ1、オーディオ1、オーディオ4、サブピクチャ1の組み合わせをいう。第3の組み合わせとは、ビデオ1、オーディオ1、オーディオ5、サブピクチャ1の組み合わせをいう。そこで、例えばここでは、第1の組み合わせ、第2の組み合わせ、および、第3の組み合わせのそれぞれの組み合わせの番号として、1、2-1、2-2のそれぞれが与えられているとする。そして、例えば、ここでは、ステップS102の処理で、図47の例の選択操作結果、即ち、第2の組み合わせの選択指令がコントローラ21に受け付けられたとする。この場合、ステップS103の処理では、次の組み合わせの番号として2-1が取得される。ステップS104において、コントローラ21は、streamattribute図18に記述されている内容に基づいて、取得した番号初回のステップS104の処理では、直前のステップS103の処理で取得した番号に対応する複数のストリームを再生する機能を有するか否かを判定する。具体的には、例えば、オーディオストリームの再生機能に着目すると、図47の例の選択操作結果、即ち、第2の組み合わせの選択指令がコントローラ21に受け付けられた場合には、オーディオ1とオーディオ4とのそれぞれの再生機能を有するか否かの判定がステップS104の処理として実行される。また、その他、ビデオストリーム等他のストリームの再生機能の有無の判定もステップS104の処理として併せて実行することも可能である。ステップS104において、取得した番号に対応する複数のストリームの再生する機能を有していないと判定した場合、コントローラ21は、ステップS105において、現在の組み合わせの番号の次の組み合わせの番号を取得する。即ち、現在の組み合わせ番号で特定されるオーディオストリーム等を再生する機能を有しない場合には、その組み合わせ番号は飛ばされ再生対象とならず、次の組み合わせ番号が取得される。その後、処理はステップS104に戻され、それ以降の処理が繰り返される。即ち、再生装置401自身が再生する機能を有するオーディオストリーム等を特定する組み合わせ番号が取得されるまで、ステップS104とS105のループ処理が繰り返される。ステップS104において、取得した番号1回目の処理の場合は上述したように直前のステップS103の処理で取得された番号であり、2回目以降の処理の場合は直前のステップS105の処理で取得された番号であるに対応する複数のストリームの再生する機能を有すると判定された場合、処理は図55のステップS106に進む。ステップS106において、コントローラ21は、Streamentryのtypeに基づいて、取得した番号に対応するセカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、およびサブタイトルストリーム各々を含むClipを調べる。即ち、取得した番号に対応するセカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、およびサブタイトルストリームは各々、メインClipにあるのか、それとも、サブClipにあるのかが確認される。ステップS107において、コントローラ21は、所望のセカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、およびサブタイトルストリーム各々を特定する。即ち、ステップS107の処理で、メインClipまたはサブClipの中の中から、取得した番号に対応する所望の各ストリームが特定される。ステップS108において、コントローラ21は、ストレージドライブ22に、所望のセカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、およびサブタイトルストリーム各々が多重化されているClipメインClipまたはサブClipから、特定されたそれぞれのストリームを読み出すよう指示するか、または、ローカルストレージ24に記録されているClipから、特定されたそれぞれのストリームを読み出して、AVデコーダ部403に供給させる。対象となるClipが記録媒体11に記録されている場合、ストレージドライブ22は、この指示に基づいて、記録媒体11に記録されている対象となるClipから、特定されたストリームを読み出す。具体的には、コントローラ21は、ステップS107の処理で特定したそれぞれのストリームを、記録媒体11に記録されているClipから読み出すようストレージドライブ22に指示する。そして、コントローラ21は、読み出された各々のストリームをAVデコーダ部403に供給するとともに、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、およびサブタイトルストリームを再生するようAVデコーダ部403に指示する。具体的には、コントローラ21は、読み出された所望のセカンダリビデオストリームを2ndビデオデコーダ412にデコードさせるよう、読み出された所望のプライマリオーディオストリームを1stオーディオデコーダ75-1にデコードさせるよう、読み出された所望のセカンダリオーディオストリームを2ndオーディオデコーダ75-2にデコードさせるよう、読み出された所望のサブタイトルストリームをプレゼンテーショングラフィックスデコーダ73等にデコードさせるよう、それぞれ指示する。ステップS109において、AVデコーダ部403は、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、およびサブタイトルストリームをデコードし出力して、処理が終了される。その際、プライマリオーディオストリームとセカンダリオーディオストリームとについては、上述したように、プライマリオーディオストリームとセカンダリオーディオストリームとがミキシングされた結果得られるオーディオ信号が出力されることになる。このようなセカンダリビデオ切り替え処理の結果、図43を用いて説明したピクチャインピクチャ手法が実現される。即ち、図43の例では、プライマリビデオストリーム311に対応する映像が全画面311に表示再生されている最中に、ステップS109の処理で出力されたセカンダリビデオストリーム313に対応する映像が子画面302に表示再生され、ステップS109の処理で出力されたサブタイトルストリーム315に対応する字幕等が全画面311の所定の位置に表示再生され、ステップS109の処理で出力されたプライマリオーディオストリーム311とセカンダリオーディオストリーム402とがミキシングされた結果得られる音声が、図43には図示せぬスピーカから出力再生される。以上説明したように、図44と図45の例の第7のSTNtableを採用することで、ピクチャインピクチャ手法を実現することが可能になる。このようなピクチャインピクチャ手法を実現する場合、図11の例のSubPathtypeの種類を利用して生成されるPlaylist例えば図48参照を利用することも可能であるが、上述したように、同一のClipAVStreamに含まれているセカンダリビデオストリームやセカンダリオーディオストリーム等は、それぞれ別々のサブパスに分けられること、即ち、2つの別のSPIとして定義されることになってしまう。その結果、上述した各種問題点、例えばPlayListの構造が必要以上に複雑になるという問題点が発生する。そこで、これらの各種問題点を解決する場合には、同一ClipAVStream内の2以上のESセカンダリビデオストリームやセカンダリオーディオストリーム等を1つのサブパスで参照できるように、即ち、同一ClipAVStream内の2以上のESを1つのSPIとして定義できるようなSubPathtypeの種類、即ち、例えば図49を用いて説明したSubPathtypeの種類を採用すればよい。ただし、PlayListの作成者側の観点に立つと、図45の例のSubPathtypeの種類を採用することで簡単な構造のPlayListを作成できるようになったとは言え、即ち、作成された結果のPlayListの構造が簡単になったとは言え、そのような簡単な構造のPlayListを作成するまでには、次のような困難な作業が必要になる。即ち、PlayListの作成者は、ピクチャインピクチャ手法を実現するために、どのような種類のストリームの組み合わせが可能であり、どのような種類のストリームの組み合わせが不可能であるのかを自分自身で判断した上で、即ち、どのような種類のサブパスを含めるのかを自分自身で判断した上で、PlayListを作成しなければいけない、といった困難な作業が必要になる。従って、PlayListの作成者側から、PlayListを簡単に作成したいという要望が挙げられるようになることは想像に難くない。従って、かかる要望に予め応えるべく、本発明人は、PlayListの種類に応じて、作成可能そのPlayListに含めることが可能なサブパスを、図49を用いて説明したSubPathtypeにより制限する、といった手法を発明した。なお、以下、かかる手法を、サブパス制限手法と称する。サブパス制限手法を適用することで、1つのPlayListに含め得るサブパスが限定されるため、作成者にとっては、PlayListにどのようなサブパスを含めるのかを判断した上でサブパスを作成することが容易になり、ひいては、PlayListの作成自体も容易になる、という効果を奏することが可能になる。以下、サブパス制限手法について、詳しく説明していく。ただし、サブパス制限手法では、再生装置が一度に読み出すことが可能なTSの数によって、その制限内容が変化する。本実施の形態では、上述したように、再生装置が一度に読み出すことが可能なTSは2つとされている。そこで、以下、再生装置が一度に読み出すことが可能なTSは2つである場合のサブパス制限手法について説明していく。本実施の形態では、PlayListは、BrowsableSlideshow非同期型と、MovieTypeTimebasedSlideshow同期型といった2種類に大別される。PlayListの種類が非同期型であるのか或いは同期型であるのかといった区別は、そのPlayListにより参照されるClipのclipInformationfileに含まれるapplicationtypeアプリケーションタイプに従って行うことが可能である。applicationtypeは、あるClipについてのClipInformationファイル中のClipInfoに記述されている。ただし、ここでは、説明の簡略上、ClipInfoのシンタクスの説明については省略し、以下、そのClipinfoに記述され得るapplicationtypeの種類についてのみ、図56を参照して説明する。即ち、図56は、applicationtypeの種類の例を説明する図である。図56に示されるように、applicationtype0は、予備reservedとされている。applicationtype1は、映画のアプリケーション用のMainTSとされている。ここでMainTSとは、Playlistにおいてメインパスにより参照されるPlayItemとしてのTransportstream、即ち、MainTSを指している。applicationtype2は、TimebasedSlideshow用のMainTS、即ち、画像のスライドショー用のMainTSとされている。applicationtype3は、BrowsableSlideshow用のTS、即ち、ビデオのスライドショー用のMainTSとされている。applicationtype4は、SubPath用のBrowsableSlideshowのTSとされている。これは、例えば、上述したapplicationtype3と非同期で再生されるBGMサウンドデータを保持するClipAVストリームに対してのClipInfoに付与される。applicationtype5は、SubPathのインタラクティブグラフィックス用のTSとされている。applicationtype6は、SubPathのテキストサブタイトルテキスト字幕データ用のTSとされている。applicationtype7は、1つ以上のESを含むSubPath用のTSとされている。applicationtype8乃至255は、予備reservedとされている。そして、applicationtype1乃至applicationtype6で表されるClipAVStreamFileは、ストレージドライブ22を介して記録媒体11から取得されるか、または、ローカルストレージ24から取得される。これに対して、applicationtype7で表されるClipAVStreamFileは、ローカルストレージ24から取得され、ストレージドライブ22を介して記録媒体11から取得されない。そこで、本実施の形態では、PlayListにより参照されるMainTSについてのClipInfoに記述されているapplicationtypeが、applicationtype3の場合、そのPlayListはBrowsableSlideshow非同期型に分類され、applicationtype1or2の場合、そのPlayListはMovieTypeTimebasedSlideshow同期型に分類されるとする。この場合、PlayListの種類非同期型または同期型に対する、そのPlayListが持ち得るSubPathサブパスの組み合わせは、図57に示される組み合わせのみ許可する、という制限がサブパス制限手法により課されることになる。図57において、numberofSubPathsの項目には、PlayListにより示されるMainTSが持ち得る、左方のSubPathtypeの項目に示される種類のSubPathの個数が記述されている。また、図57におけるSubPathtypeの項目の各記述値SubPathtypeの種類は、上述した図11の例の種類ではなく、図49の例の種類に対応している。図57に示されるように、PlayListの種類が非同期型の場合、即ち、applicationtype3であるBrowsableslideshowの場合、10本以上のSubPathtype2のSubPath、20本以上のSubPathtype3のSubPathのみが許可される。換言すると、1と2以外のSubPathの組み合わせは禁止される。また、2の組み合わせであっても、applicationtype3のMainTSにIGが含まれる場合には、SubPathtype3のSubPathは禁止される図57中2参照。これは、次の制約によるものである。即ち、IGの観点に立つと、IGを含むPlayListは、次の第1の種類と第2の種類に大別される。第1の種類とは、参照されるMainTSにIGが多重化されていて、そのMainTSのAudioVideoとIGが同期再生される、という種類をいう。第2の種類とは、SubPathtype3のSubPathを含み、IGはプリロードされるこのIGはポップアップメニューに使われる、という種類をいう。なお、この第2の種類のPlayListを再生可能とするために、上述したように、図53の再生装置401にはプリロード用バッファ414が設けられているのである。また、本実施の形態の再生装置はIGデコーダを1つしか有しないため、具体的には、例えば、図53の再生装置401はインタラクティブグラフィックスデコーダ74を1つしか有しないため、次の制限が課せられている。即ち、上述した第1の種類のPlayListでは、IGデコーダがMainTSのIGをデコード中に、別のIGをプリロードできない、という制限が課せられている。一方、上述した第2のPlayListでは、IGデコーダ中にプリロードされた第1のIGが入力されている状態のとき、別のMainTSからの第2のIGをIGデコーダへ入力できない、という制限が課せられている。以上のことから、MainTSに多重化されているIGを参照するSTNtableを含むPlayListは、SubPathtype3のSubPathを持てないという制約が課せられることになる。かかる制約のため、applicationtype3のMainTSにIGが含まれる場合には、SubPathtype3のSubPathは禁止される、としたのである図57中2参照。一方、PlayListの種類が同期型の場合、即ち、applicationtype1or2であるMovieTypeTimebasedSlideshowの場合、0本以上のSubPathtype3のSubPath、40本以上のSubPathtype4のSubPath、50本以上のSubPathtype5のSubPath、60本以上のSubPathtype6のSubPath、70本または1本のSubPathtype7のSubPathのみが許可される。換言すると、SubPathtype2のSubPathの組み合わせは禁止される。また、3の組み合わせであっても、applicationtype3のMainTSにIGが含まれる場合、または、SubPathtype5のSubPathが参照するTSにIGが含まれる場合には、SubPathtype3のSubPathは禁止される図57中1参照。これも、上述した制約によるものである。さらに、本実施の形態では、上述したように、PlayListが一度に参照することができるClipの数、すなわち、再生装置が一度に読み出すことが可能なTSは、多くても2つとされている。そこで、同一のPlayListにより参照されるESが多くても2つのClipに含まれていること、すなわち、同時に再生されるESは、多くても2つのClipAVストリームファイルから同時に参照されることを保証するために、次に示される条件を満たすという制限が、サブパス制限手法により課せられている。即ち、サブパス制限手法により課せられている、STNtableによって参照される、primaryvideostream、primaryaudiostream、Textsubtitlestream以外のPGtextSTstream、IGforPopupmenu以外のIGstream、secondaryvideostream、および、secondaryaudiostreamのそれぞれを組み合わせる時の条件とは、次の通りである。ある値のprimaryvideostreamnumberで特定されるES、ある値のprimaryaudiostreamnumberで特定されるES、ある値のPGtextSTstreamnumberで特定されるES、ある値のIGstreamnumbervalueで特定されるES、ある値のsecondaryvideostreamnumberで特定されるES、ある値のsecondaryaudiostreamnumberで特定されるESにおいて、同時に再生可能である組み合わせは、多くても2つのPlayListによって同時に参照されるClipAVストリームファイルに格納されている必要がある。なお、STNtableによって参照されるESは、3本以上のClipAVストリームファイルに格納されていてもよいが、同時に再生可能であるESは、そのうちの多くても2つのClipAVストリームファイルに格納されるようになされている。また、PlayList内にあるPlayItemMainPathとSubPathの数の組み合わせは、図58に示されるように、次のa乃至cのうちのいずれかの組み合わせである必要がある、という制限もサブパス制限手法により課せられている。即ち、aの組み合わせとは、1つのPlayItemのみの組み合わせ図58中、一番上の行の組み合わせをいう。bの組み合わせとは、1つのPlayItemと1つのSubPathとの組み合わせ図58中、中央の行の組み合わせをいう。cの組み合わせとは、1つのPlayItemと1つSubPathと1つのSubPathtype7のSubPathとの組み合わせ、即ち、1つのPlayItemと2つSubPathただし、そのうちの1つのSubPathtype7であることとの組み合わせ図58中、一番下の行の組み合わせをいう。以上説明した各種制限による結果として、所定の種類のPlayListについて作成可能なSubPathtypeを制限する、といった手法が、サブパス制限手法の一例である。換言すると、サブパス制限手法とは、PlayListの種類上述した例では、MainTSのapplicationtypeで区別される種類、再生装置が一度に読み出すことが可能なTSの数上述した例では2つ、および、PlayListのサブパスで参照されるESにプリロードされるIGが含まれているか否か上述した例ではSubPathtype3等のSubPathであるか否かといった条件制限が存在し、これらの条件を満たすように、そのPlayListに含めるSubPathを決定する、ひいては、そのようにして決定したSubPathを含むPlayListを作成する、といった手法であるともいえる。以下、図59乃至図62を参照して、かかるサブパス制限手法により作成されたPlayListの具体例について説明する。図59は、BrowsableSlideshow非同期型のPlayListであって、SubPathtype3のSubPathが存在しない場合のPlayList、即ち、SubPathtype2のSubPath1乃至SubPath3のみが存在する場合のPlayListの一例を示している。なお、SubPathtype3のSubPathが存在しない理由は、PlayListのPlayItem-1/PlayItem-2が参照しているClipAVストリームファイル0すなわち、MainTSにIGが含まれているためである。なお、この例は、複数の静止画をユーザ操作によって連続して表示していくBrowsableSlideshowを表しているため、ClipAVストリームファイル0に含まれる、videoのストリームは、静止画データを保持している。図59の例のPlayListを作成するために利用された制限条件の内容は次の通りである。即ち、図57を用いて上述した、10本以上のSubPathtype2のSubPath、20本以上のSubPathtype3のSubPathのみを許可するという制限と、1と2以外のSubPathの組み合わせは禁止するという制限と、2の組み合わせであっても、applicationtype3のMainTSにIGが含まれる場合には、SubPathtype3のSubPathは禁止される図57中2参照という制限とが利用されて、図59の例のPlayListが作成されている。このような図59の例に対して、図60は、BrowsableSlideshow非同期型のPlayListであって、SubPathtype3のSubPathが存在する場合のPlayList、即ち、SubPathtype2のSubPath-1,2に加えてさらに、SubPathtype3のSubPath-3が存在する場合のPlayListの一例を示している。なお、SubPathtype3のSubPathが存在する理由は、PlayListのPlayItem-1PlayItem-2が参照しているMainSTのClipAVストリームファイル0にIGが含まれていない、即ち、SubPathtype3のSubPathにより、ClipAVストリームファイル0とは異なるClipAVストリームファイル-3のIGを参照するためである。図60の例のPlayListを作成するために利用された制限条件の内容は、図59の例の上述した制限内容と同一である。換言すると、図57中2で示される制限、即ち、2の組み合わせであっても、applicationtype3のMainTSにIGが含まれる場合には、SubPathtype3のSubPathは禁止されるという制限を課す必要がある場合のPlayListの例が、図59の例であり、そのような制限を課す必要がない場合のPlayListの例が、図60の例である。このように、図59と図60は、BrowsableSlideshow非同期型のPlayListの例を示している。これに対して、図61と図62は、MovieTypeTimebasedSlideshow同期型のPlayListの例を示している。即ち、図61は、同期型のPlayListのうちの、セカンダリビデオストリーム2ndVideoとセカンダリオーディオストリーム2ndAudioとがMainTSに多重化されていない場合のPlayListであって、SubPathtype6のSubPath12が存在する場合のPlayListの一例を示している。図61の例のPlayListを作成するために利用された制限条件の内容は次の通りである。即ち、図57を用いて上述した、60本以上のSubPathtype6のSubPathを許可するという制限が利用されて、図61の例のPlayListが作成されている。このような図61の例に対して、図62は、同期型のPlayListにより参照されるMainTSすなわちClipAVストリームファイル0が、MainSTとSubSTとを含み、、セカンダリビデオストリーム2ndVideoとセカンダリオーディオストリーム2ndAudioがMainTSを構成するClipAVストリームファイル0にSubSTとして多重化されている場合のPlayListであって、それゆえ、SubPathtype7のSubPath1が存在し、さらに、SubPathtype5のSubPath23が存在する場合のPlayListの一例を示している。図62の例のPlayListを作成するために利用された制限条件の内容は次の通りである。即ち、図57を用いて上述した、50本以上のSubPathtype5のSubPathを許可するという制限と、70本のSubPathとSubPathtype7のSubPathを許可するという制限とが利用されて、図62の例のPlayListが作成されている。また、以上説明したようなサブパス制限手法により作成されたPlayListも、例えば図53の再生装置401により再生可能とされている。例えば、非同期型のPlayListの場合、即ち、applicationtype3であるBrowsableslideshowのPlayListの場合、再生装置401は、そのPlayListを次のようにして再生することができる。即ち、再生装置401は、PlayListが1本以上のSubPathtype3のSubPathsを参照している場合、SubPathtype3用のClipAVストリーム、即ち、インタラクティブグラフィックスストリームをPlayListの再生前にプリロードして、プリロード用バッファ414に蓄積させる。また、再生装置401は、PlayListが1本以上のSubPathtype2のSubPathを参照している場合、1つずつしかSubPathを参照できないので一度に読み出すことが可能なTSは2つであり、そのうちの1つはMainPathにより参照されるMainTSであるので、SubPathtype2の1以上のSubPathのうちの所定の1つを参照して再生する。なお、Interactivegraphicspresentationmenuには、ユーザによるONOFFの操作入力を基に、表示させたり、表示を取り消したりすることが可能なPopupmenuと、常時表示されるAlwaysonの2種類の表示方法が用意されており、applicationtype3のPlayListの再生処理の詳細例については、図63,図64を参照して後述する。また、例えば同期型のPlayListの場合、即ち、applicationtype1or2であるMovieTypeTimebasedSlideshowのClipを含むPlayListの場合、再生装置401は、そのPlayListを次のようにして再生することができる。即ち、再生装置401は、PlayListが1本以上のSubPathtype3またはSubPathtype4のSubPathを参照している場合、SubPathtype3またはSubPathtype4用のClipAVストリーム、即ち、インタラクティブグラフィックスストリームまたはテキストサブタイトルストリームをPlayListの再生前にプリロードして、プリロード用バッファ414またはバッファ54に蓄積させる。また、再生装置401は、PlayListが1本以上SubPathtype5or6のSubPathを参照している場合、Playerは1つずつしかSubPathを参照できないので一度に読み出すことが可能なTSは2つであり、そのうちの1つはMainPathにより参照されるMainTSであるので、SubPathtype5or6の1以上のSubPathのうちの所定の1つを参照して再生する。ただし、SubPathtype7のSubPathが1以上含まれている場合には、そのSubPathはMainTSに含まれるESを参照しているので、再生装置401は、SubPathtype5or6の1以上のSubPathのうちの所定の1つを参照して再生している最中に、さらに、SubPathtype7の1つのSubPathを参照して再生することができる。なお、applicationtype1or2のPlayListの再生処理の詳細例については、図65乃至図68を参照して後述する。次に、図63および図64のフローチャートを参照して、applicationtype3のClipを含むPlayListの再生処理の一例について説明する。例えば、図53のコントローラ21は、再生対象のPlayListのMainPathで参照されるClipinformationファイル中のclipinfoに含まれるのapplicationtypeを調査し、その調査によりapplicationtype3であることを認識した場合、applicationtype3のPlayListの再生処理を開始させる。図63のステップS121において、コントローラ21は、MainTSはIGインタラクティブグラフィックスストリームを含むか否かを判定する。ステップS121において、MainTSはIGを含まないと判定された場合、処理は図64のステップS126に進む。ただし、ステップS126以降の処理については後述する。これに対して、ステップS121において、MainTSはIGを含むと判定された場合、処理はステップS122に進む。ステップS122において、コントローラ21は、SubPathtype3のSubPathは存在するか否かを判定する。ステップS122において、SubPathtype3のSubPathは存在しないと判定された場合、処理は図64のステップS126に進む。ただし、ステップS126以降の処理については後述する。これに対して、ステップS122において、SubPathtype3のSubPathは存在すると判定された場合、処理はステップS123に進む。ステップS123において、コントローラ21は、選択されたSubPathSubPathtype3のSubPathが参照するClipを調べる。そして、コントローラ21は、そのClipから、SubPathにより特定されるストリーム、すなわち、IGを読み出すようストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるIGを読み出す。または、コントローラ21は、ローカルストレージ24から対象となるIGを読み出す。そして、コントローラ21は、読み出されたIGを、インタラクティブグラフィックスデコーダ74にデコードさせるように指示する。これにより処理はステップS124に進む。ステップS124において、インタラクティブグラフィックスデコーダ74は、読み出されたIGをデコードする。そして、ステップS125において、インタラクティブグラフィックスデコーダ74は、デコードされたIGをプリロード用バッファ414に格納する。このようにしてステップS125の処理が終了したとき、または、上述したようにステップS121若しくはS122の処理でNOであると判定されたとき、処理は図64のステップS126に進む。ステップS126において、コントローラ21は、SubPathtype2のSubPathは存在するか否かを判定する。ステップS126において、SubPathtype2のSubPathは存在しないと判定された場合、処理はステップS129に進む。ただし、ステップS129以降の処理については後述する。これに対して、ステップS126において、SubPathtype2のSubPathは存在すると判定された場合、処理はステップS127に進む。ステップS127において、コントローラ21は、選択されたSubPathSubPathtype2のSubPathが参照するClipを調べる。そして、コントローラ21は、そのClipからSubPathにより特定されるストリーム、すなわち、オーディオストリームを読み出すようストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるオーディオストリームを読み出す。または、コントローラ21は、ローカルストレージ24から対象となるオーディオストリームを読み出す。そして、コントローラ21は、読み出されたオーディオストリームを、例えば2ndオーディオデコーダ75-2にデコードさせるように指示する。これにより処理はステップS128に進む。ステップS128において、2ndオーディオデコーダ75-2は、読み出されたオーディオストリームをデコードする。このようにして、ステップS128の処理が終了したとき、または、ステップS126の処理でNOであると判定されたとき、処理はステップS129に進む。ステップS129において、AVデコーダ部403は、メインClipAVStreamをデコードする。ここで、メインClipAVStreamとは、再生対象のPlaylistのMainPathにより参照されるビデオストリームやオーディオストリーム等のことであり、MainTSに含まれている。即ち、AVデコーダ部403のうちの、1stビデオデコーダ72や1stオーディオデコーダ75-1等が、このステップS129の処理を実行する。ステップS130において、AVデコーダ部403は、デコードされたメインClipAVStreamと、デコードされたSubPathストリームを合成し、出力する。ここで、デコードされたSubPathストリームとは、図63のステップS124の処理でデコードされてステップS125の処理でプリロード用バッファ414に格納されたIGや、図64のステップS128の処理でデコードされたオーディオストリームのことをいう。ステップS131において、コントローラ21は、ステップS130の処理で合成されたストリームを出力中に、SubPathtype2のSubPathの切り替え指示ユーザの切り替え操作があったか否かを判定する。ステップS131において、合成されたストリームを出力中に、SubPathtype2のSubPathの切り替え指示があったと判定された場合、処理はステップS127に戻され、それ以降の処理が繰り返される。即ち、メインClipAVStreamと合成されるオーディオストリームが切り替えられる。これに対して、ステップS131において、合成されたストリームを出力中に、SubPathtype2のSubPathの切り替え指示がなかったと判定された場合、applicationtype3のPlayListの再生処理が終了となる。次に、図65乃至図68のフローチャートを参照して、applicationtype1or2のClipを含むPlayListの再生処理の一例について説明する。例えば、図53のコントローラ21は、再生対象のPlayListのMainPathで参照されるClipのapplicationtypeを調査し、その調査の結果、applicationtype1or2であることを認識した場合、applicationtype1or2のPlayListの再生処理を開始させる。図65のステップS141において、コントローラ21は、MainTSはIGインタラクティブグラフィックスストリームを含むか否かを判定する。ステップS141において、MainTSはIGを含まないと判定された場合、処理はステップS146に進む。ただし、ステップS146以降の処理については後述する。これに対して、ステップS141において、MainTSはIGを含むと判定された場合、処理はステップS142に進む。ステップS142において、コントローラ21は、SubPathtype3のSubPathは存在するか否かを判定する。ステップS142において、SubPathtype3のSubPathは存在しないと判定された場合、処理はステップS146に進む。ただし、ステップS146以降の処理については後述する。これに対して、ステップS142において、SubPathtype3のSubPathは存在すると判定された場合、処理はステップS143に進む。ステップS143において、コントローラ21は、選択されたSubPathSubPathtype3のSubPathが参照するClipを調べる。そして、コントローラ21は、そのClipから、SubPathにより特定されるストリーム、すなわち、IGを読み出すようストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるIGを読み出す。または、コントローラ21は、ローカルストレージ24から対象となるIGを読み出す。そして、コントローラ21は、読み出されたIGを、インタラクティブグラフィックスデコーダ74にデコードさせるように指示する。これにより処理はステップS144に進む。ステップS144において、インタラクティブグラフィックスデコーダ74は、読み出されたIGをデコードする。そして、ステップS145において、インタラクティブグラフィックスデコーダ74は、デコードされたIGをプリロード用バッファ414に格納する。このようにしてステップS145の処理が終了したとき、または、上述したようにステップS141若しくはS142の処理でNOであると判定されたとき、処理はステップS146に進む。ステップS146において、コントローラ21は、SubPathtype4のSubPathは存在するか否かを判定する。ステップS146において、SubPathtype4のSubPathは存在しないと判定された場合、処理は図66のステップS149に進む。ただし、ステップS149以降の処理については後述する。これに対して、ステップS146において、SubPathtype4のSubPathは存在すると判定された場合、処理はステップS147に進む。ステップS147において、コントローラ21は、選択されたSubPathSubPathtype4のSubPathが参照するClipを調べる。そして、コントローラ21は、そのClipから、SubPathにより特定されるストリーム、すなわち、デキストサブタイトルストリームを読み出すようストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるデキストサブタイトルストリームを読み出す。または、コントローラ21は、ローカルストレージ24から対象となるデキストサブタイトルストリームを読み出す。そして、コントローラ21は、読み出されたデキストサブタイトルストリームを、TextSTコンポジション76にデコードさせるように指示する。これにより処理はステップS148に進む。ステップS148において、TextSTコンポジション76は、読み出されたテキストサブタイトルをデコードする。このようにしてステップS148の処理が終了したとき、または、上述したステップS146の処理でNOであると判定されたとき、処理は図66のステップS149に進む。ステップS149において、コントローラ21は、SubPathtype7のSubPathは存在するか否かを判定する。ステップS149において、SubPathtype7のSubPathは存在しないと判定された場合、処理は図67のステップS152に進む。ただし、ステップS152以降の処理については後述する。これに対して、ステップS149において、SubPathtype7のSubPathは存在すると判定された場合、処理はステップS150に進む。ステップS150において、コントローラ21は、選択されたSubPathSubPathtype7のSubPathが参照するClipを調べる。そして、コントローラ21は、そのClipから、SubPathにより特定されるストリーム、すなわち、ビデオ/オーディオストリームを読み出すようストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるビデオ/オーディオストリームを読み出す。または、コントローラ21は、ローカルストレージ24から対象となるビデオ/オーディオストリームを読み出す。そして、コントローラ21は、読み出されたビデオ/オーディオストリームを、例えば2ndビデオデコーダ412/2ndオーディオデコーダ75-2にデコードさせるように指示する。これにより処理はステップS151に進む。ステップS151において、2ndビデオデコーダ412/2ndオーディオデコーダ75-2は、読み出されたビデオオーディオストリームをデコードする。このようにしてステップS151の処理が終了したとき、または、上述したステップS149の処理でNOであると判定されたとき、処理は図67のステップS152に進む。ステップS152において、コントローラ21は、SubPathtype5のSubPathは存在するか否かを判定する。ステップS152において、SubPathtype5のSubPathは存在しないと判定された場合、処理はステップS156に進む。ただし、ステップS156以降の処理については後述する。これに対して、ステップS152において、SubPathtype5のSubPathは存在すると判定された場合、処理はステップS153に進む。ステップS153において、コントローラ21は、選択されたSubPathSubPathtype5のSubPathが参照するClipを調べる。ステップS154において、コントローラ21は、streamattribute図18に記述されている内容に基づいて、そのClip内にあるオーディオストリームを再生する機能はあるか否かを判定する。ステップS154において、Clip内にあるオーディオストリームを再生する機能は無いと判定された場合、処理はステップS156に進む。ただし、ステップS156以降の処理については後述する。これに対して、ステップS154において、Clip内にあるオーディオストリームを再生する機能はあると判定した場合、コントローラ21は、そのClipから、SubPathによって特定されるストリーム、すなわち、オーディオストリームを読み出すように、ストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるオーディオストリームを読み出す。または、コントローラ21は、ローカルストレージ24から対象となるオーディオストリームを読み出す。そして、コントローラ21は、読み出されたオーディオストリームを、例えば2ndオーディオデコーダ75-2にデコードさせるように指示する。これにより処理はステップS155に進む。ステップS155において、2ndオーディオデコーダ75-2は、読み出されたオーディオストリームをデコードする。このようにしてステップS155の処理が終了したとき、または、上述したステップS152若しくはS154の処理でNOであると判定されたとき、処理はステップS156に進む。ステップS156において、コントローラ21は、SubPathtype6のSubPathは存在するか否かを判定する。ステップS156において、SubPathtype6のSubPathは存在しないと判定された場合、処理は図68のステップS161に進む。ただし、ステップS161以降の処理については後述する。これに対して、ステップS156において、SubPathtype6のSubPathは存在すると判定された場合、処理はステップS157に進む。ステップS157において、コントローラ21は、選択されたSubPathSubPathtype6のSubPathが参照するClipを調べる。ステップS158において、コントローラ21は、streamattribute図18に記述されている内容に基づいて、そのClip内にあるオーディオストリームを再生する機能はあるか否かを判定する。ステップS158において、Clip内にあるオーディオストリームを再生する機能は無いと判定された場合、コントローラ21は、そのClipから、SubPathによって特定されるストリームのうちの、ビデオストリームを読み出すようストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるビデオストリームを読み出す。または、コントローラ21は、ローカルストレージ24から対象となるビデオストリームを読み出す。ただし、この場合、コントローラ21は、オーディオストリームのデコードの禁止を指示し、かつ、読み出されたビデオストリームを、例えば2ndビデオデコーダ412にデコードさせるように指示する。これにより処理はステップS160に進む。ただし、ステップS160以降の処理については後述する。これに対して、ステップS158において、Clip内にあるオーディオストリームを再生する機能はあると判定した場合、コントローラ21は、そのClipから、SubPathによって特定されるストリーム、すなわち、ビデオストリームおよびオーディオストリームを読み出すようストレージドライブ22に指示する。ストレージドライブ22は、この指示に基づいて、対象となるビデオストリームおよびオーディオストリームを読み出す。そして、コントローラ21は、読み出されたオーディオストリームを、例えば2ndオーディオデコーダ75-2にデコードさせるように指示し、かつ、読み出されたビデオストリームを、例えば2ndビデオデコーダ412にデコードさせるように指示する。これにより処理はステップS159に進む。ステップS159において、2ndオーディオデコーダ75-2は、読み出されたオーディオストリームをデコードする。このようにしてステップS159の処理が終了したとき、または、上述したステップS158の処理でNOであると判定されたとき、処理はステップS160に進む。ステップS160において、2ndビデオデコーダ412は、読み出されたビデオストリームをデコードする。このようにしてステップS160の処理が終了したとき、または、上述したステップS156の処理でNOであると判定されたとき、処理は図68のステップS161に進む。ステップS161において、AVデコーダ部403は、メインClipAVStreamをデコードする。ここで、メインClipAVStreamとは、再生対象のPlaylistのMainPathにより参照されるビデオストリームやオーディオストリーム等のことであり、MainTSに含まれている。メインClipAVStreamとは、例えば、ピクチャインピクチャ手法では、プライマリビデオストリームやプライマリオーディオストリーム等のことをいう。即ち、AVデコーダ部403のうちの、1stビデオデコーダ72や1stオーディオデコーダ75-1等が、このステップS161の処理を実行する。ステップS162において、AVデコーダ部403は、デコードされたメインClipAVStreamと、デコードされたSubPathストリームを合成し、出力する。ここで、デコードされたSubPathストリームとは、図65のステップS144の処理でデコードされてステップS145の処理でプリロード用バッファ414に格納されたIG、図65のステップS148の処理でデコードされたテキストサブタイトル、図66のステップS151の処理でデコードされたオーディオストリーム、図67のステップS155の処理でデコードされたオーディオストリーム、図66のステップS159の処理でデコードされたオーディオストリーム、および、図66のステップS160の処理でデコードされたビデオストリームのうちの0以上のSubPathストリームのことをいう。ステップS163において、コントローラ21は、ステップS162の処理で合成されたストリームを出力中にSubPathの切り替え指示ユーザの切り替え操作があったか否かを判定する。ステップS163において、合成されたストリームを出力中にSubPathの切り替え指示が無かったと判定された場合、applicationtype1or2のPlayListの再生処理が終了となる。これに対して、ステップS163において、合成されたストリームを出力中にSubPathの切り替え指示が有ったと判定された場合、処理はステップS164に進む。ステップS164において、コントローラ21は、その切り替え指示により選択されたSubPathのSubPathtypeを調べる。具体的には、STNtableに定義されている1以上のsecondaryaudiostreamaudiostreamid2またはsecondaryvideostreamvideostreamid2から、特定のsecondaryaudiostreamまたはsecondaryvideostreamが選択された場合、STNtableを基にその特定のsecondaryaudiostreamまたはsecondaryvideostreamに対応するstreamentryが調べられて、このstreamentryに記録されているreftoSubPathidからsubpathidが取得され、このsubpathidにより図9のPlayListのSubpathが特定されて、図10のSubPathにより、Subpathtypeが取得される。ステップS165において、コントローラ21は、ステップS164の調査結果がSubPathtype3であるか否かを判定する。ステップS165において、SubPathtype3であると判定された場合、処理は図65のステップS143に戻され、処理が繰り返される。即ち、メインClipAVStreamと合成されるIGが切り替えられる。これに対して、ステップS165において、SubPathtype3ではないと判定された場合、処理はステップS166に進む。ステップS166において、コントローラ21は、ステップS164の調査結果がSubPathtype4であるか否かを判定する。ステップS166において、SubPathtype4であると判定された場合、処理は図65のステップS147に戻され、処理が繰り返される。即ち、メインClipAVStreamと合成されるテキストサブタイトルが切り替えられる。これに対して、ステップS166において、SubPathtype4ではないと判定された場合、処理はステップS167に進む。ステップS167において、コントローラ21は、ステップS164の調査結果がSubPathtype7であるか否かを判定する。ステップS167において、SubPathtype7であると判定された場合、処理は図66のステップS150に戻され、処理が繰り返される。即ち、メインClipAVStreamと合成されるビデオ/オーディオストリームが切り替えられる。これに対して、ステップS167において、SubPathtype7ではないと判定された場合、処理はステップS168に進む。ステップS168において、コントローラ21は、ステップS164の調査結果がSubPathtype5であるか否かを判定する。ステップS168において、SubPathtype5であると判定された場合、処理は図67のステップS153に戻され、処理が繰り返される。即ち、メインClipAVStreamと合成されるオーディオストリームが切り替えられる。これに対して、ステップS168において、SubPathtype5ではないと判定された場合、処理はステップS169に進む。ステップS169において、コントローラ21は、ステップS164の調査結果がSubPathtype6であるか否かを判定する。ステップS169において、SubPathtype6であると判定された場合、処理は図67のステップS157に戻され、処理が繰り返される。即ち、メインClipAVStreamと合成されるオーディオストリームやビデオストリームが切り替えられる。これに対して、ステップS169において、SubPathtype6ではないと判定された場合、applicationtype1or2のPlayListの再生処理が終了となる。以上説明したように、ピクチャインピクチャ手法を適用するアプリケーションを実現するためには、例えば、プライマリビデオストリームと組み合わせて同時再生され得るストリームの組み合わせの定義、即ち、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせの定義が必要となる。さらに、複数の組み合わせを定義することで、全画面301に再生されるプライマリビデオストリームやプライマリオーディオスオストリームの切り替えのみならず、子画面302に再生されるセカンダリビデオストリームの切り替えや、サブタイトルストリームの切り替えも容易に行えるようになる。図44と図45を用いて説明したような、プライマリビデオストリームと組み合わせて同時再生され得るストリームの組み合わせを定義するSTNtableの異なる例、すなわち、第8のSTNtableの例を、図69および図70を用いて説明する。即ち、図69と図70とは、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、特に、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のプレゼンテーショングラフィックスPGまたはテキスト字幕の組み合わせを定義する場合のSTNtableのシンタクスの第8の例第8のSTNtableの例を示す図である。第8のSTNtableを参照して実行される再生処理も、図52を用いて説明した再生装置401において実行可能である。なお、図中、上述した図44および図45と同一の部分については、繰り返しになるのでその説明は省略する。numberofaudiostream2entriesの8ビットのフィールドは、STNtableに登録されるセカンダリオーディオの数を示す。セカンダリビデオストリームの数は、audiostream2number=audiostream2id1によって求められる。numberofvideostream2entriesの8ビットのフィールドは、STNtableに登録されるセカンダリビデオの数を示す。セカンダリビデオストリームの数は、videostream2number=videostream2id1によって求められる。また、各videostream2idのstreamentryブロックは、typeフィールドが2に設定されていなければならない。そして、numberofPiPPGtextSTstreamentriesの8ビットのフィールドは、STNtableに登録されるPiPアプリケーション用のPGテキスト字幕のストリームの数を示す。PIPアプリケーション用のPGプレゼンテーショングラフィックスまたは、テキスト字幕のストリームの数は、PiPPGtextSTstreamnumber=PiPPGtextSTstreamid1によって求められる。そして、combinfoSecondaryaudioPrimaryaudioのブロックは、セカンダリオーディオとプライマリオーディオの組み合わせを示す。combinfoSecondaryaudioPrimaryaudioのブロック内において、numberofaudiostreamrefentriesの8ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームの数を示す。そして、audiostreamidrefの8ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームのIDを示す。次に、combinfoSecondaryvideoSecondaryaudioのブロックは、セカンダリビデオストリームとセカンダリオーディオストリームの組み合わせを示す。combinfoSecondaryvideoSecondaryaudioのブロック内において、numberofaudiostream2refentriesの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームの数を示す。そして、audiostreamid2refの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームのIDを示す。そして、combinfoSecondaryvideoPiPPGtextSTのブロックは、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のPGテキスト字幕のストリームの組み合わせを示す。combinfoSecondaryvideoPiPPGtextSTのブロック内において、numberofPiPPGtextSTrefentriesの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るPIPアプリケーション用のPGテキスト字幕のストリームの数を示す。また、PiPPGtextSTstreamidrefの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャアプリケーション用のPGテキスト字幕のストリームのIDを示す。なお、図35、図41、図42、または、図44および図45を参照して説明した場合と同様に、各IDの代わりに各番号、例えば、audiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いたり、audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。ビデオストリームやサブタイトルストリームについても同様である。図69と図70によれば、セカンダリオーディオとプライマリオーディオの組み合わせ、セカンダリビデオとセカンダリオーディオの組み合わせ、および、セカンダリビデオとピクチャインピクチャアプリケーション用のPGテキスト字幕の組み合わせを定義することができる。従って、プライマリビデオストリーム1ビデオストリームと同時再生され得る、セカンダリビデオストリーム2ビデオストリーム、プライマリオーディオストリーム1オーディオストリーム、セカンダリオーディオストリーム2オーディオストリーム、および、サブタイトルストリームPGTextSTストリームの組み合わせに加えて、ピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームの組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。また、再生装置401においては、再生装置401のメモリ23の書き換え可能なメモリ領域のうちの一部に、複数のレジスタが設けられ、このレジスタに設定される値を基に、再生処理が実行される。レジスタのうち、例えば、再生装置401が2オーディオストリームを再生することが可能か否かが設定されているレジスタの値など、再生装置401固有の機能について設定されているものは、その値が変更されることはない。これに対して、レジスタのうちの所定のものの設定は、例えば、ユーザから所定の操作入力を受けた場合、または、ナビゲーションプログラムにより発生されるナビゲーションコマンドにより変更される。なお、ナビゲーションコマンドは、ストリームデータとは個別に記録媒体や内部のハードディスク等に記録され、再生装置401によってプリロードされ、コントローラ21に供給されるようになされていてもよいし、ストリームデータに埋め込まれて記録媒体や内部のハードディスク等に記録され、再生装置401によってストリームデータが再生されるのに伴ってロードされ、コントローラ21に供給されるようになされていてもよい。レジスタには、再生装置401における再生処理に必要な各種設定を示す値が保持されている。レジスタには、例えば、再生装置401が再生するサブタイトルストリームPGTextSTストリームを定義するレジスタ、再生装置401が再生するピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームを定義するレジスタ、再生装置401が再生可能なサブタイトルストリームPGTextSTストリームのストリームIDを示すレジスタ、再生装置401が再生可能なサブタイトルストリームPGTextSTストリームの言語コード番号またはIDを示すレジスタ、初期設定されている言語のIDを示すレジスタ、再生装置401が再生可能なサブタイトルストリームPGTextSTストリームに対応する国のコード番号またはIDを示すレジスタなどが含まれるものとすると好適である。ピクチャインピクチャアプリケーションが起動されたとき、再生装置401は、表示の見易さを考慮して、サブタイトルストリームPGTextSTストリームか、ピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームかのいずれか一方のみしか表示させないようにしてもよいし、サブタイトルストリームPGTextSTストリームとピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームの両方を表示することができるものとしてもよい。図71を用いて、ピクチャインピクチャアプリケーションが起動されたとき、再生装置401がプライマリすなわち、ピクチャインピクチャアプリケーション用ではないのサブタイトルストリームPGTextSTストリームを再生表示するか否か、および、再生表示する場合はいずれのストリームを再生するかを決定するために参照するレジスタ、ならびに、ピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームを再生表示するか否か、および、再生表示する場合はいずれのストリームを再生するかを決定するために参照されるレジスタについて説明する。1レジスタは、プライマリのPGTextSTストリームのID番号を示すレジスタである。すなわち、1レジスタは、現在のPlayItemのSTNtableに登録されているプライマリのPGTextSTの中で、再生されるPGTextSTストリームを示すものである。1レジスタにおいて、dispflagの値が0であるとき、プライマリのPGTextSTストリームは表示されず、dispflagの値が1であるとき、プライマリのPGTextSTストリームは表示される。また、1レジスタにおいて、PGTextSTstreamnumberは、現在のPlayItemのSTNtableに登録されているプライマリのPGTextSTのID番号である。そして、2レジスタは、ピクチャインピクチャアプリケーション用のPGTextSTストリームのID番号を示すレジスタである。2レジスタにおいて、dispflagの値が0である場合、ピクチャインピクチャアプリケーション用のPGTextSTストリームは表示されず、dispflagの値が1である場合、ピクチャインピクチャアプリケーション用のPGTextSTストリームは表示される。また、PiPPGTextSTstreamnumberは、現在のPlayItemのSTNtableに登録されているピクチャインピクチャアプリケーション用PGTextSTストリームのID番号を示す。そして、invalidflagの値が0である場合、ピクチャインピクチャアプリケーション用のPGTextSTストリームのID番号は有効であり、1の場合には、無効である。なお、PGTextSTstreamnumberに0xFFが登録されている場合、PGTextSTストリームが選択されていないか、または、存在しない。そして、PiPPGTextSTstreamnumberに0xFFが登録されている場合、ピクチャインピクチャ用のTextSTストリームが選択されていないか、または、存在しない。また、PGTextSTstreamnumberまたはPiPPGTextSTstreamnumberに0xFF以外が登録されていた場合でもinvalidflagやdispflagの組み合わせによって、表示の有効または無効が決められる。すなわち、1レジスタ及び2レジスタのdispflag0で表示無効状態のときは、必ず、PGTextSTstreamnumberまたはPiPPGTextSTstreamnumberが0xFFに設定されるようになされているのではない。例えば、1レジスタまたは2レジスタのdispflag0で表示無効状態のときは、PGTextSTstreamnumberまたはPiPPGTextSTstreamnumberに0xFF以外が登録されていても、PGTextSTstreamnumberまたはPiPPGTextSTstreamnumberに登録されている値は無視されて、表示されないようになされている。これらのレジスタに設定されている値を参照することにより、再生装置401においてそれぞれのストリームの再生処理が実行される。例えば、再生装置401が、ピクチャインピクチャアプリケーションが起動されたときに、サブタイトルストリームPGTextSTストリームか、ピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームかのいずれか一方のみしか表示させないものとしている場合、1レジスタのPGTextSTstreamnumberに設定されている値に対応するプライマリのPGTextSTストリームが再生されるのは、dispflagの値が1であり、2レジスタのinvalidflagが1に設定されているとき、または、SecondaryVideoの表示が無効になっている、すなわち、ピクチャインピクチャ表示が実行されていない場合である。1レジスタの値が変更された場合、プライマリのPGTextSTストリームの再生も直ちに変更される。また、1レジスタのPGTextSTstreamnumberに示された値が、PlayItemのSTNtableに登録されているPGTextSTストリームの番号と一致しなかった場合、再生されるプライマリのPGTextSTストリームは、PGTextSTストリーム自動選択ルーチンにより選択される。自動選択ルーチンにおいては、まず、再生装置401において表示できる言語、または、表示できない言語を表す値が設定されているレジスタが参照されて、再生装置401が表示能力を有する言語が優先して選択され、次に、再生装置401に設定されている言語コードと同等のものが優先され、そして、次に、STNtableに登録されている順番で番号が若いものから順番に優先して選択される。そして、2レジスタのPiPPGTextSTstreamnumberに設定されている値に対応するピクチャインピクチャアプリケーション用のPGTextSTストリームが再生されるのは、セカンダリビデオの表示が有効になっていて、かつ、2レジスタのdispflagの値が1、invalidflagが0に設定され、2レジスタに登録されているピクチャインピクチャアプリケーション用のPiPPGTextSTのID番号が、現在のPlayItemのSTNtableに登録されているピクチャインピクチャアプリケーション用のPiPPGTextSTストリームに含まれているときである。そして、セカンダリビデオの表示が有効になっていて、かつ、2レジスタのdispflagの値が1、invalidflagが0に設定されているのに、2レジスタに示された値が、PlayItemのSTNtableに登録されているPiPPGTextSTストリームの番号と一致しなかった場合、再生されるピクチャインピクチャアプリケーション用のPGTextSTストリームは、PiPPGTextSTストリーム自動選択ルーチンにより選択される。自動選択ルーチンにおいては、まず、再生装置401において表示できる言語、または、表示できない言語を表す値が登録されたレジスタが参照されて、再生装置401が表示能力を有する言語が優先して選択され、次に、再生装置401に設定されている言語コードと同等のものが優先され、そして、次に、STNtableに登録されている順番で番号が若いものから順番に優先して選択される。次に、図72を参照して、ピクチャインピクチャ表示の実行時に、プライマリのPGTextSTストリームが再生される場合の例について説明する。例えば、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態において、1レジスタのdispflagが1であるとき、2レジスタの設定にかかわらず、1レジスタのPGTextSTstreamnumberに設定されている値が参照され、STNtableに登録されているPGTextSTnumber=0x05のPGTextSTが再生表示される。そして、ナビゲーションプログラムによってコマンドが発生されるか、または、ユーザにより所定の操作入力が行われることにより、ピクチャインピクチャ表示の実行が開始図中、PiPonされる。ピクチャインピクチャ表示の実行が開始されても、2レジスタのinvalidflagが1に設定例えば、ナビゲーションプログラムによって発生されるナビゲーションコマンドによりinvalidflagが1に設定されていれば、ユーザがピクチャインピクチャアプリケーション用のPiPPGTextSTストリームの表示を選択したとしても、ピクチャインピクチャアプリケーション用のPiPPGTextSTストリームは、表示されない。すなわち、ピクチャインピクチャ表示が実行されている状態図中、PiPenabledと示されている状態においても、1レジスタのPGTextSTstreamnumberに設定されている値が参照され、STNtableに登録されているPGTextSTnumber=0x05のPGTextSTが再生表示される。なお、ナビゲーションコマンドは、ストリームデータとは個別に記録媒体等に記録され、再生装置401によってプリロードされ、コントローラ21に供給されるようになされていてもよいが、ストリームデータに埋め込まれて記録媒体等に記録され、再生装置401によってストリームデータが再生されるのに伴ってロードされ、コントローラ21に供給されるようになされていると、コマンドの実行タイミングの制御が容易であり、好適である。また、invalidflagを設定しうるナビゲーションコマンドが発生される場合の例として、例えば、コンテンツ製作者が、自動でinvalidflagが変更されるように、ストリーム中例えば、インタラクティブグラフィックストリームIGストリーム中にナビゲーションコマンドを埋め込むようにしてもよいし、例えば、IGストリームにボタン情報およびinvalidflagを変更する制御情報を含めて記録し、ユーザにより選択操作可能なボタンをストリーム再生中に表示可能なようにすることにより、対応するボタンがユーザにより押下される選択される操作入力に基づいてinvalidflagを変更することができるような構成であってもよい。そして、ピクチャインピクチャ表示の実行が終了図中、PiPoffされ、再び、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態となった場合、1レジスタのdispflagが1であれば、2レジスタの設定にかかわらず、1レジスタのPGTextSTstreamnumberに設定されている値が参照され、STNtableに登録されているPGTextSTnumber=0x05のPGTextSTが再生表示される。次に、図73を参照して、ピクチャインピクチャ表示の実行時に、ピクチャインピクチャアプリケーション用のPGTextSTストリームが再生される場合の例について説明する。例えば、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態において、1レジスタのdispflagが1であるとき、2レジスタの設定にかかわらず、1レジスタのPGTextSTstreamnumberに設定されている値が参照され、STNtableに登録されているPGTextSTnumber=0x05のPGTextSTが再生表示される。そして、ナビゲーションプログラムによってコマンド例えば、ストリームに埋め込まれているナビゲーションコマンドが発生されるか、または、ユーザにより所定の操作入力が行われることにより、ピクチャインピクチャ表示の実行が開始図中、PiPonされ、2レジスタのinvalidflagが0に設定され、dispflagが1に設定されている場合、2レジスタのPiPPGTextSTstreamnumberに設定されている値が参照されて、STNtableに登録されているPiPPGTextSTnumber=0x02のピクチャインピクチャアプリケーション用のPiPPGTextSTストリームが表示される。なお、ユーザがピクチャインピクチャアプリケーション用のPiPPGTextSTストリームの表示を選択しない場合、ピクチャインピクチャアプリケーション用のPiPPGTextSTストリームは、表示されない。そして、ピクチャインピクチャ表示の実行が終了図中、PiPoffされ、再び、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態となった場合、1レジスタのdispflagが1であれば、2レジスタの設定にかかわらず、1レジスタのPGTextSTstreamnumberに設定されている値が参照され、STNtableに登録されているPGTextSTnumber=0x05のPGTextSTが再生表示される。なお、図72および図73において、PiPPGTextSTstreamnumberに0xFFが登録されている場合、TextSTストリームが選択されていないか、または、存在しない。例えば、PiPPGTextSTstreamnumberに0xFF以外が登録されていた場合でもinvalidflagやdispflagの組み合わせによって、表示の有効または無効が決められる。すなわち、invalidflag1で表示無効状態のときは、PiPPGTextSTstreamnumberに0xFF以外が登録されていても、PGTextSTstreamnumberまたはPiPPGTextSTstreamnumberに登録されている値は無視されて、表示されないようになされている。また、図72、図73の例では、プライマリビデオの画像字幕情報に対する1のレジスタと、セカンダリビデオPiPの画像字幕情報に対する2のレジスタを分けて設定しているが、レジスタを1つにしてもよい。さらに、この例における2つのdispflagをを1つにして、プライマリビデオの画像字幕ストリームであるPGTextSTstream、または、セカンダリビデオPiPの画像字幕ストリームであるPiPPGTextSTstreamの表示をするか否かのflag、すなわち、画像情報を示すか否かを表すflagとしてもよい。この場合、invalidflagを、プライマリビデオの画像情報またはPiPの画像情報の、いずれの画像の表示を行うかを決定するflagとする構成とする。次に、図74のフローチャートを参照して、PiPピクチャインピクチャを含んだアプリケーションのPGTextST再生処理について説明する。ステップS301において、コントローラ21は、1レジスタに設定されているPGTextST番号PGTextSTstreamnumberより、対応するPGTextSTを現在のPlayItemのSTNtableから調べる。ステップS302において、コントローラ21は、所望のPGTextSTを特定して、記録媒体11、または、ローカルストレージ24に記録されているClipから、特定されたストリームを読み出し、dispflag等に応じ、再生を行う。例えば、コントローラ21は、1レジスタのdispflagが1であるとき、1レジスタのPGTextSTstreamnumberに設定されている値を参照し、STNtableに登録されているPGTextSTnumberのPGTextSTを読み出し、AVデコーダ部403に供給する。読み出されたPGTextSTは、各バッファ、PIDフィルタ、スイッチ等の処理により、プレゼンテーショングラフィックスプレーン生成部93に供給されて、レンダリング画像であるプレゼンテーショングラフィックスプレーンが生成され、ビデオデータ処理部96に供給されて、プライマリビデオストリームなどと合成され、対応する音声データとともに再生出力される。ステップS303において、コントローラ21は、ピクチャインピクチャ表示を開始PiPをONにする。ここで、ピクチャインピクチャ表示がメインパスに同期して設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、そのピクチャインピクチャにより再生されるビデオストリームを示す図12SubPlayItemのINtimeOuttimeで示される、所定のタイミングで実行される。これに対して、ピクチャインピクチャ表示がメインパスと非同期で設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力、または、ナビゲーションコマンドにより設定される。ステップS304において、コントローラ21は、ストリームに埋め込まれている、または、ストリームとは異なる位置に記憶されてプリロードされているNavigationCommandナビゲーションコマンド等により、必要に応じて、2レジスタのinvalidflagの設定値を変更する。ステップS305において、コントローラ21は、2レジスタにおいて、invalidflag=0PiPPGTextST有効であるか否かを判断する。ステップS305において、invalidflag=0であると判断された場合、ステップS306において、コントローラ21は、2レジスタにおいてdispflag=1PiPPGTextST表示であるか否かを判断する。すなわち、コントローラ21は、ピクチャインピクチャ表示がメインパスと非同期で設定されている場合、ピクチャインピクチャ表示が、ユーザの操作入力により指令され、2レジスタのdispflagの値が1に設定されているか否かを判断する。なお、ステップS305の処理と、ステップS306の処理とにおいては、いずれの判断が先に行われるようにしてもよい。ステップS306において、2レジスタのdispflag=1であると判断された場合、ステップS307において、図75のフローチャートを用いて後述するPiPPGTextST表示処理が実行され、処理は、後述するステップS311に進む。なお、このとき、1レジスタにおいて、dispflag1に設定されている場合、ピクチャインピクチャアプリケーション用のPiPPGTextSTストリームとともに、プライマリのPGTextSTストリームを表示するようにしてもかまわない。ステップS305において、invalidflag=0ではないすなわち、invalidflag=1であると判断された場合、または、ステップS306において、dispflag=1ではないすなわち、dispflag=0であると判断された場合、ステップS308において、コントローラ21は、1レジスタにおいて、dispflag1PGTextST表示であるか否かを判断する。ステップS308において、1レジスタのdispflag1であると判断された場合、ステップS309において、コントローラ21は、1レジスタに設定されているPGTextST番号PGTextSTstreamnumberより対応するPGTextSTを現在のPlayItemのSTNtableより調べ、再生すべきPGTextSTを特定し、表示させ、処理は、後述するステップS311に進む。なお、dispflagを1つにして、プライマリビデオの画像字幕ストリームであるPGTextSTstream、または、PiPの画像字幕ストリームであるPiPPGTextSTstreamの表示をするか否かを表すflag、すなわち、画像情報を示すか否かを表すflagとした場合、ステップS306およびステップS308の処理においては、同じdispflagが参照される。例えば、コントローラ21は、1レジスタのdispflagが1であるとき、1レジスタのPGTextSTstreamnumberに設定されている値を参照し、STNtableに登録されているPGTextSTnumberのPGTextSTを読み出し、AVデコーダ部403に供給する。読み出されたPGTextSTは、各バッファ、PIDフィルタ、スイッチ等の処理により、プレゼンテーショングラフィックスプレーン生成部93に供給されて、レンダリング画像であるプレゼンテーショングラフィックスプレーンが生成され、ビデオデータ処理部96に供給されて、プライマリビデオストリームなどと合成され、対応する音声データとともに再生出力される。ステップS308において、dispflag=1ではないすなわち、dispflag=0であると判断された場合、ステップS310において、コントローラ21は、PGTextSTの表示なし例えば、全画面301および子画面302のいずれに対応する字幕も表示されない状態とし、処理は、後述するステップS311に進む。ステップS307、ステップS309、または、ステップS310の処理の終了後、ステップS311において、コントローラ21は、ピクチャインピクチャPiP表示が終了されるか否かを判断する。上述したように、ピクチャインピクチャ表示がメインパスに同期して設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力にかかわらず、所定のタイミングで実行される。これに対して、ピクチャインピクチャ表示がメインパスと非同期で設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力により設定される。ステップS311において、ピクチャインピクチャPiP表示が終了されないと判断された場合、処理は、ステップS304に戻り、それ以降の処理が繰り返される。ステップS311において、ピクチャインピクチャPiP表示が終了されると判断された場合、処理は終了される。このような処理により、ピクチャインピクチャ表示が実行される場合、1レジスタおよび2レジスタに設定されている値を基に、プライマリすなわち、ピクチャインピクチャアプリケーション用ではないサブタイトルストリームPGTextSTストリームを再生表示するか否か、および、ピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームを再生表示するか否かが決定される。また、再生表示されるストリームはいずれのストリームであるかも、基本的には、1レジスタまたは2レジスタの設定により決定されるが、1レジスタまたは2レジスタの設定がSTNtableの登録内容と一致しない場合には、上述した自動選択ルーチンにより、再生表示されるストリームが決定される。次に、図75のフローチャートを参照して、図74のステップS307において実行される、PiPPGTextST表示処理について説明する。ステップS351において、コントローラ21は、2レジスタに設定されているPiPPGTextST番号PiPPGTextSTstreamnumberを取得する。2レジスタに設定されているPiPPGTextST番号PiPPGTextSTstreamnumberは、例えば、ストリームナンバーテーブルを参照して選択されて設定されたり、前回ピクチャインピクチャ表示が行われた場合の設定値が保持されていたり、ユーザの操作入力を基に設定されたり、または、上述したナビゲーションコマンドにより設定された値である。ステップS352において、コントローラ21は、図69および図70を用いて説明した第8のSTNtableのPiPPGtextSTstreamidrefの値に1を加えた値が、2レジスタに保存されているか否かを判断する。ステップS352において、第8のSTNtableのPiPPGtextSTstreamidrefの値に1を加えた値PiPPGtextSTidref1が、2レジスタに保存されていると判断された場合、ステップS353において、コントローラ21は、2レジスタに設定換言すれば、保存されているPiPPGTextSTstreamnumberに対応するPiPPGTextSTを表示させ、処理は、図74のステップS307に戻り、ステップS311に進む。すなわち、コントローラ21は、2レジスタのPiPPGTextSTstreamnumberに設定されている値に対応するPGTextSTを、ストレージドライブ22を介して記録媒体11から、または、ローカルストレージ24から読み出させる。読み出されたPGTextSTは、各バッファ、PIDフィルタ、スイッチ等の処理により、プレゼンテーショングラフィックスプレーン生成部93に供給されて、レンダリング画像であるプレゼンテーショングラフィックスプレーンが生成され、ビデオデータ処理部96に供給されて、プライマリビデオストリームやセカンダリビデオストリームなどと合成され、対応する音声データとともに再生出力される。ステップS352において、第8のSTNtableのPiPPGtextSTstreamidrefの値に1を加えた値が、2レジスタに保存されていないと判断された場合、ステップS354において、コントローラ21は、STNtableのstreamattribute図18のPGlanguagecodeおよびtextSTlanguagecodeを参照し、1レジスタまたは2レジスタとは異なる別のレジスタ、すなわち、言語の初期設定が登録されるレジスタを参照し、設定されている言語の初期設定が、自分自身再生装置401の再生可能言語であり、かつ、STNtableのPiPPGtextSTidrefの値に1を加えた値PiPPGtextSTidref1で規定されているか否かを判断する。ステップS354において、別のレジスタに設定されている初期設定が、再生可能言語であり、かつ、STNtableのPiPPGtextSTidrefの値に1を加えた値で規定されていると判断された場合、ステップS355において、コントローラ21は、初期設定されている言語に対応するPiPPGTextSTを表示させ、処理は、図74のステップS307に戻り、ステップS311に進む。すなわち、コントローラ21は、言語の初期設定が登録されるレジスタに設定されている値に対応するPGTextSTを、ストレージドライブ22を介して記録媒体11から、または、ローカルストレージ24から読み出させる。読み出されたPGTextSTは、各バッファ、PIDフィルタ、スイッチ等の処理により、プレゼンテーショングラフィックスプレーン生成部93に供給されて、レンダリング画像であるプレゼンテーショングラフィックスプレーンが生成され、ビデオデータ処理部96に供給されて、プライマリビデオストリームなどと合成され、対応する音声データとともに再生出力される。ステップS354において、別のレジスタに設定されている初期設定が再生可能言語ではない、または、第8のSTNtableのPiPPGtextSTidref1で規定されていないと判断された場合、ステップS356において、コントローラ21は、iの設定値をi=0とする。ここで、値iは、後述するステップS357において、再生できるか否かを確認するのは、STNtableに定義されているPiPPGtextSTidrefのうちの何番目についてであるかを表す値である。ステップS357において、コントローラ21は、所定のレジスタ、すなわち、再生装置141が復号可能な言語を示す情報が登録されているレジスタを参照することにより、再生装置141が復号可能な言語を確認して、i番目のPiPPGtextSTidrefに1を加えた値に対応するPiPPGtextSTを再生できるか否かを判断する。ステップS357において、再生できないと判断された場合、ステップS358において、コントローラ21は、値iを、i=i1とし、処理は、ステップS357に戻り、それ以降の処理が繰り返される。すなわち、STNtableに登録されている順番で番号が若いものから順番に、PiPPGtextSTが再生できるか否かが判断される。ステップS357において、再生できると判断された場合、ステップS359において、コントローラ21は、i番目のPiPPGtextSTidrefに1を加えた値で規定されているPGtextSTを表示させ、処理は、図74のステップS307に戻り、ステップS311に進む。すなわち、コントローラ21は、ステップS357において再生できると判断された、i番目のPiPPGtextSTidrefに1を加えた値で規定されているPGTextSTを、ストレージドライブ22を介して記録媒体11から、または、ローカルストレージ24から読み出させる。読み出されたPGTextSTは、各バッファ、PIDフィルタ、スイッチ等の処理により、プレゼンテーショングラフィックスプレーン生成部93に供給されて、レンダリング画像であるプレゼンテーショングラフィックスプレーンが生成され、ビデオデータ処理部96に供給されて、プライマリビデオストリームなどと合成され、対応する音声データとともに再生出力される。このような処理により、2レジスタのPiPPGTextSTstreamnumberに示された値が、PlayItemのSTNtableに登録されているPiPPGTextSTストリームの番号と一致した場合、PiPPGTextSTstreamnumberに示された値に対応するPiPPGtextSTが再生される。そして、2レジスタのPiPPGTextSTstreamnumberに示された値が、PlayItemのSTNtableに登録されているPiPPGTextSTストリームの番号と一致しなかった場合、再生されるピクチャインピクチャアプリケーション用のPGTextSTストリームは、PiPPGTextSTストリーム自動選択ルーチンにより選択される。次に、プライマリビデオストリームと組み合わせて同時再生され得るストリームの組み合わせを定義するSTNtableの異なる例、すなわち、STNtableの第9の例を、図76乃至図78を用いて説明する。即ち、図76乃至図78は、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、特に、ピクチャインピクチャアプリケーション用のプライマリオーディオをさらに定義するとともに、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のプレゼンテーショングラフィックスPGまたはテキスト字幕の組み合わせに加えて、セカンダリビデオとピクチャインピクチャアプリケーション用のプライマリオーディオとの組み合わせをさらに定義する場合のSTNtableのシンタクスの第9の例第9のSTNtableの例を示す図である。第9のSTNtableを参照して実行される再生処理も、図52を用いて説明した再生装置401において実行可能である。なお、図中、上述した図69および図70と同一の部分については、繰り返しになるのでその説明は省略する。新たに加えられたnumberofPiPprimaryaudiostreamentriesの8ビットのフィールドは、STNtableに登録されるピクチャインピクチャ表示用のプライマリオーディオストリームの数を示す。ピクチャインピクチャ表示用のプライマリオーディオストリームの数は、PiPprimaryaudiostreamnumber=PiPprimaryaudiostreamid1によって求められる。そして、combinfoSecondaryvideoPiPprimaryaudioのブロックは、セカンダリビデオストリームとピクチャインピクチャ表示用のプライマリオーディオストリームの組み合わせを示す。combinfoSecondaryvideoPiPprimaryaudioのブロック内において、numberofPiPprimaryaudiorefentriesSVの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャ表示用のプライマリオーディオストリームの数を示す。そして、PiPprimaryaudioidrefSVの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャ表示用のプライマリオーディオストリームのIDを示す。なお、上述したそれぞれのSTNtableにおける場合と同様に、各IDの代わりに各番号、例えば、audiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いたり、audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。ビデオストリームやサブタイトルストリームについても同様である。図76乃至図78の第9のSTNtableによれば、セカンダリオーディオとプライマリオーディオの組み合わせ、セカンダリビデオとセカンダリオーディオの組み合わせ、および、セカンダリビデオとピクチャインピクチャアプリケーション用のPGテキスト字幕の組み合わせに加えて、セカンダリビデオとピクチャインピクチャ表示用のプライマリオーディオの組み合わせを定義することができる。従って、プライマリビデオストリーム1ビデオストリームと同時再生され得る、セカンダリビデオストリーム2ビデオストリーム、プライマリオーディオストリーム1オーディオストリーム、セカンダリオーディオストリーム2オーディオストリーム、サブタイトルストリームPGTextSTストリーム、および、ピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームの組み合わせに加えて、セカンダリビデオとピクチャインピクチャ表示用のプライマリオーディオの組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。また、再生装置141においては、上述したように、再生装置141のメモリ23の書き換え可能なメモリ領域のうちの一部に、複数のレジスタが設けられ、このレジスタに設定される値を基に、再生処理が実行される。再生装置141のメモリ23の書き換え可能なメモリ領域のうちの一部には、図70を用いて説明したレジスタに加えて、さらに、ピクチャインピクチャアプリケーションが起動されたときに再生されるオーディオについての設定を行うためのレジスタが設けられており、図76乃至図78の第9のSTNtableが用いられる場合、それらのレジスタが参照される。図79を用いて、図76乃至図78の第9のSTNtableが適用されている場合において、ピクチャインピクチャアプリケーションが起動されたとき、再生装置141がいずれのオーディオストリームを再生するかを決定するために参照されるレジスタについて説明する。3レジスタは、プライマリオーディオストリームのID番号を示すレジスタである。すなわち、3レジスタは、現在のPlayItemのSTNtableに登録されているプライマリオーディオストリームの中で、再生されるプライマリオーディオストリームが設定されているレジスタである。ピクチャインピクチャ表示がされていないとき、3レジスタに設定されているID番号のオーディオストリームは再生されるようになされている。ただし、3レジスタに設定されているID番号のオーディオストリームが現在のPlayItemのSTNtableに登録されていない場合、プライマリオーディオストリームの自動選択ルーチンにより再生されるオーディオストリームが選択される。一方、ピクチャインピクチャ表示時に、3レジスタに設定されているID番号のオーディオストリームが再生されるか否かは、後述する、5レジスタの設定によって決まる。ピクチャインピクチャ表示時のオーディオの再生の具体的な例については後述する。そして、4レジスタは、セカンダリオーディオストリームのID番号を示すレジスタである。すなわち、4レジスタは、現在のPlayItemのSTNtableに登録されているセカンダリオーディオストリームの中で、再生されるセカンダリオーディオストリームが設定されているレジスタである。ピクチャインピクチャ表示がされていないとき、4レジスタに設定されているID番号のオーディオストリームは、ユーザの操作入力に基づいて、または、各種設定に基づいて再生されるようになされている。ただし、4レジスタに設定されているID番号のオーディオストリームが現在のPlayItemのSTNtableに登録されていない場合、セカンダリオーディオストリームの自動選択ルーチンにより再生されるオーディオストリームが選択される。一方、4レジスタに設定されているID番号のオーディオストリームがピクチャインピクチャ表示時に再生される場合もある。ピクチャインピクチャ表示時のオーディオの再生の具体的な例については後述する。そして、5レジスタは、ピクチャインピクチャ表示用のプライマリオーディオストリームのID番号を示すレジスタである。すなわち、5レジスタは、現在のPlayItemのSTNtableに登録されているピクチャインピクチャ表示用のプライマリオーディオストリームの中で、再生されるピクチャインピクチャ表示用のプライマリオーディオストリームが設定されているレジスタである。そして、5レジスタにおいて、invalidflagの値が0である場合、ピクチャインピクチャアプリケーション用のプライマリオーディオストリームのID番号は有効であり、1の場合には、無効である。5レジスタに設定されているID番号のオーディオストリームがPlayItemのSTNtableにおいてセカンダリビデオストリームとの組み合わせが許可されているピクチャインピクチャ表示用のプライマリオーディオストリームではない場合、再生されるオーディオストリームは、ピクチャインピクチャ表示用のプライマリオーディオストリームの自動選択ルーチンによって選択される。なお、それぞれのオーディオストリームの自動選択ルーチンにおいては、まず、再生装置141において再生できるオーディオか、再生できないオーディオかを表すレジスタが参照されて、再生装置141が再生能力を有するオーディオが優先されて選択され、次に、再生装置141に設定されている言語コードと同等の言語のオーディオデータが優先されて選択され、そして、次に、STNtableに登録されている順番で番号が若いものから順番に優先されて選択されるようになされている。なお、Secondaryaudiostreamnumberに0xFFが登録されている場合、セカンダリオーディオストリームが選択されていないか、または、存在しない。そして、PiPprimaryaudiostreamnumberに0xFFが登録されている場合、ピクチャインピクチャ表示用のプライマリオーディオストリームが選択されていないか、または、存在しない。また、PiPprimaryaudiostreamnumberに0xFF以外が登録されていた場合でもinvalidflagによって、再生の有効または無効が決められる。すなわち、invalidflag1で再生無効状態のときは、必ず、PiPprimaryaudiostreamnumberが0xFFに設定されるようになされているのではない。例えば、invalidflag1で再生無効状態のときは、PiPprimaryaudiostreamnumberに0xFF以外が登録されていても、PiPprimaryaudiostreamnumberに登録されている値は無視されて、再生されないようになされている。これらのレジスタに設定されている値を参照することにより、再生装置141においてそれぞれのストリームの再生処理が実行される。次に、図80を参照して、ピクチャインピクチャ表示の実行時に、プライマリオーディオとセカンダリオーディオとが再生セカンダリオーディオは、ユーザの操作入力に基づいて、または、各種設定に基づいて再生される場合の例について説明する。例えば、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態において、3レジスタのprimaryaudiostreamnumberに設定されている値が参照され、STNtableに登録されているaudiostreamnumber=0x05のプライマリオーディオストリームが再生される。このとき、4レジスタのSecondaryaudiostreamnumberに0xFF以外が登録されていれば、設定されているID番号のオーディオストリームは、ユーザの操作入力に基づいて、または、各種設定に基づいて再生される。そして、ナビゲーションプログラムによってコマンドが発生されるか、または、ユーザにより所定の操作入力が行われることにより、ピクチャインピクチャ表示の実行が開始図中、PiPonされる。ピクチャインピクチャ表示の実行が開始されても、5レジスタのinvalidflagが1に設定例えば、ナビゲーションプログラムによって発生されるナビゲーションコマンドによりinvalidflagが1に設定されていれば、ピクチャインピクチャアプリケーション用のプライマリオーディオストリームは、再生されない。すなわち、ピクチャインピクチャ表示が実行されている状態図中、PiPenabledと示されている状態においても、3レジスタのPrimarystreamnumberに設定されている値、および、4レジスタのSecondarystreamnumberに設定されている値が参照され、STNtableに登録されているaudiostreamnumber=0x07が再生されるとともに、ユーザの操作入力に基づいて、または、各種設定に基づいて、audiostream2number=0x01のオーディオストリームがミキシングされて再生される。そして、ピクチャインピクチャ表示の実行が終了図中、PiPoffされ、再び、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態となった場合、3レジスタのPrimarystreamnumberに設定されている値が参照され、STNtableに登録されているaudiostreamnumber=0x05のオーディオストリームが再生される。このときも、4レジスタのSecondaryaudiostreamnumberに0xFF以外が登録されていれば、設定されているID番号のオーディオストリームは、ユーザの操作入力に基づいて、または、各種設定に基づいて再生される。次に、図81を参照して、ピクチャインピクチャ表示の実行時に、ピクチャインピクチャアプリケーション用のプライマリオーディオストリームが再生される場合の例について説明する。例えば、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態において、3レジスタのPrimarystreamnumberに設定されている値が参照され、STNtableに登録されているaudiostreamnumber=0x05のオーディオストリームが再生される。このとき、4レジスタのSecondaryaudiostreamnumberに0xFF以外が登録されていれば、設定されているID番号のオーディオストリームは、ユーザの操作入力に基づいて、または、各種設定に基づいて再生される。そして、ナビゲーションプログラムによってコマンド例えば、ストリームに埋め込まれているナビゲーションコマンドが発生されるか、または、ユーザにより所定の操作入力が行われることにより、ピクチャインピクチャ表示の実行が開始図中、PiPonされ、5レジスタのinvalidflagが0に設定されている場合、5レジスタのPiPprimaryaudiostreamnumberに設定されている値が参照されて、STNtableに登録されているPiPprimaryaudiostreamnumber=0x07のピクチャインピクチャアプリケーション用のプライマリオーディオストリームが再生される。そして、ピクチャインピクチャ表示の実行が終了図中、PiPoffされ、再び、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態となった場合、3レジスタのPrimarystreamnumberに設定されている値が参照され、STNtableに登録されているaudiostreamnumber=0x05のオーディオストリームが再生される。このときも、4レジスタのSecondaryaudiostreamnumberに0xFF以外が登録されていれば、設定されているID番号のオーディオストリームは、ユーザの操作入力に基づいて、または、各種設定に基づいて再生される。なお、図80および図81において、PiPprimaryaudiostreamnumberに0xFFが登録されている場合、ピクチャインピクチャ表示用のプライマリオーディオストリームが選択されていないか、または、存在しない。例えば、PiPprimaryaudiostreamnumberに0xFF以外が登録されていた場合でもinvalidflagの設定によって、再生の有効または無効が決められる。すなわち、invalidflag1で再生無効状態のときは、PiPprimaryaudiostreamnumberに0xFF以外が登録されていても、PiPprimaryaudiostreamnumberに登録されている値は無視されて、再生されないようになされている。次に、図82のフローチャートを参照して、PiPピクチャインピクチャを含んだアプリケーションのオーディオストリーム再生処理1について説明する。ステップS401において、コントローラ21は、3レジスタに設定されているprimaryaudiostream番号primaryaudiostreamnumberより、対応するプライマリオーディオを現在のPlayItemのSTNtableから調べる。ステップS402において、コントローラ21は、所望のプライマリオーディオストリームを特定して、記録媒体11、または、ローカルストレージ24に記録されているClipから、特定されたストリームを読み出し、再生を行う。例えば、コントローラ21は、3レジスタのprimaryaudiostreamnumberに設定されている値を参照し、STNtableに登録されているprimaryaudiostreamnumberのプライマリオーディオストリームを読み出し、AVデコーダ部403に供給する。読み出されたプライマリオーディオストリームは、各バッファ、PIDフィルタ、スイッチ等の処理により、1stオーディオデコーダ75-1に供給されてデコードされ、対応するビデオデータとともに再生出力される。ステップS403において、コントローラ21は、ピクチャインピクチャ表示を開始PiPをONにする。ここで、ピクチャインピクチャ表示がメインパスに同期して設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力にかかわらず、所定のタイミングで実行される。これに対して、ピクチャインピクチャ表示がメインパスと非同期で設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力により設定される。ステップS404において、コントローラ21は、ストリームに埋め込まれている、または、ストリームとは異なる位置に記憶されてプリロードされているNavigationCommandナビゲーションコマンド等により、必要に応じて、5レジスタのinvalidflagの設定値を変更する。ステップS405において、コントローラ21は、5レジスタにおいて、invalidflag=0PiPプライマリオーディオストリーム有効であるか否かを判断する。ステップS405において、invalidflag=0であると判断された場合、ステップS406において、コントローラ21は、図80を用いて説明したようにして、5レジスタに設定されているPiPprimaryaudiostream番号より、対応するピクチャインピクチャ表示用のプライマリオーディオを、現在のPlayItemのSTNtableより調べる。ステップS407において、コントローラ21は、再生するべきピクチャインピクチャ表示用のプライマリオーディオを特定し、上述した場合と同様にしてClipから読み出してAVデコーダ部403に供給して再生させ、処理は、後述するステップS409に進む。例えば、コントローラ21は、5レジスタのPipprimaryaudiostreamnumberに設定されている値を参照し、STNtableに登録されているPipprimaryaudiostreamnumberのピクチャインピクチャ表示用のプライマリオーディオストリームを読み出し、AVデコーダ部403に供給する。読み出されたピクチャインピクチャ表示用のプライマリオーディオストリームは、各バッファ、PIDフィルタ、スイッチ等の処理により、1stオーディオデコーダ75-1に供給されてデコードされ、対応するビデオデータとともに再生出力される。なお、コントローラ21は、5レジスタに設定されているID番号のオーディオストリームが現在のPlayItemのSTNtableに登録されていない場合、ピクチャインピクチャ表示用のプライマリオーディオストリームの自動選択ルーチンにより、再生されるオーディオストリームを選択する。ステップS405において、invalidflag=0ではないすなわち、invalidflag=1であると判断された場合、ステップS408において、コントローラ21は、図80を用いて説明したようにして、3レジスタに設定されているprimaryaudiostream番号primaryaudiostreamnumber、および、4レジスタに設定されているsecondaryaudiostream番号secondaryaudiostreamnumberより対応するプライマリとセカンダリのオーディオストリームを現在のPlayItemのSTNtableより調べ、再生すべきプライマリとセカンダリのオーディオストリームを特定し、上述した場合と同様にしてClipから読み出してAVデコーダ部403に供給して、合成して再生させる。例えば、コントローラ21は、3レジスタのprimaryaudiostreamnumber、および、4レジスタのsecondaryaudiostreamnumberに設定されている値を参照し、STNtableに登録されているプライマリとセカンダリのオーディオストリームを読み出し、AVデコーダ部403に供給する。読み出されたプライマリとセカンダリのオーディオストリームは、各バッファ、PIDフィルタ、スイッチ等の処理により、プライマリオーディオストリームは1stオーディオデコーダ75-1に、セカンダリオーディオストリームは2ndオーディオデコーダ75-2にそれぞれ供給されてデコードされ、対応するビデオデータとともに再生出力される。なお、コントローラ21は、3レジスタまたは4に設定されているID番号のオーディオストリームが現在のPlayItemのSTNtableに登録されていない場合、それぞれのオーディオストリームの自動選択ルーチンにより、再生されるオーディオストリームを選択する。ステップS407、または、ステップS408の処理の終了後、ステップS409において、コントローラ21は、ピクチャインピクチャPiP表示が終了されるか否かを判断する。上述したように、ピクチャインピクチャ表示がメインパスに同期して設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力にかかわらず、所定のタイミングで実行される。これに対して、ピクチャインピクチャ表示がメインパスと非同期で設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力により設定される。ステップS409において、ピクチャインピクチャPiP表示が終了されないと判断された場合、処理は、ステップS404に戻り、それ以降の処理が繰り返される。ステップS409において、ピクチャインピクチャPiP表示が終了されると判断された場合、処理は終了される。このような処理により、ピクチャインピクチャ表示が実行される場合、3レジスタ乃至5レジスタに設定されている値を基に、いずれのオーディオストリームが再生されるかが決定される。なお、これらのレジスタの設定がSTNtableの登録内容と一致しない場合には、上述した自動選択ルーチンにより、再生されるストリームが決定される。次に、プライマリビデオストリームと組み合わせて同時再生され得るストリームの組み合わせを定義するSTNtableのさらに異なる例、すなわち、STNtableの第10の例を、図83乃至図85を用いて説明する。即ち、図83乃至図85は、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、第9の例における場合と同様に、ピクチャインピクチャアプリケーション用のプライマリオーディオを定義するとともに、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のプレゼンテーショングラフィックスPGまたはテキスト字幕の組み合わせ、セカンダリビデオとピクチャインピクチャアプリケーション用のプライマリオーディオとの組み合わせに加えて、セカンダリオーディオとピクチャインピクチャアプリケーション用のプライマリオーディオとの組み合わせをさらに定義する場合のSTNtableのシンタクスの第10の例第10のSTNtableの例を示す図である。第10のSTNtableを参照して実行される再生処理も、図52を用いて説明した再生装置401において実行可能である。なお、図中、上述した図76乃至図79と同一の部分については、繰り返しになるのでその説明は省略する。新たに加えられたcombinfoSecondaryaudioPiPprimaryaudioのブロックは、セカンダリオーディオストリームとピクチャインピクチャ表示用のプライマリオーディオストリームの組み合わせを示す。combinfoSecondaryaudioPiPprimaryaudioのブロック内において、numberofPiPprimaryaudiorefentriesSAの8ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るピクチャインピクチャ表示用のプライマリオーディオストリームの数を示す。そして、PiPprimaryaudioid2refSAの8ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るピクチャインピクチャ表示用のプライマリオーディオストリームのIDを示す。なお、上述したそれぞれのSTNtableにおける場合と同様に、各IDの代わりに各番号、例えば、audiostreamidの代わりに、オーディオストリーム番号audiostreamnumberを用いたり、audiostreamid2の代わりに、オーディオストリーム番号2audiostreamnumber2を用いるようにしてもよい。ビデオストリームやサブタイトルストリームについても同様である。図83乃至図85の第10のSTNtableによれば、セカンダリオーディオとプライマリオーディオの組み合わせ、セカンダリビデオとセカンダリオーディオの組み合わせ、セカンダリビデオとピクチャインピクチャアプリケーション用のPGテキスト字幕の組み合わせ、および、セカンダリビデオとピクチャインピクチャ表示用のプライマリオーディオの組み合わせに加えて、セカンダリオーディオとピクチャインピクチャ表示用のプライマリオーディオの組み合わせを定義することができる。従って、プライマリビデオストリーム1ビデオストリームと同時再生され得る、セカンダリビデオストリーム2ビデオストリーム、プライマリオーディオストリーム1オーディオストリーム、セカンダリオーディオストリーム2オーディオストリーム、サブタイトルストリームPGTextSTストリーム、ピクチャインピクチャアプリケーション用のPGテキスト字幕ストリームPiPPGTextSTストリームの組み合わせ、および、セカンダリビデオとピクチャインピクチャ表示用のプライマリオーディオの組み合わせに加えて、セカンダリオーディオとピクチャインピクチャ表示用のプライマリオーディオの組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。また、再生装置141においては、上述したように、再生装置141のメモリ23の書き換え可能なメモリ領域のうちの一部に、複数のレジスタが設けられ、このレジスタに設定される値を基に、再生処理が実行される。図83乃至図85の第10のSTNtableが用いられる場合、再生装置141のメモリ23の書き換え可能なメモリ領域のうちの一部には、図71を用いて説明したレジスタに加えて、図79を用いて説明した、ピクチャインピクチャアプリケーションが起動されたときに再生されるオーディオについての設定を行うためのレジスタが設けられる。これらのレジスタに設定されている値を参照することにより、再生装置141においてそれぞれのストリームの再生処理が実行される。また、ピクチャインピクチャ表示の実行時に、プライマリオーディオとセカンダリオーディオとが再生される場合については、図79を参照して説明したのと同様の処理が実行される。次に、図86を参照して、ピクチャインピクチャ表示の実行時に、セカンダリオーディオストリームとピクチャインピクチャアプリケーション用のプライマリオーディオストリームが再生される場合の例について説明する。例えば、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態において、3レジスタのPrimarystreamnumberに設定されている値が参照され、STNtableに登録されているaudiostreamnumber=0x05のオーディオストリームが再生される。そして、ナビゲーションプログラムによってコマンド例えば、ストリームに埋め込まれているナビゲーションコマンドが発生されるか、または、ユーザにより所定の操作入力が行われることにより、ピクチャインピクチャ表示の実行が開始図中、PiPonされ、5レジスタのinvalidflagが0に設定されている場合、4レジスタのSecondarystreamnumberに設定されている値、および、5レジスタのPiPprimaryaudiostreamnumberに設定されている値が参照されて、STNtableに登録されているaudiostream2number=0x01のオーディオストリームとPiPprimaryaudiostreamnumber=0x07のピクチャインピクチャアプリケーション用のプライマリオーディオストリームとがミキシングされて再生される。そして、ピクチャインピクチャ表示の実行が終了図中、PiPoffされ、再び、ピクチャインピクチャ表示が実行されていない状態図中、NoPiPと示されている状態となった場合、3レジスタのPrimarystreamnumberに設定されている値が参照され、STNtableに登録されているaudiostreamnumber=0x05のオーディオストリームが再生される。なお、図86においても、PiPprimaryaudiostreamnumberに0xFFが登録されている場合、ピクチャインピクチャ表示用のプライマリオーディオストリームが選択されていないか、または、存在しない。例えば、PiPprimaryaudiostreamnumberに0xFF以外が登録されていた場合でもinvalidflagの設定によって、再生の有効または無効が決められる。すなわち、invalidflag1で再生無効状態のときは、PiPprimaryaudiostreamnumberに0xFF以外が登録されていても、PiPprimaryaudiostreamnumberに登録されている値は無視されて、再生されないようになされている。次に、図87のフローチャートを参照して、PiPピクチャインピクチャを含んだアプリケーションのオーディオストリーム再生処理2について説明する。ステップS451乃至ステップS455において、図82を用いて説明したステップS401乃至ステップS405と基本的に同様の処理が実行される。すなわち、コントローラ21は、3レジスタに設定されているprimaryaudiostream番号より、対応するプライマリオーディオを現在のPlayItemのSTNtableから調べ、所望のプライマリオーディオストリームを特定して、Clipから読み出し、再生を行い、所定のタイミングで、ピクチャインピクチャ表示を開始する。ピクチャインピクチャ表示がメインパスに同期して設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力にかかわらず、所定のタイミングで実行される。これに対して、ピクチャインピクチャ表示がメインパスと非同期で設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力により設定される。コントローラ21は、ストリームに埋め込まれている、または、ストリームとは異なる位置に記憶されてプリロードされているNavigationCommandナビゲーションコマンド等により、必要に応じて、5レジスタのinvalidflagの設定値を変更する。そして、コントローラ21は、5レジスタにおいて、invalidflag=0PiPプライマリオーディオストリーム有効であるか否かを判断する。ステップS455において、invalidflag=0であると判断された場合、ステップS456において、コントローラ21は、5レジスタに設定されているPiPprimaryaudiostream番号より、対応するピクチャインピクチャ表示用のプライマリオーディオを、現在のPlayItemのSTNtableより調べる。ステップS457において、コントローラ21は、4レジスタに設定されているsecondaryaudiostream番号より、対応するセカンダリオーディオを、現在のPlayItemのSTNtableより調べる。ステップS458において、コントローラ21は、再生するべきピクチャインピクチャ表示用のプライマリオーディオおよびセカンダリオーディオを特定し、上述した場合と同様にしてClipから読み出してAVデコーダ部403に供給して、合成して再生させ、処理は、後述するステップS460にすすむ。例えば、コントローラ21は、5レジスタのPipprimaryaudiostreamnumber、および、4レジスタのsecondaryaudiostreamnumberに設定されている値を参照し、STNtableに登録されているPipprimaryaudiostreamnumberのピクチャインピクチャ表示用のプライマリオーディオストリームとセカンダリオーディオストリームを読み出し、AVデコーダ部403に供給する。読み出されたピクチャインピクチャ表示用のプライマリオーディオストリームとセカンダリオーディオストリームは、各バッファ、PIDフィルタ、スイッチ等の処理により、ピクチャインピクチャ表示用のプライマリオーディオストリームは1stオーディオデコーダ75-1に供給されてデコードされ、セカンダリオーディオストリームは2ndオーディオデコーダ75-2にそれぞれ供給されてデコードされ、対応するビデオデータとともに再生出力される。なお、コントローラ21は、5レジスタまたは4レジスタに設定されているID番号のオーディオストリームが現在のPlayItemのSTNtableに登録されていない場合、それぞれのオーディオストリームの自動選択ルーチンにより、再生されるオーディオストリームを選択する。ステップS455において、invalidflag=0ではないすなわち、invalidflag=1であると判断された場合、ステップS459において、コントローラ21は、図80を用いて説明したようにして、3レジスタに設定されているprimaryaudiostream番号primaryaudiostreamnumber、および、4レジスタに設定されているsecondaryaudiostream番号secondaryaudiostreamnumberより対応するプライマリとセカンダリのオーディオストリームを現在のPlayItemのSTNtableより調べ、再生すべきプライマリとセカンダリのオーディオストリームを特定し、上述した場合と同様にしてClipから読み出してAVデコーダ部403に供給して、合成して再生させる。例えば、コントローラ21は、3レジスタのprimaryaudiostreamnumber、および、4レジスタのsecondaryaudiostreamnumberに設定されている値を参照し、STNtableに登録されているプライマリとセカンダリのオーディオストリームを読み出し、AVデコーダ部403に供給する。読み出されたプライマリとセカンダリのオーディオストリームは、各バッファ、PIDフィルタ、スイッチ等の処理により、プライマリオーディオストリームは1stオーディオデコーダ75-1に、セカンダリオーディオストリームは2ndオーディオデコーダ75-2にそれぞれ供給されてデコードされ、対応するビデオデータとともに再生出力される。なお、コントローラ21は、3レジスタまたは4に設定されているID番号のオーディオストリームが現在のPlayItemのSTNtableに登録されていない場合、それぞれのオーディオストリームの自動選択ルーチンにより、再生されるオーディオストリームを選択する。ステップS457、または、ステップS459の処理の終了後、ステップS460において、コントローラ21は、ピクチャインピクチャPiP表示が終了されるか否かを判断する。上述したように、ピクチャインピクチャ表示がメインパスに同期して設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力にかかわらず、所定のタイミングで実行される。これに対して、ピクチャインピクチャ表示がメインパスと非同期で設定されている場合、ピクチャインピクチャ表示の開始PiPのONおよびピクチャインピクチャ表示の終了PiPのOFFは、ユーザの操作入力により設定される。ステップS460において、ピクチャインピクチャPiP表示が終了されないと判断された場合、処理は、ステップS454に戻り、それ以降の処理が繰り返される。ステップS460において、ピクチャインピクチャPiP表示が終了されると判断された場合、処理は終了される。このような処理により、ピクチャインピクチャ表示が実行される場合、3レジスタ乃至5レジスタに設定されている値を基に、いずれのオーディオストリームが再生されるかが決定される。なお、これらのレジスタの設定がSTNtableの登録内容と一致しない場合には、上述した自動選択ルーチンにより、再生されるストリームが決定される。次に、図88および図89を参照して、再生装置1、再生装置141、または、再生装置401において再生可能なデータが記録された記録媒体11の製造方法について、記録媒体11がディスク状の記録媒体だった場合を例として説明する。即ち、図88に示すように、例えばガラスなどよりなる原盤が用意され、その上に、例えばフォトレジストなどよりなる記録材料が塗布される。これにより、記録用原盤が製作される。そして、図89に示すように、ソフト製作処理部において、符号化装置ビデオエンコーダで符号化された、再生装置1、再生装置141、または、再生装置401において再生可能な形式のビデオデータが、一時バッファに記憶され、オーディオエンコーダで符号化されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号化された、ストリーム以外のデータ例えば、Indexes、Playlist、PlayItemなどが一時バッファに記憶される。それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器MPXで同期信号と共に多重化され、誤り訂正符号回路ECCでエラー訂正用のコードが付加される。そして、変調回路MODで所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどに一旦記録され、再生装置1、再生装置141、または、再生装置401において再生可能な記録媒体11に記録されるソフトウェアが製作される。このソフトウェアを必要に応じて編集プリマスタリングし、光ディスクに記録すべきフォーマットの信号が生成される。そして、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。これにより、原盤上のフォトレジストが記録信号に対応して露光される。その後、この原盤を現像し、原盤上にピットを出現させる。このようにして用意された原盤に、例えば電鋳等の処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする。この成形用金型に、例えばインジェクションなどによりPMMAアクリルまたはPCポリカーボネートなどの材料を注入し、固定化させる。あるいは、金属スタンパ上に2P紫外線硬化樹脂などを塗布した後、紫外線を照射して硬化させる。これにより、金属スタンパ上のピットを、樹脂よりなるレプリカ上に転写することができる。このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。その後、このディスクに対して内外径の加工が施され、2枚のディスクを張り合わせるなどの必要な処置が施される。さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。このようにして再生装置1、再生装置141、または、再生装置401によって再生可能なデータが記録された記録媒体11が完成する。上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図90に示されるようなパーソナルコンピュータ500により実行される。図90において、CPUCentralProcessingUnit501は、ROM502に記憶されているプログラム、または、記憶部508からRAM503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT,LCDなどよりなるディスプレイ、スピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、並びに、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。この記録媒体は、図90に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。"