【手続補正書】
【提出日】平成19年5月14日(2007.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つのストリームを含むメインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報を取得する取得手段と、
前記取得手段により取得された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出す読み出し手段と、
前記取得手段により取得された前記再生管理情報を基に、前記読み出し手段により読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成する映像合成手段と、
前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する音声合成手段と
を備え、
前記再生管理情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報が含まれており、
前記映像合成手段は、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記音声合成手段は、前記映像合成手段により前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する
再生装置。
【請求項２】
前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の表示位置に関する情報を含む
請求項１に記載の再生装置。
【請求項３】
前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の表示の大きさに関する情報を含む
請求項１に記載の再生装置。
【請求項４】
前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の表示色に関する情報を含む
請求項１に記載の再生装置。
【請求項５】
前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の、原映像に対する合成後の回転角度に関する情報を含む
請求項１に記載の再生装置。
【請求項６】
前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の明るさを示す情報に基づいて実行される、前記メインストリームの映像と、前記サブストリームの映像とを合成する処理に関する情報を含む
請求項１に記載の再生装置。
【請求項７】
前記サブストリームの映像の明るさを示す情報は、透過処理を行うべき明るさを示す情報の少なくとも１つの閾値であり、前記サブストリームの映像の明るさが、前記閾値以上または以下となる映像部分に対して透過処理を行う
請求項６に記載の再生装置。
【請求項８】
ユーザの操作入力を受ける操作入力手段をさらに備え、
前記取得手段により取得される前記再生管理情報には、前記メインストリームに対して前記サブストリームが必ず同時に再生されるか、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されるかを示す情報が記載され、
前記映像合成手段は、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されることを示す情報が前記再生管理情報に記載されている場合、前記操作入力手段により入力される前記ユーザの操作入力に基づいて、前記ユーザから前記サブストリームの再生が指令されたときのみ、前記メインストリームの映像と前記サブストリームの映像とを合成する
請求項１に記載の再生装置。
【請求項９】
前記再生管理情報には、前記表示状態に関する情報を含むことを示す情報が含まれる
請求項１に記載の再生装置。
【請求項１０】
メインストリームおよびサブストリームを再生する再生装置の再生方法において、
少なくとも１つのストリームを含む前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なる前記サブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報を読み出し、
読み出された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し、
前記再生管理情報に含まれる、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームの映像と前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する
ステップを含む再生方法。
【請求項１１】
メインストリームおよびサブストリームを再生する処理をコンピュータに実行させるためのプログラムであって、
少なくとも１つのストリームを含む前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なる前記サブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報を読み出し、
読み出された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し、
前記再生管理情報に含まれる、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームの映像と前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されているプログラム格納媒体。
【請求項１３】
少なくとも１つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造であって、
前記再生管理情報には、
前記メインストリームを再生する時間軸上の位置を示す第１の情報と、
前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、
前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報と
が含まれているデータ構造であり、
前記データ構造を取得した再生装置により、
前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる
データ構造。
【請求項１４】
少なくとも１つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造が記録された記録媒体であって、
前記再生管理情報には、
前記メインストリームを再生する時間軸上の位置を示す第１の情報と、
前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、
前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報と
が含まれているデータ構造が記録された記録媒体であり、
前記データ構造を取得した再生装置により、
前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる
記録媒体。
【請求項１５】
再生装置において再生可能なデータが記録される記録媒体の製造方法であって、
少なくとも１つのストリームを含むメインストリームの再生を管理する情報である再生管理情報を含み、
前記再生管理情報に、
前記メインストリームを再生する時間軸上の位置を示す第１の情報と、
前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、
前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報と
を含むデータ構造を有するデータを生成し、
生成された前記データを前記記録媒体に記録する
ステップを含む記録媒体の製造方法であって、
前記データ構造を取得した再生装置により、
前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる
製造方法。
【請求項１６】
再生装置において再生可能なデータが記録される記録媒体の記録方法であって、
少なくとも１つのストリームを含むメインストリームの再生を管理する情報である再生管理情報を含み、
前記再生管理情報に、
前記メインストリームを再生する時間軸上の位置を示す第１の情報と、
前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、
前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報と
を含むデータ構造を有するデータを生成し、
生成された前記データを前記記録媒体に記録する
ステップを含む記録媒体の記録方法であって、
前記データ構造を取得した再生装置により、
前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる
記録方法。
【請求項１７】
少なくとも１つのストリームを含むメインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報を取得し、
取得された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し、
取得された前記再生管理情報を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する制御部
を備え、
前記再生管理情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報が含まれており、
前記制御部は、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、
前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する
再生装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、記録媒体、記録媒体の製造方法、並びに、記録媒体の記録方法
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、記録媒体、記録媒体の製造方法、並びに、記録媒体の記録方法に関し、特に、ストリームデータを再生する場合に用いて好適な、再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、記録媒体、記録媒体の製造方法、並びに、記録媒体の記録方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の第１の側面の再生装置は、少なくとも１つのストリームを含むメインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報を取得する取得手段と、前記取得手段により取得された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出す読み出し手段と、前記取得手段により取得された前記再生管理情報を基に、前記読み出し手段により読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成する映像合成手段と、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する音声合成手段とを備え、前記再生管理情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報が含まれており、前記映像合成手段は、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記音声合成手段は、前記映像合成手段により前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示位置に関する情報を含ませるようにすることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示の大きさに関する情報を含ませるようにすることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示色に関する情報を含ませるようにすることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
前記表示状態に関する情報には、前記メインストリームの映像と合成される前記サブストリームの映像の、原映像に対する合成後の回転角度に関する情報を含ませるようにすることができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
前記表示状態に関する情報は、前記メインストリームの映像と合成される前記サブストリームの映像の明るさを示す情報に基づいて実行される、前記メインストリームの映像と、前記サブストリームの映像とを合成する処理に関する情報を含むようにすることができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
前記サブストリームの映像の明るさを示す情報は、透過処理を行うべき明るさを示す情報の少なくとも１つの閾値であり、前記サブストリームの映像の明るさが、前記閾値以上または以下となる映像部分に対して透過処理を行うようにすることができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
ユーザの操作入力を受ける操作入力手段をさらに備えさせるようにすることができ、前記取得手段により取得される前記再生管理情報には、前記メインストリームに対して前記サブストリームが必ず同時に再生されるか、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されるかを示す情報が記載されるようにすることができ、前記映像合成手段には、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されることを示す情報が前記再生管理情報に記載されている場合、前記操作入力手段により入力される前記ユーザの操作入力に基づいて、前記ユーザから前記サブストリームの再生が指令されたときのみ、前記メインストリームの映像と前記サブストリームの映像とを合成させるようにすることができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の第１の側面の再生方法およびプログラムは、少なくとも１つのストリームを含む前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なる前記サブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報を読み出し、読み出された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し、前記再生管理情報に含まれる、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成するステップを含む。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の第１の側面においては、少なくとも１つのストリームを含むメインストリームを再生する時間軸上の位置を示す第１の情報と、メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報が取得され、取得された再生管理情報を基に、再生されるメインストリームおよびサブストリームが読み出され、再生管理情報に含まれる、メインストリームの映像と合成されるサブストリームの映像の表示状態に関する情報を基に、読み出されたメインストリームの映像と、サブストリームの映像とが合成され、メインストリームの映像とサブストリームの映像とが合成される場合であって、メインストリームおよびサブストリームに対応して再生される音声が存在する場合には、メインストリームに対応して再生される音声と、サブストリームに対応して再生される音声とが合成される。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の第２の側面のデータ構造は、少なくとも１つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とが含まれているデータ構造であり、前記データ構造を取得した再生装置により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
本発明の第２の側面の記録媒体は、少なくとも１つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報を含むデータ構造が記録された記録媒体であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とが含まれているデータ構造が記録された記録媒体であり、前記データ構造を取得した再生装置により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の第２の側面の記録媒体の製造方法は、再生装置において再生可能なデータが記録される記録媒体の製造方法であって、少なくとも１つのストリームを含むメインストリームの再生を管理する情報である再生管理情報を含み、前記再生管理情報に、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有するデータを生成し、生成された前記データを前記記録媒体に記録するステップを含む記録媒体の製造方法であって、前記データ構造を取得した再生装置により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
本発明の第２の側面の記録媒体の記録方法は、再生装置において再生可能なデータが記録される記録媒体の記録方法であって、少なくとも１つのストリームを含むメインストリームの再生を管理する情報である再生管理情報を含み、前記再生管理情報に、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報とを含むデータ構造を有するデータを生成し、生成された前記データを前記記録媒体に記録するステップを含む記録媒体の記録方法であって、前記データ構造を取得した再生装置により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
本発明の第１の側面の再生装置は、少なくとも１つのストリームを含むメインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報を取得し、取得された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し、取得された前記再生管理情報を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する制御部を備え、前記再生管理情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報が含まれており、前記制御部は、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の第２の側面においては、少なくとも１つのストリームを含むメインストリームの再生を管理する情報である再生管理情報を含み、再生管理情報に、メインストリームの時間軸上の位置を示す主の再生パスを含む第１の情報と、メインストリームとは異なるサブストリームの副の再生パスを含む第２の情報と、メインストリームの映像と合成されるサブストリームの映像の表示状態に関する情報とを含むデータ構造であり、データ構造を取得した再生装置により、再生管理情報に含まれる表示状態に関する情報を基に、メインストリームの映像と、サブストリームの映像とが合成され、メインストリームの映像と、サブストリームの映像とが合成される場合であって、メインストリームおよびサブストリームに対応して再生される音声が存在する場合には、メインストリームに対応して再生される音声と、サブストリームに対応して再生される音声とが合成される処理に用いられる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
本発明の第１の側面の再生装置は、少なくとも１つのストリームを含むメインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報（例えば、プレイリスト）を取得する取得手段（例えば、図３５のコントローラ３４）と、前記取得手段により取得された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出す読み出し手段（例えば、図３５のストレージドライブ３１）と、前記取得手段により取得された前記再生管理情報を基に、前記読み出し手段により読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成する映像合成手段（例えば、図３５のビデオプレーン生成部９２）と、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する音声合成手段（例えば、図３５のミキシング処理部１０１）とを備え、前記再生管理情報には、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報（例えば、pip_metadata）が含まれており、前記映像合成手段は、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記音声合成手段は、前記映像合成手段により前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
ユーザの操作入力を受ける操作入力手段（例えば、図３５のユーザインターフェース）をさらに備え、前記取得手段により取得される前記再生管理情報には、前記メインストリームに対して前記サブストリームが必ず同時に再生されるか、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されるかを示す情報が記載され、前記映像合成手段は、前記ユーザから指令されたときのみ前記メインストリームに対して前記サブストリームが同時に再生されることを示す情報が前記再生管理情報に記載されている場合、前記操作入力手段により入力される前記ユーザの操作入力に基づいて、前記ユーザから前記サブストリームの再生が指令されたときのみ、前記メインストリームの映像と前記サブストリームの映像とを合成することができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本発明の第１の側面の再生方法は、メインストリームおよびサブストリームを再生する再生装置(例えば、図３５の再生装置２０)の再生方法において、少なくとも１つのストリームを含む前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なる前記サブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報（例えば、プレイリスト）を読み出し（例えば、図３６のステップＳ１の処理）、読み出された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し（例えば、図４０のステップＳ１０１の処理）、前記再生管理情報に含まれる、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報（例えば、pip_metadata）を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し（例えば、図４２のステップＳ１２２の処理）、前記メインストリームの映像と前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する（例えば、図４２のステップＳ１２７の処理）。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
本発明の第１の側面のプログラムは、メインストリームおよびサブストリームを再生する処理をコンピュータに実行させるためのプログラムであって、少なくとも１つのストリームを含む前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なる前記サブストリームを再生する時間軸上の位置を示す第２の情報を含む再生管理情報（例えば、プレイリスト）を読み出し（例えば、図３６のステップＳ１の処理）、読み出された前記再生管理情報を基に、再生される前記メインストリームおよび前記サブストリームを読み出し（例えば、図４０のステップＳ１０１の処理）、前記再生管理情報に含まれる、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報（例えば、pip_metadata）を基に、読み出された前記メインストリームの映像と、前記サブストリームの映像とを合成し（例えば、図４２のステップＳ１２２の処理）、前記メインストリームの映像と前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する（例えば、図４２のステップＳ１２７の処理）ステップを含む処理をコンピュータに実行させる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
本発明の第２の側面のデータ構造は、少なくとも１つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報（例えば、プレイリスト）を含むデータ構造であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報（例えば、pip_metadata）とが含まれているデータ構造であり、前記データ構造を取得した再生装置(例えば、図３５の再生装置２０)により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
本発明の第２の側面の記録媒体は、少なくとも１つのストリームを含むメインストリームおよびサブストリームの再生を管理する情報である再生管理情報（例えば、プレイリスト）を含むデータ構造が記録された記録媒体であって、前記再生管理情報には、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報（例えば、pip_metadata）とが含まれているデータ構造が記録された記録媒体であり、前記データ構造を取得した再生装置(例えば、図３５の再生装置２０)により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
本発明の第２の側面の記録媒体の製造方法は、再生装置(例えば、図３５の再生装置２０)において再生可能なデータが記録される記録媒体の製造方法であって、少なくとも１つのストリームを含むメインストリームの再生を管理する情報である再生管理情報（例えば、プレイリスト）を含み、前記再生管理情報に、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報（例えば、pip_metadata）とを含むデータ構造を有するデータを生成し、生成された前記データを前記記録媒体に記録するステップを含む記録媒体の製造方法であって、前記データ構造を取得した再生装置(例えば、図３５の再生装置２０)により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
本発明の第２の側面の記録媒体の記録方法は、再生装置において再生可能なデータが記録される記録媒体の記録方法であって、少なくとも１つのストリームを含むメインストリームの再生を管理する情報である再生管理情報（例えば、プレイリスト）を含み、前記再生管理情報に、前記メインストリームを再生する時間軸上の位置を示す第１の情報と、前記メインストリームとは異なるサブストリームを再生する時間軸上の位置を示す第２の情報と、前記メインストリームの映像と合成される前記サブストリームの映像の表示状態に関する情報（例えば、pip_metadata）とを含むデータ構造を有するデータを生成し、生成された前記データを前記記録媒体に記録するステップを含む記録媒体の記録方法であって、前記データ構造を取得した再生装置(例えば、図３５の再生装置２０)により、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームの映像と、前記サブストリームの映像とを合成し、前記メインストリームの映像と、前記サブストリームの映像とが合成される場合であって、前記メインストリームおよび前記サブストリームに対応して再生される音声が存在する場合には、前記メインストリームに対応して再生される音声と、前記サブストリームに対応して再生される音声とを合成する処理に用いられる。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
本実施の形態では、PlayListの中で、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに平行（並列）して、１つ以上のSubPlayItemの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られる再生パスをサブパス（Sub Path）と称する。すなわち、再生装置２０（図３５を参照して後述する）に装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて（合わせて）再生されるサブパス(Sub Path)をPlayListの中に持つ。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
すなわち、１つのPlayItemが参照するClipＡＶストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリーム、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
version_numberは、このxxxxx.mplsのバージョンナンバを示す４個のキャラクター文字を示すものであり、vesrion_numberはISO”0089”と符号化されなければならない。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
data_block_start_addressは、PlayListExtensionData()の先頭のバイトからの相対バイト数を単位として、最初のdata_block()の先頭アドレスを示すものである。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
pip_horizontal_positionは、プライマリビデオのフレーム（図５の主表示画面１）上において、セカンダリビデオが表示される副表示画面２の左上隅のX座標を示すものである。また、pip_vertical_positionは、プライマリビデオのフレーム（図５の主表示画面１）上において、セカンダリビデオが表示される副表示画面２の左上隅のY座標を示すものである。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
なお、例えば、副表示画面２の右下隅のX座標およびY座標の指定や、あらかじめ定められた複数の表示位置のうちのいずれかを指定するなど、pip_horizontal_positionおよびpip_vertical_positionによる副表示画面２の左上隅のX座標およびY座標の指定以外の方法によって、セカンダリビデオが表示される副表示画面２の表示位置を指定するようにしてもよいことはもちろんである。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからPlaylistの最後までのバイト数を示すフィールドである。このlengthの後には、８ビットのreserved_for_future_useが用意される。SubPath_typeは、SubPathのアプリケーション種類を示す８ビットのフィールドである。SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPath_typeについては、図２０を参照して後述する。SubPath_typeの後には、１５ビットのreserved_for_future_useが用意される。is_repeat_SubPathは、SubPathの再生方法を指定する１ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を１回だけ行うかを示すものである。例えば、メインＡＶストリームとサブパスが指定するClipの再生タイミングが異なる場合（メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合など）に利用される。Is_repeat_SubPathの後には、８ビットのreserved_for_future_useが用意される。number_of_SubPlayItemsは、１つのSubPathの中にあるSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、number_of_SubPlayItemsは、図２のSubPath_id＝０のSubPlayItemは１個であり、SubPath_id＝１のSubPlayItemは２個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０２５０
【補正方法】変更
【補正の内容】
【０２５０】
ＡＶデコーダ部３３には、バッファ５１乃至５４、PIDフィルタ５５、PIDフィルタ５６、スイッチ５７乃至５９、PIDフィルタ６０、バックグラウンドデコーダ７１、1stビデオデコーダ７２−１、2ndビデオデコーダ７２−２、プレゼンテーショングラフィックスデコーダ７３、インタラクティブグラフィックスデコーダ７４、1stオーディオデコーダ７５−１、2ndオーディオデコーダ７５−２、Text-STコンポジション７６、スイッチ７７、バックグラウンドプレーン生成部９１、ビデオプレーン生成部９２、プレゼンテーショングラフィックスプレーン生成部９３、インタラクティブグラフィックスプレーン生成部９４、バッファ９５、ビデオデータ処理部９６、ミキシング処理部９７、およびミキシング処理部１０１が設けられている。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０３２７
【補正方法】変更
【補正の内容】
【０３２７】
ステップＳ６５において、ミキシング処理部９７は、オーディオデータ（ミキシング処理部１０１から出力されたオーディオデータ）とサウンドデータをミキシング（合成）し、出力して、処理は、図３６のステップＳ３に戻り、ステップＳ４に進むか、または、図３６のステップＳ８に戻り、ステップＳ７に進むか、図３６のステップＳ１２に戻り、ステップＳ１３に進む。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】０３５１
【補正方法】変更
【補正の内容】
【０３５１】
すなわち、図４３に示すように、Primary Video plane（プライマリビデオプレーン）上において、pip_scaleに基づいて所定の大きさに調節されたスケーリングセカンダリビデオ（Scaled Secondary Video）は、プライマリビデオプレーンの左上隅から、X軸方向にpip_horizontal_position、Y軸方向にpip_vertical_positionとなる位置が、スケーリングセカンダリビデオの左上隅となるように配置されることになる。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】０４０３
【補正方法】変更
【補正の内容】
【０４０３】
１  主表示画面，  ２  副表示画面，  ２０  再生装置，  ３１  ストレージドライブ，  ３２  スイッチ，  ３３  ＡＶデコーダ部，  ３４  コントローラ，  ５１乃至５４  バッファ，  ５５，５６  PIDフィルタ，  ５７乃至５９  スイッチ，  ７１  バックグラウンドデコーダ，  ７２−１  1stビデオデコーダ，  ７２−２  2ndビデオデコーダ，  ７３  プレゼンテーショングラフィックスデコーダ，  ７４  インタラクティブグラフィックスデコーダ，  ７５  オーディオデコーダ，  ７６  Text-STコンポジション，  ７７  スイッチ，  ９１  バックグラウンドプレーン生成部，  ９２  ビデオプレーン生成部，  ９３  プレゼンテーショングラフィックスプレーン生成部，  ９４  インタラクティブグラフィックスプレーン生成部，  ９５  バッファ  ９６  ビデオデータ処理部，  ９７  ミキシング処理部，  １０１  ミキシング処理部
【手続補正３９】
【補正対象書類名】図面
【補正対象項目名】図４６
【補正方法】変更
【補正の内容】
【図４６】
2007104615.tif 000001