(57)【要約】【課題】予めメインＡＶストリームの符号化ビットレートを低く制限せずに、アフレコするサブストリームの増加に対応する。【解決手段】ステップＳ１０１において、アフレコ用のデータが入力され、エンコーダで符号化される。Ｓ１０２において、アフレコしようとするプレイリストが既にサブパスを持っているかどうかを調べる。Ｓ１０３では、プレイリストが既に持っているサブパスが参照するＡＵＸストリームをディスクから読み出し、Ｓ１０４では、読み出したＡＵＸストリームと、今回アフレコするストリームとを多重化して新たなＡＵＸストリームを作成する。Ｓ１０６において、新たに作成したＡＵＸストリームを記録する。そのプレイリストがサブパスを持っていない場合には、今回アフレコするストリームを用いてＡＵＸストリームを作成し、作成したＡＵＸストリームを記録媒体に記録する。【選択図】　図１２
2004120099.tif 000002
【特許請求の範囲】
【請求項１】
メインオーディオビデオストリームデータと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して上記オーディオビデオストリームと同期して再生されるサブデータを記録する情報処理装置において、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定手段と、
入力されたサブデータから第２のサブデータストリームを生成する符号化手段と、
上記判定手段によって、上記所定数の第１のサブデータが記録されていないと判定される場合に、上記符号化手段で生成された上記第２のサブデータストリームを記録媒体に記録し、
上記判定手段によって、上記所定数の第１のサブデータが記録されていると判定される場合に、上記所定数の第１のサブデータの１つと上記符号化手段で生成された上記第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録する手段と
からなる情報処理装置。
【請求項２】
請求項１において、
上記再生制御情報は、メインオーディオビデオストリームの選択された再生区間を指示するメインパスと、上記第１のサブデータストリームの再生区間を指示するサブパスとからなる情報処理装置。
【請求項３】
請求項２において、
上記判定手段は、上記メインパスが所定数の上記サブパスを持っているかどうかを判定するようにした情報処理装置。
【請求項４】
請求項２において、
上記合成ストリームを記録媒体に記録する時に、上記合成ストリームの再生区間を指示する２以上の上記サブパスを有する上記再生制御情報を記録するようにした情報処理装置。
【請求項５】
メインオーディオビデオストリームデータと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して上記オーディオビデオストリームと同期して再生されるサブデータを記録する情報処理方法において、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータから第２のサブデータストリームを生成する符号化ステップと、
上記判定ステップによって、上記所定数の第１のサブデータが記録されていないと判定される場合に、上記符号化ステップで生成された上記第２のサブデータストリームを記録媒体に記録し、
上記判定ステップによって、上記所定数の第１のサブデータが記録されていると判定される場合に、上記所定数の第１のサブデータの１つと上記符号化ステップで生成された上記第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録するステップと
からなる情報処理方法。
【請求項６】
請求項５において、
上記再生制御情報は、メインオーディオビデオストリームの選択された再生区間を指示するメインパスと、上記第１のサブデータストリームの再生区間を指示するサブパスとからなる情報処理方法。
【請求項７】
請求項６において、
上記判定ステップは、上記メインパスが所定数の上記サブパスを持っているかどうかを判定するようにした情報処理方法。
【請求項８】
請求項５において、
上記合成ストリームを記録媒体に記録する時に、上記合成ストリームの再生区間を指示する２以上の上記サブパスを有する上記再生制御情報を記録するようにした情報処理方法。
【請求項９】
メインオーディオビデオストリームデータと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して上記オーディオビデオストリームと同期して再生されるサブデータを記録する情報処理装置のプログラムにおいて、
を再生または受信する情報処理装置のプログラムにおいて、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータから第２のサブデータストリームを生成する符号化ステップと、
上記判定ステップによって、上記所定数の第１のサブデータが記録されていないと判定される場合に、上記符号化ステップで生成された上記第２のサブデータストリームを記録媒体に記録し、
上記判定ステップによって、上記所定数の第１のサブデータが記録されていると判定される場合に、上記所定数の第１のサブデータの１つと上記符号化ステップで生成された上記第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録するステップと
からなる情報処理装置のプログラム。
【請求項１０】
メインオーディオビデオストリームデータと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して上記オーディオビデオストリームと同期して再生されるサブデータを記録する情報処理装置のプログラムにおいて、
を再生または受信する情報処理装置のプログラムにおいて、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータから第２のサブデータストリームを生成する符号化ステップと、
上記判定ステップによって、上記所定数の第１のサブデータが記録されていないと判定される場合に、上記符号化ステップで生成された上記第２のサブデータストリームを記録媒体に記録し、
上記判定ステップによって、上記所定数の第１のサブデータが記録されていると判定される場合に、上記所定数の第１のサブデータの１つと上記符号化ステップで生成された上記第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１１】
メインオーディオビデオストリームデータと、上記オーディオビデオストリームと同期して再生される所定数のサブデータストリームと、上記メインオーディオビデオストリームの再生を制御する再生制御情報とが記録され、上記サブデータストリームの少なくとも１つが２以上のサブデータが合成されたストリームである記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、メインのオーディオビデオデータと同期して再生されるサブデータを記録するための情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
記録媒体に記録されているビデオ信号にオーディオやグラフィックスをアフレコ編集する場合に、元のビデオ信号を変更しないで、仮想的にアフレコ編集を実現する方法のいくつかが提案されている。なお、アフレコは、ａｆｔｅｒ　ｒｅｃｏｒｄｉｎｇから生じた和製英語であり、その意味するところは、既に記録されているデータに対して付加的または置換して追加的にデータを記録することを意味する。
【０００３】
例えば、Ｓｙｓｔｅｍ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｂｌｕ−ｒａｙ　Ｄｉｓｃ　Ｒｅｗｒｉｔａｂｌｅ　Ｆｏｒｍａｔ　ｐａｒｔ３　ＡｕｄｉｏＶｉｓｕａｌ　Ｂａｓｉｃ　Ｓｐｅｃｉｆｉｃａｔｉｏｎ（以下、ＢＤＡＶと呼ぶ）のサブパス（サブプレイアイテム）の方法が提案されている。下記の特許文献１は、このＢＤＡＶに関連したものである。ＢＤＡＶでは、時間軸上にプレイアイテムとサブプレイアイテムを並列に並べて、それらが別々のＡＶストリームを参照する方法を用いる。また、ＱｕｉｃｋＴｉｍｅでは、時間軸上に複数のトラックを並列に並べ、それぞれのトラックが別々のＡＶストリームを参照する方法を用いている。
【０００４】
【特許文献１】
特開２００２−１５８９７２号公報
【０００５】
この特許文献１には、ＡＶストリームファイルを記録媒体例えばディスク状記録媒体に記録する時に、そのファイルを説明するアプリケーションデータベース情報も記録することが記載されている。アプリケーションデータベース情報には、ＡＶストリームのデータベース（クリップと称する）、ＡＶストリームの再生区間（プレイアイテムと称する）をグループ化した再生制御情報（プレイリストと称する）、記録媒体の記録内容の管理情報およびサムネイル画像の情報が含まれる。アプリケーションデータベース情報は、ＡＶストリームと同様の記録処理を受けて記録媒体上に記録される。
【０００６】
このように、記録媒体上に記録されたＡＶストリームファイルおよびアプリケーションデータベース情報を再生する場合には、最初にアプリケーションデータベース情報が再生され、読み出された情報がプレーヤの制御部に取り込まれる。アプリケーションデータベース情報に基づいて、記録媒体に記録されているプレイリストの一覧をユーザインターフェイスによって表示し、ユーザがプレイリストの一覧から再生したいプレイリストを選択する。選択されたプレイリストに必要なＡＶストリームファイルが記録媒体から読み出され、再生処理を受けて再生ビデオ信号および再生オーディオ信号が得られる。
【０００７】
さらに、ユーザは、記録媒体に記録されているＡＶストリームを編集することができる。例えば番組Ａという歌番組から歌手ａの部分を再生し、その後続けて、番組Ｂという歌番組の歌手ａの部分を再生するといった再生経路を作成できる。この場合では、番組Ａに関してユーザが指定した再生区間の開始点（イン点）と終了点（アウト点）の情報から制御部がＡＶストリームの再生区間（プレイアイテム）をグループ化したプレイリストのデータベースを作成する。
【０００８】
図１は、上述した特許文献１に記載されているアプリケーションフォーマットの構造を示す。アプリケーションフォーマットは、ＡＶストリームの管理のためにプレイリストとクリップの二つのレイヤを有する。ボリューム情報は、データベース内の全てのクリップとプレイリストを管理する。１つのＡＶストリームとその付属情報のペアを１つのオブジェクトと考え、それをクリップと称している。ＡＶストリームファイルは、クリップＡＶストリームファイルと称され、その付属情報がクリップ情報ファイルと称される。
【０００９】
１つのクリップＡＶストリームファイルは、ＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　Ｐｈａｓｅ　２）トランスポートストリームをアプリケーションフォーマットによって規定される構造に配置したデータをストアする。一般的に、ファイルは、バイト列として扱われる。クリップＡＶストリームファイルのコンテンツは、時間軸上に展開され、クリップ中のエントリポイントは、時間ベースで主に指定される。所定のクリップへのアクセスポイントのタイムスタンプが与えられた時に、クリップ情報ファイルは、クリップＡＶストリーム中のデータの読み出しを開始すべきアドレス情報を見つけるのに役立つ。
【００１０】
プレイリストは、クリップの中からユーザが視聴したい再生区間を選択し、それを簡単に編集することを可能とするために用意されている。１つのプレイリストは、クリップの中の再生区間の集まりである。所定のクリップの中の１つの再生区間は、プレイアイテムと呼ばれ、それは、時間軸上のイン点とアウト点の対で表される。
【００１１】
プレイリストには、２つのタイプがある。１つはリアルプレイリストであり、他の１つは仮想プレイリストである。リアルプレイリストは、それが参照しているクリップのストリーム部分を共有している。すなわち、リアルプレイリストは、それの参照しているクリップ中のストリーム部分に相当するデータ容量をディスクの中で占め、リアルプレイリストが消去され場合には、それが参照しているクリップのストリーム部分も消去される。
【００１２】
仮想プレイリストは、クリップのデータを共有していない。したがって、仮想プレイリストが変更または消去されたとしても、クリップの内容には何の変化も生じない。
【００１３】
図２は、アセンブル編集の例を示す。図２Ａに示すように、二つのリアルプレイリスト１，２と、それぞれのリアルプレイリストに対応するクリップ１，２が存在している場合に、ユーザがリアルプレイリスト１内の所定の区間（ＩＮ１乃至ＯＵＴ１）を再生区間（プレイアイテム１）として指定し、続けて再生する区間として、リアルプレイリスト２内の所定の区間（ＩＮ２乃至ＯＵＴ２）を再生区間（プレイアイテム２）として指定する。この例では、図２Ｂに示すように、プレイアイテム１およびプレイアイテム２からなる１つの仮想プレイリストが作成される。作成された仮想プレイリストは、再編集することができる。再編集には、ＩＮ点、ＯＵＴ点の変更、仮想プレイリストへの新たなプレイアイテムの挿入や追加等がある。
【００１４】
図３は、仮想プレイリストへのオーディオのアフレコを説明するものである。アフレコは、仮想プレイリストへオーディオのアフレコをサブパスとして登録する操作で実行される。オーディオのアフレコは、アプリケーションフォーマットによりサポートされている。仮想プレイリストのメインパスのＡＶストリームに、付加的なサブのオーディオストリームがサブパスとして付加される。
【００１５】
図４は、上述した特許文献１に記載のＢＤＡＶのサブパスの方法を用いて、オリジナルのオーディオビデオのメインパス（メイン再生パス）にオーディオのサブパスとグラフィックスのサブパスを並べたプレイリストの例を示す。なお、以降の説明では、説明の簡単のために、仮想プレイリストを単にプレイリストと呼び、メインパスが参照するリアルプレイリストに対応する実データをメインＡＶストリームと称し、サブパスが参照するリアルプレイリストに対応する実データをＡＵＸオーディオストリーム、ＡＵＸグラフィックスストリームと称することにする。
【００１６】
メインパスは、参照するメインＡＶストリームデータの中から選択された再生区間（プレイアイテム）を示すデータＩＮ１およびＯＵＴ１を有している。サブオーディオパスおよびサブグラフィックスパスのそれぞれも参照するストリームデータの再生区間（プレイアイテム）を示すデータＩＮ２、ＩＮ３、ＯＵＴ２、ＯＵＴ３を有している。プレイリストを再生するプレーヤは、メインパスとサブパスとを同期させて再生する。サブパスが参照するオーディオストリームおよびグラフィックスストリームは、アフレコされたものである。例えばカメラ一体型ディスクレコーダにおいて、撮影されたメインＡＶストリームに対して、ユーザが音声データとタイトルの画面をアフレコした場合にサブパスが形成される。アフレコされた音声データおよびタイトル画面がそれぞれＡＵＸオーディオストリームおよびＡＵＸグラフィックスストリームに対応する。
【００１７】
図５は、サブパスにオーディオとグラフィックスの２つのストリームを使用する図４に示すようなプレイリストを再生するプレーヤシステムを示す。プレーヤは、記録媒体例えばディスク１からメインＡＶストリーム、ＡＵＸオーディオストリーム、ＡＵＸグラフィックスストリームの３つのストリームを読み出して、それを同時に復号する必要がある。
【００１８】
図５において、参照符号２ａ、２ｂ、２ｃは、ディスク１から読み取られたストリームがそれぞれ入力されるバッファメモリである。バッファメモリ２ａ、２ｂ、２ｃのそれぞれの出力がデマルチプレクサ３ａ、３ｂ、３ｃに入力され、パケットＩＤを参照してパケットへ分離される。デマルチプレクサ３ａの出力がＡＶデコーダ４ａで復号され、ビデオデータＶおよびオーディオデータＡ１が得られる。デマルチプレクサ３ｂの出力がオーディオデコーダ４ｂで復号され、オーディオデータＡ２が得られる。デマルチプレクサ３ｃの出力がグラフィックスデコーダ４ｃで復号され、オグラフィックスデータＧが得られる。
【００１９】
各デコーダによって得られたビデオデータＶ、オーディオデータＡ１およびＡ２、並びにグラフィックスデータＧがオーディオＭＩＸ／ｓｅｌｅｃｔ、ビデオＭＩＸおよび同期制御部５に供給され、ビデオ出力とオーディオ出力とが形成される。ビデオ出力は、例えば指定された再生時間においてアフレコされたタイトル画面が表示されるビデオ表示信号である。オーディオ出力は、メインパスおよびサブパスで指定された再生時間においてメインオーディオ信号およびアフレコされたオーディオ信号の一方が選択されたもの、または両者が混合されたものである。
【００２０】
図６に概略的に示すような動作によって、ディスク１から３つのストリームを実質的に同時に再生することが可能である。図６の例では、簡単のため、ストリームのデータレートが互いに等しいものと仮定している。最初のリードでメインＡＶストリームが例えば光学ヘッドによって再生され、再生されたメインＡＶストリームがバッファ２ａに入力される。バッファ２ａから再生されたメインＡＶストリームが出力される。
【００２１】
メインＡＶストリームのリードが終わると、次にＡＵＸオーディオストリームの記録領域に読み取り位置がジャンプして、ＡＵＸオーディオストリームが再生され、再生されたＡＵＸオーディオストリームがバッファ２ｂに入力される。バッファ２ｂから再生されたＡＵＸオーディオストリームが出力される。次にＡＵＸグラフィックスストリームの記録領域に読み取り位置がジャンプして、ＡＵＸグラフィックスが再生される。再生されたＡＵＸグラフィックスストリームがバッファ２ｃに入力される。
【００２２】
そして、再びメインＡＶストリームの記録領域にジャンプして、メインＡＶストリームをリードする。バッファ２ａ，２ｂ，２ｃのそれぞれは、以前のリードで格納されたデータの読み出しが終了し、次のリードで読み出されたデータが格納される時には、殆ど空となっている。図６の状態は、ゆとりがない厳しい状態を表している。このような３回のジャンプ動作を繰り返すことによって、３つのストリームを実質的に同時に再生できる。
【００２３】
図７は、サブパスが参照するストリームデータをアフレコするレコーダシステムの従来例を示す。アフレコ用のオーディオデータまたはグラフィックスのデータが入力されると、エンコーダ６が入力されたデータを符号化して、エンコーダ６の出力がマルチプレクサ７によってトランスポートストリームに符号化され、トランスポートストリームが記録媒体例えばディスク１に記録される。
【００２４】
【発明が解決しようとする課題】
別々のストリームを参照するプレイアイテムとサブプレイアイテムを並べる方法では、図６を参照して説明したように、ジャンプ動作を行うことで各ストリームを順番に読み出す必要があり、同時に再生されるサブプレイアイテムの個数が増えるにしたがって、各ストリームの読み出しに必要なジャンプ数が多くなる。ジャンプ数が多くなるにしたがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームのビットレートを低く抑えることが必要となる。
【００２５】
その結果、サブプレイアイテムの数が増えることに備えて、予めメインＡＶストリームの符号化ビットレートを低くする必要があり、ビデオ等の符号化画質が劣化する問題が生じる。また、サブプレイアイテムの数が増えることに備えないで、メインＡＶストリームの符号化ビットレートを制限しない場合では、サブプレイアイテムの個数を増やすことができない問題が生じる。例えばアフレコでオーディオのサブパスを付加した後に、さらに、グラフィックスのサブパスを付加することができない問題が生じる。
【００２６】
したがって、この発明の目的は、メインＡＶストリームの符号化ビットレートを低く制限する必要がなく、且つサブプレイアイテムの数の増加に対応できる情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。
【００２７】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、メインオーディオビデオストリームデータと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対してオーディオビデオストリームと同期して再生されるサブデータを記録する情報処理装置において、
再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定手段と、
入力されたサブデータから第２のサブデータストリームを生成する符号化手段と、
判定手段によって、所定数の第１のサブデータが記録されていないと判定される場合に、符号化手段で生成された第２のサブデータストリームを記録媒体に記録し、
判定手段によって、所定数の第１のサブデータが記録されていると判定される場合に、所定数の第１のサブデータの１つと符号化手段で生成された第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録する手段と
からなる情報処理装置である。
【００２８】
請求項５の発明は、メインオーディオビデオストリームデータと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対してオーディオビデオストリームと同期して再生されるサブデータを記録する情報処理方法において、
再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータから第２のサブデータストリームを生成する符号化ステップと、
判定ステップによって、所定数の第１のサブデータが記録されていないと判定される場合に、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録し、
判定ステップによって、所定数の第１のサブデータが記録されていると判定される場合に、所定数の第１のサブデータの１つと符号化ステップで生成された第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録するステップと
からなる情報処理方法である。
【００２９】
請求項９の発明は、メインオーディオビデオストリームデータと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対してオーディオビデオストリームと同期して再生されるサブデータを記録する情報処理装置のプログラムにおいて、
を再生または受信する情報処理装置のプログラムにおいて、
再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータから第２のサブデータストリームを生成する符号化ステップと、
判定ステップによって、所定数の第１のサブデータが記録されていないと判定される場合に、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録し、
判定ステップによって、所定数の第１のサブデータが記録されていると判定される場合に、所定数の第１のサブデータの１つと符号化ステップで生成された第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録するステップと
からなる情報処理装置のプログラムである。
【００３０】
請求項１０の発明は、メインオーディオビデオストリームデータと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対してオーディオビデオストリームと同期して再生されるサブデータを記録する情報処理装置のプログラムにおいて、
を再生または受信する情報処理装置のプログラムにおいて、
再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される所定数の第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータから第２のサブデータストリームを生成する符号化ステップと、
判定ステップによって、所定数の第１のサブデータが記録されていないと判定される場合に、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録し、
判定ステップによって、所定数の第１のサブデータが記録されていると判定される場合に、所定数の第１のサブデータの１つと符号化ステップで生成された第２のサブデータストリームとを合成し、１つの合成ストリームを記録媒体に記録するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体である。
【００３１】
請求項１１の発明は、メインオーディオビデオストリームデータと、オーディオビデオストリームと同期して再生される所定数のサブデータストリームと、メインオーディオビデオストリームの再生を制御する再生制御情報とが記録され、サブデータストリームの少なくとも１つが２以上のサブデータが合成されたストリームである記録媒体である。
【００３２】
この発明では、同時に再生される複数のサブプレイアイテムが参照する各ストリームデータを多重化して記録するので、サブプレイアイテムの数が増えても、予めメインＡＶストリームの符号化ビットレートを低く制限する必要がないので、ビデオ等の符号化画質を高めることができる。サブプレイアイテムの数を制限する必要がないので、例えばオーディオのサブパスを付加した後に、さらにグラフィックスのサブパスを付加することができなくなる問題が生じない。
【００３３】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図８は、この発明の一実施形態におけるプレイリストと、そのプレイリストが参照する実データの関係を示す。実データは、記録媒体例えばディスク上に記録されているデータである。一実施形態は、この発明をＢＤＡＶのフォーマットに規定されているプレイリストに対して適用したものである。上述したように、ＢＤＡＶでは、時間軸上にプレイアイテムとサブプレイアイテムを並列に並べて、それらが別々のＡＶストリームを参照する方法を用いる。
【００３４】
プレイリストのメインパスは、実データのメインＡＶストリームを参照しており、メインＡＶストリームの中から選択された再生区間を示すデータ（ＩＮ１−ＯＵＴ１）を有する。プレイリストのサブオーディオパスおよびサブグラフィックスパスが１つの多重化ストリーム例えばＡＵＸオーディオおよびＡＵＸグラフィックスが多重化されたストリームを参照している。サブオーディオパスは、多重化ストリームの中から選択された再生区間を示すデータ（ＩＮ２−ＯＵＴ２）を持つ。サブグラフィックスパスは、多重化ストリームの中から選択された再生区間を示すデータ（ＩＮ３−ＯＵＴ３）を持つ。このプレイリストを再生するプレーヤは、メインパスとサブパスとを同期させて再生する。
【００３５】
一例として、実質的に同時に再生可能なストリームが２つとされている。すなわち、ディスクプレーヤの能力として、メインパスが参照するメインＡＶストリームの他に、サブパスが参照することができるＡＵＸストリームが１つとされている。既に１つのＡＵＸストリームが記録されている場合に、新たなＡＵＸストリームをアフレコすることがこの発明によって支障なく実現できる。
【００３６】
図８に示すように、２つのサブパスが存在する場合であっても、記録媒体上では、１つの多重化ストリームのみが記録される。多重化ストリームを形成する合成方法としては、時分割多重する方法、並びに所定時間例えば１ＧＯＰのデータ毎に並べるインターリーブする方法の何れかを使用できる。後述するように、この発明の一実施形態では、アフレコを行う場合に、プレイリストの情報に基づいて、既にサブパスが存在しているか否かを調べ、既にサブパスが存在している場合には、記録されているＡＵＸストリームと新たに記録するＡＵＸストリームとを多重化して、多重化ストリームを作成し、作成した多重化ストリームを記録するようになされる。
【００３７】
図９は、２個のサブパスがオーディオおよびグラフィックスストリームが多重化された１つの多重化ストリームを参照するプレイリストが記録され、このプレイリストにしたがって再生動作を行うことが可能なプレーヤシステムを示す。ディスク１１から２つのストリームが実質的に同時に再生される。
【００３８】
図９において、参照符号１２ａは、ディスク１１から読み取られたメインＡＶストリームが入力されるバッファメモリであり、参照符号１２ｂは、ディスク１１から読み取られたＡＵＸオーディオおよびグラフィックスストリーム（多重化ストリーム）が入力されるバッファメモリである。バッファメモリ１２ａおよび１２ｂのそれぞれの出力がデマルチプレクサ１３ａおよび１３ｂに入力され、パケットＩＤを参照してパケットへ分離される。デマルチプレクサ１３ａの出力がＡＶデコーダ１４ａで復号され、ビデオデータＶおよびオーディオデータＡ１が得られる。
【００３９】
デマルチプレクサ１３ｂは、多重化ストリームをオーディオストリームとグラフィックスストリームとに分離する。オーディオストリームがオーディオデコーダ１４ｂで復号され、オーディオデータＡ２が得られる。グラフィックスストリームがグラフィックスデコーダ１４ｃで復号され、グラフィックスデータＧが得られる。
【００４０】
各デコーダによって得られたビデオデータＶ、オーディオデータＡ１およびＡ２、並びにグラフィックスデータＧがオーディオＭＩＸ／ｓｅｌｅｃｔ、ビデオＭＩＸおよび同期制御部１５に供給され、ビデオ出力とオーディオ出力とが形成される。ビデオ出力は、例えば指定された再生時間においてアフレコされたタイトル画面が表示されるビデオ表示信号である。オーディオ出力は、指定された再生時間においてアフレコされたオーディオ信号がメインのオーディオ信号と混合またはメインのオーディオ信号に代えてアフレコオーディオ信号が選択されたものである。
【００４１】
プレーヤシステムでは、ディスク１１から先ずプレイリストの情報が再生され、プレイリストの情報が図示しない制御部に読み込まれる。プレイリストの情報は、図８を参照して説明したように、メインＡＶストリームの再生区間とサブの多重化ストリームの再生区間とを指定するものである。制御部は、プレイリストの情報にしたがって、オーディオＭＩＸ／ｓｅｌｅｃｔ、ビデオＭＩＸおよび同期制御部１５を制御する。それによって、プレイリストの情報にしたがって再生されたビデオ出力およびオーディオ出力が得られる。
【００４２】
図１０に概略的に示すような動作によって、ディスク１から２つのストリームを実質的に同時に再生することが可能である。図１０の例では、簡単のため、ストリームのデータレートが互いに等しいものと仮定している。最初のリードでメインＡＶストリームが例えば光学ヘッドによって再生され、再生されたメインＡＶストリームがバッファ１２ａに入力される。バッファ１２ａから再生されたメインＡＶストリームが出力される。
【００４３】
メインＡＶストリームのリードが終わると、次に多重化ストリーム（ＡＵＸオーディオおよびグラフィックスストリーム）の記録領域に読み取り位置がジャンプして、多重化ストリームが再生され、再生された多重化ストリームがバッファ１２ｂに入力される。バッファ１２ｂから再生された多重化ストリームが出力される。次に再びメインＡＶストリームの記録領域にジャンプして、メインＡＶストリームがリードされる。バッファ１２ａおよび１２ｂのそれぞれは、以前のリードで格納されたデータの読み出しが終了し、次のリードで読み出されたデータが格納される時には、殆ど空となっている。図１０の状態は、ゆとりがない厳しい状態を表している。このような２回のジャンプ動作を繰り返すことによって、２つのストリームを実質的に同時に再生できる。
【００４４】
図９では、多重化ストリームがディスク１１上で、物理的に連続した配置を持つように記録されている。しかしながら、ジャンプ動作が殆ど発生しなければ、連続した配置ではなく、断片的な配置でもって多重化ストリームがディスク１１上に記録されていても良い。
【００４５】
図１１は、サブパスが参照するストリームデータを記録するレコーダシステムの構成例を示す。ユーザがあるプレイリストに対してオーディオまたはグラフィックスのアフレコを行うことをレコーダに指示した場合、アフレコ用のオーディオまたはグラフィックスのデータがエンコーダ１６に供給され、エンコーダ１６によってアフレコ用のデータが符号化される。エンコーダ１６によって符号化されたストリームがマルチプレクサ１７に供給される。
【００４６】
レコーダは、アフレコに先立ってディスク１１からプレイリストの情報を再生し、制御部１９に読み込む。プレイリストの情報の読み取りは、電源オン時、ディスクの挿入時等のタイミングでなされ、読み取られたプレイリストの情報が制御部１９のメモリに保存される。制御部１９は、レコーダは、既にそのプレイリストがオーディオまたはグラフィックスのサブパスを持っているかどうかを調べる。若し、そのプレイリストがサブパスを持っている場合には、レコーダは、サブパスが参照しているストリームをディスク１１から読み出す。そして、読み出したストリームをデマルチプレクサ１８に供給する。デマルチプレクサ１８の出力がマルチプレクサ１７に供給される。マルチプレクサ１７は、デマルチプレクサ１８からのストリームとエンコーダ１６からのストリームとをトランスポートストリームに多重化する。マルチプレクサ１７からのトランスポートストリームがディスク１１に記録される。
【００４７】
一方、若し、そのプレイリストがサブパスを持っていない場合には、エンコーダ１６からのストリームをマルチプレクサ１７がトランスポートストリームに符号化し、マルチプレクサ１７から出力されるトランスポートストリームがディスク１１に記録される。アフレコ用のデータがディスク１１に記録された場合では、プレイリストの内容が書き換えられ、書き換えられたプレイリストの情報がディスク１１に記録される。
【００４８】
図１２は、サブパスが参照するストリームの記録方法の流れを示すフローチャートである。最初のステップＳ１０１において、アフレコ用のオーディオまたはグラフィックスのデータが入力され、エンコーダで符号化され、マルチプレクサにエンコーダからのストリームが入力される。
【００４９】
ステップＳ１０２において、レコーダは、アフレコしようとするプレイリストが既にオーディオまたはグラフィックスのサブパスを持っているかどうかを調べる。例えばレコーダは、予めディスク１１から記録に先立ってプレイリストの情報を読み取り、読み取ったプレイリストから既にサブパスを持っているかどうかを調べる。ステップＳ１０２の判定結果がｙｅｓの場合では、処理がステップＳ１０３に進み、判定結果がｎｏの場合では、処理がステップＳ１０５に進む。
【００５０】
ステップＳ１０３では、プレイリストが既に持っているサブパスが参照するＡＵＸストリームをディスクから読み出す。
【００５１】
ステップＳ１０４では、読み出したＡＵＸストリームと、今回アフレコするストリームとを多重化して新たなＡＵＸストリームを作成する。
【００５２】
そして、ステップＳ１０６において、新たに作成したＡＵＸストリームを記録媒体に記録する。
【００５３】
ステップＳ１０２の判定結果がｎｏの場合、すなわち、そのプレイリストがサブパスを持っていない場合には、今回アフレコするストリームを用いてＡＵＸストリームを作成する。そして、ステップＳ１０６において、作成したＡＵＸストリームを記録媒体に記録する。
【００５４】
図１３は、メインパスとサブパスを有するプレイリストにしたがってなされる再生方法の流れを示すフローチャートである。ステップＳ２０１において、メインパスが参照するストリームを記録媒体から読み出して、読み出したストリームを復号する。
【００５５】
ステップＳ２０２において、サブパスが参照するストリームを記録媒体から読み出して、読み出したストリームを復号する。
【００５６】
ステップＳ２０３において、メインパスとサブパスの同期再生を行う。
【００５７】
この発明は、上述した一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、ＢＤＡＶ以外のフォーマットのプレイリストに対しても適用できる。例えばこの発明は、ＱｕｉｃｋＴｉｍｅ（商標）に対しても適用可能である。ＱｕｉｃｋＴｉｍｅ（商標）は、ビデオ、オーディオ等の各種データを時間軸に沿って管理するソフトウェアであり、特殊なハードウェアを用いずに動画や音声やテキストなどを同期して再生するためのＯＳ拡張機能である。
【００５８】
【発明の効果】
この発明では、同時に再生される複数のサブプレイアイテムが参照する各ストリームデータを多重化して記録するので、サブプレイアイテムの数が増えても、予めメインＡＶストリームの符号化ビットレートを低く制限する必要がないので、ビデオ等の符号化画質を高めることができる。サブプレイアイテムの数を制限する必要がないので、例えばオーディオのサブパスを付加した後に、さらにグラフィックスのサブパスを付加することができなくなる問題が生じない。単にストリームの数の増加を抑えるのであれば、メインストリームにアフレコ用ストリームを多重化することも考えられるが、通常メインストリームのデータ量が多く、書き換えが大変となり、また、メインストリームを他のプレイリストが参照していることもあるので、メインストリームにアフレコ用ストリームを多重化することは不都合が生じる。
【図面の簡単な説明】
【図１】先に提案されている再生制御情報としてのプレイリストを説明するための略線図である。
【図２】アセンブル編集を行った場合のプレイリストの作成方法を説明するための略線図である。
【図３】アフレコを行った場合のプレイリストを説明するための略線図である。
【図４】サブパスにオーディオとグラフィックスの２個のストリームを使用する従来のプレイリストを説明するための略線図である。
【図５】サブパスにオーディオとグラフィックスの２個のストリームを使用する従来のプレイリストを再生するためのプレーヤシステムのブロック図である。
【図６】従来の３個のストリームを同時再生するプレーヤのモデルの説明のための略線図である。
【図７】従来のアフレコを行うレコーダの一例のブロック図である。
【図８】サブパスにオーディオとグラフィックスの２個のストリームを使用するこの発明によるプレイリストを説明するための略線図である。
【図９】サブパスにオーディオとグラフィックスの２個のストリームを使用するこの発明によるプレイリストを再生するためのプレーヤシステムのブロック図である。
【図１０】この発明による２個のストリームを同時再生するプレーヤのモデルの説明のための略線図である。
【図１１】この発明によりアフレコを行うレコーダの一例のブロック図である。
【図１２】この発明によりアフレコを行う方法の処理の流れを示すフローチャートである。
【図１３】この発明によりメインパスとサブパスの再生方法の処理の流れを示すフローチャートである。
【符号の説明】
１１・・・ディスク、１２ａ，１２ｂ・・・バッファ、１３ａ，１３ｂ，１８・・・デマルチプレクサ、１７・・・マルチプレクサ、１９・・・制御部
【図１】
2004120099.tif 000003
【図２】
2004120099.tif 000004
【図３】
2004120099.tif 000005
【図４】
2004120099.tif 000006
【図５】
2004120099.tif 000007
【図６】
2004120099.tif 000008
【図７】
2004120099.tif 000009
【図８】
2004120099.tif 000010
【図９】
2004120099.tif 000011
【図１０】
2004120099.tif 000012
【図１１】
2004120099.tif 000013
【図１２】
2004120099.tif 000014
【図１３】
2004120099.tif 000015