(57)【要約】データ処理装置は、接続点のオーディオギャップ区間に対応する音声フレームを、ポストレコーディング領域に音声の再生制御情報と共に記録する。音声は、接続点の音声フレームを含んで再生される。また、音声は、音声の再生制御情報に従ってフェードイン／フェードアウトを行い再生される。これにより、ディスク上に記録されたＭＰＥＧプログラムストリームに対して接続点を再エンコードしてプレイリストを組んで再生したとき、音声が途切れることのない、シームレスな再生を保証することができる。
2005015907.tif 000002
【特許請求の範囲】
【請求項１】
同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込む記録部と、
連続して再生される２つの動画ストリーム間の無音区間を特定する記録制御部と
を備えたデータ処理装置であって、
前記記録制御部は、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、
前記記録部は、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する、データ処理装置。
【請求項２】
前記記録制御部は、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１に記載のデータ処理装置。
【請求項３】
前記記録制御部は、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１に記載のデータ処理装置。
【請求項４】
前記記録部は、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項１に記載のデータ処理装置。
【請求項５】
前記記録部は、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込む、請求項１に記載のデータ処理装置。
【請求項６】
前記記録部は、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込む、請求項１に記載のデータ処理装置。
【請求項７】
前記記録部は、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項６に記載のデータ処理装置。
【請求項８】
前記記録部は、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込む、請求項１に記載のデータ処理装置。
【請求項９】
前記無音区間は１個の音声の復号単位の時間長よりも短い、請求項１のデータ処理装置。
【請求項１０】
前記動画ストリーム内の映像ストリームはＭＰＥＧ−２ビデオストリームであり、かつ、前記連続して再生される２つの動画ストリーム間ではＭＰＥＧ−２ビデオストリームのバッファ条件が維持される、請求項１のデータ処理装置。
【請求項１１】
前記記録部は、前記無音区間前後の音声レベルを制御するための情報を前記記録媒体にさらに書き込む、請求項１のデータ処理装置。
【請求項１２】
前記記録部は、前記動画ストリームは所定の再生時間長およびデータサイズの一方を単位として、前記記録媒体上の物理的に連続するデータ領域に書き込み、前記連続するデータ領域の直前に前記追加音声データを書き込む、請求項１のデータ処理装置。
【請求項１３】
同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込むステップと、
連続して再生される２つの動画ストリーム間の無音区間を特定して記録を制御するステップと
を包含するデータ処理方法であって、
前記記録を制御するステップは、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記書き込むステップは、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する、データ処理方法。
【請求項１４】
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１３に記載のデータ処理方法。
【請求項１５】
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１３に記載のデータ処理方法。
【請求項１６】
前記書き込むステップは、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項１３に記載のデータ処理方法。
【請求項１７】
前記書き込むステップは、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込む、請求項１３に記載のデータ処理方法。
【請求項１８】
前記書き込むステップは、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込む、請求項１３に記載のデータ処理方法。
【請求項１９】
前記書き込むステップは、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項１８に記載のデータ処理方法。
【請求項２０】
前記書き込むステップは、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込む、請求項１３に記載のデータ処理方法。
【発明の詳細な説明】
【技術分野】  本発明は、光ディスク等の記録媒体に動画ストリームのストリームデータを記録するデータ処理装置および方法等に関する。
【背景技術】  映像データを低いビットレートで圧縮し符号化する種々のデータストリームが規格化されている。そのようなデータストリームの例として、ＭＰＥＧ２システム規格（ＩＳＯ／ＩＥＣ  １３８１８−１）のシステムストリームが知られている。システムストリームは、プログラムストリーム（ＰＳ）、トランスポートストリーム（ＴＳ）、およびＰＥＳストリームの３種類を包含する。
近年、新たにＭＰＥＧ４システム規格（ＩＳＯ／ＩＥＣ  １４４９６−１）のデータストリームを規定する動きが進んでいる。ＭＰＥＧ４システム規格のフォーマットでは、ＭＰＥＧ２映像ストリームまたはＭＰＥＧ４映像ストリームを含む映像ストリーム、および、各種音声ストリームが多重化され、動画ストリームのデータとして生成される。さらにＭＰＥＧ４システム規格のフォーマットでは付属情報が規定される。付属情報と動画ストリームとは１つのファイル（ＭＰ４ファイル）として規定される。ＭＰ４ファイルのデータ構造は、Ａｐｐｌｅ（登録商標）社のクイックタイム（ＱｕｉｃｋＴｉｍｅ）ファイルフォーマットをベースにして、そのフォーマットを拡張して規定されている。なお、ＭＰＥＧ２システム規格のシステムストリームには、付属情報（アクセス情報、特殊再生情報、記録日時等）を記録するデータ構造は規定されていない。ＭＰＥＧ２システム規格では、付属情報はシステムストリーム内に設けられているからである。
映像データおよび音声データは、従来、磁気テープに記録されることが多かった。しかし、近年は磁気テープに代わる記録媒体として、ＤＶＤ−ＲＡＭ、ＭＯ等に代表される光ディスクが注目を浴びている。
図１は、従来のデータ処理装置３５０の構成を示す。データ処理装置３５０は、ＤＶＤ−ＲＡＭディスクにデータストリームを記録し、ＤＶＤ−ＲＡＭディスクに記録されたデータストリームを再生することができる。データ処理装置３５０は、映像信号入力部３００および音声信号入力部３０２において映像データ信号および音声データ信号を受け取り、それぞれＭＰＥＧ２圧縮部３０１に送る。ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データを、ＭＰＥＧ２規格および／またはＭＰＥＧ４規格に基づいて圧縮符号化し、ＭＰ４ファイルを生成する。より具体的に説明すると、ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データをＭＰＥＧ２ビデオ規格に基づいて圧縮符号化して映像ストリームおよび音声ストリームを生成した後で、さらにＭＰＥＧ４システム規格に基づいてそれらのストリームを多重化してＭＰ４ストリームを生成する。このとき、記録制御部３４１は記録部３２０の動作を制御する。連続データ領域検出部３４０は、記録制御部３４１の指示によって、論理ブロック管理部３４３で管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。そして記録部３２０は、ピックアップ３３０を介してＭＰ４ファイルをＤＶＤ−ＲＡＭディスク３３１に書き込む。
図２は、ＭＰ４ファイル２０のデータ構造を示す。ＭＰ４ファイル２０は、付属情報２１および動画ストリーム２２を有する。付属情報２１は、映像データ、音声データ等の属性を規定するアトム構造２３に基づいて記述されている。図３は、アトム構造２３の具体例を示す。アトム構造２３は、映像データおよび音声データの各々について、独立してフレーム単位のデータサイズ、データの格納先アドレス、再生タイミングを示すタイムスタンプ等の情報が記述されている。これは映像データおよび音声データが、それぞれ別個のトラックアトムとして管理されていることを意味する。
図２に示すＭＰ４ファイルの動画ストリーム２２には、映像データおよび音声データがそれぞれ１つ以上のフレーム単位で配置され、ストリームを構成している。例えば動画ストリームがＭＰＥＧ２規格の圧縮符号化方式を利用して得られたとすると、動画ストリームには、複数のＧＯＰが規定されている。ＧＯＰは、単独で再生され得る映像フレームであるＩピクチャと、次のＩピクチャまでのＰピクチャおよびＢピクチャを含む複数の映像フレームをまとめた単位である。動画ストリーム２２の任意の映像フレームを再生するとき、まず動画ストリーム２２内のその映像フレームを含むＧＯＰが特定される。
なお、以下では、図２のＭＰ４ファイルのデータ構造に示すように、動画ストリームと付属情報とを有する構造のデータストリームを「ＭＰ４ストリーム」と称する。
図４は、動画ストリーム２２のデータ構造を示す。動画ストリーム２２は、映像トラックと音声トラックとを含み、各トラックには識別子（ＴｒａｃｋＩＤ）が付されている。トラックは各１つ存在するとは限らず、途中でトラックが切り替わる場合もある。図５は、途中でトラックが切り替わった動画ストリーム２２を示す。
図６は、動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１の記録単位（セクタ）との対応を示す。記録部３２０は、動画ストリーム２２をＤＶＤ−ＲＡＭディスクにリアルタイムで記録する。より具体的には、記録部３２０は、最大記録レート換算で１１秒分以上の物理的に連続する論理ブロックを１つの連続データ領域として確保し、この領域へ映像フレームおよび音声フレームを順に記録する。連続データ領域は、各々が３２ｋバイトの複数の論理ブロックから構成され、論理ブロックごとに誤り訂正符号が付与される。論理ブロックはさらに、各々が２ｋバイトの複数のセクタから構成される。なお、データ処理装置３５０の連続データ領域検出部３４０は、１つの連続データ領域の残りが最大記録レート換算で３秒分を切った時点で、次の連続データ領域を再び検出する。そして、１つの連続データ領域が一杯になると、次の連続データ領域に動画ストリームを書き込む。ＭＰ４ファイル２０の付属情報２１も、同様にして確保された連続データ領域に書き込まれる。
図７は、記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す。例えばＵＤＦ（Ｕｎｉｖｅｒｓａｌ  Ｄｉｓｋ  Ｆｏｒｍａｔ）ファイルシステム、またはＩＳＯ／ＩＥＣ  １３３４６（Ｖｏｌｕｍｅ  ａｎｄ  ｆｉｌｅ  ｓｔｒｕｃｔｕｒｅ  ｏｆ  ｗｒｉｔｅ−ｏｎｃｅ  ａｎｄ  ｒｅｗｒｉｔａｂｌｅ  ｍｅｄｉａ  ｕｓｉｎｇ  ｎｏｎ−ｓｅｑｕｅｎｔｉａｌ  ｒｅｃｏｒｄｉｎｇ  ｆｏｒ  ｉｎｆｏｒｍａｔｉｏｎ  ｉｎｔｅｒｃｈａｎｇｅ）ファイルシステムが利用される。図７では、連続して記録された１つのＭＰ４ファイルがファイル名ＭＯＶ０００１．ＭＰ４として記録されている。このファイルは、ファイル名およびファイルエントリの位置が、ＦＩＤ（Ｆｉｌｅ  Ｉｄｅｎｔｉｆｉｅｒ  Ｄｅｓｃｒｉｐｔｏｒ）で管理されている。そして、ファイル名はファイル・アイデンティファイア欄にＭＯＶ０００１．ＭＰ４として設定され、ファイルエントリの位置は、ＩＣＢ欄にファイルエントリの先頭セクタ番号として設定される。
なお、ＵＤＦ規格はＩＳＯ／ＩＥＣ  １３３４６規格の実装規約に相当する。また、ＤＶＤ−ＲＡＭドライブを１３９４インタフェースおよびＳＢＰ−２（Ｓｅｒｉａｌ  Ｂｕｓ  Ｐｒｏｔｏｃｏｌ）プロトコルを介してコンピュータ（ＰＣ等）へ接続することにより、ＵＤＦに準拠した形態で書きこんだファイルをＰＣからも１つのファイルとして扱うことができる。
ファイルエントリは、アロケーションディスクリプタを使ってデータが格納されている連続データ領域（ＣＤＡ：Ｃｏｎｔｉｇｕｏｕｓ  Ｄａｔａ  Ａｒｅａ）ａ、ｂ、ｃおよびデータ領域ｄを管理する。具体的には、記録制御部３４１は、ＭＰ４ファイルを連続データ領域ａへ記録している最中に不良論理ブロックを発見すると、その不良論理ブロックをスキップして連続データ領域ｂの先頭から書き込みを継続する。次に、記録制御部３４１がＭＰ４ファイルを連続データ領域ｂへ記録している最中に、書き込みができないＰＣファイルの記録領域の存在を検出したときには、連続データ領域ｃの先頭から書き込みを継続する。そして、記録が終了した時点でデータ領域ｄに付属情報２１を記録する。この結果、ファイルＶＲ＿ＭＯＶＩＥ．ＶＲＯは連続データ領域ｄ，ａ，ｂ，ｃから構成される。
図７に示すように、アロケーションディスクリプタａ、ｂ、ｃ、ｄが参照するデータの開始位置は、セクタの先頭に一致する。そして、最後尾のアロケーションディスクリプタｃ以外のアロケーションディスクリプタａ、ｂ、ｄが参照するデータのデータサイズは１セクタの整数倍である。このような記述規則は予め規定されている。
ＭＰ４ファイルを再生するとき、データ処理装置３５０は、ピックアップ３３０および再生部３２１を経由して受け取った動画ストリームを取り出し、ＭＰＥＧ２復号部３１１で復号して映像信号と音声信号を生成し、映像信号出力部３１０および音声信号出力部３１２から出力する。ＤＶＤ−ＲＡＭディスクからのデータの読み出しと読み出したデータのＭＰＥＧ２復号部３１１への出力は同時に行われる。このとき、データの出力速度よりもデータの読出速度を大きくし、再生すべきデータが不足しないように制御する。したがって、連続してデータを読み出し、出力を続けると、データ読み出し速度とデータ出力速度との差分だけ出力すべきデータを余分に確保できることになる。余分に確保できるデータをピックアップのジャンプによりデータ読み出しが途絶える間の出力データとして使うことにより、連続再生を実現することができる。
具体的には、ＤＶＤ−ＲＡＭディスク３３１からのデータ読み出し速度が１１Ｍｂｐｓ、ＭＰＥＧ２復号部３１１へのデータ出力速度が最大８Ｍｂｐｓ、ピックアップの最大移動時間が３秒とすると、ピックアップ移動中にＭＰＥＧ２復号部３１１へ出力するデータ量に相当する２４Ｍビットのデータが余分な出力データとして必要になる。このデータ量を確保するためには、８秒間の連続読み出しが必要になる。すなわち、２４Ｍビットをデータ読み出し速度１１Ｍｂｐｓとデータ出力速度８Ｍｂｐｓの差で除算した時間だけ連続読み出しする必要がある。
したがって、８秒間の連続読み出しの間に８８Ｍビット分、すなわち１１秒分の出力データを読み出すことになるので、１１秒分以上の連続データ領域を確保することで、連続データ再生を保証することが可能となる。
なお、連続データ領域の途中には、数個の不良論理ブロックが存在していてもよい。ただし、この場合には、再生時にかかる不良論理ブロックを読み込むのに必要な読み出し時間を見越して、連続データ領域を１１秒分よりも少し多めに確保する必要がある。
記録されたＭＰ４ファイルを削除する処理を行う際には、記録制御部３４１は記録部３２０および再生部３２１を制御して所定の削除処理を実行する。ＭＰ４ファイルは、付属情報部分に全フレームに対する表示タイミング（タイムスタンプ）が含まれる。したがって、例えば動画ストリーム部分の途中を部分的に削除する際には、タイムスタンプに関しては付属情報部分のタイムスタンプのみを削除すればよい。なお、ＭＰＥＧ２システムストリームでは、部分削除位置において連続性を持たせるために動画ストリームを解析する必要がある。タイムスタンプがストリーム中に分散しているからである。
ＭＰ４ファイルフォーマットの特徴は、映像・音声ストリームの映像フレームまたは音声フレームを、各フレームを分割しないでそのまま一つの集合として記録する点にある。同時に、国際標準としては初めて、各フレームへのランダムアクセスを可能とするアクセス情報を規定している。アクセス情報はフレーム単位で設けられ、例えばフレームサイズ、フレーム周期、フレームに対するアドレス情報を含む。すなわち、映像フレームに対しては表示時間にして１／３０秒ごと、音声フレームに対しては、例えば、ＡＣ−３音声の場合であれば合計１５３６個のサンプルを１単位（すなわち１音声フレーム）とし、単位ごとにアクセス情報が格納される。これにより、例えば、ある映像フレームの表示タイミングを変更したい場合には、アクセス情報の変更のみで対応でき、映像・音声ストリームを必ずしも変更する必要がない。このようなアクセス情報の情報量は１時間当り約１Ｍバイトである。
アクセス情報の情報量に関連して、例えば非特許文献１によれば、ＤＶＤビデオレコーディング規格のアクセス情報に必要な情報量は１時間当り７０キロバイトである。ＤＶＤビデオレコーディング規格のアクセス情報の情報量は、ＭＰ４ファイルの付属情報に含まれるアクセス情報の情報量の１０分の１以下である。図８はＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す。図９は、図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す。
また、例えば特許文献１に記載されている光ディスク装置は、映像フレームを１フレーム単位ではなく１ＧＯＰ単位で記録し、同時に音声フレームを１ＧＯＰに相当する時間長で連続的に記録する。そして、ＧＯＰ単位でアクセス情報を規定する。これによりアクセス情報に必要な情報量を低減している。
また、ＭＰ４ファイルは、ＭＰＥＧ２ビデオ規格に基づいて動画ストリームを記述しているものの、ＭＰＥＧ２システム規格のシステムストリームと互換性がない。よって、現在ＰＣ等で用いられているアプリケーションの動画編集機能を利用して、ＭＰ４ファイルを編集することはできない。多くのアプリケーションの編集機能は、ＭＰＥＧ２システム規格の動画ストリームを編集の対象としているからである。また、ＭＰ４ファイルの規格には、動画ストリーム部分の再生互換性を確保するためのデコーダモデルの規定も存在しない。これでは、現在極めて広く普及しているＭＰＥＧ２システム規格に対応したソフトウェアおよびハードウェアを全く活用できない。
また、動画ファイルの好みの再生区間をピックアップして、さらにそれを組み合わせてひとつの作品を作成するプレイリスト機能が実現されている。このプレイリスト機能は、記録済みの動画ファイルを直接編集しない、仮想的な編集処理を行うのが一般的である。ＭＰ４ファイルでプレイリストを作成する場合、Ｍｏｖｉｅ  Ａｔｏｍを新規作成することにより実現される。ＭＰ４ファイルではプレイリストを作成する場合に、再生区間のストリーム属性が同一であれば同じＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙが使用され、これによりＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙの冗長性を抑えることができる。ところが、この特徴により例えばシームレス再生を保証するシームレスなプレイリストを記述する場合に、再生区間ごとのストリーム属性情報を記述することが困難だった。
本発明の目的は、アクセス情報の情報量が小さく、かつ、従来のフォーマットに対応するアプリケーション等でも利用可能なデータ構造を提供すること、そのデータ構造に基づく処理が可能なデータ処理装置等を提供することである。
また、本発明の他の目的は、映像および音声のシームレスに結合する編集を従来のオーディオギャップを前提としたストリームと互換性を持たせた形態で実現することである。特に、ＭＰ４ストリームで記述された映像および音声に関して実現することを目的とする。また、結合点において音声を自然に接続できることを目的とする。
また、本発明のさらに他の目的は、複数のコンテンツを接続する際に、さらに音声の接続形態（フェードするか否か）をユーザの意図通りに指定できる編集処理を可能にすることである。
【発明の開示】
本発明によるデータ処理装置は、同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込む記録部と、連続して再生される２つの動画ストリーム間の無音区間を特定する記録制御部とを備えている。前記記録制御部は、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記記録部は、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する。
前記記録制御部は、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
前記記録制御部は、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
前記記録部は、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
前記記録部は、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込んでもよい。
前記記録部は、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込んでもよい。
前記記録部は、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
前記記録部は、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込んでもよい。
前記無音区間は１個の音声の復号単位の時間長よりも短くてもよい。
前記動画ストリーム内の映像ストリームはＭＰＥＧ−２ビデオストリームであり、かつ、前記連続して再生される２つの動画ストリーム間ではＭＰＥＧ−２ビデオストリームのバッファ条件が維持されてもよい。
前記記録部は、前記無音区間前後の音声レベルを制御するための情報を前記記録媒体にさらに書き込んでもよい。
前記記録部は、前記動画ストリームを所定の再生時間長およびデータサイズの一方を単位として、前記記録媒体上の物理的に連続するデータ領域に書き込み、前記連続するデータ領域の直前に前記追加音声データを書き込んでもよい。
本発明によるデータ処理装置は、同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込むステップと、連続して再生される２つの動画ストリーム間の無音区間を特定して記録を制御するステップと
を包含する。前記記録を制御するステップは、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記書き込むステップは、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する。
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
前記書き込むステップは、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
前記書き込むステップは、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込んでもよい。
前記書き込むステップは、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込んでもよい。
前記書き込むステップは、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
前記書き込むステップは、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込んでもよい。
本発明によるデータ処理装置は、記録媒体から、１以上のデータファイルおよび前記１以上のデータファイルに関連付けられた追加音声データを読み出す再生部であって、前記１以上のデータファイルは同期再生される映像および音声の動画ストリームを複数含む再生部と、映像および音声を同期再生するために動画ストリームに付加されている時刻情報に基づいて制御信号を生成し、再生を制御する再生制御部と、前記制御信号に基づいて前記動画ストリームを復号化して映像および音声の信号を出力する復号部とを備えている。前記データ処理装置を用いて２つの動画ストリームを連続して再生するときにおいて、前記再生制御部は、一方の動画ストリームの再生後、他方の動画ストリームの再生前に、前記追加音声データの音声を出力させるための制御信号を出力する。
本発明によるデータ処理方法は、記録媒体から、１以上のデータファイルおよび前記１以上のデータファイルに関連付けられた追加音声データを読み出すステップであって、前記１以上のデータファイルは同期再生される映像および音声の動画ストリームを複数含むステップと、映像および音声を同期再生するために動画ストリームに付加されている時刻情報に基づいて制御信号を生成するステップと、前記制御信号に基づいて前記動画ストリームを復号化して映像および音声の信号を出力するステップとを包含する。２つの動画ストリームを連続して再生するときにおいて、前記制御信号を生成するステップは、一方の動画ストリームの再生後、他方の動画ストリームの再生前に、前記追加音声データの音声を出力させるための制御信号を出力する。
本発明のコンピュータプログラムは、コンピュータに読み込まれて実行されることにより、コンピュータを下記の処理を行うデータ処理装置として機能させる。コンピュータプログラムを実行することにより、データ処理装置は、同期再生される映像および音声の動画ストリームを複数取得して、１以上のデータファイルとして記録媒体に書き込むステップと、連続して再生される２つの動画ストリーム間の無音区間を特定して記録を制御するステップとを実行する。そして、前記記録を制御するステップは、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記記録媒体に書き込むステップは、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する。
上述のコンピュータプログラムは、記録媒体に記録されてもよい。
本発明によるデータ処理装置は、複数のＭＰＥＧ２システム規格の符号化データを一つのデータファイルとして記録する際に、所定の長さのオーディオデータを前記データファイルと関連付けて記録する。
さらに本発明による他のデータ処理装置は、複数のＭＰＥＧ２システム規格の符号化データを含んだデータファイルと、前記データファイルに関連付けられたオーディオデータとを読み込み、前記符号化データを再生する際に、前記符号化データの無音区間においては、前記データファイルに関連付けられたオーディオデータを再生する。
【図面の簡単な説明】  図１は、従来のデータ処理装置３５０の構成を示す図である。
図２は、ＭＰ４ファイル２０のデータ構造を示す図である。
図３は、アトム構造２３の具体例を示す図である。
図４は、動画ストリーム２２のデータ構造を示す図である。
図５は、途中でトラックが切り替わった動画ストリーム２２を示す図である。
図６は、動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１のセクタとの対応を示す図である。
図７は、記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す図である。
図８は、ＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す図である。
図９は、図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す図である。
図１０は、本発明によるデータ処理を行うポータブルビデオコーダ１０−１、カムコーダ１０−２およびＰＣ１０−３の接続環境を示す図である。
図１１は、データ処理装置１０における機能ブロックの構成を示す図である。
図１２は、本発明によるＭＰ４ストリーム１２のデータ構造を示す図である。
図１３は、ＭＰＥＧ２−ＰＳ１４の音声データの管理単位を示す図である。
図１４は、プログラムストリームとエレメンタリストリームとの関係を示す図である。
図１５は、付属情報１３のデータ構造を示す図である。
図１６は、アトム構造を構成する各アトムの内容を示す図である。
図１７は、データ参照アトム１５の記述形式の具体例を示す図である。
図１８は、サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す図である。
図１９は、サンプル記述アトム１７の記述形式の具体例を示す図である。
図２０は、サンプル記述エントリ１８の各フィールドの内容を示す図である。
図２１は、ＭＰ４ストリームの生成処理の手順を示すフローチャートである。
図２２は、本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２  Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。
図２３は、１チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す図である。
図２４は、１チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。
図２５は、１チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す図である。
図２６は、１つの付属情報ファイルに対して２つのＰＳファイルが存在するＭＰ４ストリーム１２の例を示す図である。
図２７は、１つのＰＳファイル内に不連続なＭＰＥＧ２−ＰＳが複数存在する例を示す図である。
図２８は、シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを設けたＭＰ４ストリーム１２を示す図である。
図２９は、不連続点において不足する音声（オーディオ）フレームを示す図である。
図３０は、本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。
図３１は、本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。
図３２は、ＭＴＦファイル３２のデータ構造を示す図である。
図３３は、各種のファイルフォーマット規格の相互関係を示す図である。
図３４は、ＱｕｉｃｋＴｉｍｅストリームのデータ構造を示す図である。
図３５は、ＱｕｉｃｋＴｉｍｅストリームの付属情報１３における各アトムの内容を示す図である。
図３６は、記録画素数が変化する場合の動画ストリームのフラグ設定内容を説明する図である。
図３７は、ＰＳ＃１とＰＳ＃３がシームレス接続条件を満足して結合されている動画ファイルのデータ構造を示す図である。
図３８は、ＰＳ＃１とＰＳ＃３の接続点における映像および音声のシームレス接続条件および再生タイミングを示す図である。
図３９は、オーディオギャップ区間に相当するオーディオフレームをポストレコーディング用領域に割り当てた場合のデータ構造を示す図である。
図４０は、オーディオのオーバーラップのタイミングを示す図であり、（ａ）および（ｂ）はオーバーラップする部分の態様を示す図である。
図４１は、プレイリストにより再生区間ＰＳ＃１とＰＳ＃３をシームレス再生できるように接続した場合の再生タイミングを示す図である。
図４２は、プレイリストのＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙのデータ構造を示す図である。
図４３は、プレイリストのＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙ内のシームレス情報のデータ構造を示す図である。
図４４は、プレイリストとブリッジファイルを使ってシームレス接続する場合のシームレスフラグおよびＳＴＣ連続性情報を示す図である。
図４５は、プレイリスト内のＰＳトラックおよび音声トラックのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍのデータ構造を示す図である。
図４６は、プレイリスト内の音声トラックに関するＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍのデータ構造を示す図である。
【発明を実施するための最良の形態】  以下、添付の図面を参照しながら、本発明の実施形態を説明する。
図１０は、本発明によるデータ処理を行うポータブルビデオコーダ１０−１、カムコーダ１０−２およびＰＣ１０−３の接続関係を示す。
ポータブルビデオコーダ１０−１は、付属のアンテナを利用して放送番組を受信し、放送番組を動画圧縮してＭＰ４ストリームを生成する。カムコーダ１０−２は、映像を録画するとともに、映像に付随する音声を録音し、ＭＰ４ストリームを生成する。ＭＰ４ストリームでは、映像・音声データは、所定の圧縮符号化方式によって符号化され、本明細書で説明するデータ構造にしたがって記録されている。ポータブルビデオコーダ１０−１およびカムコーダ１０−２は、生成したＭＰ４ストリームをＤＶＤ−ＲＡＭ等の記録媒体１３１に記録し、またはＩＥＥＥ１３９４、ＵＳＢ等のディジタルインターフェースを介して出力する。なお、ポータブルビデオコーダ１０−１、カムコーダ１０−２等はより小型化が必要とされているため、記録媒体１３１は直径８ｃｍの光ディスクに限られず、それよりも小径の光ディスク等であってもよい。
ＰＣ１０−３は、記録媒体または伝送媒体を介してＭＰ４ストリームを受け取る。各機器がディジタルインターフェースを介して接続されていると、ＰＣ１０−３は、カムコーダ１０−２等を外部記憶装置として制御して、各機器からＭＰ４ストリームを受け取ることができる。
ＰＣ１０−３が本発明によるＭＰ４ストリームの処理に対応したアプリケーションソフトウェア、ハードウェアを有する場合には、ＰＣ１０−３は、ＭＰ４ファイル規格に基づくＭＰ４ストリームとしてＭＰ４ストリームを再生することができる。一方、本発明によるＭＰ４ストリームの処理に対応していない場合には、ＰＣ１０−３は、ＭＰＥＧ２システム規格に基づいて動画ストリーム部分を再生することができる。なお、ＰＣ１０−３はＭＰ４ストリームの部分削除等の編集に関する処理を行うこともできる。以下では、図１０のポータブルビデオコーダ１０−１、カムコーダ１０−２およびＰＣ１０−３を「データ処理装置」と称して説明する。
図１１は、データ処理装置１０における機能ブロックの構成を示す。以下では、本明細書では、データ処理装置１０は、ＭＰ４ストリームの記録機能と再生機能の両方を有するとして説明する。具体的には、データ処理装置１０は、ＭＰ４ストリームを生成して記録媒体１３１に書き込むことができ、かつ、記録媒体１３１に書き込まれたＭＰ４ストリームを再生することができる。記録媒体１３１は例えばＤＶＤ−ＲＡＭディスクであり、以下、「ＤＶＤ−ＲＡＭディスク１３１」と称する。
まず、データ処理装置１０のＭＰ４ストリーム記録機能を説明する。この機能に関連する構成要素として、データ処理装置１０は、映像信号入力部１００と、ＭＰＥＧ２−ＰＳ圧縮部１０１と、音声信号入力部１０２と、付属情報生成部１０３と、記録部１２０と、光ピックアップ１３０と、記録制御部１４１とを備えている。
映像信号入力部１００は映像信号入力端子であり、映像データを表す映像信号を受け取る。音声信号入力部１０２は音声信号入力端子であり、音声データを表す音声信号を受け取る。例えば、ポータブルビデオコーダ１０−１（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれチューナ部（図示せず）の映像出力部および音声出力部と接続され、それぞれから映像信号および音声信号を受け取る。また、カムコーダ１０−２（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれカメラのＣＣＤ（図示せず）出力およびマイク出力から映像信号および音声信号を受け取る。
ＭＰＥＧ２−ＰＳ圧縮部（以下「圧縮部」と称する）１０１は、映像信号および音声信号を受け取ってＭＰＥＧ２システム規格のＭＰＥＧ２プログラムストリーム（以下、「ＭＰＥＧ２−ＰＳ」と称する）を生成する。生成されたＭＰＥＧ２−ＰＳは、ＭＰＥＧ２システム規格に基づいて、ストリームのみに基づいて復号することができる。ＭＰＥＧ２−ＰＳの詳細は後述する。
付属情報生成部１０３は、ＭＰ４ストリームの付属情報を生成する。付属情報は、参照情報および属性情報を含む。参照情報は、圧縮部１０１により生成されたＭＰＥＧ２−ＰＳを特定する情報であって、例えばＭＰＥＧ２−ＰＳが記録される際のファイル名およびＤＶＤ−ＲＡＭディスク１３１上の格納位置である。一方、属性情報は、ＭＰＥＧ２−ＰＳのサンプル単位の属性を記述した情報である。「サンプル」とは、ＭＰ４ファイル規格の付属情報に規定されるサンプル記述アトム（Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍ；後述）における最小管理単位であり、サンプルごとのデータサイズ、再生時間等を記録している。１サンプルは、例えばランダムにアクセスすることが可能なデータ単位である。換言すれば、属性情報とはサンプルを再生するために必要な情報である。特に後述のサンプル記述アトム（Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍ）は、アクセス情報とも称される。
属性情報は、具体的には、データの格納先アドレス、再生タイミングを示すタイムスタンプ、符号化ビットレート、コーデック等の情報である。属性情報は、各サンプル内の映像データおよび音声データの各々に対して設けられ、以下に明示的に説明するフィールドの記述を除いては、従来のＭＰ４ストリーム２０の付属情報の内容に準拠している。
後述のように、本発明の１サンプルは、ＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）である。なお、ＶＯＢＵはＤＶＤビデオレコーディング規格の同名のビデオオブジェクトユニットを意味する。付属情報の詳細は後述する。
記録部１２０は、記録制御部１４１からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ−ＲＡＭディスク１３１の特定の位置（アドレス）にデータを記録する。より具体的には、記録部１２０は、圧縮部１０１において生成されたＭＰＥＧ２−ＰＳおよび付属情報生成部１０３において生成された付属情報を、それぞれ別個のファイルとしてＤＶＤ−ＲＡＭディスク１３１上に記録する。
なお、データ処理装置１０は、データの記録に際して動作する連続データ領域検出部（以下、「検出部」）１４０および論理ブロック管理部（以下、「管理部」）１４３を有している。連続データ領域検出部１４０は、記録制御部１４１からの指示に応じて論理ブロック管理部１４３において管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。記録制御部１４１は、この空き領域に対して記録部１２０にデータの記録を指示する。データの具体的な記録方法は、図７を参照しながら説明した記録方法と同様であり特に差異はないので、その詳細な説明は省略する。なお、ＭＰＥＧ２−ＰＳおよび付属情報は、それぞれ別個のファイルとして記録されるので、図７におけるファイル・アイデンティファイア欄には、それぞれのファイル名が記述される。
次に、図１２を参照しながらＭＰ４ストリームのデータ構造を説明する。図１２は、本発明によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（”ＭＯＶ００１．ＭＰ４”）と、ＭＰＥＧ２−ＰＳ１４のデータファイル（”ＭＯＶ００１．ＭＰＧ”）（以下「ＰＳファイル」と称する）とを備えている。これら２つのファイル内のデータによって、１つのＭＰ４ストリームを構成する。本明細書では、同じＭＰ４ストリームに属することを明確にするため、付属情報ファイルおよびＰＳファイルに同じ名（”ＭＯＶ００１“）を付し、拡張子を異ならせている。具体的には、付属情報ファイルの拡張子は従来のＭＰ４ファイルの拡張子と同じ“ＭＰ４”を採用し、ＰＳファイルの拡張子は従来のプログラムストリームの一般的な拡張子“ＭＰＧ”を採用する。
付属情報１３は、ＭＰＥＧ２−ＰＳ１４を参照するための参照情報（”ｄｒｅｆ”）を有する。さらに、付属情報１３はＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）ごとの属性を記述した属性情報を含む。属性情報はＶＯＢＵごとの属性を記述しているので、データ処理装置１０はＶＯＢＵ単位でＭＰＥＧ２−ＰＳ１４に含まれるＶＯＢＵの任意の位置を特定して再生・編集等をすることができる。
ＭＰＥＧ２−ＰＳ１４は、映像パック、音声パック等がインターリーブされて構成されたＭＰＥＧ２システム規格に基づく動画ストリームである。映像パックは、パックヘッダと符号化された映像データとを含む。音声パックは、パックヘッダと符号化された音声データとを含む。ＭＰＥＧ２−ＰＳ１４では、映像の再生時間に換算して０．４〜１秒に相当する動画データを単位とするビデオオブジェクトユニット（ＶＯＢＵ）によりデータが管理されている。動画データは、複数の映像パックおよび音声パックを含む。データ処理装置１０は、付属情報１３において記述されている情報に基づいて、任意のＶＯＢＵの位置を特定しそのＶＯＢＵを再生することができる。なお、ＶＯＢＵは１以上のＧＯＰを含む。
本発明によるＭＰ４ストリーム１２の特徴の一つは、ＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ４システム規格で規定されるＭＰ４ストリームのデータ構造に従った属性情報１３に基づいて復号化することが可能であるとともに、ＭＰＥＧ２システム規格に基づいても復号化することが可能な点にある。付属情報ファイルおよびＰＳファイルが別々に記録されているため、データ処理装置１０がそれぞれを独立して解析、処理等することが可能だからである。例えば、本発明のデータ処理を実施可能なＭＰ４ストリーム再生装置等は、属性情報１３に基づいてＭＰ４ストリーム１２の再生時間等を調整し、ＭＰＥＧ２−ＰＳ１４の符号化方式を特定して、対応する復号化方式によって復号化できる。また、ＭＰＥＧ２−ＰＳを復号化することができる従来の装置等においては、はＭＰＥＧ２システム規格にしたがって復号化できる。これにより、現在広く普及しているＭＰＥＧ２システム規格にのみ対応したソフトウェアおよびハードウェアであっても、ＭＰ４ストリームに含まれる動画ストリームを再生することができる。
なお、ＶＯＢＵ単位のサンプル記述アトム（Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍ）を設けると同時に、図１３に示すように、ＭＰＥＧ２−ＰＳ１４の音声データの所定時間のフレーム分を管理単位としたサンプル記述アトム（Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍ）を設けてもよい。所定時間とは、例えば０．１秒である。図中「Ｖ」は図１２の映像パックを示し、「Ａ」は音声パックを示す。０．１秒分の音声フレームは１個以上の複数のパックから構成される。１音声フレームは、例えばＡＣ−３の場合、サンプリング周波数を４８ｋＨｚとしたとき、サンプリング個数にして１５３６サンプルの音声データを含む。このとき、サンプル記述アトムは、トラックアトム内のユーザデータアトム内に設けるか、または独立したトラックのサンプル記述アトムとして設けてもよい。また、他の実施例としては、付属情報１３は、ＶＯＢＵに同期する０．４〜１秒分の音声フレームを単位として、その単位毎の合計データサイズ、先頭パックのデータアドレス、および出力タイミングを示すタイムスタンプ等の属性を保持してもよい。
次に、ＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）のデータ構造を説明する。図１４は、プログラムストリームとエレメンタリストリームとの関係を示す。ＭＰＥＧ２−ＰＳ１４のＶＯＢＵは、複数の映像パック（Ｖ＿ＰＣＫ）および音声パック（Ａ＿ＰＣＫ）を含む。なお、より厳密には、ＶＯＢＵはシーケンスヘッダ（図中のＳＥＱヘッダ）から、次のシーケンスヘッダの直前のパックまでによって構成される。すなわち、シーケンスヘッダはＶＯＢＵの先頭に配置される。一方、エレメンタリストリーム（Ｖｉｄｅｏ）は、Ｎ個のＧＯＰを含む。ＧＯＰは、各種のヘッダ（シーケンス（ＳＥＱ）ヘッダおよびＧＯＰヘッダ）および映像データ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を含む。エレメンタリストリーム（Ａｕｄｉｏ）は、複数の音声フレームを含む。
ＭＰＥＧ２−ＰＳ１４のＶＯＢＵに含まれる映像パックおよび音声パックは、それぞれエレメンタリストリーム（Ｖｉｄｅｏ）／（Ａｕｄｉｏ）の各データを用いて構成されており、それぞれのデータ量が２キロバイトになるように構成されている。なお、上述のように各パックにはパックヘッダが設けられる。
なお、字幕データ等の副映像データに関するエレメンタリストリーム（図示せず）が存在するときは、ＭＰＥＧ２−ＰＳ１４のＶＯＢＵはさらにその副映像データのパックも含む。
次に、図１５および図１６を参照しながら、ＭＰ４ストリーム１２における付属情報１３のデータ構造を説明する。図１５は、付属情報１３のデータ構造を示す。このデータ構造は「アトム構造」とも呼ばれ、階層化されている。例えば、“Ｍｏｖｉｅ  Ａｔｏｍ”は、“Ｍｏｖｉｅ  Ｈｅａｄｅｒ  Ａｔｏｍ”、“Ｏｂｊｅｃｔ  Ｄｅｓｃｒｉｐｔｏｒ  Ａｔｏｍ”および“Ｔｒａｃｋ  Ａｔｏｍ”を含む。さらに“Ｔｒａｃｋ  Ａｔｏｍ”は、“Ｔｒａｃｋ  Ｈｅａｄｅｒ  Ａｔｏｍ”、“Ｅｄｉｔ  Ｌｉｓｔ  Ａｔｏｍ”、“Ｍｅｄｉａ  Ａｔｏｍ”および“Ｕｓｅｒ  Ｄａｔａ  Ａｔｏｍ”を含む。図示された他のＡｔｏｍも同様である。
本発明では、特にデータ参照アトム（“Ｄａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍ”；ｄｒｅｆ）１５およびサンプルテーブルアトム（“Ｓａｍｐｌｅ  Ｔａｂｌｅ  Ａｔｏｍ”；ｓｔｂｌ）１６を利用して、サンプル単位の属性を記述する。上述のように、１サンプルはＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）に対応する。サンプルテーブルアトム１６は、図示される６つの下位アトムを含む。
図１６は、アトム構造を構成する各アトムの内容を示す。データ参照アトム（“Ｄａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍ”）は、動画ストリーム（ＭＰＥＧ２−ＰＳ）１４のファイルを特定する情報をＵＲＬ形式で格納する。一方、サンプルテーブルアトム（“Ｓａｍｐｌｅ  Ｔａｂｌｅ  Ａｔｏｍ”）は、下位のアトムによってＶＯＢＵ毎の属性を記述する。例えば、“Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  ｔｏ  Ｓａｍｐｌｅ  Ａｔｏｍ”においてＶＯＢＵ毎の再生時間を格納し、“Ｓａｍｐｌｅ  Ｓｉｚｅ  Ａｔｏｍ”においてＶＯＢＵ毎のデータサイズを格納する。また“Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍ”は、ＭＰ４ストリーム１２を構成するＰＳファイルのデータがＭＰＥＧ２−ＰＳ１４であることを示すとともに、ＭＰＥＧ２−ＰＳ１４の詳細な仕様を示す。以下では、データ参照アトム（“Ｄａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍ）によって記述される情報を「参照情報」と称し、サンプルテーブルアトム（“Ｓａｍｐｌｅ  Ｔａｂｌｅ  Ａｔｏｍ”）において記述される情報を「属性情報」と称する。
図１７は、データ参照アトム１５の記述形式の具体例を示す。ファイルを特定する情報は、データ参照アトム１５を記述するフィールドの一部（ここでは“ＤａｔａＥｎｔｒｙＵｒｌＡｔｏｍ”）において記述される。ここでは、ＵＲＬ形式により、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置が記述されている。データ参照アトム１５を参照することにより、その付属情報１３とともにＭＰ４ストリーム１２を構成するＭＰＥＧ２−ＰＳ１４を特定できる。なお、ＭＰＥＧ２−ＰＳ１４がＤＶＤ−ＲＡＭディスク１３１に記録される前であっても、図１１の付属情報生成部１０３は、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置を特定することができる。ファイル名は予め決定でき、かつ、ファイルの格納位置もファイルシステムの階層構造の表記によって論理的に特定できるからである。
図１８は、サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す。各アトムは、フィールド名、繰り返しの可否およびデータサイズを規定する。例えば、サンプルサイズアトム（Ｓａｍｐｌｅ  Ｓｉｚｅ  Ａｔｏｍ”）は、３つのフィールド（“ｓａｍｐｌｅ−ｓｉｚｅ”、“ｓａｍｐｌｅ  ｃｏｕｎｔ”および“ｅｎｔｒｙ−ｓｉｚｅ”）を有する。このうち、サンプルサイズ（“ｓａｍｐｌｅ−ｓｉｚｅ”）フィールドには、ＶＯＢＵのデフォルトのデータサイズが格納され、エントリサイズ（“ｅｎｔｒｙ−ｓｉｚｅ”）フィールドには、ＶＯＢＵのデフォルト値とは異なる個別のデータサイズが格納される。なお、図中の「設定値」欄のパラメータ（“ＶＯＢＵ＿ＥＮＴ”等）にはＤＶＤビデオレコーディング規格の同名のアクセスデータと同じ値が設定される。
図１８に示すサンプル記述アトム（“Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍ”）１７は、サンプル単位の属性情報を記述する。以下、サンプル記述アトム１７に記述される情報の内容を説明する。
図１９は、サンプル記述アトム１７の記述形式の具体例を示す。サンプル記述アトム１７は、そのデータサイズ、各ＶＯＢＵを１サンプルとするサンプル単位の属性情報等を記述する。属性情報は、サンプル記述アトム０の“ｓａｍｐｌｅ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｅｎｔｒｙ”１８に記述される。
図２０は、“ｓａｍｐｌｅ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｅｎｔｒｙ”１８の各フィールドの内容を示す。エントリ１８は、対応するＭＰＥＧ２−ＰＳ１４の符号化形式を指定するデータフォーマット（“ｄａｔａ−ｆｏｒｍａｔ”）を含む。図中の“ｐ２ｓｍ”は、ＭＰＥＧ２−ＰＳ１４がＭＰＥＧ２Ｖｉｄｅｏを含むＭＰＥＧ２プログラムストリームであることを示す。
エントリ１８は、そのサンプルの表示開始時刻（“開始Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ”）および表示終了時刻（“終了  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ”）を含む。これらは、最初および最後の映像フレームのタイミング情報を格納する。また、エントリ１８は、そのサンプル内の映像ストリームの属性情報（“映像ＥＳ属性”）および音声ストリームの属性情報（“音声ＥＳ属性”）を含む。図１９に示すように、映像データの属性情報は、映像のＣＯＤＥＣ種別（例えば、ＭＰＥＧ２ビデオ）、映像データの幅（“Ｗｉｄｔｈ”）、高さ（“ｈｅｉｇｈｔ”）等を特定する。同様に、音声データの属性情報は、音声のＣＯＤＥＣ種別（例えば、ＡＣ−３）、音声データのチャネル数（“ｃｈａｎｎｅｌ  ｃｏｕｎｔ”）、音声サンプルのサイズ（“ｓａｍｐｌｅｓｉｚｅ”）、サンプリングレート（“ｓａｍｐｌｅｒａｔｅ”）等を特定する。
さらにエントリ１８は、不連続点開始フラグおよびシームレス情報を含む。これらの情報は、後述のように、１つのＭＰ４ストリーム１２内に複数のＰＳストリームが存在するときに記述される。例えば、不連続点開始フラグの値が“０”のときは、前の動画ストリームと現在の動画ストリームとが完全に連続したプログラムストリームであることを示し、値が“１”のときは、それらの動画ストリームは不連続のプログラムストリームであることを示す。そして不連続の場合には、動画や音声等の不連続点においても途切れ無く動画、音声等を再生するためのシームレス情報の記述が可能である。シームレス情報は、再生時に音声不連続情報およびＳＣＲ不連続情報を含む。音声不連続情報の無音声区間（すなわち図３１のオーディオギャップ）の有無、開始タイミングおよび時間長を含む。ＳＣＲ不連続情報には不連続点の直前と直後のパックのＳＣＲ値を含む。
不連続点開始フラグを設けることにより、Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙの切り替えと動画ストリームの連続性の切り替え箇所を独立して指定できる。図３６に示すように、例えば、記録画素数が途中で変化する際にはＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎを変化させるが、このとき、動画ストリーム自体が連続しているのであれば不連続点開始フラグを０に設定してもよい。不連続点開始フラグが０であることにより、情報ストリームを直接編集する場合に、ＰＣ等は、２つの動画ストリームの接続点を再編集しなくてもシームレスな再生が可能であることを把握することができる。なお、図３６では水平画素数が変化した場合を例にしているが、その他の属性情報が変化した場合であってもよい。例えば、アスペクト情報に関して４：３のアスペクト比が１６：９に変化した場合や、音声のビットレートが変化した場合等である。
以上、図１２に示すＭＰ４ストリーム１２の付属情報１３およびＭＰＥＧ２−ＰＳ１４のデータ構造を説明した。上述のデータ構造においては、ＭＰＥＧ２−ＰＳ１４の部分削除を行う際には、付属情報１３内のタイムスタンプ等の属性情報を変更するだけでよく、ＭＰＥＧ２−ＰＳ１４に設けられているタイムスタンプを変更する必要がない。よって従来のＭＰ４ストリームの利点を活かした編集処理が可能である。さらに、上述のデータ構造によれば、ＭＰＥＧ２システム規格のストリームに対応したアプリケーションやハードウェアを用いてＰＣ上で動画編集するときは、ＰＳファイルのみをＰＣにインポートすればよい。ＰＳファイルのＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ２システム規格の動画ストリームだからである。このようなアプリケーションやハードウェアは広く普及しているので、既存のソフトウェアおよびハードウェアを有効に活用できる。同時に、付属情報をＩＳＯ規格に準拠したデータ構造で記録できる。
次に、図１１および図２１を参照しながら、データ処理装置１０がＭＰ４ストリームを生成し、ＤＶＤ−ＲＡＭディスク１３１上に記録する処理を説明する。図２１は、ＭＰ４ストリームの生成処理の手順を示すフローチャートである。まずステップ２１０において、データ処理装置１０は、映像信号入力部１００を介して映像データを受け取り、音声信号入力部１０２を介して音声データを受け取る。そしてステップ２１１において、圧縮部１０１は受け取った映像データおよび音声データをＭＰＥＧ２システム規格に基づいて符号化する。続いて圧縮部１０１は、ステップ２１２において映像および音声の符号化ストリームを利用して、ＭＰＥＧ２−ＰＳを構成する（図１４）。
ステップ２１３において、記録部１２０は、ＭＰＥＧ２−ＰＳをＤＶＤ−ＲＡＭディスク１３１に記録する際のファイル名および記録位置を決定する。ステップ２１４において、付属情報生成部１０３は、ＰＳファイルのファイル名および記録位置を取得して参照情報（Ｄａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍ；図１７）として記述すべき内容を特定する。図１７に示すように、本明細書では、ファイル名と記録位置とを同時に指定できる記述方式を採用した。
次に、ステップ２１５において、付属情報生成部１０３はＭＰＥＧ２−ＰＳ１４に規定されるＶＯＢＵ毎に、再生時間、データサイズ等を表すデータを取得して属性情報（Ｓａｍｐｌｅ  Ｔａｂｌｅ  Ａｔｏｍ；図１８〜２０）として記述すべき内容を特定する。属性情報をＶＯＢＵ単位で設けることにより、任意のＶＯＢＵの読み出しおよび復号化が可能になる。これは、１ＶＯＢＵを１サンプルとして取り扱うことを意味する。
次に、ステップ２１６において、付属情報生成部１０３は参照情報（Ｄａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍ）および属性情報（Ｓａｍｐｌｅ  Ｔａｂｌｅ  Ａｔｏｍ）等に基づいて、付属情報を生成する。
ステップ２１７において、記録部１２０は、付属情報１３およびＭＰＥＧ２−ＰＳ１４をＭＰ４ストリーム１２として出力し、ＤＶＤ−ＲＡＭディスク１３１上にそれぞれ付属情報ファイルおよびＰＳファイルとして別々に記録する。以上の手順にしたがって、ＭＰ４ストリームが生成され、ＤＶＤ−ＲＡＭディスク１３１に記録される。
次に、再び図１１および図１２を参照しながら、データ処理装置１０のＭＰ４ストリーム再生機能を説明する。ＤＶＤ−ＲＡＭディスク１３１には、上述のデータ構造を有する付属情報１３およびＭＰＥＧ２−ＰＳ１４を有するＭＰ４ストリーム１２が記録されているとする。データ処理装置１０は、ユーザの選択によりＤＶＤ−ＲＡＭディスク１３１に記録されたＭＰＥＧ２−ＰＳ１４を再生および復号化する。再生機能に関連する構成要素として、データ処理装置１０は、映像信号出力部１１０と、ＭＰＥＧ２−ＰＳ復号部１１１と、音声信号出力部１１２と、再生部１２１と、ピックアップ１３０と、再生制御部１４２とを備えている。
まず、再生部１２１は、再生制御部１４２からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ−ＲＡＭディスク１３１からＭＰ４ファイルを読み出して付属情報１３を取得する。再生部１２１は、取得した付属情報１３を再生制御部１４２に出力する。また、再生部１２１は、後述の再生制御部１４２から出力された制御信号に基づいて、ＤＶＤ−ＲＡＭディスク１３１からＰＳファイルを読み出す。制御信号は、読み出すべきＰＳファイル（“ＭＯＶ００１．ＭＰＧ”）を指定する信号である。
再生制御部１４２は、再生部１２１から付属情報１３を受け取り、そのデータ構造を解析することにより、付属情報１３に含まれる参照情報１５（図１７）を取得する。再生制御部１４２は、参照情報１５において指定されたＰＳファイル（“ＭＯＶ００１．ＭＰＧ”）を、指定された位置（“．／”：ルートディレクトリ）から読み出すことを指示する制御信号を出力する。
ＭＰＥＧ２−ＰＳ復号部１１１は、ＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３に含まれる属性情報に基づいて、ＭＰＥＧ２−ＰＳ１４から映像データおよび音声データを復号する。より具体的に説明すると、ＭＰＥＧ２−ＰＳ復号部１１１は、サンプル記述アトム１７（図１９）のデータフォーマット（“ｄａｔａ−ｆｏｒｍａｔ”）、映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を読み出し、それらの情報に指定された符号化形式、映像データの表示サイズ、サンプリング周波数等に基づいて、映像データおよび音声データを復号する。
映像信号出力部１１０は映像信号出力端子であり、復号化された映像データを映像信号として出力する。音声信号出力部１１２は音声信号出力端子であり、復号化された音声データを音声信号として出力する。
データ処理装置１０がＭＰ４ストリームを再生する処理は、従来のＭＰ４ストリームファイルの再生処理と同様、まず拡張子が“ＭＰ４”のファイル（“ＭＯＶ００１．ＭＰ４”）の読み出しから開始される。具体的には以下のとおりである。まず再生部１２１は付属情報ファイル（“ＭＯＶ００１．ＭＰ４”）を読み出す。次に、再生制御部１４２は付属情報１３を解析して参照情報（Ｄａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍ）を抽出する。再生制御部１４２は、抽出された参照情報に基づいて、同じＭＰ４ストリームを構成するＰＳファイルの読み出しを指示する制御信号を出力する。本明細書では、再生制御部１４２から出力された制御信号は、ＰＳファイル（“ＭＯＶ００１．ＭＰＧ”）の読み出しを指示している。
次に、再生部１２１は、制御信号に基づいて、指定されたＰＳファイルを読み出す。次に、ＭＰＥＧ２−ＰＳ復号部１１１は、読み出されたデータファイルに含まれるＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３を解析して属性情報を抽出する。そしてＭＰＥＧ２−ＰＳ復号部１１１は、属性情報に含まれるサンプル記述アトム１７（図１９）に基づいて、ＭＰＥＧ２−ＰＳ１４のデータフォーマット（“ｄａｔａ−ｆｏｒｍａｔ”）、ＭＰＥＧ２−ＰＳ１４に含まれる映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を特定して、映像データおよび音声データを復号する。以上の処理により、付属情報１３に基づいてＭＰＥＧ２−ＰＳ１４が再生される。
なお、ＭＰＥＧ２システム規格のストリームを再生可能な従来の再生装置、再生ソフトウェア等であれば、ＰＳファイルのみを再生することによってＭＰＥＧ２−ＰＳ１４を再生することができる。このとき、再生装置等はＭＰ４ストリーム１２の再生に対応していなくてもよい。ＭＰ４ストリーム１２は付属情報１３およびＭＰＥＧ２−ＰＳ１４を別個のファイルによって構成されているので、例えば拡張子に基づいてＭＰＥＧ２−ＰＳ１４が格納されているＰＳファイルを容易に識別し、再生することができる。
図２２は、本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２  Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。図において、本発明（１）のカラムがこれまで説明した１ＶＯＢＵを１サンプルとする例に相当する。従来例では、１映像フレーム（Ｖｉｄｅｏ  ｆｒａｍｅ）を１サンプルとして各サンプルにサンプルテーブルアトム（Ｓａｍｐｌｅ  Ｔａｂｌｅ  Ａｔｏｍ）等の属性情報（アクセス情報）を設けていた。本発明によれば、映像フレームを複数含むＶＯＢＵをサンプル単位としてサンプル毎にアクセス情報を設けたので、属性情報の情報量を大幅に低減できる。したがって本発明による１ＶＯＢＵを１サンプルとすることが好適である。
図２２の本発明（２）のカラムは、本発明（１）に示すデータ構造の変形例を示す。本発明（２）と本発明（１）との相違点は、本発明（２）の変形例では１チャンク（ｃｈｕｎｋ）に１ＶＯＢＵを対応させてチャンク毎にアクセス情報を構成する点である。ここで、「チャンク」とは、複数のサンプルによって構成された単位である。このとき、ＭＰＥＧ２−ＰＳ１４のパックヘッダを含む映像フレームが、１サンプルに対応する。図２３は、１チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す。図１２の１サンプルを１チャンクに置き換えた点が相違する。なお、従来例では１サンプルに１映像フレームを対応させ、１チャンクに１ＧＯＰを対応させている。
図２４は、１チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。図１５に示す１サンプルに１ＶＯＢＵを対応させたときのデータ構造と比較すると、付属情報１３の属性情報に含まれるサンプルテーブルアトム１９に規定される内容が異なっている。図２５は、１チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す。
次に、ＭＰ４ストリーム１２を構成するＰＳファイルに関する変形例を説明する。図２６は、１つの付属情報ファイル（“ＭＯＶ００１．ＭＰ４”）に対して２つのＰＳファイル（”ＭＯＶ００１．ＭＰＧ”および”ＭＯＶ００２．ＭＰＧ”）が存在するＭＰ４ストリーム１２の例を示す。２つのＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ１４のデータが別々に記録されている。各ＰＳファイル内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）およびＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）は連続している。しかし、ＰＳファイル相互間（各ＰＳファイルに含まれるＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）には、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないとする。２つのＰＳファイルは別々のトラック（図）として取り扱われる。
付属情報ファイルには、各ＰＳファイルのファイル名および記録位置を特定する参照情報（ｄｒｅｆ；図１７）が記述されている。例えば、参照情報は参照すべき順序に基づいて記述されている。図では、参照＃１により特定されたＰＳファイル”ＭＯＶ００１．ＭＰＧ”が再生され、その後、参照＃２により特定されたＰＳファイル”ＭＯＶ００２．ＭＰＧ”が再生される。このように複数のＰＳファイルが存在していても、付属情報ファイル内に各ＰＳファイルの参照情報を設けることにより、各ＰＳファイルを実質的に接続して再生することができる。
図２７は、１つのＰＳファイル内に不連続のＭＰＥＧ２−ＰＳが複数存在する例を示す。ＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ＃１および＃２のデータが連続的に配列されている。「不連続のＭＰＥＧ２−ＰＳ」とは、２つのＭＰＥＧ２−ＰＳ間（ＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）では、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないことを意味する。すなわち、再生タイミングに連続性がないことを意味する。不連続点は、２つのＭＰＥＧ２−ＰＳの境界に存在する。なお各ＭＰＥＧ２−ＰＳ内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ、ＰＴＳおよびＤＴＳは連続している。
付属情報ファイルには、ＰＳファイルのファイル名および記録位置を特定する参照情報（ｄｒｅｆ；図１７）が記述されている。付属情報ファイルにはそのＰＳファイルを指定する参照情報が１つ存在する。しかしＰＳファイルを順に再生すると、ＭＰＥＧ２−ＰＳ＃１と＃２との不連続点においては再生できなくなる。ＳＣＲ、ＰＴＳ、ＤＴＳ等が不連続になるからである。そこで、この不連続点に関する情報（不連続点の位置情報（アドレス）等）を付属情報ファイルに記述する。具体的には、不連続点の位置情報は、図１９における「不連続点開始フラグ」として記録する。例えば、再生時には再生制御部１４２は不連続点の位置情報を算出して、不連続点の後に存在するＭＰＥＧ２−ＰＳ＃２の映像データを先読み等することにより、少なくとも映像データの連続的な再生が途切れないように再生を制御する。
図２６を参照しながら、互いに不連続なＭＰＥＧ２−ＰＳを含む２つのＰＳファイルに対して、２つの参照情報を設けて再生する手順を説明した。しかし、図２８に示すように、２つのＰＳファイルに対してシームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを新たに挿入し、シームレスに当初の２つのＰＳファイルを再生することができる。図２８は、シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイル（“ＭＯＶ００２．ＭＰＧ”）を設けたＭＰ４ストリーム１２を示す。ＰＳファイル（“ＭＯＶ００２．ＭＰＧ”）は、ＭＰＥＧ２−ＰＳ＃１とＭＰＥＧ２−ＰＳ＃３との不連続点において不足する音声フレームを含む。以下、図２９を参照しながらより詳しく説明する。
図２９は、不連続点において不足する音声（オーディオ）フレームを示す。図では、ＭＰＥＧ２−ＰＳ＃１を含むＰＳファイルを「ＰＳ＃１」と表記し、ＭＰＥＧ２−ＰＳ＃３を含むＰＳファイルを「ＰＳ＃３」と表記する。
まず、ＰＳ＃１のデータが処理され、次にＰＳ＃３のデータが処理されるとする。上から２段目のＤＴＳビデオフレームおよび３段目のＰＴＳビデオフレームは、それぞれ映像フレームに関するタイムスタンプを示す。これらから明らかなように、ＰＳファイル＃１および＃３は、映像が途切れることなく再生される。しかし、オーディオフレームに関しては、ＰＳ＃１の再生が終了した後ＰＳ＃３が再生されるまでの間、一定区間データが存在しない無音区間が発生する。これでは、シームレス再生を実現できない。
そこで、新たにＰＳ＃２を設け、シームレス接続のための音声フレームを含むＰＳファイルを設けて、付属情報ファイルから参照するようにした。この音声フレームは、無音区間を埋める音声データを含み、例えばＰＳ＃１末尾の動画に同期して記録されている音声データがコピーされる。図２９に示すように、オーディオフレームの段にはシームレス接続用オーディオフレームがＰＳ＃１の次に挿入されている。ＰＳ＃２の音声フレームは、ＰＳ＃３の開始前１フレーム以内になるまで設けられる。これに伴って、付属情報１３に新たなＰＳ＃２を参照する参照情報（図２８のｄｒｅｆ）を設け、ＰＳ＃１の次に参照されるように設定する。
なお、図２９には「オーディオギャップ」として示される１音声フレーム分以下の無データ区間（無音区間）が存在しているが、ＰＳ＃２内にあと１音声フレーム相当分のデータを余分に含め、無音区間が発生しないようにしてもよい。この場合には、例えばＰＳ＃２とＰＳ＃３に同じ音声データサンプルを含む部分、すなわちオーディオフレームがオーバーラップする部分が含まれることになる。しかし、特に問題は生じない。オーバーラップする部分はいずれのデータを再生しても同じ音声が出力されるからである。
なお、動画ストリームＰＳ＃１とＰＳ＃３は、接続点の前後において、動画ストリーム内の映像ストリームがＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件を連続して満たすことが望ましい。バッファ条件が守られれば、ＭＥＰＧ−２ＰＳ復号部内の映像バッファ内でアンダーフロー等が発生しないので、再生制御部１４２、およびＭＰＥＧ２−ＰＳ復号部１１１が映像をシームレスに再生することが容易に実施可能になるからである。
以上の処理により、不連続な複数のＰＳファイルを再生する際には、時間的に連続して復号し再生することができる。
なお、図２９では参照情報（ｄｒｅｆ）を用いてＰＳファイルを参照するとして説明したが、ＰＳ＃２ファイルに限っては他のアトム（例えば独自に定義した専用アトム）、または第２のＰＳトラックからＰＳ＃２を参照してもよい。換言すれば、ＤＶＤビデオレコーディング規格に準拠するＰＳファイルのみ、“ｄｒｅｆ”アトムから参照するようにしてもよい。または、ＰＳ＃２ファイル内の音声フレームをエレメンタリストリームの独立ファイルとして記録し、付属情報ファイルに設けた独立した音声トラックアトムより参照し、さらに、ＰＳ＃１の末尾に並列して再生するように付属情報ファイルに記述してもよい。ＰＳ＃１と音声のエレメンタリストリームの同時再生のタイミングは、付属情報のエディットリストアトム（例えば図１５）によって指定可能である。
これまでは、動画ストリームはＭＰＥＧ２プログラムストリームであるとして説明した。しかし、ＭＰＥＧ２システム規格で規定されたＭＰＥＧ２−トランスポートストリーム（以下、「ＭＰＥＧ２−ＴＳ」）によって動画ストリームを構成することもできる。
図３０は、本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（”ＭＯＶ００１．ＭＰ４”）と、ＭＰＥＧ２−ＴＳ１４のデータファイル（“ＭＯＶ００１．Ｍ２Ｔ”）（以下「ＴＳファイル」と称する）とを備えている。
ＭＰ４ストリーム１２において、ＴＳファイルが付属情報１３内の参照情報（ｄｒｅｆ）によって参照される点は、図１２のＭＰ４ストリームと同様である。
ＭＰＥＧ２−ＴＳ１４にはタイムスタンプが付加されている。より詳しく説明すると、ＭＰＥＧ２−ＴＳ１４には、送出時に参照される４バイトのタイムスタンプが１８８バイトのトランスポートパケット（以下「ＴＳパケット」）の前に付加されている。その結果、映像を含むＴＳパケット（Ｖ＿ＴＳＰ）および音声を含むＴＳパケット（Ａ＿ＴＳＰ）は１９２バイトで構成されている。なおタイムスタンプはＴＳパケットの後ろに付加されていてもよい。
図３０に示すＭＰ４ストリーム１２では、図１２におけるＶＯＢＵと同様、映像にして約０．４〜１秒に相当する映像データを含むＴＳパケットを１サンプルとして付属情報１３に属性情報を記述することができる。さらに図１３と同様、１フレームの音声データのデータサイズ、データアドレスおよび再生タイミング等を付属情報１３に記述してもよい。
また、１フレームを１サンプルに対応させ複数のフレームを１チャンクに対応させてもよい。図３１は、本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す。このとき、図２３と同様、映像にして約０．４〜１秒に相当する映像データを含む複数のＴＳパケットを１チャンクに対応させ、１チャンク毎にアクセス情報を設定することにより、図１２に示す構成のＭＰ４ストリーム１２と全く同様の利点が得られる。
なお、上述の図３０および３１のデータ構造を利用するときの各ファイルの構成およびデータ構造に基づく処理は、図１２、１３および２３に関連して説明した処理と類似する。それらの説明は、図１２、１３および２３における映像パックおよび音声パックに関する説明を、それぞれ図３０に示すタイムスタンプを含めた映像用ＴＳパケット（Ｖ＿ＴＳＰ）および音声用ＴＳパケット（Ａ＿ＴＳＰ）に置き換えて読めばよい。
次に、図３２を参照しながら、これまで説明したデータ処理を適用可能な他のデータフォーマットのファイル構造を説明する。図３２は、ＭＴＦファイル３２のデータ構造を示す。ＭＴＦ３２は、動画の記録および編集結果の格納に用いられるファイルである。ＭＴＦファイル３２は複数の連続したＭＰＥＧ２−ＰＳ１４を含んでおり、また、一方、各ＭＰＥＧ２−ＰＳ１４は、複数のサンプル（“Ｐ２Ｓａｍｐｌｅ”）を含む。サンプル（“Ｐ２Ｓａｍｐｌｅ”）はひとつの連続したストリームである。例えば、図１２に関連して説明したように、サンプル単位で属性情報を設けることができる。これまでの説明では、このサンプル（“Ｐ２Ｓａｍｐｌｅ”）がＶＯＢＵに相当する。各サンプルは、各々が一定のデータ量（２０４８バイト）で構成された複数の映像パックおよび音声パックを含む。また、例えば、２つのＭＴＦをひとつにまとめると、ＭＴＦは２つのＰ２ｓｔｒｅａｍから構成される。
ＭＴＦ３２内で前後するＭＰＥＧ２−ＰＳ１４が連続したプログラムストリームのときは、連続する範囲において１つの参照情報を設け、１つのＭＰ４ストリームを構成できる。前後するＭＰＥＧ２−ＰＳ１４が不連続のプログラムストリームであるときは、図２７に示すように不連続点のデータアドレスを属性情報に設けてＭＰ４ストリーム１２を構成できる。よってＭＴＦ３２においても、これまで説明したデータ処理を適用できる。
これまでは、２００１年に標準化されたＭＰ４ファイルフォーマットを拡張してＭＰＥＧ２システムストリームを取り扱う例を説明したが、本発明は、ＱｕｉｃｋＴｉｍｅファイルフォーマットおよびＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａファイルフォーマットを同様に拡張してもＭＰＥＧ２システムストリームを取り扱うことができる。ＭＰ４ファイルフォーマットおよびＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａファイルフォーマットの大部分の仕様はＱｕｉｃｋＴｉｍｅファイルフォーマットをベースとして規定されており、その仕様の内容も同じだからである。図３３は、各種のファイルフォーマット規格の相互関係を示す。「本発明」と、「ＭＰ４（２００１）」と、「ＱｕｉｃｋＴｉｍｅ」とが重複するアトム種別（ｍｏｏｖ，ｍｄａｔ）では、上述した本発明によるデータ構造を適用することができる。これまでにも説明しているように、アトム種別“ｍｏｏｖ”は付属情報の最上位階層の“Ｍｏｖｉｅ  Ａｔｏｍ”として図１５等において示しているとおりである。
図３４は、ＱｕｉｃｋＴｉｍｅストリームのデータ構造を示す。ＱｕｉｃｋＴｉｍｅストリームもまた、付属情報１３を記述したファイル（“ＭＯＶ００１．ＭＯＶ”）と、ＭＰＥＧ２−ＰＳ１４を含むＰＳファイル（“ＭＯＶ００１．ＭＰＧ“）とによって構成される。図１５に示すＭＰ４ストリーム１２と比較すると、ＱｕｉｃｋＴｉｍｅストリームの付属情報１３に規定されている“Ｍｏｖｉｅ  Ａｔｏｍ”の一部が変更される。具体的には、ヌルメディアヘッダアトム（”Ｎｕｌｌ  Ｍｅｄｉａ  Ｈｅａｄｅｒ  Ａｔｏｍ”）に代えて、ベースメディアヘッダアトム（“Ｂａｓｅ  Ｍｅｄｉａ  Ｈｅａｄｅｒ  Ａｔｏｍ”）３６が新たに設けられていること、および、図１５の３段目に記載されているオブジェクト記述アトム（“Ｏｂｊｅｃｔ  Ｄｅｓｃｒｉｐｔｏｒ  Ａｔｏｍ”）が図３４の付属情報１３では削除されていることである。図３５は、ＱｕｉｃｋＴｉｍｅストリームの付属情報１３における各アトムの内容を示す。追加されたベースメディアヘッダアトム（“Ｂａｓｅ  Ｍｅｄｉａ  Ｈｅａｄｅｒ  Ａｔｏｍ”）３６は、各サンプル（ＶＯＢＵ）内のデータが、映像フレームおよび音声フレームのいずれでもない場合に、このアトムによりその旨が示される。図３５に示す他のアトム構造およびその内容は、上述のＭＰ４ストリーム１２を用いて説明した例と同じであるので、それらの説明は省略する。
次にシームレス再生を行う際の音声処理について説明する。まず図３７および図３８を用いて従来のシームレス再生について説明する。
図３７は、ＰＳ＃１とＰＳ＃３がシームレス接続条件を満足して結合されている動画ファイルのデータ構造を示す。動画ファイルＭＯＶＥ０００１．ＭＰＧ内は、２つの連続した動画ストリーム（ＰＳ＃１とＰＳ＃３）が接続されている。また、動画ファイルは所定の時間長（例えば１０秒分以上２０秒分以下）の再生時間長を有し、その所定の時間長の動画ストリームに対して、物理的に直前の領域にはポストレコーディング用のデータ領域があり、このうちの未使用領域であるポストレコーディング用空き領域がＭＯＶＥ０００１．ＥＭＰという別ファイルの形態で確保されている。
なお、動画ファイルの再生時間長がより長い場合は、ポストレコーディング領域と所定の時間長の動画ストリーム領域を１組として、この組が複数存在するものとする。これらの組を、ＤＶＤ−ＲＡＭディスク上に連続して記録すると、動画ファイルの途中にポストレコーディング領域がインターリーブされる様に記録される。これはポストレコーディング領域に記録されるデータへのアクセスを、動画ファイルへアクセスの途中で簡易に短時間で実施可能にするためである。
なお、動画ファイル内の映像ストリームはＰＳ＃１とＰＳ＃３の接続点の前後において、ＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件は連続して満たされるものとする。（また、ＤＶＤ−ＶＲ規格で規定される２つのストリームの接続点でシームレス再生可能な接続条件を満たいているものとする）
図３８は、図３７のＰＳ＃１とＰＳ＃３の接続点における映像および音声のシームレス接続条件および再生タイミングを示す。ＰＳ＃１末尾の映像フレームに同期して再生されるはみ出し部分の音声フレームはＰＳ＃３の先頭部分に格納されている。ＰＳ＃１とＰＳ＃３の間にはオーディオギャップが存在する。なお、このオーディオギャップは図２９で説明したオーディオギャップと同じである。このオーディオギャップは図２９で、ＰＳ＃１の映像とＰＳ＃３の映像が途切れない様に連続的に再生すると、ＰＳ＃１とＰＳ＃３間の音声フレームの再生周期が、合わなくなるために発生する。このことは映像と音声の各フレームの再生周期が合わないために生じる。従来の再生装置はこのオーディオギャップの区間において音声の再生を停止するため、ストリームの接続点では音声の再生が一瞬の間ではあるが中断してしまう。
なお、音声の中断を防ぐため、音声ギャップの前後におけるフェードアウト、フェードインによる対策が考えられる。すなわちシームレス再生におけるオーディオギャップの前後においてフェードアウト、フェードインをそれぞれ１０ｍｓ区間だけ実施することで、突如として音声が中断することによるノイズを防ぎ、自然に聞こえるようにすることができる。しかしオーディオギャップが生じるたびにフェードアウト、フェードインが行われると、関係する音声素材の種類によっては安定した音声レベルを提供できないことにより、良好な視聴状態が保たれないという問題がある。そのため、再生時のオーディオギャップによる無音区間を無くすことも可能であることが必要である。
そこで本実施形態では、以下の対策を採っている。図３９は、オーディオギャップの区間を埋めることができるオーディオフレームＯＶＲＰ０００１．ＡＣ３をポストレコーディング用のデータ領域の一部に記録したときの動画ファイルＭＯＶＥ０００１．ＭＰＧ、および音声ファイルＯＶＲＰ０００１．ＡＣ３の物理的なデータ配置を示す。この動画ファイルおよび音声ファイルは、記録制御部１４１からの指示（制御信号）に従って記録部１２０によって生成される。
この様なデータ配置にするために、記録制御部１４１は、シームレス接続を実現したい動画ストリームＰＳ＃１とＰＳ＃３の接続点付近のデータに対して、オーディオギャップを許容するシームレス再生可能なデータ構造を実現する。この時点で、１音声フレーム分以下の無データ区間（無音区間）が存在するか否か、すなわちオーディオギャップの有無と、そのオーディオギャップ区間に失われる音声データが含まれる音声フレームと、オーディオギャップの区間長が判明する（ほとんどの場合、オーディオギャップは発生する）。次にオーディオギャップ区間において再生されるべき音声のデータを記録部１２０に送り、音声ファイルとして動画ファイルと関連付けて記録させる。「関連付けて」とは、例えば動画ファイルが格納された直前の領域にポストレコーディング用のデータ領域を設け、そのデータ領域に追加の音声のデータを格納することを意味する。また、さらにその動画ファイルと音声データを格納したファイルを付属情報（Ｍｏｖｉｅ  Ａｔｏｍ）内の動画トラックおよび音声トラックに対応付けることを意味する。この音声のデータは例えばＡＣ３形式のオーディオフレームデータである。
その結果、ＤＶＤ−ＲＡＭディスク１３１には、図３９に示す動画データファイル（ＭＯＶＥ０００１．ＭＰＧおよびＯＶＲＰ０００１．ＡＣ３）が記録される。なおポストレコーディング用データ領域の未使用部分は別のファイル（ＭＯＶＥ０００１．ＥＭＰ）として確保しておく。
図４０は、オーディオのオーバーラップの再生タイミングを示す。ここではオーバーラップの２つの態様を説明する。図４０（ａ）はオーバーラップの第１の態様を示し、（ｂ）はオーバーラップの第２の態様を示す。図４０（ａ）では、ＯＶＲＰ０００１．ＡＣ３の音声フレームの再生区間と、オーディオギャップ直後のＰＳ＃３の先頭のフレームの再生区間とがオーバーラップしている態様を示す。オーバーラップした音声フレームは、動画ファイルの付属情報内に音声トラックとして登録される。また、このオーバーラップした音声フレームの再生タイミングは、動画ファイルの付属情報内に音声トラックのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍとして記録される。だだし、オーバーラップしている２つの音声区間を如何に再生するかはデータ処理装置１０の再生処理に依存する。例えば、再生制御部１４２の指示に基づいて、まず再生部１２１がＯＶＲＰ０００１．ＡＣ３を読み出し、次にＰＳ＃２と＃３をＤＶＤ−ＲＡＭから順に読出しながら、同時にＭＰＥＧ２−ＰＳ復号部１１１がＰＳ＃２の再生を開始する。ＭＰＥＧ２−ＰＳ復号部１１１はＰＳ＃２の再生が終わり、ＰＳ＃３の先頭を再生すると同時にその音声フレームを再生する。その後、再生部１２１がＰＳ＃３の音声フレームを読み出すと、ＭＰＥＧ２−ＰＳ復号部１１１はその再生タイミングをオーバーラップ分だけ時間的に遅らせる方向にシフトさせて再生を開始する。ただし、接続点の度に毎回再生タイミングを遅らせると映像と音声のずれが知覚可能な程度まで広がる可能性が出るので、ＯＶＲＰ０００１．ＡＣ３を全再生区間使わないで、ＰＳ＃３の音声フレームを本来の再生タイミングで再生出力することが必要である。
一方、図４０（ｂ）は、ＯＶＲＰ０００１．ＡＣ３の音声フレームの再生区間と、オーディオギャップ直前のＰＳ＃３の末尾のフレームの再生区間とがオーバーラップしている態様を示す。この態様においては、再生制御部１４２の指示に基づいて、まず再生部１２１がオーバーラップ音声フレームを読出し、次にＰＳ＃２、およびＰＳ＃３の音声フレームを順次読み出し、ＰＳ＃２の読出しと同時にＭＰＥＧ２−ＰＳ復号部１１１がＰＳ＃２の再生を開始する。その後、ＰＳ３の再生と並行してオーバーラップした音声フレームを再生する。この時、ＭＰＥＧ２−ＰＳ復号部１１１はその再生タイミングをオーバーラップ分だけ時間的に遅らせる方向にシフトさせて再生を開始する。ただし、接続点の度に毎回再生タイミングを遅らせると映像と音声のずれを知覚可能な程度まで広がる可能性が出るので、ＯＶＲＰ０００１．ＡＣ３を全再生区間使わないで、ＰＳ＃３の音声フレームを本来の再生タイミングで再生出力することが必要である。
上述のいずれの再生処理によっても、オーディオギャップによる無音区間を無くすことができる。なお、図４０（ａ）および（ｂ）のいずれの場合でも、オーバーラップしているＰＳトラック内の音声サンプルをオーバーラップ区間の間に相当するオーディオデータだけ破棄し、以降のオーディオデータをもともとＰＴＳ等で指定された再生タイミングに従って再生してもよい。この処理によっても、再生時にオーディオギャップによる無音区間を無くすことができる。
図４１は、プレイリストにより再生区間ＰＳ＃１とＰＳ＃３を直接編集しないでシームレス再生できるように接続した例を示す。図３９との違いは、図３９が動画ストリームＰＳ＃１とＰＳ＃３を接続した動画ファイルを編集して作成しているのに対し、図４１はプレイリストファイルを使って関係を記述している点が異なる。オーバーラップ分を含む１音声フレームはＭＯＶＥ０００３．ＭＰＧの直前の位置に記録される。プレイリストＭＯＶＥ０００１．ＰＬＦはＰＳ＃１、オーバーラップ分を含む音声フレーム、およびＰＳ＃３の各部分に対して、それぞれＰＳ＃１用のＰＳトラック、音声トラック、およびＰＳ＃３用のＰＳトラックを有し、図４０の再生タイミングとなるように各トラックのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍを記述する。
なお、図４１のプレイリストで２つの動画ストリームを接続する場合、動画ストリーム内の映像ストリームは、編集処理をしない限り、接続点の前後でＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件を一般に満たさない。したがって、映像をシームレス接続する場合は、再生制御部、およびＭＰＥＧ２復号部はＶＢＶバッファ条件を満たさないストリームに対するシームレス再生が必要である。
図４２は、プレイリストのＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙのデータ構造を示す。シームレス情報はシームレスフラグ、音声不連続点情報、ＳＣＲ不連続点情報、ＳＴＣ連続性フラグ、および音声制御情報のフィールドから構成される。プレイリストのＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙにおいてシームレスフラグ＝０の場合は、記録開始日時、開始Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ、終了Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ、および不連続点開始フラグには値を設定する必要はないとする。一方、シームレスフラグ＝１の場合には、各値は初期記録の場合の付属情報ファイルと同様に適切な値を設定することとする。これはプレイリストの場合には、Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙは複数のＣｈｕｎｋから共用できるようにしておく必要があり、その際にこれらのフィールドを常に有効にできないからである。
図４３は、シームレス情報のデータ構造を示す。図４３のフィールドのうち、図１９と同名のフィールドは同じデータ構造を有する。ＳＴＣ連続性情報＝１は直前のストリームの基準となるシステムタイムクロック（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）（２７ＭＨｚ）がこのストリームが基準にしているＳＴＣ値と連続していることを示す。具体的には、動画ファイルのＰＴＳ、ＤＴＳ、およびＳＣＲが同じＳＴＣ値をベースに付与され、かつ連続していることを示す。音声制御情報は、ＰＳの接続点の音声を一旦フェードアウトしてからフェードインするか否かを指定する。再生装置はこのフィールドを参照して、プレイリスト中に記載されたように接続点の直前の音のフェードアウトおよび接続点の直後のフェードインを制御する。これにより、接続点の前後の音声の内容に応じて適切な音声の制御を実現することができる。例えば、接続点の前後で音声の周波数特性がまったく異なる場合にはフェードアウトした後でフェードインした方が望ましい。一方、周波数特性が類似している場合はフェードアウトおよびフェードインを共に実施しない方が望ましい。
図４４は、ブリッジファイルを介したプレイリストを記述することによって２つの動画ファイルＭＯＶＥ０００１．ＭＰＧおよびＭＯＶＥ０００３．ＭＰＧをブリッジファイルＭＯＶＥ０００２．ＭＰＧを介してシームレス接続したときの、Ｓａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  ＥｎｔｒｙのシームレスフラグおよびＳＴＣ連続性情報の値を示す。
ブリッジファイルはＰＳ＃１とＰＳ＃３の接続部分を含む動画ファイルＭＯＶＥ０００２．ＭＰＧである。この接続部分の前後において、２つの動画ストリーム内の映像ストリームは、ＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件を満たしているものとする。すなわち、図３９と同じデータ構造であるものとする。
なお、各動画ファイルは図３７と同様に所定の時間長（例えば１０秒分以上２０秒分以下）の再生時間長を有し、その所定の時間長の動画ストリームに対して、物理的に直前の領域にはポストレコーディング用のデータ領域があり、このうちの未使用領域であるポストレコーディング用空き領域がＭＯＶＥ０００１．ＥＭＰ、ＭＯＶＥ０００２．ＥＭＰ、ＭＯＶＥ０００３．ＥＭＰという別ファイルの形態で確保されている。
図４５は、図４４の場合のプレイリストのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍのデータ構造を示す。プレイリストはＭＰＥＧ２−ＰＳ用のＰＳトラックとＡＣ−３音声用の音声トラックを含む。ＰＳトラックは図４４のＭＯＶＥ０００１．ＭＰＧ、ＭＯＶＥ０００２．ＭＰＧ，およびＭＯＶＥ０００３．ＭＰＧをＤａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍを介して参照する。音声トラックは１オーディオフレームを含むＯＶＲＰ０００１．ＡＣ３ファイルをＤａｔａ  Ｒｅｆｅｒｅｎｃｅ  Ａｔｏｍを介して参照する。ＰＳトラックのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍには４つの再生区間を表現したＥｄｉｔ  Ｌｉｓｔ  Ｔａｂｌｅを格納する。各再生区間＃１〜＃４は図４４の再生区間＃１〜＃４に対応する。一方、ポストレコーディング領域に記録された音声フレームのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍには休止区間＃１、再生区間、および休止区間＃２を表現したＥｄｉｔ  Ｌｉｓｔ  ｔａｂｌｅを格納する。前提として再生部がこのプレイリストを再生する場合は、音声トラックの再生が指定された区間においては、ＰＳトラックの音声を再生しないで、音声トラックを優先して再生するとする。このことにより、オーディオギャップ区間ではポストレコーディング領域に記録されたオーディオフレームが再生される。そしてそのオーディオフレームの再生が終了すると、オーバーラップしているＰＳ＃３内の音声フレームおよびそれ以降の音声フレームをオーバーラップ分だけ時間的に遅らせて再生する。もしくは、直後に再生すべき音声データを含むＰＳ＃３内のオーディオフレームを復号した後、オーバーラップしていない残りの部分だけを再生する。
Ｅｄｉｔ  Ｌｉｓｔ  Ｔａｂｌｅのｔｒａｃｋ＿ｄｕｒａｔｉｏｎには再生区間の映像の時間長を指定する。ｍｅｄｉａ＿ｔｉｍｅは動画ファイル内における再生区間の位置を指定する。この再生区間の位置は、動画ファイルの先頭を時刻０として、再生区間の先頭の映像位置を時刻のオフセット値として表現する。ｍｅｄｉａ＿ｔｉｍｅ＝−１は休止区間を意味し、ｔｒａｃｋ＿ｄｕｒａｔｉｏｎの間何も再生しないことを意味する。ｍｅｄｉａ＿ｒａｔｅは１倍速再生を意味する１．０を設定する。再生部によってＰＳトラックと音声トラックの両方のＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍが読み出され、これに基づいた再生制御が実施される。
図４６は、図４５の音声トラック内のＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ａｔｏｍのデータ構造を示す（音声データはＤｏｌｂｙ  ＡＣ−３形式とする）。ｓａｍｐｌｅ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｅｎｔｒｙは音声シームレス情報を含む。この音声シームレス情報には、音声のオーバーラップを１オーディオフレームの前方、もしくは後方のどちらで想定しているかを示すオーバーラップ位置を含む。また、オーバーラップ期間を２７ＭＨｚのクロック値を単位とした時間情報として含む。このオーバーラップ位置および期間を参照して、オーバーラップしている区間周辺の音声の再生を制御する。
以上の構成により、映像および音声のシームレスな再生を実現するプレイリストを従来のオーディオギャップを前提としたストリームと互換性を持たせた形態で実現できる。つまり、オーディオギャップを用いたシームレス再生を選択することも可能であると同時に、オーバーラップする音声フレームを用いたシームレス再生を選択することも可能である。したがって、従来のオーディオギャップにのみ対応した機器においても、ストリームの接続点で少なくとも従来通りのシームレスな再生が可能になる。
また、音声の内容に適した接続点のきめ細かな制御が可能になる。
また、ＭＰ４ファイルのプレイリストの冗長性削減を可能にしながら、シームレスプレイリストに必要なきめ細かな記述を可能にするＳａｍｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｅｎｔｒｙを実現する。
なお、本発明ではオーディオのオーバーラップ分を記録して映像と音声のシームレス再生を実現したが、オーバーラップ分を利用しないで、映像フレームの再生をスキップすることにより映像と音声を擬似的にシームレスに再生する方法もある。
本実施形態ではオーディオのオーバーラップ分をポストレコーディング領域に記録したが、プレイリストファイルのＭｏｖｉｅ  Ｄａｔａ  Ａｔｏｍ内に記録しても良い。１フレームのデータサイズは、例えばＡＣ３の場合は数キロバイトである。なお、図４３のＳＴＣ連続性フラグに替えて、接続点の直前のＰＳの終了Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅと接続点の直後のＰＳの開始Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅを記録しても良い。この場合、シームレスフラグが１で、かつ終了Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅと開始Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅが等しければ、ＳＴＣ連続性フラグ＝１と同じ意味と解釈可能である。また、ＳＴＣ連続性フラグに替えて接続点の直前のＰＳの終了Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅと接続点の直後のＰＳの開始Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅの差分を記録しても良い。この場合、シームレスフラグが１で、かつ終了Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅと開始Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅの差分が０ならば、ＳＴＣ連続性フラグ＝１と同じ意味と解釈可能である。
なお、本発明ではＰＳ＃３部分の記録とは別に、オーディオのオーバーラップ部分を含むオーディオフレームのみをポストレコーディング領域へ記録したが、図４０に示したはみ出し部分と図４０（ａ）または（ｂ）に示すオーバーラップ部分を含むオーディオ部分の両方をポストレコーディング領域へ記録しても良い。また、さらにＰＳ＃３の先頭部分の映像に対応する音声フレームもポストレコーディング領域上に続けて記録しておいても良い。これによりＰＳトラック内の音声と音声トラック内の音声との間で、音声の切替時間間隔が延びることになるのでオーディオのオーバーラップを利用したシームレス再生の実現がより容易になる。これらの場合、プレイリストのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍで音声の切替時間間隔を制御すれば良い。
音声制御情報はＰＳトラックのシームレス情報に設けたが、同時に、音声トラックのシームレス情報内にも設けても良い。このときも同様に、接続点の直前および直後のフェードアウト／フェードインを制御する。
なお、接続点において接続点の前後における音声フレームをフェードアウトおよびフェードイン処理をしないで、続けて再生すケースについて触れたが、これはＡＣ−３やＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ２等の圧縮方式で有効な方法である。
以上、本発明の実施形態を説明した。図１２のＭＰＥＧ２−ＰＳ１４は０．４〜１秒分の動画データ（ＶＯＢＵ）から構成されるとしたが、時間の範囲は異なっていてもよい。また、ＭＰＥＧ２−ＰＳ１４は、ＤＶＤビデオレコーディング規格のＶＯＢＵから構成されるとしたが、他のＭＰＥＧ２システム規格に準拠したプログラムストリームや、ＤＶＤビデオ規格に準拠したプログラムストリームであってもよい。
なお、本発明の実施形態では、オーバーラップ音声をポストレコーディング領域に記録するものとしたが、別の記録場所であっても良い。だだし、できるだけ物理的に動画ファイルに近いほど良い。
なお、音声ファイルはＡＣ−３の音声フレームから構成されるものとしたが、ＭＰＥＧ−２プログラムストリーム内に格納されていたり、また、ＭＰＥＧ−２トランスポートストリーム内に格納されていても良い。
図１１に示すデータ処理装置１０では、記録媒体１３１をＤＶＤ−ＲＡＭディスクであるとして説明したが、特にこれに限定されることはない。例えば記録媒体１３１は、ＭＯ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＣＤ−Ｒ、ＣＤ−ＲＷ等の光記録媒体やハードディスク等の磁性記録媒体である。また、記録媒体１３１は、フラッシュメモリカードなどの半導体メモリを装着した半導体記録媒体であってもよい。また、ホログラムを利用した記録媒体であっても良い。また、記録媒体は取り外し可能であっても、データ処理装置に内蔵専用であっても良い。
データ処理装置１０は、コンピュータプログラムに基づいてデータストリームの生成、記録および再生処理を行う。例えば、データストリームを生成し、記録する処理は、図２１に示すフローチャートに基づいて記述されたコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録することができる。なお、光ディスク装置１００は、記録媒体を介してのみならず、インターネット等の電気通信回線を介してもコンピュータプログラムを取得できる。
なお、ファイルシステムはＵＤＦを前提としたが、ＦＡＴ、ＮＴＦＳ等であってもよい。また、映像はＭＰＥＧ−２ビデオストリームに関して説明したが、ＭＰＥＧ−４ＡＶＣ等であってもよい。また、音声はＡＣ−３に関して説明したがＬＰＣＭ、ＭＰＥＧ−Ａｕｄｉｏ等であっても良い。また、動画ストリームはＭＰＥＧ−２プログラムストリーム等のデータ構造を採るものとしたが、映像、および音声が多重化されていれば他の種類のデータストリームであっても良い。
【産業上の利用可能性】  本発明によれば、付属情報のデータ構造をＩＳＯ規格に準拠させて現在の最新の規格に適合しつつ、従来のフォーマットと同等のデータストリームのデータ構造およびそのようなデータ構造に基づいて動作するデータ処理装置が提供される。データストリームは従来のフォーマットにも対応するので、既存のアプリケーション等もデータストリームを利用できる。よって既存のソフトウェアおよびハードウェアを有効に活用できる。さらに、２つの動画ストリームの結合編集時に、映像だけでなく音声を全く途切れさせることなく再生するデータ処理装置が提供できる。またこの時、従来のデータストリームと互換性もあるので、既存の再生機器との互換性も確保される。
【図１】
2005015907.tif 000003
【図２】
2005015907.tif 000004
【図３】
2005015907.tif 000005
【図４】
2005015907.tif 000006
【図５】
2005015907.tif 000007
【図６】
2005015907.tif 000008
【図７】
2005015907.tif 000009
【図８】
2005015907.tif 000010
【図９】
2005015907.tif 000011
【図１０】
2005015907.tif 000012
【図１１】
2005015907.tif 000013
【図１２】
2005015907.tif 000014
【図１３】
2005015907.tif 000015
【図１４】
2005015907.tif 000016
【図１５】
2005015907.tif 000017
【図１６】
2005015907.tif 000018
【図１７】
2005015907.tif 000019
【図１８】
2005015907.tif 000020
【図１９】
2005015907.tif 000021
【図２０】
2005015907.tif 000022
【図２１】
2005015907.tif 000023
【図２２】
2005015907.tif 000024
【図２３】
2005015907.tif 000025
【図２４】
2005015907.tif 000026
【図２５】
2005015907.tif 000027
【図２６】
2005015907.tif 000028
【図２７】
2005015907.tif 000029
【図２８】
2005015907.tif 000030
【図２９】
2005015907.tif 000031
【図３０】
2005015907.tif 000032
【図３１】
2005015907.tif 000033
【図３２】
2005015907.tif 000034
【図３３】
2005015907.tif 000035
【図３４】
2005015907.tif 000036
【図３５】
2005015907.tif 000037
【図３６】
2005015907.tif 000038
【図３７】
2005015907.tif 000039
【図３８】
2005015907.tif 000040
【図３９】
2005015907.tif 000041
【図４０】
2005015907.tif 000042
【図４１】
2005015907.tif 000043
【図４２】
2005015907.tif 000044
【図４３】
2005015907.tif 000045
【図４４】
2005015907.tif 000046
【図４５】
2005015907.tif 000047
【図４６】
2005015907.tif 000048
【手続補正書】
【提出日】平成17年3月31日(2005.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込む記録部と、
連続して再生される２つの動画ストリーム間の無音区間を特定する記録制御部と
を備えたデータ処理装置であって、
前記記録制御部は、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、
前記記録部は、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する、データ処理装置。
【請求項２】
前記記録制御部は、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１に記載のデータ処理装置。
【請求項３】
前記記録制御部は、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１に記載のデータ処理装置。
【請求項４】
前記記録部は、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項１に記載のデータ処理装置。
【請求項５】
前記記録部は、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込む、請求項１に記載のデータ処理装置。
【請求項６】
前記記録部は、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込む、請求項１に記載のデータ処理装置。
【請求項７】
前記記録部は、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項６に記載のデータ処理装置。
【請求項８】
前記記録部は、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込む、請求項１に記載のデータ処理装置。
【請求項９】
前記無音区間は１個の音声の復号単位の時間長よりも短い、請求項１のデータ処理装置。
【請求項１０】
前記動画ストリーム内の映像ストリームはＭＰＥＧ−２ビデオストリームであり、かつ、前記連続して再生される２つの動画ストリーム間ではＭＰＥＧ−２ビデオストリームのバッファ条件が維持される、請求項１のデータ処理装置。
【請求項１１】
前記記録部は、前記無音区間前後の音声レベルを制御するための情報を前記記録媒体にさらに書き込む、請求項１のデータ処理装置。
【請求項１２】
前記記録部は、前記動画ストリームは所定の再生時間長およびデータサイズの一方を単位として、前記記録媒体上の物理的に連続するデータ領域に書き込み、前記連続するデータ領域の直前に前記追加音声データを書き込む、請求項１のデータ処理装置。
【請求項１３】
同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込むステップと、
連続して再生される２つの動画ストリーム間の無音区間を特定して記録を制御するステップと
を包含するデータ処理方法であって、
前記記録を制御するステップは、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記書き込むステップは、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する、データ処理方法。
【請求項１４】
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１３に記載のデータ処理方法。
【請求項１５】
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供する、請求項１３に記載のデータ処理方法。
【請求項１６】
前記書き込むステップは、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項１３に記載のデータ処理方法。
【請求項１７】
前記書き込むステップは、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込む、請求項１３に記載のデータ処理方法。
【請求項１８】
前記書き込むステップは、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込む、請求項１３に記載のデータ処理方法。
【請求項１９】
前記書き込むステップは、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付ける、請求項１８に記載のデータ処理方法。
【請求項２０】
前記書き込むステップは、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込む、請求項１３に記載のデータ処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光ディスク等の記録媒体に動画ストリームのストリームデータを記録するデータ処理装置および方法等に関する。
【背景技術】
【０００２】
映像データを低いビットレートで圧縮し符号化する種々のデータストリームが規格化されている。そのようなデータストリームの例として、ＭＰＥＧ２システム規格（ＩＳＯ／ＩＥＣ  １３８１８−１）のシステムストリームが知られている。システムストリームは、プログラムストリーム（ＰＳ）、トランスポートストリーム（ＴＳ）、およびＰＥＳストリームの３種類を包含する。
【０００３】
近年、新たにＭＰＥＧ４システム規格（ＩＳＯ／ＩＥＣ  １４４９６−１）のデータストリームを規定する動きが進んでいる。ＭＰＥＧ４システム規格のフォーマットでは、ＭＰＥＧ２映像ストリームまたはＭＰＥＧ４映像ストリームを含む映像ストリーム、および、各種音声ストリームが多重化され、動画ストリームのデータとして生成される。さらにＭＰＥＧ４システム規格のフォーマットでは付属情報が規定される。付属情報と動画ストリームとは１つのファイル（ＭＰ４ファイル）として規定される。ＭＰ４ファイルのデータ構造は、Apple（登録商標）社のクイックタイム（QuickTime）ファイルフォーマットをベースにして、そのフォーマットを拡張して規定されている。なお、ＭＰＥＧ２システム規格のシステムストリームには、付属情報（アクセス情報、特殊再生情報、記録日時等）を記録するデータ構造は規定されていない。ＭＰＥＧ２システム規格では、付属情報はシステムストリーム内に設けられているからである。
【０００４】
映像データおよび音声データは、従来、磁気テープに記録されることが多かった。しかし、近年は磁気テープに代わる記録媒体として、ＤＶＤ−ＲＡＭ、ＭＯ等に代表される光ディスクが注目を浴びている。
【０００５】
図１は、従来のデータ処理装置３５０の構成を示す。データ処理装置３５０は、ＤＶＤ−ＲＡＭディスクにデータストリームを記録し、ＤＶＤ−ＲＡＭディスクに記録されたデータストリームを再生することができる。データ処理装置３５０は、映像信号入力部３００および音声信号入力部３０２において映像データ信号および音声データ信号を受け取り、それぞれＭＰＥＧ２圧縮部３０１に送る。ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データを、ＭＰＥＧ２規格および／またはＭＰＥＧ４規格に基づいて圧縮符号化し、ＭＰ４ファイルを生成する。より具体的に説明すると、ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データをＭＰＥＧ２ビデオ規格に基づいて圧縮符号化して映像ストリームおよび音声ストリームを生成した後で、さらにＭＰＥＧ４システム規格に基づいてそれらのストリームを多重化してＭＰ４ストリームを生成する。このとき、記録制御部３４１は記録部３２０の動作を制御する。連続データ領域検出部３４０は、記録制御部３４１の指示によって、論理ブロック管理部３４３で管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。そして記録部３２０は、ピックアップ３３０を介してＭＰ４ファイルをＤＶＤ−ＲＡＭディスク３３１に書き込む。
【０００６】
図２は、ＭＰ４ファイル２０のデータ構造を示す。ＭＰ４ファイル２０は、付属情報２１および動画ストリーム２２を有する。付属情報２１は、映像データ、音声データ等の属性を規定するアトム構造２３に基づいて記述されている。図３は、アトム構造２３の具体例を示す。アトム構造２３は、映像データおよび音声データの各々について、独立してフレーム単位のデータサイズ、データの格納先アドレス、再生タイミングを示すタイムスタンプ等の情報が記述されている。これは映像データおよび音声データが、それぞれ別個のトラックアトムとして管理されていることを意味する。
【０００７】
図２に示すＭＰ４ファイルの動画ストリーム２２には、映像データおよび音声データがそれぞれ１つ以上のフレーム単位で配置され、ストリームを構成している。例えば動画ストリームがＭＰＥＧ２規格の圧縮符号化方式を利用して得られたとすると、動画ストリームには、複数のＧＯＰが規定されている。ＧＯＰは、単独で再生され得る映像フレームであるＩピクチャと、次のＩピクチャまでのＰピクチャおよびＢピクチャを含む複数の映像フレームをまとめた単位である。動画ストリーム２２の任意の映像フレームを再生するとき、まず動画ストリーム２２内のその映像フレームを含むＧＯＰが特定される。
【０００８】
なお、以下では、図２のＭＰ４ファイルのデータ構造に示すように、動画ストリームと付属情報とを有する構造のデータストリームを「ＭＰ４ストリーム」と称する。
【０００９】
図４は、動画ストリーム２２のデータ構造を示す。動画ストリーム２２は、映像トラックと音声トラックとを含み、各トラックには識別子（TrackID）が付されている。トラックは各１つ存在するとは限らず、途中でトラックが切り替わる場合もある。図５は、途中でトラックが切り替わった動画ストリーム２２を示す。
【００１０】
図６は、動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１の記録単位（セクタ）との対応を示す。記録部３２０は、動画ストリーム２２をＤＶＤ−ＲＡＭディスクにリアルタイムで記録する。より具体的には、記録部３２０は、最大記録レート換算で１１秒分以上の物理的に連続する論理ブロックを１つの連続データ領域として確保し、この領域へ映像フレームおよび音声フレームを順に記録する。連続データ領域は、各々が３２ｋバイトの複数の論理ブロックから構成され、論理ブロックごとに誤り訂正符号が付与される。論理ブロックはさらに、各々が２ｋバイトの複数のセクタから構成される。なお、データ処理装置３５０の連続データ領域検出部３４０は、１つの連続データ領域の残りが最大記録レート換算で３秒分を切った時点で、次の連続データ領域を再び検出する。そして、１つの連続データ領域が一杯になると、次の連続データ領域に動画ストリームを書き込む。ＭＰ４ファイル２０の付属情報２１も、同様にして確保された連続データ領域に書き込まれる。
【００１１】
図７は、記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す。例えばＵＤＦ（Universal Disk Format）ファイルシステム、またはＩＳＯ／ＩＥＣ  １３３４６（Volume and file structure of write-once and rewritable media using non-sequential recording for information interchange）ファイルシステムが利用される。図７では、連続して記録された１つのＭＰ４ファイルがファイル名ＭＯＶ０００１．ＭＰ４として記録されている。このファイルは、ファイル名およびファイルエントリの位置が、ＦＩＤ（File Identifier Descriptor）で管理されている。そして、ファイル名はファイル・アイデンティファイア欄にＭＯＶ０００１．ＭＰ４として設定され、ファイルエントリの位置は、ＩＣＢ欄にファイルエントリの先頭セクタ番号として設定される。
【００１２】
なお、ＵＤＦ規格はＩＳＯ／ＩＥＣ  １３３４６規格の実装規約に相当する。また、ＤＶＤ−ＲＡＭドライブを１３９４インタフェースおよびＳＢＰ−２（Serial Bus Protocol）プロトコルを介してコンピュータ（ＰＣ等）へ接続することにより、ＵＤＦに準拠した形態で書きこんだファイルをＰＣからも１つのファイルとして扱うことができる。
【００１３】
ファイルエントリは、アロケーションディスクリプタを使ってデータが格納されている連続データ領域（ＣＤＡ：Contiguous Data Area）ａ、ｂ、ｃおよびデータ領域ｄを管理する。具体的には、記録制御部３４１は、ＭＰ４ファイルを連続データ領域ａへ記録している最中に不良論理ブロックを発見すると、その不良論理ブロックをスキップして連続データ領域ｂの先頭から書き込みを継続する。次に、記録制御部３４１がＭＰ４ファイルを連続データ領域ｂへ記録している最中に、書き込みができないＰＣファイルの記録領域の存在を検出したときには、連続データ領域ｃの先頭から書き込みを継続する。そして、記録が終了した時点でデータ領域ｄに付属情報２１を記録する。この結果、ファイルＶＲ＿ＭＯＶＩＥ．ＶＲＯは連続データ領域ｄ，ａ，ｂ，ｃから構成される。
【００１４】
図７に示すように、アロケーションディスクリプタａ、ｂ、ｃ、ｄが参照するデータの開始位置は、セクタの先頭に一致する。そして、最後尾のアロケーションディスクリプタｃ以外のアロケーションディスクリプタａ、ｂ、ｄが参照するデータのデータサイズは１セクタの整数倍である。このような記述規則は予め規定されている。
【００１５】
ＭＰ４ファイルを再生するとき、データ処理装置３５０は、ピックアップ３３０および再生部３２１を経由して受け取った動画ストリームを取り出し、ＭＰＥＧ２復号部３１１で復号して映像信号と音声信号を生成し、映像信号出力部３１０および音声信号出力部３１２から出力する。ＤＶＤ-ＲＡＭディスクからのデータの読み出しと読み出したデータのＭＰＥＧ２復号部３１１への出力は同時に行われる。このとき、データの出力速度よりもデータの読出速度を大きくし、再生すべきデータが不足しないように制御する。したがって、連続してデータを読み出し、出力を続けると、データ読み出し速度とデータ出力速度との差分だけ出力すべきデータを余分に確保できることになる。余分に確保できるデータをピックアップのジャンプによりデータ読み出しが途絶える間の出力データとして使うことにより、連続再生を実現することができる。
【００１６】
具体的には、ＤＶＤ−ＲＡＭディスク３３１からのデータ読み出し速度が１１Ｍｂｐｓ、ＭＰＥＧ２復号部３１１へのデータ出力速度が最大８Ｍｂｐｓ、ピックアップの最大移動時間が３秒とすると、ピックアップ移動中にＭＰＥＧ２復号部３１１へ出力するデータ量に相当する２４Ｍビットのデータが余分な出力データとして必要になる。このデータ量を確保するためには、８秒間の連続読み出しが必要になる。すなわち、２４Ｍビットをデータ読み出し速度１１Ｍｂｐｓとデータ出力速度８Ｍｂｐｓの差で除算した時間だけ連続読み出しする必要がある。
【００１７】
したがって、８秒間の連続読み出しの間に８８Ｍビット分、すなわち１１秒分の出力データを読み出すことになるので、１１秒分以上の連続データ領域を確保することで、連続データ再生を保証することが可能となる。
【００１８】
なお、連続データ領域の途中には、数個の不良論理ブロックが存在していてもよい。ただし、この場合には、再生時にかかる不良論理ブロックを読み込むのに必要な読み出し時間を見越して、連続データ領域を１１秒分よりも少し多めに確保する必要がある。
【００１９】
記録されたＭＰ４ファイルを削除する処理を行う際には、記録制御部３４１は記録部３２０および再生部３２１を制御して所定の削除処理を実行する。ＭＰ４ファイルは、付属情報部分に全フレームに対する表示タイミング（タイムスタンプ）が含まれる。したがって、例えば動画ストリーム部分の途中を部分的に削除する際には、タイムスタンプに関しては付属情報部分のタイムスタンプのみを削除すればよい。なお、ＭＰＥＧ２システムストリームでは、部分削除位置において連続性を持たせるために動画ストリームを解析する必要がある。タイムスタンプがストリーム中に分散しているからである。
【００２０】
ＭＰ４ファイルフォーマットの特徴は、映像・音声ストリームの映像フレームまたは音声フレームを、各フレームを分割しないでそのまま一つの集合として記録する点にある。同時に、国際標準としては初めて、各フレームへのランダムアクセスを可能とするアクセス情報を規定している。アクセス情報はフレーム単位で設けられ、例えばフレームサイズ、フレーム周期、フレームに対するアドレス情報を含む。すなわち、映像フレームに対しては表示時間にして１／３０秒ごと、音声フレームに対しては、例えば、ＡＣ−３音声の場合であれば合計１５３６個のサンプルを１単位（すなわち１音声フレーム）とし、単位ごとにアクセス情報が格納される。これにより、例えば、ある映像フレームの表示タイミングを変更したい場合には、アクセス情報の変更のみで対応でき、映像・音声ストリームを必ずしも変更する必要がない。このようなアクセス情報の情報量は１時間当り約１Ｍバイトである。
【００２１】
アクセス情報の情報量に関連して、例えば非特許文献１によれば、ＤＶＤビデオレコーディング規格のアクセス情報に必要な情報量は１時間当り７０キロバイトである。ＤＶＤビデオレコーディング規格のアクセス情報の情報量は、ＭＰ４ファイルの付属情報に含まれるアクセス情報の情報量の１０分の１以下である。図８はＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す。図９は、図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す。
【００２２】
また、例えば特許文献１に記載されている光ディスク装置は、映像フレームを１フレーム単位ではなく１ＧＯＰ単位で記録し、同時に音声フレームを１ＧＯＰに相当する時間長で連続的に記録する。そして、ＧＯＰ単位でアクセス情報を規定する。これによりアクセス情報に必要な情報量を低減している。
【発明の開示】
【発明が解決しようとする課題】
【００２３】
ＭＰ４ファイルは、ＭＰＥＧ２ビデオ規格に基づいて動画ストリームを記述しているものの、ＭＰＥＧ２システム規格のシステムストリームと互換性がない。よって、現在ＰＣ等で用いられているアプリケーションの動画編集機能を利用して、ＭＰ４ファイルを編集することはできない。多くのアプリケーションの編集機能は、ＭＰＥＧ２システム規格の動画ストリームを編集の対象としているからである。また、ＭＰ４ファイルの規格には、動画ストリーム部分の再生互換性を確保するためのデコーダモデルの規定も存在しない。これでは、現在極めて広く普及しているＭＰＥＧ２システム規格に対応したソフトウェアおよびハードウェアを全く活用できない。
【００２４】
また、動画ファイルの好みの再生区間をピックアップして、さらにそれを組み合わせてひとつの作品を作成するプレイリスト機能が実現されている。このプレイリスト機能は、記録済みの動画ファイルを直接編集しない、仮想的な編集処理を行うのが一般的である。ＭＰ４ファイルでプレイリストを作成する場合、Movie Atomを新規作成することにより実現される。ＭＰ４ファイルではプレイリストを作成する場合に、再生区間のストリーム属性が同一であれば同じSample Description Entryが使用され、これによりSample Description Entryの冗長性を抑えることができる。ところが、この特徴により例えばシームレス再生を保証するシームレスなプレイリストを記述する場合に、再生区間ごとのストリーム属性情報を記述することが困難だった。
【００２５】
本発明の目的は、アクセス情報の情報量が小さく、かつ、従来のフォーマットに対応するアプリケーション等でも利用可能なデータ構造を提供すること、そのデータ構造に基づく処理が可能なデータ処理装置等を提供することである。
【００２６】
また、本発明の他の目的は、映像および音声のシームレスに結合する編集を従来のオーディオギャップを前提としたストリームと互換性を持たせた形態で実現することである。特に、ＭＰ４ストリームで記述された映像および音声に関して実現することを目的とする。また、結合点において音声を自然に接続できることを目的とする。
【００２７】
また、本発明のさらに他の目的は、複数のコンテンツを接続する際に、さらに音声の接続形態（フェードするか否か）をユーザの意図通りに指定できる編集処理を可能にすることである。
【課題を解決するための手段】
【００２８】
本発明によるデータ処理装置は、同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込む記録部と、連続して再生される２つの動画ストリーム間の無音区間を特定する記録制御部とを備えている。前記記録制御部は、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記記録部は、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する。
【００２９】
前記記録制御部は、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
【００３０】
前記記録制御部は、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
【００３１】
前記記録部は、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
【００３２】
前記記録部は、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込んでもよい。
【００３３】
前記記録部は、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込んでもよい。
【００３４】
前記記録部は、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
【００３５】
前記記録部は、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込んでもよい。
【００３６】
前記無音区間は１個の音声の復号単位の時間長よりも短くてもよい。
【００３７】
前記動画ストリーム内の映像ストリームはＭＰＥＧ−２ビデオストリームであり、かつ、前記連続して再生される２つの動画ストリーム間ではＭＰＥＧ−２ビデオストリームのバッファ条件が維持されてもよい。
【００３８】
前記記録部は、前記無音区間前後の音声レベルを制御するための情報を前記記録媒体にさらに書き込んでもよい。
【００３９】
前記記録部は、前記動画ストリームを所定の再生時間長およびデータサイズの一方を単位として、前記記録媒体上の物理的に連続するデータ領域に書き込み、前記連続するデータ領域の直前に前記追加音声データを書き込んでもよい。
【００４０】
本発明によるデータ処理装置は、同期再生される映像および音声を含む動画ストリームを複数配列して、１以上のデータファイルとして記録媒体に書き込むステップと、連続して再生される２つの動画ストリーム間の無音区間を特定して記録を制御するステップとを包含する。前記記録を制御するステップは、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記書き込むステップは、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する。
【００４１】
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、先に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
【００４２】
前記記録を制御するステップは、連続して再生される２つの動画ストリームのうち、後に再生される動画ストリームの所定の末尾区間の音声データをさらに利用して、前記所定の末尾区間の音声と同じ音声を含む前記追加音声データを提供してもよい。
【００４３】
前記書き込むステップは、提供された前記追加音声データを、前記無音区間が記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
【００４４】
前記書き込むステップは、前記複数配列する動画ストリームを１つのデータファイルとして前記記録媒体に書き込んでもよい。
【００４５】
前記書き込むステップは、前記複数配列する動画ストリームを複数のデータファイルとして前記記録媒体に書き込んでもよい。
【００４６】
前記書き込むステップは、提供された前記追加音声データを、連続して再生される２つの動画ストリームの各ファイルのうち、後に再生される動画ストリームのデータファイルが記録された領域の直前の領域に書き込むことにより、前記追加音声データを前記データファイルに関連付けてもよい。
【００４７】
前記書き込むステップは、複数配列された前記動画ストリームの配列に関する情報を、１以上のデータファイルとして前記記録媒体に書き込んでもよい。
【００４８】
本発明によるデータ処理装置は、記録媒体から、１以上のデータファイルおよび前記１以上のデータファイルに関連付けられた追加音声データを読み出す再生部であって、前記１以上のデータファイルは同期再生される映像および音声の動画ストリームを複数含む再生部と、映像および音声を同期再生するために動画ストリームに付加されている時刻情報に基づいて制御信号を生成し、再生を制御する再生制御部と、前記制御信号に基づいて前記動画ストリームを復号化して映像および音声の信号を出力する復号部とを備えている。前記データ処理装置を用いて２つの動画ストリームを連続して再生するときにおいて、前記再生制御部は、一方の動画ストリームの再生後、他方の動画ストリームの再生前に、前記追加音声データの音声を出力させるための制御信号を出力する。
【００４９】
本発明によるデータ処理方法は、記録媒体から、１以上のデータファイルおよび前記１以上のデータファイルに関連付けられた追加音声データを読み出すステップであって、前記１以上のデータファイルは同期再生される映像および音声の動画ストリームを複数含むステップと、映像および音声を同期再生するために動画ストリームに付加されている時刻情報に基づいて制御信号を生成するステップと、前記制御信号に基づいて前記動画ストリームを復号化して映像および音声の信号を出力するステップとを包含する。２つの動画ストリームを連続して再生するときにおいて、前記制御信号を生成するステップは、一方の動画ストリームの再生後、他方の動画ストリームの再生前に、前記追加音声データの音声を出力させるための制御信号を出力する。
【００５０】
本発明のコンピュータプログラムは、コンピュータに読み込まれて実行されることにより、コンピュータを下記の処理を行うデータ処理装置として機能させる。コンピュータプログラムを実行することにより、データ処理装置は、同期再生される映像および音声の動画ストリームを複数取得して、１以上のデータファイルとして記録媒体に書き込むステップと、連続して再生される２つの動画ストリーム間の無音区間を特定して記録を制御するステップとを実行する。そして、前記記録を制御するステップは、特定した前記無音区間に再生されるべき音声に関する追加音声データを提供し、前記記録媒体に書き込むステップは、提供された前記追加音声データを前記データファイルに関連付けて前記記録媒体に格納する。
【００５１】
上述のコンピュータプログラムは、記録媒体に記録されてもよい。
【００５２】
本発明によるデータ処理装置は、複数のＭＰＥＧ２システム規格の符号化データを一つのデータファイルとして記録する際に、所定の長さのオーディオデータを前記データファイルと関連付けて記録する。
【００５３】
さらに本発明による他のデータ処理装置は、複数のＭＰＥＧ２システム規格の符号化データを含んだデータファイルと、前記データファイルに関連付けられたオーディオデータとを読み込み、前記符号化データを再生する際に、前記符号化データの無音区間においては、前記データファイルに関連付けられたオーディオデータを再生する。
【発明の効果】
【００５４】
本発明によれば、付属情報のデータ構造をＩＳＯ規格に準拠させて現在の最新の規格に適合しつつ、従来のフォーマットと同等のデータストリームのデータ構造およびそのようなデータ構造に基づいて動作するデータ処理装置が提供される。データストリームは従来のフォーマットにも対応するので、既存のアプリケーション等もデータストリームを利用できる。よって既存のソフトウェアおよびハードウェアを有効に活用できる。さらに、２つの動画ストリームの結合編集時に、映像だけでなく音声を全く途切れさせることなく再生するデータ処理装置が提供できる。またこの時、従来のデータストリームと互換性もあるので、既存の再生機器との互換性も確保される。
【発明を実施するための最良の形態】
【００５５】
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
【００５６】
図１０は、本発明によるデータ処理を行うポータブルビデオコーダ１０−１、カムコーダ１０−２およびＰＣ１０−３の接続関係を示す。
【００５７】
ポータブルビデオコーダ１０−１は、付属のアンテナを利用して放送番組を受信し、放送番組を動画圧縮してＭＰ４ストリームを生成する。カムコーダ１０−２は、映像を録画するとともに、映像に付随する音声を録音し、ＭＰ４ストリームを生成する。ＭＰ４ストリームでは、映像・音声データは、所定の圧縮符号化方式によって符号化され、本明細書で説明するデータ構造にしたがって記録されている。ポータブルビデオコーダ１０−１およびカムコーダ１０−２は、生成したＭＰ４ストリームをＤＶＤ−ＲＡＭ等の記録媒体１３１に記録し、またはＩＥＥＥ１３９４、ＵＳＢ等のディジタルインターフェースを介して出力する。なお、ポータブルビデオコーダ１０−１、カムコーダ１０−２等はより小型化が必要とされているため、記録媒体１３１は直径８ｃｍの光ディスクに限られず、それよりも小径の光ディスク等であってもよい。
【００５８】
ＰＣ１０−３は、記録媒体または伝送媒体を介してＭＰ４ストリームを受け取る。各機器がディジタルインターフェースを介して接続されていると、ＰＣ１０−３は、カムコーダ１０−２等を外部記憶装置として制御して、各機器からＭＰ４ストリームを受け取ることができる。
【００５９】
ＰＣ１０−３が本発明によるＭＰ４ストリームの処理に対応したアプリケーションソフトウェア、ハードウェアを有する場合には、ＰＣ１０−３は、ＭＰ４ファイル規格に基づくＭＰ４ストリームとしてＭＰ４ストリームを再生することができる。一方、本発明によるＭＰ４ストリームの処理に対応していない場合には、ＰＣ１０−３は、ＭＰＥＧ２システム規格に基づいて動画ストリーム部分を再生することができる。なお、ＰＣ１０−３はＭＰ４ストリームの部分削除等の編集に関する処理を行うこともできる。以下では、図１０のポータブルビデオコーダ１０−１、カムコーダ１０−２およびＰＣ１０−３を「データ処理装置」と称して説明する。
【００６０】
図１１は、データ処理装置１０における機能ブロックの構成を示す。以下では、本明細書では、データ処理装置１０は、ＭＰ４ストリームの記録機能と再生機能の両方を有するとして説明する。具体的には、データ処理装置１０は、ＭＰ４ストリームを生成して記録媒体１３１に書き込むことができ、かつ、記録媒体１３１に書き込まれたＭＰ４ストリームを再生することができる。記録媒体１３１は例えばＤＶＤ−ＲＡＭディスクであり、以下、「ＤＶＤ−ＲＡＭディスク１３１」と称する。
【００６１】
まず、データ処理装置１０のＭＰ４ストリーム記録機能を説明する。この機能に関連する構成要素として、データ処理装置１０は、映像信号入力部１００と、ＭＰＥＧ２−ＰＳ圧縮部１０１と、音声信号入力部１０２と、付属情報生成部１０３と、記録部１２０と、光ピックアップ１３０と、記録制御部１４１とを備えている。
【００６２】
映像信号入力部１００は映像信号入力端子であり、映像データを表す映像信号を受け取る。音声信号入力部１０２は音声信号入力端子であり、音声データを表す音声信号を受け取る。例えば、ポータブルビデオコーダ１０−１（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれチューナ部（図示せず）の映像出力部および音声出力部と接続され、それぞれから映像信号および音声信号を受け取る。また、カムコーダ１０−２（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれカメラのＣＣＤ（図示せず）出力およびマイク出力から映像信号および音声信号を受け取る。
【００６３】
ＭＰＥＧ２−ＰＳ圧縮部（以下「圧縮部」と称する）１０１は、映像信号および音声信号を受け取ってＭＰＥＧ２システム規格のＭＰＥＧ２プログラムストリーム（以下、「ＭＰＥＧ２−ＰＳ」と称する）を生成する。生成されたＭＰＥＧ２−ＰＳは、ＭＰＥＧ２システム規格に基づいて、ストリームのみに基づいて復号することができる。ＭＰＥＧ２−ＰＳの詳細は後述する。
【００６４】
付属情報生成部１０３は、ＭＰ４ストリームの付属情報を生成する。付属情報は、参照情報および属性情報を含む。参照情報は、圧縮部１０１により生成されたＭＰＥＧ２−ＰＳを特定する情報であって、例えばＭＰＥＧ２−ＰＳが記録される際のファイル名およびＤＶＤ−ＲＡＭディスク１３１上の格納位置である。一方、属性情報は、ＭＰＥＧ２−ＰＳのサンプル単位の属性を記述した情報である。「サンプル」とは、ＭＰ４ファイル規格の付属情報に規定されるサンプル記述アトム（Sample Description Atom；後述）における最小管理単位であり、サンプルごとのデータサイズ、再生時間等を記録している。１サンプルは、例えばランダムにアクセスすることが可能なデータ単位である。換言すれば、属性情報とはサンプルを再生するために必要な情報である。特に後述のサンプル記述アトム（Sample Description Atom）は、アクセス情報とも称される。
【００６５】
属性情報は、具体的には、データの格納先アドレス、再生タイミングを示すタイムスタンプ、符号化ビットレート、コーデック等の情報である。属性情報は、各サンプル内の映像データおよび音声データの各々に対して設けられ、以下に明示的に説明するフィールドの記述を除いては、従来のＭＰ４ストリーム２０の付属情報の内容に準拠している。
【００６６】
後述のように、本発明の１サンプルは、ＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）である。なお、ＶＯＢＵはＤＶＤビデオレコーディング規格の同名のビデオオブジェクトユニットを意味する。付属情報の詳細は後述する。
【００６７】
記録部１２０は、記録制御部１４１からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ-ＲＡＭディスク１３１の特定の位置（アドレス）にデータを記録する。より具体的には、記録部１２０は、圧縮部１０１において生成されたＭＰＥＧ２−ＰＳおよび付属情報生成部１０３において生成された付属情報を、それぞれ別個のファイルとしてＤＶＤ−ＲＡＭディスク１３１上に記録する。
【００６８】
なお、データ処理装置１０は、データの記録に際して動作する連続データ領域検出部（以下、「検出部」）１４０および論理ブロック管理部（以下、「管理部」）１４３を有している。連続データ領域検出部１４０は、記録制御部１４１からの指示に応じて論理ブロック管理部１４３において管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。記録制御部１４１は、この空き領域に対して記録部１２０にデータの記録を指示する。データの具体的な記録方法は、図７を参照しながら説明した記録方法と同様であり特に差異はないので、その詳細な説明は省略する。なお、ＭＰＥＧ２−ＰＳおよび付属情報は、それぞれ別個のファイルとして記録されるので、図７におけるファイル・アイデンティファイア欄には、それぞれのファイル名が記述される。
【００６９】
次に、図１２を参照しながらＭＰ４ストリームのデータ構造を説明する。図１２は、本発明によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（"MOV001.MP4"）と、ＭＰＥＧ２−ＰＳ１４のデータファイル（”MOV001.MPG”）（以下「ＰＳファイル」と称する）とを備えている。これら２つのファイル内のデータによって、１つのＭＰ４ストリームを構成する。本明細書では、同じＭＰ４ストリームに属することを明確にするため、付属情報ファイルおよびＰＳファイルに同じ名（”MOV001“）を付し、拡張子を異ならせている。具体的には、付属情報ファイルの拡張子は従来のＭＰ４ファイルの拡張子と同じ“ＭＰ４”を採用し、ＰＳファイルの拡張子は従来のプログラムストリームの一般的な拡張子“ＭＰＧ”を採用する。
【００７０】
付属情報１３は、ＭＰＥＧ２−ＰＳ１４を参照するための参照情報（"dref"）を有する。さらに、付属情報１３はＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）ごとの属性を記述した属性情報を含む。属性情報はＶＯＢＵごとの属性を記述しているので、データ処理装置１０はＶＯＢＵ単位でＭＰＥＧ２−ＰＳ１４に含まれるＶＯＢＵの任意の位置を特定して再生・編集等をすることができる。
【００７１】
ＭＰＥＧ２−ＰＳ１４は、映像パック、音声パック等がインターリーブされて構成されたＭＰＥＧ２システム規格に基づく動画ストリームである。映像パックは、パックヘッダと符号化された映像データとを含む。音声パックは、パックヘッダと符号化された音声データとを含む。ＭＰＥＧ２−ＰＳ１４では、映像の再生時間に換算して０．４〜１秒に相当する動画データを単位とするビデオオブジェクトユニット（ＶＯＢＵ）によりデータが管理されている。動画データは、複数の映像パックおよび音声パックを含む。データ処理装置１０は、付属情報１３において記述されている情報に基づいて、任意のＶＯＢＵの位置を特定しそのＶＯＢＵを再生することができる。なお、ＶＯＢＵは１以上のＧＯＰを含む。
【００７２】
本発明によるＭＰ４ストリーム１２の特徴の一つは、ＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ４システム規格で規定されるＭＰ４ストリームのデータ構造に従った属性情報１３に基づいて復号化することが可能であるとともに、ＭＰＥＧ２システム規格に基づいても復号化することが可能な点にある。付属情報ファイルおよびＰＳファイルが別々に記録されているため、データ処理装置１０がそれぞれを独立して解析、処理等することが可能だからである。例えば、本発明のデータ処理を実施可能なＭＰ４ストリーム再生装置等は、属性情報１３に基づいてＭＰ４ストリーム１２の再生時間等を調整し、ＭＰＥＧ２−ＰＳ１４の符号化方式を特定して、対応する復号化方式によって復号化できる。また、ＭＰＥＧ２−ＰＳを復号化することができる従来の装置等においては、はＭＰＥＧ２システム規格にしたがって復号化できる。これにより、現在広く普及しているＭＰＥＧ２システム規格にのみ対応したソフトウェアおよびハードウェアであっても、ＭＰ４ストリームに含まれる動画ストリームを再生することができる。
【００７３】
なお、ＶＯＢＵ単位のサンプル記述アトム（Sample Description Atom）を設けると同時に、図１３に示すように、ＭＰＥＧ２−ＰＳ１４の音声データの所定時間のフレーム分を管理単位としたサンプル記述アトム（Sample Description Atom）を設けてもよい。所定時間とは、例えば０．１秒である。図中「Ｖ」は図１２の映像パックを示し、「Ａ」は音声パックを示す。０．１秒分の音声フレームは１個以上の複数のパックから構成される。１音声フレームは、例えばＡＣ−３の場合、サンプリング周波数を４８ｋＨｚとしたとき、サンプリング個数にして１５３６サンプルの音声データを含む。このとき、サンプル記述アトムは、トラックアトム内のユーザデータアトム内に設けるか、または独立したトラックのサンプル記述アトムとして設けてもよい。また、他の実施例としては、付属情報１３は、ＶＯＢＵに同期する０．４〜１秒分の音声フレームを単位として、その単位毎の合計データサイズ、先頭パックのデータアドレス、および出力タイミングを示すタイムスタンプ等の属性を保持してもよい。
【００７４】
次に、ＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）のデータ構造を説明する。図１４は、プログラムストリームとエレメンタリストリームとの関係を示す。ＭＰＥＧ２−ＰＳ１４のＶＯＢＵは、複数の映像パック（Ｖ＿ＰＣＫ）および音声パック（Ａ＿ＰＣＫ）を含む。なお、より厳密には、ＶＯＢＵはシーケンスヘッダ（図中のＳＥＱヘッダ）から、次のシーケンスヘッダの直前のパックまでによって構成される。すなわち、シーケンスヘッダはＶＯＢＵの先頭に配置される。一方、エレメンタリストリーム（Ｖｉｄｅｏ）は、Ｎ個のＧＯＰを含む。ＧＯＰは、各種のヘッダ（シーケンス（ＳＥＱ）ヘッダおよびＧＯＰヘッダ）および映像データ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を含む。エレメンタリストリーム（Ａｕｄｉｏ）は、複数の音声フレームを含む。
【００７５】
ＭＰＥＧ２−ＰＳ１４のＶＯＢＵに含まれる映像パックおよび音声パックは、それぞれエレメンタリストリーム（Ｖｉｄｅｏ）／（Ａｕｄｉｏ）の各データを用いて構成されており、それぞれのデータ量が２キロバイトになるように構成されている。なお、上述のように各パックにはパックヘッダが設けられる。
【００７６】
なお、字幕データ等の副映像データに関するエレメンタリストリーム（図示せず）が存在するときは、ＭＰＥＧ２−ＰＳ１４のＶＯＢＵはさらにその副映像データのパックも含む。
【００７７】
次に、図１５および図１６を参照しながら、ＭＰ４ストリーム１２における付属情報１３のデータ構造を説明する。図１５は、付属情報１３のデータ構造を示す。このデータ構造は「アトム構造」とも呼ばれ、階層化されている。例えば、“Movie Atom”は、“Movie Header Atom”、“Object Descriptor Atom”および“Track Atom”を含む。さらに“Track Atom”は、“Track Header Atom”、“Edit List Atom”、“Media Atom”および“User Data Atom”を含む。図示された他のAtomも同様である。
【００７８】
本発明では、特にデータ参照アトム（“Data Reference Atom";dref）１５およびサンプルテーブルアトム（“Sample Table Atom”；stbl）１６を利用して、サンプル単位の属性を記述する。上述のように、１サンプルはＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）に対応する。サンプルテーブルアトム１６は、図示される６つの下位アトムを含む。
【００７９】
図１６は、アトム構造を構成する各アトムの内容を示す。データ参照アトム（“Data Reference Atom"）は、動画ストリーム（ＭＰＥＧ２−ＰＳ）１４のファイルを特定する情報をＵＲＬ形式で格納する。一方、サンプルテーブルアトム（“Sample Table Atom”）は、下位のアトムによってＶＯＢＵ毎の属性を記述する。例えば、“Decoding Time to Sample Atom”においてＶＯＢＵ毎の再生時間を格納し、“Sample Size Atom”においてＶＯＢＵ毎のデータサイズを格納する。また“Sample Description Atom”は、ＭＰ４ストリーム１２を構成するＰＳファイルのデータがＭＰＥＧ２−ＰＳ１４であることを示すとともに、ＭＰＥＧ２−ＰＳ１４の詳細な仕様を示す。以下では、データ参照アトム（“Data Reference Atom）によって記述される情報を「参照情報」と称し、サンプルテーブルアトム（“Sample Table Atom”）において記述される情報を「属性情報」と称する。
【００８０】
図１７は、データ参照アトム１５の記述形式の具体例を示す。ファイルを特定する情報は、データ参照アトム１５を記述するフィールドの一部（ここでは“DataEntryUrlAtom”）において記述される。ここでは、ＵＲＬ形式により、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置が記述されている。データ参照アトム１５を参照することにより、その付属情報１３とともにＭＰ４ストリーム１２を構成するＭＰＥＧ２−ＰＳ１４を特定できる。なお、ＭＰＥＧ２−ＰＳ１４がＤＶＤ−ＲＡＭディスク１３１に記録される前であっても、図１１の付属情報生成部１０３は、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置を特定することができる。ファイル名は予め決定でき、かつ、ファイルの格納位置もファイルシステムの階層構造の表記によって論理的に特定できるからである。
【００８１】
図１８は、サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す。各アトムは、フィールド名、繰り返しの可否およびデータサイズを規定する。例えば、サンプルサイズアトム（Sample Size Atom”）は、３つのフィールド（“sample-size”、“sample count”および“entry-size”）を有する。このうち、サンプルサイズ（“sample-size”）フィールドには、ＶＯＢＵのデフォルトのデータサイズが格納され、エントリサイズ（“entry-size”）フィールドには、ＶＯＢＵのデフォルト値とは異なる個別のデータサイズが格納される。なお、図中の「設定値」欄のパラメータ（“VOBU＿ENT”等）にはＤＶＤビデオレコーディング規格の同名のアクセスデータと同じ値が設定される。
【００８２】
図１８に示すサンプル記述アトム（“Sample Description Atom”）１７は、サンプル単位の属性情報を記述する。以下、サンプル記述アトム１７に記述される情報の内容を説明する。
【００８３】
図１９は、サンプル記述アトム１７の記述形式の具体例を示す。サンプル記述アトム１７は、そのデータサイズ、各ＶＯＢＵを１サンプルとするサンプル単位の属性情報等を記述する。属性情報は、サンプル記述アトム０の"sample＿description＿entry"18に記述される。
【００８４】
図２０は、“sample＿description＿entry”１８の各フィールドの内容を示す。エントリ１８は、対応するＭＰＥＧ２−ＰＳ１４の符号化形式を指定するデータフォーマット（“data-format”）を含む。図中の“ｐ２ｓｍ”は、ＭＰＥＧ２−ＰＳ１４がＭＰＥＧ２  Ｖｉｄｅｏを含むＭＰＥＧ２プログラムストリームであることを示す。
【００８５】
エントリ１８は、そのサンプルの表示開始時刻（“開始Presentation Time”）および表示終了時刻（“終了Presentation Time”）を含む。これらは、最初および最後の映像フレームのタイミング情報を格納する。また、エントリ１８は、そのサンプル内の映像ストリームの属性情報（“映像ＥＳ属性”）および音声ストリームの属性情報（“音声ＥＳ属性”）を含む。図１９に示すように、映像データの属性情報は、映像のＣＯＤＥＣ種別（例えば、ＭＰＥＧ２ビデオ）、映像データの幅（“Width”）、高さ（“height”）等を特定する。同様に、音声データの属性情報は、音声のＣＯＤＥＣ種別（例えば、ＡＣ−３）、音声データのチャネル数（“channel count”）、音声サンプルのサイズ（“samplesize”）、サンプリングレート（“samplerate”）等を特定する。
【００８６】
さらにエントリ１８は、不連続点開始フラグおよびシームレス情報を含む。これらの情報は、後述のように、１つのＭＰ４ストリーム１２内に複数のＰＳストリームが存在するときに記述される。例えば、不連続点開始フラグの値が“０”のときは、前の動画ストリームと現在の動画ストリームとが完全に連続したプログラムストリームであることを示し、値が“１”のときは、それらの動画ストリームは不連続のプログラムストリームであることを示す。そして不連続の場合には、動画や音声等の不連続点においても途切れ無く動画、音声等を再生するためのシームレス情報の記述が可能である。シームレス情報は、再生時に音声不連続情報およびＳＣＲ不連続情報を含む。音声不連続情報の無音声区間（すなわち図３１のオーディオギャップ）の有無、開始タイミングおよび時間長を含む。ＳＣＲ不連続情報には不連続点の直前と直後のパックのＳＣＲ値を含む。
【００８７】
不連続点開始フラグを設けることにより、Sample Description Entry の切り替えと動画ストリームの連続性の切り替え箇所を独立して指定できる。図３６に示すように、例えば、記録画素数が途中で変化する際にはSample Description を変化させるが、このとき、動画ストリーム自体が連続しているのであれば不連続点開始フラグを０に設定してもよい。不連続点開始フラグが０であることにより、情報ストリームを直接編集する場合に、ＰＣ等は、２つの動画ストリームの接続点を再編集しなくてもシームレスな再生が可能であることを把握することができる。なお、図３６では水平画素数が変化した場合を例にしているが、その他の属性情報が変化した場合であってもよい。例えば、アスペクト情報に関して４：３のアスペクト比が１６：９に変化した場合や、音声のビットレートが変化した場合等である。
【００８８】
以上、図１２に示すＭＰ４ストリーム１２の付属情報１３およびＭＰＥＧ２−ＰＳ１４のデータ構造を説明した。上述のデータ構造においては、ＭＰＥＧ２−ＰＳ１４の部分削除を行う際には、付属情報１３内のタイムスタンプ等の属性情報を変更するだけでよく、ＭＰＥＧ２−ＰＳ１４に設けられているタイムスタンプを変更する必要がない。よって従来のＭＰ４ストリームの利点を活かした編集処理が可能である。さらに、上述のデータ構造によれば、ＭＰＥＧ２システム規格のストリームに対応したアプリケーションやハードウェアを用いてＰＣ上で動画編集するときは、ＰＳファイルのみをＰＣにインポートすればよい。ＰＳファイルのＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ２システム規格の動画ストリームだからである。このようなアプリケーションやハードウェアは広く普及しているので、既存のソフトウェアおよびハードウェアを有効に活用できる。同時に、付属情報をＩＳＯ規格に準拠したデータ構造で記録できる。
【００８９】
次に、図１１および図２１を参照しながら、データ処理装置１０がＭＰ４ストリームを生成し、ＤＶＤ−ＲＡＭディスク１３１上に記録する処理を説明する。図２１は、ＭＰ４ストリームの生成処理の手順を示すフローチャートである。まずステップ２１０において、データ処理装置１０は、映像信号入力部１００を介して映像データを受け取り、音声信号入力部１０２を介して音声データを受け取る。そしてステップ２１１において、圧縮部１０１は受け取った映像データおよび音声データをＭＰＥＧ２システム規格に基づいて符号化する。続いて圧縮部１０１は、ステップ２１２において映像および音声の符号化ストリームを利用して、ＭＰＥＧ２−ＰＳを構成する（図１４）。
【００９０】
ステップ２１３において、記録部１２０は、ＭＰＥＧ２−ＰＳをＤＶＤ−ＲＡＭディスク１３１に記録する際のファイル名および記録位置を決定する。ステップ２１４において、付属情報生成部１０３は、ＰＳファイルのファイル名および記録位置を取得して参照情報（Data Reference Atom；図１７）として記述すべき内容を特定する。図１７に示すように、本明細書では、ファイル名と記録位置とを同時に指定できる記述方式を採用した。
【００９１】
次に、ステップ２１５において、付属情報生成部１０３はＭＰＥＧ２−ＰＳ１４に規定されるＶＯＢＵ毎に、再生時間、データサイズ等を表すデータを取得して属性情報（Sample Table Atom；図１８〜２０）として記述すべき内容を特定する。属性情報をＶＯＢＵ単位で設けることにより、任意のＶＯＢＵの読み出しおよび復号化が可能になる。これは、１ＶＯＢＵを１サンプルとして取り扱うことを意味する。
【００９２】
次に、ステップ２１６において、付属情報生成部１０３は参照情報（Data Reference Atom）および属性情報（Sample Table Atom）等に基づいて、付属情報を生成する。
【００９３】
ステップ２１７において、記録部１２０は、付属情報１３およびＭＰＥＧ２−ＰＳ１４をＭＰ４ストリーム１２として出力し、ＤＶＤ−ＲＡＭディスク１３１上にそれぞれ付属情報ファイルおよびＰＳファイルとして別々に記録する。以上の手順にしたがって、ＭＰ４ストリームが生成され、ＤＶＤ−ＲＡＭディスク１３１に記録される。
【００９４】
次に、再び図１１および図１２を参照しながら、データ処理装置１０のＭＰ４ストリーム再生機能を説明する。ＤＶＤ−ＲＡＭディスク１３１には、上述のデータ構造を有する付属情報１３およびＭＰＥＧ２−ＰＳ１４を有するＭＰ４ストリーム１２が記録されているとする。データ処理装置１０は、ユーザの選択によりＤＶＤ−ＲＡＭディスク１３１に記録されたＭＰＥＧ２−ＰＳ１４を再生および復号化する。再生機能に関連する構成要素として、データ処理装置１０は、映像信号出力部１１０と、ＭＰＥＧ２−ＰＳ復号部１１１と、音声信号出力部１１２と、再生部１２１と、ピックアップ１３０と、再生制御部１４２とを備えている。
【００９５】
まず、再生部１２１は、再生制御部１４２からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ-ＲＡＭディスク１３１からＭＰ４ファイルを読み出して付属情報１３を取得する。再生部１２１は、取得した付属情報１３を再生制御部１４２に出力する。また、再生部１２１は、後述の再生制御部１４２から出力された制御信号に基づいて、ＤＶＤ−ＲＡＭディスク１３１からＰＳファイルを読み出す。制御信号は、読み出すべきＰＳファイル（“MOV001.MPG”）を指定する信号である。
【００９６】
再生制御部１４２は、再生部１２１から付属情報１３を受け取り、そのデータ構造を解析することにより、付属情報１３に含まれる参照情報１５（図１７）を取得する。再生制御部１４２は、参照情報１５において指定されたＰＳファイル（“MOV001.MPG”）を、指定された位置（“．／”：ルートディレクトリ）から読み出すことを指示する制御信号を出力する。
【００９７】
ＭＰＥＧ２−ＰＳ復号部１１１は、ＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３に含まれる属性情報に基づいて、ＭＰＥＧ２−ＰＳ１４から映像データおよび音声データを復号する。より具体的に説明すると、ＭＰＥＧ２−ＰＳ復号部１１１は、サンプル記述アトム１７（図１９）のデータフォーマット（“data-format”）、映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を読み出し、それらの情報に指定された符号化形式、映像データの表示サイズ、サンプリング周波数等に基づいて、映像データおよび音声データを復号する。
【００９８】
映像信号出力部１１０は映像信号出力端子であり、復号化された映像データを映像信号として出力する。音声信号出力部１１２は音声信号出力端子であり、復号化された音声データを音声信号として出力する。
【００９９】
データ処理装置１０がＭＰ４ストリームを再生する処理は、従来のＭＰ４ストリームファイルの再生処理と同様、まず拡張子が“ＭＰ４”のファイル（“MOV001.MP4”）の読み出しから開始される。具体的には以下のとおりである。まず再生部１２１は付属情報ファイル（“MOV001.MP4”）を読み出す。次に、再生制御部１４２は付属情報１３を解析して参照情報（Data Reference Atom）を抽出する。再生制御部１４２は、抽出された参照情報に基づいて、同じＭＰ４ストリームを構成するＰＳファイルの読み出しを指示する制御信号を出力する。本明細書では、再生制御部１４２から出力された制御信号は、ＰＳファイル（“MOV001.MPG”）の読み出しを指示している。
【０１００】
次に、再生部１２１は、制御信号に基づいて、指定されたＰＳファイルを読み出す。次に、ＭＰＥＧ２−ＰＳ復号部１１１は、読み出されたデータファイルに含まれるＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３を解析して属性情報を抽出する。そしてＭＰＥＧ２−ＰＳ復号部１１１は、属性情報に含まれるサンプル記述アトム１７（図１９）に基づいて、ＭＰＥＧ２−ＰＳ１４のデータフォーマット（“data-format”）、ＭＰＥＧ２−ＰＳ１４に含まれる映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を特定して、映像データおよび音声データを復号する。以上の処理により、付属情報１３に基づいてＭＰＥＧ２−ＰＳ１４が再生される。
【０１０１】
なお、ＭＰＥＧ２システム規格のストリームを再生可能な従来の再生装置、再生ソフトウェア等であれば、ＰＳファイルのみを再生することによってＭＰＥＧ２−ＰＳ１４を再生することができる。このとき、再生装置等はＭＰ４ストリーム１２の再生に対応していなくてもよい。ＭＰ４ストリーム１２は付属情報１３およびＭＰＥＧ２−ＰＳ１４を別個のファイルによって構成されているので、例えば拡張子に基づいてＭＰＥＧ２−ＰＳ１４が格納されているＰＳファイルを容易に識別し、再生することができる。
【０１０２】
図２２は、本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２  Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。図において、本発明（１）のカラムがこれまで説明した１ＶＯＢＵを１サンプルとする例に相当する。従来例では、１映像フレーム（Video frame）を１サンプルとして各サンプルにサンプルテーブルアトム（Sample Table Atom）等の属性情報（アクセス情報）を設けていた。本発明によれば、映像フレームを複数含むＶＯＢＵをサンプル単位としてサンプル毎にアクセス情報を設けたので、属性情報の情報量を大幅に低減できる。したがって本発明による１ＶＯＢＵを１サンプルとすることが好適である。
【０１０３】
図２２の本発明（２）のカラムは、本発明（１）に示すデータ構造の変形例を示す。本発明（２）と本発明（１）との相違点は、本発明（２）の変形例では１チャンク（chunk）に１ＶＯＢＵを対応させてチャンク毎にアクセス情報を構成する点である。ここで、「チャンク」とは、複数のサンプルによって構成された単位である。このとき、ＭＰＥＧ２−ＰＳ１４のパックヘッダを含む映像フレームが、１サンプルに対応する。図２３は、１チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す。図１２の１サンプルを１チャンクに置き換えた点が相違する。なお、従来例では１サンプルに１映像フレームを対応させ、１チャンクに１ＧＯＰを対応させている。
【０１０４】
図２４は、１チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。図１５に示す１サンプルに１ＶＯＢＵを対応させたときのデータ構造と比較すると、付属情報１３の属性情報に含まれるサンプルテーブルアトム１９に規定される内容が異なっている。図２５は、１チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す。
【０１０５】
次に、ＭＰ４ストリーム１２を構成するＰＳファイルに関する変形例を説明する。図２６は、１つの付属情報ファイル（“MOV001.MP4”）に対して２つのＰＳファイル（”MOV001.MPG”および”MOV002.MPG”）が存在するＭＰ４ストリーム１２の例を示す。２つのＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ１４のデータが別々に記録されている。各ＰＳファイル内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ（System Clock Reference）、ＰＴＳ（Presentation Time Stamp）およびＤＴＳ（Decoding Time Stamp）は連続している。しかし、ＰＳファイル相互間（各ＰＳファイルに含まれるＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）には、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないとする。２つのＰＳファイルは別々のトラック（図）として取り扱われる。
【０１０６】
付属情報ファイルには、各ＰＳファイルのファイル名および記録位置を特定する参照情報（dref；図１７）が記述されている。例えば、参照情報は参照すべき順序に基づいて記述されている。図では、参照＃１により特定されたＰＳファイル”MOV001.MPG”が再生され、その後、参照＃２により特定されたＰＳファイル”MOV002.MPG”が再生される。このように複数のＰＳファイルが存在していても、付属情報ファイル内に各ＰＳファイルの参照情報を設けることにより、各ＰＳファイルを実質的に接続して再生することができる。
【０１０７】
図２７は、１つのＰＳファイル内に不連続のＭＰＥＧ２−ＰＳが複数存在する例を示す。ＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ＃１および＃２のデータが連続的に配列されている。「不連続のＭＰＥＧ２−ＰＳ」とは、２つのＭＰＥＧ２−ＰＳ間（ＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）では、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないことを意味する。すなわち、再生タイミングに連続性がないことを意味する。不連続点は、２つのＭＰＥＧ２−ＰＳの境界に存在する。なお各ＭＰＥＧ２−ＰＳ内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ、ＰＴＳおよびＤＴＳは連続している。
【０１０８】
付属情報ファイルには、ＰＳファイルのファイル名および記録位置を特定する参照情報（dref；図１７）が記述されている。付属情報ファイルにはそのＰＳファイルを指定する参照情報が１つ存在する。しかしＰＳファイルを順に再生すると、ＭＰＥＧ２−ＰＳ＃１と＃２との不連続点においては再生できなくなる。ＳＣＲ、ＰＴＳ、ＤＴＳ等が不連続になるからである。そこで、この不連続点に関する情報（不連続点の位置情報（アドレス）等）を付属情報ファイルに記述する。具体的には、不連続点の位置情報は、図１９における「不連続点開始フラグ」として記録する。例えば、再生時には再生制御部１４２は不連続点の位置情報を算出して、不連続点の後に存在するＭＰＥＧ２−ＰＳ＃２の映像データを先読み等することにより、少なくとも映像データの連続的な再生が途切れないように再生を制御する。
【０１０９】
図２６を参照しながら、互いに不連続なＭＰＥＧ２−ＰＳを含む２つのＰＳファイルに対して、２つの参照情報を設けて再生する手順を説明した。しかし、図２８に示すように、２つのＰＳファイルに対してシームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを新たに挿入し、シームレスに当初の２つのＰＳファイルを再生することができる。図２８は、シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイル（“MOV002.MPG”）を設けたＭＰ４ストリーム１２を示す。ＰＳファイル（“MOV002.MPG”）は、ＭＰＥＧ２−ＰＳ＃１とＭＰＥＧ２−ＰＳ＃３との不連続点において不足する音声フレームを含む。以下、図２９を参照しながらより詳しく説明する。
【０１１０】
図２９は、不連続点において不足する音声（オーディオ）フレームを示す。図では、ＭＰＥＧ２−ＰＳ＃１を含むＰＳファイルを「ＰＳ＃１」と表記し、ＭＰＥＧ２−ＰＳ＃３を含むＰＳファイルを「ＰＳ＃３」と表記する。
【０１１１】
まず、ＰＳ＃１のデータが処理され、次にＰＳ＃３のデータが処理されるとする。上から２段目のＤＴＳビデオフレームおよび３段目のＰＴＳビデオフレームは、それぞれ映像フレームに関するタイムスタンプを示す。これらから明らかなように、ＰＳファイル＃１および＃３は、映像が途切れることなく再生される。しかし、オーディオフレームに関しては、ＰＳ＃１の再生が終了した後ＰＳ＃３が再生されるまでの間、一定区間データが存在しない無音区間が発生する。これでは、シームレス再生を実現できない。
【０１１２】
そこで、新たにＰＳ＃２を設け、シームレス接続のための音声フレームを含むＰＳファイルを設けて、付属情報ファイルから参照するようにした。この音声フレームは、無音区間を埋める音声データを含み、例えばＰＳ＃１末尾の動画に同期して記録されている音声データがコピーされる。図２９に示すように、オーディオフレームの段にはシームレス接続用オーディオフレームがＰＳ＃１の次に挿入されている。ＰＳ＃２の音声フレームは、ＰＳ＃３の開始前１フレーム以内になるまで設けられる。これに伴って、付属情報１３に新たなＰＳ＃２を参照する参照情報（図２８のdref）を設け、ＰＳ＃１の次に参照されるように設定する。
【０１１３】
なお、図２９には「オーディオギャップ」として示される１音声フレーム分以下の無データ区間（無音区間）が存在しているが、ＰＳ＃２内にあと１音声フレーム相当分のデータを余分に含め、無音区間が発生しないようにしてもよい。この場合には、例えばＰＳ＃２とＰＳ＃３に同じ音声データサンプルを含む部分、すなわちオーディオフレームがオーバーラップする部分が含まれることになる。しかし、特に問題は生じない。オーバーラップする部分はいずれのデータを再生しても同じ音声が出力されるからである。
【０１１４】
なお、動画ストリームＰＳ＃１とＰＳ＃３は、接続点の前後において、動画ストリーム内の映像ストリームがＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件を連続して満たすことが望ましい。バッファ条件が守られれば、ＭＥＰＧ−２ＰＳ復号部内の映像バッファ内でアンダーフロー等が発生しないので、再生制御部１４２、およびＭＰＥＧ２−ＰＳ復号部１１１が映像をシームレスに再生することが容易に実施可能になるからである。
【０１１５】
以上の処理により、不連続な複数のＰＳファイルを再生する際には、時間的に連続して復号し再生することができる。
【０１１６】
なお、図２９では参照情報（dref）を用いてＰＳファイルを参照するとして説明したが、ＰＳ＃２ファイルに限っては他のアトム（例えば独自に定義した専用アトム）、または第２のＰＳトラックからＰＳ＃２を参照してもよい。換言すれば、ＤＶＤビデオレコーディング規格に準拠するＰＳファイルのみ、“dref”アトムから参照するようにしてもよい。または、ＰＳ＃２ファイル内の音声フレームをエレメンタリストリームの独立ファイルとして記録し、付属情報ファイルに設けた独立した音声トラックアトムより参照し、さらに、ＰＳ＃１の末尾に並列して再生するように付属情報ファイルに記述してもよい。ＰＳ＃１と音声のエレメンタリストリームの同時再生のタイミングは、付属情報のエディットリストアトム（例えば図１５）によって指定可能である。
【０１１７】
これまでは、動画ストリームはＭＰＥＧ２プログラムストリームであるとして説明した。しかし、ＭＰＥＧ２システム規格で規定されたＭＰＥＧ２−トランスポートストリーム（以下、「ＭＰＥＧ２−ＴＳ」）によって動画ストリームを構成することもできる。
【０１１８】
図３０は、本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（"MOV001.MP4"）と、ＭＰＥＧ２−ＴＳ１４のデータファイル（“MOV001.M2T”）（以下「ＴＳファイル」と称する）とを備えている。
【０１１９】
ＭＰ４ストリーム１２において、ＴＳファイルが付属情報１３内の参照情報（dref）によって参照される点は、図１２のＭＰ４ストリームと同様である。
【０１２０】
ＭＰＥＧ２−ＴＳ１４にはタイムスタンプが付加されている。より詳しく説明すると、ＭＰＥＧ２−ＴＳ１４には、送出時に参照される４バイトのタイムスタンプが１８８バイトのトランスポートパケット（以下「ＴＳパケット」）の前に付加されている。その結果、映像を含むＴＳパケット（Ｖ＿ＴＳＰ）および音声を含むＴＳパケット（Ａ＿ＴＳＰ）は１９２バイトで構成されている。なおタイムスタンプはＴＳパケットの後ろに付加されていてもよい。
【０１２１】
図３０に示すＭＰ４ストリーム１２では、図１２におけるＶＯＢＵと同様、映像にして約０．４〜１秒に相当する映像データを含むＴＳパケットを１サンプルとして付属情報１３に属性情報を記述することができる。さらに図１３と同様、１フレームの音声データのデータサイズ、データアドレスおよび再生タイミング等を付属情報１３に記述してもよい。
【０１２２】
また、１フレームを１サンプルに対応させ複数のフレームを１チャンクに対応させてもよい。図３１は、本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す。このとき、図２３と同様、映像にして約０．４〜１秒に相当する映像データを含む複数のＴＳパケットを１チャンクに対応させ、１チャンク毎にアクセス情報を設定することにより、図１２に示す構成のＭＰ４ストリーム１２と全く同様の利点が得られる。
【０１２３】
なお、上述の図３０および３１のデータ構造を利用するときの各ファイルの構成およびデータ構造に基づく処理は、図１２、１３および２３に関連して説明した処理と類似する。それらの説明は、図１２、１３および２３における映像パックおよび音声パックに関する説明を、それぞれ図３０に示すタイムスタンプを含めた映像用ＴＳパケット（Ｖ＿ＴＳＰ）および音声用ＴＳパケット（Ａ＿ＴＳＰ）に置き換えて読めばよい。
【０１２４】
次に、図３２を参照しながら、これまで説明したデータ処理を適用可能な他のデータフォーマットのファイル構造を説明する。図３２は、ＭＴＦファイル３２のデータ構造を示す。ＭＴＦ３２は、動画の記録および編集結果の格納に用いられるファイルである。ＭＴＦファイル３２は複数の連続したＭＰＥＧ２−ＰＳ１４を含んでおり、また、一方、各ＭＰＥＧ２−ＰＳ１４は、複数のサンプル（“P2Sample”）を含む。サンプル（“P2Sample”）はひとつの連続したストリームである。例えば、図１２に関連して説明したように、サンプル単位で属性情報を設けることができる。これまでの説明では、このサンプル（“P2Sample”）がＶＯＢＵに相当する。各サンプルは、各々が一定のデータ量（２０４８バイト）で構成された複数の映像パックおよび音声パックを含む。また、例えば、２つのＭＴＦをひとつにまとめると、ＭＴＦは２つのP2streamから構成される。
【０１２５】
ＭＴＦ３２内で前後するＭＰＥＧ２−ＰＳ１４が連続したプログラムストリームのときは、連続する範囲において１つの参照情報を設け、１つのＭＰ４ストリームを構成できる。前後するＭＰＥＧ２−ＰＳ１４が不連続のプログラムストリームであるときは、図２７に示すように不連続点のデータアドレスを属性情報に設けてＭＰ４ストリーム１２を構成できる。よってＭＴＦ３２においても、これまで説明したデータ処理を適用できる。
【０１２６】
これまでは、２００１年に標準化されたＭＰ４ファイルフォーマットを拡張してＭＰＥＧ２システムストリームを取り扱う例を説明したが、本発明は、QuickTimeファイルフォーマットおよびISO Base Mediaファイルフォーマットを同様に拡張してもＭＰＥＧ２システムストリームを取り扱うことができる。ＭＰ４ファイルフォーマットおよびISO Base Mediaファイルフォーマットの大部分の仕様はQuickTimeファイルフォーマットをベースとして規定されており、その仕様の内容も同じだからである。図３３は、各種のファイルフォーマット規格の相互関係を示す。「本発明」と、「ＭＰ４（２００１）」と、「QuickTime」とが重複するアトム種別（moov, mdat）では、上述した本発明によるデータ構造を適用することができる。これまでにも説明しているように、アトム種別“moov”は付属情報の最上位階層の“Movie Atom”として図１５等において示しているとおりである。
【０１２７】
図３４は、QuickTimeストリームのデータ構造を示す。QuickTimeストリームもまた、付属情報１３を記述したファイル（“MOV001.MOV”）と、ＭＰＥＧ２−ＰＳ１４を含むＰＳファイル（“MOV001.MPG“）とによって構成される。図１５に示すＭＰ４ストリーム１２と比較すると、QuickTimeストリームの付属情報１３に規定されている“Movie Atom”の一部が変更される。具体的には、ヌルメディアヘッダアトム（"Null Media Header Atom"）に代えて、ベースメディアヘッダアトム（“Base Media Header Atom”）３６が新たに設けられていること、および、図１５の３段目に記載されているオブジェクト記述アトム（“Object Descriptor Atom”）が図３４の付属情報１３では削除されていることである。図３５は、QuickTimeストリームの付属情報１３における各アトムの内容を示す。追加されたベースメディアヘッダアトム（“Base Media Header Atom”）３６は、各サンプル（ＶＯＢＵ）内のデータが、映像フレームおよび音声フレームのいずれでもない場合に、このアトムによりその旨が示される。図３５に示す他のアトム構造およびその内容は、上述のＭＰ４ストリーム１２を用いて説明した例と同じであるので、それらの説明は省略する。
【０１２８】
次にシームレス再生を行う際の音声処理について説明する。まず図３７および図３８を用いて従来のシームレス再生について説明する。
【０１２９】
図３７は、ＰＳ＃１とＰＳ＃３がシームレス接続条件を満足して結合されている動画ファイルのデータ構造を示す。動画ファイルＭＯＶＥ０００１．ＭＰＧ内は、２つの連続した動画ストリーム（ＰＳ＃１とＰＳ＃３）が接続されている。また、動画ファイルは所定の時間長（例えば１０秒分以上２０秒分以下）の再生時間長を有し、その所定の時間長の動画ストリームに対して、物理的に直前の領域にはポストレコーディング用のデータ領域があり、このうちの未使用領域であるポストレコーディング用空き領域がＭＯＶＥ０００１．ＥＭＰという別ファイルの形態で確保されている。
【０１３０】
なお、動画ファイルの再生時間長がより長い場合は、ポストレコーディング領域と所定の時間長の動画ストリーム領域を１組として、この組が複数存在するものとする。これらの組を、ＤＶＤ−ＲＡＭディスク上に連続して記録すると、動画ファイルの途中にポストレコーディング領域がインターリーブされる様に記録される。これはポストレコーディング領域に記録されるデータへのアクセスを、動画ファイルへアクセスの途中で簡易に短時間で実施可能にするためである。
【０１３１】
なお、動画ファイル内の映像ストリームはＰＳ＃１とＰＳ＃３の接続点の前後において、ＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件は連続して満たされるものとする。（また、ＤＶＤ−ＶＲ規格で規定される２つのストリームの接続点でシームレス再生可能な接続条件を満たしているものとする。）
【０１３２】
図３８は、図３７のＰＳ＃１とＰＳ＃３の接続点における映像および音声のシームレス接続条件および再生タイミングを示す。ＰＳ＃１末尾の映像フレームに同期して再生されるはみ出し部分の音声フレームはＰＳ＃３の先頭部分に格納されている。ＰＳ＃１とＰＳ＃３の間にはオーディオギャップが存在する。なお、このオーディオギャップは図２９で説明したオーディオギャップと同じである。このオーディオギャップは図２９で、ＰＳ＃１の映像とＰＳ＃３の映像が途切れない様に連続的に再生すると、ＰＳ＃１とＰＳ＃３間の音声フレームの再生周期が、合わなくなるために発生する。このことは映像と音声の各フレームの再生周期が合わないために生じる。従来の再生装置はこのオーディオギャップの区間において音声の再生を停止するため、ストリームの接続点では音声の再生が一瞬の間ではあるが中断してしまう。
【０１３３】
なお、音声の中断を防ぐため、音声ギャップの前後におけるフェードアウト、フェードインによる対策が考えられる。すなわちシームレス再生におけるオーディオギャップの前後においてフェードアウト、フェードインをそれぞれ１０ｍｓ区間だけ実施することで、突如として音声が中断することによるノイズを防ぎ、自然に聞こえるようにすることができる。しかしオーディオギャップが生じるたびにフェードアウト、フェードインが行われると、関係する音声素材の種類によっては安定した音声レベルを提供できないことにより、良好な視聴状態が保たれないという問題がある。そのため、再生時のオーディオギャップによる無音区間を無くすことも可能であることが必要である。
【０１３４】
そこで本実施形態では、以下の対策を採っている。図３９は、オーディオギャップの区間を埋めることができるオーディオフレームＯＶＲＰ０００１．ＡＣ３をポストレコーディング用のデータ領域の一部に記録したときの動画ファイルＭＯＶＥ０００１．ＭＰＧ、および音声ファイルＯＶＲＰ０００１．ＡＣ３の物理的なデータ配置を示す。この動画ファイルおよび音声ファイルは、記録制御部１４１からの指示（制御信号）に従って記録部１２０によって生成される。
【０１３５】
この様なデータ配置にするために、記録制御部１４１は、シームレス接続を実現したい動画ストリームＰＳ＃１とＰＳ＃３の接続点付近のデータに対して、オーディオギャップを許容するシームレス再生可能なデータ構造を実現する。この時点で、１音声フレーム分以下の無データ区間（無音区間）が存在するか否か、すなわちオーディオギャップの有無と、そのオーディオギャップ区間に失われる音声データが含まれる音声フレームと、オーディオギャップの区間長が判明する（ほとんどの場合、オーディオギャップは発生する）。次にオーディオギャップ区間において再生されるべき音声のデータを記録部１２０に送り、音声ファイルとして動画ファイルと関連付けて記録させる。「関連付けて」とは、例えば動画ファイルが格納された直前の領域にポストレコーディング用のデータ領域を設け、そのデータ領域に追加の音声のデータを格納することを意味する。また、さらにその動画ファイルと音声データを格納したファイルを付属情報（Movie Atom）内の動画トラックおよび音声トラックに対応付けることを意味する。この音声のデータは例えばＡＣ３形式のオーディオフレームデータである。
【０１３６】
その結果、ＤＶＤ−ＲＡＭディスク１３１には、図３９に示す動画データファイル（ＭＯＶＥ０００１．ＭＰＧおよびＯＶＲＰ０００１．ＡＣ３）が記録される。なおポストレコーディング用データ領域の未使用部分は別のファイル（ＭＯＶＥ０００１．ＥＭＰ）として確保しておく。
【０１３７】
図４０は、オーディオのオーバーラップの再生タイミングを示す。ここではオーバーラップの２つの態様を説明する。図４０（ａ）はオーバーラップの第１の態様を示し、（ｂ）はオーバーラップの第２の態様を示す。図４０（ａ）では、ＯＶＲＰ０００１．ＡＣ３の音声フレームの再生区間と、オーディオギャップ直後のＰＳ＃３の先頭のフレームの再生区間とがオーバーラップしている態様を示す。オーバーラップした音声フレームは、動画ファイルの付属情報内に音声トラックとして登録される。また、このオーバーラップした音声フレームの再生タイミングは、動画ファイルの付属情報内に音声トラックのＥｄｉｔ  Ｌｉｓｔ  Ａｔｏｍとして記録される。だだし、オーバーラップしている２つの音声区間を如何に再生するかはデータ処理装置１０の再生処理に依存する。例えば、再生制御部１４２の指示に基づいて、まず再生部１２１がＯＶＲＰ０００１．ＡＣ３を読み出し、次にＰＳ＃２と＃３をＤＶＤ−ＲＡＭから順に読出しながら、同時にＭＰＥＧ２−ＰＳ復号部１１１がＰＳ＃２の再生を開始する。ＭＰＥＧ２−ＰＳ復号部１１１はＰＳ＃２の再生が終わり、ＰＳ＃３の先頭を再生すると同時にその音声フレームを再生する。その後、再生部１２１がＰＳ＃３の音声フレームを読み出すと、ＭＰＥＧ２−ＰＳ復号部１１１はその再生タイミングをオーバーラップ分だけ時間的に遅らせる方向にシフトさせて再生を開始する。ただし、接続点の度に毎回再生タイミングを遅らせると映像と音声のずれが知覚可能な程度まで広がる可能性が出るので、ＯＶＲＰ０００１．ＡＣ３を全再生区間使わないで、ＰＳ＃３の音声フレームを本来の再生タイミングで再生出力することが必要である。
【０１３８】
一方、図４０（ｂ）は、ＯＶＲＰ０００１．ＡＣ３の音声フレームの再生区間と、オーディオギャップ直前のＰＳ＃３の末尾のフレームの再生区間とがオーバーラップしている態様を示す。この態様においては、再生制御部１４２の指示に基づいて、まず再生部１２１がオーバーラップ音声フレームを読出し、次にＰＳ＃２、およびＰＳ＃３の音声フレームを順次読み出し、ＰＳ＃２の読出しと同時にＭＰＥＧ２−ＰＳ復号部１１１がＰＳ＃２の再生を開始する。その後、ＰＳ３の再生と並行してオーバーラップした音声フレームを再生する。この時、ＭＰＥＧ２−ＰＳ復号部１１１はその再生タイミングをオーバーラップ分だけ時間的に遅らせる方向にシフトさせて再生を開始する。ただし、接続点の度に毎回再生タイミングを遅らせると映像と音声のずれを知覚可能な程度まで広がる可能性が出るので、ＯＶＲＰ０００１．ＡＣ３を全再生区間使わないで、ＰＳ＃３の音声フレームを本来の再生タイミングで再生出力することが必要である。
【０１３９】
上述のいずれの再生処理によっても、オーディオギャップによる無音区間を無くすことができる。なお、図４０（ａ）および（ｂ）のいずれの場合でも、オーバーラップしているＰＳトラック内の音声サンプルをオーバーラップ区間の間に相当するオーディオデータだけ破棄し、以降のオーディオデータをもともとＰＴＳ等で指定された再生タイミングに従って再生してもよい。この処理によっても、再生時にオーディオギャップによる無音区間を無くすことができる。
【０１４０】
図４１は、プレイリストにより再生区間ＰＳ＃１とＰＳ＃３を直接編集しないでシームレス再生できるように接続した例を示す。図３９との違いは、図３９が動画ストリームＰＳ＃１とＰＳ＃３を接続した動画ファイルを編集して作成しているのに対し、図４１はプレイリストファイルを使って関係を記述している点が異なる。オーバーラップ分を含む１音声フレームはＭＯＶＥ０００３．ＭＰＧの直前の位置に記録される。プレイリストＭＯＶＥ０００１．ＰＬＦはＰＳ＃１、オーバーラップ分を含む音声フレーム、およびＰＳ＃３の各部分に対して、それぞれＰＳ＃１用のＰＳトラック、音声トラック、およびＰＳ＃３用のＰＳトラックを有し、図４０の再生タイミングとなるように各トラックのEdit List Atomを記述する。
【０１４１】
なお、図４１のプレイリストで２つの動画ストリームを接続する場合、動画ストリーム内の映像ストリームは、編集処理をしない限り、接続点の前後でＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件を一般に満たさない。したがって、映像をシームレス接続する場合は、再生制御部、およびＭＰＥＧ２復号部はＶＢＶバッファ条件を満たさないストリームに対するシームレス再生が必要である。
【０１４２】
図４２は、プレイリストのSample Description Entryのデータ構造を示す。シームレス情報はシームレスフラグ、音声不連続点情報、SCR不連続点情報、STC連続性フラグ、および音声制御情報のフィールドから構成される。プレイリストのSample Description Entryにおいてシームレスフラグ＝０の場合は、記録開始日時、開始Presentation Time、終了Presentation Time、および不連続点開始フラグには値を設定する必要はないとする。一方、シームレスフラグ＝１の場合には、各値は初期記録の場合の付属情報ファイルと同様に適切な値を設定することとする。これはプレイリストの場合には、Sample Description Entryは複数のChunkから共用できるようにしておく必要があり、その際にこれらのフィールドを常に有効にできないからである。
【０１４３】
図４３は、シームレス情報のデータ構造を示す。図４３のフィールドのうち、図１９と同名のフィールドは同じデータ構造を有する。ＳＴＣ連続性情報＝１は直前のストリームの基準となるシステムタイムクロック（System Time Clock）（２７ＭＨｚ）がこのストリームが基準にしているＳＴＣ値と連続していることを示す。具体的には、動画ファイルのＰＴＳ、ＤＴＳ、およびＳＣＲが同じＳＴＣ値をベースに付与され、かつ連続していることを示す。音声制御情報は、ＰＳの接続点の音声を一旦フェードアウトしてからフェードインするか否かを指定する。再生装置はこのフィールドを参照して、プレイリスト中に記載されたように接続点の直前の音のフェードアウトおよび接続点の直後のフェードインを制御する。これにより、接続点の前後の音声の内容に応じて適切な音声の制御を実現することができる。例えば、接続点の前後で音声の周波数特性がまったく異なる場合にはフェードアウトした後でフェードインした方が望ましい。一方、周波数特性が類似している場合はフェードアウトおよびフェードインを共に実施しない方が望ましい。
【０１４４】
図４４は、ブリッジファイルを介したプレイリストを記述することによって２つの動画ファイルＭＯＶＥ０００１．ＭＰＧおよびＭＯＶＥ０００３．ＭＰＧをブリッジファイルＭＯＶＥ０００２．ＭＰＧを介してシームレス接続したときの、Sample Description EntryのシームレスフラグおよびＳＴＣ連続性情報の値を示す。
【０１４５】
ブリッジファイルはＰＳ＃１とＰＳ＃３の接続部分を含む動画ファイルＭＯＶＥ０００２．ＭＰＧである。この接続部分の前後において、２つの動画ストリーム内の映像ストリームは、ＭＰＥＧ−２ビデオ規格のＶＢＶバッファ条件を満たしているものとする。すなわち、図３９と同じデータ構造であるものとする。
【０１４６】
なお、各動画ファイルは図３７と同様に所定の時間長（例えば１０秒分以上２０秒分以下）の再生時間長を有し、その所定の時間長の動画ストリームに対して、物理的に直前の領域にはポストレコーディング用のデータ領域があり、このうちの未使用領域であるポストレコーディング用空き領域がＭＯＶＥ０００１．ＥＭＰ、ＭＯＶＥ０００２．ＥＭＰ、ＭＯＶＥ０００３．ＥＭＰという別ファイルの形態で確保されている。
【０１４７】
図４５は、図４４の場合のプレイリストのEdit List Atomのデータ構造を示す。プレイリストはＭＰＥＧ２−ＰＳ用のＰＳトラックとＡＣ−３音声用の音声トラックを含む。ＰＳトラックは図４４のＭＯＶＥ０００１．ＭＰＧ、ＭＯＶＥ０００２．ＭＰＧ，およびＭＯＶＥ０００３．ＭＰＧをData Reference Atomを介して参照する。音声トラックは１オーディオフレームを含むＯＶＲＰ０００１．ＡＣ３ファイルをData Reference Atomを介して参照する。ＰＳトラックのEdit List Atomには４つの再生区間を表現したEdit List Tableを格納する。各再生区間＃１〜＃４は図４４の再生区間＃１〜＃４に対応する。一方、ポストレコーディング領域に記録された音声フレームのEdit List Atomには休止区間＃１、再生区間、および休止区間＃２を表現したEdit List tableを格納する。前提として再生部がこのプレイリストを再生する場合は、音声トラックの再生が指定された区間においては、ＰＳトラックの音声を再生しないで、音声トラックを優先して再生するとする。このことにより、オーディオギャップ区間ではポストレコーディング領域に記録されたオーディオフレームが再生される。そしてそのオーディオフレームの再生が終了すると、オーバーラップしているＰＳ＃３内の音声フレームおよびそれ以降の音声フレームをオーバーラップ分だけ時間的に遅らせて再生する。もしくは、直後に再生すべき音声データを含むＰＳ＃３内のオーディオフレームを復号した後、オーバーラップしていない残りの部分だけを再生する。
【０１４８】
Edit List Table のtrack＿durationには再生区間の映像の時間長を指定する。media＿timeは動画ファイル内における再生区間の位置を指定する。この再生区間の位置は、動画ファイルの先頭を時刻０として、再生区間の先頭の映像位置を時刻のオフセット値として表現する。media＿time=-1は休止区間を意味し、track＿durationの間何も再生しないことを意味する。media＿rateは１倍速再生を意味する１．０を設定する。再生部によってＰＳトラックと音声トラックの両方のEdit List Atomが読み出され、これに基づいた再生制御が実施される。
【０１４９】
図４６は、図４５の音声トラック内のSample Description Atomのデータ構造を示す（音声データはDolby AC-3形式とする）。sample＿description＿entryは音声シームレス情報を含む。この音声シームレス情報には、音声のオーバーラップを１オーディオフレームの前方、もしくは後方のどちらで想定しているかを示すオーバーラップ位置を含む。また、オーバーラップ期間を２７ＭＨｚのクロック値を単位とした時間情報として含む。このオーバーラップ位置および期間を参照して、オーバーラップしている区間周辺の音声の再生を制御する。
【０１５０】
以上の構成により、映像および音声のシームレスな再生を実現するプレイリストを従来のオーディオギャップを前提としたストリームと互換性を持たせた形態で実現できる。つまり、オーディオギャップを用いたシームレス再生を選択することも可能であると同時に、オーバーラップする音声フレームを用いたシームレス再生を選択することも可能である。したがって、従来のオーディオギャップにのみ対応した機器においても、ストリームの接続点で少なくとも従来通りのシームレスな再生が可能になる。
【０１５１】
また、音声の内容に適した接続点のきめ細かな制御が可能になる。
【０１５２】
また、ＭＰ４ファイルのプレイリストの冗長性削減を可能にしながら、シームレスプレイリストに必要なきめ細かな記述を可能にするSample Description Entryを実現する。
【０１５３】
なお、本発明ではオーディオのオーバーラップ分を記録して映像と音声のシームレス再生を実現したが、オーバーラップ分を利用しないで、映像フレームの再生をスキップすることにより映像と音声を擬似的にシームレスに再生する方法もある。
【０１５４】
本実施形態ではオーディオのオーバーラップ分をポストレコーディング領域に記録したが、プレイリストファイルのMovie Data Atom内に記録しても良い。１フレームのデータサイズは、例えばＡＣ３の場合は数キロバイトである。なお、図４３のSTC連続性フラグに替えて、接続点の直前のPSの終了Presentation Timeと接続点の直後のPSの開始Presentation Timeを記録しても良い。この場合、シームレスフラグが１で、かつ終了Presentation Timeと開始Presentation Timeが等しければ、STC連続性フラグ＝１と同じ意味と解釈可能である。また、STC連続性フラグに替えて接続点の直前のPSの終了Presentation Timeと接続点の直後のPSの開始Presentation Timeの差分を記録しても良い。この場合、シームレスフラグが１で、かつ終了Presentation Timeと開始Presentation Timeの差分が０ならば、STC連続性フラグ＝１と同じ意味と解釈可能である。
【０１５５】
なお、本発明ではＰＳ＃３部分の記録とは別に、オーディオのオーバーラップ部分を含むオーディオフレームのみをポストレコーディング領域へ記録したが、図４０に示したはみ出し部分と図４０（ａ）または（ｂ）に示すオーバーラップ部分を含むオーディオ部分の両方をポストレコーディング領域へ記録しても良い。また、さらにＰＳ＃３の先頭部分の映像に対応する音声フレームもポストレコーディング領域上に続けて記録しておいても良い。これによりＰＳトラック内の音声と音声トラック内の音声との間で、音声の切替時間間隔が延びることになるのでオーディオのオーバーラップを利用したシームレス再生の実現がより容易になる。これらの場合、プレイリストのEdit List Atomで音声の切替時間間隔を制御すれば良い。
【０１５６】
音声制御情報はＰＳトラックのシームレス情報に設けたが、同時に、音声トラックのシームレス情報内にも設けても良い。このときも同様に、接続点の直前および直後のフェードアウト／フェードインを制御する。
【０１５７】
なお、接続点において接続点の前後における音声フレームをフェードアウトおよびフェードイン処理をしないで、続けて再生すケースについて触れたが、これはAC-3やMPEG Audio Layer2等の圧縮方式で有効な方法である。
【０１５８】
以上、本発明の実施形態を説明した。図１２のＭＰＥＧ２−ＰＳ１４は０．４〜１秒分の動画データ（ＶＯＢＵ）から構成されるとしたが、時間の範囲は異なっていてもよい。また、ＭＰＥＧ２−ＰＳ１４は、ＤＶＤビデオレコーディング規格のＶＯＢＵから構成されるとしたが、他のＭＰＥＧ２システム規格に準拠したプログラムストリームや、ＤＶＤビデオ規格に準拠したプログラムストリームであってもよい。
【０１５９】
なお、本発明の実施形態では、オーバーラップ音声をポストレコーディング領域に記録するものとしたが、別の記録場所であっても良い。だだし、できるだけ物理的に動画ファイルに近いほど良い。
【０１６０】
なお、音声ファイルはＡＣ−３の音声フレームから構成されるものとしたが、ＭＰＥＧ−２プログラムストリーム内に格納されていたり、また、ＭＰＥＧ−２トランスポートストリーム内に格納されていても良い。
【０１６１】
図１１に示すデータ処理装置１０では、記録媒体１３１をＤＶＤ−ＲＡＭディスクであるとして説明したが、特にこれに限定されることはない。例えば記録媒体１３１は、ＭＯ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＣＤ−Ｒ、ＣＤ−ＲＷ等の光記録媒体やハードディスク等の磁性記録媒体である。また、記録媒体１３１は、フラッシュメモリカードなどの半導体メモリを装着した半導体記録媒体であってもよい。また、ホログラムを利用した記録媒体であっても良い。また、記録媒体は取り外し可能であっても、データ処理装置に内蔵専用であっても良い。
【０１６２】
データ処理装置１０は、コンピュータプログラムに基づいてデータストリームの生成、記録および再生処理を行う。例えば、データストリームを生成し、記録する処理は、図２１に示すフローチャートに基づいて記述されたコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録することができる。なお、光ディスク装置１００は、記録媒体を介してのみならず、インターネット等の電気通信回線を介してもコンピュータプログラムを取得できる。
【０１６３】
なお、ファイルシステムはＵＤＦを前提としたが、ＦＡＴ、ＮＴＦＳ等であってもよい。また、映像はＭＰＥＧ−２ビデオストリームに関して説明したが、ＭＰＥＧ−４ＡＶＣ等であってもよい。また、音声はＡＣ−３に関して説明したがＬＰＣＭ、ＭＰＥＧ−Ａｕｄｉｏ等であっても良い。また、動画ストリームはＭＰＥＧ−２プログラムストリーム等のデータ構造を採るものとしたが、映像、および音声が多重化されていれば他の種類のデータストリームであっても良い。
【産業上の利用可能性】
【０１６４】
本発明によれば、付属情報のデータ構造をＩＳＯ規格に準拠させて現在の最新の規格に適合しつつ、従来のフォーマットと同等のデータストリームのデータ構造およびそのようなデータ構造に基づいて動作するデータ処理装置が提供される。データストリームは従来のフォーマットにも対応するので、既存のアプリケーション等もデータストリームを利用できる。よって既存のソフトウェアおよびハードウェアを有効に活用できる。さらに、２つの動画ストリームの結合編集時に、映像だけでなく音声を全く途切れさせることなく再生するデータ処理装置が提供できる。またこの時、従来のデータストリームと互換性もあるので、既存の再生機器との互換性も確保される。
【図面の簡単な説明】
【０１６５】
【図１】従来のデータ処理装置３５０の構成を示す図である。
【図２】ＭＰ４ファイル２０のデータ構造を示す図である。
【図３】アトム構造２３の具体例を示す図である。
【図４】動画ストリーム２２のデータ構造を示す図である。
【図５】途中でトラックが切り替わった動画ストリーム２２を示す図である。
【図６】動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１のセクタとの対応を示す図である。
【図７】記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す図である。
【図８】ＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す図である。
【図９】図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す図である。
【図１０】本発明によるデータ処理を行うポータブルビデオコーダ１０−１、カムコーダ１０−２およびＰＣ１０−３の接続環境を示す図である。
【図１１】データ処理装置１０における機能ブロックの構成を示す図である。
【図１２】本発明によるＭＰ４ストリーム１２のデータ構造を示す図である。
【図１３】ＭＰＥＧ２−ＰＳ１４の音声データの管理単位を示す図である。
【図１４】プログラムストリームとエレメンタリストリームとの関係を示す図である。
【図１５】付属情報１３のデータ構造を示す図である。
【図１６】アトム構造を構成する各アトムの内容を示す図である。
【図１７】データ参照アトム１５の記述形式の具体例を示す図である。
【図１８】サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す図である。
【図１９】サンプル記述アトム１７の記述形式の具体例を示す図である。
【図２０】サンプル記述エントリ１８の各フィールドの内容を示す図である。
【図２１】ＭＰ４ストリームの生成処理の手順を示すフローチャートである。
【図２２】本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２  Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。
【図２３】１チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す図である。
【図２４】１チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。
【図２５】１チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す図である。
【図２６】１つの付属情報ファイルに対して２つのＰＳファイルが存在するＭＰ４ストリーム１２の例を示す図である。
【図２７】１つのＰＳファイル内に不連続なＭＰＥＧ２−ＰＳが複数存在する例を示す図である。
【図２８】シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを設けたＭＰ４ストリーム１２を示す図である。
【図２９】不連続点において不足する音声（オーディオ）フレームを示す図である。
【図３０】本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。
【図３１】本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。
【図３２】ＭＴＦファイル３２のデータ構造を示す図である。
【図３３】各種のファイルフォーマット規格の相互関係を示す図である。
【図３４】QuickTimeストリームのデータ構造を示す図である。
【図３５】QuickTimeストリームの付属情報１３における各アトムの内容を示す図である。
【図３６】記録画素数が変化する場合の動画ストリームのフラグ設定内容を説明する図である。
【図３７】ＰＳ＃１とＰＳ＃３がシームレス接続条件を満足して結合されている動画ファイルのデータ構造を示す図である。
【図３８】ＰＳ＃１とＰＳ＃３の接続点における映像および音声のシームレス接続条件および再生タイミングを示す図である。
【図３９】オーディオギャップ区間に相当するオーディオフレームをポストレコーディング用領域に割り当てた場合のデータ構造を示す図である。
【図４０】オーディオのオーバーラップのタイミングを示す図であり、（ａ）および（ｂ）はオーバーラップする部分の態様を示す図である。
【図４１】プレイリストにより再生区間ＰＳ＃１とＰＳ＃３をシームレス再生できるように接続した場合の再生タイミングを示す図である。
【図４２】プレイリストのSample Description Entryのデータ構造を示す図である。
【図４３】プレイリストのSample Description Entry内のシームレス情報のデータ構造を示す図である。
【図４４】プレイリストとブリッジファイルを使ってシームレス接続する場合のシームレスフラグおよびＳＴＣ連続性情報を示す図である。
【図４５】プレイリスト内のＰＳトラックおよび音声トラックのEdit List Atomのデータ構造を示す図である。
【図４６】プレイリスト内の音声トラックに関するSample Description Atomのデータ構造を示す図である。
【国際調査報告】
2005015907.tif 000049
2005015907.tif 000050