(57)【要約】【課題】光ディスク等の記録媒体に記録された２つの異なるオーディオデータとビデオデータの組を、ノイズなくシームレスに接続して再生すること。【解決手段】再生時にビデオ接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間（Ａ＿ｏｖｅｒｌａｐ）を計算し、更に、このオーバーラップ時間に基づいてオフセット時間を算出する（ステップＳ１２）。算出したオフセット時間を用いてオーディオデータを再生することにより（ステップＳ１４）、接続点付近で、オーディオフレームのギャップを無くして再生することができる。接続点付近では、エンコーダ側及びデコーダ側において、オーディオデータの窓掛け処理を行うことにより、接続元と接続先のオーディオサンプル同士を滑らかに足し合わせる。【選択図】図１２
2010061803.tif 000002
【特許請求の範囲】
【請求項１】
同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段（２４（１１，１２，１３））と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段（２７，２４，２３）と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレーム内の情報の変更を伴うことなしに、前記オーディオフレームの編集点を決定する編集点決定手段（２６）と、
前記編集点を記録媒体（２１）に管理情報として記録する記録手段（２３）と、
を有することを特徴とするオーディオ／ビデオ記録装置。
【請求項２】
同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第１のステップと、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第２のステップ（Ｓ２）と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレーム内の情報の変更を伴うことなしに、前記オーディオフレームの編集点を決定する第３のステップ（Ｓ３）と、
前記編集点を管理情報として前記記録媒体（２１）に記録する第４のステップ（Ｓ４）と、
を含むことを特徴とするオーディオ／ビデオ記録方法。
【請求項３】
請求項１記載の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体（３１）から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、
前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段（３８）と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、前記編集点が前記再生シーケンス内の２つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段（３９）と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段（３７）と、
算出した前記オーディオＰＴＳオフセット時間に応じて、前記記録媒体（３１）から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段（３７，３５）と、
前記記録媒体（３１）から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段（３４）と、
前記記録媒体（３１）から再生したオーディオフレームを前記オフセットしたＰＴＳに応じて再生すると共に、前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段（３５）と、
前記オーディオフレーム再生手段（３５）により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段（３５（１５，１６，１７））と、
を有することを特徴とするオーディオ／ビデオ再生装置。
【請求項４】
請求項２記載の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体（３１）から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、
前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第１のステップ（Ｓ１２）と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、前記編集点が前記再生シーケンス内の２つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップ（Ｓ１２）と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップ（Ｓ１３）と、
前記第２のステップ（Ｓ１２）で算出した前記オーディオＰＴＳオフセット時間に応じて、前記記録媒体（３１）から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップ（Ｓ１３）と、
前記記録媒体（３１）から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップ（Ｓ１４）と、
前記記録媒体（３１）から再生したオーディオフレームを前記第４のステップ（Ｓ１３）でオフセットしたＰＴＳに応じて再生すると共に、前記第３のステップ（Ｓ１３）で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップ（Ｓ１４，Ｓ１５）と、
前記第６のステップ（Ｓ１４，Ｓ１５）により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、
を含むことを特徴とするオーディオ／ビデオ再生方法。
【請求項５】
請求項２記載の記録方法によりビデオオブジェクト及びオーディオフレームの編集点を含む管理情報を記録した記録媒体（３１）から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させるオーディオ／ビデオ再生プログラムであって、
前記コンピュータに、
前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第１のステップ（Ｓ１２）と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、前記編集点が前記再生シーケンス内の２つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップ（Ｓ１２）と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップ（Ｓ１３）と、
算出された前記オーディオＰＴＳオフセット時間に応じて、前記記録媒体（３１）から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップ（Ｓ１３）と、
前記記録媒体（３１）から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップ（Ｓ１４）と、
前記記録媒体（３１）から再生したオーディオデータを前記第４のステップ（Ｓ１３）でオフセットしたＰＴＳに応じて再生すると共に、前記第３のステップ（Ｓ１３）で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップ（Ｓ１４，Ｓ１５）と、
前記第６のステップ（Ｓ１４，Ｓ１５）により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、
を実行させることを特徴とするオーディオ／ビデオ再生プログラム。
【請求項６】
同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体に記録するオーディオ／ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段（２４（１１，１２，１３））と、
前記オーディオデータと前記ビデオデータとを多重化して前記ビデオオブジェクトを生成する多重化手段（２４）と、
前記多重化手段（２４）による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように、前記多重化手段（２４）を制御すると共に、前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のオーディオデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを作成する制御手段（２４，２６）と、
前記制御手段（２４，２６）により制御された前記多重化手段（２４）から出力される前記ビデオオブジェクトを記録媒体（２１）に記録すると共に、前記制御手段（２４、２６）で作成された前記オーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録する記録手段（２３）と、
を有することを特徴とするオーディオ／ビデオ記録装置。
【請求項７】
同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段（２４（１１，１２，１３））と、
前記オーディオデータと前記ビデオデータとを多重化して前記ビデオオブジェクトを生成する多重化手段（２４）と、
前記多重化手段（２４）による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように、前記多重化手段（２４）を制御すると共に、前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のオーディオデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを作成する制御手段（２４，２６）と、
前記制御手段（２４，２６）により制御された前記多重化手段（２４）から出力される前記ビデオオブジェクトを記録媒体（２１）に記録すると共に、前記制御手段（２４、２６）で作成された前記オーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録する第１の記録手段（２３）と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段（２７，２４，２３）と、
前記接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する手段（２６）と、
前記編集点を記録媒体（２１）に管理情報として記録する第２の記録手段（２３）と、
を有することを特徴とするオーディオ／ビデオ記録装置。
【請求項８】
同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第１のステップと、
前記オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように制御する第２のステップ（Ｓ２２）と、
前記第２のステップ（Ｓ２２）の制御による前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録すると共に、前記第２のステップ（Ｓ２２）の制御の下に多重化して得られた前記ビデオオブジェクトを記録媒体（２１）に記録する第３のステップ（Ｓ２３）と、
を含むことを特徴とするオーディオ／ビデオ記録方法。
【請求項９】
同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第１のステップと、
前記オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように制御する第２のステップと（Ｓ２２）、
前記第２のステップ（Ｓ２２）の制御による前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録すると共に、前記第２のステップ（Ｓ２２）の制御の下に多重化して得られた前記ビデオオブジェクトを記録媒体（２１）に記録する第３のステップ（Ｓ２３）と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第４のステップ（Ｓ２）と、
前記接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する第５のステップ（Ｓ３）と、
前記編集点を管理情報として前記記録媒体（２１）に記録する第６のステップ（Ｓ４）と、
を含むことを特徴とするオーディオ／ビデオ記録方法。
【請求項１０】
前記オフセット時間算出手段（３９）は、算出した前記接続点での前記オーディオＰＴＳオフセット時間が、オーディオフレーム時間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、該オーディオＰＴＳオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力する手段であることを特徴とする請求項３記載のオーディオ／ビデオ再生装置。
【請求項１１】
前記第２のステップ（Ｓ１２）は、算出した前記接続点での前記オーディオＰＴＳオフセット時間が、オーディオフレーム時間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、該オーディオＰＴＳオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力することを特徴とする請求項４記載のオーディオ／ビデオ再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラムに係り、特に光ディスク等の記録媒体に同期して記録したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録でき、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生するオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラムに関する。
【背景技術】
【０００２】
オーディオデータとビデオデータを記録媒体に記録する方法には種々あり、ビデオテープに対するアナログ記録やデジタル記録、ディスク媒体に対するアナログ記録やデジタル記録があるが、近年、その高品位とアクセス性などからディスク媒体に対するデジタル記録が主流となりつつある。この代表例がＤＶＤ（Digital Versatile Disc）であり、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭなどの記録型メディアに、高品位なビデオデータ及びオーディオデータをシームレスになるように記録／再生することが行われている（例えば、再公表特許ＷＯ９７／１３３６４号公報（図４７、図６１）参照）。
【０００３】
ここで、ビデオデータの符号化方式としては、一般的にＭＰＥＧ（Moving Picture Experts Group）ビデオが用いられる。ＭＰＥＧビデオ（主にＭＰＥＧ−２ビデオ）では、ビデオデータの各フレーム（またはフィールド）をＩピクチャ、Ｐピクチャ、Ｂピクチャの種別を持って符号化する。Ｉピクチャとは、独立して復号化可能なピクチャであり、ＩはIntraの略である。Ｐピクチャとは、Ｉピクチャまたは他のＰピクチャからの前方予測を用いて符号化されるピクチャであり、ＰはPredictionの略である。Ｂピクチャとは、ＩピクチャまたはＰピクチャからの前方／後方予測を用いて符号化されるピクチャであり、ＢはBi-directional-predictionの略である。なお、ＮＴＳＣ方式でのビデオフレーム周期は、約１／３０秒（正確には１／２９.９７秒）であり、ＰＡＬ方式の場合は１／２５秒である。
【０００４】
一方、オーディオデータの符号化方式としては、大別するとリニアＰＣＭ方式と、圧縮符号化方式の２種類が存在する。圧縮符号化方式の中では、ドルビーデジタル（ＡＣ−３）やＤＴＳ（Digital Theater Systems）、ＭＰＥＧオーディオなどがよく用いられる。
【０００５】
リニアＰＣＭ方式では、サンプリング及び量子化後のデジタルデータを伝送する。伝送ビット数は１６、２０、２４等が用いられる。サンプリング周波数には４８ｋＨｚなどが用いられる。オーディオフレーム周期の設定は任意である。例えば、１／６００秒（４８ｋＨｚ時に８０サンプル分）などが用いられる。
【０００６】
圧縮符号化方式では、リニアＰＣＭデータを直交変換や聴覚心理モデルを用いて圧縮する。オーディオフレーム周期は、２のべき乗のサンプル数（または更にその整数倍）を適用する場合が多く、例えば４８ｋＨｚ時に１０２４サンプルであれば、オーディオフレーム周期は約２１ｍｓｅｃ（＝１０２４／４８０００）となる。圧縮符号化方式でオーディオフレームに２のべき乗のサンプル数を使用する理由は、リニアＰＣＭサンプルデータをスペクトルに変換する直交変換が、２のべき乗のサンプルを入出力とするのに適しているからである。
【０００７】
ところで、音声付ビデオ信号を符号化し、ＤＶＤ等の記録媒体に記録する場合、ビデオデータとオーディオデータは上記のような符号化方式で符号化され、さらにＭＰＥＧシステムによって多重化され、例えばＭＰＥＧプログラムストリームとして記録媒体上に記録される。以下、このような多重化ストリームデータをビデオオブジェクト（ＶＯＢ）と呼ぶことにする。
【０００８】
このとき、ＶＯＢ内のビデオデータとオーディオデータは同期しているが、ビデオフレーム周期とオーディオフレーム周期は一致していることはまずなく、別々の周期で記録されている。というのも、ビデオフレーム周期はＴＶシステムに依存して一意に決定され、オーディオフレーム周期は、例えば圧縮符号化の効率化を考えた最適な長さを別途設定されるからである。この様子を図１に示す。
【０００９】
図１に示すように、ビデオフレーム周期（ＴV）とオーディオフレーム周期（ＴA）が異なる。一連のビデオデータとオーディオデータが同期して記録される例であり、データ先頭部分ではビデオデータとオーディオデータのフレーム先頭が一致している、典型例である。データの途中では、基本的にビデオフレーム境界とオーディオフレーム境界は一致しない（ビデオフレーム周期とオーディオフレーム周期の最小公倍数の位置を除く）。
【００１０】
ここで、別々に記録された２つのＶＯＢの全部又は一部分ずつを接続編集し、連続して再生する用途が考えられる。図２はこの一例を示す。同図は、ＶＯＢ（ｉ）の時刻ＸからＶＯＢ（ｊ）の時刻Ｙへ接続する例を示す。ビデオフレームに添えられたＩ、Ｐ、Ｂの文字は、既に説明したピクチャのタイプを示す。なお、図中ビデオフレームもオーディオフレームも再生時の順序で表示されていることに注意されたい。実際のＶＯＢ中では、Ｉｉ１、Ｐｉ１、Ｂｉ１、Ｂｉ２という順序で記録し、Ｂｉ１やＢｉ２の復号化がＩｉ１とＰｉ１を使って実行できるようにする必要がある。
【００１１】
ここで、再生時にＶＯＢ（ｉ）の時刻Ａから時刻Ｘまでの各ピクチャを再生し、引き続きＶＯＢ（ｊ）の時刻Ｙから時刻Ｂまでの各ピクチャを再生するためには、この再生パスのなかに含まれる時刻Ｘおよび時刻Ｙ付近でのピクチャタイプに注意が必要である。つまり、ＶＯＢ（ｉ）のＢｉ３とＢｉ４の復号化にはＰｉ２が必要であるが、Ｐｉ２はこの再生パスの中に存在しない。従って、例えばＢｉ４をＰピクチャタイプＰｉ４'に変換し、Ｂｉ３をＢｉ３'に変換する必要がある（Ｂｉ３'はＰｉ１とＰｉ４'から符号化）。
【００１２】
同様に、ＶＯＢ（ｊ）のＰｊ１の復号化にはＩｊ１が必要であるが、Ｉｊ１はこの再生パスの中に存在しない。従って、例えばＰｊ１をＩピクチャタイプＩｊ１'に変換する必要がある。こうすることにより、Ｐｉ１→Ｂｉ３'→Ｐｉ４'→Ｉｊ１'→Ｂｊ３→Ｂｊ４というパスでデータを再生することが可能になる。便宜上、接続後の接続点をＺとする。
【００１３】
なお、上記の説明はビデオ符号化方式がＭＰＥＧのようなフレーム間予測を用いたものである場合の一例であり、例えばＤＶ方式のように符号化が各フレームで完結している場合には、このようなピクチャの変換処理は必要ない。また、ＭＰＥＧ等の場合でも、例えば、接続元がＩピクチャの直前のＢピクチャで終り、接続先がＩピクチャで始まるような接続点を選ぶ場合などにも、ピクチャ変換処理は必要ない。
【００１４】
次に、接続点Ｚでのビデオフレームの再生について考える。上記の例では、基本的にはＰｉ４'のフレームを１ビデオフレーム周期再生した直後にＩｊ１'フレームを再生すること、つまり、ビデオフレーム画像をＺ点で止めることのないシームレスな再生が要求される。シームレス再生を行うためには、一般に次のような条件を満足している必要がある。
【００１５】
（１）  Ａ→Ｚ→Ｂのパスを復号化するのに必要なビデオフレームのデータが、このパスの中に含まれていること（上記の説明）。
（２）  システムに規定のバッファが、Ａ→Ｚ→Ｂのパスのデータ読み込みでバッファアンダーフローを起こさないように、記録データが配置されていること。この目的のため、Ｚ付近のデータ、または、Ａ→Ｚ→Ｂのパスのデータの全部または一部が接続編集前の位置とは異なる位置に再記録される場合がある。
（３）  接続点Ｚの前後で、システムタイムクロック（ＳＴＣ）をリセットする処理を行うこと。これは、一般にＶＯＢ（ｉ）中の時間軸と、ＶＯＢ（ｊ）中の時間軸とが異なり、従って時刻ＸでのＳＴＣ値と、時刻ＹでのＳＴＣ値は異なる値を持つためである。
【００１６】
ここで、同じ図２を用いて、接続編集でのオーディオフレームの扱いについて考える。
上記で説明したようにビデオフレーム間をシームレス接続するようにデータを構成する場合、基本的に接続点でオーディオフレームはシームレスに接続できない。これは、オーディオフレーム周期がビデオフレーム周期と異なるからであり、任意の接続点で、接続元の最終オーディオフレームの再生終了時刻と、接続先の先頭オーディオフレームの再生開始時刻が一致することが期待できないからである。このため、図２にＧで示したように、従来はオーディオフレーム間にギャップの存在を許容することになる。
【００１７】
図３は、図２のような接続編集を考慮した場合の従来の再生装置の一例のブロック図を示す。
同図において、記録媒体１０１から図示しない再生機構により読み出された、図２にＡ→Ｚ→Ｂで示したパスのデータは、トラックバッファ１０２を経由してデマルチプレクサ１０３へ入力される。デマルチプレクサ１０３ではビデオストリームとオーディオストリーム（またはその他のストリーム、図示しない）の多重化を解き、ビデオストリームはビデオバッファ１０４を経由してビデオデコーダ１０５に入力し、オーディオストリームはオーディオバッファ１０６を経由してオーディオデコーダ１０７へ入力する。
【００１８】
ビデオデコーダ１０５とオーディオデコーダ１０７では、それぞれビデオとオーディオの復号化を行う。ビデオ符号化方式がＭＰＥＧ等の場合は、ビデオデコーダ１０５の出力側に、ピクチャ順序を再生順序に並べ替えるリオーダーバッファ１０９が装備される。ここで、ＳＴＣ回路１０８は、デマルチプレクサ１０３からのＶＯＢデータから抽出したシステムクロックリファレンス（ＳＣＲ）などの基準時刻信号を基にＳＴＣをカウントする回路である。接続点ＺではＳＴＣのリセットも行う。また、図２にＧで示したようなオーディオ再生のギャップが発生する位置で、これを示す制御信号（ここではミュート信号と呼ぶ）を発生し、オーディオデコーダ１０７をギャップの期間ミュートすることも受け持つ。
【００１９】
次に、図４に示すように、接続編集点で接続元の最終オーディオフレームの再生終了時刻Ｘと、接続先の先頭オーディオフレームの再生開始時刻Ｙが一致する例を考える。この場合も、ＶＯＢ（ｉ）のＢｉ３とＢｉ４の復号化にはＰｉ２が必要であるが、Ｐｉ２はこの再生パスの中に存在しない。従って、例えばＢｉ４をＰピクチャタイプＰｉ４'に変換し、Ｂｉ３をＢｉ３'に変換する必要がある（Ｂｉ３'はＰｉ１とＰｉ４'から符号化）。
【００２０】
同様に、ＶＯＢ（ｊ）のＰｊ１の復号化にはＩｊ１が必要であるが、Ｉｊ１はこの再生パスの中に存在しない。従って、例えばＰｊ１をＩピクチャタイプＩｊ１'に変換する必要がある。こうすることにより、Ｐｉ１→Ｂｉ３'→Ｐｉ４'→Ｉｊ１'→Ｂｊ３→Ｂｊ４というパスでデータを再生することが可能になる。
【００２１】
一方、オーディオデータに関しては、接続編集点で接続元の最終オーディオフレームの再生終了時刻Ｘと、接続先の先頭オーディオフレームの再生開始時刻Ｙが一致するため、図４に示すように、接続元のオーディオフレームと接続先のオーディオフレーム間にはギャップが生じない。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】再公表特許ＷＯ９７／１３３６４号公報（図４７、図６１）
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかるに、以上説明した従来のオーディオ／ビデオ記録再生方法及び装置では、任意のＶＯＢ同士の接続編集において、接続点でのオーディオの再生に問題がある。すなわち、ビデオフレームをシームレス接続することを基準とする場合、図２に示したようにＡ→Ｚ→Ｂのパスでビデオフレームをシームレス再生する場合、接続元と接続先のオーディオフレーム間にギャップＧが生じ、オーディオ再生はＺ点付近のギャップ点で一瞬ミュートし、シームレスには再生されないという問題がある。
【００２４】
また、図４に示したように、接続編集点で接続元の最終オーディオフレームの再生終了時刻Ｘと、接続先の先頭オーディオフレームの再生開始時刻Ｙが一致する場合であっても、接続元の最後のオーディオサンプル値と、接続先の最初のオーディオサンプル値は一般に不連続であるため、図５に示すように、復号した接続元オーディオ波形ａと復号した接続先オーディオ波形ｂとの接続点Ｚでノイズが発生する。このようなオーディオサンプルの不連続は、リニアＰＣＭやＭＰＥＧオーディオレイヤＩ、IIなど、基本的にオーディオ信号を直交変換することなく時間波形として符号化する全ての方式で、本来不連続なオーディオフレーム同士を接続した場合に見受けられる問題である。
【００２５】
本発明は以上の点に鑑みなされたもので、光ディスク等の記録媒体に記録された２つの異なるオーディオデータとビデオデータの組を、ノイズなくシームレスに接続して再生するオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記の目的を達成するため、第１の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、編集点を記録媒体に登録情報として記録する記録手段と、を有する構成としたものである。
【００２７】
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、その編集点を管理情報として記録媒体に記録するようにしたため、記録時にオーバーラップ時間やオフセット時間を計算しなくて済む。
【００２８】
また、上記の目的を達成するため、第２の発明は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第２のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第３のステップと、編集点を管理情報として記録媒体に記録する第４のステップと、を含むことを特徴とする。この発明は、第１の発明と同様に、記録時にオーバーラップ時間やオフセット時間を計算しなくて済む。
【００２９】
また、上記の目的を達成するため、第３の発明のオーディオ／ビデオ再生装置は、第１の発明の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、編集点が再生シーケンス内の２つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
【００３０】
この発明では、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生することができる。
【００３１】
また、上記の目的を達成するため、第４の発明のオーディオ／ビデオ再生方法は、第２の発明の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第１のステップと、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、編集点が再生シーケンス内の２つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップと、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップと、第２のステップで算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップと、記録媒体から再生したオーディオフレームを第４のステップでオフセットしたＰＴＳに応じて再生すると共に、第３のステップで出力したオーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップと、第６のステップにより再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、を含むことを特徴する。
【００３２】
この発明では、第３の発明と同様に、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生することができる。
【００３３】
また、上記の目的を達成するため、第６の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、オーディオデータとビデオデータとを多重化してビデオオブジェクトを生成する多重化手段と、多重化手段による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるように、多重化手段を制御すると共に、そのオーディオ多重化状態を示すフラグを作成する制御手段と、制御手段により制御された多重化手段から出力されるビデオオブジェクトを、制御手段で作成されたオーディオ多重化状態を示すフラグと共に記録媒体に記録する記録手段と、を有することを特徴とする。
【００３４】
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録するようにしたため、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
【００３５】
また、上記の目的を達成するため、第７の発明のオーディオ／ビデオ記録装置は、第６の発明に加えて、更に接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する手段と、編集点を記録媒体に登録情報として記録する第２の記録手段と、を有することを特徴とする。
【００３６】
また、上記の目的を達成するため、第８の発明のオーディオ／ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるように制御する第２のステップと、第２のステップの制御によるオーディオ多重化状態を示すフラグを、第２のステップの制御の下に多重化して得られたビデオオブジェクトと共に記録媒体に記録する第３のステップと、を含むことを特徴とする。
【００３７】
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録するようにしたため、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
【００３８】
また、上記の目的を達成するため、第９の発明のオーディオ／ビデオ記録方法は、上記の第８の発明に加えて更に、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第４のステップと、接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する第５のステップと、編集点を管理情報として記録媒体に記録する第６のステップと、を含むことを特徴とする。
【００３９】
また、上記の目的を達成するため、第１０の発明のオーディオ／ビデオ再生装置は、第７の発明の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、再生管理情報内の編集点に関して、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、編集点が再生シーケンス内の２つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録された記録媒体からビデオデータ及びオーディオデータを再生するに際し、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、上記の目的を達成するため、第１１の発明のオーディオ／ビデオ再生装置は、第３の発明または第１０の発明のオフセット時間算出手段を、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段としたことを特徴とする。
【００４０】
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第１２の発明のオーディオ／ビデオ再生方法は、第９の発明の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、第４の発明と同様の第１乃至第７のステップにより再生を行う。これにより、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生することができる。
【００４１】
また、上記の目的を達成するため、第１３の発明のオーディオ／ビデオ再生方法は、第４の発明又は第１２の発明の第２のステップを、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力することを特徴とする。
【００４２】
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
【００４３】
また、上記の目的を達成するため、第５の発明又は第１４の発明のオーディオ／ビデオ再生プログラムは、第２の発明の記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させることを特徴とする。
【００４４】
また、上記の目的を達成するため、第１５の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、少なくともオーバーラップ時間を管理情報として記録媒体に記録する記録手段と、を有する構成としたものである。
【００４５】
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を算出して管理情報として記録媒体に記録するようにしたため、再生時にオーバーラップ時間を計算しなくて済む。
【００４６】
また、上記の目的を達成するため、第１６の発明のオーディオ／ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第２のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第３のステップと、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第４のステップと、少なくともオーバーラップ時間を管理情報として記録媒体に記録する第５のステップと、を含むことを特徴とする。
【００４７】
この発明では、第１５の発明と同様に、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を算出して管理情報として記録媒体に記録するようにしたため、再生時にオーバーラップ時間を計算しなくて済む。
【００４８】
また、上記の目的を達成するため、第１７の発明は、第１５の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、記録媒体からオーバーラップ時間を再生するオーバーラップ時間再生手段と、接続点が再生シーケンス内の最初の接続点であった場合は、記録媒体から再生したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、記録媒体から再生したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオデータをオフセットしたＰＴＳに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
【００４９】
この発明では、再生時に記録媒体から読み出したオーバーラップ時間に基づいて、記録媒体から読み出した接続点が再生シーケンス内の最初の接続点であるのか、２つ目以降の接続点であるのかに応じて、現接続点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において所定値のオーディオドロップフラグを出力し、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
【００５０】
また、上記の目的を達成するため、第１８の発明のオーディオ／ビデオ再生装置は、第１７の発明におけるオフセット時間算出手段を、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、該オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段としたことを特徴とする。
【００５１】
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
【００５２】
また、上記の目的を達成するため、第１９の発明のオーディオ／ビデオ再生方法は、第１６の発明によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビオ再生方法であって、記録媒体からオーバーラップ時間を再生する第１のステップと、接続点が再生シーケンス内の最初の接続点であった場合は、記録媒体から再生したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、記録媒体から再生したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップと、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップと、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップと、記録媒体から再生したオーディオデータを第４のステップでオフセットしたＰＴＳに応じて再生すると共に、第３のステップで出力したオーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップと、第６のステップにより再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、を含むことを特徴する。
【００５３】
この発明は、第１７の発明と同様に、記録媒体から読み出したオーバーラップ時間に基づいて、現接続点でのオーディオＰＴＳオフセット時間として算出し、その算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
【００５４】
また、上記の目的を達成するため、第２０の発明のオーディオ／ビデオ再生方法は、第１６の発明の第２のステップを、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力することを特徴とする。
【００５５】
更に、上記の目的を達成するため、第２１の発明のオーディオ／ビデオ再生プログラムを、第１３の発明のオーディオ／ビデオ記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法をコンピュータに実行させるオーディオ／ビデオ再生プログラムとしたものである。
【００５６】
また、上記の目的を達成するため、第２２の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出するオフセット時間算出手段と、少なくともオーディオＰＴＳオフセット時間を管理情報として記録媒体に記録する記録手段と、を有する構成としたものである。
【００５７】
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出して管理情報として記録媒体に記録するようにしたため、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とすることができる。
【００５８】
また、上記の目的を達成するため、第２３の発明のオーディオ／ビデオ記録装置は、第１９の発明のオフセット時間算出手段を、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段とし、記録手段は、オーディオＰＴＳオフセット時間とオーディオドロップフラグを管理情報として記録媒体に記録することを特徴とする。この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
【００５９】
また、上記の目的を達成するため、第２４の発明のオーディオ／ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第２のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第３のステップと、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第４のステップと、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出する第５のステップと、少なくともオーディオＰＴＳオフセット時間を管理情報として記録媒体に記録する第６のステップと、を含むことを特徴とする。この発明では、第２２の発明のオーディオ／ビデオ記録装置と同様に、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とすることができる。
【００６０】
また、上記の目的を達成するため、第２５の発明のオーディオ／ビデオ記録方法は、第２１の発明の第５のステップを、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するステップとし、第６のステップは、オーディオＰＴＳオフセット時間とオーディオドロップフラグを管理情報として記録媒体に記録することを特徴とする。この発明は、第２３の発明のオーディオ／ビデオ記録装置と同様に、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
【００６１】
また、上記の目的を達成するため、第２６の発明のオーディオ／ビデオ再生装置は、第２２又は第２３の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオデータをオフセットしたＰＴＳに応じて再生するオーディオデータ再生手段と、記録媒体から再生したオーディオドロップフラグが所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するドロップ処理手段と、オーディオデータ再生手段により再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
【００６２】
この発明では、再生時に記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
【００６３】
また、上記の目的を達成するため、第２７の発明のオーディオ／ビデオ再生方法は、第２２又は第２３の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第１のステップと、記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットする第２のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第３のステップと、記録媒体から再生したオーディオデータをオフセットしたＰＴＳに応じて再生する第４のステップと、記録媒体から再生したオーディオドロップフラグが所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第５のステップと、第４のステップにより再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第６のステップと、を含むことを特徴する。
【００６４】
この発明では、第２６の発明のオーディオ／ビデオ再生装置と同様に、再生時に記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
【００６５】
また、本発明の第２８の発明のオーディオ／ビデオ記録プログラムは、コンピュータにより第２４の発明のオーディオ／ビデオ記録方法を実行させ、本発明の第２９の発明のオーディオ／ビデオ再生プログラムは、第２７の発明のオーディオ／ビデオ再生方法をコンピュータにより実行させることを特徴とする。
【図面の簡単な説明】
【００６６】
【図１】図１は、ビデオフレームとオーディオフレームの関係の一例を示す図である。
【図２】図２は、従来の接続編集とビデオ／オーディオ再生の概念図である。
【図３】図３は、従来の再生装置の一例のブロック図である。
【図４】図４は、従来の接続編集とビデオ／オーディオ再生の別の概念図である。
【図５】図５は、従来における、接続点でのオーディオ波形の一例である。
【図６】図６は、本発明における接続編集とビデオ／オーディオ再生の概念図である。
【図７】図７は、本発明の要部のオーディオエンコードブロック及びオーディオデコードブロックの一実施の形態のブロック図及び窓関数の一例を示す図である。
【図８】図８は、本発明の第１の実施の形態の接続編集とビデオ／オーディオ再生の概念図である。
【図９】図９は、本発明のオーディオ／ビデオ記録装置の実施の形態Ｉのブロック図である。
【図１０】図１０は、本発明のオーディオ／ビデオ記録方法の実施の形態Ｉのフローチャートである。
【図１１】図１１は、本発明のオーディオ／ビデオ再生装置の実施の形態Ｉのブロック図である。
【図１２】図１２は、本発明のオーディオ／ビデオ再生方法の実施の形態Ｉのフローチャートである。
【図１３】図１３は、オーディオバッファ占有量を考慮した場合の、本発明の記録方法の一実施の形態のフローチャートである。
【図１４】図１４は、オーディオバッファ占有量を考慮した場合の、本発明の編集方法の一実施の形態のフローチャートである。
【図１５】図１５は、本発明の第２の実施の形態の接続編集とビデオ／オーディオ再生の概念図である。
【図１６】図１６は、本発明のオーディオ／ビデオ記録装置の実施の形態IIのブロック図である。
【図１７】図１７は、本発明のオーディオ／ビデオ記録方法の実施の形態IIのフローチャートである。
【図１８】図１８は、本発明のオーディオ／ビデオ再生装置の実施の形態IIのブロック図である。
【図１９】図１９は、本発明のオーディオ／ビデオ再生方法の実施の形態IIのフローチャートである。
【図２０】図２０は、本発明のオーディオ／ビデオ記録装置の実施の形態IIIのブロック図である。
【図２１】図２１は、本発明のオーディオ／ビデオ記録方法の実施の形態IIIのフローチャートである。
【図２２】図２２は、本発明のオーディオ／ビデオ再生装置の実施の形態IIIのブロック図である。
【図２３】図２３は、本発明のオーディオ／ビデオ再生方法の実施の形態IIIのフローチャートである。
【発明を実施するための形態】
【００６７】
以下、図面を参照して本発明の実施の形態について説明する。
図６は本発明になるオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法及び再生プログラムの一実施の形態における接続編集とビデオ／オーディオ再生の例を示す。同図中、図２と同一部分には同一符号を付し、その説明を省略する。図６の実施の形態は図２の従来例と同様に、ＶＯＢ（ｉ）の時刻ＸからＶＯＢ（ｊ）の時刻Ｙへ接続する例であるが、本実施の形態では、以下の２つの点が従来例と異なる。
【００６８】
（１）  接続編集後にＶＯＢ（ｉ）で有効な最後のオーディオフレームは、時刻Ｘを含むオーディオフレームである（オーディオフレームの再生終了時刻が時刻Ｘと等しい場合（＊１）を含む。）。同様に、接続編集後にＶＯＢ（ｊ）で有効な最初のオーディオフレームは、時刻Ｙを含むオーディオフレームである（オーディオフレームの再生開始時刻が時刻Ｙと等しい場合（＊２）を含む）。つまり、接続後のＺ点において、ＶＯＢ（ｉ）の最後のオーディオフレームとＶＯＢ（ｊ）の最初のオーディオフレームがオーバーラップする。図６にＯＬで示すオーバーラップ部分を、本明細書ではオーディオオーバーラップ（Ａ＿ｏｖｅｒｌａｐ）と呼ぶものとする。なお、上記の＊１と＊２が同時に満足される場合には、Ａ＿ｏｖｅｒｌａｐはゼロとなる。
【００６９】
（２）  ＶＯＢ（ｊ）のオーディオ再生においては、上記Ａ＿ｏｖｅｒｌａｐをキャンセルする分だけオーディオフレームの再生時刻（ＰＴＳ：Presentation Time Stamp）をオフセットして再生する。このオフセット量を、本明細書ではオーディオＰＴＳオフセット（Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ）と呼ぶものとする。
【００７０】
このように本実施の形態では、後続のＶＯＢのオーディオフレームをオフセットし、接続点付近で、オーディオフレームのギャップを無くして接続することができ、上記問題点の１つが解決される。
【００７１】
更に、接続点での不連続ノイズを生じさせないため、本実施の形態では、オーディオ符号化方式の選択に工夫を行う。
【００７２】
図７の（Ａ）は本発明になるオーディオ／ビデオ記録装置及び再生装置のオーディオエンコードブロック及びオーディオデコードブロックの一実施の形態のブロック図を示す。
【００７３】
図７の（Ａ）に示すように、オーディオエンコードブロックでは、入力オーディオ信号は、窓掛け部１１において窓関数との乗算による窓掛け処理された後、直交変換部１２に供給されて直交変換され、更に量子化／符号化部１３に供給されて所定サンプリング周波数に基づいて量子化された後、所定の方式の圧縮符号化が行われる。これにより得られた圧縮符号化オーディオデータは、図示しないビデオデータ記録系で圧縮符号化されたビデオデータと共に、図示しない多重化部でＭＰＥＧシステムの多重化により、例えばＭＰＥＧプログラムストリームとして記録媒体１４上に公知の記録手段により記録される。
【００７４】
一方、記録媒体１４から公知の再生手段により再生された多重化ストリームは、図示しない分離化部によりオーディオデータとビデオデータに分離された後、ビデオデータは図示しないビデオデータ再生系へ出力され、オーディオデータはオーディオデコードブロック内の復号化／逆量子化部１５に供給されて復号化される。復号化及び逆量子化されたオーディオデータは、直交逆変換部１６により直交逆変換された後、窓掛け部１７に供給されて所定の窓関数との乗算による窓掛け処理が行われた後オーディオ信号に復元される。
【００７５】
次に、窓掛け部１１及び１７で使用される窓関数について、図７の（Ｂ）〜（Ｄ）と共に説明する。各オーディオフレームの窓関数は、図７の（Ｃ）に示すように、左肩をｆ（ｘ）、右肩をｇ（ｘ）とした左右対称形をしている。ここで、中央のフラット部分はあっても無くてもよい。図７の（Ｂ）に模式的に示す隣り合ったオーディオフレーム（ｉ）と（ｉ＋１）の間で、オーディオフレーム（ｉ）の窓関数ｇ（ｘ）部分と、オーディオフレーム（ｉ＋１）の窓関数ｆ（ｘ）部分がオーバーラップする。
【００７６】
ここで、実際にオーディオフレーム（ｉ）で符号化するオーディオサンプルは、図７の（Ｂ）に示す（ｉ）レンジで示した部分であることに注意されたい。エンコード側の窓掛け部１１とデコード側の窓掛け部１７で都合２回の窓掛けを行うことを考慮すると、上記のオーディオフレーム（ｉ）と（ｉ＋１）のオーバーラップ部分で、
ｆ（ｘ）2＋ｇ（ｘ）2＝１.０        ・・・  ［式１］
を満たす必要がある。このような窓関数の一例としては、
ｆ（ｘ）＝ｓｉｎ（ｘ）              ・・・  ［式２］
ｇ（ｘ）＝ｃｏｓ（ｘ）              ・・・  ［式３］
があるが、［式１］を満足するのであれば、どのような関数でもよい。
【００７７】
このような窓関数を使用したオーディオ符号化方式を用いる場合、本来不連続なオーディオフレーム同士を接続した場合でも、図７の（Ｄ）に示すように、２回の窓掛けによるｆ（ｘ）２とｇ（ｘ）２の窓関数により、オーディオサンプル同士が滑らかに足し合わせられるので、接続点で不連続ノイズを生じることは無い。従って、２つ目の問題点が解決される。つまり、以上により計２つの問題点が解決され、オーディオフレーム同士のシームレス接続が実現する。
【００７８】
＜第１の実施の形態の接続編集とビデオ／オーディオ再生＞
次に、図と関連する数式を用いて、第１の実施の形態について詳細に説明する。図８はＶＯＢ１、ＶＯＢ２、ＶＯＢ３のそれぞれの一部をこの順序で接続編集する場合のビデオ／オーディオ記録方法及び再生方法の第１の実施の形態を示す（なお、ここでは接続前のＶＯＢ１、ＶＯＢ２、ＶＯＢ３の図は省略してある。また、便宜上、図８の各ＶＯＢに含まれるビデオ／オーディオフレーム数は少ないが、現実には数十秒から数時間程度に相当するフレーム群が各ＶＯＢに含まれ得ることに注意されたい。）。なお、図８及び後述する図１５において、ＴVは既に説明したビデオフレーム周期である。
【００７９】
図８において、点線矩形で示すオーディオフレーム群は、接続前の状態であり、実線矩形で示すオーディオフレーム群が、接続後の状態である。他方、ビデオフレーム群は全て接続後の状態で表示されている。以下、図８およびこれ以降の図と共に、本実施の形態で使用する変数類についてまとめて説明する。なお、以下のｋは正の整数であり、図８の例では１、２、３のいずれかが入る。
【００８０】
図８において、ＳＴＣｋは、ＶＯＢｋ再生中に使用するＳＴＣ値のカウントアップを示す模式表現である。ＳＴＣ＿ｄｅｌｔａｋはＳＴＣ（ｋ−１）とＳＴＣｋの差分であり、次式で表される。
ＳＴＣ＿ｄｅｌｔａk＝ＳＴＣ（ｋ−１）−ＳＴＣｋ  ・・・［式４］
【００８１】
また、ＴAは、既に説明したように、オーディオフレーム周期である。Ａ＿ｏｖｅｒｌａｐkは、既に説明したように、ＶＯＢｋとＶＯＢ（ｋ−１）の間のオーディオフレーム同士のオーバーラップ時間である。なお、この例では、ＶＯＢ１は先頭なので、Ａ＿ｏｖｅｒｌａｐ1＝０である。
【００８２】
また、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkは、既に説明したように、ＶＯＢｋ再生時のオーディオＰＴＳに対する必要なオフセット時間である。なお、この例では、ＶＯＢ１は先頭なので、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ1＝０である。ＰＴＳｋａｕｄｉｏ＿ｅｎｄは、ＶＯＢｋの、最後のオーディオフレームの再生開始時刻（ＰＴＳ値）である。なお、これは接続編集前の値である。
【００８３】
ＰＴＳkａｕｄｉｏ＿ｓｔａｒｔは、ＶＯＢｋの、最初のオーディオフレームの再生開始時刻（ＰＴＳ値）である。なお、これは接続編集前の値である。このとき、Ａ＿ｏｖｅｒｌａｐkは次のように計算できる。
Ａ＿ｏｖｅｒｌａｐk＝（ＰＴＳk-1ａｕｄｉｏ＿ｅｎｄ＋ＴA）
−（ＰＴＳkａｕｄｉｏ＿ｓｔａｒｔ＋ＳＴＣ＿ｄｅｌｔａk）
・・・［式５］
なお、［式５］の右辺第二項は、ＳＴＣｋ上の時刻をＳＴＣ（ｋ−１）上に写像するために、ＳＴＣ＿ｄｅｌｔａkを足し合わせている。
【００８４】
次に、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkは、基本的にはＡ＿ｏｖｅｒｌａｐkをゼロにするように後続のＶＯＢのオーディオフレーム群をオフセットする量であるので、図８のｋ＝２については、
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2＝Ａ＿ｏｖｅｒｌａｐ2    ・・・［式６］
が成り立つ。さらに、図８のｋ＝３については、ｋ＝２において、既にＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2の量だけＶＯＢ２のオーディオフレーム群はオフセットされているので、本来のＡ＿ｏｖｅｒｌａｐ3に加えて、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2の分オーバーラップ量が加算される。これをゼロにするため、ｋ＝３については
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3
＝Ａ＿ｏｖｅｒｌａｐ3＋Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2  ・・・［式７］
が基本的に要求される。従って、一般式としては、
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk
＝Ａ＿ｏｖｅｒｌａｐk  ＋  Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk-1
・・・［式８］
が成り立つ。
【００８５】
但し、ここで、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkがオーディオフレーム周期ＴAよりも大きくなる場合には、ＶＯＢ（ｋ−１）の最後のオーディオフレームを再生から落とすことにより、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkの量を減らすことができる。図８では、×印で示したフレームを脱落させる。この条件式を下に示す。ここで、ＡＦ＿ｄｒｏｐk-1は、ＶＯＢ（ｋ−１）の最後のオーディオフレームを脱落させる場合に値１を持つ（脱落させない場合は０）、オーディオドロップフラグである。図８の例の場合、ＡＦ＿ｄｒｏｐ2＝１となる。
【００８６】
Ｉｆ（Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＞＝ＴA）｛
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＝Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk−ＴA；
ＡＦ＿ｄｒｏｐk-1＝１；
｝ｅｌｓｅ  ＡＦ＿ｄｒｏｐk-1＝０；            ・・・  ［式９］
このような脱落処理を行えば、ＶＯＢの接続回数が増えた場合にもＡ＿ＰＴＳ＿ｏｆｆｓｅｔの値が累積して過剰に大きくなるのを防ぐことができる。
【００８７】
本発明では、接続後のＶＯＢｋでオーディオフレームを本来のビデオフレームとの同期関係からＡ＿ＰＴＳ＿ｏｆｆｓｅｔ分だけずらして再生する。一般には、このズレはリップシンクに影響を及ぼし、ズレが１〜２ビデオフレーム周期より大きくなると、リップシンクの劣化が検知できるといわれている。従って、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ値は過剰に大きくならない方がよい。例えば、オーディオフレーム周期ＴAがビデオフレーム周期ＴV以下であれば、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔをオーディオフレーム周期ＴA以内に抑えるのは有効である。
【００８８】
＜オーディオ／ビデオ記録装置の実施の形態Ｉ＞
次に、本発明になるオーディオ／ビデオ記録装置の実施の形態Ｉについて説明する。図９は、本発明になるオーディオ／ビデオ記録装置の実施の形態Ｉのブロック図を示す。ここでは、複数のＶＯＢの記録は終了しているものとし、それらの接続編集動作について説明する。
【００８９】
図９において、ユーザーインタフェース部２５、管理情報制御部２６及びオブジェクト制御部２７は、ＭＰＵブロック２２を構成しており、ＭＰＵ（Micro Processing Unit）のソフトウェア処理により実現される。
【００９０】
まず、編集指示はユーザーインタフェース部２５を通じてユーザーから与えられる。管理情報制御部２６では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、まず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部２７、ビデオ／オーディオエンコードブロック２４、媒体記録制御部２３を通じて行われ、記録媒体２１に書き込まれる。
【００９１】
＜オーディオ／ビデオ記録方法の実施の形態Ｉ＞
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ／ビデオ記録方法の実施の形態Ｉのオーディオシームレス接続のための計算と記録について、図１０のフローチャートを併せ参照して説明する。
【００９２】
まず、管理情報制御部２６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（ステップＳ１）。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（ステップＳ２）。
【００９３】
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる（ステップＳ３）。すなわち、接続元のＶＯＢの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のＶＯＢの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。最後に、編集後のＶＯＢ（接続点付近のデータ）が、オブジェクト制御部２７及び媒体記録制御部２３を通して記録媒体２１に書き込まれる（ステップＳ４）。このとき、上記の編集点の情報も管理情報として記録媒体２１に書き込まれる。なお、ビデオ／オーディオエンコードブロック２４中のオーディオエンコードブロックは、図７の（Ａ）のエンコード側の構成を有している。
【００９４】
なお、図１０で説明した記録方法は、図９で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
【００９５】
＜オーディオ／ビデオ再生装置の実施の形態Ｉ＞
次に、本発明になるオーディオ／ビデオ再生装置の実施の形態Ｉについて説明する。図１１は本発明になるオーディオ／ビデオ再生装置の実施の形態Ｉのブロック図を示す。
【００９６】
図１１において、記録媒体３１には図９に示した記録装置により編集記録された編集後のＶＯＢが記録されている。また、ユーザーインタフェース部３６、管理情報制御部３７、Ａ＿ｏｖｅｒｌａｐ計算部３８、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９及びオブジェクト制御部４０は、ＭＰＵブロック４１を構成している。
【００９７】
この再生装置では、まず、再生指示がユーザーインタフェース部３６を介して管理情報制御部３７に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のＶＯＢを接続して再生する情報が登録されているとする。以下、ＶＯＢデータ再生の基本的な手続きを示す。
【００９８】
再生シーケンスに登録されているＶＯＢの再生関連情報は、管理情報制御部３７で判定され、オブジェクト制御部４０及び媒体再生制御部３２を介してＶＯＢデータが記録媒体３１から読み出される。なお、編集点等の管理情報は、既に記録媒体３１から媒体再生制御部３２を介して読み出され、ＭＰＵブロック４０内のメモリ（図示しない）に常時保存されているとする。
【００９９】
読み出されたＶＯＢデータは、媒体再生制御部３２よりデマルチプレクサ３３に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック３４に供給され、オーディオデータは図７の（Ａ）のデコード側として示した構成を有するオーディオデコードブロック３５に供給され、ビデオデータはそのビデオデータに付随したビデオＰＴＳに応じてデコードされてビデオフレームとなり、またオーディオデータはオフセットしたＰＴＳに応じてデコードされる。なお、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームは再生されない。
【０１００】
この際、ＳＣＲなどのクロック情報はデマルチプレクサ３３で解読され、必要に応じてＭＰＵブロック４０へ渡される。また、ＳＴＣなどのクロック情報は、ＭＰＵブロック４０から、デマルチプレクサ３３、ビデオデコードブロック３４及びオーディオデコードブロック３５へ渡され、ＳＴＣに準拠して再生タイミングが制御される。
【０１０１】
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体３１には前述した接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間Ａ＿ｏｖｅｒｌａｐと、Ａ＿ｏｖｅｒｌａｐをゼロにするように後続のＶＯＢのオーディオフレーム群をオフセットして再生するためのオフセット量を示すＡ＿ＰＴＳ＿ｏｆｆｓｅｔとが、記録媒体３１に記録されていないので、再生側で計算して用いる。
【０１０２】
すなわち、Ａ＿ｏｖｅｒｌａｐ計算部３８は、管理情報制御部３７に入力された再生シーケンスの情報から得た編集点での情報を、前述した［式５］に代入して、オーバーラップ時間Ａ＿ｏｖｅｒｌａｐを計算する。また、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９は、Ａ＿ｏｖｅｒｌａｐ計算部３８により計算された接続点でのＡ＿ｏｖｅｒｌａｐが管理情報制御部３７を介して入力されてＡ＿ＰＴＳ＿ｏｆｆｓｅｔを計算する。
【０１０３】
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９は、入力されたＡ＿ｏｖｅｒｌａｐに基づいて、［式８］の演算式によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔを算出し、更に［式９］の条件式に基づいてＡＦ＿ｄｒｏｐを算出し、これらを管理情報制御部３７に供給する。管理情報制御部３７は入力されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ及びＡＦ＿ｄｒｏｐをオーディオデコードブロック３５へ供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生する。また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
【０１０４】
＜オーディオ／ビデオ再生方法の実施の形態Ｉ＞
次に、本発明のオーディオ／ビデオ再生方法の実施の形態Ｉについて、図１２のフローチャートと共に説明する。
【０１０５】
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるＶＯＢの情報が確認される（ステップＳ１１）。続いて、ＶＯＢ接続点毎に、Ａ＿ｏｖｅｒｌａｐ計算部３８により接続点でのＡ＿ｏｖｅｒｌａｐを計算し、更にこのＡ＿ｏｖｅｒｌａｐに基づきＡ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を計算する（ステップＳ１２）。
【０１０６】
続いて、ＶＯＢの再生開始と同時または直前に、シームレス接続を可能にするように、ＳＴＣがリセットされると共に、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９により計算されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）が、オーディオデコードブロック３５へセットされる（ステップＳ１３）。
【０１０７】
その後ＶＯＢデータが実際に記録媒体３１から読み出され、媒体再生制御部３２及びデマルチプレクサ３３を経てビデオデータはビデオデコードブロック３４に供給され、オーディオデータはオーディオデコードブロック３５に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される（ステップＳ１４）。ＡＦ＿ｄｒｏｐ＝１の場合、ＶＯＢの最後のオーディオフレームは再生されないように処理される（ステップＳ１５）。
【０１０８】
このようにして再生されたオーディオフレームは、オーディオデコードブロック３５内の図７の（Ａ）に示したデコーダにより窓掛け処理と直交逆変換処理を含む符号化がされてオーディオ信号として出力される。続いて、再生シーケンス中の全ＶＯＢに対して上記の処理が実施されたかどうか判定し（ステップＳ１６）、最後のＶＯＢであれば、再生を終了する（ステップＳ１７）。
【０１０９】
なお、図１２で説明した再生方法は、図１１で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
【０１１０】
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
【０１１１】
次に、図１１の再生装置に関し、オーディオデコードブロック３５に含まれるオーディオバッファ（図示しない）について説明する。一般に、必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、運用するときのビットレートなどによって決定される。本発明の第１の実施の形態では、オーディオバッファからオーディオデコーダへのデータ転送が、最大１オーディオフレーム周期分遅れる。従って、本発明に必要なオーディオバッファの量は、本発明を適用しない「Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＝０」の場合のオーディオバッファ量に、１オーディオフレーム分のデータ量を加えた量になる。
【０１１２】
従って、オーディオバッファサイズに上限を設ける場合においては、オーディオストリームを含むＶＯＢの記録時に、オーディオバッファサイズ上限から１オーディオフレーム分のデータ量を減じたバッファ占有量を上限として、オーディオデータを多重化しておけば、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。この場合、オーディオバッファ占有量が（オーディオバッファサイズ上限−１オーディオフレーム分のデータ量）を超えないで多重化されたことを示すフラグ（ここでは、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグとする）をディスク上に記録しておけば、本発明のオーディオシームレス接続を構成する場合の指標となり得る。
【０１１３】
図１３は、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグを考慮してＶＯＢを記録する場合の、本発明のオーディオ／ビデオ記録方法の一実施の形態のフローチャートを示す。ここでは、オーディオバッファサイズ占有量が（オーディオバッファサイズ上限−１オーディオフレームのデータ量）以下であるように多重化された場合、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓ＝１とし、そうでない場合０と定義する。
【０１１４】
以下、上記の記録方法について図１３及び図９を併せ参照して説明する。まず、ＭＰＵブロック２２内の管理情報制御部２６が、このオーディオバッファ条件（所定のオーディオ多重化状態）を満足するように多重化するかどうかを決定する（図１３のステップＳ２１）。このとき、必要に応じてユーザーインタフェース部２５を解してユーザーの指示を受ける。
【０１１５】
上記の条件を満足させる場合、管理情報制御部２６から条件満足の通知を受けたオブジェクト制御部２７からの指示により、ビデオ／オーディオエンコードブロック２４はオーディオバッファ占有量が規定のオーディオバッファ上限から１オーディオフレームのデータ量を減じた値以下であるように、オーディオデータをビデオデータと多重化し、その多重化して得られたＶＯＢを媒体記録制御部２３を介して記録媒体２１に記録する（図１３のステップＳ２２）。また、管理情報制御部２６はオーディオ多重化状態を示すａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグを１とし、他の管理情報と共に媒体記録制御部２３を介して記録媒体２１に記録する（図１３のステップＳ２３）。
【０１１６】
他方、ステップＳ２１でオーディオバッファ条件を満足させない（または条件を満足することを保障しない）と管理情報制御部２６が判断した場合、管理情報制御部２６から条件満足の否定通知を受けたオブジェクト制御部２７からの指示により、ビデオ／オーディオエンコードブロック２４で通常のオーディオバッファ条件により得られたＶＯＢが媒体記録制御部２３を介して記録媒体２１に記録される（図１３のステップＳ２４）。また、管理情報制御部２６により他の管理情報と共に作成された、値が０に設定された上記のａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグが、媒体記録制御部２３を介して記録媒体２１に記録される（図１３のステップＳ２５）。
【０１１７】
図１４は、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグを考慮してＶＯＢを編集する場合の、本発明のオーディオ／ビデオ編集方法の一実施の形態のフローチャートを示す。図１０と同様に、図９の管理情報制御部２６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（図１４のステップＳ３１）。続いて、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（図１４のステップＳ３２）。
【０１１８】
次に、ビデオ接続点が決定された後、図９の媒体記録制御部２３を介して記録媒体２１から読み出した管理情報内の接続対象のＶＯＢに関連するａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグの値が１であるか否かを管理情報制御部２６が確認する（図１４のステップＳ３３）。ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグの値が１の場合、本発明に従ってオーディオオーバーラップとなるようにオーディオフレーム編集点を決定する（図１４のステップＳ３４）。ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグの値が０の場合、従来技術に従ってオーディオギャップとなるようにオーディオフレーム編集点を決定する（図１４のステップＳ３５）。
【０１１９】
ステップＳ３４又はＳ３５の処理後に、編集後のＶＯＢ（接続点付近のデータ）が、オブジェクト制御部２７及び媒体記録制御部２３を通して記録媒体２１に書き込まれると共に、編集点の情報も管理情報として記録媒体２１に書き込まれる（図１４のステップＳ３６）。
【０１２０】
なお、上記第１の実施の形態において、編集後のデータ（ビデオデータ、オーディオデータ）の記録場所については、使用する記録メディアや前提とする再生装置に依存するシーク条件などを考慮した場合に、シームレス再生が保障できる限りにおいて、特に本発明として限定しない。つまり、データの記録場所の如何にかかわらず、実質的にオーディオオーバーラップを持って編集データが構成され、オーディオＰＴＳオフセットを持って再生可能な場合には、本発明の趣旨を満足する。
【０１２１】
＜第２の実施の形態の接続編集とビデオ／オーディオ再生＞
次に、本発明の第２の実施の形態について、第１の実施の形態との相違点を中心に説明する。図８に接続編集とビデオ／オーディオ再生の概念を示した第１の実施の形態では、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔの値が常にゼロ以上（時間遅れ）になる。これに対し、図１５に示す第２の実施の形態では、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔの値が負になること（時間進み）も許容する。言い換えると、第１の実施の形態では、基本的に０≦Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＜ＴAとなるようにしたが、第２の実施の形態では、基本的に−０.５×ＴA＜Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ≦０.５×ＴA（又は−０.５×ＴA≦Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＜０.５×ＴA）となる場合の例である。
【０１２２】
第２の実施の形態も、［式４］〜［式８］はそのまま適用できるが、［式９］は上述のように、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔの値域を規定するため、以下の式と置き換えられる。
Ｉｆ（Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＞０.５×ＴA）｛
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＝Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk−ＴA；
ＡＦ＿ｄｒｏｐk-1＝１；
｝ｅｌｓｅ  ＡＦ＿ｄｒｏｐk-1＝０            ・・・  ［式１０］
ここで、図１５における計算を更に説明する。図１５の第一の接続点では、まず［式６］により、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2＝Ａ＿ｏｖｅｒｌａｐ2となるが、この例ではＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2が０.５×ＴAよりも大きいので、［式１０］のＩｆ文が真になり、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2は負の値になる（オフセットが時間進みになる）。同時に、ＡＦ＿ｄｒｏｐ1＝１となる。つまり、ＶＯＢ１の最後のオーディオフレームが再生から脱落される。図１５には脱落済みの状態が図示されている。
【０１２３】
次に、図１５の第二の接続点では、［式７］によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔ3は、Ａ＿ｏｖｅｒｌａｐ3とＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2の和として計算される。この例ではＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2が負の値であるので、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3は、Ａ＿ｏｖｅｒｌａｐ3よりも小さな値となる。なお、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3は、０.５×ＴAよりも小さいので、［式１０］のＩｆ文が偽になり、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3は正の値になる（オフセットが時間遅れになる）。同時に、ＡＦ＿ｄｒｏｐ2＝０となる。
【０１２４】
第２の実施の形態の上記以外の構成は、第１の実施の形態と同じである。つまり、図９、図１０、図１１、図１２で示した、記録／編集装置及び方法、再生装置及び再生方法のように、再生時にＶＯＢ接続点毎にＡ＿ｏｖｅｒｌａｐを計算し、更にこのＡ＿ｏｖｅｒｌａｐに基づきＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を計算し、計算したＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）をオーディオデコードブロック３５に供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生するように制御し、また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
【０１２５】
このようにして、本実施の形態も第１の実施の形態と同様に、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。また、本実施の形態も、第１の実施の形態と同様に、編集方法や再生方法がコンピュータ上のプログラムとしても実施できる。
【０１２６】
次に、図１１の再生装置に関し、オーディオデコードブロック３５に含まれるオーディオバッファ（図示しない）について説明する。一般に、必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、運用するときのビットレートなどによって決定される。本発明の第１の実施の形態では、オーディオバッファからオーディオデコーダへのデータ転送が、最大１オーディオフレーム周期分遅れる。従って、本発明に必要なオーディオバッファの量は、本発明を適用しない「Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＝０」の場合のオーディオバッファ量に、１オーディオフレーム分のデータ量を加えた量になる。
【０１２７】
一方、第２の実施の形態の場合も、最大０.５オーディオフレーム周期遅れを考慮すると、必要なオーディオバッファの量は、本発明を適用しない「Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＝０」の場合のオーディオバッファ量に、１オーディオフレーム分のデータ量を加えた量になる。さらに、第２の実施の形態の場合は、最大０.５オーディオフレーム周期早くオーディオバッファからオーディオデコーダへのデータ転送が行われることを考慮すると、ＶＯＢの作成時に、再生時のオーディオバッファ占有量が常に１オーディオフレームデータ量以上になるような多重化を行う必要がある。
【０１２８】
従って、オーディオバッファサイズに上限を設ける場合においては、オーディオストリームを含むＶＯＢの記録時に、オーディオバッファサイズ上限から１オーディオフレーム分のデータ量を減じたバッファ占有量を上限として、オーディオデータを多重化しておけば、再生時に最大０.５オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。この場合、オーディオバッファ占有量が（オーディオバッファサイズ上限−１オーディオフレーム分のデータ量）を超えないで、多重化されたことを示すフラグ（ここでは、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグとする）をディスク上に記録しておけば、本発明のオーディオシームレス接続を構成する場合の指標となり得る。
【０１２９】
更に、第２の実施の形態の場合には、オーディオバッファ占有量が常に１オーディオフレームのデータ量以上になるように多重化されていることを示すフラグを準備すれば、この実施の形態に応じてオーディオシームレス接続を構成する場合の指標となり得る。このフラグと先のａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグは、別のフラグでもよいし、同一のフラグで兼ねてもよい。第２の実施の形態の場合にも、オーディオバッファ条件に、オーディオバッファ占有量が常に１オーディオフレームのデータ量以上になるという条件が加わることを除いて、図１３と図１４と同じ処理ステップで記録と編集が可能である。
【０１３０】
なお、編集後のデータ（ビデオデータ、オーディオデータ）の記録場所については、使用する記録メディアや前提とする再生装置に依存するシーク条件などを考慮した場合に、シームレス再生が保障できる限りにおいて、特に本発明として限定しない。つまり、データの記録場所の如何にかかわらず、実質的にオーディオオーバーラップを持って編集データが構成され、オーディオＰＴＳオフセットを持って再生可能な場合には、本発明の趣旨を満足する。
【０１３１】
＜オーディオ／ビデオ記録／再生の他の実施の形態＞
次に、先に説明した本発明になるオーディオ／ビデオ記録装置／方法及び再生装置／方法のその他の実施形態について説明する。
【０１３２】
＜オーディオ／ビデオ記録装置の実施の形態II＞
図１６は本発明になるオーディオ／ビデオ記録装置の実施の形態IIのブロック図を示す。ここでは、複数のＶＯＢの記録は終了しているものとし、それらの接続編集動作について説明する。
【０１３３】
図１６において、ユーザーインタフェース部４５、管理情報制御部４６、Ａ＿ｏｖｅｒｌａｐ計算部４７、及びオブジェクト制御部４８は、ＭＰＵブロック４２を構成しており、ＭＰＵ（Micro Processing Unit）のソフトウェア処理により実現される。
【０１３４】
まず、編集指示はユーザーインタフェース部４５を通じてユーザーから与えられる。管理情報制御部４６では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、先ず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部４８、ビデオ／オーディオエンコードブロック４４、媒体記録制御部４３を通じて行われ、記録媒体４１に書き込まれる。
【０１３５】
＜オーディオ／ビデオ記録方法の実施の形態II＞
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ／ビデオ記録方法の実施の形態IIのオーディオシームレス接続のための計算と記録について、図１７のフローチャートを併せ参照して説明する。
【０１３６】
まず、管理情報制御部４６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（ステップＳ４１）。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（ステップＳ４２）。
【０１３７】
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる（ステップＳ４３）。すなわち、接続元のＶＯＢの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のＶＯＢの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。
【０１３８】
続いて、Ａ＿ｏｖｅｒｌａｐ計算部４７において、前述したＡ＿ｏｖｅｒｌａｐの計算が行われる（ステップＳ４４）。最後に、編集後のＶＯＢ（接続点付近のデータ）、計算されたＡ＿ｏｖｅｒｌａｐと再生シーケンス等の管理情報が、オブジェクト制御部４８及び媒体記録制御部４３を通して記録媒体４１に書き込まれる（ステップＳ４５）。再生シーケンスには、再生すべきＶＯＢの情報、接続点の情報などが含まれる。なお、ビデオ／オーディオエンコードブロック４４中のオーディオエンコードブロックは、図７の（Ａ）のエンコード側の構成を有している。
【０１３９】
なお、図１７で説明した記録方法は、図１６で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
【０１４０】
＜オーディオ／ビデオ再生装置の実施の形態II＞
次に、本発明になるオーディオ／ビデオ再生装置の実施の形態IIについて説明する。図
１８は本発明になるオーディオ／ビデオ再生装置の実施の形態IIのブロック図を示す。
【０１４１】
図１８において、記録媒体５１には図１６に示した記録装置により編集記録された編集後のＶＯＢや管理情報が記録されている。また、ユーザーインタフェース部５６、管理情報制御部５７、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８及びオブジェクト制御部５９は、ＭＰＵブロック６０を構成している。
【０１４２】
この再生装置では、まず、再生指示がユーザーインタフェース部５６を介して管理情報制御部５７に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のＶＯＢを接続して再生する情報が登録されているとする。以下、ＶＯＢデータ再生の基本的な手続きを示す。
【０１４３】
再生シーケンスに登録されているＶＯＢの再生関連情報は、管理情報制御部５７で判定され、オブジェクト制御部５９及び媒体再生制御部５２を介してＶＯＢデータが記録媒体５１から読み出される。なお、再生シーケンス等の管理情報は、既に記録媒体５１から媒体再生制御部５２を介して読み出され、ＭＰＵブロック６０内のメモリ（図示しない）に常時保存されているとする。
【０１４４】
読み出されたＶＯＢデータは、媒体再生制御部５２よりデマルチプレクサ５３に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック５４に供給され、オーディオデータは図７の（Ａ）のデコード側として示した構成を有するオーディオデコードブロック５５に供給され、それぞれデコードされ、デコード後のビデオフレーム、オーディオフレームが出力される。この際、ＳＣＲなどのクロック情報はデマルチプレクサ５３で解読され、必要に応じてＭＰＵブロック６０へ渡される。また、ＳＴＣなどのクロック情報は、ＭＰＵブロック６０から、デマルチプレクサ５３、ビデオデコードブロック５４及びオーディオデコードブロック５５へ渡され、ＳＴＣに準拠して再生タイミングが制御される。
【０１４５】
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体５１には接続点でのＡ＿ｏｖｅｒｌａｐを含む管理情報が記録されているので、媒体再生制御部５２により記録媒体５１から読み出された管理情報は、オブジェクト制御部５９を介して管理情報制御部５７に供給され、ここで管理情報から接続点でのＡ＿ｏｖｅｒｌａｐが取り出されてＡ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８に供給される。
【０１４６】
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８は、入力されたＡ＿ｏｖｅｒｌａｐに基づいて、［式８］の演算式によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔを算出し、更に［式９］の条件式に基づいてＡＦ＿ｄｒｏｐを算出し、これらを管理情報制御部５７に供給する。管理情報制御部５７は入力されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ及びＡＦ＿ｄｒｏｐをオーディオデコードブロック５５へ供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生する。また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
【０１４７】
＜オーディオ／ビデオ再生方法の実施の形態II＞
次に、本発明のオーディオ／ビデオ再生方法の実施の形態IIについて、図１９のフローチャートと共に説明する。
【０１４８】
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるＶＯＢの情報が確認される（ステップＳ５１）。続いて、ＶＯＢ接続点毎に、再生されたＡ＿ｏｖｅｒｌａｐに基づきＡ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を計算する（ステップＳ５２）。
【０１４９】
続いて、ＶＯＢの再生開始と同時または直前に、ＳＴＣはシームレス接続を可能にするようにリセットされると共に、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８により計算されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）が、オーディオデコードブロック５５へセットされる（ステップＳ５３）。
【０１５０】
その後ＶＯＢデータが実際に記録媒体５１から読み出され、媒体再生制御部５２及びデマルチプレクサ５３を経てビデオデータはビデオデコードブロック５４に供給され、オーディオデータはオーディオデコードブロック５５に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される（ステップＳ５４）。ＡＦ＿ｄｒｏｐ＝１の場合、ＶＯＢの最後のオーディオフレームは再生されないように処理される（ステップＳ５５）。
【０１５１】
このようにして再生されたオーディオフレームは、図７の（Ａ）に示したデコーダにより窓掛け処理と直交逆変換処理を含む符号化がされてオーディオ信号として出力される。続いて、再生シーケンス中の全ＶＯＢに対して上記の処理が実施されたかどうか判定し（ステップＳ５６）、最後のＶＯＢであれば、再生を終了する（ステップＳ５７）。
【０１５２】
なお、図１９で説明した再生方法は、図１８で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
【０１５３】
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
【０１５４】
＜オーディオ／ビデオ記録装置の実施の形態III＞
次に、本発明になるオーディオ／ビデオ記録装置の実施の形態IIIについて説明する。図２０は本発明になるオーディオ／ビデオ記録装置の実施の形態IIIのブロック図を示す。ここでは、複数のＶＯＢの記録は終了しているものとし、それらの接続編集動作について説明する。
【０１５５】
図２０において、ユーザーインタフェース部６５、管理情報制御部６６、Ａ＿ｏｖｅｒｌａｐ計算部６７、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部６８及びオブジェクト制御部６９は、ＭＰＵブロック６２を構成しており、ＭＰＵ（Micro Processing Unit）のソフトウェア処理により実現される。
【０１５６】
まず、編集指示はユーザーインタフェース部６５を通じてユーザーから与えられる。管理情報制御部６６では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、先ず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部６９、ビデオ／オーディオエンコードブロック６４、媒体記録制御部６３を通じて行われ、記録媒体６１に書き込まれる。
【０１５７】
＜オーディオ／ビデオ記録方法の実施の形態III＞
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ／ビデオ記録方法の実施の形態IIIのオーディオシームレス接続のための計算と記録について、図２１のフローチャートを併せ参照して説明する。
【０１５８】
まず、管理情報制御部６６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（ステップＳ６１）。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（ステップＳ６２）。
【０１５９】
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる（ステップＳ６３）。すなわち、接続元のＶＯＢの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のＶＯＢの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。
【０１６０】
続いて、Ａ＿ｏｖｅｒｌａｐ計算部６７において、前述したＡ＿ｏｖｅｒｌａｐの計算が行われ（ステップＳ６４）、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部６８において前述したＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）の計算が行われる（ステップＳ６５）。
【０１６１】
最後に、編集後のＶＯＢ（接続点付近のデータ）、少なくともＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）と再生シーケンス等の管理情報が、オブジェクト制御部６９及び媒体記録制御部６３を通して記録媒体６１に書き込まれる（ステップＳ６６）。このとき、Ａ＿ｏｖｅｒｌａｐも記録媒体に書き込むかどうかは任意である。再生シーケンスには、再生すべきＶＯＢの情報、接続点の情報などが含まれる。なお、ビデオ／オーディオエンコードブロック６４中のオーディオエンコードブロックは、図７の（Ａ）のエンコード側の構成を有している。
【０１６２】
なお、図２１で説明した記録方法は、図２０で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
【０１６３】
＜オーディオ／ビデオ再生装置の実施の形態III＞
次に、本発明になるオーディオ／ビデオ再生装置の実施の形態IIIについて説明する。図２２は本発明になるオーディオ／ビデオ再生装置の実施の形態IIIのブロック図を示す。
【０１６４】
図２２において、記録媒体７１には図２０に示した記録装置により編集記録された編集後のＶＯＢや管理情報が記録されている。また、ユーザーインタフェース部７６、管理情報制御部７７及びオブジェクト制御部７８は、ＭＰＵブロック７９を構成している。
【０１６５】
この再生装置では、まず、再生指示がユーザーインタフェース部７６を介して管理情報制御部７７に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のＶＯＢを接続して再生する情報が登録されているとする。以下、ＶＯＢデータ再生の基本的な手続きを示す。
【０１６６】
再生シーケンスに登録されているＶＯＢの再生関連情報は、管理情報制御部７７で判定され、オブジェクト制御部７８及び媒体再生制御部７２を介してＶＯＢデータが記録媒体７１から読み出される。なお、再生シーケンス等の管理情報は、既に記録媒体７１から媒体再生制御部７２を介して読み出され、ＭＰＵブロック７９内のメモリ（図示しない）に常時保存されているとする。
【０１６７】
読み出されたＶＯＢデータは、媒体再生制御部７２よりデマルチプレクサ７３に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック７４に供給され、オーディオデータは図７の（Ａ）のデコード側として示した構成を有するオーディオデコードブロック７５に供給され、それぞれデコードされ、デコード後のビデオフレーム、オーディオフレームが出力される。この際、ＳＣＲなどのクロック情報はデマルチプレクサ７３で解読され、必要に応じてＭＰＵブロック７９へ渡される。また、ＳＴＣなどのクロック情報は、ＭＰＵブロック７９から、デマルチプレクサ７３、ビデオデコードブロック７４及びオーディオデコードブロック７５へ渡され、ＳＴＣに準拠して再生タイミングが制御される。
【０１６８】
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体７１には接続点でのＡ＿ＰＴＳ＿ｏｆｆｓｅｔが記録されているので、接続点でのＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を管理情報から読み出す。得られたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）は、オーディオデコードブロック７５へ供給され、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生する。また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
【０１６９】
＜オーディオ／ビデオ再生方法の実施の形態III＞
次に、本発明のオーディオ／ビデオ再生方法の実施の形態IIIについて、図２３のフローチャートと共に説明する。
【０１７０】
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるＶＯＢの情報が確認される（ステップＳ７１）。続いて、ＶＯＢの再生開始と同時または直前に、ＳＴＣはシームレス接続を可能にするようにリセットされると共に、記録媒体７１から再生されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔが、オーディオデコードブロック７５へセットされる（ステップＳ７２）。
【０１７１】
その後ＶＯＢデータが実際に記録媒体７１から読み出され、媒体再生制御部７２及びデマルチプレクサ７３を経てビデオデータはビデオデコードブロック７４に供給され、オーディオデータはオーディオデコードブロック７５に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される（ステップＳ７３）。ＡＦ＿ｄｒｏｐ＝１の場合、ＶＯＢの最後のオーディオフレームは再生されないように処理される（ステップＳ７４）。続いて、再生シーケンス中の全ＶＯＢに対して上記の処理が実施されたかどうか判定し（ステップＳ７５）、最後のＶＯＢであれば、再生を終了する（ステップＳ７６）。
【０１７２】
なお、図２３で説明した再生方法は、図２２で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
【０１７３】
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
【０１７４】
なお、先に説明した本発明の第２の実施の形態において、第１の実施の形態と同じ部分のうち、図４、図５、図６、図７で示した、記録／編集装置及び方法、再生装置及び再生方法（つまり、実施形態Ｉの部分）の代わりに、図１６、図１７、図１８、図１９で示した、記録／編集装置及び方法、再生装置及び再生方法（つまり、実施形態IIのように、接続点でのＡ＿ｏｖｅｒｌａｐを記録時に算出し、このＡ＿ｏｖｅｒｌａｐを記録媒体に記録し、再生時に記録媒体から読み出したＡ＿ｏｖｅｒｌａｐからＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を算出し、そのＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）をオーディオデコードブロック５５に供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生するように制御し、また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する）、あるいは、図２０、図２１、図２２、図２３で示した、記録／編集装置及び方法、再生装置及び再生方法（つまり、実施形態IIIのように、接続点でのＡ＿ｏｖｅｒｌａｐとＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を記録時に算出し、少なくともＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を記録媒体に記録し、再生時に記録媒体から読み出したＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）をオーディオデコードブロック７５に供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生するように制御し、また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する）、を採用しても良い。
【産業上の利用可能性】
【０１７５】
本発明によれば、ビデオフレームのシームレス接続のためのビデオデータの変更処理に加えて、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定して、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とするオフセット処理を行うようにしたため、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
【０１７６】
また、本発明によれば、オーディオフレームの編集点を決定し、その編集点を管理情報として記録媒体に記録し、再生側において管理情報に基づいて接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間と、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間を計算させることで、記録側では上記のオーバーラップ時間とオーディオＰＴＳオフセット時間を計算しないようにしたため、記録側の負担を最小にできる。
【０１７７】
また、本発明によれば、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録された記録媒体からビデオデータ及びオーディオデータを再生するに際し、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
【０１７８】
また、本発明によれば、再生時に記録媒体から読み出したオーバーラップ時間に基づいて算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットすることにより、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間を算出するために用いるオーバーラップ時間の計算を不要としたため、再生側のシームレス再生時の負担を軽減することができる。
【０１７９】
更にまた、本発明によれば、再生時に記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットすることにより、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にしたため、再生側のシームレス再生時の負担を最小とすることができる。
【符号の説明】
【０１８０】
１１，１７  窓掛け部
１２  直交変換部
１３  量子化／符号化部
１４  記録媒体
１５  復号化／逆量子化部
１６  逆直交変換部
１７  逆直交変換部
【図１】
2010061803.tif 000003
【図２】
2010061803.tif 000004
【図３】
2010061803.tif 000005
【図４】
2010061803.tif 000006
【図５】
2010061803.tif 000007
【図６】
2010061803.tif 000008
【図７】
2010061803.tif 000009
【図８】
2010061803.tif 000010
【図９】
2010061803.tif 000011
【図１０】
2010061803.tif 000012
【図１１】
2010061803.tif 000013
【図１２】
2010061803.tif 000014
【図１３】
2010061803.tif 000015
【図１４】
2010061803.tif 000016
【図１５】
2010061803.tif 000017
【図１６】
2010061803.tif 000018
【図１７】
2010061803.tif 000019
【図１８】
2010061803.tif 000020
【図１９】
2010061803.tif 000021
【図２０】
2010061803.tif 000022
【図２１】
2010061803.tif 000023
【図２２】
2010061803.tif 000024
【図２３】
2010061803.tif 000025