(57)【要約】【課題】“つなぎ録り”によって発生するリップシンクずれを最小限に抑制する。【解決手段】あらかじめ記録媒体に記録されているビデオデータのつなぎ点Ｘにおける時刻情報と、オーディオデータのつなぎ点Ｙにおける時刻情報との差分であるはみ出し時刻情報Ｔｅを算出し、記録媒体５０に新たに記録するオーディオデータの圧縮符号化タイミングを、ビデオデータの圧縮符号化タイミングに対して、上記はみ出し時刻情報Ｔｅ分ずらし、圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体５０に記録させることで実現する。【選択図】  図２
2004248104.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータ、及びオーディオデータをＭＰＥＧ方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置であって、
ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第１のヘッダ情報をそれぞれ検出し、さらに、上記検出された第１のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第２のヘッダ情報をそれぞれ検出するヘッダ情報検出手段と、
上記ヘッダ情報検出手段によって検出された第２のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出手段と、
上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、
上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出手段によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成手段と、
上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成手段と、
上記記録データストリーム生成手段によって生成された記録データストリームのヘッダ情報に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、及びＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）を、上記第２のヘッダ情報に含まれるＰＴＳ、及びＤＴＳにそれぞれ連続となるよう更新するヘッダ情報更新手段と、
上記ヘッダ情報更新手段によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出手段によって検出された上記第１のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御手段とを備えること
を特徴とする情報処理装置。
【請求項２】
上記はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出された第２のヘッダ情報に含まれるビデオデータのＰＴＳと、ビデオデータのフレーム長情報とを加算してビデオデータの再生終了時刻情報を算出し、
また、はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出されたヘッダ情報に含まれるオーディオデータのＰＴＳと、オーディオデータのフレーム長情報とを加算してオーディオデータの再生終了時刻情報を算出すること
を特徴とする請求項１記載の情報処理装置。
【請求項３】
上記つなぎ録りするビデオデータの発生符号量に応じて生成され、つなぎ録りする位置に挿入される擬似ビデオデータを生成する擬似ビデオデータ生成手段を備え、
上記はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出された第２のヘッダ情報に含まれるビデオデータのＰＴＳと、ビデオデータのフレーム長情報とを加算し、さらに、上記擬似ビデオデータ生成手段で生成される擬似ビデオデータのフレーム長情報を加算することでビデオデータの再生終了時刻情報を算出すること
を特徴する請求項２記載の情報処理装置。
【請求項４】
ビデオデータ、及びオーディオデータをＭＰＥＧ方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置の情報処理方法であって、
ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第１のヘッダ情報をそれぞれ検出し、さらに、上記検出された第１のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第２のヘッダ情報をそれぞれ検出するヘッダ情報検出工程と、
上記ヘッダ情報検出工程によって検出された第２のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出工程と、
上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、
上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出工程によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成工程と、
上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成工程と、
上記記録データストリーム生成工程によって生成された記録データストリームのヘッダ情報に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、及びＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）を、上記第２のヘッダ情報に含まれるＰＴＳ、及びＤＴＳにそれぞれ連続となるよう更新するヘッダ情報更新工程と、
上記ヘッダ情報更新工程によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出工程によって検出された上記第１のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御工程とを備えること
を特徴とする情報処理方法。
【請求項５】
上記はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出された第２のヘッダ情報に含まれるビデオデータのＰＴＳと、ビデオデータのフレーム長情報とを加算してビデオデータの再生終了時刻情報を算出し、
また、はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出されたヘッダ情報に含まれるオーディオデータのＰＴＳと、オーディオデータのフレーム長情報とを加算してオーディオデータの再生終了時刻情報を算出すること
を特徴とする請求項４記載の情報処理方法。
【請求項６】
上記つなぎ録りするビデオデータの発生符号量に応じて生成され、つなぎ録りする位置に挿入される擬似ビデオデータを生成する擬似ビデオデータ生成工程を備え、
上記はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出された第２のヘッダ情報に含まれるビデオデータのＰＴＳと、ビデオデータのフレーム長情報とを加算し、さらに、上記擬似ビデオデータ生成工程で生成される擬似ビデオデータのフレーム長情報を加算することでビデオデータの再生終了時刻情報を算出すること
を特徴する請求項５記載の情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ方式で符号化されたビデオデータ、及びオーディオデータを記録媒体に記録する情報処理装置及び情報処理方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式、例えば、ＭＰＥＧ２方式などの動画像符号化方式によって圧縮符号化されたビデオデータ、及びオーディオデータを磁気記録媒体に記録させる記録装置が考案されている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−３０９３０５号公報
【０００４】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ方式で圧縮符号化されたビデオデータ、及び、オーディオデータをデコードして再生する場合、口の動きと、音声のタイミングとを合わせるリップシンクを行う必要がある。
【０００５】
ＭＰＥＧ方式では、ビデオデータと、オーディオデータとの同期をとるために、ビデオＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケット、及びオーディオＰＥＳパケット、それぞれのＰＥＳヘッダの中に再生時刻情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）や、デコードのタイミングを指定するＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）といった制御情報を記述している。そして、デコード時、再生時には、これらの制御情報を抽出し、抽出した制御情報に基づいて、ビデオデータと、オーディオデータとの同期をとることで、リップシンクずれが生じないようにしている。
【０００６】
ビデオデータには、通常１／３０秒又は、１／２５秒といった一定の長さ（時間）のビデオフレームという画の区切りがある。
【０００７】
これに対して、オーディオデータは、連続的であるためサンプル点以外の区切りを持っていないが、ＭＰＥＧ方式でオーディオデータを圧縮符号化する際の計算範囲を決めるために固有の長さのオーディオフレームが形成される。
【０００８】
このビデオフレームと、オーディオフレームとのフレーム長（時間軸長）は、等しくなることは殆どない。
【０００９】
したがって、磁気記録媒体に、あらかじめ記録されている、ビデオデータ、及びオーディオデータの任意の箇所から、圧縮符号化された新たなビデオデータ、及びオーディオデータを“つなぎ録り”した場合、オーディオデータが時間的に不連続に記録されてしまうことになる。
【００１０】
このように、“つなぎ録り”をすると、デコードのタイミングや、出力のタイミングがＤＴＳ、ＰＴＳで制御可能な範囲を超えて磁気記録媒体に記録されてしまい実用に耐えられない程のリップシンクずれが生じてしまうといった問題がある。
【００１１】
さらに、時間的に不連続となって磁気記録媒体にオーディオデータが記録されることで、再生時におけるデコード処理が正常に実行されない可能性があるといった問題もある。特に、上述のようにしてビデオデータ、及びオーディオデータが“つなぎ録り”された磁気記録媒体を、例えば、外部装置によって再生させる場合、上記外部装置は、上記磁気記録媒体に時間的に不連続にオーディオデータが記録されていることを知ることができないため、正常なデコード処理を期待できないといった問題がある。
【００１２】
そこで、本発明は上述したような問題を解決するために案出されたものであり、ビデオデータ、及びオーディオデータを圧縮符号化して“つなぎ録り”を実行した場合でも、リップシンクずれが最小となって再生されるように、ビデオデータ、及びオーディオデータを記録媒体に記録すると共に、外部装置において、正常にデコード処理されるようにビデオデータ、及びオーディオデータを記録媒体に記録する情報処理装置及び情報処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る情報処理装置は、ビデオデータ、及びオーディオデータをＭＰＥＧ方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置であって、ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第１のヘッダ情報をそれぞれ検出し、さらに、上記検出された第１のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第２のヘッダ情報をそれぞれ検出するヘッダ情報検出手段と、上記ヘッダ情報検出手段によって検出された第２のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出手段と、上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出手段によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成手段と、上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成手段と、上記記録データストリーム生成手段によって生成された記録データストリームのヘッダ情報に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、及びＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）を、上記第２のヘッダ情報に含まれるＰＴＳ、及びＤＴＳにそれぞれ連続となるよう更新するヘッダ情報更新手段と、上記ヘッダ情報更新手段によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出手段によって検出された上記第１のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御手段とを備えることを特徴とする。
【００１４】
また、上述の目的を達成するために、本発明に係る情報処理方法は、ビデオデータ、及びオーディオデータをＭＰＥＧ方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置の情報処理方法であって、ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第１のヘッダ情報をそれぞれ検出し、さらに、上記検出された第１のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第２のヘッダ情報をそれぞれ検出するヘッダ情報検出工程と、上記ヘッダ情報検出工程によって検出された第２のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出工程と、上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出工程によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成工程と、上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成工程と、上記記録データストリーム生成工程によって生成された記録データストリームのヘッダ情報に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、及びＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）を、上記第２のヘッダ情報に含まれるＰＴＳ、及びＤＴＳにそれぞれ連続となるよう更新するヘッダ情報更新工程と、上記ヘッダ情報更新工程によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出工程によって検出された上記第１のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御工程とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明に係る情報処理装置及び情報処理方法の実施の形態を図面を参照にして詳細に説明する。
【００１６】
まず、図１を用いて本発明の実施の形態として示す情報処理装置の構成について説明をする。
【００１７】
情報処理装置１は、外部入力部１１と、ＭＰＥＧエンコーダ１２と、ヘッダ情報抽出部１３と、ストリーム記録処理部１４と、ＭＰＥＧエンコーダ制御部１５と、ＰＴＳ／ＤＴＳ更新処理部１６と、擬似データ生成部１７と、ＥＣＣ処理部１８と、記録回路１９と、再生回路２０と、ストリーム再生処理部２１と、外部出力部２２と、ＭＰＥＧデコーダ２３と、制御部２４とを備えている。
【００１８】
情報処理装置１は、当該情報処理装置１に着脱可能なテープ状磁気記録媒体５０にＭＰＥＧ方式で圧縮符号化されたビデオデータ、及びオーディオデータを記録し、記録したビデオデータ、及びオーディオデータを再生可能な装置である。
【００１９】
また、情報処理装置１は、あらかじめビデオデータ、及びオーディオデータが記録されているテープ状磁気記録媒体５０の任意の箇所に、新たなビデオデータ、及びオーディオデータを上書きする“つなぎ録り”を自在にすることができる。
【００２０】
外部入力部１１は、外部からＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）に多重化されて送信されるＭＰＥＧ圧縮符号化されたビデオデータ及びオーディオデータを、ビデオＰＥＳパケット、オーディオＰＥＳパケットに再編し、ストリーム記録処理部１４に供給する。
【００２１】
ＭＰＥＧエンコーダ１２は、デジタルビデオデータ及びデジタルオーディオデータを、ＭＰＥＧ方式にて圧縮符号化（エンコード）してビデオＥＳ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）、オーディオＥＳを生成する。また、ＭＰＥＧエンコーダ１２は、エンコードしたビデオＥＳ、オーディオＥＳをビデオＰＥＳパケット、オーディオＰＥＳパケットに分割し、ストリーム記録処理部１４に供給する。
【００２２】
ＭＰＥＧエンコーダ１２は、検出されるＶＢＶ（Ｖｉｄｅｏ  Ｂｕｆｆｅｒｉｎｇ  Ｖｅｒｉｆｉｅｒ）バッファのデータ占有量に基づいて、ピクチャの発生符号量を調節しながらエンコード処理をする。
【００２３】
ＶＢＶバッファは、デコーダの前段に仮想的に設けられるバッファであり、当該ＶＢＶバッファの占有量を参照することでエンコードする際の符号化量を調節する際の指針となる。
【００２４】
例えば、デコード処理においては、デコードされるピクチャが、一旦、一定時間ＶＢＶバッファに蓄えられ、デコード時刻がくると１ピクチャ分のデータがＶＢＶバッファから読み出されて、デコード処理がなされる、というモデルが想定される。
【００２５】
このとき、ピクチャの符号化量が膨大であると、ＶＢＶバッファがアンダーフローしてしまい表示する際に遅延が生じてしまうことになる。また、ピクチャの発生符号化量が少ないとＶＢＶバッファがオーバーフローしてしまい、ＶＢＶバッファが破綻してしまう。
【００２６】
このように、ＶＢＶバッファのアンダーフローや、オーバーフローといった破綻を生じさせないために、ＭＰＥＧエンコーダ１２でエンコードするピクチャの発生符号量を、例えば、量子化パラメータを操作するなどして、各ピクチャ毎に目標符号量となるよう調整する。
【００２７】
量子化パラメータの操作でも十分でない場合は、デコードするデータストリーム上の時間的に前にあるピクチャをコピーした符号量の少ないコピーピクチャ（Ｃｏｐｙ  Ｐｉｃｔｕｒｅ）や、特に意味をなさないデータであるスタッフィングバイトなどを挿入することで復号タイミングや、データ量の調整を行う。ＶＢＶバッファがオーバーフローするような場合には、スタッフィングバイトを挿入し、アンダーフローするような場合には、コピーピクチャを挿入する。
【００２８】
ヘッダ情報抽出部１３は、再生回路２０、ＥＣＣ処理部１８、ストリーム再生処理部２１を介して、テープ状磁気記録媒体５０から再生されたビデオデータ、オーディオデータのＰＴＳ、ＤＴＳ、フレーム長情報を含んだヘッダ情報を抽出する。ＰＴＳ、及びＤＴＳは、ビデオデータ、オーディオデータのアクセスユニット単位、つまり１フレーム単位に付与されるヘッダ情報である。ＰＴＳは、テープ状磁気記録媒体５０に記録されたビデオデータ、オーディオデータをそれぞれ再生出力する時刻情報であり、ＤＴＳは、ビデオデータ、オーディオデータをそれぞれデコードする時刻情報である。
【００２９】
テープ状磁気記録媒体５０の任意の位置で、“つなぎ録り”をする指示が出されると、ヘッダ情報抽出部１３は、制御部２４の制御によって上記指定された任意の位置に最も近くに記録されているヘッダ情報を読み出す。このヘッダ情報の位置が、“つなぎ録り”を開始するつなぎ点となる。
【００３０】
また、ヘッダ情報抽出部１３は、制御部２４の制御によって、つなぎ点の直前にあるビデオデータ（以下、最終ビデオデータとも呼ぶ。）と、オーディオデータ（以下、最終オーディオデータとも呼ぶ。）のヘッダ情報をそれぞれ抽出する。ヘッダ情報抽出部１３で抽出されたヘッダ情報は、ストリーム記録処理部１４に送出される。
【００３１】
ストリーム記録処理部１４は、外部入力部１１、又はＭＰＥＧエンコーダ１２から供給されるビデオＰＥＳパケット、オーディオＰＥＳパケットを多重化して、テープ状磁気記録媒体５０に記録するデータストリームを生成する。
【００３２】
また、ストリーム記録処理部１４は、ヘッダ情報抽出部１３から送出されたヘッダ情報を用いて、はみ出し時間を算出する。
【００３３】
ここで、はみ出し時間について説明をする。はみ出し時間とは、あらかじめテープ状磁気記録媒体５０に記録されているビデオデータと、上記ビデオデータに対応して記録されたオーディオデータとの表示時間のずれ量を示したものである。
【００３４】
具体的には、図２（ａ）に示すテープ状磁気記録媒体５０に記録されたビデオデータに新たなビデオデータを“つなぎ録り”する際のつなぎ点Ｘと、上記ビデオデータに対応してテープ状磁気記録媒体５０に記録された、図２（ｂ）に示すオーディオデータに新たなオーディオデータを“つなぎ録り”する際のつなぎ点Ｙとのずれ量のことをはみ出し時間という。
【００３５】
上述したようにＭＰＥＧ方式で圧縮符合化されたビデオデータのフレーム長と、オーディオデータのフレーム長は、それぞれ異なっているため、オーディオデータのＰＴＳが、ビデオデータのＰＴＳに対して遅れて、テープ状磁気記録媒体５０に記録されていることが極めて多くなっている。
【００３６】
つまり、上述した図２（ａ），（ｂ）に示したように、テープ状磁気記録媒体５０に記録されたオーディオデータは、ビデオデータに対してリップシンクずれを生じており、ビデオデータの再生が終了しても、当該オーディオデータの再生が終了しない状態となっている。
【００３７】
ストリーム記録処理部１４は、図２（ａ），（ｂ）を用いて説明したはみ出し時間を、ヘッダ情報抽出部１３で抽出された最終ビデオデータ、及び最終オーディオデータのヘッダ情報を用いて算出する。
【００３８】
最終ビデオデータのヘッダ情報に含まれるＰＴＳをＴｖｅ、フレーム長をＶＦとし、最終オーディオデータのヘッダ情報に含まれるＰＴＳをＴａｅ、フレーム長をＡＦとすると、はみ出し時間Ｔｅは、（１）式に示すようにして算出することができる。
【００３９】
Ｔｅ＝（Ｔａｅ＋ＡＦ）―（Ｔｖｅ＋ＶＦ）  ・  ・  ・  （１）
【００４０】
この（１）式における、Ｔａｅ＋ＡＦによって算出される値は、最終オーディオデータの再生が終了する時刻情報、つまり、オーディオデータのつなぎ点Ｙにおける時刻情報である。また、Ｔｖｅ＋ＶＦによって算出される値は、最終ビデオデータの再生が終了する時刻情報、つまり、ビデオデータのつなぎ点Ｘにおける時刻情報である。
【００４１】
ストリーム記録処理部１４で算出されたはみ出し時間Ｔｅの値は、ＭＰＥＧエンコーダ制御部１５に送出される。
【００４２】
上述した（１）式のようにして算出されるはみ出し時間Ｔｅは、後述する擬似データ生成部１７で、ビデオデータに対して擬似データが生成された場合は、生成された擬似データのフレーム長を考慮して算出される。
【００４３】
つまり、擬似データのフレーム長をＧＦとすると、はみ出し時間Ｔｅは、（２）式に示すようにして算出される。
【００４４】
Ｔｅ＝（Ｔａｅ＋ＡＦ）―（Ｔｖｅ＋ＶＦ＋ＧＦ）  ・  ・  ・  （２）
【００４５】
ＭＰＥＧエンコーダ制御部１５は、ＭＰＥＧエンコーダ１２におけるビデオデータ、及びオーディオデータのエンコード開始を指示するエンコード開始コマンドを生成し、ＭＰＥＧエンコーダ１２に出力する。ＭＰＥＧエンコーダ制御部１５は、ビデオデータ、オーディオデータそれぞれに対して、エンコード開始コマンドを生成する。
【００４６】
まず、ＭＰＥＧエンコーダ制御部１５は、制御部２４から送出される“つなぎ録り”開始命令に応じてビデオデータに対するエンコード開始コマンドを生成し、ビデオエンコーダ１２ａに送出する。
【００４７】
続いて、ＭＰＥＧエンコーダ制御部１５は、ビデオデータに対するエンコード開始コマンドを送出してから、ストリーム記録処理部１４で生成されたはみ出し時間Ｔｅ後に、オーディオデータに対するエンコード開始コマンドを生成し、オーディオエンコーダ１２ｂに送出する。
【００４８】
このように、オーディオエンコーダ１２ｂによるエンコードの開始時刻は、以下の理由によって、はみ出し時間Ｔｅ分だけ遅延させる。
【００４９】
例えば、図３（ａ），（ｂ）示すようなビデオデータ、及びオーディオデータをテープ状磁気記録媒体５０に新たに記録させることを考える。
【００５０】
図３（ａ）に示すビデオデータのうち、先頭フレームのビデオデータ（以下、先頭ビデオデータとも呼ぶ。）のＰＴＳをＴｖｓとし、図３（ｂ）に示すオーディオデータのうち、先頭フレームのオーディオデータ（以下、先頭オーディオデータとも呼ぶ。）のＰＴＳをＴａｓとする。
【００５１】
図３（ｂ）に示すオーディオデータは、図３（ａ）に示すビデオデータに対して、遅延時間Ｔｓだけ遅延している。この遅延時間Ｔｓは、先頭ビデオデータのＰＴＳであるＴｖｓと、先頭オーディオデータのＰＴＳであるＴａｓを用いて、（３）式のように表すことができる。
【００５２】
Ｔｓ＝Ｔａｓ―Ｔｖｓ  ・  ・  ・  （３）
【００５３】
この遅延時間Ｔｓが、上述したはみ出し時間Ｔｅと、Ｔｅ＞Ｔｓという関係であったり、Ｔｅ＜Ｔｓという関係であったりすると、新たに記録するオーディオデータは、テープ状磁気記録媒体５０にあらかじめ記録されているオーディオデータに対して、時間的に不連続に記録されてしまうことになる。このように、オーディオデータが、テープ状磁気記録媒体５０に、時間的に不連続となって記録されると、正常なデコード処理ができないといった原因となる。
【００５４】
遅延時間Ｔｓと、はみ出し時間Ｔｅとが、同じ時間となれば、つまりＴｓ＝Ｔｅという関係が満たされれば、新たにテープ状磁気記録媒体５０に記録するオーディオデータが、時間的に連続となって記録されることになる。
【００５５】
そこで、ＭＰＥＧエンコーダ制御部１５は、“つなぎ録り”するオーディオデータが、はみ出し時間Ｔｅだけビデオデータのエンコード処理より遅延するように、エンコード開始コマンドをはみ出し時間Ｔｅだけ遅延させて、オーディオエンコーダ１２ｂに送出する。
【００５６】
ＰＴＳ／ＤＴＳ更新処理部１６は、ストリーム記録処理部１４で生成されるデータストリームのビデオＰＥＳパケット、オーディオＰＥＳパケットのそれぞれのＰＴＳ、及びＤＴＳを、テープ磁気記録媒体５０に記録されている“つなぎ録り”する下地データのＰＴＳ、ＤＴＳに対応して時間的に連続となるように更新する。
【００５７】
擬似データ生成部１７は、上述したＶＢＶバッファの破綻を防止する際に、つなぎ点以降のビデオデータに挿入する、コピーピクチャや、スタッフィングバイトといった擬似データを生成する。上述したようなＶＢＶバッファの破綻は、発生符号量が極端に変化する場合に生ずるため“つなぎ録り”のつなぎ点では、コピーピクチャや、スタッフィングバイトが挿入されることが多い。
【００５８】
ＥＣＣ処理部１８は、ストリーム記録処理部１４から送出されるデータストリームに誤り訂正符号化処理、インタリーブ処理を実行し、記録回路１９に送出する。また、ＥＣＣ処理部１８は、再生回路２０から送出されるデータストリームにデインタリーブ処理、誤り訂正復号処理を実行し、ストリーム再生処理部２１に送出する。
【００５９】
具体的には、ＥＣＣ処理部１８は、図示しないＥＣＣＢａｎｋメモリを有しており、テープ状磁気記録媒体５０へ記録するデータストリーム、又は再生するデータストリームを一旦バッファリングして上記処理を実行する。
【００６０】
記録回路１９は、ＥＣＣ処理部１８から送出されるデータストリームをテープ状磁気記録媒体５０に記録させる記録処理をする。例えば、記録回路１９は、上記データストリームをシリアルデータに変換した上で増幅し、図示しない回転ドラムによって回転させられたテープ状磁気記録媒体５０に、図示しない磁気ヘッドを介して記録する。
【００６１】
再生回路２０は、テープ状磁気記録媒体５０に記録されたデータストリームを再生する再生処理をする。再生回路２０で再生されたデータストリームは、ＥＣＣ処理部１８に送出される。
【００６２】
ストリーム再生処理部２１は、ＥＣＣ処理部１８から供給されたデータストリームをデマルチプレクスして、ビデオＰＥＳパケット、及びオーディオＰＥＳパケットに分離する。
【００６３】
ＰＴＳ抽出部２２は、ストリーム再生処理部２１で、デマルチプレクスされたビデオＰＥＳパケット、及びオーディオＰＥＳパケットからＰＴＳを抽出しストリーム記録部１４に送出する。
【００６４】
外部出力部２２は、ストリーム再生処理部２１から供給されるビデオＰＥＳパケット、オーディオＰＥＳパケットを分割してＴＳパケットを生成し、ＴＳパケットを多重化してＴＳを生成する。
【００６５】
ＭＰＥＧデコーダ２３は、ストリーム再生処理部２１から供給されるビデオＰＥＳパケット、オーディオＰＥＳパケットからビデオＥＳ、オーディオＥＳをそれぞれ生成し、このＭＰＥＧデータからデジタルビデオデータ、デジタルオーディオデータにそれぞれ伸長復号処理をする。
【００６６】
制御部２４は、当該情報処理装置１の各部を統括的に制御する。制御部２４は、例えば、上述した“つなぎ録り”を実行する際に各部の動作を制御して、テープ状磁気記録媒体５０に、ＭＰＥＧ方式で圧縮符号化したビデオデータ、及びオーディオデータを記録させる。
【００６７】
続いて、図４に示すフローチャートを用いて、本発明の実施の形態として示す情報処理装置１において、新たなビデオデータ及び、オーディオデータをテープ状磁気記録媒体５０へ記録させる“つなぎ録り”時の動作について説明をする。
【００６８】
まず、ステップＳ１において、ユーザによって、テープ状磁気記録媒体５０の任意の位置で“つなぎ録り”をする指示が出されると、制御部２４は、再生回路２０、ＥＣＣ処理部１８、ストリーム再生処理部２１を制御して、テープ状磁気記録媒体５０の上記任意の位置近傍を再生させるよう制御する。
【００６９】
ステップＳ２において、制御部２４は、ヘッダ情報抽出部１３を制御して、上記指定された任意の位置に最も近くに記録されているヘッダ情報を読み出し、“つなぎ録り”を開始するつなぎ点を決定する。
【００７０】
ステップＳ３において、制御部２４は、ヘッダ情報抽出部１３を制御して、つなぎ点の直前のビデオデータ、及びオーディオデータである、最終ビデオデータ、及び最終オーディオデータのヘッダ情報を抽出し、ストリーム記録処理部１４に送出する。
【００７１】
ステップＳ４において、ストリーム記録処理部１４は、抽出したヘッダ情報の中から、ビデオデータのＰＴＳ及びフレーム長情報、オーディオデータのＰＴＳ及びフレーム長情報を用いて、上述した（１）式から、はみ出し時間Ｔｅを生成し、ＭＰＥＧエンコーダ制御部１５に送出する。
【００７２】
ストリーム記録処理部は、擬似データ生成部１７で、ビデオデータに対する擬似データが生成された場合には、擬似データのフレーム長も考慮した（２）式から、はみ出し時間Ｔｅを生成し、ＭＰＥＧエンコーダ制御部１５に送出する。
【００７３】
ステップＳ５において、制御部２４は、“つなぎ録り”を開始させる命令である、つなぎ記録開始コマンドを生成し、ＭＰＥＧエンコーダ制御部１５に送出する。
【００７４】
ステップＳ６において、ＭＰＥＧエンコーダ制御部１５は、制御部２４から送出された、つなぎ記録開始コマンドに応じて、“つなぎ録り”するビデオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成し、ビデオエンコーダ１２ａに送出する。
【００７５】
ステップＳ７において、ビデオエンコーダ１２ａは、新たにテープ状磁気記録媒体５０に記録するビデオデータをＭＰＥＧ方式で圧縮符号化してストリーム記録処理部１４に送出する。
【００７６】
ステップＳ８において、ＭＰＥＧエンコーダ制御部１５は、ビデオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成してから、はみ出し時間Ｔｅが経過したかどうかを判断する。はみ出し時間Ｔｅ経過した場合は、工程をステップＳ９に進め、そうでない場合は、はみ出し時間Ｔｅとなるまで待機する。
【００７７】
ステップＳ９において、ＭＰＥＧエンコーダ制御部１５は、ビデオエンコーダ１２ａにエンコード開始コマンドを送出してから、はみ出し時間Ｔｅだけ経過したことに応じて、“つなぎ録り”するオーディオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成し、オーディオエンコーダ１２ｂに送出する。このとき、ＭＰＥＧエンコーダ制御部１５は、オーディオエンコーダ１２ｂにおいて、コマンドを受け取ってから処理が開始されるまでの遅延時間分を考慮してエンコード開始コマンドを送出する。
【００７８】
ステップＳ１０において、オーディオエンコーダ１２ｂは、新たにテープ状磁気記録媒体５０に記録するオーディオデータをＭＰＥＧ方式で圧縮符号化してストリーム記録処理部１４に送出する。
【００７９】
ステップＳ１１において、ストリーム記録処理部１４は、ビデオエンコーダ１２ａ、及びオーディオエンコーダ１２ｂで圧縮符号化されたビデオデータ、及びオーディオデータをテープ状磁気記録媒体５０に記録させるデータストリームに多重化する。
【００８０】
ステップＳ１２において、ＰＴＳ／ＤＴＳ更新処理部１６は、ストリーム記録処理部１４で多重化されたデータストリームのビデオデータ、オーディオデータ、それぞれのフレーム毎に付与されているヘッダ情報のうち、ＰＴＳ、及びＤＴＳを、“つなぎ録り”するテープ状磁気記録媒体５０に記録されている下地のビデオデータ、及び、オーディオデータのＰＴＳ、及びＤＴＳと連続的になるように更新する。
【００８１】
ステップＳ１３において、制御部２４は、ストリーム記録処理部１４で生成されたデータストリームをＥＣＣ処理部１８に送出し、さらに、記録回路１９を介して、テープ状磁気記録媒体５０に記録させる。
【００８２】
このようにして、オーディオエンコーダ１２ｂでのエンコード処理の開始時刻を、ビデオエンコーダ１２ａでのエンコード開始時刻より、ストリーム記録処理部１４によって（１）式、又は（２）式を用いて生成されるはみ出し時間Ｔｅ分だけ遅延させることで、テープ状磁気記録媒体５０に記録するオーディオデータのＰＴＳを時間的に連続して記録させることができる。
【００８３】
このように、情報処理装置１は、“つなぎ録り”を実行する際に、テープ状磁気記録媒体５０にあらかじめ記録されているビデオデータ、及びオーディオデータの最終ビデオデータ、及び最終オーディオデータのヘッダ情報から、はみだし時間Ｔｅを算出し、算出したはみ出し時間Ｔｅ分だけオーディオデータのエンコード開始時刻を遅らせることで、時間的に連続してオーディオデータをテープ状磁気記録媒体５０に記録させることができる。
【００８４】
これにより、再生時のリップシンクずれを最小限に抑制することができると共に、テープ状磁気記録媒体５０に“つなぎ録り”されたビデオデータ、及びオーディオデータを、外部装置などで再生した場合でも、正常なデコード処理を期待することができる。
【００８５】
【発明の効果】
以上の説明からも明らかなように、本発明は、記録媒体への“つなぎ録り”時において、新たなビデオデータ、及びオーディオデータを記録させるつなぎ点、直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報からはみ出し時間情報を算出し、オーディオデータの圧縮符号化処理をビデオデータの圧縮符号化処理に対してはみ出し時間分遅延させ、上記新たなビデオデータ、及びオーディオデータを記録媒体に記録させる。
【００８６】
したがって、“つなぎ録り”されたビデオデータ、及びオーディオデータは、ＰＴＳ間隔が連続して記録媒体に記録されているため、再生時において、外部装置のＭＰＥＧデコーダを使用した場合でも正常にデコード処理させることが可能となる。
【００８７】
また、“つなぎ録り”をしても新たなリップシンクずれが発生することを防止できるため、“つなぎ録り”が複数回繰り返された場合でも、リップシンクずれが累積されることを防止することを可能とする。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す情報処理装置の構成について説明するための図である。
【図２】はみ出し時間について説明するための図である。
【図３】本発明の実施の形態として示す情報処理装置において、テープ状磁気記録媒体に新たに記録するオーディオデータと、ビデオデータの一例を示した図である。
【図４】同情報処理装置において、テープ状磁気記録媒体に“つなぎ録り”する際の動作について説明するためのフローチャートである。
【符号の説明】
１  情報処理装置、１１  外部入力部、１２  ＭＰＥＧエンコーダ、１２ａ  ビデオエンコーダ、１２ｂ  オーディオエンコーダ、１３  ヘッダ情報抽出部、１４  ストリーム記録処理部、１５  ＭＰＥＧエンコーダ制御部、１６  ＰＴＳ／ＤＴＳ更新処理部、１７  擬似データ生成部、１８、ＥＣＣ処理部、１９  記録回路、２１  ストリーム再生処理部、５０  テープ状磁気記録媒体
【図１】
2004248104.tif 000003
【図２】
2004248104.tif 000004
【図３】
2004248104.tif 000005
【図４】
2004248104.tif 000006