(57)【要約】      （修正有）【課題】ビデオのビットレートを減らすことなく４ｃｈの音声を記録し、ＭＰＥＧで圧縮された音声より高品位な非圧縮のＰＣＭ音声をＭＰＥＧストリームと同期して記録する。【解決手段】エンコーダ側では、ＤＶのビデオ領域にＭＰＥＧのビデオデータと２チャンネルのＭＰＥＧのオーディオデータを含むＭＰＥＧストリームを記録するとともに、ＤＶのビデオ領域に記録したＭＰＥＧストリームの時刻基準に基づいてＴＳｄｖを生成し、ＤＶのオーディオ領域にＰＣＭオーディオ信号とＴＳｄｖを記録する。デコーダ側では、ＰＣＭオーディオ信号をＴＳｄｖに基づいてＭＰＥＧのビデオデータと同期させる。【選択図】図１
2007180847.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオデータと入力オーディオデータとをそれぞれＭＰＥＧ方式で圧縮し、これら圧縮されたＭＰＥＧビデオデータとＭＰＥＧオーディオデータとを時分割多重化したＭＰＥＧ−ＴＳを、ＤＶ規格を基本としたＨＤＶ規格のＨＤ１モードに基づいた方法でデータ変換して、ＤＶテープの各トラックに設けられたＤＶビデオ領域に記録するとともに、
前記入力オーディオデータを、前記ＤＶテープの各トラックに設けられたＤＶオーディオ領域に記録する記録装置において、
前記各ＤＶオーディオ領域を構成する各フレームの先頭ブロックに前記入力オーディオデータの先頭データを記録するタイミングを示す、フレーム基準情報を生成するタイミング情報生成手段と、
前記入力オーディオデータを逐次ＰＴＳを付加しながらＭＰＥＧ方式で圧縮するとともに、前記フレーム基準情報を受信して、このフレーム基準情報により前記各フレームの先頭ブロックに記録される各入力オーディオデータの先頭データを特定し、この特定された先頭データを含む各入力オーディオデータを圧縮する際に付加するＰＴＳを、ＤＶ用の時刻情報であるＴＳｄｖとして抽出するオーディオ圧縮手段と、
前記ＴＳｄｖを、対応する前記特定された各入力オーディオデータが記録されるＤＶオーディオ領域の中の補助情報を記述する領域であるＡＵＸ部にセットするＴＳｄｖ付加手段とを、
有することを特徴とする記録装置。
【請求項２】
請求項１に記載の記録装置によってＤＶテープの各トラックに設けられたＤＶビデオ領域に記録されたＭＰＥＧ−ＴＳから、ＭＰＥＧビデオデータとＭＰＥＧオーディオデータとを分離し、分離されたＭＰＥＧビデオデータとＭＰＥＧオーディオデータとをそれぞれ伸長して再生するとともに、
請求項１に記載の記録装置によって前記ＤＶテープの各トラックに設けられたＤＶオーディオ領域に記録されたオーディオデータを再生する再生装置において、
前記ＤＶオーディオ領域のＡＵＸ部に記録されたＴＳｄｖを読み出す手段と、
前記ＭＰＥＧオーディオデータを読み出して伸長するとともに、ＳＴＣを生成するオーディオデータ伸長手段と、
前記ＳＴＣと前記ＴＳｄｖとの差分値を算出し、この算出された差分値の時間分、前記ＤＶオーディオ領域に記録されているオーディオデータの再生タイミングを遅延させて、前記ＭＰＥＧオーディオデータを伸長して再生するタイミングと同期させる再生遅延手段とを、
有することを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧストリーム記録装置及びＭＰＥＧストリーム再生装置に関し、特にＨＤＶ format（フォーマット）のＨＤ１モードに対応したＶＴＲにおけるオーディオの多チャンネル記録時における映像と音声の同期に関する。
【背景技術】
【０００２】
ＨＤＶ format のＨＤ１モード（下記の非特許文献１参照）には、通常のステレオ音声（２ｃｈ）のほかに、ＭＰＥＧ−ＴＳ（トランスポート・ストリーム）の中に４ｃｈ（ステレオ音声×２）分のオーディオのストリームを記録する方法が規定されている。図６はＨＤＶ format のＨＤ１モードのテープ上のデータレイアウトを示す。なお、図６では、テープ上のトラックは上下方向に示されているが、実際にはＤＶカメラやＶＴＲのヘリカルスキャンにより斜めに配置される。各トラックはテープの一方の側端（図６では下端）から他方の側端（図６では上端）に向かって走査され、各トラックの先端にはＤＶ（デジタルビデオ）のオーディオ領域（以下、単にオーディオ領域とも言う）１０１が設けられ、その後にＤＶのビデオ領域（以下、単にビデオ領域とも言う）１０２が設けられている。ＤＶのビデオ領域１０２にはＭＰＥＧ−ＴＳのビデオデータやプログラム情報のＴＳパケットとオーディオＴＳパケットが記録される。オーディオＴＳパケットの追加の２ｃｈ分の領域は、通常の２ｃｈ記録では存在しないので、ビデオの帯域を削ってビデオ領域１０２に挿入される。
【０００３】
ここで、追加の２ｃｈ分の領域は、主にＰＣ（パーソナルコンピュータ）上での編集でアフレコを行うことを想定して設けられており、テープへの書き戻し時に、新たに追加した音声データによって帯域があふれないように、４ｃｈ記録を利用したい場合には、記録時にあらかじめビデオデータのビットレートを減らし、その減らした分を主音声の２ｃｈ分と同じだけのオーディオの帯域を持つダミーの音声ストリームとしてあらかじめ確保しておくことになっている。この理由は、あらかじめ確保しないと、テープ上に記録できるビットレートは一定なので、アフレコなどにより後から追加される２ｃｈ分のデータのためにテープに書き戻せなくなるためである。このため、テープに収まるようにビデオデータを再エンコードしてビットレートを削減する必要があるが、この処理量はとても大きく時間がかかるため、あらかじめ４ｃｈ分の帯域を確保するようにフォーマットに規定されている。
【非特許文献１】Specification of HDV Recording Format Version 1.0 September 2003
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１の方法では、通常のステレオ記録（２ｃｈ記録）の場合にもダミーデータを含む４ｃｈ分のオーディオのストリームを記録しなければならず、ビデオのビットレート、すなわち画質が犠牲になる。また、この方法では、ＭＰＥＧで圧縮された音声より高品位な非圧縮のＰＣＭ音声を記録することができない。ＨＤＶ format のＨＤ１モードでは、ＤＶフォーマットでビデオが記録されていた領域に、ビデオ、オーディオを含むＭＰＥＧストリームを記録するが、ＰＣＭ音声であるＤＶフォーマットのオーディオ領域１０１は未使用で、ＨＤＶ format ではこのオーディオ領域１０１はオーディオ信号の記録に使用できることになっている。ところが、オーディオ領域１０１に記録する音声とビデオ領域１０２に記録するＭＰＥＧのストリームとの同期に関して規定していないため、ＭＰＥＧビデオデータとリップシンクを合わせる方法がない。
【０００５】
本発明は上記従来例の問題点に鑑み、ビデオデータのビットレートを減らすことなく４ｃｈの音声を記録することができるとともに、ＭＰＥＧで圧縮された音声より高品位な非圧縮のＰＣＭ音声をＭＰＥＧストリームと同期して記録することができるＭＰＥＧストリーム記録装置を提供することを目的とする。
本発明はまた、ＭＰＥＧで圧縮された音声より高品位な非圧縮で記録したＰＣＭ音声をＭＰＥＧストリームと同期して再生することができるＭＰＥＧストリーム再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するために、入力ビデオデータと入力オーディオデータとをそれぞれＭＰＥＧ方式で圧縮し、これら圧縮されたＭＰＥＧビデオデータとＭＰＥＧオーディオデータとを時分割多重化したＭＰＥＧ−ＴＳを、ＤＶ規格を基本としたＨＤＶ規格のＨＤ１モードに基づいた方法でデータ変換して、ＤＶテープの各トラックに設けられたＤＶビデオ領域に記録するとともに、
前記入力オーディオデータを、前記ＤＶテープの各トラックに設けられたＤＶオーディオ領域に記録する記録装置において、
前記各ＤＶオーディオ領域を構成する各フレームの先頭ブロックに前記入力オーディオデータの先頭データを記録するタイミングを示す、フレーム基準情報を生成するタイミング情報生成手段と(3,5)、
前記入力オーディオデータを逐次ＰＴＳを付加しながらＭＰＥＧ方式で圧縮するとともに、前記フレーム基準情報を受信して、このフレーム基準情報により前記各フレームの先頭ブロックに記録される各入力オーディオデータの先頭データを特定し、この特定された先頭データを含む各入力オーディオデータを圧縮する際に付加するＰＴＳを、ＤＶ用の時刻情報であるＴＳｄｖとして抽出するオーディオ圧縮手段と(2)、
前記ＴＳｄｖを、対応する前記特定された各入力オーディオデータが記録されるＤＶオーディオ領域の中の補助情報を記述する領域であるＡＵＸ部にセットするＴＳｄｖ付加手段とを(6,7,5)、
有することを特徴とする。
【０００７】
また、本発明は上記目的を達成するために、請求項１に記載の記録装置によってＤＶテープの各トラックに設けられたＤＶビデオ領域に記録されたＭＰＥＧ−ＴＳから、ＭＰＥＧビデオデータとＭＰＥＧオーディオデータとを分離し、分離されたＭＰＥＧビデオデータとＭＰＥＧオーディオデータとをそれぞれ伸長して再生するとともに、
請求項１に記載の記録装置によって前記ＤＶテープの各トラックに設けられたＤＶオーディオ領域に記録されたオーディオデータを再生する再生装置において、
前記ＤＶオーディオ領域のＡＵＸ部に記録されたＴＳｄｖを読み出す手段と(11)、
前記ＭＰＥＧオーディオデータを読み出して伸長するとともに、ＳＴＣを生成するオーディオデータ伸長手段と(11,12,13)、
前記ＳＴＣと前記ＴＳｄｖとの差分値を算出し、この算出された差分値の時間分、前記ＤＶオーディオ領域に記録されているオーディオデータの再生タイミングを遅延させて、前記ＭＰＥＧオーディオデータを伸長して再生するタイミングと同期させる再生遅延手段とを(16,14)、
有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ビデオのビットレートを減らすことなく４ｃｈの音声を記録することができるとともに、ＭＰＥＧで圧縮された音声より高品位な非圧縮のＰＣＭ音声をＭＰＥＧストリームと同期して記録することができ、また、ＭＰＥＧで圧縮された音声より高品位な非圧縮で記録したＰＣＭ音声をＭＰＥＧストリームと同期して再生することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では基本的に、ＭＰＥＧのＡ／Ｖ同期に使われる時間基準ＳＴＣ（System Time Clock）を使ってＤＶオーディオデータを同期させる。ＰＴＳ（Presentation Time Stamp）とはＭＰＥＧでオーディオやビデオの出力タイミングを表す時刻情報である。ＰＴＳは、エンコーダ側で一定単位（フレームごとやオーディオの一定サンプルの単位）に付加され、デコーダ側で時刻基準のカウンタであるＳＴＣと比較されてオーディオやビデオの出力タイミングが決定される。また、本実施の形態ではＤＶオーディオデータに、上記ＰＴＳに相当する時刻情報（タイムスタンプ）を付加する。このタイムスタンプをＭＰＥＧのＰＴＳと区別してＴＳｄｖと定義する。
【００１０】
図１は図６に示すＤＶのオーディオ領域１０１の１トラック分を示す構成図である。１トラック分のオーディオエリアは、横方向＝９０バイト（９０bytes）を１本のシンクブロックとして縦方向に１７本のシンクブロック＝０〜１６を配列した構成であり、各シンクブロックの先頭に２バイトの同期信号Syncが配置され、同期信号Syncの後に３バイトのシンクブロックＩＤが配置される。１７本のシンクブロック＝０〜１６のうち、最初の２本のシンクブロック＝０，１と最後のシンクブロック＝１６はオーディオデータと直接関係ない識別符号用のシンクブロックである。
【００１１】
各シンクブロック＝２〜１０では、シンクブロックＩＤに続いて５バイトのオーディオ補助データ（Audio Aux, 以下、ＡＡＵＸとも言う）が配置され、ＡＡＵＸに続いて７２バイトのオーディオデータ（ＰＣＭデータ：図１中、Audio dataと表示）が配置され、オーディオデータに続いて８バイトの誤り訂正処理（ＥＣＣ）用のインナ・パリティ（inner Parity）が配置される。各シンクブロック＝１１〜１５では、シンクブロックＩＤに続いて５＋７２＝７７バイトのＥＣＣ用のアウタ・パリティ（Outer Parity）が配置され、アウタ・パリティに続いて８バイトのインナ・パリティが配置される。本実施の形態では、一例としてシンクブロック＝９，６のオーディオ補助データＡＡＵＸに上記のＴＳｄｖを配置する。
特に
・トラック＝０，２，４，６，８（ＮＴＳＣ）／０，２，４，６，８，１０（ＰＡＬ）の場合はシンクブロック＝９のＡＡＵＸエリアにＴＳｄｖを配置し、
・トラック＝１，３，５，７，９（ＮＴＳＣ）／１，３，５，７，９，１１（ＰＡＬ）の場合はシンクブロック＝６のＡＡＵＸエリアにＴＳｄｖを配置する。
【００１２】
ここで、ＤＶの１フレーム分のデータを記録する単位は、ＤＶ規格（ＩＥＣ６１８３４）で定められているとおりの１０トラック（ＮＴＳＣ）／１２トラック（ＰＡＬ）である。また、ＭＰＥＧデータを記録する場合であっても、オーディオデータはＤＶ規格に従っているので、ＤＶの１フレーム分を基準にしてトラック番号（Track Number）＝０〜９（ＮＴＳＣ）／０〜１１（ＰＡＬ）が付けられ、ＡＡＵＸデータはこのトラック番号に基づいて記録位置が決定される。
【００１３】
１つのＰＣＭオーディオデータのＴＳｄｖは、ＡＡＵＸエリアにバイナリパックという構造を使って図２に示すようにビット割り当てが行われる。図２において、１トラック分のＡＡＵＸデータは５バイト（ＰＣ０〜ＰＣ４）により構成されている。そして、１フレーム分のトラック数＝１０（ＮＴＳＣ）／１２（ＰＡＬ）を使い、また、１トラックのＡＡＵＸエリアの２バイトを２トラックにわたって使って、３２ビットのＴＳｄｖデータＰＴＳ３１〜ＰＴＳ０を格納する（図のＰＣ３、ＰＣ４）。なお、バイナリパックはＤＶのフォーマットで規定されているが、その中身は規定されていない。また、ＭＰＥＧのＰＴＳは本来３３ビットで表されるところ、図２では１ビットが抜けているが、このビット数でもリップシンクのためには十分であると考えられる。
【００１４】
図３は本発明に係るＭＰＥＧストリーム記録装置の一実施の形態を示すブロック図、図４はその動作を説明するためのタイミングチャートである。入力ビデオ信号ＶはＭＰＥＧエンコーダ（ＭＰＥＧ enc.）２に印加され、入力オーディオ信号はＡ／Ｄコンバータ（ＡＤＣ）１によりＰＣＭオーディオデータに変換されてＭＰＥＧエンコーダ２とＤＶオーディオ（audio）処理部３に印加される。ＭＰＥＧエンコーダ２では入力ビデオ信号と入力ＰＣＭオーディオデータを圧縮してＭＰＥＧ−ＴＳ（トランスポート・ストリーム）を生成し、続くＨＤＶ処理部４はＭＰＥＧエンコーダ２からのＭＰＥＧ−ＴＳをＨＤＶ記録するための処理を行い、ＤＶ符号化部５に出力する。ＤＶオーディオ処理部３はＡ／Ｄコンバータ１からのＰＣＭオーディオデータをＤＶオーディオデータとして記録するための処理を行い、ＤＶ符号化部５に出力する。
【００１５】
上記構成において、４ｃｈ同時記録を行う場合、ＭＰＥＧエンコーダ２はＤＶ符号化部５から、図４に示すようなＤＶのフレームＡ、Ｂ、Ｃからのそれぞれのフレームの先頭を示すタイミング情報を受け取る。そしてこのタイミング情報を用いて、ＤＶオーディオデータとしてこれら各フレーム内の一番先頭に配置されるデータ（Ddv）と同じ入力オーディオデータが、ＭＰＥＧエンコーダ２に入力されてエンコードされるデータDmpに付加するＰＴＳを抽出する。
そしてそのＰＴＳをマイコン６を経由してＡＵＸ生成部７に送る。ＡＵＸ生成部７はこのＰＴＳをＴＳｄｖとして図２に示すようなバイナリパックという構造でパックしてＤＶ符号化部５に出力する。ＤＶ符号化部５はＨＤＶ処理部４からのＭＰＥＧ−ＴＳと、ＤＶオーディオ処理部３からのＤＶオーディオデータと、ＡＵＸ生成部７からのＴＳｄｖを含むＡＡＵＸデータを図１、図２に示すように多重化するとともに誤り訂正処理を行い、テープ側に出力する。このとき、ＴＳｄｖはDdvが記録されるフレームのＡＡＵＸエリアに記録される。
【００１６】
また、ノンリニア編集時には、編集対象のＭＰＥＧ−ＴＳのＰＣＲ（Program Clock Reference）を基準として、ＤＶオーディオデータのＴＳｄｖを決定し、このＴＳｄｖからＡＡＵＸデータを生成することで、ＭＰＥＧのビデオ／オーディオデータとＤＶオーディオデータを同期させる。
【００１７】
図５は本発明に係るＭＰＥＧストリーム再生装置の一実施の形態を示すブロック図である。テープから読み出された信号はＤＶコーデック(codec)１１においてＤＶのビデオ領域のＭＰＥＧ−ＴＳとＤＶオーディオ信号に分離されるとともに誤り訂正処理される。ＤＶのビデオ領域のＭＰＥＧ−ＴＳはＨＤＶ処理部１２、ＭＰＥＧデコーダ(dec.)１３を経由してＭＰＥＧのビデオ／オーディオ信号としてデコードされる。また、ＭＰＥＧデコーダ１３によりデコードされたＭＰＥＧのオーディオ信号と、ＤＶコーデック１１で分離されたＤＶオーディオ信号は遅延／混合（delay/mix）部１４、Ｄ／Ａコンバータ（ＤＡＣ）１５を介して出力される。このとき、マイコン１６はAudio AuxエリアからＴＳｄｖを読み出し、このＴＳｄｖとＭＰＥＧデコーダ１３から送られてくる現在のＳＴＣを比較し、その差からＤＶオーディオ信号の遅延量を決定して遅延／混合部１４の遅延量を制御する。そして、遅延／混合部１４は用途に応じて遅延されたＤＶオーディオ信号とＭＰＥＧの音声信号とをミックスして出力したり、４ｃｈ同時に出力したり、ＤＶオーディオ信号のみを出力させたりする。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るＤＶのオーディオ領域を示す構成図である。
【図２】図１のオーディオ補助データを詳しく示す説明図である。
【図３】本発明に係るＭＰＥＧストリーム記録装置の一実施の形態を示すブロック図である。
【図４】図３のＭＰＥＧストリーム記録装置の動作を説明するためのタイミングチャートである。
【図５】本発明に係るＭＰＥＧストリーム再生装置の一実施の形態を示すブロック図である。
【図６】ＨＤＶ format のＨＤ１モードのテープ上のデータレイアウトを示す説明図である。
【符号の説明】
【００１９】
１  Ａ／Ｄコンバータ（ＡＤＣ）
２  ＭＰＥＧエンコーダ（ＭＰＥＧ  enc.）
３  ＤＶオーディオ（audio）処理部
４、１２  ＨＤＶ処理部
５  ＤＶ符号化部
６、１６  マイコン
７  ＡＵＸ生成部
１１  ＤＶコーデック（ＤＶ  codec）
１３  ＭＰＥＧデコーダ（ＭＰＥＧ  dec.）
１４  遅延／混合（delay/mix）部
１５  Ｄ／Ａコンバータ（ＤＡＣ）
【図１】
2007180847.tif 000003
【図２】
2007180847.tif 000004
【図３】
2007180847.tif 000005
【図４】
2007180847.tif 000006
【図５】
2007180847.tif 000007
【図６】
2007180847.tif 000008