(57)【特許請求の範囲】
【請求項１】
ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶し、前記混在ストリームデジタルデータのノンリニアビデオ編集を行うノンリニアビデオ編集装置であって、
前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶する分離記憶手段、
前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断する判断手段、
前記判断手段が前記オーディオストリームデータが前記目標サンプリングレートで生成されていないと判断した場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換するサンプリングレート変換手段、
オーディオストリームデータの編集命令が与えられると、前記目標サンプリングレートに基づいて、前記オーディオストリームデータの編集対象データを特定して、前記オーディオストリームデータを編集する編集手段、
を備えたことを特徴とするノンリニアビデオ編集装置。
【請求項２】
ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶する混在ストリームデジタルデータ分離記憶装置であって、
前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶する分離記憶手段、
前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断する判断手段、
前記判断手段が前記オーディオストリームデータが前記目標サンプリングレートで生成されていないと判断した場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換するサンプリングレート変換手段、
を備えたことを特徴とする混在ストリームデジタルデータ分離記憶装置。
【請求項３】
ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離する混在ストリームデジタルデータ分離装置であって、
前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離する分離手段、
前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断する判断手段、
前記判断手段が前記オーディオストリームデータが前記目標サンプリングレートで生成されていないと判断した場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換するサンプリングレート変換手段、
を備えたことを特徴とする混在ストリームデジタルデータ分離装置。
【請求項４】
ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶し、前記混在ストリームデジタルデータのノンリニアビデオ編集を行うノンリニアビデオ編集方法であって、
前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶し、
前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断し、
前記オーディオストリームデータが前記目標サンプリングレートで生成されていない場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換し、
オーディオストリームデータの編集命令が与えられると、前記目標サンプリングレートに基づいて、前記オーディオストリームデータの編集対象データを特定して、前記オーディオストリームデータを編集すること、
を特徴とするノンリニアビデオ編集方法。
【請求項５】
ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離し、
前記オーディオストリームデータのサンプリングレートを計測し、
前記計測したサンプリングレートに基づいて、前記オーディオストリームデータが、ビデオストリームデータを構成する各フレームデータとの対応づけ許容度を越えるサンプリングレートで生成されている場合には、前記オーディオデータのサンプリングレートを前記対応付け許容度の範囲内となるようデータ変換すること、
を特徴とする混在ストリームデジタルデータのデータ変換方法。
【請求項６】
コンピュータを、ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶する混在ストリームデジタルデータ分離記憶装置として機能させるプログラムを記憶させた記憶媒体であって、以下の処理を実行すること、
前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶し、
前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断し、
前記オーディオストリームデータが前記目標サンプリングレートで生成されていない場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換する、
を特徴とするプログラムを記憶した記憶媒体。
【請求項７】
請求項６のプログラムを記憶した記憶媒体において、
前記オーディオストリームデータのサンプリングレートが、前記目標サンプリングレートで生成されているか否かの判断は、先頭から所定量のデータに基づいて判断し、
前記先頭から所定量のオーディオストリームデータのサンプリングレートが、前記目標サンプリングレートで生成されていないと判断した場合には、残りのオーディオストリームデータについては、この判断をすることなく前記データ変換をすること、
を特徴とするもの。
【請求項８】
請求項６のプログラムを記憶した記憶媒体において、
与えられたオーディオストリームデータを構成する個別データの値を時系列で並べて、直線補完して仮想直線を求め、この仮想直線について前記目標サンプリングレートで再度サンプリングして、前記サンプリングレートの変換をすること、
を特徴とするもの。
【請求項９】
請求項８のプログラムを記憶した記憶媒体において、
前記プログラムは、与えられたオーディオストリームデータの制御データに記憶されたサンプリングレートを検出して目標サンプリングレートとすること、
を特徴とするもの。
【請求項１０】
請求項９のプログラムを記憶した記憶媒体において、
前記プログラムは、前記混在ストリームデジタルデータから最初に抽出したサンプリングレートを前記目標サンプリングレートとし、与えられる混在ストリームデジタルデータの制御データ領域に記憶されたサンプリングレートが異なる場合でも、前記目標サンプリングレートにてサンプリングレート変換すること、
を特徴とするもの。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ノンリニアビデオ編集装置に関し、特に、オーディオデータのサンプリングレートの変動に関する。
【０００２】
【関連技術】
今日、ＤＶ（ディジタルビデオ）ノンリニアビデオ編集が注目されている。これは、ビデオキャプチャーボードを介して、ＤＶビデオ信号をパソコンのＨＤＤ（ハードディスク）に記憶させ、任意のフレームを取り出して画像を編集する方法である。
【０００３】
かかる編集処理について簡単に説明する。ＩＥＥＥ１３９４インターフェイス（図示せず）により接続されたデジタルビデオ（ＤＶ）カメラＤＶ機器から、図６Ａに示すようなＤＶデータを取り込む。このデジタルデータは、複数のフレームから構成されたストリームデータである。各フレームは、ＤＶ圧縮されたビデオデータと、所定のサンプリングレートでデジタル化されたオーディオデータで構成されている。
【０００４】
ＤＶビデオキャプチャボードは図６Ｂに示すように、各フレーム毎にビデオデータとオーディオデータに分離する。分離されたビデオデータとオーディオデータは、各フレームを連続させたストリームデータとしてハードディスクに記憶される。
【０００５】
操作者から表示命令が与えられると、ハードディスクに記憶されたビデオデータが解凍され、所定のフレームの画像がモニタに表示される。操作者は、表示された画像を見て、所望の編集、例えば、第７フレームの画像を削除する等の作業を行う。これにより、第７フレームに対応するオーディオデータも同じく削除される。かかるオーディオデータの削除は次のようにして実行される。オーディオデータのサンプリングレートはあらかじめ定められているので、１フレームに該当する平均サンプル数を求めることができる。この平均サンプル数＊６で第７フレームの画像に該当するオーディオデータの先頭位置が判明するので、その位置から１フレーム分に該当するオーディオデータを削除すればよい。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記ノンリニアビデオ編集装置においては、以下の様な問題があった。ＤＶビデオカメラによっては、オーディオデータのサンプリングレートが所定のサンプリングレートと少しずれている場合がある。例えば、サンプリングレートが所定のレートよりも高い場合、図６Ｃに示すように、１フレーム当たりのデータ量が大きくなる。しかし、前記編集作業において、編集対象のビデオフレームに該当するオーディオデータの位置特定は、前記所定のレート、具体的には、ビデオ１フレーム当たりのオーディオデータ数、に基づいて決定される。したがって、編集対象のオーディオデータがずれてしまう。逆に、サンプリングレートが所定のレートよりも低い場合、図６Ｄに示すように、１フレーム当たりのデータ量が小さくなる。したがって、この場合も、ズレの問題が生ずる。このような映像と音声のズレは、ビデオ編集において問題となる。
【０００７】
また、前記ノンリニアビデオ編集においては、次のような問題もあった。ＤＶビデオカメラによっては、オーディオデータのサンプリングレートを１つのテープ中にて切り換えることができる。この場合には、途中からオーディオデータについてサンプリングレートが異なることになり、ハードディスクにオーディオデータを取り込むことができず停止したり、データが取り込めても無音で記憶されてしまう。
【０００８】
本発明は上記問題を解決し、ビデオデータとオーディオデータがインタリーブされたデジタルストリームデータについて、オーディオデータのサンプリングレートの変動にかかわらず、ビデオデータとオーディオデータとを正確に対応づけして記憶媒体に記憶することができるデジタルデータ記憶装置またはその方法を提供することを目的とする。
【０００９】
また、ビデオデータとオーディオデータがインタリーブされたデジタルストリームデータについて、オーディオデータのサンプリングレートの変動にかかわらず、ビデオデータとオーディオデータとを正確に対応付けしてノンリニアビデオ編集が可能なノンリニアビデオ編集装置またはその方法を提供することを目的とする。
【００１０】
【課題を解決するための手段および発明の効果】
本発明にかかるノンリニアビデオ編集装置においては、1)前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶する分離記憶手段、2)前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断する判断手段、3)前記判断手段が前記オーディオストリームデータが前記目標サンプリングレートで生成されていないと判断した場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換するサンプリングレート変換手段、4)オーディオストリームデータの編集命令が与えられると、前記目標サンプリングレートに基づいて、前記オーディオストリームデータの編集対象データを特定して、前記オーディオストリームデータを編集する編集手段を備えている。したがって、前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されていない場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換される。これにより、与えられる混在ストリームデジタルデータのオーディオデータのサンプリングレートが変動する場合でも、編集手段にて正確に対応するオーディオデータを特定して編集することができる。よって、音ずれのないノンリニアビデオ編集が可能となる。
【００１１】
本発明にかかる混在ストリームデジタルデータ分離記憶装置においては、1)前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶する分離記憶手段、2)前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断する判断手段、3)前記判断手段が前記オーディオストリームデータが前記目標サンプリングレートで生成されていないと判断した場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換するサンプリングレート変換手段を備えている。したがって、前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されていない場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換される。これにより、与えられる混在ストリームデジタルデータのオーディオデータのサンプリングレートが変動する場合でも、ノンリニアビデオ編集装置は、正確に対応するオーディオデータを特定して編集することができる。
【００１２】
本発明にかかる混在ストリームデジタルデータ分離装置においては、ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離する混在ストリームデジタルデータ分離装置であって、
前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離する分離手段、
前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断する判断手段、
前記判断手段が前記オーディオストリームデータが前記目標サンプリングレートで生成されていないと判断した場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換するサンプリングレート変換手段、
を備えている。
【００１３】
したがって、与えられる混在ストリームデジタルデータのオーディオデータのサンプリングレートが変動する場合でも、ノンリニアビデオ編集装置に前記ビデオストリームデータとオーディオストリームデータを記憶することにより、正確に対応するオーディオデータを特定して編集することができる。
【００１４】
本発明にかかるノンリニアビデオ編集方法においては、前記混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶し、前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断し、前記オーディオストリームデータが前記目標サンプリングレートで生成されていない場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換し、オーディオストリームデータの編集命令が与えられると、前記目標サンプリングレートに基づいて、前記オーディオストリームデータの編集対象データを特定して、前記オーディオストリームデータを編集する。したがって、前記オーディオストリームデータのサンプリングレートが、編集時にデータ特定に用いる目標サンプリングレートで生成されていない場合には、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換される。これにより、与えられる混在ストリームデジタルデータのオーディオデータのサンプリングレートが変動する場合でも、正確に対応するオーディオデータを特定して編集することができる。
【００１５】
本発明にかかる混在ストリームデジタルデータのデータ変換方法においては、ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離し、前記オーディオストリームデータのサンプリングレートを計測し、前記計測したサンプリングレートに基づいて、前記オーディオストリームデータが、ビデオストリームデータを構成する各フレームデータとの対応づけ許容度を越えるサンプリングレートで生成されている場合には、前記オーディオデータのサンプリングレートを前記対応付け許容度の範囲内となるようデータ変換する。したがって、前記対応付け許容度の範囲外である場合には、前記オーディオストリームデータのサンプリングレートがデータ変換される。これにより、与えられる混在ストリームデジタルデータのオーディオデータのサンプリングレートが変動する場合でも、正確に対応するオーディオデータを特定して編集することができる。
【００１６】
本発明にかかるプログラムを記憶した記憶媒体においては、前記プログラムは、前記オーディオストリームデータのサンプリングレートが、前記目標サンプリングレートで生成されているか否かの判断は、先頭から所定量のデータに基づいて判断し、前記先頭から所定量のオーディオストリームデータのサンプリングレートが、前記目標サンプリングレートで生成されていないと判断した場合には、残りのオーディオストリームデータについては、この判断をすることなく前記データ変換する。したがって、先頭から所定量のオーディオストリームデータのサンプリングレートだけを求めるだけで、前記調整をすべきか否か判断できる。これにより、全体としての処理時間をより短くすることができる。
【００１７】
本発明にかかるプログラムを記憶した記憶媒体においては、与えられたオーディオストリームデータを構成する個別データの値を時系列で並べて、直線補完して仮想直線を求め、この仮想直線について前記目標サンプリングレートで再度サンプリングして、前記サンプリングレートの変換をする。したがって、簡易、高速さらに高精度の変換が可能となる。
【００１８】
本発明にかかるプログラムを記憶した記憶媒体においては、前記プログラムは、与えられたオーディオストリームデータの制御データに記憶されたサンプリングレートを検出して目標サンプリングレートとする。したがって、制御データで特定されたサンプリングレートに変換することができる。
【００１９】
本発明にかかるプログラムを記憶した記憶媒体においては、前記混在ストリームデジタルデータから最初に抽出したサンプリングレートを前記目標サンプリングレートとし、与えられる混在ストリームデジタルデータの制御データ領域に記憶されたサンプリングレートが異なる場合でも、前記目標サンプリングレートにてサンプリングレート変換する。したがって、異なるサンプリングレートでデジタル化されている場合でも、１の目標サンプリングレートのオーディオデータに変換することができる。
【００２０】
【発明の実施の形態】
１．機能ブロック図の説明
本発明の一実施形態を図面に基づいて説明する。図１に示すノンリニアビデオ編集装置１は、ビデオデータとオーディオデータがインタリーブされた混在ストリームデジタルデータが与えられると、ビデオストリームデータとオーディオストリームデータに分離して記憶し、前記混在ストリームデジタルデータのノンリニアビデオ編集を行うノンリニアビデオ編集装置であって、分離記憶手段３、判断手段５、サンプリングレート変換手段７、および編集手段９を備えている。
【００２１】
分離記憶手段３は、前記混在ストリームデジタルデータが与えられると、与えられたデータを取り込み、取り込んだデータをビデオストリームデータとオーディオストリームデータに分離して記憶する。判断手段５は、前記オーディオストリームデータのサンプリングレートを検出して、オーディオストリームデータが、編集時にデータ特定に用いる目標サンプリングレートで生成されているか否かを判断する。
【００２２】
判断手段５が前記オーディオストリームデータが前記目標サンプリングレートで生成されていないと判断した場合には、調整手段７は、前記オーディオストリームデータのサンプリングレートが前記目標サンプリングレートになるようデータ変換する。編集手段９は、オーディオストリームデータの編集命令が与えられると、前記目標サンプリングレートに基づいて、前記オーディオストリームデータの編集対象データを特定して、前記オーディオストリームデータを編集する。
【００２３】
このように、前記オーディオストリームデータのサンプリングレートを計測し、前記計測したサンプリングレートに基づいて、前記オーディオストリームデータが、ビデオストリームデータを構成する各フレームデータとの対応づけ許容度を越えるサンプリングレートで生成されている場合には、前記オーディオデータのサンプリングレートを前記対応付け許容度の範囲内となるよう調整することにより、音ずれのないノンリニアビデオ編集ができる。
【００２４】
２．ハードウェア構成
図２に、図１に示すノンリニアビデオ編集装置１を、ＣＰＵを用いて実現したハードウェア構成の一例を示す。
【００２５】
本発明の一実施形態を図面に基づいて説明する。図１に本発明にかかるノンリニアビデオ編集システム１のハードウェア構成を示す。ノンリニアビデオ編集システム１は、ＣＰＵ２３、メモリ２７、ハードディスク２６、表示部３０、ＦＤＤ２５、キーボード２８、マウス３１、ＤＶビデオキャプチャボード４１およびバスライン２９を備えている。
【００２６】
ＣＰＵ２３は、ハードディスク２６に記憶されたプログラムにしたがいバスライン２９を介して、各部を制御する。このプログラムは、ＦＤＤ２５を介して、プログラムが記憶されたフレキシブルディスク２５ａから読み出されてハードディスク２６にインストールされたものである。なお、フレキシブルディスク以外に、ＣＤ−ＲＯＭ、ＩＣカード等のプログラムを実体的に一体化したコンピュータ可読の記憶媒体から、ハードディスクにインストールさせるようにしてもよい。さらに、通信回線を用いてダウンロードするようにしてもよい。
【００２７】
本実施形態においては、プログラムをフレキシブルディスクからハードディスク２６にインストールさせることにより、フレキシブルディスクに記憶させたプログラムを間接的にコンピュータに実行させるようにしている。しかし、これに限定されることなく、フレキシブルディスクに記憶させたプログラムをＦＤＤ２５から直接的に実行するようにしてもよい。なお、コンピュータによって、実行可能なプログラムとしては、そのままのインストールするだけで直接実行可能なものはもちろん、一旦他の形態等に変換が必要なもの（例えば、データ圧縮されているものを、解凍する等）、さらには、他のモジュール部分と組合して実行可能なものも含む。
【００２８】
ハードディスク２６には、ビデオ編集プログラム２６ｅ、データ取り込みプログラム２６ｓ、ビデオデータ２６ｖ、オーディオデータ２６ａ、オペレーティングシステム（ＯＳ）２６ｗを記憶する。本実施形態においては、オペレーティングシステムとして、マイクロソフト社のＷｉｎｄｏｗｓ９８を採用した。
【００２９】
ビデオデータ２６ｖ、オーディオデータ２６ａは、ビデオカメラ４３からのＤＶデータが、ＤＶビデオキャプチャボード４１で取り込まれ、一旦メモリ２７に記憶される。その後、ＣＰＵ２３によってビデオデータとオーディオデータとに分離され、記憶されたものである。詳細は後述する。
【００３０】
ビデオ編集プログラム２６ｅについては従来と同様である。簡単に説明すると、操作者が読み出し命令を与えると、ビデオデータ２６ｖのうち特定されたフレームの画像データを解凍して、表示部３０に与える。これにより、表示部３０に編集対象の画像が１フレームづつ表示される。操作者は表示された各フレームの画像をカットアンドペーストしたり、合成したりする。この際、オーディオデータもビデオデータにあわせて、１フレーム単位で同時に加工される。操作者は、所望の編集作業が終了すると、書き込み命令を与える。各フレームのビデオデータが所定の形式で圧縮され、ハードディスクにビデオデータとして記憶する。ビデオ編集プログラム２６ｅは、オペレーティングシステム２６ｗの上で動作するアプリケーションプログラムである。
【００３１】
メモリ２７にはその他、各種の演算結果等が記憶される。表示部３０は、グラフィックカード３０ａとモニタ３０ｂを備えており、ビデオ編集プログラム２６ｅの実行により、編集対象の各フレームの画像がビデオ編集プログラム２６ｅのビデオ編集画面中に表示される。キーボード２８およびマウス３１は各種の命令（編集開始命令、編集終了命令等）を入力する入力手段である。
【００３２】
３．データ取り込みプログラム２６ｓのフローチャート
つぎに、ハードディスク２６に記憶されているデータ取り込みプログラム２６ｓについて図３，図４を用いて説明する。
【００３３】
データ取り込みプログラム２６ｓは、図３、図４のメインプログラムと別に、割り込みプログラムを有する。この割り込みプログラムは、操作者が取り込み開始命令を与えると、ＤＶビデオキャプチャーボード４１から、ビデオデータとオーディオデータがインタリーブされたＤＶストリームデータが与えられるか否かを判断し、ＤＶビデオキャプチャーボード４１から、ＤＶストリームデータが与えられると、ハードディスク２６に一時記憶する。一方、ＤＶストリームデータが与えられなければ、かかる記憶処理は行わない。かかる割り込み処理は、ビデオ１フレーム周期ごとに、繰り返される。
【００３４】
メインプログラムについて図３，図４を用いて説明する。以下では、図６Ｃに示すようにオーディオデータのサンプリングレートが標準よりも大きく、かつ、読み出したサンプリングレートが途中で変更されない場合のデータ取り込み処理について説明する。
【００３５】
ＣＰＵ２３は、サンプリングレートフラグ＝０とし（図３ステップＳＴ１）、変換フラグｆをｆ＝０とする（ステップＳＴ１１）。ＣＰＵ２３は、新しいＤＶストリームデータがハードディスク２６に記憶されているか否か判断する（ステップＳＴ１３）。新しいＤＶストリームデータがハードディスク２６に記憶されている場合には、ビデオデータとオーディオデータに分離して、ハードディスクに記憶する（ステップＳＴ１５）。ＤＶストリームデータがハードディスク２６に記憶されていなければ、ステップＳＴ１３の処理を繰り返す。
【００３６】
ＣＰＵ２３は、ＤＶストリームデータの制御データからサンプリングレートを取得する（ステップＳＴ１７）。具体的には、ビデオカメラ４３がオーディオデータをデジタル化した場合に、そのサンプリングレートを制御データ中に埋め込んでいるので、この制御データから読み出せばよい。
【００３７】
ＣＰＵ２３は、サンプリングレートフラグ＝０か否か判断する（ステップＳＴ１８）。この場合、ステップＳＴ１０にてサンプリングレートフラグ＝０に設定されているので、ステップＳＴ１７にて読みだしたサンプリングレートを標準値として記憶する（ステップＳＴ４１）。ＣＰＵ２３は、サンプリングレートフラグ＝１とする（ステップＳＴ４３）。
【００３８】
ＣＰＵ２３は、標準値として記憶したサンプリングレートと読みだしたサンプリングレートが一致するか否か判断する（ステップＳＴ１９）。この場合、読み出したサンプリングレートは途中で変更されないので、ＣＰＵ２３は、変換フラグがｆ＝０であるか否か判断する（ステップＳＴ２１）。この場合、ステップＳＴ１１にてｆ＝０であるので、ＣＰＵ２３は、分離したオーディオデータの個別データをカウントして、加算する（図４ステップＳＴ２３）。ＤＶストリームデータはビデオ１フレーム単位でブロック化されているので（図６Ａ参照）、各ブロック中のサンプル数をカウントするようにすればよい。なお、ＤＶ規格では、ＮＴＳＣモードにおける一秒の動画は２９．９７フレームで構成されている。したがって、ビデオ１フレームに該当する時間、１／２９．９７秒のサンプル数が加算されることとなる。
【００３９】
ＣＰＵ２３は、所定数のフレーム分のカウントが終了したか否か判断する（ステップＳＴ２５）。所定数のフレーム分のカウントが終了していなければ、図３ステップＳＴ１３以下の処理を繰り返す。
【００４０】
図４ステップＳＴ２５にて、所定数のフレーム分のカウントが終了していれば、ＣＰＵ２３は、誤差が許容範囲内か否か判断する（図４ステップＳＴ２７）。例えば、図３ステップＳＴ１７にて取得したサンプリングレートが４８kHzである場合、ビデオ１フレームの時間あたり、平均のサンプル数は、４８kHz／２９．９７＝ １６０１．６０であるはずである。本実施形態においては、所定数のフレーム分のサンプリングデータ数の平均を求めて、この平均値と前記平均サンプル値との誤差がプライマイナス０．５％以下に収まっているかを否かを判断するようにした。なお、平均を求めるのは、前記１ブロック当たりの記憶されるサンプル数が若干変動するからである。
【００４１】
なお、かかる誤差の許容範囲はこの値に限定されるわけでなく、編集対象のデータにおいて許容できる範囲、例えばプラスマイナス０．３％以下や、プラスマイナス１％以下というように、任意に設定するようにすればよい。さらに、操作者にかかる許容範囲を入力させてもよい。
【００４２】
許容範囲内である場合には、ＣＰＵ２３は、変換フラグｆをｆ＝２として、ステップＳＴ１３以下の処理を繰り返す。許容範囲を超えている場合には、変換フラグｆをｆ＝１とし（図４ステップＳＴ２８）、サンプリングレート変換処理を行う（ステップＳＴ２９）。サンプリングレート変換処理について、図５を用いて説明する。図５Ａに示すように、サンプリングレート変換処理が必要なオーディオデータを時系列に並べる。この場合、図６Ｃに示すように、サンプリングレートが高い場合であるので、所定時間あたり（例えば１フレーム分）のサンプリング数が多い。したがって、各サンプル間の時間Δtxが標準値よりも小さい。ＣＰＵ２３は、各サンプルの値をつなぐ仮想直線Ｌ１を演算する。この仮想直線Ｌ１を図５Ｂに示すように、標準値である場合の各サンプル間の時間Δtsで再度サンプリングする。この処理により、オーディオデータの周波数と強度をほとんど代えることなく、サンプリングレートを変換することができる。
【００４３】
ＣＰＵ２３は分離したオーディオデータのサンプリングレート変換が終了すると、変換前のオーディオーディオに代えて変換後のオーディオデータを記憶し、図３ステップＳＴ１３以下の処理を繰り返す。
【００４４】
なお、本実施形態においては、図４ステップＳＴ２７において先頭から所定数のフレームについてサンプリングレートが許容範囲か否かを判断し、残りのフレームについてはかかる判断に基づいて、同じ処理を行うようにした。すなわち、図３ステップＳＴ１３から図４ステップＳＴ２７の処理によって、一度許容範囲か否かの判断を行うと、変換フラグｆは、ｆ＝１またはｆ＝２となる。したがって、図３ステップＳＴ２１からステップＳＴ２２に進み、変換フラグｆがｆ＝１である場合には、ステップＳＴ２３〜ステップＳＴ２７の許容範囲か否かの判断処理を行わず、ステップＳＴ２９のサンプリングレート変換処理を行う。一方、変換フラグｆがｆ＝２であれば、ステップＳＴ２９のサンプリングレート変換処理を行うことなく、ステップＳＴ１３以下の処理を繰り返す。これは、多くのビデオカメラは、オーディオデータのサンプリングレートがふらつくのではなく、標準値と比べて上下いずれかにずれた値で安定している場合が多いからである。もちろん、全フレームについて、前記許容範囲か否かの判断を行うようにしてもよい。
【００４５】
すなわち、本実施形態において、変換フラグｆは、ｆ＝０:サンプリングレート判断要、ｆ＝１:サンプリングレート変換要、ｆ＝３:サンプリングレート変換不要を示すこととなる。
【００４６】
このようにして、与えられたオーディオデータのサンプリングレートがずれている場合でも、ノンリニアビデオ編集ソフトが、対応オーディオデータを特定するのに用いる基準サンプリングレートに変換しておくことにより、オーディオストリームデータの編集命令が与えられた場合に、前記目標サンプリングレートに基づいて、前記オーディオストリームデータの編集対象位置が特定できる。これにより、編集時における音ずれの問題を回避することができる。
【００４７】
このように、オーディオデータの取り込み時にサンプリングレートの誤差を調整することにより、音ずれのないビデオ編集が可能となる。
【００４８】
つぎに、読み出したサンプリングレートが途中で変更される場合について説明する。ＤＶデータのオーディオデータには、以下の４種類が採用されている。
【００４９】
1)サンプリングレート４８kHz,データ長16ビット
2)サンプリングレート４４．１kHz,データ長16ビット
3)サンプリングレート３２kHz,データ長16ビット
4)サンプリングレート３２kHz,データ長12ビット
ビデオカメラは、録音途中にて前記オーディオデータのサンプリングレートを切り換えることができる。しかし、途中でサンプリングレートが切り換わった場合、ノンリニアビデオ編集ソフトは、かかる切り替えに対応できず、データ取り込みができず停止したり、データが取り込めても無音で記憶されてしまい、結局、オーディオデータを正確に取り込むことができなかった。
【００５０】
そこで、本実施形態においては、途中でサンプリングレートが切り替わった場合でも、最初に抽出したサンプリングレートにて自動的にサンプリングレート変換処理を行うことにより、ノンリニアビデオ編集ソフトにおける編集作業を可能とした。以下では、サンプリングレート４８kHzから、サンプリングレート４４．１kHzに切り換えられた場合を例として説明する。
【００５１】
ＣＰＵ２３は、ビデオデータとオーディオデータを分離後、制御データからサンプリングレートを取得している（ステップＳＴ１７）。そして、ステップＳＴ１８にてサンプリングレートフラグを参照して、標準値として記憶ずみでない場合だけ、標準値として記憶し（ステップＳＴ４１）、サンプリングレートフラグ＝１とする（ステップＳＴ４３）。
【００５２】
一方、一旦記憶後は、標準値として記憶したサンプリングレートと読みだしたサンプリングレートが一致するか否か判断する（ステップＳＴ１９）。かかる判断は、標準値として記憶されているサンプリングレート４８kHzが、サンプリングレート４４．１kHzとなるか否かで判断できる。
【００５３】
サンプリングレートが途中で切り替わった場合には、ＣＰＵ２３は、オーディオデータの変換フラグｆをｆ＝０とし（ステップＳＴ３１）、カウンタをクリアする（ステップＳＴ３３）。そして、ステップＳＴ２９以下の処理を行う。
【００５４】
このようにして、サンプリングレートが途中で切り替わった場合に、その後の制御データで指定されたサンプリングレートに変換するのではなく、最初に検出したサンプリングレートでサンプリングすることができる。
【００５５】
３．他の実施形態
なお、ＤＶビデオキャプチャーボード４１から与えられるＤＶデータは、ストリームデータであれば、記憶媒体の種類は問わず、テープだけでなく、ＤＶＤディスクでも同様である。
【００５６】
なお、前記オーディオストリームデータのサンプリングレートが、前記目標サンプリングレートで生成されているか否かの判断は、先頭から所定量のデータに基づいて判断し、前記先頭から所定量のオーディオストリームデータのサンプリングレートが、前記目標サンプリングレートで生成されていないと判断した場合には、残りのオーディオストリームデータについては、この判断をすることなく前記データ変換をするようにしてもよい。
【００５７】
また、本実施形態においては、与えられたオーディオストリームデータを構成する個別データの値を時系列で並べて、直線補完して仮想直線を求め、この仮想直線について前記目標サンプリングレートで再度サンプリングして、前記サンプリングレート変換をした。これにより、周波数が高ければ誤差も少なく、かつ計算も容易となる。しかし、これ以外の手法で補完処理を行ってもよく、例えば、仮想スプライン曲線を求めて、この曲線に基づいて、前記データ変換を行ってもよい。
【００５８】
本実施形態においては、与えられたＤＶデータ中のサブコード記憶領域に記憶されたサンプリングレートを検出して目標サンプリングレートとしたが、固定値としてもよい。さらに、ＤＶデータ以外の混在ストリームデジタルデータ、例えば、ＭＰＥＧデータ等、の制御データ領域に記憶されたサンプリングレートを検出して目標サンプリングレートとしてもよい。
【００５９】
また、前記目標サンプリングレートとして、前記ＤＶストリームデータから最初に検出したサンプリングレートを用いてもよい。
【００６０】
前記コンバータを汎用コンピュータに内蔵する場合に、オペレーティングシステム（ＯＳ）プログラムが上記プログラムを実行するようにしてもよい。すなわち、プログラム単独で行っても、オペレーティングシステム（ＯＳ）と分担して、実現するようにしてもよい。
【００６１】
なお、本実施形態においては、図１に示す機能を実現する為に、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。例えば、サンプリングレート変換はロジック回路で、サンプリングレートの許容判断はソフトウェアでやってもよい。また、一部のハードウェアで行っている処理をＣＰＵで実行するようにしてもよい。
【００６２】
また、本実施形態においては、図３、４に示すプログラムをハードディスクにインストールし、一旦ＤＶキャプチャーボード４１から与えられたＤＶストリームデータをハードディスク２６に記憶して、データ変換するか否か判断するようにしたが、ＤＶキャプチャーボード４１に別途ＣＰＵおよびＲＯＭを搭載し、このＲＯＭに前記プログラムを記憶させて、ＤＶキャプチャーボード４１から、サンプリングレートを一致させたＤＶストリームデータを出力できるようにしてもよい。この場合、ステップＳＴ２７の判断を行うための最初から所定フレーム分のオーディオデータを記憶するためのメモリを用意すればよい。この場合、ビデオデータについては、データ変換作業が不要なので、順次、ハードディスク２６に転送するようにしてもよい。これにより、ＤＶキャプチャーボード４１に用意するメモリは、比較的データ量の少ないオーディオデータを記憶するメモリでよくなる。もちろん、判断が終了するまで、全ストリームデータを記憶するメモリを搭載してもよい。
【図面の簡単な説明】
【図１】本発明にかかるノンリニアビデオ編集システム１の機能ブロック図である。
【図２】ノンリニアビデオ編集システム１をＣＰＵを用いて構成したハードウエア構成の一例を示す図である。
【図３】データ取り込みプログラムのメインフローチャートである。
【図４】データ取り込みプログラムのメインフローチャートである。
【図５】サンプリングレート変換を説明するための図である。
【図６】ビデオデータとオーディオーディオの対応を示す図である。
【符号の説明】
１・・・・・ノンリニアビデオ編集装置
２３・・・・ＣＰＵ
２６ｓ・・・データ取り込みプログラム
２６ｅ・・・ビデオ編集プログラム
４１・・・・ＤＶビデオキャプチャーボード
【図１】
0004109367.tif 000002
【図２】
0004109367.tif 000003
【図３】
0004109367.tif 000004
【図４】
0004109367.tif 000005
【図５】
0004109367.tif 000006
【図６】
0004109367.tif 000007