(57)【要約】【課題】作業効率の向上を図ることができる音素材変換装置及び音素材変換用プログラムを提供する。【解決手段】映像編集部２１が映像データを備えると共に該映像データを再生し、音素材加工・再生部２２がＭＩＤＩファイル形式の音素材データの再生態様を制御するための再生パラメータ（パートオン／オフ、音色変更、ミキサー、エフェクト付与、テンポ変更又はピッチ変更等）を設定変更し、ソフトウェア音源部２３が設定変更された再生パラメータに基づいて前記音素材データを逐次再生してオーディオ形式の波形データを生成し、音素材加工・再生部２２が該生成された波形データを発音させることなくメモリに記録し且つ該録音された波形データを映像編集部２１にて再生される映像データに付加可能なフォーマットのデータに変換し、映像編集部２１が前記変換された波形データを前記映像データに付加する。【選択図】図６
2006178496.tif 000002
【特許請求の範囲】
【請求項１】
映像データを備えると共に該映像データを再生する映像データ再生手段と、
ＭＩＤＩファイル形式の音素材データの再生態様を制御するための再生パラメータを設定変更する音素材データ加工手段と、
前記設定変更された再生パラメータに基づいて前記音素材データを逐次再生してオーディオ形式の波形データを生成する生成手段と、
該生成された波形データを発音させることなくメモリに記録する録音手段と、
該録音された波形データを、前記映像データ再生手段にて再生される映像データに付加可能なフォーマットのデータに変換して、前記映像データに付加する変換・付加手段と
を備えることを特徴とする音素材変換装置。
【請求項２】
ＭＩＤＩファイル形式の音素材データ及び映像データを備えるコンピュータを、
前記映像データを再生する映像データ再生手段と、
前記ＭＩＤＩファイル形式の音素材データの再生態様を制御するための再生パラメータを設定変更する音素材データ加工手段と、
前記設定変更された再生パラメータに基づいて前記音素材データを逐次再生してオーディオ形式の波形データを生成する生成手段と、
該生成された波形データを発音させることなくメモリに記録する録音手段と、
該録音された波形データを、前記映像データ再生手段にて再生される映像データに付加可能なフォーマットのデータに変換して、前記映像データに付加する変換・付加手段と
して機能させることを特徴とする音素材変換用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＩＤＩファイル形式の音素材データを加工後、所定のオーディオ形式のデータに変換する音素材変換装置及び音素材変換用プログラムに関する。
【背景技術】
【０００２】
従来より、ウェブサイトとしての機能を果たすサーバコンピュータで音素材データ（例えばＭＩＤＩ（Musical Instrument Digital Interface）の楽曲データ等）を提供し、ユーザがパーソナルコンピュータ等で該ウェブサイトにアクセスし、この音素材データをダウンロードすることができるようにしたサービスがある。また、音素材データを所定のオーディオ形式のデータに変換するデータ変換装置がある。
【０００３】
また、従来より、オーディオ形式の音素材データを映像データのバックグランドミュージック（以下「ＢＧＭ」という）として付加することが可能な映像編集装置が知られている。
【０００４】
また、本願の親出願（特願２００２−０５４１２３号）の審査において、映像情報に合致した新たな音楽データを得る装置（特許文献１参照）、効果音等を画像に簡単に同期させて再生できるＡＶ連動再生システム（特許文献２参照）、ＭＩＤＩデータを音楽データと同一の記録形式に変換して記録媒体に記録する技術（特許文献３参照）、ＭＩＤＩ信号をアナログデータに変換して、ビデオデッキに供給する技術（特許文献４参照）が挙げられている。
【特許文献１】特開２００１−２０２０８２号公報
【特許文献２】特開平０５−０２８７２８号公報
【特許文献３】特開２００１−３０７４２８号公報
【特許文献４】特開平０６−２９５５７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザがＭＩＤＩファイル形式の音素材データを映像データのＢＧＭとして付加する場合、特にユーザが音素材データそのままでは気に入らない場合、ＭＩＤＩシーケンサ等により音素材データに対して所望の加工を施して（例えば、パート構成、音色、音量、エフェクト、テンポ又はピッチ等の変更）、該加工の施された音素材データを一旦任意のファイルに保存し、データ変換装置により該任意のファイルに保存された音素材データを所定のオーディオ形式のデータに変換し、映像編集装置によりこの変換されたオーディオ形式のデータを映像データに付加するという作業が要求されるため、ユーザはいくつもの装置で処理を実行しなければならず煩わしさがあった。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、初心者でも作業効率の向上を図ることができる音素材変換装置及び音素材変換用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の音素材変換装置は、映像データを備えると共に該映像データを再生する映像データ再生手段と、ＭＩＤＩファイル形式の音素材データの再生態様を制御するための再生パラメータを設定変更する音素材データ加工手段と、前記設定変更された再生パラメータに基づいて前記音素材データを逐次再生してオーディオ形式の波形データを生成する生成手段と、該生成された波形データを発音させることなくメモリに記録する録音手段と、該録音された波形データを、前記映像データ再生手段にて再生される映像データに付加可能なフォーマットのデータに変換して、前記映像データに付加する変換・付加手段とを備えることを特徴とする。
【０００８】
請求項２記載の音素材変換用プログラムは、前記請求項１記載の音素材変換装置と同様の動作をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
以上詳細に説明したように、請求項１記載の音素材変換装置及び請求項２記載の音素材変換用プログラムによれば、ＭＩＤＩファイル形式の音素材データが簡易的に加工され、該加工された音素材データが所定のオーディオ形式のデータに変換され、映像データに付加されるので、音素材データの加工から音素材データのオーディオフォーマットの変換を介して映像データへの付加まで一挙に実行することができ、作業効率の向上を図ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
【００１１】
図１は、本発明の実施の形態に係る音素材変換装置の概略ハードウェア構成を示すブロック図である。
【００１２】
本発明の実施の形態に係る音素材変換装置は、例えば、パーソナルコンピュータ（ＰＣ）１で構成される。
【００１３】
ＰＣ１は、ＰＣ１全体の動作を制御するＣＰＵ２を備えており、ＣＰＵ２には通信バス１７を介してＲＡＭ３、ＲＯＭ４、ＭＩＤＩインターフェース（Ｉ／Ｆ）５、操作回路６、表示回路７、音源回路８、外部記憶装置９、通信インターフェース（Ｉ／Ｆ）１０及びタイマ１１がそれぞれ接続されている。
【００１４】
ＲＡＭ３は、映像データ又は音素材データに関する各種情報やＣＰＵ２が各種プログラムを実行する際に発生する各種データを一時的に記憶する。ＲＯＭ４は、ＣＰＵ２により実行又は参照される各種プログラムや各種データ（例えば、映像データ、該映像データの特徴データである映像時間データやタイトルデータ、映像編集用プログラム、音素材加工・再生用プログラム及びデータフォーマット変換処理用プログラム等）を記憶する。ＭＩＤＩインターフェース（Ｉ／Ｆ）５は、電子楽器１２を通信バス１７に接続するためのインターフェースであり、電子楽器１２とＰＣ１との間でＭＩＤＩデータを通信するために使用される。操作回路６は操作子１３を通信バス１７に接続し、操作子１３、例えばマウスやキーボード等からの入力データを通信バス１７を介してＣＰＵ２に出力する。表示回路７は表示装置１４を通信バス１７に接続し、例えば、映像データやＭＩＤＩデータからなる音素材データ又はこれらを再生する再生プレーヤに相当する画像データ等の各種データを表示装置１４に出力し、表示装置１４は表示回路７から出力された該各種データを表示する。音源回路８は、音素材データを通信バス１７を介して入力し、この音素材データに基づいて楽音信号をサウンドシステム１５に出力する。サウンドシステム１５は、この入力された楽音信号を発生する。タイマ１１はＣＰＵ２で実行される様々な処理で使用される。
【００１５】
外部記憶装置９は、映像データやサンプル用の音素材データ等の各種データやＣＰＵ２により実行又は参照される各種プログラムを記憶し、ＲＯＭ４と同様の機能を果たす。ＣＰＵ２が外部記憶装置９に記憶されている各種データや各種プログラムをＲＡＭ３に読み込ませて、処理を実行することで、ＲＯＭ４が各種データや各種プログラムを記憶している場合と同様の動作を実行することができる。従って、外部記憶装置９の付け替えにより各種プログラムの追加やバージョンアップ等が容易に行える。
【００１６】
通信Ｉ／Ｆ１０は、インターネットや商用ネットワーク等からなるネットワーク１６に有線又は無線で接続されており、本ＰＣ１はこのネットワーク１６を介して音素材データ提供サイトとしての機能を果たすサーバコンピュータ１８及び他のＰＣ１９に接続されている。これにより、サーバコンピュータ１８から音素材データをダウンロードすることが可能となると共に他のＰＣ１９から各種データや各種プログラムをダウンロードすることができる。
【００１７】
ＭＩＤＩ・Ｉ／Ｆ５は、専用のＭＩＤＩ・Ｉ／Ｆを用いるものに限らず、ＲＳ２３２−Ｃ、ＵＳＢ又はＩＥＥＥ１３９４等の汎用Ｉ／Ｆを用いてＭＩＤＩ・Ｉ／Ｆを構成するようにしてもよい。この場合、ＭＩＤＩデータ以外のデータをも同時に送受信するようにしてもよい。
【００１８】
ＰＣ１に対して音素材データを提供するサーバコンピュータ１８のハードウェア構成は、上述したＰＣ１のハードウェア構成と同様である。但し、サーバコンピュータ１８は音素材データをＰＣ１等の各ユーザ端末に提供することを主目的とするため、ＭＩＤＩ・Ｉ／Ｆ５、音源回路８、電子楽器１２及びサウンドシステム１５は備えていなくてもよい。
【００１９】
図２は、図１におけるＰＣ１及びサーバコンピュータ１８の機能構成を示すブロック図である。
【００２０】
ＰＣ１は、映像データを編集及び再生する映像編集部２１と音素材データの加工及び再生を行う音素材加工・再生部２２と、音素材データのデータフォーマットを変換するソフトウェア音源部２３とを備え、サーバコンピュータ１８は多数の音素材データを有する音素材データベース２５と、ＰＣ１からの指示に従って該音素材データベース２５からユーザ所望の音素材データを検索し、抽出する検索エンジン２４とを備えている。
【００２１】
映像編集部２１、音素材加工・再生部２２及びソフトウェア音源部２３はＰＣ１が備える各種プログラムがＰＣ１のハードウェアにより実行されて実現される機能であり、音素材データベース２５は音素材データの集合物であって、これらのデータを検索エンジン２４を用いて検索することができるように体系的（例えば音楽カテゴリー毎）に構成されたものであり、検索エンジン２４はサーバコンピュータ１８が備える音素材データ用検索プログラムがサーバコンピュータ１８のハードウェアにより実行されて実現される機能である。
【００２２】
映像編集部２１は、具体的には、ＣＰＵ２がＲＯＭ４又は外部記憶装置９に記憶されている映像編集用プログラムをＲＡＭ３に読み出し、該ＲＡＭ３に読み出された映像編集用プログラムの指示に従ってＲＯＭ４又は外部記憶装置９に記憶されている映像データを編集し、表示装置１４が表示回路７を介して受信した編集前又は編集後の映像データを表示することで実現される。
【００２３】
音素材加工・再生部２２は、具体的には、ＣＰＵ２がＲＯＭ４又は外部記憶装置９に記憶されている音素材加工・再生用プログラムをＲＡＭ３に読み出し、該ＲＡＭ３に読み出された音素材加工・再生用プログラムの指示に従って音素材データベース２５から受信した音素材データを加工し又は再生し、表示装置１４が表示回路７を介して受信した加工前又は加工後の音素材データを視覚的に表示すると共にサウンドシステム１５が音源回路８を介して受信した加工前又は加工後の音素材データを発音することで実現される。
【００２４】
ソフトウェア音源部２３は、具体的には、ＣＰＵ２がＲＯＭ４又は外部記憶装置９に記憶されている楽音波形生成・データフォーマット変換処理用プログラムをＲＡＭ３に読み出し、該ＲＡＭ３に読み出された楽音波形生成・データフォーマット変換処理用プログラムの指示に従って音素材データベース２５から受信した音素材データに基づき楽音波形を生成したり、データフォーマットを変換することで実現される。
【００２５】
検索エンジン２４は、具体的には、ＣＰＵ２が通信Ｉ／Ｆ１０を介してＰＣ１からの検索条件を受信し、ＲＯＭ４又は外部記憶装置９に記憶されている検索用プログラムをＲＡＭ３に読み出し、前記受信した検索条件を該検索用プログラムに組み込んで検索処理を実行し、該検索条件に対応する音素材データを音素材データベース２５から抽出し、該抽出された音素材データを通信Ｉ／Ｆ１０を介してＰＣ１に送信することで実現される。
【００２６】
以上のように構成されたＰＣ１とサーバコンピュータ１８とからなるシステムの機能を以下説明する。
【００２７】
図３は、ＰＣ１が備える映像編集部２１及び音素材加工・再生部２２とサーバコンピュータ１８、即ち音素材提供サイトとで実行されるメイン処理を示したフローチャートである。音素材提供サイトの処理は主として上記検索エンジン２４で実行される。
【００２８】
まず、ユーザが操作子１３を介して音素材データを付加する映像データを選択すると、映像編集部２１が編集すべき映像データを決定し（ステップＳ３０１）、該映像データの特徴データである映像時間データとタイトルデータを取得し、これを音素材加工・再生部２２に供給し（ステップＳ３０２）、試聴処理を実行する（ステップＳ３０７）。
【００２９】
一方、音素材加工・再生部２２は、映像編集部２１からの特徴データ、即ち映像時間データとタイトルデータの供給を受けて、該映像時間データとタイトルデータを検索条件として、音素材提供サイトにアクセスする（ステップＳ３０３）。
【００３０】
音素材提供サイトは、音素材加工・再生部２２から映像時間データとタイトルデータを検索条件として受信し、該検索条件に基づいて音素材データベース２５を検索し、該検索条件と合致する音素材データを抽出する（ステップＳ３０４）。音素材データを抽出する方法は公知の技術を使用する。
【００３１】
上記ステップＳ３０３及びステップＳ３０４に示すように、音素材加工・再生部２２は、映像データの再生時間を含む映像の特徴データを自動的に取得し、これを音素材提供サイトへと供給するので、ユーザが映像データの再生時間を把握しなくてもよく、また、映像データに付加すべき音素材データを効率良く音素材提供サイトから取得することができ、映像編集の作業効率の向上を図ることができる。尚、音素材加工・再生部２２は、映像データの再生時間とタイトルの一方を音素材提供サイトへ供給するようにしてもよい。
【００３２】
次いで、音素材提供サイトは、ステップＳ３０４で抽出された音素材データのリストを作成すると共に該作成された音素材データのリストを音素材加工・再生部２２に送信し（ステップＳ３０５）、試聴処理を実行する（ステップＳ３０７）。
【００３３】
音素材加工・再生部２２は、音素材提供サイトから受信した音素材データのリストを表示し（ステップＳ３０６）、試聴処理を実行する（ステップＳ３０７）。
【００３４】
ステップＳ３０７の試聴処理では、音素材加工・再生部２２が音素材提供サイトに対して、音素材データのストリーム配信の指示をし、音素材提供サイトがこれを受けて、音素材データのストリーム配信を実行し、音素材加工・再生部２２が音素材提供サイトから配信されてくる音素材データのストリーム再生を実行し、このストリーム再生と同期して映像編集部２１が映像データの再生を実行して、ユーザが映像データを確認しつつ音素材データの試聴を行う。試聴処理の詳細な説明は、図４を参照しながら後述する。ここで、ストリーム配信とは、音素材提供サイトが音素材加工・再生部２２で音素材データファイルをダウンロードすることなくストリーム再生が可能なようにデータを配信する技法であり、ストリーム再生とは、音素材加工・再生部２２が音素材提供サイトから配信される音素材データをダウンロードすることなくリアルタイムで再生する技法である。
【００３５】
ステップＳ３０７の試聴処理で、ユーザは所望の音素材データを確認すると、操作子１３を介して当該音素材データを指定し、音素材加工・再生部２２がこの指定を受けて、音素材提供サイトに対して当該音素材データのダウンロードを指示する（ステップＳ３０８）。
【００３６】
音素材提供サイトは、音素材加工・再生部２２からの音素材データのダウンロード指示を受けて、該音素材データを音素材加工・再生部２２に配信し（ステップＳ３０９）、音素材提供サイトにおける一連の処理を終了する。
【００３７】
音素材加工・再生部２２は音素材提供サイトから配信された音素材データを受信すると共に該受信した音素材データを任意のファイル名を付与し、任意の保存場所を指定して保存して（ステップＳ３１０）、加工・プレビュー処理を実行する（ステップＳ３１１）。
【００３８】
映像編集部２１はステップＳ３０７の試聴処理を実行した後、加工・プレビュー処理を実行する（ステップＳ３１１）。
【００３９】
ステップＳ３１１の加工・プレビュー処理では、映像編集部２１がプレビューモードで映像データの再生を行い、音素材加工・再生部２２がこの映像データの再生前又は再生中に、必要に応じてステップＳ３１０で保存された音素材データを加工し、映像データの再生と同期して該必要に応じて加工された音素材データを再生し、音素材データの加工に用いた加工パラメータを音素材データ中に記録する。加工・プレビュー処理の詳細な説明は、図５を参照しながら後述する。
【００４０】
ステップＳ３１１の加工・プレビュー処理後、音素材加工・再生部２２はＭＩＤＩｔｏオーディオ変換処理を実行する（ステップＳ３１２）。
【００４１】
ＭＩＤＩｔｏオーディオ変換処理では、音素材加工・再生部２２及びソフトウェア音源部２３により加工パラメータが記録された音素材データ（即ちＭＩＤＩデータ）を映像編集部２１で映像データに付与できるオーディオフォーマットに変換する。ＭＩＤＩｔｏオーディオ変換処理の詳細な説明は、図６を参照しながら後述する。
【００４２】
音素材加工・再生部２２は、オーディオフォーマットに変換された音素材データを任意のファイルに保存すると共にその旨を映像編集部２１に通知して（ステップＳ３１３）、音素材加工・再生部２２における一連の処理を終了する。
【００４３】
映像編集部２１は、ステップＳ３１３で保存されたファイルを読み込み、該読み込まれたファイル、即ちオーディオフォーマットに変換された音素材データを映像データに付加して（ステップＳ３１４）、映像編集部２１における一連の処理を終了する。
【００４４】
上述したメイン処理では、音素材加工・再生部２２が直接音素材データのリストの表示やダウンロードの指示を実行したが、別途ウェブブラウザーのような表示機能や指示出力機能を実行する処理部を設けて、これに音素材データのリストの表示やダウンロードの指示を実行させるようにしてもよい。
【００４５】
また、音素材加工・再生部２２は、オーディオフォーマットに変換された音素材データを任意のファイルに保存して（ステップＳ３１３）、映像編集部２１が該保存されたファイルを読み込んだが、音素材加工・再生部２２が、ＭＩＤＩｔｏオーディオ変換処理で音素材データのオーディオフォーマットに変換した後（ステップＳ３１２）、該オーディオフォーマットに変換された音素材データをファイルに保存せずに、直接映像編集部２１に送信するようにしてもよい。
【００４６】
図４は、図３におけるステップＳ３０７の試聴処理を示すフローチャートである。
【００４７】
まず、ユーザが映像データ中における音素材データを付与する位置を操作子１３を介して指定することにより、映像編集部２１が該音素材データを付与する位置を設定し（ステップＳ４０１）、試聴モードに設定する（ステップＳ４０２）。
【００４８】
次いで、映像編集部２１は操作子１３を介して入力される映像データの再生指示を受け付けると共にその指示があった旨を音素材加工・再生部２２に通知する（ステップＳ４０３）。
【００４９】
音素材加工・再生部２２は、ステップＳ４０３の映像編集部２１からの指示があった旨を受けて、図３のステップＳ３０６で表示された音素材データのリストの中から操作子１３を介して予め指定された音素材データについて音素材提供サイトに対しストリーム配信を指示する（ステップＳ４０８）。
【００５０】
音素材提供サイトは、ステップＳ４０８の音素材加工・再生部２２からの音素材データに関するストリーム配信の指示を受けて、該指示に対応する音素材データのストリーム配信を実行する（ステップＳ４１５）。
【００５１】
音素材提供サイトによりストリーム配信が実行されると、音素材加工・再生部２２は音素材データを音素材提供サイトより受信し、ストリーム再生が可能であるか否か、即ち所定時間分の音素材データを蓄積したか否かを判別する（ステップＳ４０９）。この判別はストリーム再生を考慮したために行われる、即ち再生音がとぎれない程度の音素材データを音素材加工・再生部２２が蓄積することを目的として行われる。上記所定時間は、例えば５秒であるが、ストリーム再生は、音素材加工・再生部２２での音素材データの再生処理速度やインターネット等のネットワークの通信速度の影響を受けるため、上記所定時間は音素材加工・再生部２２で設定する。また、ストリーム再生は後続のデータを受信しながら再生を行うため、上記所定時間分の音素材データの蓄積は、音素材データの全てを蓄積することではない。
【００５２】
ステップＳ４０９の判別の結果、所定時間分の音素材データを蓄積した場合には、音素材加工・再生部２２は映像編集部２１に対して映像データの再生開始を指示し（ステップＳ４１０）、蓄積された所定時間分の音素材データと音素材提供サイトから引き続き配信されてくる音素材データとを音がとぎれないようにストリーム再生する（ステップＳ４１１）。
【００５３】
一方、映像編集部２１は、ステップＳ４１０の音素材加工・再生部２２からの再生開始指示を受けて、映像データの再生を実行し（ステップＳ４０４）、操作子１３を介して入力された映像データの再生停止指示又は有限である映像データの時間長に基づいて映像データの再生を継続するか否かを判別する（ステップＳ４０５）。
【００５４】
ステップＳ４０９の判別の結果、映像編集部２１が映像データの再生を継続する場合にはステップＳ４０４に戻り、映像データの再生を継続する一方、映像編集部２１が映像データの再生を継続しない場合には、映像データの再生を停止する（ステップＳ４０６）。
【００５５】
次いで、映像編集部２１は、音素材加工・再生部２２に対して音素材データの再生停止を指示し（ステップＳ４０７）、映像編集部２１における一連の処理を終了し、図３のメイン処理に戻る。
【００５６】
音素材加工・再生部２２は、音素材データのストリーム再生開始後、ステップＳ４０７で映像編集部２１から送信される音素材データの再生停止指示を受信したか否かを判別する（ステップＳ４１２）。
【００５７】
ステップＳ４１２の判別の結果、該音素材データの再生停止指示を受信していない場合には、ステップＳ４１１に戻り、音素材データのストリーム再生を実行する一方、該音素材データの再生停止指示を受信した場合には、音素材データのストリーム再生を停止する（ステップＳ４１３）。
【００５８】
次いで、音素材加工・再生部２２は音素材提供サイトに対して音素材データのストリーム配信の停止を指示し（ステップＳ４１４）、音素材加工・再生部２２における一連の処理を終了して、図３のメイン処理に戻る。
【００５９】
音素材提供サイトは、音素材データのストリーム配信開始後、音素材加工・再生部２２から送信されるストリーム配信の停止指示を受信して、音素材データのストリーム配信を停止し（ステップＳ４１６）、音素材提供サイトにおける一連の処理を終了し、図３のメイン処理に戻る。なお、ステップＳ４１２では、音素材加工・再生部２２が映像編集部２１からの音素材データの再生停止指示を受信したか否かを判別したが、音素材加工・再生部２２が映像編集部２１へとアクセスし、映像データの再生停止を検出したか否かを判別して、その結果、映像データの再生停止を検出していない場合には、ステップＳ４１１に戻り、映像データの再生停止を検出した場合には、ステップＳ４１３に進むようにしてもよい。
【００６０】
上述した試聴処理では、音素材加工・再生部２２が音素材提供サイトに対して、音素材データのストリーム配信の指示をし、音素材提供サイトがこれを受けて、音素材データのストリーム配信を実行し、音素材加工・再生部２２が音素材提供サイトから配信されてくる音素材データのストリーム再生を実行し、このストリーム再生と同期して映像編集部２１が映像データの再生を実行する。従って、ユーザは、音素材データを映像データに付加するためにダウンロードする前に、ストリーム再生により、映像データに対して音素材データ（例えば、ＢＧＭ）がどのように付加されるのかを確認することができるので、映像編集の作業効率の向上を図ることができる（ダウンロードの際に必要なファイル名の指定や保存先の指定がストリーム再生では不要であり、かつ試聴の結果気にいらなかった場合のファイル消去作業も不要である。）特に、単なる音素材データのストリーム再生ではなく、映像データの再生と同期しての音素材データのストリーム再生であるので、映像データと付加される音素材データとの関係が非常にわかりやすいという効果を奏する。
【００６１】
また、音素材加工・再生部２２は、映像編集部２１からの映像データの再生指示を受けて、音素材提供サイトに対し所定の音素材データのストリーム配信を指示し、音素材提供サイトからストリーム配信された音素材データがストリーム再生可能になった時点で、映像編集部２１に対して映像データの再生開始許可を送信すると共に音素材データのストリーム再生をするので、映像データが先に再生開始されてしまうことがなく、音素材データと映像データとを確実に同期して再生することができる。
【００６２】
さらに、音素材加工・再生部２２は、音素材データの再生停止指示を受けて、音素材データのストリーム再生を停止し、さらに音素材提供サイトに対して音素材データのストリーム配信の停止を指示する、又は音素材加工・再生部２２が映像編集部２１へとアクセスし、映像データの再生停止を検出し、この検出結果に応じて音素材提供サイトに対して音素材データのストリーム配信の停止を指示するので、ユーザがいちいち、映像編集部２１、音素材加工・再生部２２及び音素材提供サイトに対して各停止指示を出す必要がなくなるという効果を奏する。
【００６３】
上述した試聴処理では、音素材加工・再生部２２が映像編集部２１により送信された音素材データの再生停止指示を受信した場合に、音素材データのストリーム再生を停止したが、音素材データの時間長が映像編集部２１での映像データの再生時間よりも短い場合には、音素材提供サイトは音素材データのストリーム配信を終了した時点で、音素材加工・再生部２２からのストリーム配信の停止指示を受信せずに、自動的に音素材データのストリーム配信を停止するようにしてもよい。また、ＭＩＤＩデータのようにファイルサイズの小さいデータの場合は、全データを受信してキャッシュメモリに蓄積した後に再生を開始し、再生が終了した時点でキャッシュメモリから消去される擬似ストリーム再生をしてもよく、この場合にもファイルのダウンロードが不要なため、上記と同様の効果が得られる。
【００６４】
図５は、図３におけるステップＳ３１１の加工・プレビュー処理を示すフローチャートである。
【００６５】
まず、映像編集部２１が操作子１３を介して入力されたユーザの指示に従い、映像編集用プログラムにおいてプレビューモードを設定する（ステップＳ５０１）。
【００６６】
次いで、映像編集部２１が操作子１３を介して入力される映像データの再生指示を受け付けると共に映像データの再生指示を受け付けた旨を音素材加工・再生部２２に対して送信する（ステップＳ５０２）。
【００６７】
映像編集部２１は、映像データを再生し（ステップＳ５０３）、操作子１３を介して入力された映像データの再生停止指示又は有限である映像データの時間長に基づいて映像データの再生を継続するか否かを判別する（ステップＳ５０４）。
【００６８】
ステップＳ５０４の判別の結果、映像編集部２１が映像データの再生を継続する場合にはステップＳ５０３に戻り、映像データの再生を継続する一方、映像編集部２１が映像データの再生を継続しない場合には、映像データの再生を停止する（ステップＳ５０５）。
【００６９】
次いで、映像編集部２１は、音素材加工・再生部２２に対して音素材データの再生停止を指示し（ステップＳ５０６）、映像編集部２１における一連の処理を終了し、図３のメイン処理に戻る。
【００７０】
一方、音素材加工・再生部２２は、まず、操作子１３を介して入力された音素材データの加工処理指示に従い、図３のステップＳ３１０でファイルに保存した音素材データの加工処理を行う（ステップＳ５０７）。この加工処理は、具体的には、音素材データのパラメータを調整するものであり、このパラメータ（以下、「加工パラメータ」という）は例えば、パートオン／オフ、音色変更、ミキサー、エフェクト付与、テンポ変更又はピッチ変更等の、音素材データの音楽的な内容を簡易的に修正可能なパラメータにより構成されている。この加工処理では、ＭＩＤＩシーケンサのようにＭＩＤＩイベントを１つずつ修正するといった高度な修正をするものとは異なり、初心者にも簡単に音素材データを加工できるようになっている。尚、操作子１３を介して何ら加工処理指示が入力されない場合には、ステップＳ５０７の処理はキャンセルされる。
【００７１】
次いで、音素材加工・再生部２２は、映像編集部２１から送信された映像データの再生指示を受け付けた旨を受信して、必要に応じて加工処理が施された音素材データを再生する（ステップＳ５０８）。この後、音素材データの再生中に、ステップＳ５０７と同様に、必要に応じて再生中の音素材データの加工処理を行う（ステップＳ５０９）。
【００７２】
次に、音素材加工・再生部２２は、映像編集部２１から音素材データの再生停止指示を受信したか否かを判別し（ステップＳ５１０）、音素材データの再生停止指示を受信していない場合には、ステップＳ５０８に戻り、引き続き音素材データを再生する一方、音素材データの再生停止指示を受信した場合には、音素材データの再生を停止する（ステップＳ５１１）。上記ステップＳ５１０では、音素材加工・再生部２２は、映像編集部２１から音素材データの再生停止指示を受信したか否かを判別したが、音素材加工・再生部２２が、映像編集部２１にアクセスし、映像データの再生停止を検出したか否かを判別し、この結果、映像データの再生停止を検出していない場合には、ステップＳ５０８に戻る一方、映像データの再生停止を検出した場合には、ステップＳ５１１に進むようにしてもよい。
【００７３】
最後に、音素材加工・再生部２２は、ステップＳ５０７又はステップＳ５０９において、必要に応じて調整された加工パラメータを該音素材データ中に記録し（ステップＳ５１２）、一連の処理を終了して、図３のメイン処理に戻る。
【００７４】
上述した加工・プレビュー処理では、映像編集部２１がプレビューモードで映像データの再生を行い、音素材加工・再生部２２がこの映像データの再生前又は再生中に、必要に応じて音素材データを加工し、映像データの再生と同期して該必要に応じて加工された音素材データを再生し、音素材データの加工に用いた加工パラメータを音素材データ中に記録する。従って、ユーザは、映像データを再生しつつ、音素材データの加工をリアルタイムに行うことができ、且つ音素材データを付与した映像データの作成の完了を待たずに、該加工された音素材データと映像データとの同期再生を確認することができる。よって、ユーザは映像データに対して音素材データ（例えば、ＢＧＭ）がどのように付加されるのかを確認することができるので、映像編集の作業効率の向上を図ることができる。また、音素材加工・再生部２２は、音素材データの再生中に加工処理を施すことができるので、映像編集の作業効率の向上を図ることができる。また、加工処理前と加工処理後の音素材データを比較試聴できるようにしてもよい。
【００７５】
上述した加工・プレビュー処理では、音素材加工・再生部２２が映像編集部２１により送信された音素材データの再生停止指示を受信した場合に、音素材データの再生を停止したが、音素材データの時間長が映像編集部２１での映像データの再生時間よりも短い場合には、音素材加工・再生部２２は映像編集部２１により送信される音素材データの再生停止指示を受信する前に、音素材データの再生を自動的に停止するようにしてもよい。
【００７６】
図６は、図３におけるステップＳ３１２のＭＩＤＩｔｏオーディオ変換処理を示すフローチャートである。
【００７７】
まず、音素材加工・再生部２２は、加工パラメータを記録した音素材データ、即ちこのＭＩＤＩデータを高速かつ各イベントの相対時間の関係を保ちながら読み出し、１イベント毎にＭＩＤＩデータをソフトウェア音源部２３に送信する（ステップＳ６０１）。
【００７８】
ソフトウェア音源部２３は、受信した１イベント毎のＭＩＤＩデータに基づいてオーディオ波形データを生成し、生成されたオーディオ波形データをバッファ（ＲＡＭ３）に一時保存して、所定時間分（例えば０．５秒分）のオーディオ波形データが保存されるごとに、それを音素材加工・再生部２２に送信する（ステップＳ６０２）。オーディオ波形データを一時保存するバッファでは、オーディオ波形データを音素材加工・再生部２２に送信することで空いた領域に順次生成されたオーディオ波形データを保存する。
【００７９】
音素材加工・再生部２２は、ソフトウェア音源部２３から受信した所定時間分のオーディオ波形データを順次内部的に録音する（ステップＳ６０３）。ここで、内部的に録音するとは、ソフトウェア音源部２３から受信するオーディオ波形データが発音され、その発した音を録音することではなく、音を出さずに記録していることを意味する。
【００８０】
次いで、音素材加工・再生部２２は、変換すべきＭＩＤＩデータの全ての読み出しが終了したか否かを判別し（ステップＳ６０４）、ＭＩＤＩデータの全ての読み出しが終了していない場合には、ステップＳ６０１に戻り、ＭＩＤＩデータの読み出しを継続する一方、ＭＩＤＩデータの全ての読み出しが終了している場合には、ステップＳ６０３で内部的に録音されたオーディオ波形データを、映像編集部２１で取り扱うことができる、予め設定されたオーディオフォーマットに変換し（ステップＳ６０５）、一連の処理を終了して、図３のメイン処理に戻る。
【００８１】
上述したＭＩＤＩｔｏオーディオ変換処理では、音素材加工・再生部２２及びソフトウェア音源部２３により加工パラメータが記録された音素材データ（即ちＭＩＤＩデータ）が映像編集部２１で映像データに付加できるオーディオフォーマットに変換され（ステップＳ６０５）、映像データに付加されるので（ステップＳ３１４）、音素材加工・再生部２２及びソフトウェア音源部２３において、音素材データの加工から音素材データのオーディオフォーマットへの変換を介して映像データへの付加まで一挙に実行することができ、作業効率の向上を図ることができる。また、ＰＣ１の他に、別途、音素材データのオーディオフォーマットの変換を行う変換装置を設ける必要がなくなるという効果を奏する。
【００８２】
上述した音素材提供サイトで提供する音素材データは、ＭＩＤＩデータに限らず、オーディオ形式のデータでもよい。その場合、ＭＩＤＩｔｏオーディオ変換処理は不要である。また、オーディオ形式のデータの加工については、パートオン／オフや音色変更の処理、又はミキサーでの加工処理はできないものの、エフェクト付与、テンポ変更又はピッチ変更の処理は可能である。
【００８３】
上述した音素材データの試聴（音素材データがストリーム再生される場合や音素材データが加工された上で映像データがプレビューされる場合）は、映像編集部２１からの映像再生の開始又は停止の指示に応じて行われたが、音素材加工・再生部２２からの指示に応じて行われるようにしてもよい。すなわち、音素材データがストリーム再生される場合は、音素材加工・再生部２２でストリーム再生が指示されると、音素材提供サイトに音素材のストリーム配信が指示され、ストリーム配信された音素材データが再生可能になった時点で映像編集部２１に映像データの再生が指示される。また、音素材加工・再生部２２でストリーム再生の停止が指示されると、音素材提供サイトにストリーム配信の停止が指示されると共に映像編集部２１に映像データの再生停止が指示される。また、音素材データが加工された上で映像データがプレビューされる場合は、音素材加工・再生部２２でプレビュー処理が指示されると、音素材データの再生が開始されると共に映像編集部２１に映像データの再生が指示され、音素材加工・再生部２２でプレビュー処理の停止が指示されると、音素材データの再生が停止されると共に映像編集部２１に映像データの再生停止が指示される。
【００８４】
上記音素材データの加工処理では、音素材データのパートオン／オフ、音色変更、ミキサー、エフェクト付与、テンポ変更及びピッチ変更のパラメータを調整することとしたが、音素材データのパラメータはこれらすべてを備えていなくてもよく、少なくとも１つあればよい。また、これら以外の加工の種類があってもよい。また、パラメータの一つである「テンポ変更」に関しては、映像の再生時間と音素材データの時間長が一致するように自動的にテンポを変更してもよい。上記ＭＩＤＩｔｏオーディオ変換処理は、音素材加工・再生部２２とソフトウェア音源部２３とが協働することで実現したが、ソフトウェア音源部２３単体でこの機能を実現してもよい。
【００８５】
上記映像編集部２１と音素材加工・再生部２２とは、別々のプログラムをＣＰＵ２で実行することにより実現されたが、１つのプログラムをＣＰＵ２で実行することにより実現されるようにしてもよい。
【００８６】
上記音素材サイトでは、音素材データをダウンロードさせるときは課金処理を実行し、音素材データのストリーム配信をするときは課金処理を実行しないようにしてもよい。
【００８７】
上述した実施の形態の機能は、ソフトウェアであるプログラムの形態によっても実現することができ、これにより、本発明の目的が達成されることは云うまでもない。
【００８８】
更にまた、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ２）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは云うまでもない。
【００８９】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、半導体メモリ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、他の電子楽器１２、又はネットワーク１６を介して他のＰＣ１９からプログラムコードが供給されるようにしてもよい。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施の形態に係る音素材変換装置の概略ハードウェア構成を示すブロック図である。
【図２】図１におけるＰＣ１及びサーバコンピュータ１８の機能構成を示すブロック図である。
【図３】図１におけるＰＣ１が備える映像編集部２１及び音素材加工・再生部２２とサーバコンピュータ１８、即ち音素材提供サイトとで実行されるメイン処理を示したフローチャートである。
【図４】図３におけるステップＳ３０７の試聴処理を示すフローチャートである。
【図５】図３におけるステップＳ３１１の加工・プレビュー処理を示すフローチャートである。
【図６】図３におけるステップＳ３１２のＭＩＤＩｔｏオーディオ変換処理を示すフローチャートである。
【符号の説明】
【００９２】
１  ＰＣ  ２  ＣＰＵ（映像データ再生手段、音素材データ加工手段、生成手段、録音手段、変換手段、付加手段）  ３  ＲＡＭ  ４  ＲＯＭ  ５  ＭＩＤＩ・Ｉ／Ｆ  ６  操作回路  ７  表示回路  ８  音源回路  ９  外部記憶装置  １０  通信Ｉ／Ｆ
【図１】
2006178496.tif 000003
【図２】
2006178496.tif 000004
【図３】
2006178496.tif 000005
【図４】
2006178496.tif 000006
【図５】
2006178496.tif 000007
【図６】
2006178496.tif 000008