(57)【特許請求の範囲】
【請求項１】
波形形式で記録されたソース音響信号を楽譜形式の楽譜データに変換する楽譜変換手段と、
前記楽譜データを構成する各音符に対して対話形式に編集を行い、編集後楽譜データを生成する楽譜編集手段と、
前記楽譜編集手段で音符に対して編集された楽譜データの変更分である、前記編集後楽譜データと前記楽譜データとの差分楽譜データから、前記ソース音響信号上の当該音符に対応する信号区間に対して行われる音響信号コマンドに翻訳する音響コマンド翻訳手段と、
前記音響コマンド翻訳手段で翻訳された音響信号コマンドをもとに前記ソース音響信号上の当該信号区間に対して編集を行う音響信号編集手段と、
を具備することを特徴とする音響編集システム。
【請求項２】
前記楽譜変換手段が１つのソース音響信号に対して時間的に重複する複数のトラックからなる楽譜データに変換する場合、
前記楽譜編集手段は、いずれか１つの代表トラックを処理の対象とすることを特徴とする請求項１記載の音響編集システム。
【請求項３】
前記楽譜編集手段は、各音符の時間的な位置と長さ、音の高さと強さの４つの情報を、定量的に表示した楽譜上で、対話形式に操作することを特徴とする請求項１記載の音響編集システム。
【請求項４】
前記ソース音響信号がＰＣＭ形式で符号化され、前記楽譜データがＭＩＤＩ形式で符号化されていることを特徴とする請求項１記載の音響編集システム。
【請求項５】
前記楽譜編集手段は、前記音符の削除、前記音符の追加、前記音符の時間的な位置、長さ、高さ、強さの属性変更のいずれかを行うことを特徴とする請求項１記載の音響編集システム。
【請求項６】
前記音響信号コマンドは、区間信号の削除、区間信号の追加、区間信号の区間位置、区間長さ、信号ピッチ、信号振幅の属性変更のいずれかを行うことを特徴とする請求項１記載の音響編集システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＩＤＩ編集を仲介としたＰＣＭ音響信号に対する音響編集システムに関するものである。
【０００２】
【従来の技術】
従来、音響信号編集は、ＰＣＭ（Pulse Code Modulation ）の手法を基本としたマルチトラック波形編集が最も普及しているが、近年のコンピュータミュージックによる作曲法の普及によりＭＩＤＩ（Musical Instrument Digital Interface）規格による符号データ（以下、ＭＩＤＩデータという）も盛んに利用されるようになってきている。そして、編集装置の一部のトラック（最大２５６トラック装備の装置もある）にはＭＩＤＩトラックを割り当てることができ、同一時間軸でＰＣＭとＭＩＤＩを編集することが可能になっている。
【０００３】
しかしながら、ＰＣＭトラックとＭＩＤＩトラックが同報的に編集操作が加えられることがあっても、各々は独立して編集され、
（１）豊富な楽譜編集機能はＭＩＤＩトラックに限定される。
（２）ＰＣＭトラックとＭＩＤＩトラック間での相互乗り入れ（切り張り編集）ができない。
等の機能制約がある。
【０００４】
ＭＩＤＩデータからＰＣＭデータに変換することは音源再生により元来可能であり、ＰＣＭデータをＭＩＤＩデータに変換する手段を設ければ、全トラックで楽譜編集機能が利用可能となる。例えば、特願平９−６７４６７、特願平９−２４９６３５により変換可能になったが、ＭＩＤＩデータを編集後再びＰＣＭデータに戻す際、品質面で問題が生じる。
【０００５】
【発明が解決しようとする課題】
本発明は、このような問題を鑑みてなされたもので、その目的とするところは、ＰＣＭデータの編集品質の保持およびＭＩＤＩデータの編集機能を利用可能とする音響編集システムを提供することにある。
【０００６】
【課題を解決するための手段】
前述した目的を達成するために本発明は、波形形式で記録されたソース音響信号を楽譜形式の楽譜データに変換する楽譜変換手段と、前記楽譜データを構成する各音符に対して対話形式に編集を行い、編集後楽譜データを生成する楽譜編集手段と、前記楽譜編集手段で音符に対して編集された楽譜データの変更分である、前記編集後楽譜データと前記楽譜データとの差分楽譜データから、前記ソース音響信号上の当該音符に対応する信号区間に対して行われる音響信号コマンドに翻訳する音響コマンド翻訳手段と、前記音響コマンド翻訳手段で翻訳された音響信号コマンドをもとに前記ソース音響信号上の当該信号区間に対して編集を行う音響信号編集手段と、を具備することを特徴とする音響編集システムである。
【０００７】
【発明の実施の形態】
以下に、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、本発明の実施の形態に係るＭＩＤＩ編集を仲介とした音響編集システム１の概略構成図である。図１に示すように、音響編集システム１は、ＭＩＤＩ変換部３、ＭＩＤＩ編集部５、ＭＩＤＩデータの編集コマンド翻訳部７、ＰＣＭ音響編集コマンド９によるＰＣＭ音響信号バッチ編集部１１等を有する。
【０００８】
ＭＩＤＩ変換部３は、一般的なＰＣＭ符号化されたソース音響信号（以下、ソースＰＣＭデータという）１５をＭＩＤＩ形式のＭＩＤＩデータ２１に変換する。これは、特願平９−６７４６７、特願平９−２４９６３５の手法に基づき変換を行う。ＭＩＤＩ編集部５は、変換後ＭＩＤＩデータ２１を編集し編集後ＭＩＤＩデータ２３を作成する。
【０００９】
編集コマンド翻訳部７は、ＭＩＤＩ編集部５により編集されたＭＩＤＩデータの変更分である、編集後ＭＩＤＩデータ２３と変換後ＭＩＤＩデータ２１との差分ＭＩＤＩデータ２５から、ＰＣＭ音響編集コマンド９を生成する。ＰＣＭ音響信号バッチ編集部１１は、ソースＰＣＭデータ１５に対して、生成されたＰＣＭ音響編集コマンド９群を用いて音響信号編集を行い、編集後ＰＣＭデータ１７を作成する。
【００１０】
次に、ＭＩＤＩ編集部５の編集とＰＣＭ音響編集コマンド９との関係について説明する。図２は、ＭＩＤＩ編集部５の編集とＰＣＭ音響編集コマンド９との関係を示す図である。
【００１１】
まず、ＭＩＤＩ編集部５の編集について説明する。ＭＩＤＩデータは、基本的に個々の音符（ノート）についての情報を記述したデータである。図２に示すように、ＭＩＤＩ編集部５は音符の削除３１、追加３３、属性変更３５を行う。属性変更３５は、音の開始時刻（ノートイン・デルタタイム) ３６の変更、音の終了時刻（ノートオフ・デルタタイム）３７の変更（音の長さの変更）、音の高さ（ノートナンバー）３８の変更、音の強さ（ベロシティ）３９の変更の４つを基本にして行なわれる。
【００１２】
ここで、ＭＩＤＩデータの編集処理の基本となる音の開始時刻３６、音の長さ３７、音の高さ３８、音の強さ３９の４つの情報について説明する。このＭＩＤＩデータを表示するには、音符に準じた符号を用いた楽譜の形態での表示が適している。特願平９−６７４６８により、台形あるいは長方形からなる音符図形という音符に準じた符号を定義し、横軸に時間・長さ軸、縦軸に音の高さ・強さ軸をとった２次元座標上に、音符図形を配置する。これにより、楽譜の形態での表示を行う。この表示方法を用いて説明する。図９は、音符図形を用いたＭＩＤＩデータ編集方法を示す図である。
【００１３】
図９に示すように、ＭＩＤＩ編集部５は、音の開始時刻ｔ１、音の長さｄ１、音の高さｎ１、音の強さｖ１の４つの情報を基本として、これらを定量的に表示し、対話形式で編集を行う。例えば、音符図形Ｚ１から音符図形Ｚ２への編集は、音符図形の水平移動を行う開始時刻ｔ１の変更、音符図形の垂直移動を行う音の高さｎ１の変更である（ドラッキング２７）。また、音符図形Ｚ１から音符図形Ｚ３への編集は、音符図形の水平伸縮を行う音の長さｄ１の変更、音符図形の垂直伸縮を行う音の強さｖ１の変更である（リサイズ２９）。
【００１４】
尚、変更範囲は、音の開始時刻変更３６は０〜１２８3 、音の長さ変更３７は０〜１２７、音の高さ変更３８は０〜１２８3 、音の強さ変更３９は０〜１２７段階である。
【００１５】
次に、ＭＩＤＩ編集部５とＰＣＭ音響編集コマンド９との関係について説明する。ＭＩＤＩ編集部５において音符に対して編集することは、ＰＣＭ音響編集コマンド９において所定の信号区間に対して等価な編集を加えることに相当する。ＰＣＭ音響編集コマンド９では、その信号区間の波形に対して削除、追加、さらに、横軸の信号時間軸および縦軸の信号強度軸に対して移動、延長、伸縮等を自動的に行う。
【００１６】
図２に示すように、音符削除３１は、区間信号削除４１に、音符追加３３は、区間信号追加４３に相当する。音符の属性変更３５における音の開始時刻３６、音の長さ３７、音の高さ３８、音の強さ３９等の変更は、区間信号の属性変更４５における区間信号の区間位置４６、区間長さ４７、信号ピッチ４８、信号振幅４９等の変更に相当する。
【００１７】
次に、ＰＣＭ音響編集コマンド９における区間の長さ４７の変更と信号ピッチ４８の変更について詳細に説明する。図３は、区間の長さ４７の変更を示す図である。図４は、信号ピッチ４８の変更を示す図である。
【００１８】
図３に示すように、区間の延長５１は、現ＰＣＭ信号区間５０の波形を一定時間間隔で分割し、等分ずつ間隔をあけながら所望の区間に延長する。各間隔には前方または後方どちらかの信号をコピーするが、前方を後方に伸ばすと、伸ばした先は後方と連続するが、伸ばした元では一般に不連続になる。この波形の接続部で不連続が発生は避けることはできないが、不連続点での振幅ギャップが少なくなるように、接続位置をずらし、なるべく０レベル付近に不連続点をもってくるのが望ましい。
【００１９】
図３の例では、約５周期の信号区間５０を約８周期の信号区間に延長している。まず、後方から２周期ずつ３分割し（Ａ１，Ａ２，Ａ３）、分割した各周期区間の後方１周期（Ａ１，Ｃ１，Ｃ２）をコピーする（５２）。
【００２０】
区間の短縮５３は、現ＰＣＭ信号区間５０の波形を一定時間間隔で分割し、等分ずつ信号を削除しながら所望の区間に短縮する。削除した区間の前後の接続する点が一般に不連続になる。区間の延長５１と同様に削除する区間を前後にずらし、なるべく０レベル付近に不連続点をもってくるのが望ましい。
【００２１】
図３の例では、約５周期の信号区間５０を約３周期の信号区間に短縮している。まず、後方から２周期ずつ３分割し（Ｂ１，Ｂ２，Ｂ３）、分割した後方の２周期区間（Ｂ２，Ｂ３）の後方１周期（Ｄ１，Ｄ２）を削除する（５４）。
【００２２】
次に、図４に示すように、信号ピッチの上昇５５は、現ＰＣＭ信号区間５０を横軸である信号時間軸方向に縮小し、現ＰＣＭ信号区間５０と同一な区間長Ｌになるように前述した区間の延長５１と同様に区間の延長を行う（５６）。信号ピッチの低下５５は、現ＰＣＭ信号区間５０を信号時間軸方向に拡大し、現ＰＣＭ信号区間５０と同一な区間長Ｌになるように前述した区間の短縮５３と同様に区間の短縮を行う（５８）。
【００２３】
次に、図１の処理をトラックを用いて説明する。図５は、図１の処理をトラックを用いて説明した説明図である。
【００２４】
ＰＣＭトラック１３間、ＭＩＤＩトラック１９間のコピーを行う場合、属性情報の変換以外には特に処理はない。ＰＣＭトラック１３間のコピーを行う場合は、属性情報のサンプリング周波数と信号量子化ビット長を合わせる。ＭＩＤＩトラック１９間のコピーを行う場合は、メトロノーム、拍子などの時間の単位を合わせる。
【００２５】
図５において、ＰＣＭトラック６１には、ソースＰＣＭデータ１５が保持されている。ＭＩＤＩ変換部３によりソースＰＣＭデータ１５をＭＩＤＩ変換し、ＭＩＤＩトラック６２にコピーする。このとき、ソースのＰＣＭトラック６１のトラックＩＤと区間情報をもつリンク情報６５をＭＩＤＩトラック６２に付加する。
【００２６】
次に、ＭＩＤＩ編集部５によりＭＩＤＩトラック６２に保持された変換後ＭＩＤＩデータ２１を編集し、編集後ＭＩＤＩデータ２３を作成し、作成された編集後ＭＩＤＩデータ２３はＭＩＤＩトラック６３に保持される。ＭＩＤＩトラック６２に保持された変換後ＭＩＤＩデータ２１とＭＩＤＩトラック６３に保持された編集後ＭＩＤＩデータ２３を用いて差分データ２５からＰＣＭ音響編集コマンド９を生成する。
【００２７】
そして、ＰＣＭ音響信号バッチ編集部１１は、ＰＣＭトラック６１に保持されたソースＰＣＭデータ１５に対してＰＣＭ音響編集コマンド９を用いて編集を行い、編集後ＰＣＭデータ１７が得られ、編集後ＰＣＭデータ１７はＰＣＭトラック６４に保持される。このとき、ＰＣＭ音響編集コマンド９の基になったＭＩＤＩトラック６２に付与されたリンク情報６５により指示されるＰＣＭトラック６４およびその所定の区間に編集後ＰＣＭデータ１７が保持される。
【００２８】
このように、本実施の形態では、ＰＣＭ符号化されたソース音響信号（ソースＰＣＭデータ）１５をＭＩＤＩ変換部３によりＭＩＤＩデータ２１に変換し、ＭＩＤＩ編集されたＭＩＤＩデータの変更分から編集コマンド翻訳部７によりＰＣＭ音響編集コマンド９を生成し、ソースＰＣＭデータ１５に対して生成されたコマンド９群でＰＣＭ音響信号バッチ編集部１１により編集を行う。これにより、ＰＣＭの音響データもＭＩＤＩデータと同様なＭＩＤＩ編集が行え、非音楽の音響素材に対してもＭＩＤＩによる編集環境が提供できる。
また、ＭＩＤＩトラック１９とＰＣＭトラック１３間で相互乗り入れ（切り張り編集）が可能になり、ソースＰＣＭデータ１５の音響品質の劣化を抑えることができる。
【００２９】
次に、マルチトラックのＭＩＤＩ編集およびＰＣＭ音響編集について説明する。図６は、マルチトラックのＭＩＤＩ編集およびＰＣＭ音響編集を示す図である。
【００３０】
図６に示すように、ソース音響信号がマルチトラックのソース音響信号Ｌ、ソース音響信号Ｒから構成される場合、いすれか１つのトラックを選択して、そのソース音響信号に対してＭＩＤＩ変換部３ａによりＭＩＤＩ変換を行う。例えば、ソース音響信号Ｌを選択し、ソース音響信号Ｌに対してＭＩＤＩ変換を行う。
【００３１】
１つのソース音響信号に対してマルチトラックのＭＩＤＩデータに変換する場合、いずれか１つのＭＩＤＩトラックに対してＭＩＤＩ編集部５ａによりＭＩＤＩ編集を行う。例えば、ソース音響信号Ｌに対してＭＩＤＩ変換を行い、３つのＭＩＤＩトラック−伴奏メロディトラック９５、ボーカル・メロディトラック９６、ボーカル・フォルマント・トラック９７を生成し、代表して伴奏メロディトラック９５に対して、他の楽曲メロディであるＭＩＤＩデータ９８を参照してＭＩＤＩ編集を行う。
【００３２】
さらに、編集後のＭＩＤＩデータから編集コマンド翻訳部７ａによりＰＣＭ音響編集コマンドを生成し、ソースＰＣＭバッチ編集部１１ａによりソース音響信号に対して編集を行う。この場合、マルチトラックの全てのソース音響信号に対して同一の編集処理を行う。例えば、伴奏メロディトラック９５に対する編集後ＭＩＤＩデータから編集コマンド翻訳部７ａによりＰＣＭ音響編集コマンドの編集Ｌと編集Ｒを生成し、ＰＣＭ音響信号バッチ編集部１１ａによりソース音響信号Ｌに対して編集Ｌおよびソース音響信号Ｒに対して編集Ｒを行う。これにより、編集音響信号Ｌ、編集音響信号Ｒを作成する。（尚、編集Ｌと編集Ｒは同じ編集内容である。）
【００３３】
次に、２つの歌曲合成による替え歌作成方法について説明する。図７は、２つの歌曲合成による替え歌作成方法を示す図である。
【００３４】
図７に示すように、歌曲ＡのソースＰＣＭデータ７１と歌曲ＢのソースＰＣＭデータ７５を夫々マルチトラックＭＩＤＩ変換部３ｂにより変換する。マルチトラックのＭＩＤＩデータの中から、夫々メロディトラックである変換ＭＩＤＩトラックＡ７２と変換ＭＩＤＩトラックＢ７６を選択する。例えば、歌曲Ａのメロディトラックを歌曲ＢのメロディトラックにすりかえるようにＭＩＤＩ編集部５ｂにより編集を行う。すなわち、（変換ＭＩＤＩトラックＢ−変換ＭＩＤＩトラックＡ）の差分データ７３を生成し、差分データ７３から編集コマンド翻訳部によりＰＣＭ音響編集コマンドを生成し、ＰＣＭ音響信号バッチ編集部１１ｂにより編集を歌曲ＡのソースＰＣＭデータ７１に施す。これにより、歌曲Ｂのメロディで歌曲Ａの歌詞をもつ歌曲７４が作成される。
【００３５】
同様にして、歌曲ＢのソースＰＣＭデータ７５に（変換ＭＩＤＩトラックＡ−変換ＭＩＤＩトラックＢ）の差分データ７７を用いてＰＣＭ音響信号バッチ編集部１１ｂにより編集を施し、歌曲Ａのメロディで歌曲Ｂの歌詞をもつ歌曲７８が作成する。
【００３６】
次に、替え歌の生成具体例について説明する。図８は、山田耕筰の「赤とんぼ」と「この道」の合成による替え歌の生成具体例を示す。
【００３７】
この替え歌は、メロディの音の高さのみを変更し、歌詞のリズムと音の長さの噛み合いが良さそうな句どうしを対応づけるものとする。図８に示すように、「赤とんぼ」と「この道」の歌声のメロディトラックのＭＩＤＩデータを抽出し、「赤とんぼ」の歌詞８１、ノート８２、音の高さ（ノートナンバ）８３、音の長さ８４、および「この道」の歌詞９１、ノート９２、音の高さ（ノートナンバ）９３、音の長さ９４の情報についてＭＩＤＩ編集を行う。ノート８２，９２は、「ド」、「レ」、「ミ」等に相当する。
【００３８】
「赤とんぼ」と「この道」の歌詞のリスム８１、９１および音の長さ８４、９４を比較する。例えば、「赤とんぼ」の歌詞８１−３（あかとんぼ）のリズムと「この道」の歌詞９１−１（このみちは）のリズム、さらに「赤とんぼ」の音の長さ８４−３（１  １  ２  ２  ４）と「この道」の音の長さ９４−１（１  １１  ２  ３）は、かなり値が似通っているので、「赤とんぼ」の第３番目の句と「この道」の第１番目の句を対応づける。同様に、「赤とんぼ」の第１番目の句と「この道」の第２番目の句、「赤とんぼ」の第２番目の句と「この道」の第３番目の句を対応づける。
【００３９】
次に、対応づけられた句の間での、音の高さ（ノートナンバ）の差分データ９６を得る。すなわち、生成される替え歌の第１番目の句における音の高さ９６−１は、（「この道」の音の高さ９３−１）  −  （「赤とんぼ」の音の高さ８３−３）である差分データ（−１３  ＋１  ＋３  ＋３  ＋１）を得る。同様に、音の高さ９６−２は、（「この道」の音の高さ９３−２）  −  （「赤とんぼ」の音の高さ８３−１）である差分データ（＋１５  ＋６  ＋４  ＋３）、音の高さ９６−３は、（「この道」の音の高さ９３−３）  −  （「赤とんぼ」の音の高さ８３−２）である差分データ（−１  −２  −１９  −６  −６）を得る。
【００４０】
また、対応づけられた句の間で、歌詞を置き換えることにより、生成される替え歌の第１番目の句における歌詞９５−１は、「赤とんぼ」の歌詞８１−３に変更する。同様に、歌詞９５−２は「赤とんぼ」の歌詞８１−１、歌詞９５−３は「赤とんぼ」の歌詞８１−２に変更する。
【００４１】
このようにして、音符の高さのみ変更し、音の長さと歌詞のリズムが噛み合う句を対応させた「赤とんぼ」と「この道」を合成した替え歌が生成される。
【００４２】
従って、ソース音響信号が編集されたＰＣＭデータ１５の場合、ＢＧＭや伴奏パートのメロディに相当する部分をＭＩＤＩ変換部３により抽出して、ＭＩＤＩ編集部５により別のメロディに変更すれば、替え歌などを作成したり、詩歌の朗読音声にメロディを付加することも可能になる。
【００４３】
すなわち、本実施の形態では、ソース音響信号に対応しないＭＩＤＩデータが別途与えられた場合、ＭＩＤＩ編集部５は、ＭＩＤＩ編集対象のＭＩＤＩデータの一部が、別途与えられたＭＩＤＩデータの一部に類似するように編集を行うことができる。尚、別途与えられるＭＩＤＩデータは、別のソース音響信号から変換されたものである必要はない。
【００４４】
【発明の効果】
以上、詳細に説明したように本発明では、ＰＣＭデータの編集品質の保持およびＭＩＤＩデータの編集機能を利用可能とする音響編集システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るＭＩＤＩ編集を仲介とした音響編集システム１の概略構成図
【図２】ＭＩＤＩ編集部５の編集とＰＣＭ音響編集コマンド９との関係を示す図
【図３】区間の長さ４７の変更を示す図
【図４】信号ピッチ４８の変更を示す図
【図５】図１の処理をトラックを用いて説明した説明図
【図６】マルチトラックのＭＩＤＩ編集およびＰＣＭ音響編集を示す図
【図７】２つの歌曲合成による替え歌作成方法を示す図
【図８】山田耕筰の「赤とんぼ」と「この道」の合成による替え歌の生成具体例を示す図
【図９】音符図形を用いたＭＩＤＩデータ編集方法示す図
【符号の説明】
１………音響編集システム
３………ＭＩＤＩ変換部
５………ＭＩＤＩ編集部
７………編集コマンド翻訳部
１１………ＰＣＭ音響信号バッチ編集部
１３………ＰＣＭトラック
１５………ソースＰＣＭデータ
１７………編集後ＰＣＭデータ
１９………ＭＩＤＩトラック
２１………変換後ＭＩＤＩデータ
２３………編集後ＭＩＤＩデータ
２５………差分ＭＩＤＩデータ
３１………音符削除
３３………音符追加
３５、４５………属性変更
３６………音の開始時刻（ノートオン・デルタタイム）
３７………音の終了時刻（ノートオフ・デルタタイム）
３８………音の高さ（ノートナンバー）
３９………音の強さ（ベロシティ）
４１………区間信号削除
４３………区間信号追加
４６………区間位置
４７………区間長さ
４８………信号ピッチ
４９………信号振幅
６５………リンク情報
【図１】
0004132239.tif 000002
【図２】
0004132239.tif 000003
【図３】
0004132239.tif 000004
【図４】
0004132239.tif 000005
【図５】
0004132239.tif 000006
【図６】
0004132239.tif 000007
【図７】
0004132239.tif 000008
【図８】
0004132239.tif 000009
【図９】
0004132239.tif 000010