(57)【特許請求の範囲】
【請求項１】
インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データを記憶する分析データ記憶手段と、
本楽音処理装置により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、前記分析データ記憶手段から前記複数のインストゥルメントに対応する前記分析データをそれぞれ抽出する分析データ抽出手段と、
前記抽出された分析データに対応する複数のスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理手段と、
前記補間スペクトル・シェイプに基づいて楽音信号を生成し出力する楽音信号生成手段と、
を備えたことを特徴とする楽音処理装置。
【請求項２】
請求項１記載の楽音処理装置において、
前記分析データ記憶手段は、前記インストゥルメントごとに立ち上がり状態を示す信号か、定常状態を示す信号か、開放状態を示す信号かを表す発音状態のそれぞれに対応する前記正弦波成分および前記残差成分を複数記憶し、
前記分析データ抽出手段は、前記入力された発音状態を分析することにより該発音情報の発音状態を判断し、該判断された発音状態に応じて正弦波成分および残差成分を抽出する
ことを特徴とする楽音処理装置。
【請求項３】
請求項１記載の楽音処理装置において、
前記補間処理手段は、前記スペクトル・シェイプを２種ごとの組に分ける組分け処理と、当該組ごとに行う前記補間処理とを繰り返し行い、１つの補間スペクトル・シェイプを生成する
ことを特徴とする楽音処理装置。
【請求項４】
請求項１記載の楽音処理装置において、
前記遷移関数は、線形関数あるいは非線形関数として予め定義されていることを特徴とする楽音処理装置。
【請求項５】
請求項１記載の楽音処理装置において、
前記補間処理手段は、前記２つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記２つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた前記補間処理を前記複数の領域にわたって行う
ことを特徴とする楽音処理装置。
【請求項６】
請求項５記載の楽音処理装置において、
前記補間処理手段は、前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数および当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間手段と、
前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間手段と、
を備えたことを特徴とする楽音処理装置。
【請求項７】
請求項２記載の楽音処理装置において、
前記補間処理手段は、
前記分析データ記憶手段によって記憶されている前記正弦波成分および前記残差成分を補間することにより、前記分析データ記憶手段によって記憶されていない正弦波成分および残差成分を算出する分析データ算出手段を備え、
該分析データ算出手段により算出された正弦波成分および残差成分を用いて、前記補間処理を行う
ことを特徴とする楽音処理装置。
【請求項８】
音声を入力するための音声入力手段と、
前記音声入力手段から入力された入力音声をフレーム単位で周波数分析して音声正弦波成分および音声残差成分を抽出する周波数分析手段と、
インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データを記憶する分析データ記憶手段と、
本楽音処理装置により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、前記分析データ記憶手段から前記複数のインストゥルメントに対応する前記分析データをそれぞれ抽出する分析データ抽出手段と、
前記抽出された分析データに対応する複数のスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理手段と、
前記補間処理手段によって生成された１つの補間スペクトル・シェイプと周波数分析手段によって抽出された前記音声正弦波成分および前記音声残差成分とを所定のモーフィング度によってモーフィング処理するモーフィング手段と、
前記モーフィング手段より出力された新たな周波数成分に対して逆フーリエ変換を行うことにより楽音信号を生成し出力する楽音信号生成手段と、
を備えたことを特徴とする楽音処理装置。
【請求項９】
請求項８記載の楽音処理装置において、
前記所定のモーフィング度を設定するモーフィング設定手段を備え、
前記モーフィング手段は、前記モーフィング設定手段によって設定されたモーフィング度により前記補間スペクトル・シェイプと前記音声正弦波成分および前記音声残差成分とをモーフィングする
ことを特徴とする楽音処理装置。
【請求項１０】
請求項８記載の楽音処理装置において、
前記補間処理手段は、前記入力音声のピッチに対応して予め定められた所定の割合から求められたピッチによって、前記正弦波成分のピッチをシフトするピッチシフト手段と、
前記ピッチシフト手段によってピッチがシフトされた前記正弦波成分に対して残差成分を付加する残差成分付加手段と、
を備えたことを特徴とする楽音処理装置。
【請求項１１】
本楽音処理方法により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データから複数のインストゥルメントに対応する前記分析データを抽出する分析データ抽出過程と、
前記分析データに対応するスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理過程と、
前記補間スペクトル・シェイプに基づいて楽音信号を生成し出力する楽音信号生成過程と、
を備えたことを特徴とする楽音処理方法。
【請求項１２】
請求項１１記載の楽音処理方法において、
前記補間処理過程は、前記スペクトル・シェイプを２種ごとの組に分ける組分け処理と、当該組ごとに行う前記補間処理とを繰り返し行い、１つの補間スペクトル・シェイプを生成する
ことを特徴とする楽音処理方法。
【請求項１３】
請求項１１記載の楽音処理方法において、
前記補間処理過程は、前記２つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記２つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた前記補間処理を前記複数の領域にわたって行う
ことを特徴とする楽音処理方法。
【請求項１４】
請求項１３記載の楽音処理方法において、
前記補間処理過程は、前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数および当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間過程と、
前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間過程と、
を備えたことを特徴とする楽音処理方法。
【請求項１５】
請求項１１記載の楽音処理方法において、
前記補間情報は、前記インストゥルメント間の合成割合について補間処理を行うための全体補間情報、発音状態について補間処理を行うための状態補間情報、ピッチについて補間処理を行うためのピッチ補間情報およびアンプリチュードについて補間処理を行うためのアンプリチュード補間情報とを含んだ
ことを特徴とする楽音処理方法。
【請求項１６】
音声を入力する音声入力過程と、
前記音声入力過程において入力された入力音声をフレーム単位で周波数分析して正弦波成分および残差成分を抽出する周波数分析過程と、
本楽音処理方法により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データから複数のインストゥルメントに対応する前記分析データを抽出する分析データ抽出過程と、
前記分析データに対応するスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理過程と、
前記補間処理過程によって生成された１つの補間スペクトル・シェイプと周波数分析過程によって抽出された前記正弦波成分および前記残差成分とを所定のモーフィング度によってモーフィング処理するモーフィング過程と、
前記モーフィング過程にて出力された新たな周波数成分に対して逆フーリエ変換を行うことにより楽音信号を生成し出力する楽音信号生成過程と、
を備え、
前記分析データ抽出過程は、前記正弦波成分に含まれる発音情報および外部より入力された補間情報に基づいて、３種以上のインストゥルメントに対応する前記分析データを抽出する
ことを特徴とする楽音処理方法。
【請求項１７】
請求項１６記載の楽音処理方法において、
前記所定のモーフィング度を設定するモーフィング設定過程を備え、
前記モーフィング過程は、前記モーフィング設定過程によって設定されたモーフィング度により前記補間スペクトル・シェイプと前記音声正弦波成分および前記音声残差成分とをモーフィングする
ことを特徴とする楽音処理方法。
【請求項１８】
請求項１６記載の楽音処理方法において、
前記補間処理過程は、前記入力音声のピッチに対応して予め定められた所定の割合から求められたピッチによって、前記正弦波成分のピッチをシフトするピッチシフト過程と、
前記ピッチシフト過程によってピッチがシフトされた前記正弦波成分に対して残差成分を付加する残差成分付加過程と、
を備えたことを特徴とする楽音処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、楽音処理装置および楽音処理方法に係り、特に、様々なインストゥルメントの特徴を合成した新しい楽器音を生成する楽音処理装置および楽音処理方法に関する。
【０００２】
【従来の技術】
従来の楽音処理装置においては、２つの音色を補間することによって新しい音色を生成することが行われている。
そして、２つのスペクトル・シェイプを補間する技術については、エネルギー集中させた周波数を基準にして、２つのスペクトル包絡を複数の周波数帯域に分割し、それぞれの帯域ごとにスペクトル変換を行う声質変換方法「特開平９−２４４６９４」、および、二つの原音に対して設定されたパラメータ間の対応する時点を抽出することにより、パラメータを２原音への所望の近さの程度に応じて補間して新しいパラメータを作成する補間音色合成方法「特開平１０−２５４５００」とがある。
【０００３】
【発明が解決しようとする課題】
ところが、３つ以上の音色を合成する技術がないため、例えば、ギター、ピアノおよびフルートの音色からなる発音情報を補間しようとしても、ギターとピアノ、ピアノとフルート、あるいは、ギターとフルートのように２つの音色を補間した楽音信号しか出力することができなかった。
そこで、本発明の目的は、３つ以上のスペクトル・シェイプを補間することができ、より多くの新しい楽音を生成することができる楽音処理装置および楽音処理方法を提供することにある。
【０００４】
【課題を解決するための手段】
上述した課題を解決するため、請求項１に記載の発明は、インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データを記憶する分析データ記憶手段と、本楽音処理装置により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、前記分析データ記憶手段から前記複数のインストゥルメントに対応する前記分析データをそれぞれ抽出する分析データ抽出手段と、前記抽出された分析データに対応する複数のスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理手段と、前記補間スペクトル・シェイプに基づいて楽音信号を生成し出力する楽音信号生成手段と、を備えたことを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１記載の楽音処理装置において、前記分析データ記憶手段は、前記インストゥルメントごとに立ち上がり状態を示す信号か、定常状態を示す信号か、開放状態を示す信号かを表す発音状態のそれぞれに対応する前記正弦波成分および前記残差成分を複数記憶し、前記分析データ抽出手段は、前記入力された発音状態を分析することにより該発音情報の発音状態を判断し、該判断された発音状態に応じて正弦波成分および残差成分を抽出することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１記載の楽音処理装置において、前記補間処理手段は、前記スペクトル・シェイプを２種ごとの組に分ける組分け処理と、当該組ごとに行う前記補間処理とを繰り返し行い、１つの補間スペクトル・シェイプを生成することを特徴としている。
【００１１】
請求項４に記載の発明は、請求項１記載の楽音処理装置において、前記遷移関数は、線形関数あるいは非線形関数として予め定義されていることを特徴としている。
【００１２】
請求項５に記載の発明は、請求項１記載の楽音処理装置において、前記補間処理手段は、前記２つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記２つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた前記補間処理を前記複数の領域にわたって行うことを特徴としている。
【００１３】
請求項６に記載の発明は、請求項５記載の楽音処理装置において、前記補間処理手段は、前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数および当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間手段と、前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間手段と、を備えたことを特徴としている。
【００１７】
請求項７に記載の発明は、請求項２記載の楽音処理装置において、前記補間処理手段は、  前記分析データ記憶手段によって記憶されている前記正弦波成分および前記残差成分を補間することにより、前記分析データ記憶手段によって記憶されていない正弦波成分および残差成分を算出する分析データ算出手段を備え、該分析データ算出手段により算出された正弦波成分および残差成分を用いて、前記補間処理を行う特徴としている。
【００２１】
請求項８に記載の発明は、音声を入力するための音声入力手段と、前記音声入力手段から入力された入力音声をフレーム単位で周波数分析して音声正弦波成分および音声残差成分を抽出する周波数分析手段と、インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データを記憶する分析データ記憶手段と、本楽音処理装置により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、前記分析データ記憶手段から前記複数のインストゥルメントに対応する前記分析データをそれぞれ抽出する分析データ抽出手段と、前記抽出された分析データに対応する複数のスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理手段と、前記補間処理手段によって生成された１つの補間スペクトル・シェイプと周波数分析手段によって抽出された前記音声正弦波成分および前記音声残差成分とを所定のモーフィング度によってモーフィング処理するモーフィング手段と、前記モーフィング手段より出力された新たな周波数成分に対して逆フーリエ変換を行うことにより楽音信号を生成し出力する楽音信号生成手段と、を備えたことを特徴としている。
【００２２】
請求項９に記載の発明は、請求項８記載の楽音処理装置において、前記所定のモーフィング度を設定するモーフィング設定手段を備え、前記モーフィング手段は、前記モーフィング設定手段によって設定されたモーフィング度により前記補間スペクトル・シェイプと前記音声正弦波成分および前記音声残差成分とをモーフィングすることを特徴としている。
【００２５】
請求項１０に記載の発明は、請求項８記載の楽音処理装置において、前記補間処理手段は、前記入力音声のピッチに対応して予め定められた所定の割合から求められたピッチによって、前記正弦波成分のピッチをシフトするピッチシフト手段と、前記ピッチシフト手段によってピッチがシフトされた前記正弦波成分に対して残差成分を付加する残差成分付加手段と、を備えたことを特徴としている。
【００２７】
請求項１１に記載の発明は、本楽音処理方法により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データから複数のインストゥルメントに対応する前記分析データを抽出する分析データ抽出過程と、前記分析データに対応するスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理過程と、前記補間スペクトル・シェイプに基づいて楽音信号を生成し出力する楽音信号生成過程と、を備えたことを特徴としている。
【００３０】
請求項１２に記載の発明は、請求項１１記載の楽音処理方法において、前記補間処理過程は、前記スペクトル・シェイプを２種ごとの組に分ける組分け処理と、当該組ごとに行う前記補間処理とを繰り返し行い、１つの補間スペクトル・シェイプを生成することを特徴としている。
【００３３】
請求項１３に記載の発明は、請求項１１記載の楽音処理方法において、前記補間処理過程は、前記２つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記２つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた前記補間処理を前記複数の領域にわたって行うことを特徴としている。
【００３４】
請求項１４に記載の発明は、請求項１３記載の楽音処理方法において、前記補間処理過程は、前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数および当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間過程と、前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間過程と、を備えたことを特徴としている。
【００３５】
請求項１５に記載の発明は、請求項１１記載の楽音処理方法において、前記補間情報は、前記インストゥルメント間の合成割合について補間処理を行うための全体補間情報、発音状態について補間処理を行うための状態補間情報、ピッチについて補間処理を行うためのピッチ補間情報およびアンプリチュードについて補間処理を行うためのアンプリチュード補間情報とを含んだことを特徴としている。
【００３７】
請求項１６に記載の発明は、音声を入力する音声入力過程と、前記音声入力過程において入力された入力音声をフレーム単位で周波数分析して正弦波成分および残差成分を抽出する周波数分析過程と、本楽音処理方法により出力する音のピッチ、アンプリチュードおよび音符長を指定するために外部より入力された発音情報およびその音を複数のインストゥルメントの音色から生成するために外部より入力された補間情報に基づいて、インストゥルメントにおいて発音された音のサンプリングデータを分析することによって得られた正弦波成分、残差成分およびスペクトル・シェイプを含む分析データから複数のインストゥルメントに対応する前記分析データを抽出する分析データ抽出過程と、前記分析データに対応するスペクトル・シェイプのうちの、２つずつを用いて補間処理を行うに際して、該２つのスペクトル・シェイプ間におけるスペクトル・シェイプ遷移関数を用いて補間処理を行い、１つの補間スペクトル・シェイプを生成する補間処理過程と、前記補間処理過程によって生成された１つの補間スペクトル・シェイプと周波数分析過程によって抽出された前記正弦波成分および前記残差成分とを所定のモーフィング度によってモーフィング処理するモーフィング過程と、前記モーフィング過程にて出力された新たな周波数成分に対して逆フーリエ変換を行うことにより楽音信号を生成し出力する楽音信号生成過程と、を備え、前記分析データ抽出過程は、前記正弦波成分に含まれる発音情報および外部より入力された補間情報に基づいて、３種以上のインストゥルメントに対応する前記分析データを抽出することを特徴としている。
【００３８】
請求項１７に記載の発明は、請求項１６記載の楽音処理方法において、前記所定のモーフィング度を設定するモーフィング設定過程を備え、前記モーフィング過程は、前記モーフィング設定過程によって設定されたモーフィング度により前記補間スペクトル・シェイプと前記音声正弦波成分および前記音声残差成分とをモーフィングすることを特徴としている。
【００４０】
請求項１８に記載の発明は、請求項１６記載の楽音処理方法において、前記補間処理過程は、前記入力音声のピッチに対応して予め定められた所定の割合から求められたピッチによって、前記正弦波成分のピッチをシフトするピッチシフト過程と、前記ピッチシフト過程によってピッチがシフトされた前記正弦波成分に対して残差成分を付加する残差成分付加過程と、を備えたことを特徴としている。
【００４１】
【発明の実施の形態】
次に、図面を参照して本発明の好適な実施形態について説明する。
［１］第１実施形態
［１．１］楽音処理装置の全体構成
図１に、本発明の第１実施形態である楽音処理装置の全体構成を示す。
楽音処理装置１は、サンプリングされたインストゥルメントの音声波形を後述するＳＭＳ分析によって分析し、分析の結果、得られた分析データを予め記憶している分析データ記憶部１２と、外部より入力される発音情報信号およびユーザにより設定された補間情報により生成された補間情報信号に基づいて分析データ記憶部１２に記憶されている分析データを抽出する分析データ抽出部１１と、抽出された分析データに基づいて補間を行うことによって新たな周波数成分を生成する補間処理部１３と、生成された周波数成分に対して逆高速フーリエ変換（ＩＦＦＴ）およびオーバーラップ処理を行う周波数合成処理部１４と、周波数合成処理部１４によって生成された周波数信号に対してエンベローブ付加処理を行うエンベローブ処理部１５と、エンベローブ処理部１５によって生成された出力楽音信号を出力する出力部１６とを備えて構成されている。
【００４２】
ここで、本実施形態における発音情報とは、例えば、“８分音符のド”などのように、音の名前や長さなどを含んだ情報のことをいう。したがって、オクターブと音の名前を指定するＭＩＤＩｎｏｔｅや音符の種類を指定するＭＩＤＩｓｔなどのデータも発音情報に含まれる。
【００４３】
次に、上述した補間情報について、詳細に説明する。
本実施形態における補間情報は、インストゥルメントごとに設定することが可能な種々の補間率を含む多次元補間情報のことをいう。
多次元補間情報には、全体多次元補間率、後述する各発音状態における状態多次元補間率、ピッチ多次元補間率およびアンプリチュード多次元補間率がある。
全体多次元補間率は、インストゥルメントを合成する場合に、出力される楽音信号全体に対する当該インストゥルメントの合成割合を示すものであり、例えば、インストゥルメントごとに“０”から“１”の間で設定できるようになっている。
具体的に説明すると、例えば、ギター、ピアノおよびフルートの音色を合成する場合において、ギターの音色を全体の音色の５割にし、ピアノの音色を全体の音色の３割にし、フルートの音色を全体の音色の２割にして合成する場合には、ギターの全体多次元補間率を“０．５”、ピアノの全体多次元補間率を“０．３”、フルートの全体多次元補間率を“０．２”にそれぞれ設定する。
そして、ギター、ピアノおよびフルートにおけるそれぞれの全体多次元補間率は、合計した場合に“１”となるように設定しなければならない。
【００４４】
状態多次元補間率は、各発音状態、例えば、発音の立ち上がり状態、定常状態および開放状態のそれぞれの状態に対応する補間率である立ち上がり状態多次元補間率、定常状態多次元補間率および開放状態多次元補間率に区別される。
そして、各状態多次元補間率は、それぞれの発音状態において、インストゥルメントを合成する場合に、出力される楽音信号全体に対する当該インストゥルメントの合成割合を示すものであり、例えば、各インストゥルメントの発音状態ごとに“０”から“１”の間で設定できるようになっている。
具体的に説明すると、例えば、ギター、ピアノおよびフルートの音色を合成する場合の発音の立ち上がり状態において、ギターの音色を全体の音色の４割にし、ピアノの音色を全体の音色の５割にし、フルートの音色を全体の音色の１割にして合成する場合には、ギターの立ち上がり状態多次元補間率を“０．４”、ピアノの立ち上がり状態多次元補間率を“０．５”、フルートの立ち上がり状態多次元補間率を“０．１”にそれぞれ設定する。
そして、ギター、ピアノおよびフルートにおけるそれぞれの立ち上がり状態多次元補間率は、合計した場合に“１”となるように設定しなければならない。
【００４５】
ここで、立ち上がり状態においては、カットインなどのように突然アタック感の強い音で始める場合や、フェードインなどのように始めは弱い音から入り徐々に音を強くしていく場合などの状態を設定することができる。
また、開放状態においては、カットアウトなどのように突然音を消してしまう場合や、フェードアウトなどのように徐々に音を弱くしていきながら発音を終了させる場合などの状態を設定することができる。
【００４６】
また、ピッチ多次元補間率は、インストゥルメントのピッチを調整して音色を補間するものであり、例えば、キーオン指定のピッチと同じピッチで出力する場合を“０”として、各インストゥルメントごとに“−１”から“１”の間で任意に設定できるようになっている。
具体的に説明すると、例えば、ギター、ピアノおよびフルートの音色を合成する場合において、ギターのピッチを高めにし、ピアノのピッチをキーオン指定のピッチと同じピッチにし、フルートのピッチを低めにする場合には、ギターのピッチ多次元補間率を“０”〜“１”の間に設定し、ピアノのピッチ多次元補間率を“０”に設定し、フルートのピッチ多次元補間率を“０”〜“−１”の間に設定する。
【００４７】
また、アンプリチュード多次元補間率は、インストゥルメントのアンプリチュード（振幅）を調整して音色を補間するものであり、例えば、キーオン指定のアプリチュードと同じフォルマントを用いる場合を“０”として、各インストゥルメントごとに“−１”から“１”の間で任意に設定できるようになっている。
具体的に説明すると、例えば、ギター、ピアノおよびフルートの音色を合成する場合において、ギターのアンプリチュードを高めにし、ピアノのアンプリチュードをキーオン指定のアンプリチュードと同じアンプリチュードにし、フルートのアンプリチュードを低めにする場合には、ギターのアンプリチュード多次元補間率を“０”〜“１”の間に設定し、ピアノのアンプリチュード多次元補間率を“０”に設定し、フルートのアンプリチュード多次元補間率を“０”〜“−１”の間に設定する。
【００４８】
次に、上述した多次元補間情報をインストゥルメントごとに設定する方法を具体的に説明する。
まず、例えば、多次元補間情報を（全体、立ち上がり状態、定常状態、開放状態、ピッチ、アンプリチュード）と表す場合において、インストゥルメントであるギター、ピアノおよびフルートの音色を、ギターの音色をやや強くした音色になるように補間する場合には、ギターの多次元補間情報を（０．４、０、０、０、０、０）と設定し、ピアノの多次元補間情報を（０．３、０、０、０、０、０）と設定し、フルートの多次元補間情報を（０．３、０、０、０、０、０）と設定する。
この場合において、それぞれのインストゥルメントの全体多次元補間率を合計すると“１”になっている。
【００４９】
次に、上述した例において、さらに、発音の立ち上がりにおいてはアタック感の強いギターの音色を強めに出力し、定常状態においてはピアノの音色を強めに出力し、開放状態においてはフルートの音色が強めに出力されるように補間する場合には、ギターの多次元補間情報を（０．４、１、０、０、０、１）と設定し、ピアノの多次元補間情報を（０．３、０、１、０、０、０）と設定し、フルートの多次元補間情報を（０．３、０、０、１、０、０）と設定する。
この場合、立ち上がり状態において出力される楽音信号には、ギターの音色だけではなく、ピアノとフルートの音色も合成して出力されている。これは、全体多次元情報率の割合に応じて、各状態多次元補間率が適用されるためである。
【００５０】
［１．２］楽音処理装置の各部の構成
［１．２．１］分析データ記憶部
図２に、分析データ記憶部１２のファイル構成を示す。
図２に示すように、分析データ記憶部１２は、各インストゥルメントの各発音状態ごとに、アンプリチュードを一定の大きさに区分化したアンプリチュード区分と、ピッチを一定の大きさに区分化したピッチ区分とによって表される分析データテーブル単位にデータを区別して格納している。
そして、アンプリチュード区分とピッチ区分との交点となる領域に対してフォルマント・シェイプのデータが格納されている。
また、当該領域には、必要に応じて残差成分も格納されている。なお、フォルマント・シェイプおよび残差成分は、後述するＳＭＳ分析によって求められる。
【００５１】
ここで、図２に示されている分析データテーブルは、インストゥルメントがサックスであり、発音状態が立ち上がり状態でアタック感の強いフォルマント・シェイプを格納している分析データテーブルである。
その他にも、例えば、インストゥルメントがサックスであり、発音状態が立ち上がり状態でアタック感の弱いフォルマント・シェイプを格納している分析データテーブルや、インストゥルメントがギターであり、発音状態が定常状態でアタック感の強いフォルマント・シェイプを格納している分析データテーブルなども分析データ記憶部１２に記憶されている
このように、分析データテーブルは、インストゥルメントおよび発音の度合いが異なる状態（発音状態）ごとに、フォンマルト・シェイプおよび残差成分を格納してる。
【００５２】
また、ピッチ区分を区分けする大きさの基準は、インストゥルメントの特徴によって変えている。
例えば、ピッチの変更が、フォルマントの変動に対してあまり影響を与えることのない楽器については、ピッチの区分数を減らすようにし、ピアノのように、ピッチの変更が、フォルマントの変動に対して大きな影響を与える楽器については、ピッチの区分数を細かく設定して増やすようにする。
また、アンプリチュード区分を区分けする大きさの基準も、ピッチ区分を区分けする大きさの基準と同様に決定する。
図２に示されている分析データテーブルにおいては、縦軸で表されているピッチは、１[オクターブ]ごとに区分が設定されており、横軸で表されているアンプリチュードは、１０[ｄＢ]ごとに区分が設定されている。
【００５３】
ここで、図３を参照しながら、ＳＭＳ分析について説明する。
ＳＭＳ分析においては、まず、サンプリングされた音声波形に対して窓関数を乗ずることによって得られるフレームを抽出し、次に、抽出したフレームに対して高速フーリエ変換（ＦＦＴ）を行うことによって得られる周波数スペクトルから、正弦波成分と残差成分とを抽出する。
ここで、正弦波成分とは、基本周波数（ピッチ；Pitch）および基本周波数の倍数にあたる周波数（倍音）の成分をいう。本実施形態においては、基本周波数をピッチとし、各成分の平均アンプリチュードをアンプリチュードとし、スペクトル包絡をフォルマント・シェイプとして分析データ記憶部１２に記憶している。
また、残差成分とは、上述した周波数スペクトルから正弦波成分を除いた成分であり、本実施形態においては、図３に示すように周波数領域のデータとして分析データ記憶部１２に記憶している。また、残差成分は、特に立ち上がり状態の音を生成するときに有用な成分となる。
【００５４】
［１．２．２］補間処理部
補間処理部１３は、各インストゥルメントごとの発音情報信号および補間情報信号に基づいて抽出されたフォルマント・シェイプを各インストゥルメント単位に一時的に補間バッファに記憶しておき、後述するスペクトル補間の手法により、補間バッファに記憶された各インストゥルメントのフォルマント・シェイプを補間することによって新たな周波数成分である補間スペクトル・シェイプを生成する。
【００５５】
［１．３］第１実施形態の動作
次に、楽音処理装置１の動作例を順に説明する。
まず、楽音処理装置１の外部から、例えば、ＭＩＤＩｎｏｔｅなどの発音情報信号が入力されると、分析データ抽出部１１は、入力された発音情報信号をフレーム単位の発音情報信号に分割する。具体的には、例えば、“８分音符、ピッチが第２オクターブのド、アンプリチュードが６[ｄＢ]”を示す発音情報信号が入力された場合に、分析データ抽出部１１は、当該発音情報信号を５[ｍｓ]ごとに区切られたフレームに分割し、各フレームごとに“８分音符、ピッチが第２オクターブのド、アンプリチュードが６[ｄＢ]”および当該フレームにおける発音状態を示すデータが記憶される。
【００５６】
次に、分析データ抽出部１１は、フレーム単位に分割された発音情報信号の発音状態が、立ち上がり状態を示す信号であるか、定常状態を示す信号であるか、開放状態を示す信号であるかの判断を行う。
そして、分析データ抽出部１１は、各インストゥルメントごと、かつ、上記各状態ごとに記憶されたフォルマント・シェイプを、外部から入力された補間情報信号に含まれるピッチ多次元補間率およびアンプリチュード多次元補間率によって補間された発音情報信号のピッチおよびアンプリチュードに基づいて分析データ記憶部１２を検索し、検索によって抽出された分析データを、各インストゥルメントごとに区別された補間バッファに対して一時的に記憶させる。
【００５７】
ここで、分析データ抽出部１１による抽出処理を図９を参照して具体的に説明する。図９はインストゥルメントがピアノであり、発音状態が立ち上がり状態である場合の分析データテーブルを示している。
分析データ抽出部１１は、第１フレームの発音情報信号が、例えば、“８分音符、ピッチが第２オクターブのド、アンプリチュードが６[ｄＢ]、立ち上がり状態”を示すデータであり、ピアノの補間情報信号が（０．３、０、１、０、０、０）であった場合に、補間情報信号に含まれるピッチ多次元補間率およびアンプリチュード多次元補間率はともに“０”であるため、発音情報信号に含まれるピッチが“第２オクターブのド”であり、アンプリチュードが“６[ｄＢ]”であるピアノのフォルマント・シェイプ９ａを抽出する。そして、ピアノの補間バッファの第１フレームに対応する領域に対して、フォルマント・シェイプ９ａを記憶する。
次に、分析データ抽出部１１は、第２フレームの発音情報信号を読み込み、当該発音情報信号が、例えば、“８分音符、ピッチが第２オクターブのド、アンプリチュードが１５[ｄＢ]、立ち上がり状態”を示すデータであり、ピアノの補間情報信号が（０．３、０、１、０、０、０）であった場合に、補間情報信号に含まれるピッチ多次元補間率およびアンプリチュード多次元補間率はともに“０”であるため、発音情報信号に含まれるピッチが“第２オクターブのド”であり、アンプリチュードが“１５[ｄＢ]”であるピアノのフォルマント・シェイプ９ｂを抽出する。そして、ピアノの補間バッファの第２フレームに対応する領域に対して、フォルマント・シェイプ９ｂを記憶する。
【００５８】
補間処理部１３は、補間情報信号に含まれる３つ以上のインストゥルメントの補間処理を、以下に説明するアンカー・ポイントを用いるスペクトル補間の手法により行う。
【００５９】
まず、スペクトル補間を用いる目的は、以下の二つに大別される。
（１）二つの時間的に連続するフレームのスペクトル・シェイプを補間し、時間的に二つのフレーム間にあるフレームのスペクトル・シェイプを求める。
（２）二つの異なる音のスペクトル・シェイプを補間し、中間的な音のスペクトル・シェイプを求める。
【００６０】
図４（ａ）に示すように、補間のもととなる二つのスペクトル・シェイプ（以下、便宜上、第１スペクトル・シェイプＳＳ１および第２スペクトル・シェイプＳＳ２とする。）を各々周波数軸上で複数の領域Ｚ1、Ｚ2、……に分割する。
そして、各領域を区切る境界の周波数を各スペクトル・シェイプごとにそれぞれ以下のように設定する。この設定した境界の周波数をアンカー・ポイントと呼んでいる。
第１スペクトル・シェイプＳＳ１：ＲＢ1,1、ＲＢ2,1、……、ＲＢN,1
第２スペクトル・シェイプＳＳ２：ＲＢ1,2、ＲＢ2,2、……、ＲＢM,2
【００６１】
図４（ｂ）に線形スペクトル補間の説明図を示す。
線形スペクトル補間は、補間率により定義され、補間率Ｘは、０から１までの範囲である。この場合において、補間率Ｘ＝０は、第１スペクトル・シェイプＳＳ１そのもの、補間率Ｘ＝１は第２スペクトル・シェイプＳＳ２そのものに相当する。
【００６２】
図４（ｂ）は、補間率Ｘ＝０．３５の場合である。
また、図４（ｂ）において、縦軸上の白丸（○）は、スペクトル・シェイプを構成する周波数およびマグニチュードの組のそれぞれを示す。したがって、紙面垂直方向にマグニチュード軸が存在すると考えるのが適当である。
補間率Ｘ＝０の軸上の第１スペクトル・シェイプＳＳ１の注目するある領域Ｚｉに対応するアンカー・ポイントが、
ＲＢi,1 およびＲＢi+1,1
であり、当該領域Ｚｉに属する具体的な周波数およびマグニチュードの組のうちいずれかの組の周波数＝ｆi1であり、マグニチュード＝Ｓ1（ｆi1）であるものとする。
【００６３】
補間率Ｘ＝１の軸上の第２スペクトル・シェイプＳＳ２の注目するある領域Ｚiに対応するアンカー・ポイントが、
ＲＢi,2 およびＲＢi+1,2
であり、当該領域Ｚiに属する具体的な周波数およびマグニチュードの組のうちいずれかの組の周波数＝ｆi2であり、マグニチュード＝Ｓ2（ｆi2）であるものとする。
ここで、スペクトル遷移関数ｆtrans1（ｘ）およびスペクトル遷移関数ｆtrans2（ｘ）を求める。
【００６４】
例えば、これらを最も簡単な線形関数で表すとすると、以下のようになる。
ｆtrans1（ｘ）＝ｍ1・ｘ＋ｂ1
ｆtrans2（ｘ）＝ｍ2・ｘ＋ｂ2
ここで、
ｍ1＝ＲＢi,2−ＲＢi,1ｂ1＝ＲＢi,1
ｍ2＝ＲＢi+1,2−ＲＢi+1,1ｂ2＝ＲＢi+1,1
である。
次に第１スペクトル・シェイプＳＳ１上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数およびマグニチュードの組を求める。
【００６５】
まず、第１スペクトル・シェイプＳＳ１上に実在する周波数およびマグニチュードの組、具体的には、周波数ｆi1、マグニチュードＳ1（ｆi1）に対応する第２スペクトル・シェイプ上の周波数＝ｆi1,2、マグニチュード＝Ｓ2（ｆi1,2）を以下のように算出する。
【数１】
0003802293.tif 000002
ここで、
Ｗ１＝ＲＢi+1,1−ＲＢi,1
Ｗ２＝ＲＢi+1,2−ＲＢi,2
である。
マグニチュード＝Ｓ2（ｆi1,2）を算出するにあたり、第２スペクトル・シェイプＳＳ２上に実在する周波数およびマグニチュードの組のうちで周波数＝ｆi1,2を挟むように最も近い周波数をそれぞれ、(+)、(-)のサフィックスを付して表すとすると、
【数２】
0003802293.tif 000003
となる。
【００６６】
以上から、補間率＝ｘとすると、第１スペクトル・シェイプＳＳ１上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数ｆi1,xおよびマグニチュードＳx（ｆi1,x）は以下の式で求められる。
【数３】
0003802293.tif 000004
Ｓx（ｆi1,x）＝Ｓ1（ｆi1）＋｛Ｓ2（ｆi1,2）−Ｓ1（ｆi1）｝・ｘ
同様にして、第１スペクトル・シェイプＳＳ１上の全ての周波数およびマグニチュードの組に対して算出する。
続いて、第２スペクトル・シェイプＳＳ２上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数およびマグニチュードの組を求める。
【００６７】
まず、第２スペクトル・シェイプＳＳ２上に実在する周波数およびマグニチュードの組、具体的には、周波数ｆi2、マグニチュードＳ2（ｆi2）に対応する第１スペクトル・シェイプ上の周波数＝ｆi1,1、マグニチュード＝Ｓ1（ｆi1,1）を以下のように算出する。
【数４】
0003802293.tif 000005
ここで、
Ｗ１＝ＲＢi+1,1−ＲＢi,1
Ｗ２＝ＲＢi+1,2−ＲＢi,2
である。
マグニチュード＝Ｓ1（ｆi1,1）を算出するにあたり、第１スペクトル・シェイプＳＳ１上に実在する周波数およびマグニチュードの組のうちで周波数＝ｆi2,1を挟むように最も近い周波数をそれぞれ、(+)、(-)のサフィックスを付して表すとすると、
【数５】
0003802293.tif 000006
となる。
【００６８】
以上から、補間率＝ｘとすると、第２スペクトル・シェイプＳＳ２上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数ｆi2,xおよびマグニチュードＳx（ｆi2,x）は以下の式で求められる。
【数６】
0003802293.tif 000007
Ｓx（ｆi2,x）＝Ｓ2（ｆi2）＋｛Ｓ2（ｆi2）−Ｓ1（ｆi1,2）｝・（ｘ−１）
同様にして、第２スペクトル・シェイプＳＳ２上の全ての周波数およびマグニチュードの組に対して算出する。
【００６９】
上述したように第１スペクトル・シェイプＳＳ１上に実在する周波数ｆi1およびマグニチュードＳ1（ｆi1）の組に対応する第２スペクトル・シェイプＳＳ２上に実在する周波数ｆi1,2およびマグニチュードＳ2（ｆi1,2）並びに第２スペクトル・シェイプＳＳ２上に実在する周波数ｆi2およびマグニチュードＳ2（ｆi2）の組に対応する補間スペクトル・シェイプ上の周波数ｆi2,xおよびマグニチュードＳx（ｆi2,x）の全ての算出結果を周波数順に並び替えることにより、補間スペクトル・シェイプを求める。
【００７０】
これらを全ての領域Ｚ1、Ｚ2、……について行い、前周波数帯域の補間スペクトル・シェイプを算出する。
上述したアンカー・ポイントを用いるスペクトル補間の例においては、スペクトル遷移関数ｆtrans1（ｘ）、ｆtrans2（ｘ）を線形な関数としたが、二次関数、指数関数など非線形な関数として定義あるいは関数に対応する変化をテーブルとして用意するように構成することも可能である。
【００７１】
次に、３つ以上存在するインストゥルメントを上述したアンカー・ポイントを用いるスペクトル補間によって補間する方法を具体的に説明する。
まず、３つ以上存在するインストゥルメントを、２つで一組となるインストゥルメントの組に分け、それぞれの組に含まれる２つのインストゥルメントのスペクトル・シェイプに対する補間を実行して各組ごとの補間スペクトル・シェイプを得る。
そして、補間によって得られた補間スペクトル・シェイプを、さらに２つで一組となるスペクトル・シェイプの組に分け、それぞれの組に含まれる２つのスペクトル・シェイプに対する補間を実行して各組ごとの補間スペクトル・シェイプを求め、最終的に一つの補間スペクトル・シェイプが得られるまで当該補間処理を繰り返す。
上述した補間処理をｎ種のインストゥルメントに対して行うと、“ｎ−１”回の補間を実行することとなる。
なお、上記組分けをする際に、組にすることができず余ってしまったスペクトル・シェイプについては、今回のステップにおいては補間処理をせずに、次回のステップにおいて補間処理を行えばよい。
【００７２】
上述した補間処理について、図８を参照してさらに具体的に説明すると、例えば、ギター、ピアノおよびフルートの３つのインストゥルメントに対するスペクトル補間を行う場合には、まず、１回目の補間処理として、ギターのスペクトル・シェイプ８ａと、ピアノのスペクトル・シェイプ８ｂとを組にして、当該二つのスペクトル・シェイプに対するスペクトル補間を実行し、補間スペクトル・シェイプ８ｄを得る。
次に、２回目の補間処理として、補間スペクトル・シェイプ８ｄと、１回目の補間処理において補間が行われなかったフルートのスペクトル・シェイプ８ｃとを組にして、当該二つのスペクトル・シェイプに対するスペクトル補間を実行し、最終的に一つの補間スペクトル・シェイプとなる補間スペクトル・シェイプ８ｄを得る。
このように、補間処理を３つのインストゥルメントに対して行うと、補間を２回実行することとなる。
【００７３】
また、補間処理部１３は、分析データ抽出部１１によって残差成分が抽出されている場合には、以下に記載する補間処理を行ってから、先に求めた補間スペクトル・シェイプに付加する。ただし、残差成分の補間処理を行うか否かについては、ユーザが予め設定することができ、分析データ抽出部１１は、予め設定された設定値にしたがって、残差成分の補間処理を行う。
【００７４】
ここで、残差成分の補間処理について説明する。
まず、補間処理部１３は、各インストゥルメントごとの補間情報信号に基づいて、分析データ抽出部１１によって抽出された残差成分の線形補間を行い、各インストゥルメント単位の補間残差成分を生成する。次に、補間処理部１３は、複数のインストゥルメント間における補間残差成分を上述したスペクトル・シェイプを補間するときと同様に補間する。
【００７５】
また、周波数合成処理部１４は、補間処理部１３において出力された新たな周波数成分に対して逆フーリエ変換およびオーバーラップ処理を行うことによって新たな周波数信号を生成する。
ここで、本実施形態におけるオーバーラップ処理とは、フレーム単位に分割されている周波数信号の両端をなめらかに補正して、フレームをつなぎ合わせたときに歪みが生じないようにする処理をいう。
そして、エンベローブ処理部１５は、周波数合成処理部１４によって出力された新たな周波数信号に対して、エンベローブを付加することにより出力楽音信号を生成し、出力部１６によって当該出力楽音信号が出力される。
【００７６】
［１．４］第１実施形態の効果
上述した実施形態によると、補間処理部１３によって、複数のインストゥルメントのスペクトル・シェイプを組み合わせて補間して行くことによって、最終的に１つの補間スペクトル・シェイプにすることができる。したがって、複数のインストゥルメントから発音された発音情報の補間処理を行うことが可能となる。
【００７７】
［１．５］第１実施形態の変形例
［１．５．１］第１変形例
なお、上述した第１実施形態においては、分析データ記憶部に記憶されている全てのフォルマント・シェイプが、インストゥルメントからサンプリングされた楽音波形によって作成されているが、インストゥルメントの特徴的な音のみをサンプリングし、サンプリングされた楽音波形によっては直接作成されることのないフォルマント・シェイプのみを、サンプリングされた楽音波形によって作成されたフォルマント・シェイプを補間することによって作成してもよい。
【００７８】
また、インストゥルメントの特徴的な音のみをサンプリングし、サンプリングされた楽音波形によっては直接作成されることのないフォルマント・シェイプについては、楽音を生成するときに、補間処理部において、サンプリングされた楽音波形によって作成されたフォルマント・シェイプをリアルタイムに補間することによって作成するようにしてもよい。
【００７９】
［１．５．２］第２変形例
また、上述した第１実施形態においては、ユーザにより設定された補間情報に基づいて補間処理などを行っているが、ＭＩＤＩデータにより生成された音色を選択し、当該音色を生成したＭＩＤＩデータに基づいて補間情報を生成して、その補間情報に基づいて補間処理などを行ってもよい。
図５に第３変形例における楽音処理装置１’の概要構成ブロック図を示す。
図５において図１の第１実施形態と異なる点は、図５の第３変形例においては、図１の第１実施形態における構成要素に加えて、さらに、ＭＩＤＩ音色選択部４１、ＭＩＤＩ補間情報記憶部４２、変更入力部４３および補間情報生成部４４が備えられている点である。
【００８０】
具体的に説明すると、楽音処理装置１’は、楽音処理装置１に備えられている各構成要素に加え、予めプリセットされているＭＩＤＩデータにより生成された音色がユーザによって選択された場合に、当該音色に対応するＭＩＤＩメッセージを発行するＭＩＤＩメッセージ選択部４１と、ＭＩＤＩデータにより生成された音色を生成する際に設定されたＭＩＤＩデータのＭＩＤＩ補間情報を記憶しているＭＩＤＩ補間情報記憶部４２と、プリセットされている音色の各発音状態（立ち上がり状態、定常状態、開放状態）の割合および当該音色のエンベローブ情報などを変更する場合に、それらの変更データを入力する変更入力部４３と、ＭＩＤＩメッセージ選択部４１から発行されたＭＩＤＩメッセージに基づいてＭＩＤＩ補間情報記憶部４２に記憶されているＭＩＤＩ補間情報を抽出して補間情報を生成するとともに、変更入力部４３から入力された変更データにしたがって当該補間情報を変更する補間情報生成部４４とを備えて構成されている。
【００８１】
ここで、ＭＩＤＩメッセージと補間情報との間において設定されている各種の対応付けについて説明する。
まず、ＭＩＤＩメッセージのProgram Changeメッセージにおいては、プリセットされている音色に対して、予め定められた補間情報を対応付け、この対応関係をＭＩＤＩ補間情報記憶部４２に記憶しておく。
これにより、ＭＩＤＩ選択部４１からプリセットされている音色が選択されると、選択された音色のProgram Changeメッセージが発行され、補間情報生成部４４においては、当該メッセージに対応した補間情報をＭＩＤＩ補間情報記憶部４２から抽出して補間情報を生成する。
【００８２】
次に、ＭＩＤＩメッセージのControl Changeメッセージにおいては、プリセットされている音色の各発音状態（立ち上がり状態、定常状態、開放状態）の割合を決定するパラメータ値およびエンベローブ情報を決定するパラメータ値等に対して、それらのパラメータ値を変更するための変更データを受け付けて変更されるように設定しておく。
これにより、変更入力部４３から、プリセットされている音色の各発音状態（立ち上がり状態、定常状態、開放状態）の割合および当該音色のエンベローブ情報を変更させる変更データが入力されると、プリセットされた音色のControl Changeメッセージが発行され、当該メッセージを受け付けた補間情報生成部４４では、ＭＩＤＩメッセージ選択部４１によって選択された音色の各発音状態の割合およびエンベローブ情報をリアルタイムに変更することができる。
【００８３】
また、ＭＩＤＩメッセージのControl Changeメッセージにおいては、補間情報に含まれる各補間率を記憶しているパラメータに対して、Contorol Change Numberパラメータを対応付けて設定しておく。
これにより、変更入力部４３から、各補間率を変更させる変更データが入力されると、Control Changeメッセージが発行され、ＭＩＤＩメッセージ選択部４１によって選択された音色に対する各補間率をリアルタイムに変更することができる。
【００８４】
次に、ＭＩＤＩメッセージのNote On/Offメッセージにおいては、Note Velocityパラメータに対して、生成される楽音波形のアンプリチュードを対応付けるとともに、Note Keyパラメータに対して、生成される楽音波形のピッチを対応付けて、設定しておく。
これにより、変更入力部４３から、生成される楽音波形のアンプリチュードあるいはピッチの値が入力されると、Note On/Offメッセージが発行され、出力される楽音波形のアンプリチュードあるいはピッチをリアルタイムに変更することができる。
【００８５】
また、ＭＩＤＩメッセージのNote On/Offメッセージにおいて、Note Velocityパラメータに対して、補間させたいアンプリチュードを対応付けるとともに、Note Keyパラメータに対して、補間させたいピッチを対応付けて設定しておき、Note Velocityパラメータに対応付けられたアンプリチュードに基づいて分析データ記憶部１２に記憶されているアンプリチュード区分を検索してフォルマント・シェイプを抽出したり、Note Keyパラメータに対応付けられているピッチに基づいて分析データ記憶部１２に記憶されているピッチ区分を検索してフォルマント・シェイプを抽出したりしてもよい。
これによって、インストゥルメントの楽音に対して、より現実的な楽音を生成することができる。
【００８６】
次に、ＭＩＤＩメッセージのPitch Bendメッセージにおいては、Pitch Bendパラメータに対して、生成された楽音波形のピッチを対応付けて設定しておく。
これにより、変更入力部４３から、生成される楽音波形のピッチの値が入力されると、Pitch Bendメッセージが発行され、出力される楽音信号のピッチをリアルタイムに変更することができる。
【００８７】
［２］第２実施形態
次に、本発明の第２実施形態について説明する。本第２実施形態は、第１実施形態において記載した楽音処理装置をカラオケ装置に適用し、入力されたボーカル音声に対して新たに生成された楽音とのモーフィング処理を行うことが可能なカラオケ装置として構成した場合の例である。
本第２実施形態が第１実施形態と異なる点は、第１実施形態の楽音処理装置においては、外部から入力された発音情報をユーザにより設定された補間情報に基づいて補間することによって楽音を生成していたが、本第２実施形態においては、歌唱者によって入力された音声情報と、補間処理部によって生成された楽音情報とをモーフィング処理することによって新たな楽音信号を生成している点である。
【００８８】
［２．１］楽音処理装置の概要構成
図６に、第２実施形態の楽音処理装置の概要構成ブロック図を示す。
図６において図１の第１実施形態と同様の部分には同一の符号を付し、その詳細な説明を省略する。
楽音処理装置１０は、分析データ記憶部１２と、分析データ抽出部１１と、補間処理部１３と、歌唱者の音声が入力され、歌唱信号を出力する歌唱信号入力部３１と、歌唱信号のＳＭＳ分析を行ってスペクトル・シェイプ（音声正弦波成分に該当）、残差成分（音声残差成分に該当）、ピッチおよびアンプリチュードなどを出力するＳＭＳ分析部３２と、補間処理部１３によって出力された補間スペクトル・シェイプ等とＳＭＳ分析部３２によって出力された歌唱信号のスペクトル・シェイプ等とを外部より入力された合成割合データなどを含むモーフィング情報に基づいてモーフィング処理を行うモーフィング処理部３３と、モーフィング処理によって生成された新たな周波数信号に対して逆高速フーリエ変換（ＩＦＦＴ）およびオーバーラップ処理を行う周波数合成処理部１４と、出力部１６とを備えて構成されている。
【００８９】
［２．２］楽音処理装置の各部の構成
［２．２．１］ＳＭＳ分析部
ＳＭＳ分析部３２は、歌唱信号入力部３１によって入力された歌唱信号に対して窓関数を乗ずることによって得られるフレームを抽出し、次に、抽出したフレームに対して高速フーリエ変換（ＦＦＴ）を行うことによって得られる周波数スペクトルから、正弦波成分と残差成分とを抽出する。
そして、ＳＭＳ分析部３２は、正弦波成分と残差成分とをモーフィング処理部３３に対して出力するとともに、歌唱信号のうち音の名前や長さなど表すデータを発音情報として分析データ抽出部１１に対して出力する。
【００９０】
［２．２．２］モーフィング処理部
モーフィング処理部３３は、補間処理部１３によって出力された補間スペクトル・シェイプおよびＳＭＳ分析部３２によって出力された歌唱信号のスペクトル・シェイプ並びに外部より入力されたモーフィング情報に含まれるスペクトル・シェイプをモーフィングするモーフィング度に基づいてモーフィング処理を行い、モーフィング情報に応じた所望のスペクトル・シェイプ、ピッチおよびアンプリチュードを有する新たな周波数成分を生成する。
ここで、モーフィング情報には、例えば、モーフィング処理の対象となる音のスペクトル・シェイプあるいは残差成分をそれぞれモーフィング処理する際のモーフィング度、および、ピッチあるいはアンプリチュードの各値をモーフィング処理の対象となる音のうちのどちらの値に合わせるか等が含まれる。
【００９１】
また、モーフィング度は、例えば、２つの音に関するモーフィング処理を行う場合において、一方の音のみが出力されるモーフィング度を“０”と設定し、他方の音のみが出力されるモーフィング度を“１”と設定した場合に、当該モーフィング度を“０”から“１”の間で変化させることによって当該２音のうち、どちらの音にどの程度似せるかというモーフィングの度合いを調整する値である。具体的には、例えば、ギターの音色と、ボーカル音声とのモフィング処理を行う場合において、ギターの音色のみが出力されるモーフィング度を“０”と設定し、ボーカル音声のみが出力されるモーフィング度を“１”と設定した場合に、モーフィング度を“０．３”と設定した場合には、ギターの音色とボーカル音声とが“７：３”の割合でモーフィングされ、ボーカル音声よりもギターの音色に似た楽音が出力される。
【００９２】
［２．３］第２実施形態の動作
本第２実施形態の動作は、主要部の動作以外は、第１実施形態と同様であるため、主要部の動作のみを説明する。
まず、歌唱信号入力部３１によって信号入力処理が行われ、歌唱者の歌った音声信号を入力する。
次に、ＳＭＳ分析部３２は、歌唱信号入力部３１を介して入力された音声信号をＳＭＳ分析して、音声信号のスペクトル・シェイプ、ピッチ、アンプリチュード等を抽出する。
分析データ抽出部１１は、ユーザにより設定された３つ以上のインストゥルメントに関する補間情報とＳＭＳ分析部３２によって出力された発音情報とに基づいて分析データ記憶部１２を検索して、分析データを抽出するとともに、抽出した分析データを補間処理部１３に対して出力する。
【００９３】
そして、モーフィング処理部３３では、補間処理部１３によって出力された補間スペクトル・シェイプおよび補間残差成分と、ＳＭＳ分析部３２によって抽出された歌唱信号のスペクトル・シェイプおよび残差成分との間においてモーフィング処理を行う。
ここで、モーフィング処理部３３は、モーフィング処理を行う際に、外部より入力されたモーフィング情報に含まれるモーフィングを行う際の合成割合データなどにしたがってモーフィング処理を行う。
そして、周波数合成処理部１４は、モーフィング処理部３３によって出力された新たな周波数成分に対して逆高速フーリエ変換（ＩＦＦＴ）およびオーバーラップ処理を行う。
【００９４】
［２．４］第２実施形態の効果
上述した実施形態によると、モーフィング処理部３３によって、ボーカル音声信号と、３つ以上のインストゥルメントに対する補間情報信号に基づいて生成された新たな楽音信号とを任意の割合でモーフィングすることができるため、ボーカル音に対して、今までにないような新たな楽音とのモーフィングが可能となり、より新鮮な楽音信号を生成することができる。
【００９５】
［２．５］第２実施形態の変形例
なお、上述した第２実施形態においては、モーフィング処理部３３によってモーフィング処理された楽音信号を出力しているが、図７に示すように、モーフィング処理部３３を備えずに、補間処理部１３によって出力された補間スペクトル・シェイプ等と、ＳＭＳ分析部３２によって抽出された歌唱信号のスペクトル・シェイプ等とを周波数合成処理部１４に対して別々に入力して周波数合成処理を行い、生成された楽音信号および音声信号を出力部１６において混合してから出力してもよい。この場合において、出力部１６は、楽音信号と音声信号とを混合するためのミキサーを備えることとしてもよい。
なお、第２実施形態と同様にモーフィング処理部３３を備え、補間処理部１３によって出力された補間スペクトル・シェイプ等を周波数合成処理部１４によって楽音信号を生成するとともに、当該楽音信号と、モーフィング処理部３３によってモーフィング処理された後、周波数合成処理部１４によって生成された楽音信号とを出力部１６において混合してから出力してもよい。
【００９６】
また、補間処理部１３において、補間スペクトル・シェイプのピッチを、ＳＭＳ分析部３２から入力された発音情報のピッチに対して予め定められた割合により算出されたピッチに変更するようにしてもよい。
さらに、ピッチを変更する前後の補間スペクトル・シェイプを別々に処理をして出力するようにしてもよい。
この変形例によって、補間された楽音信号と歌唱者によって入力された音声信号とによる２つのハーモニーあるいは３つ以上のハーモニーを実現することができる。
【００９７】
［３］変形例
［３．１］第１変形例
なお、上述した各実施形態において、多次元補間情報は、ユーザによって設定されることに限らず、プリセット音色として保持するようにしてもよいし、ユーザが適宜にボイシングして変更できるようにしてもよい。また、コントローラによってリアルタイムに変更することができるようにしてもよい。
【００９８】
［３．２］第２変形例
また、上述した各実施形態においては、３つ以上のインストゥルメントに関する補間情報に限定しているが、従来と同様、２つのインストゥルメントに関する補間情報の場合にも適用が可能である。
【００９９】
【発明の効果】
上述したように本発明によれば、３つ以上のスペクトル・シェイプを補間することが可能となり、より多くの新しい楽音を生成することができる。
また、音色の発音状態に応じてスペクトル・シェイプの補間を行うため、より自然な楽音を生成することができる。
また、新しく生成された楽音と音声とを合成することが可能なため、より新鮮な楽音を生成することができる。
【図面の簡単な説明】
【図１】第１実施形態における楽音処理装置の概要構成を示すブロック図である。
【図２】楽音処理装置における分析データ記憶部のファイル構造を示す図である。
【図３】楽音処理装置において行われるＳＭＳ分析を説明する図である。
【図４】楽音処理装置において行われるスペクトル補間の手法を説明する図である。
【図５】第１実施形態の変形例における楽音処理装置の概要構成を示すブロック図である。
【図６】第２実施形態における楽音処理装置の概要構成を示すブロック図である。
【図７】第２実施形態の変形例における楽音処理装置の概要構成を示すブロック図である。
【図８】楽音処理装置において行われるスペクトル補間の具体例を説明する図である。
【図９】楽音処理装置における分析データ記憶部の具体例を説明する図である。
【符号の説明】
１、１’、１０、１０’……楽音処理装置、１１……分析データ抽出部、１２……分析データ記憶部、１３……補間処理部、１４……周波数合成処理部、１５……エンベローブ処理部、１６……出力部、３１……歌唱信号入力部、３２……ＳＭＳ分析部、３３……モーフィング処理部、４１……ＭＩＤＩ音色選択部、４２……ＭＩＤＩ補間情報記憶部、４３……変更入力部、４４……補間情報生成部
【図１】
0003802293.tif 000008
【図２】
0003802293.tif 000009
【図３】
0003802293.tif 000010
【図４】
0003802293.tif 000011
【図５】
0003802293.tif 000012
【図６】
0003802293.tif 000013
【図７】
0003802293.tif 000014
【図８】
0003802293.tif 000015
【図９】
0003802293.tif 000016