(57)【特許請求の範囲】
【請求項１】
特定の成分音を含む第１の音響信号と、該第１の音響信号と同一音高であって前記特定の成分音を含まない第２の音響信号とから、前記特定の成分音を抽出する音響信号分析方法であって、
前記第１の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、
前記第２の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、
前記第１の音響信号の振幅情報と前記第２の音響信号の位相情報とにより、第３の音響信号波形を生成するステップと、
該第３の音響信号波形と前記第２の音響信号波形とから前記特定の成分音波形の倍音成分を求めるステップと
を有することを特徴とする音響信号分析方法。
【請求項２】
特定の成分音を含む第１の音響信号と、該第１の音響信号と同一音高であって前記特定の成分音を含まない第２の音響信号とから、前記特定の成分音を抽出する音響信号分析方法であって、
前記第１の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、
前記第２の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、
前記第１の音響信号の振幅情報と位相情報および前記第２の音響信号の振幅情報と位相情報から、それぞれ、前記第１の音響信号波形と前記第２の音響信号波形に共通して含まれている倍音成分を抜き出した結果に基づいて、第３の音響信号波形を生成するステップと、
前記第３の音響信号波形と前記第２の音響信号波形とから前記特定の成分音波形の倍音成分を求めるステップと
を有することを特徴とする音響信号分析方法。
【請求項３】
特定の成分音を含む第１の音響信号と、該第１の音響信号と同一音高であって前記特定の成分音を含まない第２の音響信号とから、前記特定の成分音を抽出する音響信号分析方法であって、
前記第１の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得る第１のステップと、
前記第２の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得る第２のステップと、
前記第１の音響信号波形から、前記第１の音響信号波形と前記第２の音響信号波形に共通して含まれている倍音成分を抜き出した結果に基づいて、前記特定の成分音を含む第３の音響信号波形を生成する第３のステップと、
前記第２の音響信号波形から、前記第１の音響信号波形と前記第２の音響信号波形に共通して含まれている倍音成分を抜きだした結果に基づいて、前記特定の成分音を含まない第４の音響信号波形を生成する第４のステップと、
前記第３の音響信号波形のうちの非倍音成分波形の複数の帯域毎の成分を求める第５のステップと、
前記第４の音響信号波形のうちの非倍音成分波形の複数の帯域毎の成分を求める第６のステップと、
前記第５のステップと前記第６のステップにより求められた前記各帯域毎の成分から前記特定の成分音の非倍音成分波形を求めるステップと
を有することを特徴とする音響信号分析方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特定の成分音を含む音響信号と前記特性の成分音を含まない音響信号とから、前記特定の成分音を抽出することのできる音響信号の分析方法に関する。
【０００２】
【従来の技術】
ピアノの音は、主に鍵盤操作（タッチ）でコントロールされるが、ダンパーペダル（サステインペダル）の操作による音色制御（共鳴制御）も演奏表現に重大な影響力を有している。
電子ピアノなどの電子楽器において、このようなピアノの音を再現しようとする場合、ダンパーペダルＯＮ時、ＯＦＦ時それぞれの楽音波形をサンプリングしておき、それらをペダル操作量に応じて重み付け混合（クロスフェード）することが行われている。しかしながら、この方法では、自然な音色変化を得るのが難しいという問題点がある。
そこで、通常押鍵音にダンパーペダル操作量に応じて音量やその変化態様（特に、リリースレート）が制御された共鳴音成分を加える方法が知られている。この方法による電子楽器においては、ノートオンが来るとノーマル音と共鳴音を同時にスタートし、共鳴音の音量、リリースレートをダンパーペダル（サステインペダル）の踏み込み量に応じて制御するようにしている。これによって、パー不良行きの微妙なペダルのコントロールに応じて響き具合を変化させたり、打鍵した後からペダルが踏まれた場合の共鳴効果を再現することができ、より自然な音色変化を得ることができる。
【０００３】
【発明が解決しようとする課題】
そこで、残る問題は、ダンパーペダルをＯＮとしたときの共鳴音成分をピアノのサンプリング音からどうやって抽出するかという点になる。
単純には、ダンパーペダルＯＮ時、ＯＦＦ時それぞれにおけるピアノの楽音をサンプリングし、両者の差をとれば共鳴音成分が抽出されるはずであるが、両者の倍音構造、位相関係の違いなどから、通常押鍵音にこの単純差分による共鳴音成分を加算しても、自然な共鳴感は得られず、本物のピアノらしい、うなり感、にごり感を再現することができないというのが現状である。
【０００４】
そこで、本発明は、共鳴音成分などの特定の成分音を含まない音響信号に加算したときに、不自然さがない前記特定の成分音を抽出することのできる音響信号分析方法を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の音響信号分析方法は、特定の成分音を含む第１の音響信号と、該第１の音響信号と同一音高であって前記特定の成分音を含まない第２の音響信号とから、前記特定の成分音を抽出する音響信号分析方法であって、前記第１の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、前記第２の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、前記第１の音響信号の振幅情報と前記第２の音響信号の位相情報とにより、第３の音響信号波形を生成するステップと、該第３の音響信号波形と前記第２の音響信号波形とから前記特定の成分音波形の倍音成分を求めるステップとを有するものである。
【０００６】
また、本発明の他の音響信号分析方法は、特定の成分音を含む第１の音響信号と、該第１の音響信号と同一音高であって前記特定の成分音を含まない第２の音響信号とから、前記特定の成分音を抽出する音響信号分析方法であって、前記第１の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、前記第２の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得るステップと、前記第１の音響信号の振幅情報と位相情報および前記第２の音響信号の振幅情報と位相情報から、それぞれ、前記第１の音響信号波形と前記第２の音響信号波形に共通して含まれている倍音成分を抜き出した結果に基づいて、第３の音響信号波形を生成するステップと、前記第３の音響信号波形と前記第２の音響信号波形とから前記特定の成分音波形の倍音成分を求めるステップとを有するものである。
【０００７】
さらに、本発明のさらに他の音響信号分析方法は、特定の成分音を含む第１の音響信号と、該第１の音響信号と同一音高であって前記特定の成分音を含まない第２の音響信号とから、前記特定の成分音を抽出する音響信号分析方法であって、前記第１の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得る第１のステップと、前記第２の音響信号波形をスペクトル分析し、その時間軸に対する振幅情報と時間軸に対する位相情報とを得る第２のステップと、前記第１の音響信号波形から、前記第１の音響信号波形と前記第２の音響信号波形に共通して含まれている倍音成分を抜き出した結果に基づいて、前記特定の成分音を含む第３の音響信号波形を生成する第３のステップと、前記第２の音響信号波形から、前記第１の音響信号波形と前記第２の音響信号波形に共通して含まれている倍音成分を抜きだした結果に基づいて、前記特定の成分音を含まない第４の音響信号波形を生成する第４のステップと、前記第３の音響信号波形のうちの非倍音成分波形の複数の帯域毎の成分を求める第５のステップと、前記第４の音響信号波形のうちの非倍音成分波形の複数の帯域毎の成分を求める第６のステップと、前記第５のステップと前記第６のステップにより求められた前記各帯域毎の成分から前記特定の成分音の非倍音成分波形を求めるステップとを有するものである。
【０００８】
【発明の実施の形態】
図１は、本発明の音響信号分析方法が実行される楽音分析合成装置のハードウエア構成の一例を示すブロック図である。
この図において、１はこの楽音分析合成装置全体の制御を行うＣＰＵ、２はＣＰＵ１が実行する各種制御プログラム、楽音分析プログラムおよび楽音合成プログラムなどの各種プログラムを記憶するプログラムメモリ、３は各種制御情報、後述する各種のデータの記憶および一時記憶領域（バッファ）やワークエリアとして使用されるデータメモリ、４は表示装置、５はキーボードおよびポインティングデバイスなどの入力装置、６は鍵盤などの演奏操作子、７は楽音を合成する楽音合成部（シンセサイズユニット）、８は楽音波形サンプルをアナログ信号に変換し、図示しないサウンドシステムに出力するデジタルアナログ変換器（ＤＡＣ）である。また、９は電話回線、インターネット、ＬＡＮなどの通信ネットワーク１１と接続するためのネットワークインターフェース回路、１０はシステムバスである。
なお、図示していないが、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、ＦＤなどの外部記憶媒体の駆動装置を接続してもよいことは当然である。
【０００９】
前記楽音分析プログラムおよび楽音合成プログラムは、いわゆる分析・再合成（Ａｎａｌｙｓｉｓ  ＆  Ｒｅｓｙｎｔｈｅｓｉｓ）方式の楽音合成を行なうものである。すなわち、楽音波形をスペクトル解析してその楽音に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分を抽出する。具体的には、分析対象となる音響信号波形サンプルに時間窓を掛けてフーリエ分析を行ない、振幅、位相、周波数のデータを得（短時間フーリエ分析（ＳＴＦ：Ｓｈｏｒｔ  Ｔｉｍｅ  Ｆｏｕｒｉｅｒ  ａｎａｌｙｓｉｓ））、該フーリエ分析出力の振幅データからピークを成す全ての周波数位置を検出する処理を、前記時間窓を移動しながら行い、各フレームにおけるピークのうち軌跡をなすものを追跡する（以下、特に断りがない限り、この対象音の短時間フーリエ分析からピーク追跡に至る処理をここではＳＴＦ分析処理と呼ぶことにする）。そして、このようにして得られた軌跡のうち、所望のデータを選択し、それらを正弦波合成することにより、元の楽音波形のうちの決定論的（確定的）成分（Ｄｅｔｅｒｍｉｎｉｓｔｉｃ成分）波形を合成する。そして、前記元の楽音波形から、このＤｅｔｅｒｍｉｎｉｓｔｉｃ成分波形を減算することにより、残余（確率的、非決定論的）成分（Ｒｅｓｉｄｕａｌ成分）波形を得る。
合成時には、前記軌跡のデータをモディファイして再合成することにより、Ｄｅｔｅｒｍｉｎｉｓｔｉｃ波形をモディファイし、前記Ｒｅｓｉｄｕａｌ波形については、イコライザなどによる信号処理によりモディファイして、両者を加算することにより所望の波形を得ることができる。
【００１０】
次に、本発明の音響信号分析方法について、図２〜５のフローチャートを参照して説明する。
本発明の音響信号分析方法は、共鳴音などの特定の成分音を、該特定の成分音を含む音響信号波形データと含まない音響信号波形データから算出するものであり、その概要は、まず、前記特定の成分音を含む音響信号波形データと含まない音響信号波形データの両者を前述した短時間フーリエ分析によりＤｅｔｅｒｍｉｎｉｓｔｉｃ成分とＲｅｓｉｄｕａｌ成分とに分離し、Ｄｅｔｅｒｍｉｎｉｓｔｉｃ成分については、特定の成分音を含む波形の位相を特定の成分音を含まない波形の位相に揃えて引き算し、Ｒｅｓｉｄｕａｌ成分については、両者のＲｅｓｉｄｕａｌ成分を帯域フィルタ群により帯域分割し、各帯域のエンベロープの差を使って引き算し、前記Ｄｅｔｅｒｍｉｎｉｓｔｉｃ成分の引き算結果と前記Ｒｅｓｉｄｕａｌ成分の引き算結果を加算することにより、前記特定の成分音のみの音響信号波形を生成するものである。
【００１１】
以下、特定の成分音としてピアノのダンパーペダルをオンとしたときの共鳴音成分を含む楽音波形サンプルデータ（Ｐ＿ｋｃ＿ｔ＿Ｄ．ｗａｖｅ）とそのような共鳴音成分を含まない通常押鍵時の楽音波形サンプルデータ（Ｐ＿ＫＣ＿ｔ＿ＮＤ．ｗａｖｅ）を入力として、前記ダンパーペダルをオンとしたときの共鳴音成分波形を抽出する場合を例にとって説明する。ここで、前記データの名称中の、Ｐは楽器名（ピアノ）を示し、ｋｃはキーコード（音高）、ｔはタッチ、Ｄはダンパーペダルがオンであること、ＮＤはダンパーペダルがオフであることを示している。
図６は、このような入力データの一例を示す図であり、（ａ）はダンパーペダルをオンとしたときのピアノのＧ３音（Ｐ＿３Ｇ＿ｔ＿Ｄ．ｗａｖｅ）、（ｂ）はダンパーペダルが踏み込まれていないときのピアノのＧ３音（Ｐ＿３Ｇ＿ｔ＿ＮＤ．ｗａｖｅ）を示している。
【００１２】
図２のステップＳ１において、まず、前記両入力データの波形の頭出し処理、すなわち、両入力波形データの時間軸を合わせる処理を行ない、両入力データの不要区間を除いた波形データを生成する。この処理は、例えば、入力データのうちの一方を基準とし、両者の相関が最大となるように、他方の波形データのタイミングを調節することにより行われる。ここでは、共鳴音成分を含まない波形データ（Ｐ＿ＫＣ＿ｔ＿ＮＤ．ｗａｖｅ）を基準に共鳴音成分を含む波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ．ｗａｖｅ）のタイミングを調節するものとする。したがって、このステップＳ１の時間軸合せ＆波形切り出し処理の結果、頭出しされた共鳴音成分を含む波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｗａｖｅ）が生成される。
【００１３】
次に、ステップＳ２において、前記頭出しされた共鳴音成分を含む波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｗａｖｅ）と前記共鳴音成分を含まない波形データ（Ｐ＿ＫＣ＿ｔ＿ＮＤ．ｗａｖｅ）それぞれについて、先に述べた短時間フーリエ分析に基づくＳＴＦ分析処理が実行される。これにより、前述のように、前記共鳴音成分を含む波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｗａｖｅ）をＳＴＦ分析したデータ（ＳＴＦデータ）（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｓｔｆ）が生成され、その軌跡をなすデータからＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｄｅｔ）が合成され、さらに、元の波形データから前記Ｄｅｔｅｒｍｉｎｉｓｔｉｃ波形データを減算することによりＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｒｅｓ）が生成される。
また、同様に、前記共鳴音成分を含まない波形データ（Ｐ＿ＫＣ＿ｔ＿ＮＤ．ｗａｖｅ）から、ＳＴＦデータ（Ｐ＿ＫＣ＿ｔ＿ＮＤ．ｓｔｆ）、Ｄｅｔｅｒｍｉｎｉｓｔｉｃ波形データ（Ｐ＿ＫＣ＿ｔ＿ＮＤ．ｄｅｔ）、および、Ｒｅｓｉｄｕａｌ波形データ（Ｐ＿ＫＣ＿ｔ＿ＮＤ．ｒｅｓ）が生成される。
【００１４】
図７の（ａ）は前記図６の（ｂ）に示した共鳴音成分を含まない楽音波形（Ｐ＿３Ｇ＿ｔ＿ＮＤ．ｗａｖｅ）のＳＴＦデータ（Ｐ＿３Ｇ＿ｔ＿ＮＤ．ｓｔｆ）を示し、図７の（ｂ）は、前記図６の（ａ）に示した共鳴音成分を含む楽音波形（Ｐ＿３Ｇ＿ｔ＿Ｄ．ｗａｖｅ）を頭出しした楽音波形のＳＴＦデータ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｓｔｆ）を示している。この図７の（ａ）および（ｂ）に示すように、ＳＴＦ分析処理により、各倍音成分ごとに、その振幅情報（すなわち、エンベロープの時間変化）およびその位相情報（すなわち、ピッチの時間変動）を求めることができる。
【００１５】
次に、このように生成された各データにもとづいて、共鳴音成分のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形およびＲｅｓｉｄｕａｌ波形の抽出が行われる。
まず、共鳴音成分のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形の抽出処理が行われる。共鳴音成分のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形を抽出するためには、共鳴音成分を含む波形データのＤｅｔｅｒｍｉｎｉｓｔｉｃ波形から共鳴音成分を含まない波形データのＤｅｔｅｒｍｉｎｉｓｔｉｃ波形を減算すればよいのであるが、前記図７の（ａ）および（ｂ）に示すように、両波形の倍音成分は必ずしも一致していない。すなわち、図７の（ａ）に示した共鳴音成分を含まない波形においては、第１３倍音成分が含まれていないのに対し、図７の（ｂ）に示した共鳴音成分を含む波形においては、第１４倍音成分が含まれていない。したがって、両波形のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形成分同士の減算を行なうためには、両者に含まれている倍音成分を一致させることが必要となる。
【００１６】
そこで、図３のステップＳ３において、前記各ＳＴＦデータ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｓｔｆおよびＰ＿ｋｃ＿ｔ＿ＮＤ．ｓｔｆ）からそれらに共通に含まれている倍音成分のみを抜き出して新たなＳＴＦデータ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ＿ＣＯＭ．ｓｔｆおよびＰ＿ｋｃ＿ｔ＿ＮＤ＿ＣＯＭ．ｓｔｆ）を作成する。このとき、Ｄｅｔｅｒｍｉｎｉｓｔｉｃ波形データＰ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｄｅｔ２およびＰ＿ｋｃ＿ｔ＿ＮＤ＿．ｄｅｔ２、ならびに、Ｒｅｓｉｄｕａｌ波形データＰ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｒｅｓ２およびＰ＿ｋｃ＿ｔ＿ＮＤ．ｒｅｓ２も作り直される。すなわち、Ｄｅｔｅｒｍｉｎｉｓｔｉｃ波形データは、それぞれ第１２倍音までのデータを含むものとなり、残された倍音成分（第１３倍音成分あるいは第１４倍音成分）は、それぞれ、Ｒｅｓｉｄｕａｌ波形に移行される。具体的には、それぞれ、前記共通の倍音成分を有する新たなＳＴＦデータに基づいて、それぞれ、新たなＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データを合成する。そして、この再合成された波形データをそれぞれの元波形データから減算してそれぞれ対応する新たなＲｅｓｉｄｕａｌ波形データを求める。
【００１７】
前記図７に示した例においては、各ＳＴＦデータから第１２倍音までを含む新たなＳＴＦデータ（Ｐ＿３Ｇ＿ｔ＿Ｄ＿ＡＳＹＮＣ＿ＣＯＭ．ｓｔｆおよびＰ＿３Ｇ＿ｔ＿ＮＤ＿ＣＯＭ．ｓｔｆ）、Ｄｅｔｅｒｍｉｎｉｓｔｉｃ波形データ（Ｐ＿３Ｇ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｄｅｔ２およびＰ＿３Ｇ＿ｔ＿ＮＤ．ｄｅｔ２）、および、Ｒｅｓｉｄｕａｌ波形データ（Ｐ＿３Ｇ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｒｅｓ２およびＰ＿３Ｇ＿ｔ＿ＮＤ．ｒｅｓ２）を生成する。このとき、新たなＳＴＦデータに含まれなかった第１３倍音あるいは第１４倍音のＤｅｔｅｒｍｉｎｉｓｔｉｃ成分は、それぞれＲｅｓｉｄｕａｌ成分の中に移行されることとなる。図８の（ａ）および（ｂ）は、このようにして生成された新たなＳＴＦデータ（Ｐ＿３Ｇ＿ｔ＿Ｄ＿ＡＳＹＮＣ＿ＣＯＭ．ｓｔｆおよびＰ＿３Ｇ＿ｔ＿ＮＤ＿ＣＯＭ．ｓｔｆ）を示している。この図８の（ａ）と（ｂ）とを比較すると明らかなように、新たに生成されたＳＴＦデータは、ともに第１２倍音までのデータとなっている。
【００１８】
このように共通の倍音成分のみを含む新たなＳＴＦデータを生成した後、ステップＳ４（図３）に進み、共鳴音を含む楽音の振幅情報と共鳴音を含まない楽音の位相情報を持つ波形データを生成する。すなわち、前記Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＣＯＭ．ｓｔｆの振幅情報と前記Ｐ＿ｋｃ＿ｔ＿ＮＤ＿ＣＯＭ．ｓｔｆの位相情報（周波数情報）を用いて、再合成を行ない、共鳴音を含む波形データＰ＿ｋｃ＿Ｔ＿Ｄ．ｄｅｔ＃を生成する。この処理により、得られた共鳴音を含む波形データＰ＿ｋｃ＿Ｔ＿Ｄ．ｄｅｔ＃から前記作り直した共鳴音を含まないＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ＿．ｄｅｔ２）を減算して得られる波形データは、位相を揃えて減算しているため、前記元の共鳴音を含む波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｄｅｔ２）から前記作り直した共鳴音を含まないＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ＿．ｄｅｔ２）を減算して得られたデータと比較して、振幅の差のみを含むものとなっている。
【００１９】
このようにして求めた波形データは、これを前記共鳴音を含まないＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ＿．ｄｅｔ２）に加算することにより、前記共鳴音を含む波形データＰ＿ｋｃ＿Ｔ＿Ｄ．ｄｅｔ＃となるのであるから、この波形をそのまま共鳴音のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形として使用することもできる。しかしながら、この場合には、この波形を前記元の共鳴音を含まない波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ．ｄｅｔ２）に加算したときに、元の音のアタック部にも波形データが加算されてしまうこととなるので、アタック部分でフェードインするように変更する。図３のステップＳ５において、このアタック部に含まれる成分音の処理が行われる。
【００２０】
図５は、このアタック部に含まれる成分音の処理の内容を示すフローチャートである。図５のステップＳ１１において、まず、前記共鳴音を含まないＲｅｓｉｄｕａｌ波形（Ｐ＿ｋｃ＿ｔ＿ＮＤ．ｒｅｓ２）を調べる。図９は、この例における共鳴音を含まないＲｅｓｉｄｕａｌ波形データＰ＿３Ｇ＿ｔ＿ＮＤ．ｒｅｓ２を示す図である。この例では、図９に示すように、立上がりから約２００ｍｓの期間には、鍵盤を押したときに鍵盤下部が鍵盤を保持する棚板に当たり発生する震動音（棚板音）が含まれていることがわかる。周知のように、ピアノでは、概略、押鍵操作開始→棚板音（下死点到達）→共鳴音（上死点到達）→ハンマー打撃（弦震動音）というシーケンスとなる。したがって、この棚板音の部分については、共鳴音を含まないようにして、元の音を保持するようにしている。
【００２１】
このステップＳ１１において、アタック部分のチェックをした結果、棚板音などの重畳成分音が含まれていないときには、ステップＳ１２の判断結果がＮＯとなり、ステップＳ１４に進む。
一方、前記図９に示した例のように、重畳成分音が含まれているときには、ステップＳ１３に進み、その重畳成分音（棚板音）の含まれている区間時間Ｔｎを計測する。図９に示した例では、この区間時間Ｔｎは２００ｍｓとなる。
そして、ステップＳ１４に進み、前記区間時間Ｔｎ経過後の時刻から所定時間区間Ｔｘ（例えば、１００ｍｓ）で、前記Ｐ＿ｋｃ＿ｔ＿ＮＤ＿ＣＯＭ．ｓｔｆと前記Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＣＯＭ．ｓｔｆとをクロスフェード処理して、新たなＳＴＦデータＰ＿ｋｃ＿ｔ＿ＸＦ．ｓｔｆ２を生成する。図示した例では、アタックの開始時点からＴｎ（２００ｍｓ）までは、前記共鳴音を含まないＳＴＦデータＰ＿ｋｃ＿ｔ＿ＮＤ＿ＣＯＭ．ｓｔｆとし、ＴｎからＴｘの時間、すなわち、２００ｍｓから３００ｍｓまでの時間で、前記共鳴音を含まないＳＴＦデータＰ＿３Ｇ＿ｔ＿ＮＤ＿ＣＯＭ．ｓｔｆから前記共鳴音を含むＳＴＦデータＰ＿３Ｇ＿ｔ＿Ｄ＿ＣＯＭ．ｓｔｆにフェードインを行ない、３００ｍｓ以降の区間では共鳴音を含むＳＴＦデータＰ＿３Ｇ＿ｔ＿Ｄ＿ＣＯＭ．ｓｔｆとなるような、新たなＳＴＦデータＰ＿３Ｇ＿ｔ＿ＸＦ．ｓｔｆ２を生成する。
【００２２】
このようにして、このステップＳ５（図３）において、棚板音の区間は共鳴音を含まず、その後共鳴音を含む楽音のＳＴＦデータＰ＿３Ｇ＿ｔ＿ＸＦ．ｓｔｆ２が生成される。
そして、ステップＳ６に進み、共鳴音のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データＰ＿ｋｃ＿ｔ＿ＤＭＰ．ｄｅｔを生成する。この処理は、前記ステップＳ５において生成したＳＴＦデータＰ＿３Ｇ＿ｔ＿ＸＦ．ｓｔｆ２からＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データを再合成し、この再合成したＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データを前記共鳴音を含まないＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データＰ＿ｋｃ＿ｔ＿ＮＤ．ｄｅｔ２から減算することにより、共鳴音の倍音成分Ｄｅｔｅｒｍｉｎｉｓｔｉｃ波形データＰ＿ｋｃ＿ｔ＿ＤＭＰ．ｄｅｔを生成する処理である。
図１０は、このようにして生成されたピアノのＧ３音のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データＰ＿３Ｇ＿ｔ＿ＤＭＰ．ｄｅｔを示している。
以上により、共鳴音成分のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データを得ることができた。
【００２３】
次に、共鳴音成分のＲｅｓｉｄｕａｌ波形データの抽出について説明する。
共鳴音（全弦開放状態での響き）は、多数の異なる音高の弦の微妙な振動の重なりや干渉に基づくものであり、共鳴音を含む楽音のＲｅｓｉｄｕａｌ波形と共鳴音を含まない楽音のＲｅｓｉｄｕａｌ波形の差を単純にとるだけでは、自然な共鳴感のある楽音を得ることができない。そこで、本発明においては、次に説明するように、帯域分割を行ない、Ｒｅｓｉｄｕａｌ波形データを抽出するようにしている。
Ｒｅｓｉｄｕａｌ波形データを抽出するために、本発明では、共鳴音を含む楽音のＲｅｓｉｄｕａｌ波形データと共鳴音を含まない楽音のＲｅｓｉｄｕａｌ波形データそれぞれについて帯域フィルタ群（帯域フィルタバンク）を用いて各帯域毎のエンベロープを求め、該エンベロープ同士の引き算を行ない、その結果を前記共鳴音を含む楽音のＲｅｓｉｄｕａｌ波形に乗算するという処理を行なう。
【００２４】
図４のステップＳ７において、前記共鳴音を含む楽音のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｒｅｓ２）と前記共鳴音を含まない楽音のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ．ｒｅｓ２）それぞれを帯域分割し、各帯域毎のＲｅｓｉｄｕａｌ成分波形データを求め、該各帯域毎のＲｅｓｉｄｕａｌ成分波形データからそれぞれ振幅エンベロープを生成する。
図１１は、この帯域分割に用いられる帯域フィルタバンクの特性の一例を示す図であり、ここでは、この図１１に示すような、対数間隔で設定された周波数間隔を有する中心周波数の異なる複数個のバンドパスフィルタからなる帯域フィルタバンクを用いて、（ａ）〜（ｅ）に５つの帯域に分割するものとして説明する。なお、分割帯域数は、これに限らず、任意の数とすることができる。
【００２５】
前記共鳴音を含む楽音のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｒｅｓ２）を帯域フィルタバンクに通すことにより、各帯域毎のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ１．ｒｅｓ、…、Ｐ＿ｋｃ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂｎ．ｒｅｓ）が得られる。そして、該得られた各帯域毎のＲｅｓｉｄｕａｌ波形データから、それぞれ、その振幅エンベロープ（Ｐ＿ｋｃ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ１．ｅｎｖ、…、Ｐ＿ｋｃ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂｎ．ｅｎｖ）を算出する。
また、前記共鳴音を含まない楽音のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ．ｒｅｓ２）を前記帯域フィルタバンクに通すことにより、各帯域毎のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ１．ｒｅｓ、…、Ｐ＿ｋｃ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂｎ．ｒｅｓ）を求める。そして、該各帯域毎のＲｅｓｉｄｕａｌ波形データから、それぞれの振幅エンベロープ（Ｐ＿ｋｃ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ１．ｅｎｖ、…、Ｐ＿ｋｃ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂｎ．ｅｎｖ）を算出する。
【００２６】
図１２の（ａ）〜（ｅ）は、共鳴音を含む前記Ｐ＿３Ｇ＿ｔ＿Ｄ＿ＡＳＹＮＣ．ｒｅｓ２を前記図１１に示した帯域フィルタバンクに入力したときの各帯域毎の波形データ、Ｐ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ１．ｒｅｓ〜Ｐ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ５．ｒｅｓを示している。
また、図１３の（ａ）〜（ｅ）は、前記図１２に示した各帯域毎のＲｅｓｉｄｕａｌ波形データの振幅エンベロープＰ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ１．ｅｎｖ〜Ｐ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ５．ｅｎｖを示している。なお、この振幅エンベロープは、それぞれ、その最大値を１００とするように正規化して示している。
さらに、図１４の（ａ）〜（ｅ）は、共鳴音を含まない前記Ｐ＿３Ｇ＿ｔ＿ＮＤ．ｒｅｓ２を前記図１１に示した帯域フィルタバンクに入力したときの各帯域毎のＲｅｓｉｄｕａｌ波形データＰ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ１．ｒｅｓ〜Ｐ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ５．ｒｅｓを示しており、図１５の（ａ）〜（ｅ）は、該各帯域毎のＲｅｓｉｄｕａｌ波形データＰ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ１．ｒｅｓ〜Ｐ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ５．ｒｅｓからそれぞれ算出した各帯域毎の振幅エンベロープＰ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ１．ｅｎｖ〜Ｐ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ５．ｅｎｖを示している。
【００２７】
このようにして求めた共鳴音を含む楽音の各帯域毎のＲｅｓｉｄｕａｌ波形の振幅エンベロープ（図１３）をターゲットとし、共鳴音を含まない楽音の各帯域毎の振幅エンベロープ（図１５）をリファレンスとして、同じ帯域同士の減算をすればよいのであるが、このまま減算を行なった結果を用いると、この結果（ターゲット）−（リファレンス）をリファレンスに加算したときに、リファレンスのアタック部を劣化させてしまう可能性がある。また、響きの楽音の引き算を行なうという意味からも、ここでは、アタック部については引き算は行なわず、そのまま保存することとしている。そのため、各エンベロープの立上がりをマスクしたのち、引き算を行なうようにしている。
【００２８】
図４のステップＳ８は、このマスク処理を行なうものであり、各エンベロープＰ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ１．ｅｎｖ〜Ｐ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ５．ｅｎｖ、Ｐ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ１．ｅｎｖ〜Ｐ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ５．ｅｎｖそれぞれについて、時刻０〜最大レベル到達時間までの区間（アタック区間）のエンベロープを最大値（１００）に変更する処理を行なう。
図１６は、このステップＳ８によりマスク処理が行われた共鳴音を含むＲｅｓｉｄｕａｌ波形（ターゲット）の各帯域毎の振幅エンベロープ（Ｐ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ１．ｅｎｖ＃〜Ｐ＿３Ｇ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂ５．ｅｎｖ＃）を示す図であり、図１７は、同じくマスク処理が行われた共鳴音を含まないＲｅｓｉｄｕａｌ波形（リファレンス）の各帯域毎の振幅エンベロープＰ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ１．ｅｎｖ＃〜Ｐ＿３Ｇ＿ｔ＿ＮＤ＿ｒｅｓ２＿Ｂ５．ｅｎｖ＃を示す図である。
【００２９】
次に、ステップＳ９に進み、前記ステップＳ８においてマスク処理された各帯域毎の振幅エンベロープから各帯域毎の共鳴音のエンベロープ（Ｐ＿ｋｃ＿ｔ＿ＲＳ＿Ｂ１．ｅｎｖ〜Ｐ＿ｋｃ＿ｔ＿ＲＳ＿Ｂ５．ｅｎｖ）を算出する。この計算は、次の式（１）に基づいて実行される。
【数１】
0003546779.tif 000002
この式（１）により得られるエンベロープＰ＿ｋｃ＿ｔ＿ＲＳ＿Ｂ１．ｅｎｖ〜Ｐ＿ｋｃ＿ｔ＿ＲＳ＿Ｂ５．ｅｎｖは、各帯域における共鳴音の差によるエンベロープであると考えられる。
【００３０】
次に、ステップＳ１０に進み、前記ステップＳ９において算出した各帯域毎の共鳴音のエンベロープを対応する各帯域毎のターゲットの波形データ、すなわち、共鳴音を含む楽音の波形データＰ＿ｋｃ＿ｔ＿Ｄ＿ｒｅｓ２＿Ｂｘ．ｒｅｓ  （ｘ＝１，２，．．．，ｎ）と乗算して、各帯域毎の差の波形データＰ＿ｋｃ＿ｔ＿ＲＳ＿Ｂｘ．ｗａｖｅ（ｘ＝１，２，．．．，ｎ）を求める。
【数２】
0003546779.tif 000003
図１８の（ａ）〜（ｅ）は、このようにして算出した、前述した例における各帯域毎の共鳴音成分のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿ＲＳ＿Ｂ１．ｗａｖｅ〜Ｐ＿ｋｃ＿ｔ＿ＲＳ＿Ｂ５．ｗａｖｅ）を示している。
【００３１】
そして、このようにして算出した各帯域毎の共鳴音成分のＲｅｓｉｄｕａｌ波形データを加算した後、係数Ｐｓｒを乗算して、共鳴音成分のＲｅｓｉｄｕａｌ波形データ（Ｐ＿ｋｃ＿ｔ＿ＤＭＰ．ｒｅｓ）を算出する。
すなわち、
【数３】
0003546779.tif 000004
ここで、係数Ｐｒｓは、共鳴音を含む楽音のＲｅｓｉｄｕａｌ波形（ターゲット）と共鳴音を含まない楽音のＲｅｓｉｄｕａｌ波形（リファレンス）の差のパワーと、これまでのステップで算出した共鳴音のＲｅｓｉｄｕａｌ波形のパワーとを一致させるために乗ぜられる係数である。
図１９は、このようにして算出されたピアノのＧ３音の共鳴音成分のＲｅｓｉｄｕａｌ波形データ（Ｐ＿３Ｇ＿ｔ＿ＤＭＰ．ｒｅｓ）を示す図である。
【００３２】
このようにして、共鳴音成分のＲｅｓｉｄｕａｌ波形データを得ることができた。
次に、前記ステップＳ６で求めた共鳴音成分のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データ（図１０）と前記共鳴音成分のＲｅｓｉｄｕａｌ波形データ（図１９）とを加算して、共鳴音成分Ｐ＿ｋｃ＿ｔ＿ＤＭＰ．ｗａｖｅを算出する。
すなわち、
【数４】
0003546779.tif 000005
図２０は、このようにして算出したピアノのＧ３音の共鳴音成分（Ｐ＿Ｇ３＿ｔ＿ＤＭＰ．ｗａｖｅ）を示す図である。
このようにして、共鳴音成分を抽出することができた。
【００３３】
図２１は、このようにして抽出した共鳴音成分を楽音生成に使用する場合の例を示す概念図である。
この図において、２１は前述した共鳴音成分を含まない楽音波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ．ｗａｖｅ）、２２は前述のようにして抽出した共鳴音成分の波形データ（Ｐ＿ｋｃ＿ｔ＿ＤＭＰ．ｗａｖｅ）、２３は利得調節器であり、図示するように、ダンパーペダルの踏み込み量によりゲインが制御されるようになされている。また、２４は前記共鳴音成分を含まない楽音波形データ（Ｐ＿ｋｃ＿ｔ＿ＮＤ．ｗａｖｅ）２１と前記共鳴音成分の波形データ（Ｐ＿ｋｃ＿ｔ＿ＤＭＰ．ｗａｖｅ）とを加算して出力する加算器である。このように、ダンパーペダルの踏み込み量に応じた重みを付けられた共鳴音成分を共鳴音成分を含まない楽音波形に加算することにより、自然な共鳴音を有する楽音波形を生成することができる。特に、微妙なペダルのコントロールに応じて音の響き具合を変化させたり、打鍵した後からペダルが踏まれた場合の共鳴効果を再現することが可能となる。
【００３４】
なお、以上においては、特定の成分音として、共鳴音成分、特に、ダンパーペダルを操作したときの共鳴音成分を例にとって説明したが、本発明の楽音分析方法は、これに限られることはなく、タッチの異なる楽音、例えば、ｆｆ（フォルテッシモ）とｍｆ（メゾフォルテ）の楽音とを分析対象として、ｆｆ−ｍｆの楽音波形を作成して、タッチの違いによる成分音を抽出するようにするなど、各種の場合に適用することができる。
また、楽音に限らず、２つあるいは複数の音響信号を対象として、一方には含まれず、他方には含まれているような特定の成分音を抽出する場合に同様に適用することができる。
さらに、上述においては、楽音分析合成装置において実行するものとして説明したが、本発明の音響信号分析方法は、汎用のコンピュータ上のソフトウエアとして実現することもでき、あるいは、専用のハードウエア構成として実現することも可能である。
【００３５】
【発明の効果】
以上説明したように、本発明の音響信号分析方法によれば、特定の成分音を含む音響信号と特定の成分音を含まない音響信号とから、前記特定の成分音を含まない音響信号と加算しても不自然さの無い特定の成分音を抽出することが可能となる。
【図面の簡単な説明】
【図１】本発明の音響信号分析方法が適用される装置の構成例を示すブロック図である。
【図２】本発明の音響信号分析方法を説明するためのフローチャートその１である。
【図３】本発明の音響信号分析方法を説明するためのフローチャートその２である。
【図４】本発明の音響信号分析方法を説明するためのフローチャートその３である。
【図５】アタック部に含まれる成分音の処理を説明するための図である。
【図６】処理対象となる楽音波形の例を示す図であり、（ａ）は共鳴音成分を含む楽音波形、（ｂ）は共鳴音成分を含まない楽音波形である。
【図７】処理対象となる楽音波形の短時間フーリエ分析結果を示す図であり、（ａ）は共鳴音成分を含まない楽音波形の分析結果、（ｂ）は共鳴音成分を含む楽音波形の分析結果である。
【図８】図７の結果から、共通の倍音成分を抜きだした結果を示す図であり、（ａ）は共鳴音成分を含まない楽音、（ｂ）は共鳴音成分を含む楽音である。
【図９】共鳴音を含まないＲｅｓｉｄｕａｌ波形データを示す図である。
【図１０】共鳴音成分のＤｅｔｅｒｍｉｎｉｓｔｉｃ波形データを示す図である。
【図１１】帯域フィルタバンクの特性の例を示す図である。
【図１２】共鳴音成分を含む楽音のＲｅｓｉｄｕａｌ成分を帯域フィルタバンクに通したときの各帯域の出力波形を示す図である。
【図１３】図１２の出力の振幅エンベロープを示す図である。
【図１４】共鳴音成分を含まない楽音のＲｅｓｉｄｕａｌ成分を帯域フィルタバンクに通したときの各帯域の出力波形を示す図である。
【図１５】図１４の出力波形の振幅エンベロープを示す図である。
【図１６】図１３の振幅エンベロープにマスク処理を施した結果を示す図である。
【図１７】図１５の振幅エンベロープのマスク処理を施した結果を示す図である。
【図１８】共鳴音成分のＲｅｓｉｄｕａｌ波形の各帯域毎の成分を示す図である。
【図１９】算出された共鳴音成分のＲｅｓｉｄｕａｌ波形を示す図である。
【図２０】抽出された共鳴音成分の波形を示す図である。
【図２１】本発明の音響信号分析方法により抽出された共鳴音成分を使用するときの概念図である。
【符号の説明】
１  ＣＰＵ、２  プログラムメモリ、３  データメモリ、４  表示装置、５  入力装置、６  演奏操作子、７  楽音合成部、８  ＤＡＣ、９  ネットワークインターフェース、１０  システムバス、１１  通信ネットワーク
【図１】
0003546779.tif 000006
【図２】
0003546779.tif 000007
【図３】
0003546779.tif 000008
【図４】
0003546779.tif 000009
【図５】
0003546779.tif 000010
【図６】
0003546779.tif 000011
【図７】
0003546779.tif 000012
【図８】
0003546779.tif 000013
【図９】
0003546779.tif 000014
【図１０】
0003546779.tif 000015
【図１１】
0003546779.tif 000016
【図１２】
0003546779.tif 000017
【図１３】
0003546779.tif 000018
【図１４】
0003546779.tif 000019
【図１５】
0003546779.tif 000020
【図１６】
0003546779.tif 000021
【図１７】
0003546779.tif 000022
【図１８】
0003546779.tif 000023
【図１９】
0003546779.tif 000024
【図２０】
0003546779.tif 000025
【図２１】
0003546779.tif 000026