(57)【特許請求の範囲】
【請求項１】
複数の音源から発せられる音を取得して、それぞれの音源を識別する装置であって、
各音源について、その特徴を表現した登録特徴データと、各音源を特定する識別情報が対応付けて登録された音源データベースと、
前記複数の音源から発せられる音を録音してデジタルの音響信号として取得する音響信号取得手段と、
前記音響信号に対して周波数解析を行い、時間的に平均化したスペクトルである検索側平均スペクトルに基づいて検索特徴データを生成する特徴データ生成手段と、
前記生成された検索特徴データと前記音源データベースに登録されている登録特徴データの各々と相関計算を行い、得られた相関値の中で、最大の相関値をもち、かつ当該相関値が所定のしきい値以上を満たす登録特徴データに対応する音源を前記識別情報により特定する音源データベース検索手段と、
前記音源データベース検索手段により特定された音源に対応する登録特徴データを用いて、前記検索特徴データを補正し、補正特徴データを生成する特徴データ補正手段と、を有し、
前記音源データベース検索手段は、前記生成された補正特徴データと、既に特定された音源を除外した前記音源データベースに登録されている登録特徴データを用いて、前記音源を特定する処理を実行し、
前記特徴データ補正手段は、前記音源データベース検索手段により特定された音源に対応付けて前記音源データベースに登録されている前記登録特徴データを用いて、前記登録特徴データを作成する基になる時間的に平均化したスペクトルである登録側平均スペクトルを作成し、作成された登録側平均スペクトルのうち最大の成分を与える周波数番号について、検索側平均スペクトルの対応する値を登録側平均スペクトルのうち最大の成分で除算し、その値を、前記最大の成分を与える周波数番号を含む各周波数番号に対して、前記特定された音源に対応する登録側平均スペクトルに乗じたものを前記検索側平均スペクトルから減じることにより、各周波数番号に対応する前記検索側平均スペクトルを補正するものであり、
前記音源データベース検索手段、前記特徴データ補正手段は、所定の条件を満たすまで、繰り返し処理を実行することを特徴とする複数音源の識別装置。
【請求項２】
複数の音源から発せられる音を取得して、それぞれの音源を識別する装置であって、
各音源について、その特徴を表現した登録特徴データと、各音源を特定する識別情報が対応付けて登録された音源データベースと、
前記複数の音源から発せられる音を録音してデジタルの音響信号として取得する音響信号取得手段と、
前記音響信号に対して周波数解析を行い、時間的に平均化したスペクトルである検索側平均スペクトルの各周波数成分に、それぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した値に基づいて検索特徴データを生成する特徴データ生成手段と、
前記生成された検索特徴データと前記音源データベースに登録されている登録特徴データの各々と相関計算を行い、得られた相関値の中で、最大の相関値をもち、かつ当該相関値が所定のしきい値以上を満たす登録特徴データに対応する音源を前記識別情報により特定する音源データベース検索手段と、
前記音源データベース検索手段により特定された音源に対応する登録特徴データを用いて、前記検索特徴データを補正し、補正特徴データを生成する特徴データ補正手段と、を有し、
前記音源データベース検索手段は、前記生成された補正特徴データと、既に特定された音源を除外した前記音源データベースに登録されている登録特徴データを用いて、前記音源を特定する処理を実行し、
前記音源データベース検索手段、前記特徴データ補正手段は、所定の条件を満たすまで、繰り返し処理を実行することを特徴とする複数音源の識別装置。
【請求項３】
請求項２において、
前記特徴データ補正手段は、前記音源データベース検索手段により特定された音源に対応する登録特徴データと、前記検索特徴データの相関値を求め、当該相関値を前記特定された登録特徴データに乗じたものを前記検索特徴データから減じることにより前記補正特徴データを生成するものであることを特徴とする複数音源の識別装置。
【請求項４】
請求項１において、
前記特徴データ生成手段は、前記検索側平均スペクトルの各周波数成分に、それぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した値に基づいて前記検索特徴データを生成するものであることを特徴とする複数音源の識別装置。
【請求項５】
請求項２から請求項４のいずれか一項において、
前記特徴データ生成手段は、前記検索特徴データとして、前記各周波数成分に、前記周波数値が大きくなるのに伴って大きくなる重みを乗算した値から、さらに、それぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した値の平均値を減じて偏差ベクトルを生成することを特徴とする複数音源の識別装置。
【請求項６】
請求項１から請求項５のいずれか一項において、
前記特徴データ生成手段は、前記音響信号取得手段により取得された音響信号の振幅が所定の値未満で所定の時間以上連続する無音区間を特定し、当該特定された無音区間を削除して音響信号を時間的に短縮する補正を実行し、当該補正された音響信号に対して、前記周波数解析を行うことを特徴とする複数音源の識別装置。
【請求項７】
請求項１から請求項６のいずれか一項において、
前記特徴データ生成手段は、前記周波数解析として、前記音響信号に対して、所定の区間単位に分割し、分割した各区間の波形データに同区間長にあらかじめ定義された重み関数を重畳した波形データに対してフーリエ変換を行い、各区間ごとに実部と虚部の２乗平均値をとって実数化したスペクトルを全区間に渡って平均化することにより前記検索側平均スペクトルを得ることを特徴とする複数音源の識別装置。
【請求項８】
請求項７において、
前記各区間は隣接する区間どうしで区間長の１／２の時間幅だけ重複しており、
前記重み関数は時間軸方向に対して非対称な形状で２種類定義されており、奇数番目の区間に対しては、一方の重み関数を重畳し、偶数番目の区間に対しては、他方の重み関数を重畳するようにしていることを特徴とする複数音源の識別装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の複数音源の識別装置により特定された前記識別情報を用いる装置であって、前記識別情報ごとに異なる処理を行うプログラムを記憶しておき、前記複数音源の識別装置から出力された識別情報に対応する前記プログラムを起動し、当該プログラムに従った処理を実行することを特徴とする複数音源に連動する情報処理装置。
【請求項１０】
請求項１から請求項８のいずれか一項に記載の複数音源の識別装置としてコンピュータを機能させるためのプログラム。
【請求項１１】
請求項９に記載の複数音源に連動する情報処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アコースティックス楽器、自然音、ヒト・生物が発する音、電子楽器を除く人工機械など音響信号を発する音源を識別するための技術に関し、特に複数の音源を識別するための技術に関する。
【背景技術】
【０００２】
楽器を各種デジタル情報端末のユーザインタフェースとして活用する方法として、MIDI規格（Musical Instrument Digital Interface）に準拠した電子楽器を用いる手法が知られている。MIDI規格に対応した鍵盤楽器（キーボード、自動演奏ピアノ）、サイレント弦楽器、サイレント管楽器、サイレントドラムなどが既に開発されており、MIDIインタフェースを通じて楽器演奏により情報端末を操作することが可能である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３７１７６４０号公報
【特許文献２】特許第３９３５７４５号公報
【特許文献３】特開２０１１−１０７２６５号公報
【特許文献４】特開２００７−３２５２０１号公報
【特許文献５】特許第４１５６２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、適用できる楽器はMIDI規格に準拠した電子楽器に制限される。一方、世の中には無数に近い種類のアコースティックス楽器が存在する。これに対して、特許文献２に開示されているようなアコースティックス楽器から出力される音響信号をMIDIデータに変換する符号化技術を活用する方法が考えられる。特許文献２の発明では演奏されるリズムや音階を認識して情報端末をMIDI規格に準拠した形態で渡すことは可能である。しかし、音色を認識することはできないため、演奏された楽器を特定することは困難であった。さらに、複数の楽器を同時に発音させた場合は、それぞれの楽器を特定することは一層困難であった。
【０００５】
このような音源分離技術としては、複数のマイクロフォンやマイクロフォンアレイを使用する手法が提案されているが（特許文献４参照）、装置が大掛かりでコスト高になり、楽器音のように音源が物理的に近接している場合は分離が困難である。これに対して、出願人も複数の楽器音演奏が合成されて録音された単一の音響信号に対して一律にＭＩＤＩ形式に符号化し、あらかじめ定義された音色管理テーブルを用いて符号化されたＭＩＤＩデータを複数のチャンネルに分離する手法を提案している（特許文献５参照）。しかし、ピアノとボーカル、ピアノとギターなど互いに特性が顕著に異なる音色でないと高精度に分離することができず、例えば、グランドピアノとエレキピアノのような組み合わせでは分離が難しいという問題がある。
【０００６】
また、近年では、デジタルサイネージなど各種情報端末のユーザインターフェースとして、キーボード、マウス、タッチパネル等の既存のデジタル入力に変わるものとして、音声認識による入力も一部導入され始めている。しかし、サイネージが設置される雑踏の中では音声入力精度が著しく悪く、出力される音声も明瞭に聞こえないという問題があり、デジタルサイネージにおいて音声入出力はあまり普及していない。このように、音声以外の楽器音などの音入力を用いたユーザインターフェースの事例はなく、ましてや、複数のアコースティック楽器等を用いてユーザインターフェースの代用を行う手段は存在しなかった。
【０００７】
そこで、本発明は、アコースティックス楽器、自然音、ヒト・生物等の複数の音源が同時に発した音から、各音源を特定することが可能な複数音源の識別装置および複数音源に連動する情報処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明第１の態様では、複数の音源から発せられる音を取得して、それぞれの音源を識別する装置であって、各音源について、その特徴を表現した登録特徴データと、各音源を特定する識別情報が対応付けて登録された音源データベースと、前記複数の音源から発せられる音を録音してデジタルの音響信号として取得する音響信号取得手段と、前記音響信号に対して周波数解析を行い、時間的に平均化したスペクトルである検索側平均スペクトルに基づいて検索特徴データを生成する特徴データ生成手段と、前記生成された検索特徴データと前記音源データベースに登録されている登録特徴データの各々と相関計算を行い、得られた相関値の中で、最大の相関値をもち、かつ当該相関値が所定のしきい値以上を満たす登録特徴データに対応する音源を前記識別情報により特定する音源データベース検索手段と、前記音源データベース検索手段により特定された音源に対応する登録特徴データを用いて、前記検索特徴データを補正し、補正特徴データを生成する特徴データ補正手段と、を有し、前記音源データベース検索手段は、前記生成された補正特徴データと、既に特定された音源を除外した前記音源データベースに登録されている登録特徴データを用いて、前記音源を特定する処理を実行し、前記特徴データ補正手段は、前記音源データベース検索手段により特定された音源に対応付けて前記音源データベースに登録されている前記登録特徴データを用いて、前記登録特徴データを作成する基になる時間的に平均化したスペクトルである登録側平均スペクトルを作成し、作成された登録側平均スペクトルのうち最大の成分を与える周波数番号について、検索側平均スペクトルの対応する値を登録側平均スペクトルのうち最大の成分で除算し、その値を、前記最大の成分を与える周波数番号を含む各周波数番号に対して、前記特定された音源に対応する登録側平均スペクトルに乗じたものを前記検索側平均スペクトルから減じることにより、各周波数番号に対応する前記検索側平均スペクトルを補正するものであり、前記音源データベース検索手段、前記特徴データ補正手段は、所定の条件を満たすまで、繰り返し処理を実行することを特徴とする複数音源の識別装置を提供する。
【０００９】
本発明第１の態様によれば、音源から発せられる音をデジタル化した音響信号に対して周波数解析を行い、時間的に平均化したスペクトルに基づいて検索特徴データを生成し、音源データベース中の各登録特徴データと比較して、相関の高い登録特徴データを特定した後、特定された登録特徴データを用いて検索特徴データを補正して補正特徴データを得て、この補正特徴データと音源データベース中の各登録特徴データと比較して相関の高い登録特徴データを特定する処理を繰り返し実行するようにしたので、複数の音源が同時に発した音から、各音源を特定することが可能になる。また、本発明第１の態様によれば、登録特徴データを作成する基になる登録側平均スペクトルＶｄ（ｊ）を登録しておき、特定された音源に対応する登録側平均スペクトルＶｄ（ｊ）を最大にする周波数番号ｊｍａｘについて、検索側平均スペクトルの対応する値Ｖｑ（ｊｍａｘ）を登録側平均スペクトルＶｄｍａｘ（ｊ）のうち最大の成分Ｖｄｍａｘ（ｊｍａｘ）で除算し、その値を、前記周波数番号ｊｍａｘを含む全ての周波数番号ｊに対して、登録側平均スペクトルＶｄｍａｘ（ｊ）に乗じたものを検索側平均スペクトルＶｑ（ｊ）から減じることにより、全ての周波数ｊに対応する検索側平均スペクトルＶｑ（ｊ）を補正し、検索特徴データを補正するようにしたので、取得された音響信号の検索側平均スペクトルから、特定された音源の登録側平均スペクトルに相当する分を除去することができ、補正された検索側平均スペクトルは、特定された第１音源を除外した音源を表現したものとなるので、第２音以降を正確に特定することが可能になる。
【００１０】
本発明第２の態様では、複数の音源から発せられる音を取得して、それぞれの音源を識別する装置であって、各音源について、その特徴を表現した登録特徴データと、各音源を特定する識別情報が対応付けて登録された音源データベースと、
前記複数の音源から発せられる音を録音してデジタルの音響信号として取得する音響信号取得手段と、前記音響信号に対して周波数解析を行い、時間的に平均化したスペクトルである検索側平均スペクトルの各周波数成分に、それぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した値に基づいて検索特徴データを生成する特徴データ生成手段と、前記生成された検索特徴データと前記音源データベースに登録されている登録特徴データの各々と相関計算を行い、得られた相関値の中で、最大の相関値をもち、かつ当該相関値が所定のしきい値以上を満たす登録特徴データに対応する音源を前記識別情報により特定する音源データベース検索手段と、前記音源データベース検索手段により特定された音源に対応する登録特徴データを用いて、前記検索特徴データを補正し、補正特徴データを生成する特徴データ補正手段と、を有し、前記音源データベース検索手段は、前記生成された補正特徴データと、既に特定された音源を除外した前記音源データベースに登録されている登録特徴データを用いて、前記音源を特定する処理を実行し、前記音源データベース検索手段、前記特徴データ補正手段は、所定の条件を満たすまで、繰り返し処理を実行することを特徴とする複数音源の識別装置を提供する。
【００１１】
本発明第２の態様によれば、音源から発せられる音をデジタル化した音響信号に対して周波数解析を行い、時間的に平均化したスペクトルに基づいて検索特徴データを生成し、音源データベース中の各登録特徴データと比較して、相関の高い登録特徴データを特定した後、特定された登録特徴データを用いて検索特徴データを補正して補正特徴データを得て、この補正特徴データと音源データベース中の各登録特徴データと比較して相関の高い登録特徴データを特定する処理を繰り返し実行するようにしたので、複数の音源が同時に発した音から、各音源を特定することが可能になる。また、本発明第２の態様によれば、時間的に平均化したスペクトルである検索側平均スペクトルの各周波数成分にそれぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した特徴データを生成するようにしたので、音源間の違いがたとえ高周波成分のわずかな違いであってもその差が明確になり、アコースティックス楽器、自然音、ヒト・生物等の発せられた音の特徴を明確に識別することができるため、正しい音源を特定することが可能になる。
【００１２】
本発明第３の態様では、本発明第２の態様の複数音源の識別装置における特徴データ補正手段が、前記音源データベース検索手段により特定された音源に対応する登録特徴データと、前記検索特徴データの相関値Ｖ１を求め、当該相関値Ｖ１を前記特定された登録特徴データに乗じたものを前記検索特徴データから減じることにより前記補正特徴データを生成するものであることを特徴とする。
【００１３】
本発明第３の態様によれば、特定された音源に対応する登録特徴データと、検索特徴データの相関値Ｖ１を求め、相関値Ｖ１を特定された登録特徴データに乗じたものを検索特徴データから減じることにより補正特徴データを生成するようにしたので、検索特徴データから第１音源の成分割合を定量的に算出しながら高精度に第１音源の特徴を除外した補正特徴データを生成でき、第２音源以降の成分割合を同様に算出しながら第２音源以降の特定を高精度に行うことが可能になる。
【００１４】
本発明第４の態様では、本発明第１の態様の複数音源の識別装置における特徴データ生成手段が、前記検索側平均スペクトルの各周波数成分に、それぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した値に基づいて前記検索特徴データを生成するものであることを特徴とする。
【００１５】
本発明第４の態様によれば、時間的に平均化したスペクトルである検索側平均スペクトルの各周波数成分にそれぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した特徴データを生成するようにしたので、音源間の違いがたとえ高周波成分のわずかな違いであってもその差が明確になり、アコースティックス楽器、自然音、ヒト・生物等の発せられた音の特徴を明確に識別することができるため、正しい音源を特定することが可能になる。
【００１６】
本発明第５の態様では、本発明第２から第４のいずれかの態様の複数音源の識別装置における特徴データ生成手段が、前記検索特徴データとして、前記各周波数成分に、前記周波数値が大きくなるのに伴って大きくなる重みを乗算した値から、さらに、それぞれ周波数値が大きくなるのに伴って大きくなる重みを乗算した値の平均値を減じて偏差ベクトルを生成することを特徴とする。
【００１７】
本発明第５の態様によれば、検索特徴データとして、各周波数成分にそれぞれ異なる重みを乗算したものの平均値を減じた偏差ベクトルを生成するようにしたので、特徴のある周波数成分がより明確になり、各音源の識別が容易になる。
【００１８】
本発明第６の態様では、本発明第１から第５のいずれかの態様の複数音源の識別装置における特徴データ生成手段が、前記音響信号取得手段により取得された音響信号の振幅が所定の値未満で所定の時間以上連続する無音区間を特定し、当該特定された無音区間を削除して音響信号を時間的に短縮する補正を実行し、当該補正された音響信号に対して、前記周波数解析を行うことを特徴とする。
【００１９】
本発明第６の態様によれば、周波数解析を行う前に音響信号の無音区間を削除するようにしたので、特徴データの基礎となるスペクトルに対して、無音区間と発音区間との間隔が揺らいでも音源の同定に与える影響を防ぐことが可能となる。
【００２０】
本発明第７の態様では、本発明第１から第６のいずれかの態様の複数音源の識別装置における特徴データ生成手段が、前記周波数解析として、前記音響信号に対して、所定の区間単位に分割し、分割した各区間の波形データに同区間長にあらかじめ定義された重み関数を重畳した波形データに対してフーリエ変換を行い、各区間ごとに実部と虚部の２乗平均値をとって実数化したスペクトルを全区間に渡って平均化することにより前記検索側平均スペクトルを得ることを特徴とする。
【００２１】
本発明第７の態様によれば、周波数解析として、音響信号を所定の区間単位に分割し、各区間の波形データに対してフーリエ変換を行い、各区間ごとに得られた実数スペクトルを全区間に渡って平均化するようにしたので、周波数解析の時間分解能を落とすことなく、全区間に渡る特徴である検索特徴データを生成することが可能になる。
【００２２】
本発明第８の態様では、本発明第７の態様の複数音源の識別装置において、前記各区間は隣接する区間どうしで区間長の１／２の時間幅だけ重複しており、前記重み関数は時間軸方向に対して非対称な形状で２種類定義されており、奇数番目の区間に対しては、一方の重み関数を重畳し、偶数番目の区間に対しては、他方の重み関数を重畳するようにしていることを特徴とする。
【００２３】
本発明第８の態様によれば、各区間を隣接する区間どうしで区間長の１／２の時間幅だけ重複させ、重み関数を時間軸方向に対して非対称な形状で２種類定義し、奇数番目の区間と偶数番目の区間で異なる重み関数を重畳するようにしたので、音響信号を逆から再生した逆回し波形と元の音響信号を正常に再生した音との識別が可能になる。
【００２４】
本発明第９の態様では、本発明第１から第８のいずれかの態様の複数音源の識別装置により特定された前記識別情報を用いる装置であって、前記識別情報ごとに異なる処理を行うプログラムを記憶しておき、前記複数音源の識別装置から出力された識別情報に対応する前記プログラムを起動し、当該プログラムに従った処理を実行する複数音源に連動する情報処理装置を提供する。
【００２５】
本発明第９の態様によれば、複数音源の識別装置により特定された識別情報に基づいて情報処理装置が処理を実行するようにしたので、発せられた音にマイクを向けるだけで、その音源に対応した処理が実行されることになる。
【発明の効果】
【００２６】
本発明によれば、アコースティックス楽器、自然音、ヒト・生物等の複数の音源が同時に発した音から、各音源を特定することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】登録特徴データ生成装置のハードウェア構成図である。
【図２】登録特徴データ生成装置の機能ブロック図である。
【図３】図１、２に示した装置の処理動作を示すフローチャートである。
【図４】無音区間の削除を説明するための図である。
【図５】楽器のスペクトルに、周波数値に比例した値を重みとして乗じた場合を示す図である。
【図６】本発明に係る複数音源の識別装置のハードウェア構成図である。
【図７】本発明に係る複数音源の識別装置の機能ブロック図である。
【図８】図６、７に示した装置の処理動作を示すフローチャートである。
【図９】図８のＳ２３０における音源の検索処理の詳細を示すフローチャートである。
【図１０】音の振幅変化と逆回し波形を示す図である。
【図１１】本発明で用いる窓関数を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．音源データベースの準備）
本発明では、音源から発せられる音を周波数解析し、音源ごとのスペクトルを生成する。生成したスペクトルに基づいてその音源の特徴を表現した特徴データを生成し、音源の識別情報等とともに音源データベースに記録しておく。そして、識別対象とする音を取得し、周波数解析を行って特徴データを生成し、データベース内の特徴データと比較・照合することにより、その音の音源を特定する。
【００２９】
そのため、まず、音源に対応した特徴データを記憶した音源データベースを準備することが必要になる。音源データベースに登録する特徴データの生成は、登録特徴データ生成装置により行う。図１は、登録特徴データ生成装置のハードウェア構成図である。登録特徴データ生成装置は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ１（CPU: Central Processing Unit）と、コンピュータのメインメモリであるＲＡＭ２（RAM: Random Access Memory）と、ＣＰＵが実行するプログラムやデータを記憶するための大容量の記憶装置３（例えば、ハードディスク、フラッシュメモリ等）と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、外部装置（データ記憶媒体等）とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、表示装置（液晶ディスプレイ等）に情報を送出するための表示出力Ｉ／Ｆ（インターフェース）６と、を備え、互いにバスを介して接続されている。
【００３０】
図２は、登録特徴データ生成装置の構成を示す機能ブロック図である。図２において、１０は無音区間削除手段、２０は音響フレーム読込手段、３０は特徴データ生成手段、４０は特徴データ登録手段、５０は音源データベースである。
【００３１】
無音区間削除手段１０は、デジタル音響信号のうち、無音であると判断される区間（無音区間）を削除する機能を有している。音響フレーム読込手段２０は、ある音を素材として記録したデジタルの音響信号から所定数Ｎのサンプルを１音響フレームとして順次読み込む機能を有している。特徴データ生成手段３０は、読み込んだ音響フレームを利用して、周波数解析を行い、その音源についての音響信号の特徴を表現した特徴データを生成する機能を有している。この特徴データは、ある音響信号の特徴を少ないデータ量で表現したものであり、後述するように最大Ｎ／２次元のベクトルである。本発明では、音源データベースに登録された登録特徴データと、音を録音して取得した音響信号から生成した検索特徴データを比較することにより音源を特定する。したがって、登録特徴データと検索特徴データは同じ形式である必要がある。そのため、登録特徴データと検索特徴データの生成手法は同一であり、本明細書では、生成された特徴データが音源データベースに登録されたものを登録特徴データとし、音を録音して取得した音響信号から生成された特徴データを検索特徴データと呼ぶ。特徴データ登録手段４０は、生成した特徴データを、元の音響信号に対応する音源に関連する関連情報、および音源を特定するための識別情報である音源ＩＤと対応付けて登録特徴データとして音源データベース５０に登録する機能を有している。音源とは、上述のように、楽器、自然物、生物、自然現象等、音の発信源を示すものである。図２に示した各構成手段は、図１に示したハードウェア構成に専用のプログラムを搭載することにより実現される。
【００３２】
図１の記憶装置３には、ＣＰＵ１を動作させ、コンピュータを、登録特徴データ生成装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、無音区間削除手段１０、音響フレーム読込手段２０、特徴データ生成手段３０、特徴データ登録手段４０としての機能を実現することになる。また、記憶装置３は、処理に必要な様々なデータを記憶する。
【００３３】
次に、図１、図２に示した登録特徴データ生成装置の処理動作について図３のフローチャートに従って説明する。まず、登録特徴データ生成装置は、事前に準備された識別情報がわかっている音源を録音した音響信号ファイルから、デジタルの音響信号を読み込む。このデジタル音響信号は、アナログ音響信号に対して、ＰＣＭ等の手法によりサンプリングを行うことにより得られたものである。例えば、サンプリング周波数が４４．１ｋＨｚの場合、１秒当たり４４１００のサンプルとして得られることになる。
【００３４】
登録特徴データ生成装置では、デジタル音響信号を読み込んだ後、無音区間削除手段１０が、無音区間の削除を行う（Ｓ１０１）。具体的には、サンプルの値が所定のしきい値未満となるサンプルが所定数連続した場合に、無音区間であると判断し、無音区間を削除する。各サンプルのしきい値、無音サンプルの連続数は適宜設定することができる。本実施形態では、サンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビット（１０進数で−３２７６８〜＋３２７６７）を条件として、各サンプルの絶対値のしきい値を１０００（１０進数）、無音サンプルの連続数を２０４８としている。無音サンプルの連続数２０４８は、サンプリング周波数４４．１ｋＨｚの場合、約０．０４６秒に相当する。
【００３５】
図４は、無音区間の削除を説明するための図である。図４においては、音響信号の各サンプル値を線分で結んで波形として示している。無音区間の削除は、図４に示すように、無音区間のサンプルの値を０にするのではなく、その区間のサンプル自体を除去し、後方の発音区間のサンプルを前に詰めることにより行う。したがって、Ｓ１０１における無音区間の削除処理の結果、読み込まれた音響信号の総サンプル数は減少し、そのまま再生した場合の再生時間も短くなることになる。音源の特性によっては、無音区間の削除は必ずしも行う必要はない。しかし、パーカッション楽器音のように、短い発音区間が間欠的に並んでいるタイプの場合、無音区間と発音区間の比率（演奏リズム）により、開始から終了までの平均のスペクトルが大きく変化してしまう。例えば、図２、図３に示される特徴データを登録する際に準備した太鼓の音Ａと、後述の図７で示されるマイクロフォン６０で取り込まれる太鼓の音Ｂとは、演奏者が異なりリズムも異なるのが一般的であるが、図２、図３のような登録時および図７、図８のような識別時の双方の処理において、この無音区間の削除処理を実行させることにより、太鼓の音Ａと太鼓の音Ｂとのリズムの相違を吸収し、太鼓の音Ａと太鼓の音Ｂとは同一の音源であると判定することが可能になる。このため、短い発音区間が間欠的に並んでいるタイプの音源に対しては、無音区間の削除を行うことが有効である。
【００３６】
無音区間の削除を終えたら、続いて、音響フレーム読込手段２０が、音響信号から、所定数のサンプルを１音響フレームとして読み込む。音響フレーム読込手段２０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。これは、約０．０９３秒に相当する。ただし、後述する周波数変換における窓関数の利用により値が減少するサンプルを考慮して、音響フレームは、所定数分のサンプルを重複させて読み込むことにしている。本実施形態では、音響フレームの区間長のちょうど１／２となる２０４８サンプルを重複させている。したがって、先頭の音響フレームはサンプル１〜４０９６、２番目の音響フレームはサンプル２０４９〜６１４４、３番目の音響フレームはサンプル４０９７〜８１９２というように、順次読み込まれていくことになる。
【００３７】
続いて、特徴データ生成手段３０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０２）。具体的には、音響フレーム読込手段２０が読み込んだ音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
【００３８】
ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。
【００３９】
Ｓ１０２においてフーリエ変換を行う場合、具体的には、サンプルｉにおける値Ｘ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、ハニング窓関数Ｗ（ｉ）（＝０．５−０．５ｃｏｓ（２πｉ／Ｎ））を用いて、以下の〔数式１〕に従った処理を行う。これを各音響フレームｇ（ｇ＝０，…，Ｇ−１）に対して実行し、各音響フレームｇの各周波数における実部Ａ（ｇ，ｊ）、虚部Ｂ（ｇ，ｊ）を得る。
【００４０】
〔数式１〕
Ａ（ｇ，ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ（ｇ，ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【００４１】
続いて、特徴データ生成手段３０は、時間方向の平均化を行う（Ｓ１０３）。具体的には、以下の〔数式２〕に従った処理を行い、各周波数におけるＧ個の音響フレームの時間平均スペクトルＶ（ｊ）を得る。
【００４２】
〔数式２〕
Ｖ（ｊ）＝[Σg=0,…,G-1｛Ａ（ｇ，ｊ）2＋Ｂ（ｇ，ｊ）2｝／Ｇ] 1/2
【００４３】
上記〔数式１〕〔数式２〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であるが、算出したスペクトルより折り返し成分を除く下半分を用いる。したがって、ｊ＝１，２，…Ｎ／２の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。上記〔数式２〕に従った処理の結果、Ｇ個の全音響フレームを平均化した、各周波数における時間平均スペクトルＶ（ｊ）が得られる。
【００４４】
続いて、特徴データ生成手段３０は、偏差ベクトルの算出を行う（Ｓ１０４）。具体的には、全音響フレームに渡って平均化した時間平均スペクトルＶ（ｊ）の各周波数成分に、周波数値が大きくなるのに伴って大きくなる値ｊを重みとして乗じ、各周波数成分について、全周波数の平均を減じる処理を行う。実際には、特徴データ生成手段３０は、以下の〔数式３〕に従った処理を実行し、平均値Ａｖを算出する。
【００４５】
〔数式３〕
Ａｖ＝Σj=f1,…,f2Ｖ（ｊ）・ｊ／（ｆ２-ｆ１＋１）
【００４６】
上記〔数式３〕においては、周波数番号ｆ１からｆ２の間の各周波数について、その時間平均スペクトルＶ（ｊ）に周波数番号ｊを乗じたものの平均値Ａｖを算出している。周波数番号ｆ１、ｆ２としては、音源データベースに登録されている登録特徴ワードの元になった音響信号の周波数帯域に応じて適宜設定することが可能であるが、本実施形態では、ｆ１＝２７（約３００Ｈｚに相当）、ｆ２＝７４３（約８０００Ｈｚに相当）と設定している。
【００４７】
そして、特徴データ生成手段３０は、以下の〔数式４〕に従った処理を実行し、偏差ベクトルδＶ（ｊ）を特徴データとして算出する。
【００４８】
〔数式４〕
δＶ（ｊ）＝Ｖ（ｊ）・ｊ−Ａｖ
【００４９】
ここで、特徴データとして偏差ベクトルを用いる際に周波数番号ｊなる重みを乗じる理由について説明する。特徴データの基本となる音源のスペクトルは、調波構造をもっており、図５（ａ）（ｂ）に示すように、周波数に反比例して信号成分が小さくなる傾向がある。特に、楽器を音源とした場合、高次倍音に音色の特徴が現れることが多いため、高周波成分における差が目立たなくなる。そこで、本実施形態では、周波数値に比例した値を重みとして乗じたスペクトルを特徴データとして生成し、高周波成分の差を際立たせ、各音源の識別を容易にする。例えば、図５（ａ）（ｂ）に示した楽器ア、楽器イのスペクトルに、周波数値に比例した値を重みとして乗じると、図５（ｃ）（ｄ）に示すような重み付けスペクトルが得られる。高周波成分になる程大きな重みが乗じられているため、図５（ｃ）と（ｄ）の波形を比較すると明らかなように、高周波成分の差が目立つことになる。
【００５０】
以上のようにして、ある音源の音響信号から偏差ベクトルである特徴データδＶ（ｊ）が生成される。この特徴データδＶ（ｊ）は、最大Ｎ／２次元（Ｎ＝４０９６の場合、２０４８次元）の偏差ベクトルとなる。ただし、上述のように設定されたｆ１、ｆ２に従い（ｆ２−ｆ１＋１）次元となる。したがって、ｆ１＝２７、ｆ２＝７４３と設定されている場合は、７１７次元となる。特徴データδＶ（ｊ）が生成されたら、特徴データ登録手段４０は、別途入力された音響ＩＤ、音源名等の関連情報と対応付けて特徴データδＶ（ｊ）および時間平均スペクトルＶ（ｊ）を音源データベース５０に登録する。後述する複数音源の検索処理の過程で、特徴データδＶ（ｊ）と時間平均スペクトルＶ（ｊ）の双方が必要になるが、特徴データδＶ（ｊ）は、元来、時間平均スペクトルＶ（ｊ）を用いて〔数式３〕および〔数式４〕に基づき算出されたものであるため、現実には、時間平均スペクトルＶ（ｊ）のみ記憶装置３内の所定の領域に格納されればよく、逆に、時間平均スペクトルＶ（ｊ）は、特徴データδＶ（ｊ）とスペクトルの平均値Ａｖを用いて〔数式４〕を変形することにより逆算出可能であるため、特徴データδＶ（ｊ）とスペクトルの平均値Ａｖが記憶装置３内の所定の領域に格納される形態をとることもできる。識別時に録音して得られる音響信号から生成された特徴データ、時間平均スペクトルと区別するため、以下、音源データベースに登録された特徴データδＶ（ｊ）、時間平均スペクトルＶ（ｊ）をそれぞれ登録特徴データδＶｄ（ｊ）、登録側平均スペクトルＶｄ（ｊ）と表現する。
【００５１】
（２．音源の識別）
次に、本発明に係る複数音源の識別装置について説明する。図６は、本発明に係る複数音源の識別装置のハードウェア構成図である。複数音源の識別装置は、登録特徴データ生成装置と同様、汎用のコンピュータで実現することができ、図６に示すように、ＣＰＵ１ａ（CPU: Central Processing Unit）と、コンピュータのメインメモリであるＲＡＭ２ａ（RAM: Random Access Memory）と、ＣＰＵ１ａが実行するプログラムやデータを記憶するための大容量の記憶装置３ａ（例えば、ハードディスク、フラッシュメモリ等）と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４ａと、外部装置（データ記憶媒体等）とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５ａと、表示装置（ディスプレイ）に情報を送出するための表示出力Ｉ／Ｆ（インターフェース）６ａと、マイクロフォンと接続された音声入力Ｉ／Ｆ（インターフェース）７ａと、を備え、互いにバスを介して接続されている。
【００５２】
図７は、本発明に係る複数音源の識別装置の構成を示す機能ブロック図である。図７において、１０は無音区間削除手段、２０は音響フレーム読込手段、３０は特徴データ生成手段、３１は特徴データ補正手段、５０は音源データベース、６０はマイクロフォン、７０は音響信号取得手段、８０は音源データベース検索手段、９０は音源情報出力手段である。図２と同一符号の構成要素については、図２と同様の機能を有するものであるので、説明は省略する。図７の処理は、利用者からの指示に基づいて起動されるが、利用者から発せられる識別対象の音をタイミング良く取り込むため、利用者から停止の指示があるまで、繰り返し実行されるような形態をとる。即ち、最後の音源情報の出力を実行したら、音響信号の取得に再び戻り以下同様な処理を実行するようにする。
【００５３】
マイクロフォン６０は、低周波成分から高周波成分まで広い範囲の音を忠実に取り込む性能を持っている必要は無く、スマートフォンなど各種携帯端末や携帯ゲーム機に内蔵されている安価な民生用マイクロフォンを用いることができる。具体的には、前述の通り特徴データの作成において、上記〔数式３〕に示されるように、周波数番号ｆ１＝２７（約３００Ｈｚに相当）からｆ２＝７４３（約８０００Ｈｚに相当）の周波数範囲しか計算対象としていないため、必要とするマイクロフォン６０の性能としてはこの範囲をカバーしていれば良い（商品として販売されるマイクロフォンは少なくともこの周波数範囲をカバーする）。音響信号取得手段７０は、マイクロフォン６０で取り込んだアナログ音響信号をＡ／Ｄ変換してデジタル化する機能を有している。
【００５４】
音源データベース検索手段８０は、生成した特徴データと、音源データベース５０に登録されている登録特徴データとの照合を行う機能を有している。音源情報出力手段９０は、音源データベース検索手段８０による照合の結果、録音により得られた音響信号の特徴に最も類似する音源についての識別情報（楽器を識別するコード番号、ＭＩＤＩ規格のプログラム番号など）を、音源データベース５０から抽出して出力する機能を有している。図７に示した各構成手段は、図６に示したハードウェア構成に専用のプログラムを搭載することにより実現される。
【００５５】
図６の記憶装置３ａには、ＣＰＵ１ａを動作させ、コンピュータを、複数音源の識別装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１ａは、無音区間削除手段１０、音響フレーム読込手段２０、特徴データ生成手段３０、特徴データ補正手段３１、音響信号取得手段７０、音源データベース検索手段８０、音源情報出力手段９０としての機能を実現することになる。また、記憶装置３ａは、処理に必要な様々なデータを記憶する。
【００５６】
続いて、図６、図７に示した複数音源の識別装置の処理動作を、図８のフローチャートを用いて説明する。まず、利用者が複数音源の識別装置に対して起動の指示を行う。複数音源の識別装置が汎用のコンピュータで実現されている場合、キーボード上の所定のキーを押すか、画面に表示された所定の箇所をマウスでクリックすることにより、実行できる。利用者は複数音源の識別装置を起動後、任意のタイミングで識別対象の複数の音を適当な区間（例えば、５秒間）だけ発生させる。例えば、複数の楽器の試奏を同時に５秒間行う。複数音源の識別装置は、指示が入力されると、マイクロフォン６０から流れている音楽を一定区間（例えば、２秒間）だけ取り込み、録音してデジタル音響信号として取得する（Ｓ２１０）。具体的には、マイクロフォン６０から入力される音響信号を、音響信号取得手段７０によりデジタル化する処理を行うことになる。
【００５７】
デジタル音響信号が得られたら、このデジタル音響信号から特徴データを生成する（Ｓ２２０）。具体的には、無音区間削除手段１０、音響フレーム読込手段２０、特徴データ生成手段３０が、図３に示したＳ１０１〜Ｓ１０４の処理を実行する。Ｓ２２０における特徴データ生成処理の結果、上記〔数式４〕に示したような特徴データδＶ（ｊ）が得られる。上述のように、特徴データの形式、生成手法は、登録特徴データδＶｄ（ｊ）と同一であるが、登録特徴データδＶｄ（ｊ）、登録側平均スペクトルＶｄ（ｊ）と区別するため、以下、複数音源の識別装置において生成された特徴データδＶ（ｊ）、時間平均スペクトルＶ（ｊ）をそれぞれ検索特徴データδＶｑ（ｊ）、検索側平均スペクトルＶｑ（ｊ）と表現する。
【００５８】
次に生成された特徴データを用いて音源の検索を行う（Ｓ２３０）。この音源の検索処理の詳細については後述する。音源の検索の結果、生成された特徴データに対応する音源の特定に成功した場合には（Ｓ２４０）、特徴データの補正を行う（Ｓ２５０）。具体的には、特定された音源に対応する登録特徴データを用いて特徴データを補正し、補正特徴データを得る。この特徴データの補正処理の詳細についても後述する。特徴データの補正後、Ｓ２３０に戻って、得られた補正特徴データを用い、既に特定された音源を検索対象から除外して音源の検索を行う。このようにして、特徴データの補正（Ｓ２５０）および音源の検索（Ｓ２３０）を繰り返して実行し、音源の特定に失敗した場合に処理を終了する。
【００５９】
本実施形態では、Ｓ２４０において音源の特定に成功したか否かを判断し、音源の特定に失敗するまで繰り返し音源の特定を実行するが、音源の特定を終了する条件は、本実施形態に限定されず、変更しても良い。例えば、特定する音源の数を特定しておき、所定数に達した場合に、終了するようにしても良い。
【００６０】
Ｓ２３０における音源の検索処理について、図９のフローチャートを用いて説明する。取得されたデジタル音響信号から特徴データδＶ（ｊ）が得られたら、音源データベース検索手段８０が、音源データベース５０内の各登録特徴データとの照合を行う。まず、音源データベース５０から１つの登録特徴データを抽出し、特徴データとの相関演算を行う（Ｓ２３１）。具体的には、音源データベース検索手段８０は、以下の〔数式５〕に従った処理を実行し、相関値ＲＥを算出する。
【００６１】
上述のように、音源データベース５０に登録された登録特徴データと、取得されたデジタル音響信号から生成された検索特徴データは、いずれも同じ形式の最大Ｎ／２次元（本例では７１７次元）の偏差ベクトルδＶ（ｊ）である。
【００６２】
〔数式５〕
ＲＥ＝｛δＶｑ（ｊ）・δＶｄ（ｊ）｝／｛｜δＶｑ（ｊ）｜｜δＶｄ（ｊ）｜｝＝Σj=f1,…,f2｛（δＶｑ（ｊ））×（δＶｄ（ｊ））｝／[｛Σj=f1,…,f2（δＶｑ（ｊ））2｝1/2×｛Σj=f1,…,f2（δＶｄ（ｊ））2｝1/2]
【００６３】
相関値としては、登録特徴データδＶｄ（ｊ）と特徴データδＶｑ（ｊ）の相関が評価できるものであれば、どのようなものであっても良いが、本実施形態では、ともに偏差ベクトルである両者の内積を相関値ＲＥとして算出している。上記〔数式５〕に示すように、本実施形態では、内積を各ベクトルの大きさ（δＶｑ（ｊ）、δＶｄ（ｊ）の２乗和平方根）で除算して相関値ＲＥとして算出することにより、両特徴データの対象である音の大きさの差を取り除いている。
【００６４】
１つの登録特徴データについて、相関値ＲＥが得られたら、音源データベース５０内の全音源に対応する登録特徴データについて処理が終了したかどうかを判断し（Ｓ２３２）、終了していなければ、全音源について相関値ＲＥが得られるまで繰り返し相関演算を実行する（Ｓ２３１）。
【００６５】
全音源について相関値ＲＥが得られたら、相関値ＲＥが最大となった音源を特定する。この際、相関値ＲＥについてしきい値を設定しておき、相関値ＲＥがしきい値より大きいものに限り選出するようにする。したがって、相関値ＲＥのうち最大のものがしきい値以下の場合には、音源は特定されない。その場合、発せられていた音と類似するものが音源データベース５０内に存在しなかったということになり、音源の特定は失敗となる。
【００６６】
相関値ＲＥのうち最大のものが、しきい値より大きい場合は、相関値ＲＥ算出の対象となった登録特徴データに対応付けて音源データベース５０内に記録された音源識別情報により音源が特定される（Ｓ２３３）。音源が特定されたら、音源情報出力手段９０が、特定された音源識別情報を所定の形式で出力する（Ｓ２３４）。出力は、音源識別情報に関連したコンテンツの表示出力、他の情報機器への音源識別情報のデータ伝送出力等様々な形式が可能で、設定された形式により対応した機器にて出力される。例えば、別途準備したマルチメディアコンテンツのデータベースに音源識別情報に対応付けて、楽器の詳細や解説コンテンツ、解説コンテンツのプログラムを記憶させておくことにより、解説コンテンツが起動され、表示出力Ｉ／Ｆ６ａを介した表示装置に表示される。あるいは、別の情報端末に対してＵＳＢインタフェースやワイヤレスインタフェースを介して音源識別情報を伝送することにより、前記情報端末に対して音源識別情報に対応した所定のプログラムを起動させるようにすることができる。本実施形態では、図９のＳ２３４に示すように、音源識別情報の出力は、音源が特定される度に行われる。したがって、本実施形態では、音源が特定される度に他の情報機器等へ音源識別情報を出力し、図８のＳ２４０において音源の特定に失敗した後、音源識別情報を入力した情報機器が、まとめて複数の音源識別情報に基づく出力を行うことになる。本実施形態に限定されず、音源が全て特定された後、まとめて他の情報機器等へ音源識別情報を出力するようにすることも可能である。
【００６７】
音源識別情報を出力する場合、コンピュータ等の情報処理装置に出力すれば、情報処理装置は、音源識別情報に応じた処理を行うことができる。例えば、コンピュータに音源識別情報ごとに異なる処理を行うプログラムを搭載しておくことにより、異なる音源にマイクロフォンを向けるだけで、異なる処理が行われることになる。
【００６８】
（３．特徴データ補正の詳細）
次に、Ｓ２５０の特徴データの補正について説明する。まず、特徴データ補正手段３１は、特定された音源に対応付けて記録された登録側平均スペクトルＶｄ（ｊ）をＶｄｍａｘ（ｊ）とし、Ｖｄｍａｘ（ｊ）（ｊ＝ｆ１，ｆ１＋１，・・・，ｆ２−１，ｆ２）のうち、Ｖｄｍａｘ（ｊ）の値を最大にするｊを特定し、そのときのｊをｊｍａｘとする。そして、特徴データ補正手段３１は、以下の〔数式６〕に従った処理を実行することにより、ｊ＝ｆ１，ｆ１＋１，・・・，ｆ２−１，ｆ２の検索側平均スペクトルＶｑ（ｊ）の各値を補正した補正平均スペクトルＶｑ´（ｊ）を算出する。なお、音源データベース５０に登録側平均スペクトルＶ（ｊ）を登録しておかない実施形態とすることも可能であるが、その場合は、音源データベース５０に特徴データδＶ（ｊ）に対応付けてスペクトルの平均値Ａｖを登録しておく。そして、特徴データ補正手段３１は、上記〔数式４〕を変形した数式Ｖ（ｊ）＝  [δＶ（ｊ）＋Ａｖ]／ｊに従った処理を実行し、登録側平均スペクトルＶｄ（ｊ）を算出する処理を行う。
【００６９】
〔数式６〕
Ｖｑ´（ｊ）＝Ｖｑ（ｊ）−Ｖｄｍａｘ（ｊ）・Ｖｑ（ｊｍａｘ）／Ｖｄｍａｘ（ｊｍａｘ）
Ｖｑ´（ｊ）＜０の場合、Ｖｑ´（ｊ）＝０に設定
【００７０】
上記〔数式６〕において、Ｖｑ（ｊｍａｘ）、Ｖｄｍａｘ（ｊｍａｘ）はいずれもｊ＝ｊｍａｘで固定されているため、固定値である。そのため、Ｖｑ（ｊｍａｘ）／Ｖｄｍａｘ（ｊｍａｘ）とベクトルＶｄｍａｘ（ｊ）との間の演算子“・”は、乗算を意味する。上記〔数式６〕に示すように、補正平均スペクトルＶｑ´（ｊ）は、特定された音源に対応する配列Ｖｄｍａｘ（ｊ）を最大にする周波数番号ｊｍａｘについて、検索側のＶｑ（ｊｍａｘ）を特定されたＶｄｍａｘ（ｊｍａｘ）で除算し、その値を配列Ｖｄｍａｘ（ｊ）に乗じたものを検索側平均スペクトルＶｑ（ｊ）から減じることにより算出される。すなわち、特定された音源の最大成分の周波数ｊｍａｘについての検索側との比を、特定された音源に対応する配列Ｖｄｍａｘ（ｊ）に乗じて検索側平均スペクトルＶｑ（ｊ）から減じることにより、元の検索側のスペクトルの各値から、特定された音源に対応するスペクトルの各値の寄与分を除去した補正平均スペクトルＶｑ´（ｊ）が得られる。Ｖｑ´（ｊ）が０未満となった場合に、強制的に“０”に設定するのは、Ｖｑ´（ｊ）として負の値は物理的に有り得ないためである。
【００７１】
そして、特徴データ補正手段３１は、この補正平均スペクトルＶｑ´（ｊ）を用いて以下の〔数式７〕に従った処理を実行することにより、偏差ベクトルである補正特徴データδＶｑ´（ｊ）を算出する。
【００７２】
〔数式７〕
Ａｖ´＝Σj=f1,…,f2Ｖｑ´（ｊ）・ｊ／（ｆ２-ｆ１＋１）
δＶｑ´（ｊ）＝Ｖｑ´（ｊ）・ｊ−Ａｖ´
【００７３】
上記〔数式７〕の第１式、第２式は、それぞれ上記〔数式３〕〔数式４〕におけるＶ（ｊ）をＶｑ´（ｊ）、ＡｖをＡｖ´に置き換えたものである。上記〔数式７〕に従って算出された補正特徴データδＶｑ´（ｊ）を用いて、Ｓ２３０の音源の検索処理を行い、２番目に主要な音源を特定する。２番目に主要な音源の特定に成功したら、補正平均スペクトルＶｑ´（ｊ）を新たな検索側平均スペクトルＶｑ（ｊ）とし、上記〔数式６〕〔数式７〕を用いてＳ２５０において新たな補正特徴データδＶｑ´（ｊ）を求める。音源の特定に失敗するまで、Ｓ２３０〜Ｓ２５０の処理は、特徴データ補正手段３１、音源データベース検索手段８０により繰り返し実行される。
【００７４】
上記〔数式６〕に示したように、特定された音源に対応する登録側平均スペクトルを最大にする周波数番号ｊｍａｘについて、対応する検索側平均スペクトルの成分Ｖｑ（ｊｍａｘ）を特定された登録側平均スペクトルの成分Ｖｄｍａｘ（ｊｍａｘ）で除算し、その値を登録側平均スペクトルＶｄｍａｘ（ｊ）に乗じたものを検索側平均スペクトルＶｑ（ｊ）から減じることにより、検索側平均スペクトルを補正し、検索特徴データを補正するようにしたので、取得された音響信号の検索側平均スペクトルから特定された音源の登録側平均スペクトルに相当する分を除去することができ、補正された検索側平均スペクトルは、特定された第１音源を除外した音源を表現したものとなるので、第２音以降を正確に特定することが可能になる。
【００７５】
（４．特徴データ補正の変形例）
次に、Ｓ２５０の特徴データの補正の変形例について説明する。上記の例では、検索特徴データδＶｑ（ｊ）の基になる検索側平均スペクトルＶｑ（ｊ）を補正した後、補正特徴データδＶｑ´（ｊ）を得るようにしたが、変形例では、検索特徴データδＶｑ（ｊ）が複数種の音源に対応する登録特徴データδＶｄ（ｊ）の線形結合で表されると仮定して、最も主要な音源のレベルを推定し、２番目以降に主要な音源を高精度に判定する。ただし、説明を簡単にするため、検索対象の音源を２音源に限定する。
【００７６】
変形例では、最も主要な音源のレベルをＶ１、２番目に主要な音源のレベルをＶ２とした場合、検索特徴データδＶｑ（ｊ）が以下の〔数式８〕により表現できると仮定する。〔数式８〕において、右辺の演算子“・”は、スカラー値であるＶ１、Ｖ２とベクトルとの演算であるため、乗算を意味する。
【００７７】
〔数式８〕
δＶｑ（ｊ）＝Ｖ１・δＶｄｍａｘ（ｊ）＋Ｖ２・δＶｄ２ｍａｘ（ｊ）
【００７８】
検索特徴データδＶｑ（ｊ）と最も主要な音源の登録特徴データδＶｄｍａｘ（ｊ）の内積は、以下の〔数式９〕により表現される。〔数式９〕において、左辺の演算子“・”と右辺の｛｝内の演算子“・”は、ベクトル同士の演算であるため、内積を意味し、右辺の｛｝外の演算子“・”は、スカラー値との演算であるため、乗算を意味する。
【００７９】
〔数式９〕
δＶｑ（ｊ）・δＶｄｍａｘ（ｊ）＝Ｖ１・｜δＶｄｍａｘ（ｊ）｜2＋Ｖ２・｛δＶｄ２ｍａｘ（ｊ）・δＶｄｍａｘ（ｊ）｝
【００８０】
ここで、２番目に主要な音源の登録特徴データδＶｄ２ｍａｘ（ｊ）が最も主要な音源の登録特徴データδＶｄｍａｘ（ｊ）に比べて顕著に異なれば、線形独立と仮定でき、上記〔数式９〕右辺第２項の内積値｛δＶｄ２ｍａｘ（ｊ）・δＶｄｍａｘ（ｊ）｝は０に近似できるため、最も主要な音源のレベルＶ１は、以下の〔数式１０〕により表現される。
【００８１】
〔数式１０〕
Ｖ１＝｛δＶｑ（ｊ）・δＶｄｍａｘ（ｊ）｝／｜δＶｄｍａｘ（ｊ）｜2
【００８２】
したがって、特徴データ補正手段３１は、上記〔数式１０〕に従った処理を実行し、最も主要な音源のレベルＶ１を算出する。さらに、特徴データ補正手段３１は、上記主要な音源のレベルＶ１を用いて以下の〔数式１１〕に従った処理を実行することにより、偏差ベクトルである補正特徴データδＶｑ´（ｊ）を算出する。
【００８３】
〔数式１１〕
δＶｑ´（ｊ）＝δＶｑ（ｊ）−Ｖ１・δＶｄｍａｘ（ｊ）
【００８４】
変形例による特徴データの補正によれば、上記〔数式１０〕に示したように、特定された音源に対応する登録特徴データδＶｄｍａｘ（ｊ）と、検索特徴データδＶｑ（ｊ）の相関値を音源のレベルＶ１として求め、さらに上記〔数式１１〕に示したように、相関値Ｖ１を特定された登録特徴データδＶｄｍａｘ（ｊ）に乗じたものを検索特徴データδＶｑ（ｊ）から減じることにより補正特徴データδＶｑ´（ｊ）を生成するようにしたので、定量的に検索特徴データから第１音源の特徴を除外した補正特徴データを生成でき、第２音源以降の特定を高精度に行うことが可能になる。補正特徴データδＶｑ´（ｊ）を用いて、２番目に主要な音源の登録特徴データδＶｄ２ｍａｘ（ｊ）との内積を計算することにより、２番目に主要な音源のレベルＶ２を算出できる。即ち、〔数式９〕〔数式１０〕を以下〔数式９ａ〕〔数式１０ａ〕のように変形することにより算出できる。
【００８５】
〔数式９ａ〕
δＶｑ´（ｊ）・δＶｄ２ｍａｘ（ｊ）＝Ｖ２・｜δＶｄ２ｍａｘ（ｊ）｜2
【００８６】
〔数式１０ａ〕
Ｖ２＝｛δＶｑ´（ｊ）・δＶｄ２ｍａｘ（ｊ）｝／｜δＶｄ２ｍａｘ（ｊ）｜2
【００８７】
（５．窓関数の変形例）
上記実施形態では、音源を時系列方向の平均スペクトルを基礎とした特徴データを生成した。しかし、一般に音は、図１０（ａ）に示すように、音の立ち上がり部（アタックとディケイ）、定常部（サステイン）、立下り部（リリース）の４相でスペクトルが動的に変化するため、その特徴を単一な平均スペクトルを基礎として表現するのは適切ではない。例えば、ある音響信号の時間軸を逆転させた逆回し波形は平均スペクトルに変化はないが、図１０（ｂ）（ｃ）に示すように、波形が時間軸方向で反対になるため、音色が劇的に変化する。
【００８８】
上記実施形態では、フーリエ変換を行う場合、全ての音響フレームに対して、一律にハニング窓である窓関数Ｗ（ｉ）を用いているが、ハニング窓は、左右対称な形状であるため、逆回し波形を識別できないという問題がある。逆回し波形とは、ある音響信号の時間軸を逆転させたものである。例えば、ピアノの音色の音響信号を逆方向から再生した場合、オルガン風音色となるが、左右対称（正確には時間軸方向に前後対称）な上記窓関数Ｗ（ｉ）では、両者の違いを識別することができない。
【００８９】
このような逆回し波形にも対応可能とするため、本発明では、図１１（ａ）に示すような上記窓関数Ｗ（ｉ）に代えて左右非対称な２つの窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）を用いるようにすることもできる。窓関数Ｗ（１，ｉ）は、図１１（ｂ）に示すように所定のサンプル番号ｉの位置において、最大値１をとり、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（１，ｉ）の設計によって異なってくるが、本実施形態では、以下の〔数式１２〕で定義される。また、窓関数Ｗ（２，ｉ）は、図１１（ｃ）に示すように、所定のサンプル番号ｉの位置において、最大値１をとり、前部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（２，ｉ）の設計によって異なってくるが、本実施形態では、以下の〔数式１３〕で定義される。これらの窓関数は、特許文献３にも開示されているように公知の窓関数である。
【００９０】
〔数式１２〕
ｉ≦Ｎ／８のとき、Ｗ（１，ｉ）＝０．０
Ｎ／８＜ｉ≦３Ｎ／８のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／８）／Ｎ）
３Ｎ／８＜ｉ≦１１Ｎ／１６のとき、Ｗ（１，ｉ）＝１．０
１１Ｎ／１６＜ｉ≦１３Ｎ／１６のとき、Ｗ（１，ｉ）＝０．５＋０．５ｃｏｓ（８π（ｉ−１１Ｎ／１６）／Ｎ）
ｉ＞１３Ｎ／１６のとき、Ｗ（１，ｉ）＝０．０
【００９１】
〔数式１３〕
ｉ≦３Ｎ／１６のとき、Ｗ（２，ｉ）＝０．０
３Ｎ／１６＜ｉ≦５Ｎ／１６のとき、Ｗ（２，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−３Ｎ／１６）／Ｎ）
５Ｎ／１６＜ｉ≦５Ｎ／８のとき、Ｗ（２，ｉ）＝１．０
５Ｎ／８＜ｉ≦７Ｎ／８のとき、Ｗ（２，ｉ）＝０．５＋０．５ｃｏｓ（４π（ｉ−５Ｎ／８）／Ｎ）
ｉ＞７Ｎ／８のとき、Ｗ（２，ｉ）＝０．０
【００９２】
このように、左右非対称な２つの窓関数を用いることにより、通常再生の場合と逆回し波形との識別を行うことが可能となる。ただし、逆回し波形は品質上の問題から使用される頻度は少なく、実際のピアノ音色とオルガン音色の波形は互いに時間軸反転させたような単純な形状ではないため、上記Ｗ（ｉ）のような対象は窓関数を用いても、通常の音源の識別は可能である。
【００９３】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、特徴データとして、各周波数に重みを乗じたものから平均値を減じた偏差ベクトルを算出するようにしたが、平均値を減じない状態のベクトルを特徴データとしても良い。
【符号の説明】
【００９４】
１、１ａ・・・ＣＰＵ
２、２ａ・・・ＲＡＭ
３、３ａ・・・記憶装置
４、４ａ・・・キー入力Ｉ／Ｆ
５、５ａ・・・データ入出力Ｉ／Ｆ
６、６ａ・・・表示出力Ｉ／Ｆ
７ａ・・・音声入力Ｉ／Ｆ
１０・・・無音区間削除手段
２０・・・音響フレーム読込手段
３０・・・特徴データ生成手段
３１・・・特徴データ補正手段
４０・・・特徴データ登録手段
５０・・・音源データベース
６０・・・マイクロフォン
７０・・・音響信号取得手段
８０・・・音源データベース検索手段
９０・・・音源情報出力手段
【図１】
0005879813.tif 000002
【図２】
0005879813.tif 000003
【図３】
0005879813.tif 000004
【図４】
0005879813.tif 000005
【図５】
0005879813.tif 000006
【図６】
0005879813.tif 000007
【図７】
0005879813.tif 000008
【図８】
0005879813.tif 000009
【図９】
0005879813.tif 000010
【図１０】
0005879813.tif 000011
【図１１】
0005879813.tif 000012