(57)【要約】【課題】多重音信号からスペクトル包絡特徴とスペクトル微細構造特徴とパワー時間包絡特徴から成る三要素特徴を抽出する際に、音の特徴的なスペクトル包絡構造および特徴的な微細構造を個別に学習できるようにする。【解決手段】入力音響信号のパワースペクトルの時系列を出力し（ステップＳ１）、スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴から成る三要素特徴の初期値を生成し、三要素についての所定の拘束条件下で、更新された三要素特徴から得られるパワースペクトル時系列モデルが、音響信号のパワースペクトルの時系列に近似するように当該三要素特徴の更新値を計算し（ステップＳ２）、三要素特徴更新過程の繰り返しが所定の規準を満たしたかどうかを判定する。基準を満たしていない場合には三要素特徴更新過程を行わせ（ステップＳ４）、規準を満たすと判定されたら三要素特徴の更新値を出力する（ステップＳ５）。【選択図】図１
2009204808.tif 000002
【特許請求の範囲】
【請求項１】
音響信号を入力としてパワースペクトルの時系列を出力する周波数解析過程と、
前記周波数解析過程において出力されたパワースペクトル時系列を入力としてスペクトル包絡特徴、スペクトル微細構造特徴、及び、パワー時間包絡特徴から成る三要素特徴の初期値を生成する初期三要素特徴生成過程と、
前記三要素についての所定の拘束条件下において、更新された三要素特徴から得られるパワースペクトル時系列モデルが、前記周波数解析過程において出力された音響信号のパワースペクトルの時系列に近似するように当該三要素特徴の更新値を計算し、出力する三要素特徴更新過程と、
前記三要素特徴更新過程の繰り返しが、繰り返しを終了するための所定の規準を満たしたかどうかを判定し、満たしていない場合には再び三要素特徴更新過程を行わせる収束判定過程と、
前記収束判定過程において所定の規準を満たすと判定された場合に、三要素特徴の更新値を出力する三要素特徴出力過程と、
を有することを特徴とする音響特徴抽出方法。
【請求項２】
前記三要素特徴更新過程は、さらに、
前記スペクトル包絡特徴と前記スペクトル微細構造特徴と前記パワー時間包絡特徴の要素値の正負を判定する特徴要素値符号評価過程と、
前記スペクトル包絡特徴の要素値の連続性を判定するスペクトル包絡特徴連続性評価過程と、
前記パワー時間包絡特徴のスパース性を評価するパワー時間包絡スパース性評価過程と、
前記周波数解析過程において出力されたパワースペクトル時系列と前記三要素特徴によって構成されるパワースペクトル時系列との近さを評価する特徴近似誤差評価過程とを有する
ことを特徴とする請求項１に記載の音響特徴抽出方法。
【請求項３】
音響信号を入力として、パワースペクトルの時系列を生成して出力する入力信号パワースペクトル時系列生成部と、
前記入力信号パワースペクトル時系列生成部により出力されたパワースペクトル時系列から生成された、スペクトル包絡特徴、スペクトル微細構造特徴、及び、パワー時間包絡特徴から成る三要素特徴、あるいは、任意の三要素特徴を初期値とし、三要素特徴についての所定の拘束条件下において、更新された三要素特徴から得られるパワースペクトル時系列モデルが、入力信号パワースペクトル時系列生成部により出力されたパワースペクトルの時系列に近似するように三要素特徴の更新値を計算して出力する三要素特徴更新部と、
前記三要素特徴更新部により出力された三要素からパワースペクトル時系列モデルを生成する三要素特徴パワースペクトル時系列生成部と、
前記入力信号パワースペクトル時系列生成部により出力されたパワースペクトルの時系列と、前記三要素特徴パワースペクトル時系列生成部により出力されたパワースペクトル時系列モデルとを比較し、所定の基準を満たしていない場合には前記三要素特徴更新部に再び三要素特徴の更新値を計算させ、前記所定の規準を満たす場合には、当該三要素特徴の更新値を出力する比較判定部と、
を備えることを特徴とする音響特徴抽出装置。
【請求項４】
前記三要素特徴パワースペクトル時系列生成部は、
前記スペクトル包絡特徴を、要素値が負の値とならず、かつ、当該要素値が連続性を有するように更新するスペクトル包絡特徴更新部と、
前記スペクトル微細構造特徴を、要素値が負の値とならないように更新するスペクトル微細特徴更新部と、
前記パワー時間包絡特徴を、要素値が負の値とならず、かつ、パワー時間包絡特徴のスパース性を有するよう更新するパワー時間包絡特徴更新部とを含むことを特徴とする請求項３に記載の音響特徴抽出装置。
【請求項５】
請求項３または請求項４に記載の音響特徴抽出装置としてコンピュータを動作させることを特徴とするコンピュータプログラム。
【請求項６】
請求項３または請求項４に記載の音響特徴抽出装置としてコンピュータを動作させることを特徴とするコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音が同時に混在する多重音信号から、スペクトル包絡特徴とスペクトル微細構造特徴とパワー時間包絡特徴から成る三要素特徴を抽出する音響特徴抽出方法及び、その装置、そのプログラム、そのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
一般に音の短時間スペクトルは、大きく分けて、スペクトル微細構造とスペクトル包絡構造によって特微づけられる。ある駆動信号を入力とした線形の共振フィルタからの出力を音のモデルと考えた場合に、微細構造は駆動信号の周波数特性に、包絡構造は共振特性にそれぞれ対応する。
【０００３】
線形フィルタには入力信号の成分の周波数を変化させる機能はないため、出力信号の周期性の有無やその周期（基本周波数の逆数）は駆動信号のみによって決まる。特に楽音（瞬時瞬時において周期性を有する音）の微細構造は、基本周波数とその整数倍の周波数（高調波）に鋭いピークをもったくし型状のスペクトル構造（調波構造と呼ぶ。）となる。そして、基本周波数成分および高調波成分のピークを滑らかにつないだ曲線がスペクトル包絡となる。
【０００４】
基本周波数は楽音の音高に対応する物理量であり、スペクトル包絡は一般に楽器の種類ごとに異なるものであり、楽器の種類や音色に関係する物理量である。さらに、このような構造をもった短時間スペクトルが時間方向に変化することで、楽音の時間周波数スペクトル構造が形成される。従って、音の特徴は、瞬時のスペクトル微細構造およびスペクトル包絡構造とこれらの時間変化の仕方によって決まる。
【０００５】
従来から音楽などのように複数の音が同時に混在する音響信号（以後、多重音信号）から、各音の基本周波数（音高に対応）、スペクトル包絡（音高に依らない瞬時の音響的特徴に対応）、パワー包絡（音の大きさの時間変化に対応）を推定する技術（以後、多重音特徴抽出技術）は数多く提案されている。この技術は、例えば音楽音響信号からその楽曲のメロディー、和音構成、楽器構成等を自動的に同定するのに大変役立つものであり、インターネット上での音楽コンテンツの不正使用を取り締まる著作権チェックや、ユーザが提示したクエリ楽曲に対してそれと同一曲名の楽曲ないし類似した楽曲が検索可能な高機能な音楽検索システム等への応用が期待されている。
【０００６】
具体的には、例えば、もし、時間周波数の各点に音名や音響特徴に関するラベルが付与された、音響特徴情報付きスペクトログラムを作ることができれば、スペクトログラムを用いた従来の音楽探索技術を応用し、その探索対象や機能を拡張できる可能性がある。しかしながら、従来の多重音特徴抽出技術の性能は決して実用レベルには至っていないのが現状である。
【０００７】
多重音特徴抽出技術における難しさの本質は、各音の基本周波数が未知のもとでは各音のスペクトル包絡の推定が難しく、―方で、スペクトル包絡が来知のもとでは、各音の基本周波数の推定が難しいため、双方の推定はいわば鶏と卵の問題である点にある。このため、従来の多重音特徴抽出技術では、問題を単純化するために、（１）入力音響信号の構成音はすべて楽音（瞬時瞬時において周期性を有する音）とする仮定、および、（２）入力音響信号の構成音のスペクトル包絡に関する何らかの事前情報、を利用することが多い。
【０００８】
例えば、非特許文献１の手法や非特許文献２の手法では、楽音のパワースペクトルモデルの調波成分のパワー比がある特定の比率になった（パワースペクトルモデルのスペクトル包絡がある特定の形状になった）ときに最もコストが小さくなり、それから逸脱すればするほどコストが大きくなるようなペナルティ関数を設け、楽音パワースペクトルモデルの重ね合わせと観測多重音パワースペクトルとの近さを表すコスト関数とそのペナルティ関数の和を最小化する最適化問題（モデルと観測を近くするだけでなくモデルのスペクトル包絡が特定の形状になるようなモデルパラメータの解を得る問題）として、多重音特徴抽出問題を定式化している。
【０００９】
上記（１）、（２）により明らかであるが、これらの従来手法は、楽音でない音（ドラム音等）が入力音響信号に含まれる場合や、スペクトル包絡に関する事前情報と実際のスペクトル包絡との間にミスマッチがある場合や、事前情報をそもそも有してすらいない場合にはうまく動作しないことが多い。
【００１０】
これに対し、非負値行列分解（ＮＭＦ）と呼ぶ原理に基づく多重音特徴抽出法（非特許文献３）は、楽曲中に頻出する共通のスペクトル構造を自己組織化的に学習するもので、音に関する性質の仮定（調波性の仮定やスペクトル包絡の形状に関する仮定）を置かずに楽曲中の各音のスペクトルを個別に推定することができる手法として、近年注目されている。
【００１１】
ＮＭＦに基づく多重音特徴抽出法は、スペクトログラム（パワースペクトルの時間周波数表現）を直接的に行列Ｙと見なし、これを２つの非負値行列（各要素がすべて非負であるような行列）Ｗ、Ｕの積で最も良く近似（誤差を最小化）するようにＷとＵを求めるものである。ＷとＵをそれぞれ基底行列と重み行列と呼び、行列積ＷＵの１列目のベクトルはＷの各列の列ベクトルの重みつき和となっており、Ｕの１列目の列ベクトルの要素がその重み係数となっているわけである。従って、列数が小さいＷ（少ない種類の基底ベクトルだけ）で、できるだけＷＵをＹに近づけるためには、Ｗの各列ベクトルがＹの中に頻出する共通のパワースペクトルパターンとなっている方が、誤差最小化の観点で合理的であるという考え方である。以上がＮＭＦに基づく多重音特徴抽出法の動作原理の要点である。
【非特許文献１】M. Goto,"A Real-Time Music-Scene-Description System: Predominant-FO Estimation for Detecting Melody and Bass Lines in Real-World Audio Signals,” Speech Communication (ISCA Journal Vol. 43, No. 4, pp. 311-329, 2004.
【非特許文献２】Hirokazu Kameoka, Takuya Nishimoto, Shigeki Sagayama, "A Multipitch Analyzer Based on Harmonic Temporal Structured Clustering," IEEE Trans. on Audio, Speech and Language Processing, Vol. 15, No. 3, pp. 982-994, 2007.
【非特許文献３】P. Smaragdis, J. C. Brown,"Non-Negative Matrix Factorization for Music Transcription,"ln Proc. 2003 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA2003), pp. 177-180,2003.
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したように、ＮＭＦに基づく多重音特徴抽出法は、同じ構造のパワースペクトルが頻繁に現れないと原理的にうまく動作しないわけであるが、実際の楽曲中に、スペクトル包絡とスペクトル微細構造がどちらもたまたま共通であるようなスペクトル構造は必ずしも頻繁に現れない。
【００１３】
例えば、同一楽器で、かつ同一の音高が弾かれた場合には、極めて類似したパワースペクトル構造が観測されうるが、わずかでも異なる音高で弾かれれば、あるいは異なる楽器で弾かれれば、たとえスペクトル包絡またはスペクトル微細構造のいずれかが同一であったとしても、パワースペクトル構造に着目すれば全く異なるものとなる。
【００１４】
従来のＮＭＦに基づく多重音特徴抽出法は、音に関する性質の仮定を置かずに多重音の分析が可能であるという利点はあるものの、多重音中に含まれる音の特徴的なスペクトル包絡構造および特徴的な微細構造を個別に学習できない。
【００１５】
上述の課題を鑑み、本発明は、音の特徴的なスペクトル包絡構造および特徴的な微細構造を個別に学習するようにして、多重音特徴抽出の学習の効率化を図り、性能を向上するようにした音響特徴抽出方法及び、その装置、そのプログラム、そのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上述の課題を解決するために、本発明は、音響信号を入力としてパワースペクトルの時系列を出力する周波数解析過程と、前記周波数解析過程において出力されたパワースペクトル時系列を入力としてスペクトル包絡特徴、スペクトル微細構造特徴、及び、パワー時間包絡特徴から成る三要素特徴の初期値を生成する初期三要素特徴生成過程と、前記三要素についての所定の拘束条件下において、更新された三要素特徴から得られるパワースペクトル時系列モデルが、前記周波数解析過程において出力された音響信号のパワースペクトルの時系列に近似するように当該三要素特徴の更新値を計算し、出力する三要素特徴更新過程と、前記三要素特徴更新過程の繰り返しが、繰り返しを終了するための所定の規準を満たしたかどうかを判定し、満たしていない場合には再び三要素特徴更新過程を行わせる収束判定過程と、前記収束判定過程において所定の規準を満たすと判定された場合に、三要素特徴の更新値を出力する三要素特徴出力過程と、を有することを特徴とする音響特徴抽出方法である。
【００１７】
上記の発明において、前記三要素特徴更新過程は、さらに、前記スペクトル包絡特徴と前記スペクトル微細構造特徴と前記パワー時間包絡特徴の要素値の正負を判定する特徴要素値符号評価過程と、前記スペクトル包絡特徴の要素値の連続性を判定するスペクトル包絡特徴連続性評価過程と、前記パワー時間包絡特徴のスパース性を評価するパワー時間包絡スパース性評価過程と、前記周波数解析過程において出力されたパワースペクトル時系列と前記三要素特徴によって構成されるパワースペクトル時系列との近さを評価する特徴近似誤差評価過程とを有することを特徴とする。
【００１８】
本発明は、音響信号を入力として、パワースペクトルの時系列を生成して出力する入力信号パワースペクトル時系列生成部と、前記入力信号パワースペクトル時系列生成部により出力されたパワースペクトル時系列から生成された、スペクトル包絡特徴、スペクトル微細構造特徴、及び、パワー時間包絡特徴から成る三要素特徴、あるいは、任意の三要素特徴を初期値とし、三要素特徴についての所定の拘束条件下において、更新された三要素特徴から得られるパワースペクトル時系列モデルが、入力信号パワースペクトル時系列生成部により出力されたパワースペクトルの時系列に近似するように三要素特徴の更新値を計算し、出力する三要素特徴更新部と、前記三要素特徴更新部により出力された三要素からパワースペクトル時系列モデルを生成する三要素特徴パワースペクトル時系列生成部と、前記入力信号パワースペクトル時系列生成部により出力されたパワースペクトルの時系列と、前記三要素特徴パワースペクトル時系列生成部により出力されたパワースペクトル時系列モデルとを比較し、所定の基準を満たしていない場合には前記三要素特徴更新部に再び三要素特徴の更新値を計算させ、前記所定の規準を満たす場合には、当該三要素特徴の更新値を出力する比較判定部と、を備えることを特徴とする音響特徴抽出装置である。
【００１９】
上記発明において、前記三要素特徴パワースペクトル時系列生成部は、前記スペクトル包絡特徴を、要素値が負の値とならず、かつ、当該要素値が連続性を有するように更新するスペクトル包絡特徴更新部と、前記スペクトル微細構造特徴を、要素値が負の値とならないように更新するスペクトル微細特徴更新部と、前記パワー時間包絡特徴を、要素値が負の値とならず、かつ、パワー時間包絡特徴のスパース性を有するよう更新するパワー時間包絡特徴更新部とを含むことを特徴とする。
【００２０】
本発明は、上記の音響特徴抽出装置としてコンピュータを動作させるためのプログラム及びそのプログラムを記録した記録媒体である。
【発明の効果】
【００２１】
本発明によれば、スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴の三要素を一定の拘束条件化しており、この拘束条件により、観測多重音スペクトル中に、微細構造が異なっていたとしても、包絡構造が同一な音が何度も現れていれば、その包絡形状がスペクトル包絡基底ベクトルの１つとして学習され、同様に、包絡構造が異なっていたとしても、微細構造が同一な音が何度も現れていれば、その微細構造が微細構造基底ベクトルの１つとして学習されることになる。このため、多重音中に含まれる音の特徴的なスペクトル包絡構造および特徴的な微細構造を個別に学習することができ、多重音特徴抽出の学習の効率化が図れる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。本発明で提案する手法は、簡潔に言えば、Ｊ個のスペクトル包絡基底ベクトルと、Ｉ個の微細構造基底ベクトルの全組み合わせの直積(２つのベクトルの要素同士の積をとったベクトル)を、スペクトル基底ベクトル（行列Ｗの各列ベクトル）としたＮＭＦ（非負値行列分解）である。
【００２３】
従来のＮＭＦでは各スペクトル基底ベクトルは、それぞれ自由度をもち、互いに拘束関係を持たないが、本発明で提案する手法では、各スペクトル基底ベクトルは、互いに拘束関係にある点が特徴的である。この拘束により、観測多重音スペクトル中に、微細構造が異なっていたとしても、包絡構造が同一な音が何度も現れていれば、その包絡形状がスペクトル包絡基底ベクトルの１つとして学習され、同様に、包絡構造が異なっていたとしても、微細構造が同一な音が何度も現れていれば、その微細構造が微細構造基底ベクトルの１つとして学習される。その結果、多重音中に含まれる音の特徴的なスペクトル包絡構造および特徴的な微細構造を個別に学習することができる。
【００２４】
以下で、上述の考察を具体化していくとともに、最適化アルゴリズムが導出できることを確認する。図１に、本実施の形態による音響特徴抽出装置における音響特徴抽出処理のフローチャートを示す。
【００２５】
駆動音源信号のスペクトルをＨ（ｘ）、共振系の周波数応答をＡ（ｘ）とすると、この系から生成される出力信号のスペクトルＳ（ｘ）は
【００２６】
【数１】
2009204808.tif 000003
【００２７】
で与えられる。ただし、ｘは周波数あるいは対数周波数である。
【００２８】
【数２】
2009204808.tif 000004
【００２９】
とすると（‖・‖は、ノルムを表す）、
【００３０】
【数３】
2009204808.tif 000005
【００３１】
である。
【００３２】
ここで、ｈ（ｘ）をスペクトル微細構造、ａ（ｘ）をスペクトル包絡と呼び、ａ（ｘ）は一定の滑らかさを保つｘの関数とする。音源ｓ（ｘ）の性質に関する仮定は、これ以外に一切置かない。
【００３３】
ｉ番目の駆動信号のパワースペクトル（スペクトル微細構造）をｈｉ（ｘ）、ｊ番目の共振系のスペクトル包絡をａｊ（ｘ）とすると、この系から生成される出力信号（以後、（ｉ，ｊ）番目の音源）のパワースペクトルは、式（１）より
【００３４】
【数４】
2009204808.tif 000006
【００３５】
と置ける。
【００３６】
これにより、Ｉ種類の駆動信号とＪ種類の共振系の全組み合わせ、すなわちＩ×Ｊ種類の音源のパワースペクトルが表現できる。そして、実世界音響信号を、これらが混合されたものと見なしてモデル化する。
【００３７】
時刻ｔにおける（ｉ，ｊ）番目の音源のパワー包絡をｕｉ，ｊ（ｔ）とすると、
【００３８】
【数５】
2009204808.tif 000007
【００３９】
により、時刻ｔにおける実世界音響信号のパワースペクトルを表現できる。
【００４０】
ｘ、ｔをいずれも離散値とすると、式（３）は行列表現できる。
【００４１】
すなわち、
【００４２】
【数６】
2009204808.tif 000008
【００４３】
と置いて、スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴を式のように表す。すなわち、
【００４４】
スペクトル包絡特徴：
【００４５】
【数７】
2009204808.tif 000009
【００４６】
スペクトル微細構造特徴：
【００４７】
【数８】
2009204808.tif 000010
【００４８】
パワー時間包絡特徴：
【００４９】
【数９】
2009204808.tif 000011
【００５０】
として表される（右肩のＴの文字は行列の転置を、diagは対角行列を表す）。これらを使って上式を表記し直すと、
【００５１】
【数１０】
2009204808.tif 000012
【００５２】
と書ける。
【００５３】
なお、以後、スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴をまとめて三要素特徴と呼ぶ。また、行列Ｆは、各列が時刻、各行が周波数に対応するため、スペクトログラムを直接的に行列化したようなものであり、これをパワースペクトル時系列モデルと呼ぶ。
【００５４】
従来のＮＭＦでは２つの行列の積で観測スペクトログラムをモデル化していたのに対し、本発明では式（７）のような形でモデル化したことが、本発明と従来のＮＭＦとの違いである。
【００５５】
入力音響信号のパワースペクトル時系列を同様に行列化したものをＹとするとき、
【００５６】
【数１１】
2009204808.tif 000013
【００５７】
となるＡｊ（スペクトル包絡特徴行列），Ｈ（スペクトル微細構造特徴），Ｕｊ（パワー時間包絡特徴）を求めたい。
【００５８】
入力音響信号のパワースペクトル時系列Ｙは、短時間フーリエ変換やウェーブレッド変換などで算出する（ステップＳ１：周波数解析過程）。ただし、Ａｊの対角成分はスペクトル包絡、Ｈの各列ベクトルは駆動信号のパワースペクトル、Ｕｊはパワーを表すので、これらの要素はすべて非負である必要がある。
【００５９】
三要素の特徴行列Ｆがパワースペクトル時系列行列Ｙに近いほど小さい値をとるような適切なコスト関数（これをＤ（Ｆ，Ｙ）と置く。）を定義すると、式（８）はこのコスト関数を小さくするように、スペクトル包絡特徴行列Ａｊ、スペクトル微細構造特徴Ｈ、パワー時間包絡特徴Ｕｊを求める問題として定式化できる。コスト関数は、スペクトル包絡特徴の連続性を評価する関数と、パワー時間包絡特徴のスパース性を評価する関数と、パワースペクトル時系列と三要素特徴によって構成されるパワースペクトル時系列との近さを評価する関数の和で表現できる。コスト関数Ｄ（Ｆ，Ｙ）の具体形については後述する。
【００６０】
以下では、コスト関数Ｄ（Ｆ，Ｙ）を最小化する最適近似問題の解を一意に求めるための変数Ａｊ、Ｈ、Ｕｊに関する制約条件と、２つの正則化項について述べる。
【００６１】
＜制約条件＞
スペクトル包絡特徴行列Ａｊ、スペクトル微細構造特徴Ｈ、パワー時間包絡特徴Ｕｊにはスケールの任意性があり、同一な三要素特徴行列Ｆを与えるＡｊ、Ｈ、Ｕｊは無数に存在するため、式（８）の最適解は無数に存在することになる。例えば、スペクトル包絡特徴行列Ａｊをすべてある定数で乗じた場合には、その逆数をスペクトル微細構造特徴Ｈに乗じれば式（７）の結果は当然等しくなる。このスケールの任意性を除くために以下の制約を置く。
【００６２】
【数１２】
2009204808.tif 000014
【００６３】
＜正則化項１＞
式（２）が示すとおり、同一のｓｉ，ｊ（ｘ）を表すａｊ（ｘ）およびｈｉ（ｘ）の組み合わせは無数に存在するゆえ、式（８）は不良設定問題である。従って、式（８）で得られる最適解の１つは、必ずしもａｊ（ｘ）およびｈｉ（ｘ）がそれぞれスペクトル包絡とスペクトル微細構造に対応するような解となっているとは限らない。これは、ａｊ（ｘ）およびｈｉ（ｘ）に構造的制約を課していないために当然のことである。そこで、ａｊ（ｘ）が滑らかなｘの関数となるような制約を与えれば、式（８）の不良設定性が解消される。制約の与え方はさまざま考えられるが、ここでは、スペクトル包絡ａｊ（ｘ）が滑らかなほど小さい値をとるような、スペクトル包絡特徴連続性評価関数
【００６４】
【数１３】
2009204808.tif 000015
【００６５】
を定義し、コスト関数Ｄ（Ｆ，Ｙ）とともに、スペクトル包絡特徴連続性評価関数
【００６６】
【数１４】
2009204808.tif 000016
【００６７】
も同時に小さくするように、スペクトル包絡特徴行列Ａｊ、スペクトル微細構造特徴Ｈ，パワー時間包絡特徴Ｕｊを求める制約つき最適化問題を解けば良い。スペクトル包絡特徴連続性評価関数
【００６８】
【数１５】
2009204808.tif 000017
【００６９】
の具体形については後述する。
【００７０】
＜正則化項２＞
従来のＮＭＦモデルＦ＝ＷＵにおいて、重み行列Ｕができるだけスパース（行列の要素のほとんどが０）であるようにＹ≒ＦとなるＷ，Ｕの解を探すことにより、各スペクトル基底ベクトル（Ｗの列ベクトル）が単体で、頻発するスペクトル構造を良く表したものとなるようにＷの推定結果を誘導できることが知られている（非特許文献４：P. O. Hoyer. "Non-negative Matrix Factorization with Sparseness Constraints, "The Journal of Machine Learning Research, Vol. 5, pp. 1457-1469, 2004.）。この性質は、本発明の手法にもそのまま当てはまる。すなわち、重み行列Ｕ１，・・・，が全てできるだけスパースであるように、
【００７１】
【数１６】
2009204808.tif 000018
【００７２】
となるスペクトル包絡特徴行列Ａｊ，スペクトル微細構造特徴Ｈ，パワー時間包絡特徴Ｕｊの解を探すことにより、ａｊ（ｘ）およびｈｉ（ｘ）が単体で、頻発するスペクトル包絡およびスペクトル微細構造を良く表したものとなるようにスペクトル包絡特徴行列Ａｊ、スペクトル微細構造特徴Ｈの推定結果を誘導できると考えられる。従って、上記同様、パワー時間包絡特徴Ｕｊのスパース性に関する評価関数（これをβ（ｕｊ）と置く。）を定義し、コスト関数Ｄ（Ｆ，Ｙ）、スペクトル包絡特徴連続性評価関数
【００７３】
【数１７】
2009204808.tif 000019
【００７４】
とともに、スパース性に関する評価関数
【００７５】
【数１８】
2009204808.tif 000020
【００７６】
も同時に小さくするように、スペクトル包絡特徴行列Ａｊ，スペクトル微細構造特徴Ｈ，パワー時間包絡特徴Ｕｊを求める制約つき最適化問題を解けば良い。スパース性に関する評価関数β（ｕｊ）の具体形については後述する。
【００７７】
＜最適化アルゴリズム１＞
以上より、最適化問題は次のようにまとめられる。
【００７８】
【数１９】
2009204808.tif 000021
【００７９】
ただし、μ，γは２つの正則化項の重み定数である。上記の最適化問題のスペクトル包絡特徴行列Ａｊ，スペクトル微細構造特徴Ｈ，パワー時間包絡特徴Ｕｊの局所最適解は、射影勾配法により数値計算することができる。以下で、コスト関数Ｄ（Ｆ，Ｙ）にB r e g m a nダイバージェンス（非特許文献５：L. M. Bregman, "The Relaxation Method of Findine the Common Points of Convex Sets and Its Application to the Solution of Problems in Convex Programming, " USSR Computational Mathematics and Mathematical Physics, Vol. 7, pp. 200-217, 1967.）と呼ぶ尺度を仮定し、それをもとに、スペクトル包絡特徴行列Ａｊ，スペクトル微細構造特徴Ｈ，パワー時間包絡特徴Ｕｊの射影勾配法による更新公式を導く。
【００８０】
【数２０】
2009204808.tif 000022
【００８１】
の近さを表す尺度であるＢｒｅｇｍａｎダイバージェンスは、
【００８２】
【数２１】
2009204808.tif 000023
【００８３】
の形で与えられる。ただし、φ；Ｓ→Ｒは任意の微分可能な凸関数であり、φの選び方に依ってさまざまな種類の歪み尺度を式（１１）の形として統一的に表すことができる。これを用いて、２つの実数値行列Ｘ，Ｙの近さは、
【００８４】
【数２２】
2009204808.tif 000024
【００８５】
で測ることができる。
【００８６】
例えば、もし、
【００８７】
【数２３】
2009204808.tif 000025
を選べば、Ｄφ（Ｘ，Ｙ）は
【００８８】
【数２４】
2009204808.tif 000026
【００８９】
となり、ＸとＹとの間の誤差行列のフロベニウスノルムと等しくなる。
【００９０】
また、例えば、もし、
【００９１】
【数２５】
2009204808.tif 000027
【００９２】
を選べば、Ｄφ（Ｘ，Ｙ）は行列Ｘ，Ｙの全要素間のＩダイバージェンス
【００９３】
【数２６】
2009204808.tif 000028
【００９４】
と等しくなる。
【００９５】
Ｂｒｅｇｍａｎダイバージェンスは非対称な歪み尺度なので、コスト関数Ｄ（Ｆ，Ｙ）は
【００９６】
【数２７】
2009204808.tif 000029
【００９７】
の２通り定義しておくことにする。従って、最小化すべき目的関数は２系統あり、それぞれ以下のとおりである。
【００９８】
【数２８】
2009204808.tif 000030
【００９９】
スペクトル包絡特徴行列Ａｊ，スペクトル微細構造特徴Ｈ，パワー時間包絡特徴Ｕｊの初期値を適当に設定し、Ｊ１あるいはＪ２を反復的に小さくするアルゴリズムとして、ここでは射影勾配法を用いる。ここでは、初期値は初期三要素特徴生成過程（ステップＳ２）において、入力音響信号のパワースペクトル時系列Ｙから算出するが、任意の値を用いてもよい。ｔ回目の反復計算における三要素特徴パラメータ
【０１００】
【数２９】
2009204808.tif 000031
【０１０１】
の更新値をそれぞれ
【０１０２】
【数３０】
2009204808.tif 000032
【０１０３】
と表記することにすると、更新公式は以下のとおりである。
【０１０４】
目的関数がＪ１の場合：
【０１０５】
【数３１】
2009204808.tif 000033
【０１０６】
目的関数がＪ２の場合：
【０１０７】
【数３２】
2009204808.tif 000034
【０１０８】
ただし、
【０１０９】
【数３３】
2009204808.tif 000035
【０１１０】
である。
【０１１１】
目的関数とそれぞれの三要素特徴パラメータの更新公式ｍａｘ｛０，ｆｕｎｃｔｉｏｎ｝のｆｕｎｃｔｉｏｎは、現在の三要素特徴パラメータ値における目的関数の傾きに比例した大きさの定数を現在の三要素特徴パラメータに加えた値となっている。ｍａｘ｛０，ｆｕｎｃｔｉｏｎ｝は、そのようにして更新された値がもし負になった場合には０に補正する演算を表す。
ただし、スペクトル包絡特徴パラメータおよびスペクトル微細構造特徴パラメータに関しては、この後にさらに正規化する演算がなされる。
【０１１２】
また、η（ｔ）は学習係数と呼ぶ正の定数であり、反復計算回数に依らず一定値に定めておくやり方や、反復計算ごとにラインサーチにより逐次的に求めるやり方などがある。
【０１１３】
上記の反復計算を行っていき、収束判定過程では（ステップＳ４）、パラメータの更新が所定回数行われた場合、または、パラメータ更新に伴う目的関数値の変化の大きさが所定値より小さくなった場合、または、パラメータ更新に伴うパラメータ値の変化の大きさが所定値より小さくなった場合、反復計算は終了と判定する。そして、反復計算が終了した時点の三要素特徴、あるいは、終了した時点までの最も目的関数値が小さいときの三要素特徴が出力されることになる（ステップＳ５）。
【０１１４】
以上より、φ、α、βを適切に定義することで三要素特徴パラメータの更新式の具体形が定まる。以下に、φ、α、βのいくつかの具体例を挙げる。
【０１１５】
φの具体例：
【０１１６】
【数３４】
2009204808.tif 000036
【０１１７】
αの具体例：
【０１１８】
【数３５】
2009204808.tif 000037
【０１１９】
αの具体例２．については、H. Kameoka "Statistical Approach to Multipitch Analysis,"  Ph.D. Thesis, The University of Tokyo, 2007.（非特許文献６）を参照のこと。
【０１２０】
βの具体例：
【０１２１】
【数３６】
2009204808.tif 000038
βの具体例２．については、J. Karvanen, A. Cichocki, "Measuring Sparseness of Noisy Signals," In Proc. 4th International Symposium on Independent Component Analysis and Blind Signal Separation (ICA2003), pp.125-130,2003.（非特許文献７）を参照のこと。
【０１２２】
＜最適化アルゴリズム２＞
以上では、スペクトル微細構造特徴を表す行列Ｈを、式（５）のように各列ベクトルがそれぞれ自由度をもつように定義していたが、その代わりに、行列Ｈの列ベクトルを、単一のベクトルｈの要素をシフトしたもの、すなわち、
【０１２３】
【数３７】
2009204808.tif 000039
【０１２４】
として定義することも考えられる。ただし、OＮ×Ｍは要素がすべて０のＮ行Ｍ列の行列、ＩＮはＮ行Ｎ列の単位行列を表す。すなわち、行列Ｈのｉ列目の列ベクトルはベクトル
【０１２５】
【数３８】
2009204808.tif 000040
【０１２６】
をΔｉ（Δは定数とする。）だけシフトしたものと考えるため、行列Ｈはベクトルｈの要素の分の自由度しかもたない。式（２１）より、行列Ｈの要素は、定数行列Ωiを用いて
【０１２７】
【数３９】
2009204808.tif 000041
【０１２８】
と表すことができる。
【０１２９】
式（２２）を式（１３）および式（１４）に代入すると、スペクトル微細構造特徴にシフト拘束が設けられた場合の目的関数は次のように書かれる。
【０１３０】
【数４０】
2009204808.tif 000042
【０１３１】
この場合、三要素特徴パラメータはそれぞれ、
スペクトル包絡特徴：
【０１３２】
【数４１】
2009204808.tif 000043
【０１３３】
スペクトル微細構造特徴：
【０１３４】
【数４２】
2009204808.tif 000044
【０１３５】
パワー時間包絡特徴：
【０１３６】
【数４３】
2009204808.tif 000045
【０１３７】
である。以上の目的関数Ｊ３およびＪ４を最急降下法により降下させるための三要素特徴パラメータの更新公式は以下のとおりである。
【０１３８】
目的関数がＪ３の場合：
【０１３９】
【数４４】
2009204808.tif 000046
【０１４０】
目的関数がＪ４の場合：
【０１４１】
【数４５】
2009204808.tif 000047
【０１４２】
次に、本実施の形態による音響特徴抽出装置の構成を説明する。
図３は、本実施の形態による音響特徴抽出装置の機能ブロック図を示す。図３において、入力信号パワースペクトル時系列生成部１は、音響信号を入力として、パワースペクトルの時系列Ｙを生成して出力する。初期三要素特徴入力部２は、スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴からなる三要素特徴の初期値を入力する。
【０１４３】
三要素特徴パワースペクトル時系列生成部３は、三要素特徴更新部５により更新された三要素特徴を用いて、三要素特徴パワースペクトル時系列Ｆを生成する。そして、この三要素特徴パワースペクトル時系列Ｆを比較判定部４に送る。比較判定部４は、入力信号パワースペクトル時系列生成部１から出力された入力信号パワースペクトル時系列Ｙと、三要素特徴パワースペクトル時系列生成部３が出力した三要素特徴パワースペクトル時系列Ｆとを比較し、所定の基準を満たしたかを判定する。所定の基準を満たしていなければ、三要素特徴更新部５は、式（１５）〜式（１７）もしくは式（１８）〜式（２０）、または、式（２８）〜式（３０）もしくは式（３１）〜式（３３）に基づき、最急降下法等を用いて三要素特徴の更新値を計算し、三要素特徴パワースペクトル時系列生成部３に送る。所定の基準を満たしたら、比較判定部４は、三要素特徴（スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴）を出力する。
【０１４４】
図４は、三要素特徴パワースペクトル時系列生成部３の詳細な構成を示す機能ブロック図である。スペクトル包絡特徴更新部１１は、スペクトル包絡特徴の要素値が負にならないように、また、スペクトル包絡特徴の連続性を判定して、スペクトル包絡特徴を更新する。スペクトル微細特徴更新部１２は、スペクトル微細構造特徴の要素値が負にならないように、スペクトル微細構造特徴を更新する。パワー時間包絡特徴更新部１３は、パワー時間包絡特徴の要素値が負にならないように、また、パワー時間包絡特徴のスパース性を評価して、パワー時間包絡特徴を更新する。
【０１４５】
そして、上述した構成において、図１に示す、ステップＳ１の周波数解析過程で、入力信号パワースペクトル時系列生成部１は、音響信号を入力としてパワースペクトルの時系列Ｙを出力する。入力音響信号のパワースペクトル時系列Ｙは、短時間フーリエ変換やウェーブレット変換により求められる。
【０１４６】
ステップＳ２の初期三要素特徴生成過程で、三要素特徴パワースペクトル時系列生成部３は、パワースペクトル時系列Ｙを入力として、スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴からなる三要素特徴の初期値を生成する。三要素特徴の初期値は、式（４）〜式（６）、または式（２５）〜式（２７）に示すようにして生成される。あるいは、初期三要素特徴入力部２により三要素特徴の初期値を入力するようにしてもよい。
【０１４７】
ステップＳ３の三要素特徴更新過程で、三要素特徴更新部５は、式（１３）もしくは式（１４）で示される目的関数、または、式（２３）もしくは式（２４）で示される目的関数を最小とするように、Ａｊ、Ｈ、Ｕｊの三要素特徴の更新を行う。三要素特徴更新過程における更新のアルゴリズムは、式（１５）〜式（１７）もしくは式（１８）〜式（２０）、または、式（２８）〜式（３０）もしくは式（３１）〜式（３３）に示したように行われる。
【０１４８】
ここで、図２に示すように、ステップＳ３の三要素特徴更新過程では、スペクトル包絡特徴と、スペクトル微細構造特徴と、パワー時間包絡特徴の正負を判定する特徴要素値符号評価過程（ステップＳ３−１）と、スペクトル包絡特徴要素値の連続性を判定するスペクトル包絡特徴連続性評価過程（ステップＳ３−２）と、パワー時間包絡特徴のスパース性を評価するパワー時間包絡スパース性評価過程（ステップＳ３−３）と、周波数解析過程（ステップＳ１）において出力されたパワースペクトル時系列Ｙと、三要素で構成されるパワースペクトル時系列Ｆとの近さを評価する誤差評価過程（ステップＳ３−４）を含んでいる。
【０１４９】
ステップＳ３−１の特徴要素値符号評価過程は、Ａｊの対角成分はスペクトル包絡、Ｈの各列ベクトルは駆動信号のパワースペクトル、Ｕｊはパワーを表すので、これらの要素は全て非負である必要があるからである。ステップＳ３−２のスペクトル包絡特徴連続性評価過程は、ａｊ（ｘ）がなめらかなｘの関数となるように制約を与えて、不良設定性を解消するもので、コスト関数とともに、スペクトル包絡特徴連続性評価関数が導入されている。ステップＳ３−３のパワー時間包絡スパース性評価過程は、ａｊ（ｘ）及びｈｉ（ｘ）が単体で、頻発するスペクトル包絡及びスペクトル微細構造を良く表したものとなるように、Ａｊ、Ｈの推定結果を誘導するもので、コスト関数、スペクトル包絡特徴連続性評価関数とともに、スパース性に関する評価関数が導入されている。
【０１５０】
図１において、ステップＳ４の収束判定過程で、比較判定部４は、入力信号パワースペクトル時系列Ｙと、三要素特徴パワースペクトル時系列Ｆの更新値とを比較し、所定の基準を満たしたかを判定する。すなわち、ステップＳ４の収束判定過程では、パラメータの更新が所定回数行われた場合、または、パラメータ更新に伴う目的関数値の変化の大きさが所定値より小さくなった場合、または、パラメータ更新に伴うパラメータ値の変化の大きさが所定値より小さくなった場合、反復計算は終了と判定される。
【０１５１】
所定の基準を満たしていなければ、ステップＳ３にリターンし、入力信号パワースペクトル時系列Ｙと、三要素特徴パワースペクトル時系列Ｆの更新値との関係が所定の基準を満たすまで、繰り返し処理を行う。
【０１５２】
ステップＳ４の収束判定過程において、所定の基準を満たしたと判定されると、ステップＳ５の三要素特徴出力過程に行き、比較判定部４は、三要素特徴の更新値を出力する。
【０１５３】
以上説明したように、本発明の実施の形態では、スペクトル包絡特徴、スペクトル微細構造特徴、パワー時間包絡特徴の三要素を一定の拘束条件化している。この拘束により、観測多重音スペクトル中に、微細構造が異なっていたとしても、包絡構造が同一な音が何度も現れていれば、その包絡形状がスペクトル包絡基底ベクトルの１つとして学習され、同様に、包絡構造が異なっていたとしても、微細構造が同一な音が何度も現れていれば、その微細構造が微細構造基底ベクトルの１つとして学習されることになり、その結果、多重音中に含まれる音の特徴的なスペクトル包絡構造および特徴的な微細構造を個別に学習することができる。
【０１５４】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１５５】
なお、上述の音響特徴抽出装置は、内部にコンピュータシステムを有している。そして、上述した音響特徴抽出装置の入力信号パワースペクトル時系列生成部１、三要素特徴パワースペクトル時系列生成部３、比較判定部４、及び、三要素特徴更新部５の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵや各種メモリ、ＯＳや周辺機器等のハードウェアを含むものである。もちろん、これと同様な動作を行うハードウェアでも実現できる。
【０１５６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１５７】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【図面の簡単な説明】
【０１５８】
【図１】本発明の一実施形態による音響特徴抽出処理のフローチャートである。
【図２】同実施形態の音響特徴抽出処理における三要素特徴更新過程を説明するための図である。
【図３】同実施形態による音響特徴抽出装置の機能ブロック図である。
【図４】同実施形態の音響特徴抽出装置における三要素特徴更新部の機能ブロック図である。
【符号の説明】
【０１５９】
１：入力信号パワースペクトル時系列生成部
２：初期三要素特徴入力部
３：三要素特徴パワースペクトル時系列生成部
４：比較判定部
５：三要素特徴更新部
１１：スペクトル包絡特徴更新部
１２：スペクトル微細特徴更新部
１３：パワー時間包絡特徴更新部
【図１】
2009204808.tif 000048
【図２】
2009204808.tif 000049
【図３】
2009204808.tif 000050
【図４】
2009204808.tif 000051