(57)【要約】【課題】  混合音を示す入力音響信号の周波数成分から各音の基本周波数を推定する際に、基本周波数の誤った推定が行われるのを防止する。【解決手段】  周波数帯域の制限３では、入力音響信号から音源の音の基本周波数成分または高調波成分となる可能性のある周波数成分を抽出する。基本周波数の確率密度関数の推定４１では、抽出された周波数成分が各々高調波構造を有し、異なる基本周波数に対応した音モデルの混合分布から生じたと考え、基本周波数の確率密度関数を推定する。音モデル変形処理５では、その際の誤推定の可能性を低減するための音モデルの変形を行う。【選択図】図１
2008058754.tif 000002
【特許請求の範囲】
【請求項１】
各々音源の音の高調波構造に対応した構造を有し、各種の基本周波数に対応した確率密度関数である複数の音モデルを重み付け加算した混合分布が、入力音響信号の周波数成分の分布となるように、各音モデルに対する重み値を最適化し、最適化された各音モデルの重み値を前記音源の音の基本周波数の確率密度関数として推定する確率密度関数推定手段と、
前記基本周波数の確率密度関数に基づいて前記入力音響信号に含まれる１または複数の音源の音の基本周波数を推定して出力する基本周波数推定手段と、
前記音モデルを変形する音モデル変形手段と
を具備することを特徴とする音分析装置。
【請求項２】
前記基本周波数推定手段は、前記確率密度関数におけるピークを複数検出し、各ピークの信頼度に基づき、信頼度が高くパワーの大きい基本周波数を出力することを特徴とする請求項１に記載の音分析装置。
【請求項３】
前記音モデル変形手段は、前記音モデルに対して、起伏の緩やかな高調波構造を持った変形用の音モデルを混合することにより、元の高調波構造よりも起伏の緩やかな高調波構造の音モデルに変形することを特徴とする請求項１に記載の音分析装置。
【請求項４】
前記音モデル変形手段は、基本周波数が高い音モデルは、基本周波数の低い音モデルに比べて、高域が強調された高調波構造となるように、前記音モデルに対する変形を行うことを特徴とする請求項１に記載の音分析装置。
【請求項５】
基本周波数の時間遷移が既知であるトレーニング用音響信号が処理対象となるように前記音分析装置の制御を行い、
前記基本周波数推定手段から得られる基本周波数の時間推移と前記トレーニング用音響信号の基本周波数の時間推移との一致度を評価する評価処理と、
前記評価処理により評価される一致度が上昇するように、前記音モデル変形手段による音モデルの変形を制御する変形制御処理と
を繰り返し実行する音モデル最適化手段を具備することを特徴とする請求項１〜４のいずれか１の請求項に記載の音分析装置。
【請求項６】
コンピュータを、
各々音源の音の高調波構造に対応した構造を有し、各種の基本周波数に対応した確率密度関数である複数の音モデルを重み付け加算した混合分布が、入力音響信号の周波数成分の分布となるように、各音モデルに対する重み値を最適化し、最適化された各音モデルの重み値を前記音源の音の基本周波数の確率密度関数として推定する確率密度関数推定手段と、
前記基本周波数の確率密度関数に基づいて前記入力音響信号に含まれる１または複数の音源の音の基本周波数を推定して出力する基本周波数推定手段と、
前記音モデルを変形する音モデル変形手段と
して機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、市販のＣＤ（ｃｏｍｐａｃｔ  ｄｉｓｃ）などに収録されている、歌声や複数種類の楽器音を同時に含む音楽音響信号を対象に、メロディ音やベース音の音高（本明細書では基本周波数の意味で用いる）を推定する音分析装置およびプログラムに関する。
【背景技術】
【０００２】
多数の音源の音が混ざり合ったモノラルの音響信号中から、ある特定の音源の音高を推定することは、非常に困難である。混合音に対して音高推定することが難しい本質的な理由の１つに、時間周波数領域において、ある音の周波数成分が同時に鳴っている他の音の周波数成分と重複することが挙げられる。例えば、歌声、鍵盤楽器（ピアノ等）、ギター、ベースギター、ドラムス等で演奏される典型的なポピュラー音楽では、メロディを担う歌声の高調波構造の一部（特に基本周波数成分）は、鍵盤楽器、ギターの高調波成分やベースギターの高次の高調波成分、スネアドラム等の音に含まれるノイズ成分などと頻繁に重複する。そのため、各周波数成分を局所的に追跡するような手法は、複雑な混合音に対しては安定して機能しない。基本周波数成分が存在することを前提に高調波構造を推定する手法もあるが、そのような手法は、ミッシングファンダメンタル（ｍｉｓｓｉｎｇ  ｆｕｎｄａｍｅｎｔａｌ）現象を扱えないという大きな欠点を持つ。さらに、同時に鳴っている他の音の周波数成分が基本周波数成分と重複すると、有効に機能しない。
【０００３】
以上のような理由により、従来、単一音のみか、非周期的な雑音を伴った単一音を収録した音響信号を対象とした音高の推定技術はあったが、市販のＣＤに記録された音響信号のように複数の音が混ざり合ったものについて音高を推定する技術はなかった。
【０００４】
しかしながら、近年、統計的手法を利用することにより、混合音に含まれる各音の音高を適切に推定する技術が提案されるに至った。特許文献１の技術である。
【０００５】
この特許文献１の技術では、メロディ音のものと考えられる帯域に属する周波数成分と、ベース音のものと考えられる帯域に属する周波数成分とを入力音響信号からＢＰＦにより別々に取り出し、それらの各帯域の周波数成分に基づき、メロディ音およびベース音の各々の基本周波数の推定を行う。
【０００６】
さらに詳述すると、特許文献１の技術では、音の高調波構造に対応した確率分布を持った音モデルを用意し、メロディ音の帯域の各周波数成分、ベース音の帯域の各周波数成分が、様々な基本周波数に対応した各音モデルを重み付け加算した混合分布であると考える。そして、各音モデルの重みの値をＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いて推定する。
【０００７】
このＥＭアルゴリズムは、隠れ変数を含む確率モデルに対して最尤推定を行うための反復アルゴリズムであり、局所最適解を求めることができる。ここで、最も大きな重みの値を持つ確率分布は、その時点で最も優勢な高調波構造であるとみなすことができるため、あとはその優勢な高調波構造における基本周波数を音高として求めればよい。この手法は基本周波数成分の存在に依存しないため、ミッシングファンダメンタル現象も適切に扱うことができ、基本周波数成分の存在に依存せずに、最も優勢な高調波構造を求めることができる。
【特許文献１】特許第３４１３６３４号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、基本周波数の推定を行うためには、実際に鳴っている楽器の音の高調波構造を忠実にシミュレートした音モデルを用いることが望ましい。しかし、楽器の種類によっては、特定の第ｎ調波に急激なピークを持った高調波構造の音を発生するものもある。このような高調波構造をシミュレートした音モデルを用いて、基本周波数の推定を行うと、実際には鳴っていない基本周波数付近の確率密度関数が大きくなり、基本周波数の誤推定がなされる可能性が増すという場合がある。なお、この誤推定の問題については理解を容易にするため、「発明を実施するための最良の形態」の項において再び取り上げる。
【０００９】
この発明は、以上説明した事情に鑑みてなされたものであり、混合音を示す入力音響信号の周波数成分から各音の基本周波数を推定する際に、誤推定の可能性を低減することを目的としている。
【課題を解決するための手段】
【００１０】
この発明は、各々音源の音の高調波構造に対応した構造を有し、各種の基本周波数に対応した確率密度関数である複数の音モデルを重み付け加算した混合分布が、入力音響信号の周波数成分の分布となるように、各音モデルに対する重み値を最適化し、最適化された各音モデルの重み値を前記音源の音の基本周波数の確率密度関数として推定する確率密度関数推定手段と、前記基本周波数の確率密度関数に基づいて前記入力音響信号に含まれる１または複数の音源の音の基本周波数を推定して出力する基本周波数推定手段と、前記音モデルを変形する音モデル変形手段とを具備することを特徴とする音分析装置並びにコンピュータを前記確率密度関数推定手段、基本周波数推定手段および音モデル変形手段として機能させるコンピュータプログラムを提供する。
【００１１】
かかる発明によれば、音モデル変形手段により音モデルの変形を行うことにより、音モデルの高調波構造に起因した基本周波数の誤推定を回避し、誤推定の可能性を減らすことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、この発明の実施の形態を説明する。
【００１３】
＜全体構成＞
図１は、この発明の一実施形態による音分析プログラムの処理内容を示す図である。この音分析プログラムは、自然界から音響信号を取得する収音機能、ＣＤ等の記録媒体から音楽の音響信号を再生する再生機能またはネットワークを介して音楽の音響信号を取得する通信機能等の音響信号取得機能を備えたパーソナルコンピュータ等のコンピュータにインストールされて実行される。本実施形態による音分析プログラムを実行するコンピュータは、本実施形態による音分析装置として機能する。
【００１４】
本実施形態による音分析プログラムは、音響信号取得機能を介して取得されたモノラルの音楽音響信号に対し、その中のある音源の音高を推定する。その最も重要な例として、ここではメロディラインとベースラインを推定する。メロディは他よりも際立って聞こえる単音の系列、ベースはアンサンブル中で最も低い単音の系列であり、その時間的な変化の軌跡をそれぞれメロディラインＤｍ（ｔ）、ベースラインＤｂ（ｔ）と呼ぶ。時刻tにおける基本周波数Ｆ０をＦｉ（ｔ）（ｉ＝ｍ，ｂ）、振幅をＡｉ（ｔ）とすると、これらは以下のように表される。
【数１】
2008058754.tif 000003
【数２】
2008058754.tif 000004
【００１５】
このメロディラインＤｍ（ｔ）およびベースラインＤｂ（ｔ）を入力音響信号から得るための手段として、音分析プログラムは、瞬時周波数の算出１、周波数成分の候補の抽出２、周波数帯域の制限３、メロディラインの推定４ａおよびベースラインの推定４ｂの各処理を含む。また、メロディラインの推定４ａおよびベースラインの推定４ｂの各処理は、基本周波数の確率密度関数の推定４１およびマルチエージェントモデルによる基本周波数の継時的な追跡４２の各処理を各々含む。本実施形態において、瞬時周波数の算出１、周波数成分の候補の抽出２、周波数帯域の制限３、メロディラインの推定４ａおよびベースラインの推定４ｂにおけるマルチエージェントモデルによる基本周波数の継時的な追跡４２の処理内容は、前掲特許文献１に開示されたものと基本的に同様である。本実施形態の特徴は、音分析プログラムの各処理のうち基本周波数の確率密度関数の推定４１に加えられた改良点にある。以下、本実施形態による音分析プログラムを構成する各処理の内容を説明する。
【００１６】
＜瞬時周波数の算出１＞
この処理では、入力音響信号を複数のＢＰＦからなるフィルタバンクに与え、フィルタバンクの各ＢＰＦの出力信号について、位相の時間微分である瞬時周波数（Flanagan, J.L. and Golden, R.M.: Phase Vocoder, The BellSystem
Technical J., Vol.45, pp.1493-1509 (1966)参照）を計算する。ここでは、上記Flanaganの手法を用い、短時間フーリエ変換(STFT)の出力をフィルタバンク出力と解釈して、効率良く瞬時周波数を計算する。入力音響信号ｘ(ｔ)に対する窓関数ｈ(ｔ)を用いたＳＴＦＴが式（３）および（４）により与えられるとき、瞬時周波数λ（ω，ｔ）は式（５）により求めることができる。
【００１７】
【数３】
2008058754.tif 000005
【数４】
2008058754.tif 000006
【数５】
2008058754.tif 000007
【００１８】
ここで、ｈ(ｔ)は時間周波数の局所化を与える窓関数である（例えば、最適な時間周波数の局所化を与えるガウス関数に２階のカーディナルＢ−スプライン関数を畳み込んで作成した時間窓など)。
【００１９】
この瞬時周波数を計算するのに、ウェーブレット変換を用いても良い。ここでは、計算量を減らすためにＳＴＦＴを用いるが、単一のＳＴＦＴのみを用いたのでは、ある周波数帯域における時間分解能や周波数分解能が悪くなってしまう。そこで、マルチレートフィルタバンク（Vetterli, M.: A Theory of Multirate Filter Banks, IEEE Trans. on
ASSP, Vol.ASSP-35, No.3, pp. 356-372 (1987)、参照）を構成し、リアルタイムに実行可能という制約のもとで、ある程度妥当な時間周波数分解能を得る。
【００２０】
＜周波数成分の候補の抽出２＞
この処理では、フィルタの中心周波数からその瞬時周波数への写像に基づいて、周波数成分の候補を抽出する（Charpentier, F.J.: Pitch detection using the short-termphase
spectrum, Proc. of ICASSP 86, pp.113-116 (1986)参照）。あるＳＴＦＴフィルタの中心周波数ωからその出力の瞬時周波数λ（ω，ｔ）への写像を考える。すると、もし周波数ψの周波数成分があるときには、ψがこの写像の不動点に位置し、その周辺の瞬時周波数の値はほぼ一定となる。つまり、全周波数成分の瞬時周波数Ψf(t)は、次式によって抽出することができる。
【００２１】
【数６】
2008058754.tif 000008
これらの周波数成分のパワーは、Ψf(t)の各周波数におけるＳＴＦＴパワースペクトルの値として得られるため、周波数成分のパワー分布関数Ψp(t)(ω)を次のように定義することができる。
【数７】
2008058754.tif 000009
【００２２】
＜周波数帯域の制限３＞
この処理では、抽出した周波数成分に重み付けすることで、周波数帯域を制限する。ここでは、メロディラインとベースライン用に、２種類のＢＰＦを用意する。メロディライン用ＢＰＦは、典型的なメロディラインの主要な基本波成分および高調波成分の多くを通過させることができ、かつ、基本周波数付近の重複が頻繁に起きる周波数帯域をある程度遮断する。一方、ベースライン用ＢＰＦは、典型的なベースラインの主要な基本周波数成分および高調波成分の多くを通過させることができ、かつ、他の演奏パートがベースラインよりも優勢になるような周波数帯域をある程度遮断する。
【００２３】
本実施形態では、以下、対数スケールの周波数をcentの単位(本来は音高差(音程)を表す尺度)で表し、Ｈｚで表された周波数ｆＨｚを、次のようにcentで表された周波数ｆｃｅｎｔに変換する。 
【数８】
2008058754.tif 000010
【数９】
2008058754.tif 000011
平均律の半音は１００ｃｅｎｔに、１オクターブは１２００ｃｅｎｔに相当する。
【００２４】
周波数ｘ ｃｅｎｔでのＢＰＦの周波数応答をＢＰＦｉ（ｘ）（ｉ＝ｍ，ｂ）とし、周波数成分のパワー分布関数をΨ’ｐ（ｔ）（ｘ）とすると、ＢＰＦを通過した周波数成分はＢＰＦｉ（ｘ）Ψ’ｐ（ｔ）（ｘ）と表すことができる。ただし、Ψ’ｐ（ｔ）（ｘ）は、周波数軸がｃｅｎｔで表されていることを除けばΨｐ（ｔ）（ω）と同じ関数である。ここで、次の段階の準備として、ＢＰＦを通過した周波数成分の確率密度関数ｐΨ（ｔ）（ｘ）を定義する。
【数１０】
2008058754.tif 000012
【００２５】
ここで、Ｐｏｗ（ｔ）は次式に示すようにＢＰＦを通過した周波数成分のパワーの合計である。
【数１１】
2008058754.tif 000013
【００２６】
＜基本周波数の確率密度関数の推定４１＞
この処理では、ＢＰＦを通過した周波数成分の候補に対し、各高調波構造が相対的にどれくらい優勢かを表す基本周波数の確率密度関数を求める。そのために、本実施形態では、周波数成分の確率密度関数ｐΨ（ｔ）（ｘ）が、高調波構造を持つ音をモデル化した確率分布（音モデル）の混合分布モデル（重み付き和のモデル）から生成されたと考える。基本周波数がＦの音モデルの確率密度関数をｐ（ｘ｜Ｆ）とすると、その混合分布モデルｐ（ｘ；θ（ｔ））は、次式により定義することができる。
【数１２】
2008058754.tif 000014
【数１３】
2008058754.tif 000015
【００２７】
ここで、ＦｈｉとＦｌｉは、許容される基本周波数の上限と下限であり、ＢＰＦの通過帯域により決定される。また、ｗ（ｔ）（Ｆ）は、次式を満たすような、音モデルｐ（ｘ｜Ｆ）の重みである。
【数１４】
2008058754.tif 000016
【００２８】
ＣＤ等による実世界の音響信号に対して事前に音源数を仮定することは不可能なため、このように、あらゆる基本周波数の可能性を同時に考慮してモデル化することが重要となる。もし、観測した周波数成分ｐΨ（ｔ）（ｘ）がモデルｐ（ｘ；θ（ｔ））から生成されたかのようにモデルパラメータθ（ｔ）を推定できれば、ｐΨ（ｔ）（ｘ）は個々の音モデルへと分解されたとみなすことができ、次式に示すように、各基本周波数Ｆの音モデルに対する重みｗ（ｔ）（Ｆ）を、基本周波数Ｆの確率密度関数ｐＦＯ（ｔ）（Ｆ）と解釈することができる。
【数１５】
2008058754.tif 000017
【００２９】
つまり、混合分布中において、ある音モデルｐ（ｘ｜Ｆ）が優勢になればなるほど（すなわち、ｗ（ｔ）（Ｆ）が大きくなるほど）、ｐＦＯ（ｔ）（Ｆ）において、そのモデルの基本周波数Ｆの確率が高くなる。
【００３０】
以上から、確率密度関数ｐΨ（ｔ）（ｘ）を観測したときに、そのモデルｐ（ｘ；θ（ｔ））のパラメータθ（ｔ）を推定する問題を解けばよいことがわかる。θ（ｔ）の最尤推定量は、次式で定義される平均対数尤度を最大化することで得られる。
【数１６】
2008058754.tif 000018
【００３１】
この最大化問題は解析的に解くことが困難なため、前述のＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いてθ（ｔ）を推定する。ＥＭアルゴリズムは、Ｅステップ（ｅｘｐｅｃｔａｔｉｏｎ  ｓｔｅｐ）とＭステップ（ｍａｘｉｍｉｚａｔｉｏｎ  ｓｔｅｐ）を交互に繰返し適用することで、不完全な観測データ（この場合、ｐΨ（ｔ）（ｘ））から最尤推定をおこなうための反復アルゴリズムである。本実施形態では、ＥＭアルゴリズムを繰り返すことにより、ＢＰＦを通過した周波数成分の確率密度関数ｐΨ（ｔ）（ｘ）を、各種の基本周波数Ｆに対応した複数の音モデルｐ（ｘ｜Ｆ）を重み付け加算した混合分布と考える場合において、最も尤もらしい重みのパラメータθ（ｔ）（＝｛ｗ（ｔ）（Ｆ）｜Ｆｌｉ≦Ｆ≦Ｆｈｉ｝を求める。ここで、ＥＭアルゴリズムの各繰り返しでは、パラメータθ（ｔ）（＝｛ｗ（ｔ）（Ｆ）｜Ｆｌｉ≦Ｆ≦Ｆｈｉ｝）に関して、古いパラメータ推定値θold（ｔ）（＝｛ｗold（ｔ）（Ｆ）｜Ｆｌｉ≦Ｆ≦Ｆｈｉ｝）を更新して新しい（より尤もらしい）パラメータ推定値θｎｅｗ（ｔ）（＝｛ｗｎｅｗ（ｔ）（Ｆ）｜Ｆｌｉ≦Ｆ≦Ｆｈｉ｝）を求めていく。θｏｌｄ（ｔ）の初期値には、１つ前の時刻ｔ−１における最終的な推定値を用いる。この古いパラメータ推定値θold（ｔ）から新しいパラメータ推定値θｎｅｗ（ｔ）を求める漸化式は、次のようになる。なお、この漸化式の導出過程は特許文献１に詳細に説明されているので、そちらを参照されたい。
【数１７】
2008058754.tif 000019
【００３２】
図２は、本実施形態において音モデルｐ（ｘ｜Ｆ）に対する重みのパラメータθ（ｔ）（＝｛ｗ（ｔ）（Ｆ）｜Ｆｌｉ≦Ｆ≦Ｆｈｉ｝がＥＭアルゴリズムにより更新される過程を例示したものである。なお、図２では、図示を簡素化するために、周波数成分の数が４個である音モデルを使用した場合の例が示されている。
【００３３】
本実施形態におけるＥＭアリゴリズムでは、各基本周波数Ｆに対応した音モデルｐ（ｘ｜Ｆ）と現状における各音モデルに対する重み値ｗold（ｔ）（Ｆ）とに基づき、次式に従い、周波数ｘ毎に各音モデルに対応したスペクトル分配比を求める。
【数１８】
2008058754.tif 000020
【００３４】
上記式（１８）に示すように、ある周波数ｘにおける各音モデルｐ（ｘ｜Ｆ）に対応したスペクトル分配比（ｘ｜Ｆ）は、重み値ｗold（ｔ）（Ｆ）の乗算された各音モデルｐ（ｘ｜Ｆ）の周波数ｘにおける各振幅値ｗold（ｔ）（Ｆ）ｐ（ｘ｜Ｆ）の総和（式（１８）における分母の積分値に相当）を求め、その総和により各振幅値ｗold（ｔ）（Ｆ）ｐ（ｘ｜Ｆ）を除算することにより得られる。式（１８）から明らかなように、各周波数ｘにおいて、各音モデルｐ（ｘ｜Ｆ）に対応した各スペクトル分配比（ｘ｜Ｆ）は、総和が１となるように正規化されたものとなる。
【００３５】
そして、本実施形態では、各周波数ｘにおいて、その周波数ｘにおける確率密度関数ｐΨ（ｔ）（ｘ）の関数値をその周波数ｘにおける各音モデルｐ（ｘ｜Ｆ）のスペクトル分配比により分配し、音モデルｐ（ｘ｜Ｆ）毎に、このようにして分配された確率密度関数ｐΨ（ｔ）（ｘ）の関数値を総計して、各音モデルｐ（ｘ｜Ｆ）の取り分とする。そして、全音モデルの取り分を合計し、その合計値によって各音モデルの取り分を除算し、総和が１となるように正規化された各音モデルｐ（ｘ｜Ｆ）の取り分を新たな重みパラメータｗｎｅｗ（ｔ）（Ｆ）とするのである。以上の処理が繰り返されることにより、基本周波数Ｆの異なった各音モデルｐ（ｘ｜Ｆ）のうち混合音の周波数成分の確率密度関数ｐΨ（ｔ）（ｘ）によって支持されている確率の高いものに対する重みパラメータｗ（ｔ）（Ｆ）が次第に強調されてゆく。この結果、重みパラメータｗ（ｔ）（Ｆ）は、ＢＰＦを通過した混合音における基本周波数の確率密度関数を示すに至る。
【００３６】
最も優勢な基本周波数Ｆｉ（ｔ）を決定するには、次式に示すように、基本周波数の確率密度関数ｐＦ０（ｔ）（Ｆ）（式（１５）より、式（１７）を反復計算した最終的な推定値として得られる）を最大にする周波数を求めればよい。
【数１９】
2008058754.tif 000021
こうして得られた周波数を音高とする。
【００３７】
＜マルチエージェントモデルによる基本周波数の継時的な追跡４２＞
基本周波数の確率密度関数において、同時に鳴っている音の基本周波数に対応する複数のピークが拮抗すると、それらのピークが確率密度関数の最大値として次々に選ばれてしまうことがあるため、このように単純に求めた結果は安定しないことがある。そこで、本実施形態では、大局的な観点から基本周波数を推定するために、基本周波数の確率密度関数の時間変化において複数のピークの軌跡を継時的に追跡し、その中で最も優勢で安定した基本周波数の軌跡を選択する。このような追跡処理を動的で柔軟に制御するために、マルチエージェントモデルを導入する。
【００３８】
マルチエージェントモデルは、１つの特徴検出器と複数のエージェントにより構成される（図３参照）。特徴検出器は、基本周波数の確率密度関数の中で目立つピークを拾い上げる。エージェントは基本的に、それらのピークに駆動されて軌跡を追跡していく。つまり、マルチエージェントモデルは、入力中で目立つ特徴を時間的に追跡する汎用の枠組みである。具体的には、各時刻において以下の処理がおこなわれる。
【００３９】
（１）基本周波数の確率密度関数が求まった後、特徴検出器は目立つピーク（最大ピークに応じて動的に変化する閾値を越えたピーク）を複数検出する。そして、目立つピークのそれぞれについて、周波数成分のパワーの合計Ｐｏｗ（ｔ）も考慮しながら、どれくらい将来有望なピークかを評価する。これは、現在時刻を数フレーム先の時刻とみなして、ピークの軌跡をその時刻まで先読みして追跡することで実現する。
【００４０】
（２）既に生成されたエージェントがあるときは、それらが相互作用しながら、目立つピークをそれに近い軌跡を持つエージェントへと排他的に割り当てる。複数のエージェントが割り当て候補に上がる場合には、最も信頼度の高いエージェントへと割り当てる。
【００４１】
（３）最も有望で目立つピークがまだ割り当てられていないときは、そのピークを追跡する新たなエージェントを生成する。
【００４２】
（４）各エージェントは累積ペナルティを持っており、それが一定の閾値を越えると消滅する。
【００４３】
（５）目立つピークが割り当てられなかったエージェントは、一定のペナルティを受け、基本周波数の確率密度関数の中から自分の追跡する次のピークを直接見つけようとする。もしそのピークも見つからないときは、さらにペナルティを受ける。さもなければ、ペナルティはリセットされる。
【００４４】
（６）各エージェントは、今割り当てられたピークがどれくらい有望で目立つかを表す度合いと、１つ前の時刻の信頼度との重み付き和によって、信頼度を自己評価する。
【００４５】
（７）時刻ｔにおける基本周波数Ｆｉ（ｔ）は、信頼度が高く、追跡しているピークの軌跡に沿ったパワーの合計が大きいエージェントに基づいて決定する。振幅Ａｉ（ｔ）は、基本周波数Ｆｉ（ｔ）の高調波成分等をΨｐ（ｔ）（ω）から抽出して決定する。
【００４６】
＜特許文献１の技術に対する本実施形態の改良点＞
上述した基本周波数の確率密度関数の推定４１において、前掲式（１７）を計算するためには、音モデルの確率密度関数ｐ（ｘ｜Ｆ）を仮定する必要がある。この場合、精度の高い推定を行うためには、実際に鳴っている楽器の音の高調波構造を忠実にシミュレートした音モデルを用いることが望ましい。しかし、楽器の種類によっては、特定の第ｎ調波に急激なピークを持った高調波構造の音を発生するものもある。このような高調波構造をシミュレートした音モデルを用いて、基本周波数の推定を行うと、実際には鳴っていない基本周波数付近の確率密度関数が大きくなり、基本周波数の誤推定がなされる可能性が増すという場合がある。その例を図４を参照して説明する。
【００４７】
図４は、図２と同様、音モデルｐ（ｘ｜Ｆ）に対する重みのパラメータθ（ｔ）（＝｛ｗ（ｔ）（Ｆ）｜Ｆｌｉ≦Ｆ≦Ｆｈｉ｝がＥＭアルゴリズムにより更新される過程を例示している。この図４に示す例において、音モデルｐ（ｘ｜Ｆ）は、第２調波の周波数付近に急激なピークを持った高調波構造を有している。このため、ＢＰＦを通過した混合音の周波数成分の確率密度関数ｐΨ（ｔ）（ｘ）において、図示のように周波数２００Ｈｚ付近の値が高いと、ＥＭアルゴリズムの過程において、この周波数２００ｋＨｚを第２調波周波数とする基本周波数１００Ｈｚの音モデルｐ（ｘ｜Ｆ＝１００Ｈｚ）に対する重みｗ（Ｆ）が過度に高められる。この結果、実際には鳴っていないにも拘わらず、基本周波数が１００Ｈｚであると誤推定される可能性がある。
【００４８】
以上のような誤推定の可能性を減らすため、本実施形態による音分析プログラムは、図１に示すように、音モデル変形処理５を含んでいる。好ましい態様において、この音モデル変形処理５は、例えば音分析装置であるパーソナルコンピュータに設けられた操作部の操作に応じて、基本周波数の確率密度関数の推定４１に用いる音モデルの変形を行う処理である。この音モデル変形処理５の態様には、各種考えられるが、本実施形態による音モデル変形処理５では、変形の施されていない本来の音モデルに対して、起伏の緩やかな高調波構造を持った変形用の音モデルを混合することにより、元の高調波構造よりも起伏の緩やかな高調波構造の音モデルに変形する。
【００４９】
より具体的には、本実施形態では、次式に示すように、実測により得られた楽器音の高調波構造に対応した音モデル（変形されていない本来の音モデル）と、ガウス分布とを重み付け加算し、混合音モデルｐ（ｘ｜Ｆ）を発生し、この混合音モデルｐ（ｘ｜Ｆ）を基本周波数の確率密度関数の推定４１に引き渡す。
【数２０】
2008058754.tif 000022
【００５０】
ここで、ｈは、高調波が基本周波数成分から数えて何番目の高調波であるかを示す高調波番号であり、Ｎｉは音モデルを構成する高調波成分等の個数である。また、ｏｒｉｇｉｎａｌ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）は、実測された楽器音の高調波構造に基づいて作成された音モデルであり、ｈ＝１〜Ｎｉにおける関数値の総和が１となるように正規化されている。また、ｇａｕｓｓ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）は、ｈ＝１〜Ｎｉにおける関数値の総和が１となるように正規化されたガウス分布であり、次式により与えられる。また、重み係数ｋおよびガウス分布の広がりを決定するためのパラメータσは、図示しない操作部の操作により設定される。また、ｋは０〜１の範囲内の値が設定される。
【数２１】
2008058754.tif 000023
【００５１】
図５は、実測に基づく音モデルｏｒｉｇｉｎａｌ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）と、ガウス分布ｇａｕｓｓ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）と、これらを重み付け加算することにより得られた混合音モデルｐ（ｘ｜Ｆ）とを例示するものである。
【００５２】
図５に示すように、ガウス分布との重み付け加算により得られる混合音モデルｐ（ｘ｜Ｆ）は、実測に基づく音モデルｏｒｉｇｉｎａｌ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）に比べて、急激なピークが緩和された高調波構造となる。このように急激なピークが緩和された高調波構造に音モデルが変形されると、上述したような基本周波数の誤推定の発生する可能性が低減される。
【００５３】
＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば次の通りである。
【００５４】
（１）上記実施形態では、基本周波数の確率密度関数の推定４１により得られる基本周波数をマルチエージェントに追跡させることにより、最終的な基本周波数を決定したが、基本周波数の確率密度関数の推定４１において誤推定の確率が低く、信頼性の高い推定結果が得られる場合には、マルチエージェントによる追跡を省略してもよい。
【００５５】
（２）楽器の種類によっては、その楽器をシミュレートした音モデルの高調波構造が低域（例えば基本波成分）に著しいピークを有しており、かつ、高域の成分が極端に乏しいものとなる場合がある。このような場合、ＥＭアルゴリズムでは、図６（ａ）に例示するように、ＢＰＦを通過した周波数成分の確率密度関数ｐΨ（ｔ）（ｘ）のうち高域の部分に、実際に鳴っている音に対応した音モデルだけでは説明がつかない部分Ｕが生じる。このため、ＥＭアルゴリズムでは、図６（ｂ）に例示するように、この部分Ｕの説明をつけるために、実際に鳴っている音の音モデルｐ（ｘ｜Ｆａ）およびｐ（ｘ｜Ｆｂ）の重み値の他に、実際には鳴っていない高域の音に対応した音モデルｐ（ｘ｜Ｆｃ）の重みを大きくしてしまうことがある。このため、実際には鳴っていない音の基本周波数を誤って出力する可能性があるという問題が生じる。そこで、このような不具合を防止するため、音モデル変形処理５では、基本周波数Ｆが高い音モデルは、基本周波数Ｆの低い音モデルに比べて、高域が強調された高調波構造となるように、音モデルに対する変形を行うようにしてもよい。例えば前掲式２０に従って実測に基づく音モデルｏｒｉｇｉｎａｌ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）と、ガウス分布ｇａｕｓｓ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）とを重み付け加算し、混合音モデルｐ（ｘ｜Ｆ）を発生する場合において、重み付け係数ｋを基本周波数Ｆの関数とし、基本周波数Ｆが高い場合には、ガウス分布ｇａｕｓｓ（ｘ；Ｆ＋１２００ｌｏｇ２ｈ）の重みを増加させ、混合音モデルｐ（ｘ｜Ｆ）の高域を持ち上げる、という態様が考えられる。この態様によれば、基本周波数Ｆの高い領域では、基本周波数Ｆの低い領域に比べて、高域の高調波成分の強調された高調波構造の音モデルにより基本周波数Ｆの確率密度関数の推定が行われるので、ＢＰＦを通過した混合音の周波数成分を、実際に鳴っている音に対応した音モデルの重み付け加算のみにより説明することができる可能性が増す。従って、誤推定の可能性を低減することができる。
【００５６】
（３）音モデルの変形の程度を自動的に最適化する音モデル最適化機能を音分析装置に設けてもよい。図７を用いてさらに詳述すると、この態様において、音分析装置であるパーソナルコンピュータは、基本周波数の時間遷移が既知であるトレーニング用音響信号とこのトレーニング用音響信号のメロディラインおよびベースラインを示す各情報を外部から受け取る。そして、トレーニング用音響信号が処理対象となるように音分析装置全体の制御を行い、評価処理６と変形制御処理７とを繰り返す。ここで、評価処理６では、音分析装置から推定結果として得られるトレーニング用音響信号のメロディラインおよびベースラインの各々と外部から取得したトレーニング用音響信号のメロディラインおよびベースラインと比較し、メロディラインおよびベースラインの各々について、推定結果と外部から与えられたものとの一致度を評価する。そして、変形制御処理７では、メロディラインおよびベースラインの各々について、評価処理６により得られる一致度が上昇するように、メロディラインの推定に用いる音モデルまたはベースラインの推定に用いる音モデルの変形を音モデル変形処理５に行わせる。例えば実測に基づく音モデルとガウス分布とを重み付け加算した混合音モデルを基本周波数の確率密度関数の推定に用いる場合、変形制御処理７では、音モデル変形処理５における重み係数ｋを各種変化させ、一致度が最大となる重み係数ｋを探索する、といった態様が考えられる。
【図面の簡単な説明】
【００５７】
【図１】この発明の一実施形態である音分析プログラムの処理内容を示す図である。
【図２】同実施形態において音モデルに対する重みのパラメータがＥＭアルゴリズムにより更新される過程を例示した図である。
【図３】１つの特徴検出器と複数のエージェントにより構成されるマルチエージェントモデルによる基本周波数の経時的な追跡を示す図である。
【図４】従来の技術において音モデルに対する重みのパラメータがＥＭアルゴリズムにより更新される過程における問題点を説明する図である。
【図５】同実施形態において基本周波数の確率密度関数の推定の際に用いる音モデルの例を示す図である。
【図６】音モデルが低域にピークを有する高調波構造を有している場合に発生する基本周波数の誤推定を説明する図である。
【図７】この発明の他の実施形態において実現される音モデル最適化機能を説明する図である。
【符号の説明】
【００５８】
１……瞬時周波数の算出、２……周波数成分の候補の抽出、３……周波数帯域の制限、４ａ……メロディラインの推定、４ｂ……ベースラインの推定、４１……基本周波数の確率密度関数の推定、４２……マルチエージェントモデルによる基本周波数の継時的な追跡、５……音モデル変形処理、６……評価処理、７……変形制御処理。
【図１】
2008058754.tif 000024
【図２】
2008058754.tif 000025
【図３】
2008058754.tif 000026
【図４】
2008058754.tif 000027
【図５】
2008058754.tif 000028
【図６】
2008058754.tif 000029
【図７】
2008058754.tif 000030