(57)【要約】【課題】音高を高精度に推定する。【解決手段】音響推定装置Ｄは、音響信号Ｖを複数の音モデルＭ[F]の混合分布としてモデル化したときの各音モデルＭ[F]の重み値ω[F]の分布である基本周波数の確率密度関数Ｐから音響信号Ｖの基本周波数Ｆ0を推定する装置である。重み値算定部２３は、音モデルＭ[F]が音響信号Ｖの高調波構造を支持する程度を示す推定形状Ｃ[F]に基づいて重み値ω[F]を算定する。推定形状特定部２１は、音響信号Ｖの振幅スペクトルＳと音モデルＭ[F]と重み値ω[F]とに基づいて推定形状Ｃ[F]を特定する。類否解析部２７１は、音モデルＭ[F]とこの音モデルＭ[F]から特定された推定形状Ｃ[F]との類否を示す類否指標値Ｒ[F]を算定する。重み値修正部２７３は、重み値ω[F]のうち類否指標値Ｒ[F]が非類似を示す基本周波数Ｆの重み値ω[F]を低下させる。【選択図】図１
2008058886.tif 000002
【特許請求の範囲】
【請求項１】
各々が別個の基本周波数の高調波構造に対応する複数の音モデルの混合分布として音響信号をモデル化したときの各音モデルの重み値の分布である基本周波数の確率密度関数から前記音響信号の基本周波数を推定する装置であって、
各基本周波数の音モデルが音響信号の高調波構造を支持する程度を示す各音モデルの推定形状に基づいて当該基本周波数の重み値を算定する重み値算定処理と、音響信号の振幅スペクトルと各基本周波数の音モデルと当該基本周波数の重み値とに基づいて当該基本周波数の推定形状を特定する推定形状特定処理との反復によって前記基本周波数の確率密度関数を推定する関数推定手段と、
各基本周波数の音モデルと前記推定形状特定処理で当該音モデルから特定された推定形状との類否を示す類否指標値を算定する類否解析手段と、
前記重み値算定処理で算定された複数の重み値のうち前記類否解析手段の算定した類否指標値が非類似を示す基本周波数の重み値を低下させる重み値修正手段と
を具備する音高推定装置。
【請求項２】
前記重み値修正手段は、前記重み値算定処理で算定された複数の重み値のうち前記類否解析手段の算定した類否指標値が非類似を示す基本周波数の重み値をゼロとする
請求項１に記載の音高推定装置。
【請求項３】
前記関数推定手段は、前記推定形状特定処理において、前記音響信号の振幅スペクトルと、各基本周波数の音モデルと、当該基本周波数について算定された重み値との乗算に基づいて、当該基本周波数に対応した推定形状を生成する
請求項１または請求項２に記載の音高推定装置。
【請求項４】
前記関数推定手段が推定した前記基本周波数の確率密度関数のピークに対応した複数の基本周波数を特定する音高特定手段
を具備する請求項１から請求項３の何れかに記載の音高推定装置。
【請求項５】
各々が別個の基本周波数の高調波構造に対応する複数の音モデルの混合分布として音響信号をモデル化したときの各音モデルの重み値の分布である基本周波数の確率密度関数から前記音響信号の基本周波数を推定する方法であって、
各基本周波数の音モデルが音響信号の高調波構造を支持する程度を示す各音モデルの推定形状に基づいて当該基本周波数の重み値を算定する重み値算定処理と、音響信号の振幅スペクトルと各基本周波数の音モデルと当該基本周波数の重み値とに基づいて当該基本周波数の推定形状を特定する推定形状特定処理との反復によって前記基本周波数の確率密度関数を推定する一方、
各基本周波数の音モデルと前記推定形状特定処理で当該音モデルから特定した推定形状との類否を示す類否指標値を算定し、
前記重み値算定処理で算定された複数の重み値のうち前記算定した類否指標値が非類似を示す基本周波数の重み値を低下させる
音高推定方法。
【請求項６】
各々が別個の基本周波数の高調波構造に対応する複数の音モデルの混合分布として音響信号をモデル化したときの各音モデルの重み値の分布である基本周波数の確率密度関数から前記音響信号の基本周波数を推定するために、コンピュータに、
各基本周波数の音モデルが音響信号の高調波構造を支持する程度を示す各音モデルの推定形状に基づいて当該基本周波数の重み値を算定する重み値算定処理と、音響信号の振幅スペクトルと各基本周波数の音モデルと当該基本周波数の重み値とに基づいて当該基本周波数の推定形状を特定する推定形状特定処理との反復によって前記基本周波数の確率密度関数を推定する関数推定処理と、
各基本周波数の音モデルと前記推定形状特定処理で当該音モデルから特定した推定形状との類否を示す類否指標値を算定する類否解析処理と、
前記重み値算定処理で算定された複数の重み値のうち前記類否解析処理にて算定した類否指標値が非類似を示す基本周波数の重み値を低下させる重み値修正処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音高（基本周波数）を推定する技術に関する。
【背景技術】
【０００２】
特許文献１には、所望の音（以下「対象音」という）を構成するひとつの音の基本周波数を推定する技術が開示されている。この技術においては、対象音の振幅スペクトルを複数の音モデル（高調波構造をモデル化した確率密度関数）の混合分布でモデル化したときの各音モデルの重み値の分布を基本周波数の確率密度関数として算定し、確率密度関数における優勢なピークを所望の音の基本周波数として推定する。
【特許文献１】特許第３４１３６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、基本周波数の確率密度関数には所望の音の基本周波数以外に多数のピークが現れる。例えば、基本周波数100Hzの音の振幅スペクトルには、基本周波数200Hzの音の振幅スペクトルと同様の周波数（200Hz，400Hz，600Hz，800Hz，……）にピークが現れる。したがって、基本周波数200Hzの音が対象音に含まれる場合には、基本周波数100Hzの音が実際には対象音に含まれない場合であっても、基本周波数の確率密度関数には200Hzに加えて100Hzにもピークが現れる。また、対象音が多数の音の混合音である場合には、各音の基本周波数成分や高調波成分に対応したピークが基本周波数の確率密度関数に現れる。以上のように多数のピークが存在する確率密度関数から所望の音の基本周波数のみを高精度に抽出することは困難である。このような事情に鑑みて、本発明は、対象音（特に複数の音の混合音）の基本周波数を高精度に推定するという課題の解決を目的としている。
【課題を解決するための手段】
【０００４】
以上の課題を解決するために、本発明に係る音高推定装置は、各々が別個の基本周波数の高調波構造に対応する複数の音モデルの混合分布として音響信号をモデル化したときの各音モデルの重み値の分布である基本周波数の確率密度関数から音響信号の基本周波数を推定する装置であって、各基本周波数の音モデルが音響信号の高調波構造を支持する程度を示す各音モデルの推定形状に基づいて当該基本周波数の重み値を算定する重み値算定処理と、音響信号の振幅スペクトルと各基本周波数の音モデルと当該基本周波数の重み値とに基づいて当該基本周波数の推定形状を特定する推定形状特定処理との反復によって基本周波数の確率密度関数を推定する関数推定手段と、各基本周波数の音モデルと推定形状特定処理で当該音モデルから特定された推定形状との類否（類似度または相違度）を示す類否指標値を算定する類否解析手段と、重み値算定処理で算定された複数の重み値のうち類否解析手段の算定した類否指標値が非類似を示す（類似度が低いまたは相違度が高い）基本周波数の重み値を低下させる重み値修正手段とを具備する。
【０００５】
以上の構成においては、重み値算定処理で算定された複数の重み値のうち音モデルと推定形状とが非類似である基本周波数の重み値が抑制されるから、音響信号の高調波構造から乖離した音モデルの影響で確率密度関数にピーク（ゴースト）が発生する可能性は低減される。したがって、音響信号の基本周波数（対象音の音高）を高精度に抽出することが可能となる。
【０００６】
本発明の好適な態様において、重み値修正手段は、重み値算定処理で算定された複数の重み値のうち類否解析手段の算定した類否指標値が非類似を示す基本周波数の重み値をゼロとする。本態様によれば、音モデルと推定形状とが非類似である基本周波数の重み値がゼロとされるから、対象音の高調波構造から乖離した音モデルに起因した確率密度関数のピークは確実に抑制される。したがって、音響信号の基本周波数をいっそう高い精度で抽出することが可能となる。
【０００７】
なお、以上においては類否指標値が非類似を示す基本周波数の重み値を低下させる構成を例示したが、これとは逆に、重み値修正手段が、重み値算定処理で算定された複数の重み値のうち類否解析手段の算定した類否指標値が類似を示す基本周波数の重み値を増加させる構成としてもよい。
【０００８】
本発明の好適な態様において、関数推定手段は、推定形状特定処理において、音響信号の振幅スペクトルと、各基本周波数の音モデルと、当該基本周波数について算定された重み値との乗算に基づいて、当該基本周波数に対応した推定形状を生成する。以上の態様によれば、推定形状が簡素な演算で生成されるとともに、音響信号の高調波構造と音モデルとの類似性が推定形状に顕著に現れるという利点がある。
【０００９】
複数の音で構成される音響信号を処理の対象とする場合、実際には音響信号に含まれない基本周波数に確率密度関数のピークがある場合であっても、例えば重み値が最大となるピークのみを探索すれば、所望のひとつの音の基本周波数を推定できる可能性は高い。しかし、複数の音の基本周波数を音響信号から推定する場合には、重み値の最大値を探索する方法を利用できないから、確率密度関数のピークが、実際に音響信号に含まれる基本周波数に対応したピークであるか否かを高精度に選別することは困難となる。本発明によれば、確率密度関数のうち実際には音響信号に含まれない基本周波数におけるピークが抑制されるから、確率密度関数から複数の音の基本周波数を高精度に推定することが可能となる。すなわち、本発明は、関数推定手段が推定した基本周波数の確率密度関数のピークに対応した複数の基本周波数を特定する音高特定手段を具備する音高推定装置に特に好適に採用される。
【００１０】
本発明は、音響信号の基本周波数を推定する方法としても特定される。本発明の音高推定方法は、各々が別個の基本周波数の高調波構造に対応する複数の音モデルの混合分布として音響信号をモデル化したときの各音モデルの重み値の分布である基本周波数の確率密度関数から音響信号の基本周波数を推定する方法であって、各基本周波数の音モデルが音響信号の高調波構造を支持する程度を示す各音モデルの推定形状に基づいて当該基本周波数の重み値を算定する重み値算定処理（例えば図１の重み値算定部２３による処理）と、音響信号の振幅スペクトルと各基本周波数の音モデルと当該基本周波数の重み値とに基づいて当該基本周波数の推定形状を特定する推定形状特定処理（例えば図１の推定形状特定部２１による処理）との反復によって基本周波数の確率密度関数を推定する一方、各基本周波数の音モデルと推定形状特定処理で当該音モデルから特定した推定形状との類否を示す類否指標値を算定し（例えば図１の類否解析部２７１による処理）、重み値算定処理で算定された複数の重み値のうち算定した類否指標値が非類似を示す基本周波数の重み値を低下させる（例えば図１の重み値修正部２７３による処理）。以上の方法によれば、本発明の音高推定装置と同様の作用および効果が奏される。
【００１１】
本発明に係る音高推定装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、各々が別個の基本周波数の高調波構造に対応する複数の音モデルの混合分布として音響信号をモデル化したときの各音モデルの重み値の分布である基本周波数の確率密度関数から音響信号の基本周波数を推定するために、各基本周波数の音モデルが音響信号の高調波構造を支持する程度を示す各音モデルの推定形状に基づいて当該基本周波数の重み値を算定する重み値算定処理と、音響信号の振幅スペクトルと各基本周波数の音モデルと当該基本周波数の重み値とに基づいて当該基本周波数の推定形状を特定する推定形状特定処理との反復によって基本周波数の確率密度関数を推定する関数推定処理と、各基本周波数の音モデルと推定形状特定処理で当該音モデルから特定した推定形状との類否を示す類否指標値を算定する類否解析処理と、重み値算定処理で算定された複数の重み値のうち類否解析処理にて算定した類否指標値が非類似を示す基本周波数の重み値を低下させる重み値修正処理とをコンピュータに実行させる内容である。本発明のプログラムによっても、本発明に係る音高推定装置と同様の作用および効果が奏される。なお、本発明のプログラムは、ＣＤ−ＲＯＭなど可搬型の記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明のひとつの形態に係る音高推定装置の機能的な構成を示すブロック図である。音高推定装置Ｄは、対象音を構成する各音の基本周波数（音高）を推定する装置であり、図１に示すように、周波数分析部１２とＢＰＦ（Band Pass Filter）１４と関数推定部２０と記憶部３０と音高特定部４０とを含む。図１に図示された各部は、例えばＣＰＵなどの演算処理装置がプログラムを実行することで実現されてもよいし、音高の推定に専用されるＤＳＰなどのハードウェアによって実現されてもよい。
【００１３】
周波数分析部１２には、対象音の時間波形を示す音響信号Ｖが入力される。本実施形態の音響信号Ｖが示す対象音は、各々の音高や音源が相違する複数の音の混合音である。周波数分析部１２は、所定の窓関数を利用して音響信号Ｖを多数のフレームに分割したうえで、ＦＦＴ（Fast Fourier Transform）処理を含む周波数分析を各フレームの音響信号Ｖについて実行することで対象音の振幅スペクトルを特定する。各フレームは時間軸上で相互に重なり合うように設定される。
【００１４】
ＢＰＦ１４は、周波数分析部１２が特定した振幅スペクトルのうち特定の周波数帯域に属する成分を選択的に通過させる。ＢＰＦ１４の通過帯域は、対象音を構成する複数の音のうち音高を推定すべき各音の基本周波数成分や高調波成分の多くが通過し、かつ、他の音の基本周波数成分や高調波成分が所望の音よりも優勢となる周波数帯域が遮断されるように、統計的または実験的に予め選定される。ＢＰＦ１４を通過した振幅スペクトルＳは関数推定部２０に出力される。
【００１５】
図２は、関数推定部２０による処理の概要を説明するための概念図である。同図の部分(a)に破線で示すように、振幅スペクトルＳは実際には周波数ｘに沿って連続的に分布する。しかし、同図においては説明の便宜のために、ピークの周波数ｘに対応して配列された複数の直線（ピークの強度（振幅Ａ）に対応する長さの線分）として振幅スペクトルＳが図示されている。図２の部分(b)から部分(e)の表記（部分(b)の音モデルＭ[F]・部分(c)のスペクトル分配比Ｑ[F]・部分(d)の推定形状Ｃ[F]・部分(e)の重み値ω[F]）についても同様である。また、図２の部分(a)においては、基本周波数Ｆが200Hzである対象音（すなわち倍音の周波数が400Hz，600Hz，800Hzである対象音）の振幅スペクトルＳが便宜的に図示されているが、実際には複数の音を混合したものが対象音とされる。
【００１６】
図１の関数推定部２０は、振幅スペクトルＳについて基本周波数の確率密度関数Ｐを推定する。基本周波数の確率密度関数Ｐは、振幅スペクトルＳを多数の音モデルＭ[F]の混合分布（複数の音モデルＭ[F]の重み付き和）としてモデル化したときの各音モデルＭ[F]の重み値ω[F]の分布を表現する関数である。
【００１７】
記憶部３０は、関数推定部２０で使用される多数の音モデルＭ[F]をテンプレートとして記憶する手段（例えば磁気記憶装置や半導体記憶装置）である。図２の部分(b)や図１に示すように、音モデルＭ[F]は、対象音を構成する各音の基本周波数Ｆ0の候補となる基本周波数Ｆごとに用意される。ただし、図２の部分(b)には、100Hzの基本周波数Ｆに対応する音モデルＭ[100]と200Hzの基本周波数Ｆに対応する音モデルＭ[200]とが便宜的に図示されている。音モデルＭ[F]は、基本周波数Ｆに対応した高調波構造（基本周波数成分および高調波成分）を周波数ｘに沿ってモデル化する関数（確率密度関数）である。例えば、図２の部分(b)に例示するように、音モデルＭ[100]においては、基本周波数Ｆに対応した周波数ｘ（ｘ＝100Hz）とその倍音に相当する周波数ｘ（ｘ＝200Hz，300Hz，400Hz）とにピークが現れる。したがって、特定の基本周波数Ｆに対応する重み値ω[F]は、基本周波数Ｆに対応する音モデルＭ[F]によってモデル化される高調波構造が振幅スペクトルＳにおいてどのくらい優勢かを示す。以上の定義から理解されるように、確率密度関数Ｐのうち優勢なピークが現れる基本周波数Ｆは、対象音に含まれる各音の基本周波数Ｆ0（音高）である可能性が高い。
【００１８】
図１に示すように、関数推定部２０は、推定形状特定部２１と重み値算定部２３と処理選定部２５とゴースト抑制部２７とを含む。推定形状特定部２１は、各音モデルＭ[F]（各基本周波数Ｆ）について図２の部分(d)に図示された推定形状Ｃ[F]を生成する手段である。本実施形態の推定形状特定部２１は、各音モデルＭ[F]から図２の部分(c)に示すスペクトル分配比Ｑ[F]を生成し、各基本周波数Ｆのスペクトル分配比Ｑ[F]と振幅スペクトルＳとの乗算によって推定形状Ｃ[F]を生成する。ひとつの音モデルＭ[F]からスペクトル分配比Ｑ[F]を経て生成される推定形状Ｃ[F]は、音響信号Ｖの高調波構造が音モデルＭ[F]によって支持される程度の分布を周波数ｘに沿って示す関数である。音モデルＭ[F]とその推定形状Ｃ[F]との関係について詳述すると以下の通りである。
【００１９】
まず、音モデルＭ[F]および振幅スペクトルＳの双方にピークが現れる周波数ｘには推定形状Ｃ[F]のピークが現れる。例えば、図２の部分(a)の振幅スペクトルＳと図２の部分(b)の音モデルＭ[100]とは、周波数ｘが200Hzおよび400Hzである各地点にピークが現れる。したがって、図２の部分(d)に示すように、推定形状Ｃ[100]には、周波数ｘが200Hzおよび400Hzである各地点にピークが現れる。また、音モデルＭ[200]と振幅スペクトルＳとは、周波数ｘが200Hz，400Hz，600Hzおよび800Hzである各地点にピークが現れるから、推定形状Ｃ[200]には、周波数ｘが200Hz，400Hz，600Hzおよび800Hzである各地点にピークが現れる。
【００２０】
また、音モデルＭ[F]のピークに対応した周波数ｘに振幅スペクトルＳのピークが存在しない場合には、推定形状Ｃ[F]の当該周波数ｘにピークは現れない。例えば、図２の部分(b)の音モデルＭ[100]には周波数ｘが100Hzおよび300Hzである各地点にピークが現れるのに対し、図２の部分(a)の振幅スペクトルＳのうち周波数ｘが100Hzおよび300Hzである各地点にピークは存在しない。したがって、推定形状Ｃ[100]のうち周波数ｘが100Hzおよび300Hzである各地点には、図２の部分(d)に破線で示すようにピークが存在しない。以上の説明から理解されるように、振幅スペクトルＳの形状（基本周波数成分や各高調波成分）を優勢に支持する音モデルＭ[F]（すなわち振幅スペクトルＳの高調波構造に近い分布（ピーク）を持つ音モデルＭ[F]）から生成された推定形状Ｃ[F]ほど多数かつ高強度のピークを含む。
【００２１】
図１の重み値算定部２３は、推定形状特定部２１が算定した各推定形状Ｃ[F]から各基本周波数Ｆの重み値ω[F]を算定する手段である。図２に示すように、本実施形態の重み値算定部２３は、第１に、基本周波数Ｆごとの推定形状Ｃ[F]の関数値を各周波数ｘについて積算した数値ｋ[F]（周波数ｘに関する推定形状Ｃ[F]の積分値）を算定し、第２に、総ての基本周波数Ｆにわたる重み値ω[F]の総和が１となるように数値ｋ[F]を正規化することで各基本周波数Ｆの重み値ω[F]を生成する。すなわち、基本周波数Ｆの全範囲にわたる数値ｋ[F]の総和をＫとすれば、重み値ω[F]は「ｋ[F]／Ｋ」と表記される。
【００２２】
図１の処理選定部２５は、重み値算定部２３が算定した重み値ω[F]を、推定形状特定部２１およびゴースト抑制部２７の何れによる処理に供するかを選択する手段である。処理選定部２５が推定形状特定部２１による処理を選択した場合、重み値算定部２３が算定した重み値ω[F]は推定形状特定部２１に出力され、処理選定部２５がゴースト抑制部２７による処理を選択した場合、重み値算定部２３が算定した重み値ω[F]はゴースト抑制部２７による処理を経てから推定形状特定部２１に出力される。
【００２３】
図２に示すように、推定形状特定部２１は、記憶部３０から読み出された音モデルＭ[F]と、処理選定部２５またはゴースト抑制部２７から供給される重み値ω[F]との乗算によってスペクトル分配比Ｑ[F]を生成する。より具体的には、推定形状特定部２１は、音モデルＭ[F]と重み値ω[F]とを各基本周波数Ｆについて乗算し、さらに乗算後の各音モデルＭ[F]について同じ周波数ｘの数値の総和が１となるように正規化することでスペクトル分配比Ｑ[F]を生成する。また、推定形状特定部２１は、各基本周波数Ｆのスペクトル分配比Ｑ[F]と振幅スペクトルＳとの乗算によって当該基本周波数Ｆの推定形状Ｃ[F]を生成する。
【００２４】
推定形状特定部２１が推定形状Ｃ[F]を特定する処理（以下「推定形状特定処理」という）と重み値算定部２３が重み値ω[F]を特定する処理（以下「重み値算定処理」という）とを含む単位処理は複数回にわたって繰り返される（ＥＭアルゴリズム）。各重み値ω[F]は、単位処理のたびに、振幅スペクトルＳが多数の音モデルＭ[F]の混合分布としてモデル化されるときの各音モデルＭ[F]の重み値に近づいていく。
【００２５】
なお、音響信号Ｖのひとつのフレームについて処理が開始された直後の段階では重み値算定部２３が重み値ω[F]を未だ算定していないから、推定形状特定部２１は、振幅スペクトルＳと音モデルＭ[F]（スペクトル分配比Ｑ[F]）との乗算によって推定形状Ｃ[F]を算定する。また、処理選定部２５は、ひとつのフレームについて最初に算定された重み値ω[F]をゴースト抑制部２７に出力する一方、それ以後に算定された重み値ω[F]については推定形状特定部２１に出力する。したがって、音響信号Ｖのひとつのフレームについて処理が開始されてから第１回目の推定形状特定処理では、振幅スペクトルＳと音モデルＭ[F]との乗算によって推定形状Ｃ[F]が算定され、第２回目の推定形状特定処理では、音モデルＭ[F]とゴースト抑制部２７による処理後の重み値ω[F]とから生成されたスペクトル分配比Ｑ[F]を振幅スペクトルＳに乗算することで推定形状Ｃ[F]が算定される。そして、第３回目以降の推定形状特定処理においては、音モデルＭ[F]と重み値算定部２３によって算定された重み値ω[F]（ゴースト抑制部２７による処理を経ていない重み値ω[F]）とから生成されたスペクトル分配比Ｑ[F]を振幅スペクトルＳに乗算することで推定形状Ｃ[F]が算定される。重み値算定部２３は、単位処理の回数が所定値に到達した時点で算定された重み値ω[F]の分布を基本周波数の確率密度関数Ｐとして音高特定部４０に出力する。
【００２６】
ところで、図２の部分(a)のように振幅スペクトルＳの基本周波数Ｆが200Hzである場合、音モデルＭ[200]だけでなく音モデルＭ[100]にも振幅スペクトルＳと同じ周波数ｘ（200Hz，400Hz）にピークが含まれる。したがって、単純に推定形状特定処理と重み値算定処理とが繰り返される構成においては、図２の部分(e)に示すように、振幅スペクトルＳの基本周波数Ｆである200Hzに重み値ω[F]のピークが現れるだけでなく、実際には音響信号Ｖに含まれない基本周波数Ｆである100Hzにも重み値ω[F]のピークが現れる。なお、音響信号Ｖに実際には含まれない基本周波数Ｆに現れる重み値ω[F]のピークを以下では「ゴースト」と表記する。
【００２７】
基本周波数の確率密度関数Ｐの複数のピークのなかからゴーストだけを高精度に除外することは困難である。また、重み値ω[F]は総ての基本周波数Ｆにわたる積算値が１となるように決定されるから、対象音に実際に含まれる音の基本周波数Ｆにおける重み値ω[F]がゴーストの分だけ制限される（重み値ω[F]の増加が制約される）という問題もある。以上のようにゴーストは音高の特定の精度を低下させる要因となる。そこで、本実施形態においては、重み値算定部２３が算定した重み値ω[F]をゴースト抑制部２７が修正することでゴーストを抑制する。
【００２８】
振幅スペクトルＳの高調波構造を優勢に支持する音モデルＭ[F]は振幅スペクトルＳと同様の周波数ｘにピークを含むから、音モデルＭ[F]から生成されるスペクトル分配比Ｑ[F]と振幅スペクトルＳとの乗算に基づいて特定される推定形状Ｃ[F]には音モデルＭ[F]と同じ周波数ｘにピークが現れる。したがって、図２の部分(b)の音モデルＭ[200]と同図の部分(d)の推定形状Ｃ[200]とから把握されるように、音モデルＭ[F]と推定形状Ｃ[F]との態様（ピークの周波数やピークの振幅）は類似する。これに対し、振幅スペクトルＳの高調波構造から乖離した音モデルＭ[F]は振幅スペクトルＳとは相違する周波数ｘにピークを含むから、推定形状Ｃ[F]は音モデルＭ[F]の幾つかのピークが低減された形状となる。したがって、図２の部分(b)の音モデルＭ[100]と同図の部分(d)の推定形状Ｃ[100]とから把握されるように、音モデルＭ[F]と推定形状Ｃ[F]とは態様が大きく相違する。以上の特性を考慮して、本実施形態においては、音モデルＭ[F]と推定形状Ｃ[F]との類似度が低い基本周波数Ｆの重み値ω[F]をゴーストと認識して強制的に低減する。
【００２９】
図１に示すように、ゴースト抑制部２７は、類否解析部２７１と重み値修正部２７３と正規化部２７５とを含む。類否解析部２７１は、同じ基本周波数Ｆに対応した音モデルＭ[F]と推定形状Ｃ[F]との類否を示す数値（以下「類否指標値」という）Ｒ[F]を各基本周波数Ｆについて算定する手段である。本実施形態の類否指標値Ｒ[F]はＫＬ（Kullbuck-Leibler）情報量である。したがって、音モデルＭ[F]と推定形状Ｃ[F]とが類似するほど類否指標値Ｒ[F]はゼロに近づいていく（両者の相違が大きいほど類否指標値Ｒ[F]は増加する）。
【００３０】
図３は、ゴースト抑制部２７による処理の内容を説明するための概念図である。同図の部分(a)は、記憶部３０に記憶された音モデルＭ[F]を示し、部分(b)は、推定形状特定部２１が特定した推定形状Ｃ[F]を示す。また、図３の部分(c)は、類否解析部２７１が算定した類否指標値Ｒ[F]を示す。図３に示すように、基本周波数Ｆaに対応する音モデルＭ[Fa]と推定形状Ｃ[Fa]とは相違が大きい（音モデルＭ[Fa]が振幅スペクトルＳの高調波構造から乖離している）から類否指標値Ｒ[Fa]は大きい数値となる。一方、基本周波数Ｆbに対応する音モデルＭ[Fb]と推定形状Ｃ[Fb]とは類似度が高い（音モデルＭ[Fb]が振幅スペクトルＳの高調波構造を優勢に支持している）から類否指標値Ｒ[Fb]は小さい数値となる。
【００３１】
重み値修正部２７３は、音モデルＭ[F]と推定形状Ｃ[F]とが非類似である（類似度が低い）基本周波数Ｆの重み値ω[F]を、重み値算定部２３が算定した数値に拘わらず強制的にゼロに変更する。さらに詳述すると、本実施形態の重み値修正部２７３は、類否指標値Ｒ[F]が閾値ＴＨを下回る場合には重み値算定部２３が算定した重み値ω[F]を維持し、類否指標値Ｒ[F]が閾値ＴＨを上回る場合には重み値ω[F]をゼロに変更する。図３の部分(d)は、重み値算定部２３が算定した重み値ω[F]の分布を示し、図３の部分(e)は、重み値修正部２７３による修正後の重み値ω[F]の分布を示す。同図に示すように、基本周波数Ｆbの類否指標値Ｒ[Fb]は閾値ＴＨを下回るから、基本周波数Ｆbの近傍に分布する重み値ω[F]のピークは維持される。これに対し、基本周波数Ｆaの類否指標値Ｒ[Fa]は閾値ＴＨを上回るから、基本周波数Ｆaの近傍に分布する重み値ω[F]のピークは除去される。
【００３２】
以上のように重み値ω[F]を修正すると、総ての基本周波数Ｆにわたる重み値ω[F]の総和が１とならない場合があり得る。そこで、図１の正規化部２７５は、ゴースト抑制部２７から推定形状特定部２１に出力される重み値ω[F]について総ての基本周波数Ｆにわたる総和（積分値）が１となるように、重み値修正部２７３による修正後の重み値ω[F]を正規化して推定形状特定部２１に出力する。
【００３３】
図１の音高特定部４０は、対象音に含まれる複数の音の基本周波数Ｆ0（音高）を基本周波数の確率密度関数Ｐに基づいて特定する手段である。本実施形態の音高特定部４０は、確率密度関数Ｐに現れる複数のピークの経時的な変動をマルチエージェントモデルによって特定することで所望の各音の基本周波数Ｆ0の軌跡を特定する。すなわち、複数の自律的なエージェントの各々に確率密度関数Ｐの別個のピークを割り当てたうえで各ピークの経時的な変動を追跡させ、複数のエージェントのうち信頼度が高い順番に選択した所定数のエージェントの各ピークを基本周波数Ｆ0として出力する。各エージェントの具体的な挙動については特許文献１に詳述されている。
【００３４】
以上に説明したように、本実施形態においては、ゴースト抑制部２７による修正後の重み値ω[F]が推定形状Ｃ[F]の特定に使用されるから、実際には対象音に含まれない音の基本周波数Ｆに対応した推定形状Ｃ[F]やこれに基づいて生成される数値ｋ[F]や重み値ω[F]は、ゴースト抑制部２７を持たない構成（以下「対比例」という）と比較して有効に低減される。図４は、音高特定部４０が特定する基本周波数Ｆ0の時間的な変動を示す模式図である。同図においては時刻Ｔにおける確率密度関数Ｐが併記されている。同図の部分(a)は、本実施形態の音高特定部４０が特定する基本周波数Ｆ0の軌跡であり、同図の部分(b)は、対比例の構成で特定される基本周波数Ｆ0の軌跡である。図４の部分(a)に示すように、本実施形態によれば同図の部分(b)に存在するゴーストＧが除去される。すなわち、対象音に実際に含まれる音の基本周波数Ｆ0のみを高い精度で明瞭に抽出することが可能である。
【００３５】
なお、特許文献１に開示されるように基本周波数の確率密度関数Ｐからひとつの基本周波数Ｆ0のみを推定するのであれば、重み値ω[F]にゴーストが存在する対比例の場合であっても、確率密度関数Ｐの最大のピークを探索することで所望の音の基本周波数Ｆ0を推定できる可能性は高い。しかし、最大のピークを探索する方法では、ゴーストＧと所望の基本周波数Ｆ0に対応するピークとが混在する確率密度関数Ｐから複数の音の基本周波数Ｆ0のみを高精度に抽出することは困難である。本実施形態によれば、ゴーストＧに対応した重み値ω[F]の抑制によって、確率密度関数Ｐのうち実際に対象音に含まれる各音のピークのみが選択的に顕在化するから、例えば重み値ω[F]が高いほうから順番に所定数のピーク（エージェント）を選択することで、複数の音の基本周波数Ｆ0を高精度かつ容易に特定することが可能となる。
【００３６】
＜変形例＞
以上の各形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の各態様を適宜に組み合わせてもよい。
【００３７】
（１）変形例１  
以上の形態においてはひとつのフレームについて最初に算定された重み値ω[F]が重み値修正部２７３で修正される構成を例示したが、重み値ω[F]の修正の時機は任意である。例えば、所定回（１回または複数回）にわたる単位処理の実行後に重み値ω[F]が修正される構成としてもよい。もっとも、以上の形態のように初期的な段階で重み値ω[F]が修正される構成によれば、重み値ω[F]の最適化に必要な時間（単位処理の回数）が削減されるという利点がある。また、ひとつのフレームについて実行される重み値ω[F]の修正の回数も任意である。例えば、所定回（１回または複数回）の単位処理が実行されるたびに重み値ω[F]を修正する構成も採用される。
【００３８】
（２）変形例２  
以上の形態においては類否指標値Ｒ[F]と閾値ＴＨとが比較される構成を例示したが、重み値ω[F]の修正の可否を決定する方法は適宜に変更される。例えば、音モデルＭ[F]と推定形状Ｃ[F]との類似度が低い（類否指標値Ｒ[F]が大きい）ほうから計数して所定個の基本周波数Ｆについて重み値ω[F]をゼロに修正してもよい。
【００３９】
また、以上の形態においてはゴーストに対応する重み値ω[F]がゼロに変更される構成を例示したが、重み値ω[F]の修正の方法はこれに限定されない。すなわち、ゴースト抑制部２７から推定形状特定部２１に出力される重み値ω[F]のうちゴーストに対応する重み値ω[F]が、重み値算定部２３の算定した重み値ω[F]よりも小さい数値に低減されればよい。したがって、重み値修正部２７３としては、ゴーストに対応した重み値ω[F]をゼロに置換する手段のほか、ゴーストに対応した重み値ω[F]に１未満の数値を乗算する手段や重み値ω[F]から所定値を減算する手段も採用される。
【００４０】
また、以上においてはゴーストに対応した重み値ω[F]が抑制される構成を例示したが、これとは逆に、ゴーストが現れない基本周波数Ｆの重み値ω[F]を、重み値算定部２３が算定した重み値ω[F]よりも大きい数値に増加させる構成も採用される。例えば、重み値修正部２７３は、類否指標値Ｒ[F]が閾値ＴＨを上回る基本周波数Ｆについては重み値算定部２３が算定した重み値ω[F]を維持し、類否指標値Ｒ[F]が閾値ＴＨを下回る基本周波数Ｆ（音モデルＭ[F]と推定形状Ｃ[F]とが類似する基本周波数Ｆ）については、重み値算定部２３が算定した重み値ω[F]よりも大きい数値を修正後の重み値ω[F]として出力する。この構成における重み値修正部２７３としては、ゴーストに対応した重み値ω[F]に１を越える所定値を乗算する手段や重み値ω[F]に所定値を加算する手段が採用される。
【００４１】
（３）変形例３  
また、ＫＬ情報量は類否指標値Ｒ[F]の例示に過ぎない。例えば、音モデルＭ[F]と推定形状Ｃ[F]とのＲＭＳ（Root Mean Square）誤差（平均自乗誤差）を類否指標値Ｒ[F]として算定してもよい。また、以上においては音モデルＭ[F]と推定形状Ｃ[F]との類似度が高いほど類否指標値Ｒ[F]がゼロに近づく場合を例示したが、音モデルＭ[F]と推定形状Ｃ[F]との類似度が低いほどゼロに近づくような数値を類否指標値Ｒ[F]として算定してもよい。すなわち、類否指標値Ｒ[F]の算定の方法は本発明において任意であり、音モデルＭ[F]と推定形状Ｃ[F]との類似度が低い基本周波数Ｆの重み値ω[F]が低減される構成であれば足りる。
【００４２】
（４）変形例４  
以上の形態においては、基本周波数の確率密度関数Ｐのうち重み値ω[F]の高いほうから計数して所定数のピークが抽出される構成を例示したが、確率密度関数Ｐの複数のピークのうち所定の閾値を上回るピークが基本周波数Ｆ0として抽出される構成としてもよい。また、以上の形態においては複数の基本周波数Ｆ0が推定される構成を例示したが、ひとつの基本周波数Ｆ0を推定する場合にも以上と同様の形態を当然に採用することができる。
【００４３】
（５）変形例５  
以上の形態においてはひとつの系列の音モデルＭ[F]を利用した構成を例示したが、図５に示すように、複数の系統の音モデルＭ[F]を利用してもよい。同図の音高推定装置Ｄはｎ個の関数推定部２０を含む（ｎは２以上の自然数）。記憶部３０には、各々が別個の関数推定部２０に対応したｎ系統の音モデルＭ1[F]〜Ｍn[F]が格納される。第ｉ番目（ｉは１≦ｉ≦ｎを満たす整数）の関数推定部２０に対応した１系統の音モデルＭi[F]は、図１から図３の音モデルＭ[F]と同様に、各基本周波数Ｆに対応した高調波構造をモデル化する関数である。音モデルＭ1[F]〜Ｍn[F]の各々は態様（ピークの周波数や各ピークの強度）が相違する。例えば、複数弦の弦楽器（例えば６弦のギター）の演奏音から各弦の音の基本周波数を推定するために利用される音高推定装置Ｄにおいては、第ｉ番目の弦の演奏音の音響特性（振幅スペクトルや周波数帯域）に対応するように各音モデルＭi[F]が作成される。
【００４４】
ＢＰＦ１４から出力された振幅スペクトルＳはｎ系統に分配されたうえで各関数推定部２０に供給される。各関数推定部２０は、自身に対応した記憶部３０の音モデルＭi[F]と振幅スペクトルＳとに基づいて以上の形態と同様の単位処理（推定形状特定処理および重み値算定処理）を並列に実行する。図５に示すように、各関数推定部２０から出力された確率密度関数Ｐ1〜Ｐnの総和が基本周波数の確率密度関数Ｐとして音高特定部４０に出力される。以上の構成によれば、複数の系統の音モデルＭ1[F]〜Ｍn[F]が使用されるから、１系統の音モデルＭ[F]のみが使用される図１の構成と比較して、対象音に含まれる複数の音の各基本周波数をいっそう高精度に推定することが可能である。
【００４５】
（６）変形例６  
以上の形態のように音響信号Ｖのフレームごとに独立に重み値ω[F]が算定される構成のもとでは、ひとつのフレームを対象とした第１回目の推定形状特定処理において、例えば振幅スペクトルＳと音モデルＭ[F]（スペクトル分配比Ｑ[F]）との乗算によって推定形状Ｃ[F]が算定される。ただし、各フレームの重み値ω[F]が、直前のフレームで最終的に確定した重み値ω[F]（直前のフレームについて推定された確率密度関数Ｐの関数値）を初期値として算定される構成としてもよい。例えば、ひとつのフレームを対象とした第１回目の推定形状特定処理においては、その直前のフレームについて最終的に算定された重み値ω[F]と音モデルＭ[F]とから生成したスペクトル分配比Ｑ[F]を振幅スペクトルＳに乗算することで推定形状Ｃ[F]が算定される構成としてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明のひとつの形態に係る音高推定装置の機能的な構成を示すブロック図である。
【図２】関数推定部による単位処理の内容を説明するための概念図である。
【図３】ゴースト抑制部による処理の内容を説明するための概念図である。
【図４】ゴーストが抑制される効果を説明するためのグラフである。
【図５】変形例に係る音高推定装置の機能的な構成を示すブロック図である。
【符号の説明】
【００４７】
Ｄ……音高推定装置、１２……周波数分析部、１４……ＢＰＦ、２０……関数推定部、２１……推定形状特定部、２３……重み値算定部、２５……処理選定部、２７……ゴースト抑制部、２７１……類否解析部、２７３……重み値修正部、２７５……正規化部、３０……記憶部、４０……音高特定部。
【図１】
2008058886.tif 000003
【図２】
2008058886.tif 000004
【図３】
2008058886.tif 000005
【図４】
2008058886.tif 000006
【図５】
2008058886.tif 000007