1(57)【特許請求の範囲】【請求項１】 周波数から瞬時周波数への写像の不動点を用いた音源情報の抽出方法において、各フィルタ出力についての瞬時周波数の周波数方向の偏微分を行い、各フィルタ出力を周波数方向に偏微分し、更に時間方向に偏微分した値に適切な加重をかけて、時間方向に短時間の加重付きの積分を行うことにより、各フィルタについての搬送波対雑音比の推定値を計算し、搬送波対雑音比を求め、評価量の推定値を得ることを特徴とする音源情報の抽出方法。
10【請求項２】 請求項１記載の音源情報の抽出方法において、前記搬送波対雑音比による評価量の推定値に基づいて、対数周波数軸上相似フィルタを基本周波数に対応する不動点の選択に用い、基本周波数についての事前情報無しに基本周波数を抽出することを特徴とする音源情2
報の抽出方法。
【請求項３】 請求項２記載の音源情報の抽出方法において、前記対数周波数軸上相似フィルタと線形周波数軸上相似適応チャープフィルタとを組み合わせることにより基本周波数についての事前情報無しに基本周波数を抽出するとともに、該抽出された基本周波数の精度を改良することを特徴とする音源情報の抽出方法。
【請求項４】 周波数から瞬時周波数への写像の不動点を用いた音源情報の抽出装置において、各フィルタ出力についての瞬時周波数の周波数方向の偏微分を行い第１の値を得る手段と、各フィルタ出力を周波数方向に偏微分し、更に時間方向に偏微分を行い第２の値を得る手段と、
該第１と第２の値に適切な加重をかけて、時間方向に短時間の加重付きの積分を行うことにより、各フィルタに(2)3ついての搬送波対雑音比の推定値を計算し、搬送波対雑音比を求め、評価量の推定値を得る手段を備えたことを特徴とする音源情報の抽出装置。
【請求項５】 請求項４記載の音源情報の抽出装置において、前記搬送波対雑音比による評価量の推定値に基づいて、基本周波数に対応する不動点の選択を行う対数周
波数軸上相似フィルタを具備し、基本周波数についての事前情報無しに基本周波数を抽出する手段を備えたことを特徴とする音源情報の抽出装置。
【請求項６】 請求項５記載の音源情報の抽出装置において、前記対数周波数軸上相似フィルタと線形周波数軸上相似適応チャープフィルタとを組み合わせることにより基本周波数についての事前情報無しに基本周波数を抽出するとともに、該抽出された基本周波数の精度を改良することを特徴とする音源情報の抽出装置。
【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、音源情報の抽出方
法及び装置に関するものである。
【０００２】【従来の技術】瞬時周波数は時間変化信号に対する周波数概念を自然に拡大した概念である。瞬時周波数は音声のような非定常信号を表すために適した性質を多く有する。これは種々の信号処理課題に応用された； 正弦波
モデルに基づいた音声符号化、 フォルマント抽出及びバンド幅推定、 有声音の調波構造の抽出、 基本周波数（Ｆ０）の抽出、また、 聴覚情報処理の興味深い計算モデル等である。以下では正弦波モデルの成分正弦波の周波数、位相情報、基本周波数、およびそれらの周期性の強さ（あるいは周期成分と非周期成分の割合）等を音源情報と総称することにする。しかし、この概念に潜在する重要な可能性、特に、音声の音源情報の抽出についてはまだ十分には研究されていない。これらの側面に関する最近の研究により、瞬時周波数を利用すれば非常に優れた音源情報の抽出方法が導かれることが明らかとなった。
【０００３】複数の帯域通過型フィルタの共通する通過帯域に顕著な正弦波成分がある場合、帯域通過型フィル
タ出力の瞬時周波数は、中心周波数の異なったフィルタ
にわたって実質的には一定値をとるということが知られていた。換言すれば、フィルタ中心の周波数から瞬時出
力周波数までの写像は、顕著な信号周波数の近くに不動点を有する。この性質は、複合音の調波成分及び音声のフォルマントのような顕著な共振を抽出するのに用いられる。また、これらの性質と、異なった聴覚神経間の同期発火現象とが関連するであろうことが指摘されており、対応する聴覚的実体を表すものとして『音縒り（ｓｙｎｃｈｒｏｎｙ ｓｔｒａｎｄ）』によるモデル化が行われている。しかし、これらの考えを一貫性のあるＦ
０抽出方法としてどのようにまとめたら良いかは、明確

10

20

30

40

50

特許３４１７８８０
4
ではなかった。
【０００４】本願発明者は、近年、ＳＴＲＡＩＧＨＴと呼ばれる高品質の音声分析、変換、合成システムを提案している。ＳＴＲＡＩＧＨＴは、古典的なチャネルボコ
ーダの概念を一般化されたピッチ同期分析に基づいて洗練したものである。ここでは、従来から用いられている
述語として『ピッチ同期分析』という用語を踏襲して用いた。このように、音声情報処理の分野では、ピッチという用語が基本周波数（Ｆ０）と同じ意味で用いられている。しかし、これは、不正確な言葉の使用法である。
物理的な属性を表すＦ０と心理的属性を表すピッチは本
来別のものである。本明細書では、特に心理的属性に言及するのではない限り、『ピッチ』という用語を用いないこととする。ＳＴＲＡＩＧＨＴ法では、Ｆ０に適応した分析が行われているため、声門の一開閉サイクルとして定義される有音声の基本周期毎に、正確でかつ信頼性のあるＦ０情報が必要となる。従来から提案されている
様々なＦ０抽出方法を適用して検討した結果、従来の方法では時間分解能についての要求条件と周波数の精度についての要求条件とを共に満たすことができないことが明らかになった。また、抽出されたＦ０に高速に変化す
る成分や不連続を含む場合には、それらの絶対値が小さくてもそのＦ０情報に基づいて合成された音声の知覚的品質が劣化することが分かった。さらに、知覚的に高品質な音声の合成には、無声／有声の判定が非常に大きな影響を及ぼすことが示され、数ミリ秒以内の時間的正確さが求められる場合のあることが分かった。また、逆に、特定の方向への偏りが無いのであれば、Ｆ０をゆっくりと変化させるトレンド成分には、合成された音声に対する知覚的な悪影響が無いことがわかった。
【０００５】【発明が解決しようとする課題】現在まで、多くのＦ０抽出方法がある；間隔測定に基づいた時間領域アルゴリ
ズム、スペクトルに基づいた周波数領域の方法、自己相関及びｈａｒｍｏｎｉｃｓｉｅｖｅ（調波成分を取り出す篩い）、それらを組み合わせた方法及び生物学的に動機づけがされた方法などがある。これらの方法及び装置
では、分析対象とする信号が数学的な意味での周期的信号であることを仮定している。数学的な意味での周期性に基づいて導出されたこれらの方法による推定値は、Ｆ０が時間的に一定であるような信号については、正しい
Ｆ０の推定値を与える。しかし、Ｆ０が時間的に変化するような現実の音声や、複合音を構成する成分正弦波の周波数が調波性から少しだけ外れたような音を分析する
場合に、従来の方法が適切なＦ０の推定値をあたえるかどうかは明らかではない。
【０００６】提案した高品質の音声変換システムでは、原音声の音源についての正確な情報に基づいて音声を変換し再合成することが必要である。したがって、この方法を改良するには、Ｆ０が時間的に変化したり調波性か(3)5ら外れた成分を含む信号についても合理的に適用することのできるＦ０抽出方法が必要となる。こうした観察が、基本成分の瞬時周波数を用いた高い時間分解能を有する正確なＦ０軌跡を生み出す新しいＦ０抽出方法の動機づけとなった。
【０００７】ＳＴＲＡＩＧＨＴ法では、基本波成分を含むフィルタが最小のＡＭ変調およびＦＭ変調となることを仮定して瞬時周波数に基づいたＦ０抽出方法を導出し、用いていた。ＳＴＲＡＩＧＨＴで用いていたＦ０抽
出方法は、音声と同時に記録されたＥＧＧ（Ｅｌｅｃｔｒｏ Ｇｌｏｔｔｏ Ｇｒａｐｈ）信号を参照信号とした評価テストにおいて、妥当な性能を示した。例えば、女性話者による１００文章の分析では、音声から求められたＦ０とＥＧＧから求められたＦ０の誤差が２０％以上の値を示したのは、全分析フレームの１．４％であった。また、全分析フレームの５３％で、音声から求められたＦ０は、ＥＧＧから求められたＦ０の０．３％以内に入っていた。しかし、上記の最小のＡＭ，ＦＭ変調の仮定はあいまいに定式化されており、数学的には有効でない。また、この方法では、男性の音声についてのＦ０の誤差の標準偏差が女性の音声の場合の２倍程度になるという問題があった。
【０００８】本発明は、必要な数学的基礎を提供し、上記した方法の拡張である新たなＦ０抽出方法を導くことである。不動点におけるフィルタ中心周波数と出力瞬時周波数との関係の偏微分についての詳細な検討は、必要な数学的基礎を提供する重要な鍵であった。これにより、瞬時周波数概念の非定常的な側面を利用する新しい
一貫したＦ０及び音源情報抽出方法へと導かれる。
【０００９】本発明は、フィルタ中心周波数から出力の瞬時周波数への不動点の性質を瞬時のデータから定量的に解釈の明瞭な量として検出することができる音源情報の抽出方法及び装置を提供することを目的とする。
【００１０】【課題を解決するための手段】〔１〕周波数から瞬時周波数への写像の不動点を用いた音源情報の抽出方法において、各フィルタ出力についての瞬時周波数の周波数方向の偏微分を行い、各フィルタ出力を周波数方向に偏微分し、更に時間方向に偏微分した値に適切な加重をかけて、時間方向に短時間の加重付きの積分を行うことにより、各フィルタについての搬送波対雑音比の推定値を計算し、搬送波対雑音比を求め、評価量の推定値を得るよ
うにしたものである。
【００１１】〔２〕上記〔１〕記載の音源情報の抽出方法において、前記搬送波対雑音比による評価量の推定値に基づいて、対数周波数軸上相似フィルタを基本周波数に対応する不動点の選択に用い、基本周波数についての事前情報無しに基本周波数を抽出するようにしたものである。
【００１２】〔３〕上記〔２〕記載の音源情報の抽出方

10

20

30

40

50

特許３４１７８８０6法において、前記対数周波数軸上相似フィルタと線形周
波数軸上相似適応チャープフィルタとを組み合わせることにより基本周波数についての事前情報無しに基本周波数を抽出するとともに、この抽出された基本周波数の精度を改良するようにしたものである。
【００１３】〔４〕周波数から瞬時周波数への写像の不動点を用いた音源情報の抽出装置において、各フィルタ
出力についての瞬時周波数の周波数方向の偏微分を行い第１の値を得る手段と、各フィルタ出力を周波数方向に偏微分し、更に時間方向に偏微分を行い第２の値を得る
手段と、これらの第１と第２の値に適切な加重をかけて、時間方向に短時間の加重付きの積分を行うことにより、各フィルタについての搬送波対雑音比の推定値を計算し、搬送波対雑音比を求め、評価量の推定値を得る手段を備えるようにしたものである。
【００１４】〔５〕上記〔４〕記載の音源情報の抽出装置において、前記搬送波対雑音比による評価量の推定値に基づいて、基本周波数に対応する不動点の選択を行う
対数周波数軸上相似フィルタを具備し、基本周波数についての事前情報無しに基本周波数を抽出する手段を備えるようにしたものである。
【００１５】〔６〕上記〔５〕記載の音源情報の抽出装置において、前記対数周波数軸上相似フィルタと線形周
波数軸上相似適応チャープフィルタとを組み合わせることにより基本周波数についての事前情報無しに基本周波数を抽出するとともに、この抽出された基本周波数の精度を改良するようにしたものである。
【００１６】【発明の実施の形態】以下、本発明の実施の形態について詳細に説明する。
【００１７】図１は本発明の実施例を示す音源情報の抽出を行うための基本周波数抽出装置のブロック図である。
【００１８】この図に示すように、入力回路１は、分析の対象となる信号ｘ（ｔ）を増幅、変換、分配などするために用いられる。この入力回路１において、例えば、マイクで収録された音声信号は適切なレベルに増幅された後、適切な標本化周波数でディジタル化される。ディ
ジタル化された信号は、対数周波数軸上相似フィルタ２により分析される。対数周波数軸上相似フィルタ２とは、周波数軸を対数周波数に変換してフィルタ特性を表した場合、軸上の位置のみが異なり、形状が同一のフィルタを複数、中心周波数を応用目的により定まる下限から上限まで組織的に配置したフィルタ群である。組織的な配置としては、対数周波数軸上で等間隔になるようにすることが普通である。しかし、それ以外の配置でも構わない。本発明の実験では、中心周波数を４０Ｈｚから
８００Ｈｚまで、２の２４乗根（約３％の増加に相当）
づつ等比的に変化させた。それぞれのフィルタは、詳細に後述する式（８）（９）（１０）により求められる複(4)7
素数のインパルス応答を有するフィルタである。その対数周波数軸上相似フィルタ２の出力は、瞬時周波数周波
数微分回路３と不動点抽出回路６とに送られる。
【００１９】瞬時周波数周波数微分回路３においては、
フィルタの出力から各フィルタ出力の瞬時周波数を計算し、さらに、隣接するフィルタの出力の瞬時周波数とそ
れぞれのフィルタの中心周波数に基づいて、各フィルタについて瞬時周波数の周波数方向の偏微分が計算される。これは、詳細に後述する式（２０）に相当する。この計算結果は、瞬時周波数時間周波数微分回路４と搬送波対雑音比計算回路５とに送られる。
【００２０】瞬時周波数時間周波数微分回路４においては、瞬時周波数周波数微分回路３において求められた各フィルタについて瞬時周波数の周波数方向の偏微分の時
間方向の微分を計算することにより、各フィルタ出力の瞬時周波数の周波数方向の偏微分を時間方向に偏微分した値が求められる。これは、詳細に後述する式（２２）に相当する。
【００２１】搬送波対雑音比計算回路５は、各フィルタについての瞬時周波数の周波数方向の偏微分と、各フィルタ出力の周波数方向の偏微分を時間方向に偏微分した値に適切な加重をかけて、時間方向に短時間の加重付きの積分を行うことにより、各フィルタについての搬送波
対雑音比の推定値を計算する。それぞれの偏微分に掛ける適切な重みは、それぞれのフィルタ形状とそれぞれのフィルタの中心周波数から詳細に後述する式（１２）により求められる。この加重は、分析中に変化するものではない。したがって、フィルタを設計した時点で決定することができる。こうして決定した加重の値を搬送波対雑音比計算回路５に組み込んでおけば良い。
【００２２】搬送波対雑音比計算回路５の働きについては、後述する図３に具体的に例が挙げられている。ある信号に対してその中の一つの正弦波成分を含むようなフィルタおよびその周辺のフィルタの出力から求められた量を例示している。瞬時周波数周波数微分回路３の出力は、図３の実線で表されている。瞬時周波数時間周波数
微分回路４の出力は、図３の破線で示されている。これらのそれぞれを自乗し、平均して平方根を求めたものが
図３の一点鎖線である。この一点鎖線は、瞬時周波数周
波数微分回路３の出力と瞬時周波数時間周波数微分回路
４の出力の全体的な傾向（振幅包絡）を表しているが、細かな振動と１３５ｍｓ付近で０に非常に近くなるため実用上は使用し難い。この一点鎖線の信号を注目しているフィルタのインパルス応答の包絡により時間的に平滑化することにより、図３の中の点線の信号を得る。こうして求められた信号は、搬送波対雑音比の良い推定値となる。
【００２３】不動点抽出回路６は、各フィルタの中心周
波数と各フィルタ出力の瞬時周波数の対応関係から不動点として安定な性質を持つものを選択し、その周波数を

10

20

30

40

50

特許３４１７８８０8求める回路である。不動点の選択は、詳細に後述する式（１１）による。この回路自体は本発明の特徴ではない。
【００２４】基本周波数成分選択回路７は、それぞれの不動点に対応する搬送波対雑音比を比較し、最も高い搬
送波対雑音比に対応する不動点を基本周波数成分として選択する。搬送波対雑音比という周波数依存性の無い客
観的な尺度が推定できるようになったことにより、対数
周波数軸上相似フィルタのように線形周波数軸上での形状が異なるとともに中心周波数が異なるようなフィルタ
間の合理的な比較が可能になった。
【００２５】周期性評価回路８は、基本周波数成分選択
回路７で選択された基本周波数成分の周期性の度合い
を、搬送波対雑音比計算回路５で求められた基本周波数成分に対応する搬送波対雑音比の値に基づいて評価する回路である。ここには、３種類の評価基準を用いることができ、それぞれ異なった３種類の実施例に対応する。
【００２６】第一の評価基準は、搬送波対雑音比をそのまま用いるものである。信号対雑音比がそのまま周期成分と非周期成分の相対的振幅を反映していると解釈するものである。
【００２７】第二の評価基準は、求められた搬送波対雑音比の値をそのまま用いるのではなく、抽出された基本周波数成分の周波数の変動と振幅の変動による影響を推定して補正してから評価基準として用いる方法である。
【００２８】第三の評価基準は、求められた搬送波対雑音比の値から、求められた基本周波数成分の情報に基づ
いて基本波だけからなる信号を作成し、その作成した信
号を元の信号を分析したものと同じ方法で分析して求めた作成信号の搬送波対雑音比を引いたものを、非周期成分として評価する方法である。
【００２９】以上説明した部分、つまり図１の破線Ａで囲まれた部分だけでも、高精度の音源情報分析装置として十分に利用することができる。
【００３０】しかし、以下の部分、つまり図１の破線Ｂで囲まれた部分を追加することにより、さらに高精度の音源情報分析装置として利用することができる。
【００３１】線形周波数軸上相似適応チャープフィルタ
９では、後述する図８に示される、基本波成分選択回路により求められた基本周波数成分の基本周波数の値、周期性評価回路により求められた周期性の度合いに基づいて、周期成分が顕著な場合には、基本周波数に適応した
周波数分析が行われる。ここでは、フィルタは中心周波数が線形周波数軸上で等間隔にならび、フィルタ形状も線形周波数軸上で平行移動により重なるような同じ形状を有している。このようなフィルタは、等価的に高速フーリエ変換により実現できる。また、後述する図８に示される、基本波成分選択回路により求められた基本周波数成分の時間微分により求められる基本周波数の瞬時周
波数の変動速度に基づいて分析に先立って信号の時間軸

(5)

特許３４１７８８０910が放物線状に変換される。この変換自体は、既に提案さ＊ 粗い推定値を参照することにより、最終的な基本周波数れている変換であるが、この変換をこの構成の下で用いの推定値の平均的な誤差の期待値が最も小さくなるようることは新しい。
に統合して改良された基本周波数が求められる。
【００３２】瞬時周波数周波数微分回路１０において【００３８】なお、これらの処理と同等の処理をアナロ
は、フィルタの出力から各フィルタ出力の瞬時周波数をグ回路を用いて行うこともできる。その場合、入力回路
計算し、さらに、隣接するフィルタの出力の瞬時周波数
１は、増幅ならびに分配の機能のみを有する。
とそれぞれのフィルタの中心周波数に基づいて、各フィ【００３９】以下、本発明の実施例である周波数から瞬ルタについて瞬時周波数の周波数方向の偏微分が計算さ時周波数への写像の不動点及びＦ０抽出方法について詳れる。これは、詳細に後述する式（２０）に相当する。
細に説明する。
この計算結果は、瞬時周波数時間周波数微分回路１１と 10 【００４０】ここでは、フィルタ中心周波数から出力の搬送波対雑音比計算回路１２とに送られる。
瞬時周波数（Ｆ−ＩＦ写像）への不動点における特徴に【００３３】瞬時周波数時間周波数微分回路１１におい
基づいて、信頼性のあるＦ０抽出方法を説明する。フィては、瞬時周波数周波数微分回路１０において求められルタ包絡線のインパルス応答がガウス形の信号と２次のた各フィルタについて瞬時周波数の周波数方向の偏微分
カーディナル・Ｂスプライン（ｃａｒｄｉｎａｌ Ｂ−の時間方向の微分を計算することにより、各フィルタ出
ｓｐｌｉｎｅ）基底関数の畳み込みとして設定される力の瞬時周波数の周波数方向の偏微分を時間方向に偏微と、不動点におけるＦ−ＩＦ写像の周波数方向の偏微分した値が求められる。これは、後述する式（２２）に分、時間周波数方向の偏微分により、顕著な正弦波上の相当する。
成分（搬送波成分）とそれ以外の成分との比率（搬送波【００３４】搬送波対雑音比計算回路１２は、各フィル
対雑音比）の推定値が分かる。対数周波数軸上で同じ
タについての瞬時周波数の周波数方向の偏微分と、各フ 20 形、また同じ間隔を有するフィルタ群を用いれば、搬送ィルタ出力の周波数方向の偏微分を時間方向に偏微分し波対雑音比を基準とすることで、基本波成分を含むフィた値に適切な加重をかけて、時間方向に短時間の加重付
ルタを選択することができる。すると信号の基本周波数
きの積分を行うことにより、各フィルタについての搬送は、フィルタ出力の瞬時周波数として算定される。提案
波対雑音比の推定値を計算する。それぞれの偏微分に掛した方法を音声と対応するＥＧＧ信号とを同時に記録しける適切な重みは、それぞれのフィルタ形状とそれぞれたデータベースを用いて評価したところ、基準となるＦのフィルタの中心周波数から、後述する式（１２）によ
０からの誤差が２０％以上となるフレーム数は、全分析り求められる。この加重は、分析中に変化するものでは
フレーム数の１％未満であることが分かった。本発明にない。したがって、フィルタを設計した時点で決定する
より、基本周期と同程度の時間分解能でのＦ０軌跡の追ことができる。こうして決定した加重の値を搬送波対雑跡が可能になる。
音比計算回路１２に組み込んでおけば良い。
30 【００４１】以下、本発明の音源情報の抽出方法につい【００３５】不動点抽出回路１３は、各フィルタの中心て詳細に述べる。
周波数と各フィルタ出力の瞬時周波数の対応関係から不【００４２】〔１〕まず、このセクションでは、後のセ動点として安定な性質を持つものを選択し、その周波数クションで論じるために必要な概念を導入する。まず、を求める回路である。不動点の選択は、後述する式（１瞬時周波数について概観する。次に、音声の駆動機構を１）による。この回路自体は、本発明の特徴ではない。
概観した後、音声を分析するときの概念として瞬時周波【００３６】帯域別周期性評価回路１４では、それぞれ数の概念が非常に優れたものであることについて述べのフィルタの受け持つ周波数帯域について搬送波対雑音る。
比の値に基づいて周期性の程度を求め、それぞれの帯域【００４３】〔１−１〕瞬時周波数の特徴を表す情報とする。
信号ｘ（ｔ）の瞬時周波数ω（ｔ）を、信号のヒルベル【００３７】基本周波数改良回路１５では、不動点抽出 40 ト変換Ｈ［ｘ（ｔ）］を用いて定義する。
回路１３で求められた不動点の周波数の情報と、搬送波【００４４】
対雑音比計算回路１２で求められた搬送波対雑音比の値【数１】を基本周波数成分選択回路７で求められた基本周波数の＊【００４５】※ ※ 【数２】

(6)特許３４１７８８０11
12【００４６】ここで、ｓ（ｔ）は解析信号であり、ｊ＝＊ 方法も、こうした困難を回避するために数多く提案され√−１である。この定義を直接応用するには、位相の２た。
ｎπの不定性に伴う不連続を取り除くために位相のアン【００４７】
ラップ操作が必要となる。位相を直接用いる必要のない＊【数３】【００４８】位相成分φ（ｔ）は、対応する瞬時周波数※ 【００４９】
ω（ｔ）との以下の関係を持つ※【数４】【００５０】ここで、φ（ｔ0 ）はｔ＝ｔ0 における初★ フーリエ変換、つまりＸ（λ，ｔ）は、以下のように定期位相である。
義される。
【００５１】瞬時周波数ω（ｔ）がゆっくりと変化し、【００５２】
信号のサンプリング間隔以下の時間内では、定数として【数５】近似することが可能であると仮定する。信号の短時間の★

【００５３】ここで、ω（ｔ）は時間窓を表す。各周波☆ 【００５４】
数地点における瞬時周波数を、２つの隣接する短時間フ【数６】ーリエ変換を用いて表す。
☆

【００５５】実際は、Ｆｌａｎａｇａｎによる方法が計算の効率は良い。一方、上記の方程式は、離散時間信号の瞬時周波数について、概念的に簡単な解釈を提供する。この方程式においてω（λ，ｔ）を、インパルス応
答ｗ（ｔ）ｅｘｐ（ｊλｔ）を有するフィルタ出力の瞬時周波数として解釈することも可能である。
〔１−２〕音声の信号モデル
有声音は、周期的構造を持つと見なされる。しかし、音声信号の基本周波数の変化は、韻律的情報を表す上で重 40
要な役割を果たしており、高速の動きを含んでいるため
厳密には周期的ではない。さらに、調波成分においてより複雑な構造が存在する。
【００５６】声門の周期的振動は、呼気流を変調して音源信号を作り出す。通常の有声音の場合には、変調された呼気流の波形には、一次導関数に周期的に不連続が生ずる。これらの不連続は、声帯の動きの開閉（時に転換点）に対応する。この不連続は高い周波数領域において高いエネルギーを有するため、こうした領域における励起の主な源となる。気流が通過することに伴って声帯の表面のリップルが移動するため、声門の閉止及び開き始
めの時刻は、声帯の振動に完全に同期した一定の位相において生ずるとは限らない。変調された気流の波形ではエネルギーが低域に集中しているため、声門の動きは低周波領域における主な励起源である。これらの点により、調波成分の瞬時周波数は、基本周波数の正確な整数の倍数ではない。
【００５７】こうした観察によって、正弦波モデルの基本となる式として知られる以下のような有声音のモデルが導かれる。
【００５８】【数７】

(7)特許３４１７８８０13

14【００５９】ここで、ω0 （ｔ）は共通の基本周波数を＊ よる周波数及び時間方向の滲みをできるだけ避けるよう表し、ωk （ｔ）はｋ番目の成分の調波からの外れを表に設計することが必要である。
す。φ（ｔ）は初期位相を表す。
【００６２】ガウス包絡線及び２次のｃａｒｄｉｎａｌ【００６０】この方程式は、基本周波数として様々な異Ｂ−ｓｐｌｉｎｅ関数の基底関数より設計されたフィなったものがあり得ることを示唆している。なぜなら、ルタインパルス応答により、この目的のために有用なフ
どの高調波成分を基準として基本周波数を計算しても構 10 ィルタのセットが提供される。
わないからである。しかし、第一の成分とより高い周波【００６３】〔２−１〕フィルタ設計
数領域の成分との間には大きな差異が存在する。低い周フィルタを用いることによるスペクトルならびに時間の波数領域における主な励起源が声帯の動きのみであると歪みを回避するためには、フィルタは高い時間分解能とき、高周波数領域における主な励起源は、声帯の動きとともに隣接する調波からの干渉を十分に排除する能力を
その表面上の動く波動の両方に依存する不連続の瞬間で持つことが必要である。この点は、音声信号は本質的にある。従って、音声信号の基本波成分を表すための基本
非定常であるため、音声信号にとって不可欠である。下波成分の瞬時周波数に依存することは、より簡単なモデ記のガウス包絡線より成る等方的Ｇａｂｏｒ関数は、時ルに対応し、かつ実際に基本的であるため、合理的なこ間周波数領域では不確定性が最小であり、時間分解能ととであろう。
周波数分解能の間のトレードオフの関係に関して適当な【００６１】〔２〕Ｆ−ＩＦ写像の不動点を用いた基本 20 妥協点を与えるものである。 等方的 という語は、搬
周波数推定
送波の波長及び搬送波の周波数のそれぞれについて、関
主要な成分以外の成分によって生じる干渉が瞬時周波数
数の時間周波数表示が同等の時間分解能及び周波数分解算定において主な誤差の原因であるため、正確に基本周能を有するということを表している。
波数を推定するために、基本波成分を分離しておくこと【００６４】
が必要である。そうしたフィルタは、フィルタリングに＊【数８】【００６５】※30※ 【数９】【００６６】ここで、Ｗ（ω）はインパルス応答ω
★ ことにより、隣接する調波成分によって生ずる干渉を抑（ｔ）のフーリエ変換、またω0 ＝２πｆ0 はフィルタ制するために隣接調波の周波数の付近に２次の零点が加の中心周波数である。
えられる。
【００６７】２次のｃａｒｄｉｎａｌ Ｂ−ｓｐｌｉｎ【００６８】
ｅ関数の基底関数を等方的ガウス包絡線関数で畳み込む★
【数１０】【００６９】ここで＊は畳み込みを表す。
【００７０】〔２−２〕正弦波状の成分の抽出
支配的な正弦波状信号のみがフィルタの実効的な通過域の中にあると仮定しよう。この時、フィルタ出力の瞬時
周波数は周波数、つまり支配的正弦波状の成分のωd に 50

よって決定される。換言すれば、フィルタ出力の瞬時周
波数は、そうしたフィルタが共通の支配的正弦波状の成分を共有するとき、ほとんど同一である。正弦波状の成分の周波数をωS （ｔ）で表す。これによって、ω
S （ｔ）の近傍に不動点が存在するようになる。ω

(8)特許３４１７８８０1516（ｔ）より低い中心周波数を持つフィルタの出力の瞬＊ に小さくできるので、結局、不動点の周波数はω
時周波数は、その中心周波数よりも高い。その一方、ω
S （ｔ）と一致する。
S （ｔ）より高い中心周波数を持つフィルタの出力の瞬【００７１】フィルタの中心周波数をλで表し、またω
時周波数は、その中心周波数よりも低い。中心周波数がi （λ，ｔ）でフィルタ出力の瞬時周波数を表す。この
これら２つの中心周波数の間で変化するときに出力瞬時ようにすると、次の式で定義された不動点の集合は、信周波数は連続的に変化するため、フィルタ出力の瞬時周号に含まれる正弦波状の成分の候補を与える。
波数がその中心周波数と一致する地点が存在するが、こ【００７２】
れが不動点である。不動点の上側のフィルタと下側のフ【数１１】
ィルタの中心周波数の不動点の周波数からのずれは任意＊
S【００７３】ここで、εは任意の小さな定数を表す。
※ 成分の周波数とフィルタ出力の瞬時周波数の誤差の分散【００７４】〔３−３〕搬送波対雑音比の推定は、背景雑音の相対的な誤差の分散に比例する。なお、
支配的な正弦波状の成分のみが実効的な通過域に存在す
相対的な誤差の分散を平均自乗誤差として表したもののるとき、出力瞬時周波数は、正弦波状の成分の周波数と逆数が搬送波対雑音比である。背景雑音の相対的な誤差全く同じである。背景雑音が支配的正弦波状の成分に関の分散は、以下の式を用いて、不動点におけるＦ−ＩＦ
して十分に小さい場合、不動点の近くのフィルタ出力の写像の周波数偏微分及び時間周波数偏微分から推定する
瞬時周波数の誤差は、正弦波状の成分として表された背 20 ことができる。
2
景雑音の加重和によって近似される。この雑音成分が不【００７５】相対的誤差分散をσ で表す。
動点のまわりのフィルタの実効的な通過域において均一【００７６】に分布していると仮定するならば、支配的な正弦波状の※【数１２】【００７７】ここで、Ｗp （ω）はフィルタ応答ω
p （ｔ）のフーリエ変換を表す。実際には、相対的誤差
分散の確かな推定値を求めるためには時間的平滑化を取り入れることが必要である。
【００７８】〔２−４〕基本波成分の選択システムが時間分解能と周波数分解能の間の最良の妥協 40点を実現するためには、目的とする主要な正弦波状の成分に関する情報を用いてフィルタを設計することが必要である。基本周波数抽出のそれを設計するには、基本周波数についての事前の情報がまた必要とされる。しかし、そのような情報は、分析するために予め利用することはできない。こうした困難を回避する一つの方法として、体系的に設計された形状と中心周波数を持つ一連のフィルタを用いる方法がある。
【００７９】一連のフィルタが対数周波数軸上に等しい
周波数間隔を持ち、対数周波数軸上に同じ形状を持つと 50仮定する。フィルタの間隔が十分に密であれば、事実上、あらゆる不動点はフィルタ中心に位置する。すると、基本周波数に対応する不動点から構成されるフィル
タが最小の相対的誤差分散を有する。これは、他のフィルタが実効的な通過域の中に必然的に複数の調波成分や雑音成分を含んでしまうからである。換言すれば、相対的誤差分散が最小であることは、不動点が基本波成分を表すという証拠である。この議論の進め方は、本願発明者が以前の発明で用いた『基本波らしさ』の概念を導いた時と同様である。しかし、以前の考えは、ＦＭとＡＭの大きさの合計を測定する、直観的に取り入れた方法に基づいたものであり、確実な数学的基礎に基づいたものではない。また、相対的誤差分散は、周波数の推定誤差と直接的に対応していることもあって、より適切である。
【００８０】以上の検討に基づき、Ｆ０の事前情報に依(9)特許３４１７８８０1718
存しない基本波成分の選択手続きは、以下のようにまと＊ である。
められる。
【００８７】基本周波数は、抽出した基本波成分の瞬時【００８１】●ステップ１：対数関数軸上に等間隔に置周波数として推定される。
かれた中心周波数を持つ一連のフィルタを用意する。中【００８８】実際には、基本波成分を選択する最終ステ
心周波数はＦ０の存在しうる範囲を覆わなければならな
ップは、録音の時の環境騒音等の影響を防ぐために挿入い（すなわち４０Ｈｚ〜８００Ｈｚ）。間隔は十分に密される高域通過フィルタの影響や低い周波数における信でなくてはならない（すなわち１オクターブにつき２４号対雑音比の劣化の影響によって、基本波成分に対応すフィルタ）。
る相対的誤差分散の大きさが十分に小さくならないた【００８２】●ステップ２：分析対象の信号を用意した
め、失敗することがある。この問題の影響は、相対的誤フィルタへ送り込む。
10 差分散が十分に小さな部分から求められるＦ０軌跡を、【００８３】●ステップ３：各フィルタ出力につき瞬時
その前後に連続性を追跡しながら探索して延長すること
周波数を算定する。
によって軽減することができる。
【００８４】●ステップ４：選択基準を用いて不動点を【００８９】〔２−５〕余分の正弦波状の成分によって抽出する〔式（１１）〕。
生じた干渉【００８５】●ステップ５：各不動点につき相対的誤差
顕著な正弦波状の成分の一つに中心を置くフィルタ出力分散を算定する〔式（１２）〕。
信号を、下記の方程式によって近似することができる。
【００８６】●ステップ６：各分析フレームにおいて、ε≪１と仮定する。
最小の相対的誤差分散を有する不動点を選択する。こう【００９０】
して選択された不動点は、基本波成分の最も有力な候補＊【数１３】【００９１】※ ※ 【数１４】【００９２】ｇ（ω）は、ω＝１において最大値１を持★ の仮定を用いれば、上記（１４）式は次のように近似さつとする。周波数領域の重み関数ｇ（ω）は滑らかな連れる。
続関数であり、ω＝０の周辺には特異点がないものとす【００９３】る。この時、０付近のｇ（ω）のＴａｙｌｏｒ展開は、 30 【数１５】ω≪１なら、ｇ（ω）≒１であることが分かる。これら★

【００９４】ここで、瞬時周波数を調べるためには、こ☆ 【００９５】の方程式を極形式に書き換える必要がある。
☆
【数１６】【００９６】条件をω≪１及びε≪１と仮定するので、◆ 【００９７】
その方程式はさらに近似される。
◆
【数１７】

(10)

特許３４１７８８０19【００９８】信号ｓ（ｔ）の位相関数φ（ｔ）を下記の＊ 【００９９】ように近似する。
＊
【数１８】

20

【０１００】これは、干渉信号により位相変調が生ずる※ なる。
ことを示している。
【０１０２】【０１０１】信号ｓ（ｔ）の瞬時周波数ωi （ｔ）は位【数１９】相関数の時間導関数より導かれる。それは下記のように※【０１０３】〔２−６〕搬送波対雑音比の実際的な推定★ 方法を導くことである。不動点における幾何学的属性
方法は、これを達成する鍵になる。
ここで求めたいのは、問題の正弦波状の成分に対する搬 20 【０１０４】〔２−６−１〕周波数偏微分
送波対雑音比である。それを瞬時値だけに基づいて計算
瞬時周波数ωi （ｔ）の周波数に関する偏微分から次式
できることが望ましい。換言すれば、特定の帯域通過フが得られる。
ィルタの通過域内でのεの平均を求めるのである。つま【０１０５】
2
2
り、基本的な考えは、ｓｉｎ ＋ｃｏｓ ＝１の関係を【数２０】用いて、ωi （ｔ）における正弦波状の変動を除去する★

【０１０６】干渉する成分が一つだけの場合、ｔ0 ＝２☆ 時間に関する偏微分を求めることにより、前の余弦波位π／δで決まる一周期分を観測するだけでεの値を推定相を有する信号に対応する正弦波位相の対応物を求めるすることが可能である。しかし、一般に、同時に複数ののは、もっともと思われる。
成分が存在し得る。
40 【０１０８】【０１０７】〔２−６−２〕時間周波数偏微分☆
【数２１】【０１０９】求める正弦波位相変数を第３項で得る。し 50

かし、音声のような信号は基本周波数が高速に変化し、

(11)特許３４１７８８０

21
その変化についての事前情報も得られないため、初めの＊ る。
２項を除去することはできない。
【０１１１】【０１１０】次の段階は、方程式（２１）の周波数に関【数２２】する偏微分を導くことである。これは、以下のようにな＊【０１１２】これは、正弦波位相で変化する成分のみから成る。
【０１１３】〔３〕以下、具体的数値例について述べる。
【０１１４】人工的信号及び実際の音声試料を用いた分
析例について述べる。
【０１１５】〔３−１〕付加的な白色雑音を持つインパ
ルス列
図２にフィルタ中心周波数から出力瞬時周波数への写像を示す。２００Ｈｚパルス列と白色雑音（Ｓ／Ｎは２０ｄＢ）との合成信号を、対数周波数軸上で等間隔に配置したフィルタを用いて分析する。２００Ｈｚに対応する
不動点付近の瞬時周波数は均一のままである点に注意されたい。他の不動点は、このような安定性を示していな
い。
【０１１６】図３に搬送波対雑音比の計算に用いられる
様々な中間的な変数の値と最終的に得られた結果の例を示す。この図において、それらの平方根の値を図３上に記入する。実線で示される周波数偏微分の系列と破線の時間周波数偏微分との間にπ／２の位相差がうまく導入されていることに注意されたい。また、１３５ｍｓ付近の点において、周波数偏微分と時間周波数偏微分の重み付き自乗平均値に、成分正弦波の間の干渉に起因する鋭い窪みが生じていることが分かる。この重み付き自乗平
均値に前述の平滑化を適用することにより、滑らかな搬
送波対雑音比の推定値が求められる。
【０１１７】図４に搬送波対雑音比の時間−周波数（時間−チャネル番号）表示を画像として表示する。また、
図４では求められた不動点をその上に重ねて表示している。図では暗さが搬送波対雑音比の大きさに対応しており、暗いほど搬送波対雑音比が大きい。
【０１１８】２００Ｈｚ付近の抽出した不動点のほぼ全ては、基本波成分に対応する。他の不動点の中には２００Ｈｚ付近に位置するものはない。１００Ｈｚ未満の領域では抽出した不動点が無作為に分布しているが、それが互いに近づく傾向は弱い。より周波数の高い領域では、不動点は調波周波数付近にとどまる傾向がある。

20

30

40

50

22

【０１１９】図５に瞬時周波数と搬送波対雑音比によって張られる平面上での不動点の分布を示す。基本成分に対応する不動点は、明らかに別個のものである。調波周
波数付近の不動点の搬送波対雑音比は、調波周波数において最大値を示すという点に注意されたい。このような現象が生ずるのは、隣接する調波成分が同程度の大きさで混合される場合に相互の干渉が非常に大きくなるからである。
【０１２０】図６に最小点と残りの点の搬送波対雑音比の分布を示す。基本波成分に対応する不動点は、はっきりと区別できる分布を有することが分かる。
【０１２１】〔３−２〕持続母音
図７に男性の話者による持続した日本語の母音／ａ／を入力信号とした場合の、中心周波数から瞬時周波数への写像を示す。話者には、持続母音の発声に際しては一定（約１３０Ｈｚ）の基本周波数を保つよう指示した。信号の標本化周波数は２２０５０Ｈｚ、量子化ビット数は１６ｂｉｔであった。パルス列の場合のように、基本周波数に対応する不動点付近では、写像は実質的には平坦である。
【０１２２】図８に瞬時周波数と搬送波対雑音比によって張られる平面上での不動点の分布を示す。基本波成分に対応する不動点は、１３０Ｈｚ付近に位置する。
【０１２３】図９に瞬時周波数と搬送波対雑音比の散布図を示す。この図から基本波成分付近の不動点が非常に小さな搬送波対雑音比を有することは明らかである。パルス列の場合のように、調波成分付近の不動点は、調波
周波数において最大の搬送波対雑音比を示す。基本波成分についての搬送波対雑音比は約４０ｄＢであり、持続母音のＦ０が非常に安定していることを示す。
【０１２４】図１０に度数分布表示における同じデータを示す。この図から分布が分離していることは明らかである。
【０１２５】〔３−３〕自然な韻律を有する母音連鎖
図１１に男性話者による、連続的に発音された母音連鎖
より抽出した不動点の時間周波数散布図を示す。以前の結果と同様、この図に基本波成分に対応する軌跡が滑ら(12)

特許３４１７８８０

23
24
かに連続する不動点の集まりとしてはっきり見える。第＊ 図１４に基本周波数推定における誤差分布を示す。図の一のフォルマントに対応する不動点は、５００ｍｓから
横軸は、音声信号から求められたＦ０とＥＥＧ信号から
７００ｍｓのあたりにはっきりと見える。図１２に不動求められたＦ０の周波数の比を百分率で表したものであ点の搬送波対雑音比の時間経過を示す。この図では、有る。横軸上の１００％の位置は、誤差が０である場合に声音の部分が明瞭に分かる。有声部分では、基本波成分
対応している。図１４（ａ）は男性話者による基本周波のみが十分に大きな搬送波対雑音比を示している。
数推定における誤差を、図１４（ｂ）は女性話者による【０１２６】図１３に瞬時周波数と搬送波対雑音比の分
基本周波数推定における誤差をそれぞれ示している。こ布を示す。この図１３と図１１とを併せて考えれば、先れらの図によると、男性話者の誤差は、女性話者のそれ
読み用のバッファを用いることで、信頼性の高いＦ０追よりも大きいことが分かる。
跡アルゴリズムを容易に実現することができる。
10 【０１２８】【０１２７】〔３−４〕同時ＥＧＧ記録を用いたセンテ【表１】
ンス（文）データベース＊【０１２９】表１に基本周波数抽出における誤差の統計を示す。 結果の中にはＥＧＧ信号の分析の誤差も含まれていることに注意する必要があるものの、これは非常に良い結果である。この結果は、不動点に基づいたＦ０推定法において基本波成分のみを用いた場合の性能の上限であるとみなすことができる。女性のデータはほぼ満
足の行くものであるとの結論が出せるが、男性のデータはさらに改善が必要であると言える。図１の破線Ｂの部 50

分は、このような場合の推定結果を改良するために用いられる。
【０１３０】なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【０１３１】【発明の効果】以上、詳細に説明したように、本発明に(13)

特許３４１７８８０

25
よれば、以下のような効果を奏することができる。
【０１３２】（Ａ）信号の中にある正弦波成分を精度よく確実に抽出することができるとともに、抽出された成分の影響を短時間の観測値から定量的に求めることができる。
【０１３３】（Ｂ）分析合成音声を合成するための高品
質の音源情報（基本周波数及び周期性についての情報）の抽出を行うことができる。
【０１３４】（Ｃ）楽器音などの周期性を有する音の分析においても、周期性の確からしさを客観的な指標とし 10て求めることができるため、分析結果に基づいて楽器音を変換・再合成する場合の、高品質の音源情報として用いることができる。また、汎用の分析装置として一般の信号の周期性の分析にも用いることができる。
【０１３５】（Ｄ）定量的に解釈の明確な量が求められるため、対数周波数軸上相似フィルタと線形周波数軸上相似適応チャープフィルタのように構造の異なったフィルタによる結果を有効に統合することができる。
【０１３６】（Ｅ）搬送波対雑音比の推定値は、そのままで、帯域フィルタあるいは周波数分析結果の評価に用 20いることができる。
【図面の簡単な説明】【図１】本発明の実施例を示す音源情報の抽出を行うための基本周波数抽出装置のブロック図である。
【図２】本発明の実施例を示すフィルタ中心周波数から
出力瞬時周波数への写像を示す図である。
【図３】本発明の実施例を示す搬送波対雑音比を計算する過程の中間結果及び最終結果を示す図である。
【図４】本発明の実施例を示す時間−チャネル平面における搬送波対雑音比と不動点の分布を示す図である。
30【図５】本発明の実施例を示すフィルタ出力の瞬時周波

26
数と搬送波対雑音比の分布を示す図である。
【図６】本発明の実施例を示す搬送波対雑音比の度数分布を示す図である。
【図７】本発明の実施例を示すフィルタの中心周波数から出力の瞬時周波数への写像を示す図である。
【図８】本発明の実施例を示す時間−チャネル平面における搬送波対雑音比と不動点の分布を示す図である。
【図９】本発明の実施例を示すフィルタ出力の瞬時周波数と搬送波対雑音比の分布を示す図である。
【図１０】本発明の実施例を示す搬送波対雑音比の度数分布を示す図である。
【図１１】本発明の実施例を示す時間−チャネル平面における搬送波対雑音比と不動点の分布を示す図である。
【図１２】本発明の実施例を示す搬送波に対する相対的雑音振幅の時間的分布を示す図である。
【図１３】本発明の実施例を示すフィルタ出力の瞬時周
波数と搬送波対雑音比の分布を示す図である。
【図１４】本発明の実施例を示すＦ０推定誤差の分布を示す図である。
【符号の説明】
１入力回路
２対数周波数軸上相似フィルタ
３，１０
瞬時周波数周波数微分回路
４，１１
瞬時周波数時間周波数微分回路
５，１２
搬送波対雑音比計算回路
６，１３
不動点抽出回路７
基本周波数成分選択回路
８
周期性評価回路
９
線形周波数軸上相似適応チャープフィルタ
１４
帯域別周期性評価回路
１５
基本周波数改良回路

(14)

【図１】

特許３４１７８８０

(15)

【図２】

【図３】

特許３４１７８８０

(16)

【図４】

【図５】

特許３４１７８８０

(17)

【図６】

【図７】

特許３４１７８８０

(18)

【図８】

【図９】

特許３４１７８８０

(19)

【図１０】

【図１１】

特許３４１７８８０

(20)

【図１２】

【図１３】

特許３４１７８８０

(21)特許３４１７８８０【図１４】─────────────────────────────────────────────────────
フロントページの続き(56)参考文献

特許3112654（ＪＰ，Ｂ２)
特許3251555（ＪＰ，Ｂ２)7(58)調査した分野(Int.Cl. ，ＤＢ名)
G10L 11/04