(57)【要約】【課題】雑音や他の妨害音声の存在下でも従来より安定して抽出することができる。【解決手段】前処理を用いて音声信号や音楽信号などの入力信号の周波数特性を基本周波数の抽出に適したものに変形する。変形された入力信号について周波数ごとにパワーＳ（ωｃ）を計算する。そのパワーから包絡成分を取り除き、包絡成分除去パワーを得る。周波数ごとに得られた包絡成分除去パワーから、包絡成分除去パワーの平均値を減算する。基本周波数が存在すると想定される周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数を求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数についての上記減算値の和を求め、調波構造パワーとする。このようにして得られた調波構造パワーの最大値を与える周波数を基本周波数とする。【選択図】図２０
2006171008.tif 000002
【特許請求の範囲】
【請求項１】
各周波数帯域の中心周波数ごとに、入力された音声信号又は音楽信号などの音響信号（以下、入力信号）のパワーを計算するパワー抽出部と、
すべての中心周波数のパワーの平均値を求める平均値演算部と、
基本周波数が存在すると想定される周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数について、その中心周波数の上記パワーから上記平均値を引いたものの和を求める調波構造パワー抽出部と、
上記基本周波数の各候補についての上記和の最大値を抽出し、これと対応する周波数を基本周波数として出力する最大値抽出部と、
を備えたことを特徴とする基本周波数抽出装置。
【請求項２】
抽出した入力信号のパワーから、その周波数特性の包絡を抽出し、これをパワーから取り除く包絡成分除去部を備え、
包絡成分を取り除いたパワーに対し、基本周波数を抽出することを特徴とする請求項１記載の基本周波数抽出装置。
【請求項３】
すべての処理の前処理として、入力信号の周波数特性を補正する周波数特性補正部を備えたことを特徴とする請求項１又は２記載の基本周波数抽出装置。
【請求項４】
各周波数帯域の中心周波数ごとに、入力信号のパワーを計算するパワー抽出部と、
入力信号から各周波数帯域の中心周波数の瞬時周波数を抽出する瞬時周波数抽出部と、
各周波数帯域の中心周波数と瞬時周波数が一致する周波数である不動点を抽出する不動点抽出部と、
基本周波数の概算値を計算する概算基本周波数抽出部と、
概算基本周波数を更に精緻化する基本周波数精緻化部とを備え、
上記基本周波数精緻化部では、概算基本周波数の整数倍の周波数近傍に存在する不動点を選択して、その周波数を整数で割って求められる基本周波数候補に対し、上記パワー抽出部で求められるパワーを重みとして平均を取ることで、より精緻化した基本周波数を抽出することを特徴とする基本周波数抽出装置。
【請求項５】
各周波数帯域の中心周波数ごとに、入力された音声信号又は音楽信号などの音響信号（以下、入力信号）のパワーを計算するパワー抽出過程と、
すべての中心周波数のパワーの平均値を求める平均値演算過程と、
基本周波数が存在すると想定される周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数について、その中心周波数の上記パワーから上記平均値を引いたものの和を求める調波構造パワー抽出過程と、
上記基本周波数の各候補についての上記和の最大値を抽出し、これと対応する周波数を基本周波数として出力する最大値抽出過程と、
を備えたことを特徴とする基本周波数抽出方法。
【請求項６】
抽出した入力信号のパワーから、その周波数特性の包絡を抽出し、これをパワーから取り除く包絡成分除去過程と、
包絡成分を取り除いたパワーに対し、基本周波数を抽出することを特徴とする請求項５記載の基本周波数抽出方法。
【請求項７】
すべての処理の前処理として、入力信号の周波数特性を補正する周波数特性補正過程を備えたことを特徴とする請求項５又は６記載の基本周波数抽出方法。
【請求項８】
各周波数帯域の中心周波数ごとに、入力信号のパワーを計算するパワー抽出過程と、
入力信号から各周波数帯域ごとの瞬時周波数を抽出する瞬時周波数抽出過程と、
各周波数帯域の中心周波数と瞬時周波数が一致する周波数である不動点を抽出する不動点抽出過程と、
基本周波数の概算値を計算する概算基本周波数抽出過程と、
概算基本周波数を更に精緻化する基本周波数精緻化過程とを備え、
上記基本周波数精緻化過程では、概算基本周波数の整数倍の周波数近傍に存在する不動点を選択して、その周波数を整数で割って求められる基本周波数候補に対し、上記パワー抽出過程で求められるパワーを重みとして平均を取ることで、
より精緻化した基本周波数を抽出することを特徴とする基本周波数抽出方法。
【請求項９】
請求項５〜８の何れかに記載の基本周波数抽出方法の各過程をコンピュータに実行させるための基本周波数抽出プログラム。
【請求項１０】
請求項９記載の基本周波数抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は複数の音や雑音下の音声信号などの音響信号からその基本周波数を
狭い周波数帯域に分割して抽出する基本周波数抽出方法およびその装置、基本周
波数抽出プログラム、並びにその記録媒体に関する。
基本周波数抽出は、音声合成、音声認識、音声符号化等の信号処理の前処理と
して利用されている。したがって、雑音下での高精度な基本周波数抽出は、後処
理として実施される信号処理装置の性能を向上させることに寄与する。このよう
な信号処理装置には、以下のようなものが含まれる。
１．基本周波数の情報をもとに複数音源の混合音から各構成音を分離する音源  
分離装置
２．基本周波数の情報をもとに音声を符号化する音声符号化・復号化装置
３. 騒がしい環境で人が鼻歌で歌った音の基本周波数からメロディを抽出し    
て、楽曲を検索する音楽検索装置
４．音楽演奏を音響信号を受け取って楽譜、もしくは楽譜相当の音楽情報を抽  
出する自動採譜装置
５．人が発した声の基本周波数の高さで機械にコマンドを渡す機械制御インタ  
ーフェース装置、および、機械との対話装置
【背景技術】
【０００２】
基本周波数抽出装置の従来例１を図１４を参照して説明する。
この従来例１は基本周波数の整数倍の周波数で、対数パワースペクトル上に周
期的なピークが現れることを利用する。信号入力部１１よりの入力信号は対数パ
ワースペクトル抽出部１２で短時間フーリエ変換され、その各スペクトルの絶対
値を２乗したものの対数をとって対数パワースペクトルが演算され、この対数パ
ワースペクトルに対し、周期性抽出部１３により短時間フーリエ逆変換が施され
、各周期と対応したレベル、つまり周期性が抽出される。最大値抽出部１４で周
期性が最大になる時間差を抽出する。この抽出した時間差、つまり周期の逆数が
基本周波数である。
【０００３】
他の従来例２は、非特許文献１に示すように、瞬時周波数を用いて、前記従来
例１と同じ対数パワースペクトルのピークをより強調して、高精度な基本周波数
を抽出しようとするものである。入力信号の瞬時周波数成分を抽出し、これを各
周波数帯ごとの瞬時周波数φ′（ω）（ωは各周波数帯域ごとの中心周波数）と
、対数パワースペクトル抽出部が抽出したスペクトルＳ（ω）から、以下の式を
用いてピークを強調した瞬時周波数スペクトルＧ（λ0 ）を求める。
【０００４】
【数１】
2006171008.tif 000003
この瞬時周波数スペクトルＧ（λ0 ）のピークの周期性を抽出することで、基
本周波数を抽出する。
【非特許文献１】阿部敏彦、小林隆夫、今井聖、「瞬時周波数に基づく雑音環境下でのピッチ推定」信学論、vol.J79-D-II, No.11, pp.1771-1781, Nov., 1996
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した基本周波数抽出装置の従来例１は、入力信号中に、目的音以外の複数
音声や雑音が含まれている場合、対数パワースペクトル上に目的音以外の特徴が
重畳されてしまう。このため、目的音以外の音のパワーが大きくなると、基本周
波数抽出の誤差が大きくなってしまう問題点があった。
また、従来例２では、瞬時周波数スペクトルは、瞬時周波数の微小区間の傾き
を用いて周波数ピークの強調を行うため、雑音下では、瞬時周波数の不安定な挙
動がそのまま瞬時周波数スペクトルにあらわれてしまう。このため、雑音下で安
定して基本周波数を抽出する特徴量としては不適切であった。
【課題を解決するための手段】
【０００６】
この発明の装置によれば、入力された音声信号又は音楽信号などの音響信号の
パワーを抽出するパワー抽出部と、各周波数のパワーの平均値を求める平均値演
算部と、上記パワーに対し、複数のある周波数について、これとその整数倍の周
波数に関する各パワーから上記平均値をそれぞれ減算した値の和を求める調波構
造パワー抽出部と、上記減算値の和の最大値を抽出して、これと対応する周波数
を基本周波数として出力する最大値抽出部とを備える。
また、この発明の方法によれば、入力された音声信号又は音楽信号などの音響
信号のパワーを抽出するパワー抽出過程と、各周波数のパワーの平均値を求める
平均値演算過程と、上記パワーに対し、複数のある周波数について、これとその
整数倍の周波数に関する各パワーから上記平均値をそれぞれ減算した値の和を求
める調波構造パワーを抽出する調波構造パワー抽出過程と、上記減算値の和の最
大値を抽出して、これと対応する周波数を基本周波数として出力する最大値抽出
過程と、を有する。
まず、この発明に関連する占有度抽出及びそれを使った基本周波数抽出等につ
いて説明する。
この発明に関連する発明では、入力音の各周波数成分が雑音の影響を受けてい
ない度合いを表す占有度を定義し、その占有度の抽出方法とその装置、またその
占有度を利用した基本周波数抽出方法とその装置を提供する。このため、瞬時周
波数に関する次の性質を利用する。
瞬時周波数φ′とは、例えば短時間フーリエ変換の各周波数ビン（ｂｉｎ）を
、等間隔にならんだ狭帯域通過フィルタ出力群とみなした場合の、その各出力波
の位相φの時間微分のことである。ある時刻のある帯域に強いパワーを持った占
有的な周波数成分があると、短時間フーリエ変換（以下、ＳＴＦＴと記す）にお
けるその周波数近傍のｂｉｎでは、瞬時周波数がほぼ一定値になることが知られ
ている。このため、雑音が少ない入力信号中の調波構造を持った音の瞬時周波数
を縦軸に、ＳＴＦＴの周波数ｂｉｎを横軸にとってプロットすると、図１５Ａ中
の細実線で示すような階段状になる。この階段の水平部分と各周波数ｂｉｎの中
心周波数ωc が一致する点（φ′＝ωc 、以下、不動点と呼ぶ）が、各高調波成
分の周波数とみなすことができる。一方、強い雑音がある入力信号中では、瞬時
周波数は明確な階段状にならず、図１５Ｂ中の細実線の６００Ｈｚ以上の部で示
すように、なだらかな右上がりの線になる。
【０００７】
上述の瞬時周波数の性質を用いて、調波構造が周波数ｂｉｎの出力をどの程度
占めているかを評価するために、占有度（degree of dominance）Ｄ0 （ωc ）
を以下で定義する。
【数２】
2006171008.tif 000004
Ｂ（ωc ）2 は、中心周波数ωc を持つ周波数ｂｉｎの近傍（ω∈Ωc ）のｂ
ｉｎにおいて、各瞬時周波数（位相の微分値）φ′（ω）とωc の差分をパワー
スペクトルＳ（ω）2 で重み付き和をとったものである。占有的な周波数成分に
対応する不動点近傍では、φ′（ω）とωc はほぼ同じ値をとるため、Ｂ（ωc 
）2 は極小値をとると期待される。Ｂ（ωc ）2 の逆数（の対数）をとって、同
じ点で極大値を取るようにしたものがＤ0 （ωc ）である。なおＳ（ω）2 によ
る重み付けは必ずしもしなくてもよいが、重み付けをした方が強いパワーを持つ
周波数の特徴がより強調される。また式（２）の分母はパワーによる定規化であ
る。
占有度Ｄ0 （ωc ）は、それ自身で調波構造を強調したスペクトル（占有度ス
ペクトルと呼ぶ）として見ることができるため、ケプストラム法のように対数パ
ワースペクトルに基づく基本周波数抽出法を、占有度スペクトルにそのまま適用
して基本周波数を抽出することができる。また、対数パワースペクトルを占有度
で重み付けした以下のスペクトルＤp も占有度スペクトルとして利用できる（式
中のａ，ｂは重み付け係数）。
Ｄp （ωc ）＝log（Ｓ（ωc ）2a）＋ｂＤ0 （ωc ）            （３）
＝log（Ｓ（ωc ）2a／Ｂ（ωc ）2b）            （４）
Ｄ0 （ωc ），Ｄp （ωc ）のどちらのスペクトルも、調波構造の強調効果に
より正確な基本周波数抽出が期待される。さらに、ＳＮＲの悪い状態でも、雑音
の影響の少ない周波数成分はそのまま強調され、雑音に埋もれた成分は抑制され
る。この結果、雑音下でも頑健な基本周波数抽出が実現出来る。
【０００８】
精緻化した基本周波数を求めるために、以下で定義する不動点を利用する。Ｓ
ＴＦＴのとなりあった周波数ｂｉｎの中心周波数をωc1,ωc2とし（ωc1＜ωc2）、
各周波数ｂｉｎの瞬時周波数をφ’（ωc1）,φ’（ωc2）とし、以下の等式を満
たす場合、ωc1とωc2の間にφ’（ω）＝ωとなる周波数ωが存在し、これを不動
点と呼ぶ。                                        
φ’（ωc1）＞ωc1andφ’（ωc2）＜ ωc2
不動点の周波数は、基本周波数を持つ音の各周波数成分の周波数に相当すると
考えられる。特に、大きな占有度の値を持つ不動点は、背景雑音に比べて十分に
強い周波数成分に相当することが予想されるため、この不動点の周波数は正確な
周波数成分の周波数を与えるものと期待される。また、周波数成分の周波数をあ
る整数で割ることで基本周波数の候補を得ることができる。この不動点から導か
れる基本周波数の候補に対し、大きな占有度を持つ値により大きな重みを置いて
平均を計算することで、雑音下でも精度の高い基本周波数抽出法を構成する。
また、占有度のかわりに信号のパワー、または包絡成分を取り除いたパワーを
用いる方法でも、同様に、精緻化した基本周波数の抽出法を構成できる。一般に
、パワーの強い周波数成分に相当する不動点では、背景雑音に比べて周波数成分
の影響が強いため、不動点の周波数が周波数成分の周波数の良い近似を与えるで
あろうことが期待される。したがって、本発明では、パワーの強い周波数により
大きな重みを置いた基本周波数候補値の平均を計算することで、雑音下でも精度
の高い基本周波数抽出法を構成する。
【０００９】
さらに、音源分離装置と組み合わせることでより高精度な基本周波数抽出法を
構成する。音源分離装置を用いると、空間的に異なる位置で測定された二つ以上
の入力信号中で、特定の位置の音源から出てくる信号を強調、もしくは抑制する
ことができることが知られている。しかし、この分離信号も、分離結果にある程
度以上のひずみが含まれているため、従来例１、２などの基本周波数抽出法では
、ひずみの影響で基本周波数抽出性能が劣化してしまうことがあった。これに対
し、占有度を利用した基本周波数抽出では、占有的な周波数成分のみで基本周波
数を抽出するためひずみの影響も受けにくい。このため、音源分離装置が抑制す
る雑音の影響を回避しつつ、より高精度な基本周波数抽出を実現できる。
【発明の効果】
【００１０】
対数変換を加えていない信号のパワーでは、雑音成分と周波数成分の差が大き
いという性質を持つ。本発明では、信号のパワーのこの性質に着目して、周波数
特性の変形を受けていない信号に対する基本周波数抽出方法を構成する。また、
周波数特性の変形を受けた信号に対しても、その周波数特性の変形を受ける前の
状態にもどす補償方法と組み合わせた基本周波数抽出方法を構成する。これによ
り、背景雑音下で頑健な基本周波数抽出が行えるようになる。
【発明を実施するための最良の形態】
【００１１】
以下この発明の実施の形態の説明に先立ち、関連のある基本周波数抽出装置及
びその方法について説明する。
占有度の抽出（装置）
占有度抽出装置の例を図１に示す。入力部１１から音響信号が入力信号に変換
されて入力され、この入力信号は瞬時周波数抽出部２１で各周波数帯域ごとに各
時刻の入力信号の瞬時周波数φ′（ω1 ）〜φ′（ωn ）がそれぞれ抽出される。
ω1 〜ωn は各帯域の中心周波数である。この周波数帯域は例えば５０〜１００
Ｈｚの等間隔の帯域であり、例えば短時間フーリエ変換部２２で３０〜５０ｍｓ
ごとの入力信号が短時間フーリエ変換され、つまり周波数領域に変換され、この
変換されたスペクトルが帯域分割位相検出部２３1 〜２３n により、ｎ個の周波
数帯域に分割され、各帯域において、その複素スペクトルの位相φ（ω1 ）〜φ
（ωn ）が検出される。入力信号の周波数領域の変換はウェーブレット変換、余
弦変換など他の手法を用いてもよい。あるいは５０〜１００Ｈｚの間隔の帯域通
過フィルタ（フィルタバンク）により入力信号を帯域ごとに分割し、その各出力
を正弦波とみなし、その位相を求めてもよい。なお、この装置においては一般に
はディジタル処理で行われる。
このようにして帯域ごとの位相φ（ω1 ）〜φ（ωn ）が微分部２４1 〜２４
n でそれぞれ微分されて瞬時周波数φ′（ω1 ）〜φ′（ωn ）とされる。
これら瞬時周波数φ′（ω1 ）〜φ′（ωn ）は周波数差抽出部２５に入力さ
れ、各周波数帯域ごとにその中心周波数ωc （ｃ＝１，２，…，ｎ）を中心とし
た与えられた前後の帯域を含む帯域ωc −Δω〜ωc ＋Δωについてその各瞬時
周波数と中心周波数ωc との差がそれぞれ求められる。つまりφ′（ω1 −Δω
）−ω1 〜φ′（ω1 ＋Δω）−ω1 ，φ′（ω2 −Δω）−ω2 〜φ′（ω2 
＋Δω）−ω2 ，…，φ′（ωn −Δω）−ωn 〜φ′（ωn ＋Δω）−ωn が
得られる。
なお、積分範囲は想定される基本周波数の５０〜１００％に該当する適当な固
定値としてもよく後述のように適応的に変更してもよい。
【００１２】
一方、入力信号が信号パワー抽出部２６に入力され、各周波数帯域の中心周波
数ωc の入力信号パワーＳ（ωc ）2 を抽出する。例えば短時間フーリエ変換部
２２などの周波数領域に変換された係数の該当中心周波数ωc のスペクトルＳ（
ωc ）を取り出し、それを２乗すればよい。
周波数差抽出部２５からの各周波数差φ′（ωc −Δω）と信号パワー抽出部
２６からの中心周波数パワーＳ（ω）2 とが占有度演算部２７に入力されて占有
度が演算される。占有度は式（１）により定義されたＤ0 （ωc ）又は式（３）
あるいは（４）により定義されたＤp （ωc ）を演算して求められる。
占有度Ｄ0 （ωc ）を求めるには例えば図２Ａに示すように周波数差φ′（ω
c −Δω）−ωc 〜φ′（ωc ＋Δω）−ωc が重み付き加算部２７１でパワー
スペクトルＳ（ωc ）2 の重み付き加算が行われる。つまり各周波数差φ′（ｐ
）−ωc （ｐ＝ωc −Δω，…，ωc ，…ωc ＋Δω）が２乗部２７２で２乗さ
れ、この２乗値（φ′（ｐ）−ωc ）2 に対し乗算部２７３にＳ（ωc ）2 が乗
算され、加算部２７４で加算され、重み付き加算結果Σ（φ′（ｐ）−ωc ）2
・Ｓ（ωc ）2 （Σはｐ＝ωc −Δωからｐ＝ωc ＋Δωまで）が得られる。
一方、その周波数差の帯域ωc −Δω〜ωc ＋Δωの各周波数の入力信号のパ
ワースペクトルＳ（ωc −Δω）2 〜Ｓ（ωc ＋Δω）2 が加算部２７５に入力
され、これらが加算され、その加算値により、重み付き加算部２７１よりの加算
値が割算部２７６で割算されて、Ｂ（ωc ）2 が求まる。更に逆数・対数演算部
２７８でＢ（ωc ）2 の逆数の対数ｌｏｇ（１／Ｂ（ωc ）2 ）＝Ｄ0 （ωc ）
が演算されて出力される。
【００１３】
式（３）による占有度Ｄp （ωc ）を求めるには例えば図２Ｂに示すように、
各帯域の中心周波数のパワーＳ（ωc ）2 がべき乗部２７９でａべき乗され、そ
の結果Ｓ（ωc ）2aに対し、対数演算部２８１で対数演算される。一方、図２Ａ
で求めたＤ0 （ωc ）が乗算部２８２でｂ倍され、この結果ｂＤ0 （ωc ）と対
数演算部２８１の出力ｌｏｇ（Ｓ（ωc ）2a）とが加算部２８３で加算されて、
Ｄp （ωc ）として出力される。
式（４）による占有度Ｄp （ωc ）を求めるには例えば図２Ｃに示すように、
Ｓ（ωc ）2 がべき乗部２７９でａべき乗され、一方図２Ａ中の割算部２７６の
出力Ｂ（ωc ）2 がべき乗部２８４でｂべき乗され、これらべき乗結果が割算部
２８５で割算され、Ｓ（ωc ）2a／Ｂ（ωc ）2bが計算され、この結果に対し対
数演算部２８５で対数がとられてＤp （ωc ）として出力される。
図２Ｂ及び図２Ｃにおいてａ＝ｂとしてもよい。この場合は図２Ｂでべき乗算
部２７９、乗算部２８２は省略され、図２Ｃでべき乗算部２７９，２８４が省略
される。なおａ，ｂは０より大きい値であればよく、Ｓ（ωc ）2 とＤ0 （ωc 
）又はＢ（ωc ）2 との何れを重視するか、かつその重視の程度により、ａ，ｂ
を決定する。これは入力信号の雑音混入状態などにより決定される。
【００１４】
占有度演算部２７では周波数差を中心周波数パワーＳ（ωc ）2 の重み付き加
算したが、この重み付きを省略し、つまり図２Ａで乗算部２７３を省略して周波
数差を加算してもよい。つまり単なる周波数差の加算でも対数パワースペクトル
よりも調波構造が強調される。場合によってはパワーによる正規化も省略しても
よい。つまり図２Ａで加算部２７５、割算部２７６を省略してもよい。
式（２）中の積分範囲、つまりωc −Δω〜ωc ＋Δωは固定としてもよいが
、入力信号の基本周波数の概算値により適応的に変更することが望ましい。つま
り図１中に破線で示すように、積分範囲決定部２８を設け、この積分範囲決定部
２８で決定されたΔωが周波数差抽出部２５に入力され、演算する周波数差の周
波数範囲ωc −Δω〜ωc ＋Δωが決定される。
つまり入力音声の基本周波数によって、積分範囲の最適値は変化するため、よ
りよい精度で基本周波数を求めるためには、より適切な積分範囲を選択すること
が望ましい。例えば、入力信号の音源である話者が男性か女性かが事前にわかっ
ていることを想定して、それぞれに最適な固定の積分範囲、例えば男性の場合Δ
ωを約８０Ｈｚ、女性の場合Δωを約１４０Ｈｚ程度とし、これを積分範囲決定
部２８に設定する。また、別の方法では、式（２）を適用する前に、従来技術の
項で説明した基本周波数抽出法、その他の方法など別の基本周波数抽出法を用い
て積分範囲決定部２８で基本周波数の初期推定値Ｆ0を求め、その初期推定基本
周波数に応じて例えば基本周波数に対して２・Δωを約５０〜１００％程度、好
ましくは２・Δω≒ Ｆ0×０．７５として積分範囲を決定し、そのΔωが周波数
差抽出部２５へ供給されるようにしてもよい。
【００１５】
占有度の抽出（方法）
次に前述した占有度抽出装置における処理手順、つまり占有度の抽出方法を以
下に説明する。
図３に基本的手順の例を示す。入力信号の各周波数帯域ごとの瞬時周波数を瞬
時周波数抽出過程（Ｓ１）で抽出する。この瞬時周波数抽出は先の装置説明で行
ったように例えば入力信号を短時間フーリエ変換により周波数領域信号に変換し
（Ｓａ）、この周波数領域信号を狭い周波数帯域の信号に帯域分割し（Ｓｂ）、
この各帯域の信号の位相φ（ωc ）をそれぞれ抽出し（Ｓｃ）、その各位相φ（
ωc ）を微分して瞬時周波数φ′（ωc ）を求める（Ｓｄ）。
これら瞬時周波数φ′（ωc ）について、その中心周波数ωc を中心とした前
後の帯域を含むωc −Δω〜ωc ＋Δωの範囲の各値から中心周波数をωc を差
し引いて周波数差を抽出する（Ｓ２）。
これら周波数差の各ωc −Δω〜ωc ＋Δωの成分の和を求め、この和を用い
てそのωc の占有度を演算する（Ｓ３）。
このステップＳ３の占有度演算における占有度Ｄ0 （ωc ）を求める場合の例
を図４を参照して説明する。まず各帯域について周波数差のパワースペクトルの
重み付き加算を行う（Ｓ１）。即ち各ωc についてωc −Δω〜ωc ＋Δωの帯
域における各周波数差を２乗し（Ｓ１ａ）、その２乗値にパワースペクトルＳ（
ωc ）2 を乗算し（Ｓ１ｂ）、このパワースペクトルを乗算したものを、この帯
域ωc −Δω〜ωc ＋Δωについて加算する（Ｓｃ）。
一方、各中心周波数ωc について同一の帯域ωc −Δω〜ωc ＋Δωのパワー
スペクトルの和を求め（Ｓ２）、このパワースペクトルの和で、同一帯域の前記
重み付き和を割算して正規化してＢ（ωc ）2 を求める（Ｓ３）。そのＢ（ωc 
）2 の逆数を取り、その逆数に対数演算を行ってＤ0 （ωc ）を得る（Ｓ４）。
図４Ａにおいて、ステップＳ１とＳ２は順を逆にしてもよい。
【００１６】
次に占有度Ｄp （ωc ）を式（３）により求めた順を図５Ａを参照して説明す
る。図４Ａで求めた占有度Ｄ0 （ωc ）に重み定数ｂを乗算してｂＤ0 （ωc ）
を求め（Ｓ１）、またωc のパワースペクトルに対し重み定数ａをべき乗してＳ
（ωc ）2aを求め（Ｓ２）、その対数ｌｏｇ（Ｓ（ωc ）2a）を演算し（Ｓ３）
、これとｂＤ0 （ωc ）を加算して占有度Ｄp （ωc ）とする（Ｓ４）。ステッ
プＳ１〜Ｓ３の順は任意でよい。
更に式（４）による占有度Ｄp （ωc ）を求める手順を図５Ｂを参照して説明
する。図４Ａ中のステップＳ３で求めたＢ（ωc ）2 に対し重み定数ｂのべき乗
を計算し（Ｓ１）、またωc のパワースペクトルに対し重み定数ａのべき乗を計
算し（Ｓ２）、これらべき乗算結果の比Ｓ（ωc ）2a／Ｂ（ωc ）2bを求め（Ｓ
３）、この比の対数をとり占有度Ｄp （ωc ）とする（Ｓ４）。ここでステップ
Ｓ１とＳ２は何れを先に行ってもよい。
【００１７】
図３乃至図５を参照して説明した占有度抽出方法について、先に説明した占有
度抽出装置における変形は同様に行うことができ、また各種条件も同様である。
例えば積分範囲Δωの適応的決定も同様にこの方法にも適用できる。図１中の瞬
時周波数抽出部２１、図３中の瞬時周波数抽出ステップＳ１における瞬時周波数
抽出の手法としてはこれらの図に示した手法に限らず、例えば「Ｌ．コーエン著
、『時間−周波数解析』（吉川昭・佐藤俊輔訳）、第２章、朝倉書店（１９９８
）」に示す手法、その他の手法を用いてもよい。
【００１８】
基本周波数抽出（装置）
次に上述した占有度抽出装置を用いた基本周波数抽出装置の例を説明する。
図６に示すように入力部１１からの入力信号は前述した占有度抽出装置（以下
では占有度抽出部と記す）３１は入力されて、各帯域の占有度Ｄ0 （ω1 ）〜
Ｄ0 （ωn ）又はＤp （ω1 ）〜Ｄp （ωn ）が抽出される。これら占有度は周期
性演算部３２に入力されて、周波数軸上での占有度の周期性が演算される。例え
ば各時刻、例えば３０〜５０ミリ秒ごとに得られる占有度スペクトルＤ0（ω1 ）
〜Ｄ0 （ωn ）又はＤp （ω1 ）〜Ｄp （ωn ）に対し短時間フーリエ逆変換を行
い、スペクトルピークの周期性Ｐ0（Ｔ1 ）〜Ｐ0 （Ｔn ）が抽出される。この周
期性は例えば図１６に横軸に時間（周期）Ｔを縦軸にレベルをとって示すように
なる。
これら周期性Ｐ0 （Ｔ1 ）〜Ｐ0（Ｔn ）は最大値抽出部３３に入力され、そ
の最大値を与える周期Ｔ0 が抽出され、その周期Ｔ0 の逆数が逆数計算部３４で
計算され、基本周波数Ｆ0 ＝１／Ｔ0 として出力される。
【００１９】
次に基本周波数抽出装置の他の例を図７を参照して説明する。
図６に示した場合と同様に、入力部１１からの入力信号は占有度抽出部３１で占
有度（スペクトル）が抽出される。この例においてはこれら占有度スペクトルは
調波構造占有度演算部３５に入力され、以下で定義される調波構造に関する占有
度の和Ｄt0（ω0 ）（もしくはＤtp（ω0 ））を最大にするω0 を求めることで
基本周波数を求める。
Ｄt0（ω0 ）＝Σq Ｄ0 （ｒ（ｑ・ω0 ））                  （５）
Ｄtp（ω0 ）＝Σq Ｄp （ｒ（ｑ・ω0 ））                  （６）
ここで、ω0 は任意の周波数、ｑは高調波の次数、ｒ（・）はｑ・ω0 で求ま
る周波数を、占有度抽出に用いられた帯域分割における帯域中心周波数ωc の最
も近い周波数に変換する関数である。ｑの次はいくらでも高い値としてもよいが
、演算量を単に増加させることになる。この点からｑ・ω0 の値が１５００Ｈｚ
程度乃至は３０００Ｈｚ程度までとしても十分である。
【００２０】
調波構造占有度演算部３５で演算されたＤt0（ω1 ）〜Ｄt0（ωn ）又はＤtp
（ω1 ）〜Ｄtp（ωn ）が最大値抽出部３６に入力され、これらの中の最大値が
抽出され、その最大値を与えるＤt0（ωc ）又はＤtp（ωc ）と対応するω0 が
基本周波数Ｆ0 として出力される。
調波構造占有度演算部３５は例えば図８に示すように乗算部３５１に順次ω0 
を設定してその各ω0 についてｑ・ω0 を計算する。男性のピッチ周期の平均を
１２５Ｈｚとすると、９０Ｈｚ〜１００Ｈｚ程度から１乃至数Ｈｚずつ増加した
周波数をω0 として順次設定すればよい。乗算部３５１の乗算結果ｑ・ω0 は対
応中心周波数検出部３５２に入力されて、ω1 〜ωn 中のｑ・ω0 に最も近いω
c がωcqとして求められ、占有度取出部３５３において各ωcqに対する占有度Ｄ
0 （ωcq）又はＤp （ωcq）を取り出し、各ω0 について取り出された各ｑの占
有度が加算されてＤt0（ω0 ）又はＤtp（ω0 ）として出力される。
占有度Ｄ0 （ωc ）を利用する場合は次式を最大とするω0 を求めることによ
り、式（５）を用いる場合より更に雑音に強い基本周波数抽出装置とすることが
できる。
Ｄt0（ω0 ）＝Σq （Ｄ0 （ｒ（ｑ・ω0 ））−Ｄ0AV ）        （７）
ここでＤ0AV は占有度Ｄ0 （ω1 ）〜Ｄ0 （ωn ）の平均値である。
この場合は図８中に破線で示すように平均値計算部３５５においてＤ0 （ω1 
）〜Ｄ0 （ωn ）の平均値Ｄ0AV が計算され、加算部３５６でΣq （Ｄ0 （ωcq
）−Ｄ0AV ）が計算され、Ｄt0（ω0 ）として出力される。
占有度Ｄp （ωc ）を利用する場合は、Ｄp （ω1 ）〜Ｄp （ωn ）を時間系
列とみなして高域通過フィルタ処理を行い、そのフィルタ処理したＤp （ω1 ）
〜Ｄp （ωn ）を式（６）に用いることにより更に高い精度の基本周波数抽出装
置とすることができる。つまり図８中に破線で示すようにフィルタ処理部３５７
でＤp （ω1 ）〜Ｄp （ωn ）がこれらを時間系列とみなして高域通過フィルタ
処理され、この系列の変化における細かい変化成分Ｄ′p （ω1 ）〜Ｄ′p （ω
n ）が取り出され、検出された各ωcqと対応するＤ′p （ωcq）が占有度取出部
３５８で取り出され、これらが加算部３５９で加算され、Ｄtp（ω0 ）＝Σq Ｄ
′p （ωcq）として出力される。
【００２１】
所で図６に示した基本周波数抽出装置は雑音に強く、図７に示した基本周波数
抽出装置は精度が高い性質がある。このような点から、図６に示すように、占有
度スペクトルの周期性を演算し、その最大値の周期を抽出して、その逆数から基
本周波数Ｆ0 を求め、図６中に破線で示すように、その基本周波数Ｆ0 が調波構
造占有度利用基本周波数抽出部３８へ供給され、この抽出部３８では入力された
基本周波数Ｆ0 の近傍、例えばＦ0 ±Ｆ0 の１０％の各周波数をω0 として、先
に説明した、図７及び図８に示した調波構造占有度演算が行われ、式（５）又は
（６）あるいは（７）若しくはΣq Ｄ′p （ｒ（ｑ・ω0 ））を最大にするω0 
が求められ、そのω0 が正しい基本周波数Ｆ0 として出力される。このようにす
れば、雑音に強く、かつ精度が高い基本周波数抽出装置が構成される。
【００２２】
基本周波数抽出（方法）
次に先に説明した基本周波数抽出装置の処理手順、つまり基本周波数抽出方法
の例を説明する。
図９は図６に示した装置と対応するものであり、まず、図３乃至図５に示した
この発明による占有度抽出方法により、入力信号からのその占有度（スペクトル
）Ｄ0 （ωc ）又はＤp （ωc）を抽出し（Ｓ１）、この占有度スペクトルの周
波数軸上での占有度の周期性を演算する、例えば、各時刻ごとの占有度スペクト
ルに短時間フーリエ変換して周期性を求める（Ｓ２）。この占有度の周期性の最
大値を与える周期（時間）Ｔ0 を抽出し（Ｓ３）、その周期Ｔ0 の逆数１／Ｔ0 
＝Ｆ0 を求めて基本周波数Ｆ0 を得る（Ｓ４）。
【００２３】
次に図７に示した装置と対応する基本周波数抽出方法の例を図１０を参照して
説明する。先の場合と同様に図３乃至図５に示したこの発明による占有度抽出方
法により、入力信号からその占有度（スペクトル）Ｄ0 （ωc ）又はＤp （ωc ）
を抽出する（Ｓ１）。次にこの実施例ではその占有度に対して、複数のある周波
数ω0 について、その整数倍の周波数に関する占有度の和をそれぞれ求めて調波
構造占有度Ｄt0（ω0 ）又はＤtp（ω0 ）を求める（Ｓ２）。
このステップＳ２は例えば各ω0 をｑ倍（ｑ＝１，２，…）し（Ｓ２ａ）、そ
の各ｑ・ω0 と最も近いωc 、つまり占有度を抽出する際に入力信号を狭い周波
数帯域に分割した時の各帯域の中心周波数ω1 ,…，ωn 中のｑ・ω0 に最も近
いものを求める、そのωc をωcqと書く（Ｓ２ｂ）。求めた各ωcqの占有度Ｄ0 
（ωcq）又はＤp （ωcq）を求め（Ｓ２ｃ）、更にその各ω0 についてその求め
たＤ0 （ωcq）又はＤp （ωcq）の和Σq Ｄ0 （ωcq）又はΣq Ｄp （ωcq）を
求め、つまり調波構造占有度Ｄt0（ω0 ）又はＤtp（ω0 ）を得る（Ｓ２ｄ）。
このようにして求めた各ω0 に対する調波構造占有度Ｄt0（ω0 ）又はＤtp（
ω0 ）中の最大のものを抽出し、その抽出した最大のＤt0（ω0 ）又はＤtp（ω
0 ）のω0 を基本周波数Ｆ0 とする（Ｓ３）。
【００２４】
この図１０に示す方法においては図８を参照して説明したと同様の変形例が考
えられる。つまり図１０中に破線で示すように、ステップＳ２の次に又は予め、
占有度Ｄ0 （ω1 ）〜Ｄ0 （ωn ）の平均値Ｄ0AV を計算し（Ｓ４）、各ω0 に
ついてその求めたＤ0 （ωcq）と平均値Ｄ0AV との差の和Σq （Ｄ0 （ωcq）−
Ｄ0AV ）をＤt0（ω0 ）として求め（Ｓ５）、これよりステップＳ３に移り、こ
れらＤt0（ω0 ）中の最大値を与えるω0 を求めてＦ0 を得る。
あるいはステップＳ２ｂの次に又は予め占有度Ｄp （ω1 ）〜Ｄp （ωn ）を
時系列として高域通過フィルタ処理を施し、ゆるやかに変化する成分を除く、細
かい変化成分のみからなるＤ′p （ω1 ）〜Ｄ′p （ωn ）を求め（Ｓ６）、ス
テップＳ２ｃではＤp （ωcq）の代りにＤ′p （ωcq）を各ｑについて求め、ス
テップＳ２ｄではＤtp＝Σq Ｄ′p （ωcq）を計算してステップＳ３に移る。
図６中に示したように、占有度の周期性を求め、その最大値を与える周期Ｔ0 
を求め、その逆数Ｆ0 ＝１／Ｔ0 を基本周波数として求め、図６中に破線で示す
ように更に調波構造占有度利用基本周波数抽出部３８によりＦ0 の近傍の周波数
をω0 として、更に高い精度の基本周波数を求める構成とすることができる。基
本周波数抽出方法においても図９に破線で示すように、ステップＳ４の次にステ
ップＳ４で得られた基本周波数Ｆ0 の近傍周波数、例えばＦ0 ±Ｆ0 ×０．１の
帯域の各周波数をω0 として図１０に示したステップＳ２以後の処理を行って、
より精度が高い基本周波数を求める（Ｓ５）ようにしてもよい。このステップＳ
５では図１０中に破線で示した各種変形も適用できる。
【００２５】
変形例
図１１にこの発明の基本周波数抽出装置の変形例を示す。図６及び図７に示し
た装置と違う点は、占有周期性演算部３２よりの占有度周期性Ｐ0 （Ｔ1 ）〜
Ｐ0 （Ｔn ）又は調波構造占有度演算部３５よりの占有度和Ｄt0（ω1 ）〜Ｄ
t0（ωn ）あるいはＤtp（ω1 ）〜Ｄtp（ωn ）は基本周期又は基本周波数平滑
化部３７で時間的に連続するように平滑化され、その平滑化された占有度周期性
又は占有度和が最大値抽出部３５又は３６へ供給され、異常値に基づく誤抽出を
防止するようにすることもできる。
つまり各時刻において求められた基本周波数の抽出精度を、時間的な連続性を
用いてさらに抽出精度を向上するものである。これは、図９に示した基本周波数
抽出法の周期性、または、図１０に示した基本周波数抽出法の調波構造に関する
占有度の和の時系列に対して、図９中のステップＳ２の次に破線で示すように、
また図１０中のステップＳ２ｄの次に破線で示すように、平滑化処理ステップＳ
７において、周波数ギャップの少ないピーク位置を時間軸に沿って追跡すること
で実現する。
【００２６】
このピーク追跡には、例えば、ダイナミックプログラミング（以下ＤＰと呼ぶ
）などの既知のアルゴリズムを適用できる。また、基本周波数抽出は、様々な音
声処理の前処理として想定されているため、ＤＰのようなバッチ処理ではなく逐
次処理であることが望ましい場合もある。この場合は、ＤＰのアルゴリズムを改
良した逐次ＤＰが適用できる。逐次ＤＰでは、各時刻において、すでに求められ
た現在時刻以前の周期性または占有度の和の時系列に対して、通常のＤＰを実行
して現在の基本周波数を求める。この方法で、過去から現在にわたる周波数の連
続性について考慮した現在時刻の基本周波数推定ができる。しかも、もともとＤ
Ｐは、実行途中において、現在時刻までの最適パスを更新する逐次アルゴリズム
であるため、逐次ＤＰにしても通常のＤＰと比べて余分な計算は発生しない。
【００２７】
次に音源分離装置により分離した音源信号の基本周波数抽出装置の実施例を図
１２に示す。信号入力部４１により２チャネル以上の音響信号が入力され、これ
ら複数チャネルの入力信号は音源分離装置４２で音源と信号入力部との位置関係
から目的音源信号が強調、もしくは目的音源信号以外の音響信号が抑圧されて目
的音源信号が分離され、その分離された目的音源信号の基本周波数が、図６、図
７、図１１の何れかに示した基本周波数抽出装置４３により抽出される。
【００２８】
図１３にダミーヘッドマイクロフォンを用いた音源分離装置４２の構成例を示
す。各左右の耳の信号入力部４１L及び４１Rから入力された２チャネルの入力信
号のそれぞれに対し、周波数解析部４２１R，４２１Lにおいて例えば短時間フー
リエ変換が施され、この変換されたスペクトルにより、左右の各周波数ごとに信
号の強度と位相がそれぞれ求められ、その各周波数ごとに左右の入力の強度差と
位相差が強度差抽出部４２２、位相差抽出部４２３でそれぞれ求められる。目的
音源の方向からくる音の強度差と位相差に関するダミーヘッドの特性を使うと、
各周波数ごとに、目的方向からくる音の強度差と時間差の範囲が求められる。こ
の性質を利用して、目的方向周波数帯域選択部４２４，４２５で各周波数で入力
音がこの範囲に入っているかどうかを調べ、目的方向周波数帯域信号通過部４２
６で目的方向以外の音の場合は、その周波数の入力信号を０と置き換える。その
結果得られる左右の信号に、短時間フーリエ逆変換を施すことで、目的方向から
くる音だけを分離することが出来る。この音源分離装置は例えばJ. Acoust. Soc
. Jpn(E)20, 2(1999)147〜149頁を参照されたい。
【００２９】
こうして分離された音声信号は、いくつかの周波数帯域の音を０に置き換えら
れているため、大きなひずみを持った音信号である。しかしながら、雑音に比べ
て強度の強い占有的な周波数成分を目的音信号が持つときは、分離音信号にもそ
のままその成分は残されている。したがって、この発明による占有度を用いた基
本周波数抽出法をそのまま適用することができ、音源分離装置の雑音抑制効果に
加えて、分離ひずみの影響も受けにくい基本周波数抽出法を構成できる。
なお、複数マイクロホンによる音源分離法は、独立成分分析法、ヌルビームフ
ォーマ法、ディレイサム法、ミント法など多数のものが知られている。どの方法
を用いる場合も、分離音信号に対しこの発明による占有度を用いる方法で基本周
波数を抽出することで、占有度が分離ひずみの影響を受けにくい評価尺度である
ため高精度の分離装置を構成することが出来る。
【００３０】
適応的な積分範囲決定方法
図１９に、入力信号の概算基本周波数が得られていない場合に、適応的に積分
範囲を決定し基本周波数を抽出する処理手順を示す。
まず、入力部から入力された入力信号を占有度に基づく基本周波数抽出部が受
け取り、式（１）、（２）で求められる占有度を抽出する。この際、式（２）で
必要な積分範囲については、入力音に含まれる音の基本周波数に共通に利用でき
る積分範囲（大人の話者の発声の場合、約260Hz幅）を利用する。このようにし
て求められた占有度に対し、次に、同基本周波数抽出部は調波構造占有度を求め
る。これは、例えば、図８において説明した方法に関連して以下の式を用いて計
算される。
【数３】
2006171008.tif 000005
ここでｑは高調波の次数、ｒ（・）はｑ・ω0を最も近い周波数ｂｉｎの中心
周波数ωcに変換する関数、Ｅ（Ｄ0（ωc））はＤ0（ωc）の全周波数にわたる
平均値である。同基本周波数抽出部はこうして求められた調波構造占有度に関し
て、以下の式に従って、最大値を与える基本周波数の初期設定値を抽出する（Ｓ
１）。
【数４】
2006171008.tif 000006
【００３１】
次に、こうして求められた初期基本周波数に対して最適な積分範囲を積分範囲
決定部２８が決定する（Ｓ２）。最適な積分範囲は、ＳＴＦＴの各周波数ｂｉｎ
を中心として、基本周波数の初期推定値の60%〜100%程度の範囲である。
こうして求められた積分範囲を用いて、同じ入力信号に対して、占有度に基づ
く基本周波数抽出部は、基本周波数の初期設定と同じ方法で、占有度、調波構造
占有度、および最大値を抽出し、より正確な基本周波数を抽出する（Ｓ３）。
なお、占有度の抽出は、基本周波数の初期設定値を求めるために式（２）を計
算する過程において、積分を部分的に行った時点の計算途中結果を保存しておく
ことで、２回目には、式（２）の計算をしなくても１回目の途中結果を利用する
ことができる。これにより計算コストを短縮することができる。
【００３２】
［この発明の実施形態］
占有度の代わりにパワースペクトルを用いる基本周波数抽出法
図２０、２１に、包絡成分を取り除いた入力信号のパワーを用いる基本周波数
抽出装置、処理手順を示す。
まず、前処理を用いて入力信号の周波数特性を基本周波数抽出に適したものに
変形する。これには、例えば、時系列入力信号に対して高域通過フィルタを適用
することで、低域の周波数を抑制して高域の周波数を強調する処理や、逆に低域
通過フィルタを適用して高域を抑制する処理などがあげられる。周波数特性の変
形を受けていない入力信号、または、その補正をする必要がない入力信号の場合
は、この処理は省略することができる。（以上がＳ１の処理である。）
次に、パワー抽出部５１が、入力信号の周波数ωc（ωc1〜ωcn）ごとにパワ
ーＳ（ωc）2を計算する。これには、例えば、ＳＴＦＴの各周波数ｂｉｎの出力
の２乗をとることで計算することができる。
【００３３】
次に、包絡成分除去部５２がそのパワーの包絡成分を取り除く。これには、例
えば次の方法を用いることができる。まず、各周波数のパワーＳ（ωc）2を周波
数軸に沿って並べたもの（周波数特性と呼ぶ）に対して、更に離散フーリエ変換
を適用する。次に、この離散フーリエ変換の低い周波数に相当する信号を０と置
き換えてから、離散逆フーリエ変換をかけて周波数特性に相当する信号にもどす
。このとき、得られる信号は、一般に複素数になるため、この信号の実部を抽出
したものが、包絡成分を除去したパワーとなる。
【００３４】
次にこうして求めた包絡を取り除いたパワーに対して、調波構造パワー抽出部
５３が以下の式に基づいて調波構造パワーＳt0（ω0）2を抽出する。
【数５】
2006171008.tif 000007
ここで、ｑは高調波の次数、ｒ（・）はｑ・ω0を最も近い周波数ｂｉｎの
中心周波数ωcに変換する関数、Ｅ（Ｓ（ωc））はＳ（ωc）の全周波数にわた
る平均値（平均値抽出部５４）である。
こうして求められた調波構造パワーの最大値を最大値抽出部５５が抽出し、以
下の式に従って、最大値を与える基本周波数を抽出する。（以上がＳ２の処理で
ある。）
【数６】
2006171008.tif 000008
なお、図２２に示したように、包絡成分抽出部を省略すれば計算精度はやや落ち
るが、その見返りとして計算コストを削減することができる。
【００３５】
精緻化した基本周波数抽出法
図２３に、概算で求められている基本周波数Ｆ'0をより精緻化して求めるため
の機能構成を示す。
入力信号を受け取ると瞬時周波数抽出部６１は各周波数ごとに瞬時周波数を抽
出する。得られた瞬時周波数から不動点抽出部６２は、以下の式を満たす不動点
とその周波数φ’を抽出する。
【数７】
2006171008.tif 000009
（ ここで、φ1’＞ωc1  、  φ2’＜ωc2 ）
ここで、ωc1、ωc2は、となりあった周波数ｂｉｎの中心周波数（ωc1＜ωc2）
、φ1’，φ2’はそれぞれの瞬時周波数である。また、式（５）を計算する代わ
りにφ’＝ωc1、または、φ’＝ωc2とすることで、計算精度はやや落ちるが計
算コストを少なくすることができる。
上記の計算と並行して、占有度抽出部６３が各周波数ｂｉｎの占有度を抽出す
る。概算基本周波数抽出部６４において、概算基本周波数を抽出する際に占有度
がすでに計算されている場合には、この処理は必要ない。
【００３６】
最後に、精緻化基本周波数抽出部６５は、概算基本周波数Ｆ'0の整数倍（＝ｉ
）の周波数の近傍（±10%程度）に含まれる不動点φ’∈Φ’（ｉ・Ｆ'0）（Φ
’（Ｆ）は周波数Ｆの近傍にある不動点の集合を表す。）を抽出するとともに、
不動点の瞬時周波数φ’を整数（＝ｉ）で割った値を基本周波数候補値として、
その平均値を各占有度Ｄ0（ｒ（φ’））で重み付けして計算することで、精緻
化した基本周波数を求める。これには、以下の式に従い計算する。
【数８】
2006171008.tif 000010
ここで、ｃはすべての不動点の占有度を正の値にするためのバイアスで、εは任
意の小さい正の値でよい。
この占有度を用いた基本周波数の精緻化法は、占有度の代わりに、パワ−抽出
部５１で抽出したパワーもしくは包絡成分除去部６８において包絡成分を取り除
いたパワーを用いることで、全く同様に構成することができる。図２４にその機
能構成を示す。
【００３７】
上述した占有度抽出装置、基本周波数抽出装置はそれぞれ、コンピュータによ
りプログラムを実行させることにより、機能させることもできる。この場合は実
施例に示した何れかの占有度抽出方法をコンピュータに実行させるため占有度抽
出プログラム、あるいは基本周波数抽出方法をコンピュータに実行させるための
基本周波数抽出プログラムを、ＣＤ−ＲＯＭ、可撓性磁気ディスクなどの記録媒
体、又は通信回線を介してコンピュータ内にインストールして行えばよい。
【００３８】
実験例
図１５Ａ，１５Ｂに雑音のない場合と、０ｄＢの白色雑音を加えた場合の音声
について、各周波数ｂiｎにおける占有度Ｄ0 （ωc ）を太い実線で示す。この
太い実線の占有度によれば図１５Ａより、各高調波成分の中心付近の周波数にお
いても鋭いピークがえられているのがわかる。また、図１５Ｂより、第３高調波
までは鋭いピークがあるが、第４高調波以上のピークが抑制されており、白色雑
音の影響が大きいことがわかる。これは、破線で示す対数パワースペクトルを目
視で評価した結果とよく一致しており、占有度が雑音の影響を評価する適切な尺
度であることを示している。
【００３９】
図１７Ａに、白色雑音下での、図１７Ｂに白色雑音と妨害音声下での目的音声
の基本周波数抽出正解率（抽出した基本周波数が正解値から±５％に入っている
割合）を示す。目的音声には男女各２名（計４名）が発話した３０種類の文（計
１２０文）を用い、背景雑音には、白色雑音単独（雑音−１）と、白色雑音にさ
らに１名の妨害音声（男女各１名の計６０文）をくわえたもの（雑音−２）を用
いた。雑音−２では、２つの雑音同士のパワーは同一とし、目的音声と片方の雑
音とのパワー比をＳＮＲとして記している。適応的に積分範囲を決める方法（占
有度法１）、事前情報（入力信号が男性か女性か）を用いる方法（占有度法２）
、および、ケプストラム法（従来法）を、それぞれ破線、太実線、□付破線で示
した。なお、目的音声の正解基本周波数は音声集音時に同時に収集したＥＧＧ（
electro glottal graph）波形から求めた。また占有度としてＤp（ωc ）を用い
た。両図より、どの背景雑音下でも占有度法２が最も安定して基本周波数が抽出
できていることがわかる。また、占有度法１も雑音の強度増加に応じた性能劣化
が少なく、０ｄＢ付近で、占有度法２についで正解率が高い。このことから、占
有度を用いることで雑音に強い基本周波数抽出が行えているといえる。
【００４０】
図１８に、０ｄＢの白色雑音下で、ケプストラム法（従来法）および占有度と
してＤp （ωc ）を用いた上記占有度法１の方法で抽出した基本周波数の時系列
を示す。図１８Ａは正解を、図１８Ｂは従来法を、図１８Ｃは占有度法１をそれ
ぞれ示す。正解値と比較して、ケプストラム法では非常に誤差が大きいのに比べ
、占有度法１では安定して正解に近い値が抽出されていることがわかる。
図２５に、背景雑音下における目的音声のＦ0正解率（推定したＦ0が正解値か
ら±５%に入っている割合）を示す。目的音声には男女各２名（計４名）の30種
類の文（計120文）を用い、背景雑音には白色雑音とマルチトーカ雑音を用いた
。マルチトーカ雑音はカクテルパーティ環境を模擬する雑音で、上記120文から
ランダムに選んだ10個の発話を同時に重複して作成した。占有度を用いて適応的
に積分範囲を決定する基本周波数抽出法（調波構造占有度を最大化に式（１）を
利用）と、占有度を用いて精緻化する方法とを組み合わせた基本周波数抽出法（
proposedと表記）と、従来から知られているケプストラム法を比較した。正解
Ｆ0は音声収音時に同時に収集したＥＧＧ(electro glottal graph)信号から各
Ｆ0抽出法を用いて抽出し、雑音下の目的音声から抽出したＦ0と比較した。図より
占有度を用いた方法が従来法より各ＳＮＲ下で頑健にＦ0抽出が行えている。
【００４１】
図２６に、この発明の実施例による包絡成分を取り除いたパワーを用いる基本
周波数抽出法を利用した場合の結果を示す。抽出処理の前に周波数特性の補正の
ために入力信号に高域通過フィルタ処理を施さない方法(PowerSpec-1)、施す方
法(PowerSpec-2)、および正解Ｆ0を求める場合のみ高域通過フィルタ処理を施す
方法(PowerSpec-3)を比較した。結果は、PowerSpec-3が一番よい。これは、包
絡成分を取り除いた信号のパワーを用いる方法では、正解Ｆ0と目的音声のＦ0抽
出のために前処理を変えなければならない場合があることを示している一方で、適
切に、前処理を選択した場合は、背景雑音に対して頑健であることを示している。
【図面の簡単な説明】
【００４２】
【図１】占有度抽出装置の例の機能構成を示す図。
【図２】図１中の占有度演算部の具体例の機能構成を示す図。
【図３】占有度抽出方法の例の手順を示す流れ図。
【図４】図３中のステップＳ３における占有度処理の具体的手順の例を示す流れ図。
【図５】図３中のステップＳ３における占有度演算処理の具体的手順の他の例を示す流れ図。
【図６】基本周波数抽出装置の例の機能構成を示す図。
【図７】基本周波数抽出装置の他の例の機能構成を示す図。
【図８】図７中の調波構造占有度演算部３５の各具体例の機能構成を示す図。
【図９】基本周波数抽出方法の例の手順を示す流れ図。
【図１０】基本周波数抽出方法の他の例の手順を示す流れ図。
【図１１】基本周波数抽出装置の例の一部変形の機能構成を示す図。
【図１２】音源分離装置を備える基本周波数抽出装置の例を示す図。
【図１３】図１２中の音源分離装置４２の具体例の機能構成を示す図。
【図１４】従来の基本周波数抽出装置の機能構成を示す図。
【図１５】有声音の瞬時周波数と対数パワースペクトルと占有度の例を示す図。
【図１６】占有度スペクトルの周期性の例を示す図。
【図１７】従来技術および各基本周波数抽出方法の正解率の実験結果を示す図。
【図１８】基本周波数抽出の実験結果を示す図。
【図１９】適応的な積分範囲決定方法、およびそれを利用した基本周波数抽出方法の手順を示す流れ図。
【図２０】包絡成分を取り除いた入力信号のパワーを用いるこの発明の基本周波数抽出装置の機能構成例を示す図。
【図２１】入力信号のパワー、もしくは包絡成分を取り除いたパワーを用いる基本周波数抽出方法と、周波数特性補正を組み合わせた基本周波数抽出方法の手順を示す流れ図。
【図２２】入力信号のパワーを用いる基本周波数抽出装置の機能構成を示す図。
【図２３】占有度を用いたより精緻化した基本周波数抽出装置の機能構成を示す図。
【図２４】入力信号のパワー、もしくは包絡成分を取り除いたパワーを用いた、より精緻化した基本周波数抽出装置の機能構成を示す図。
【図２５】占有度を用いて適応的に積分範囲を決定する基本周波数抽出方法と占有度を用いて精緻化する方法とを組み合わせた基本周波数抽出方法と従来のケプストラム法を比較する正解率の実験結果を示す図。
【図２６】包絡成分を取り除いたパワーを用いる基本周波数抽出方法の高域通過フィルタ処理を施さない方法(PowerSpec-1)、施す方法(PowerSpec-2)、正解を求める場合のみ高域通過フィルタを施す方法(PowerSpec-3)における正解率の実験結果を示す図。
【図１】
2006171008.tif 000011
【図２】
2006171008.tif 000012
【図３】
2006171008.tif 000013
【図４】
2006171008.tif 000014
【図５】
2006171008.tif 000015
【図６】
2006171008.tif 000016
【図７】
2006171008.tif 000017
【図８】
2006171008.tif 000018
【図９】
2006171008.tif 000019
【図１０】
2006171008.tif 000020
【図１１】
2006171008.tif 000021
【図１２】
2006171008.tif 000022
【図１３】
2006171008.tif 000023
【図１４】
2006171008.tif 000024
【図１５】
2006171008.tif 000025
【図１６】
2006171008.tif 000026
【図１７】
2006171008.tif 000027
【図１８】
2006171008.tif 000028
【図１９】
2006171008.tif 000029
【図２０】
2006171008.tif 000030
【図２１】
2006171008.tif 000031
【図２２】
2006171008.tif 000032
【図２３】
2006171008.tif 000033
【図２４】
2006171008.tif 000034
【図２５】
2006171008.tif 000035
【図２６】
2006171008.tif 000036