(57)【要約】【課題】周波数特性が不安定な場合や周波数特性に含まれる調波構造が不安定な場合でもピッチ周波数の推定を精度よく行うことができるようにする。【解決手段】入力音声の調波構造を表す対数周波数軸上の周波数特性のうち、サーチ周波数を基準として選択された所望部分の周波数特性が複数抽出され、抽出されたそれぞれの周波数特性の次元変換が逆フーリエ変換を用いて行われる。次元変換が行われることによって得られたそれぞれの特徴量系列と、学習データを用いてあらかじめ求められていたテンプレートパターンとの類似度が算出され、テンプレートパターンとの間で最大の類似度が算出された特徴量系列の元になった所望部分を選択するときに用いられたサーチ周波数が、入力音声のピッチ周波数として決定される。本発明は、音声信号を処理する装置に適用することができる。【選択図】図９
2009086476.tif 000002
【特許請求の範囲】
【請求項１】
入力音声のピッチ周波数を決定する音声処理装置において、
入力音声の調波構造を表す対数周波数軸上の周波数特性のうち、所定の周波数を基準として選択された特定の周波数の範囲における周波数特性を複数抽出する周波数特性抽出手段と、
前記周波数特性抽出手段により抽出されたそれぞれの周波数特性の次元変換を逆フーリエ変換を用いて行う変換手段と、
前記変換手段により次元変換が行われることによって得られた係数の列を抽出する係数抽出手段と、
学習用の音声の調波構造を表す対数周波数軸上の周波数特性のうちの、前記学習用の音声のピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなるテンプレートパターンと、前記係数抽出手段により抽出された係数の列との類似度を算出する算出手段と、
前記テンプレートパターンとの間で最大の類似度が前記算出手段により算出された係数の列の元になった特定の周波数の範囲の周波数特性を選択するときに用いられた基準の周波数を、入力音声のピッチ周波数として決定する決定手段と
を備える音声処理装置。
【請求項２】
前記テンプレートパターンは、複数の学習用の音声の調波構造を表す対数周波数軸上の周波数特性の平均の周波数特性のうちの、ピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなる
請求項１に記載の音声処理装置。
【請求項３】
前記テンプレートパターンは、調波構造を表す任意の形状を有する
請求項１に記載の音声処理装置。
【請求項４】
前記算出手段は、前記テンプレートパターンと、前記係数抽出手段により抽出された係数の列との類似度として、相互相関係数を算出する
請求項１に記載の音声処理装置。
【請求項５】
前記算出手段により算出された類似度に基づいて、入力音声が有声であるか無声であるかを判定する判定手段をさらに備える
請求項１に記載の音声処理装置。
【請求項６】
前記抽出手段は、前記変換手段により次元変換が行われることによって得られた係数のうち、低次と高次の係数を除いた中間の係数の列を抽出する
請求項１に記載の音声処理装置。
【請求項７】
入力音声のピッチ周波数を決定する音声処理方法において、
入力音声の調波構造を表す対数周波数軸上の周波数特性のうち、所定の周波数を基準として選択された特定の周波数の範囲における周波数特性を複数抽出し、
抽出したそれぞれの周波数特性の次元変換を逆フーリエ変換を用いて行い、
次元変換を行うことによって得られた係数の列を抽出し、
学習用の音声の調波構造を表す対数周波数軸上の周波数特性のうちの、前記学習用の音声のピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなるテンプレートパターンと、抽出した係数の列との類似度を算出し、
前記テンプレートパターンとの間で最大の類似度が算出された係数の列の元になった特定の周波数の範囲の周波数特性を選択するときに用いられた基準の周波数を、入力音声のピッチ周波数として決定する
ステップを含む音声処理方法。
【請求項８】
入力音声のピッチ周波数を決定する処理をコンピュータに実行させるプログラムにおいて、
入力音声の調波構造を表す対数周波数軸上の周波数特性のうち、所定の周波数を基準として選択された特定の周波数の範囲における周波数特性を複数抽出し、
抽出したそれぞれの周波数特性の次元変換を逆フーリエ変換を用いて行い、
次元変換を行うことによって得られた係数の列を抽出し、
学習用の音声の調波構造を表す対数周波数軸上の周波数特性のうちの、前記学習用の音声のピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなるテンプレートパターンと、抽出した係数の列との類似度を算出し、
前記テンプレートパターンとの間で最大の類似度が算出された係数の列の元になった特定の周波数の範囲の周波数特性を選択するときに用いられた基準の周波数を、入力音声のピッチ周波数として決定する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理方法、およびプログラムに関し、特に、入力音声のピッチ周波数の検出を行う場合に用いて好適な、音声処理装置、音声処理方法、およびプログラムに関する。
【背景技術】
【０００２】
音声は、音の性質から有声音と無声音に区別される。有声音は、声帯振動を伴う音声であり、周期的な振動として観測される。無声音は、声帯振動を伴わない音声であり、非周期的な雑音として観測される。通常の音声では大部分が有声音であり、無声音は無声子音と呼ばれる特殊な子音のみである。
【０００３】
有声音の周期は声帯振動の周期で決まり、これをピッチ周期という。また、ピッチ周期の逆数をピッチ周波数という。ピッチ周期とピッチ周波数は、声の高低やイントネーションを決める重要な要因となる。従って、音声波形から正確にピッチ周期やピッチ周波数を抽出すること（以下、適宜、ピッチ抽出という）は、音声認識や音声合成を含む音声信号処理において重要な要素技術となる。
【０００４】
ピッチ抽出方法としては、音声波形の時間領域における周期性を利用する方法と、音声波形の周波数領域における調波性を利用する方法の、大きく分けて２つの方法がある。
【０００５】
音声波形の時間領域における周期性を利用する方法としては、自己相関法が挙げられる。一方、音声波形の周波数領域における調波性を利用する方法としては、ケプストラム分析法が挙げられる。
【０００６】
また、最近の研究では、ピッチ抽出性能の向上を目的として、調波構造に関する知識を用いたピッチ抽出方法も提案されている（例えば、非特許文献１，２）。この調波構造に関する知識を用いたピッチ抽出方法は、音声波形の周波数領域における調波性を利用した方法に含まれる。
【０００７】
非特許文献１，２に記載されているようなピッチ抽出方法では、音声を含む楽音の調波構造をモデル化して逐次的な推定が行われている。
【０００８】
また、これらのピッチ抽出方法では、対数周波数軸上のスペクトル構造を用いることによって、調波構造の線形伸縮性を線形シフト性に変換し、調波構造内における各倍音成分の相対的な関係を一定のものとしてピッチ抽出性能の向上へと結びつけることが行われている。
【０００９】
対数周波数軸上のスペクトル構造を用いることについては特許文献１にも記載されている。
【００１０】
また、非特許文献３においては、基本的な調波構造を表すテンプレートパターンを装置内に保持し、そのテンプレートパターンとのマッチングの結果を考慮してピッチ抽出を行う方法も提案されている。テンプレートパターンとのマッチングによる手法の特徴として、処理自体が非常に簡便である点が挙げられる。
【００１１】
【特許文献１】特開２００５−２０２３５４号公報
【非特許文献１】”実世界の音楽音響信号を対象としたメロディーとベースの音高推定”情報処理学会  音楽情報科学研究会  研究報告  99-MUS-31-16, Vol.99, No.68, August, 1999
【非特許文献２】”調波時間構造化クラスタリングによるＣＡＳＡへのアプローチ”日本音響学会聴覚研究会 Vol.36, No.7, H-2006-103, 2006
【非特許文献３】"Real-Time Pitch Determination of One or More Voices by Nonnegative Matrix Factorization" Advances in Neural Information Processing Systems (NIPS) 17, pp.1233-1240, MIT Press, 2005
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述した方法によるピッチ抽出の性能は必ずしも十分とは言えない。
【００１３】
その原因として、実際の音声における周波数特性の不安定さが挙げられる。
【００１４】
特に、有声部分から無声部分への遷移部分において、また、その逆の無声部分から有声部分への遷移部分においては、周波数特性の不安定さは顕著に現れる。
【００１５】
図１Ａ、図１Ｂは、無声部分から有声部分への遷移部分の音声波形の例を示す図である。図１Ａは、遷移部分を時間軸上の音声波形として示す図であり、図１Ｂは、遷移部分を対数周波数軸上の音声波形として示す図である。
【００１６】
図１Ａおよび図１Ｂに示すように、無声部分から有声部分への遷移部分の音声波形には、ピッチ周波数に対応したピーク成分や、低次倍音に対応したピーク成分が顕著には現れない。
【００１７】
更には、音声の周波数特性に含まれる調波構造が常に安定しているわけではないことも、ピッチ抽出の性能が十分には良くないことの原因として挙げられる。
【００１８】
音声に含まれる音韻情報によって周波数特性のエンベロープが様々に変化し、その影響を受けて、周波数特性内の調波構造が不安定になる場合がある。
【００１９】
図２Ａ、図２Ｂは、周波数特性の調波構造が不安定になっている音声波形の例を示す図である。図２Ａは、不安定部分を時間軸上の音声波形として示す図であり、図２Ｂは、対数周波数軸上の音声波形として示す図である。
【００２０】
図２Ａおよび図２Ｂに示すように、音韻によっては、ピッチ周波数に対応したピーク成分が顕著ではなく、倍音に対応したピーク成分の構造も不明確なものになる場合がある。
【００２１】
このように、周波数特性が不安定な場合や、周波数特性に含まれる調波構造が不安定な場合には、ピッチ周波数の推定が困難になる。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、周波数特性が不安定な場合や、周波数特性に含まれる調波構造が不安定な場合であっても、ピッチ周波数の推定を精度よく行うことができるようにするものである。
【課題を解決するための手段】
【００２３】
本発明の一側面の音声処理装置は、入力音声のピッチ周波数を決定する音声処理装置において、入力音声の調波構造を表す対数周波数軸上の周波数特性のうち、所定の周波数を基準として選択された特定の周波数の範囲における周波数特性を複数抽出する周波数特性抽出手段と、前記周波数特性抽出手段により抽出されたそれぞれの周波数特性の次元変換を逆フーリエ変換を用いて行う変換手段と、前記変換手段により次元変換が行われることによって得られた係数の列を抽出する係数抽出手段と、学習用の音声の調波構造を表す対数周波数軸上の周波数特性のうちの、前記学習用の音声のピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなるテンプレートパターンと、前記係数抽出手段により抽出された係数の列との類似度を算出する算出手段と、前記テンプレートパターンとの間で最大の類似度が前記算出手段により算出された係数の列の元になった特定の周波数の範囲の周波数特性を選択するときに用いられた基準の周波数を、入力音声のピッチ周波数として決定する決定手段とを備える。
【００２４】
前記テンプレートパターンは、複数の学習用の音声の調波構造を表す対数周波数軸上の周波数特性の平均の周波数特性のうちの、ピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなるようにすることができる。
【００２５】
前記テンプレートパターンは、調波構造を表す任意の形状を有するようにすることができる。
【００２６】
前記算出手段には、前記テンプレートパターンと、前記係数抽出手段により抽出された係数の列との類似度として、相互相関係数を算出させることができる。
【００２７】
前記算出手段により算出された類似度に基づいて、入力音声が有声であるか無声であるかを判定する判定手段をさらに設けることができる。
【００２８】
前記抽出手段には、前記変換手段により次元変換が行われることによって得られた係数のうち、低次と高次の係数を除いた中間の係数の列を抽出させることができる。
【００２９】
本発明の一側面の音声処理方法またはプログラムは、入力音声の調波構造を表す対数周波数軸上の周波数特性のうち、所定の周波数を基準として選択された特定の周波数の範囲における周波数特性を複数抽出し、抽出したそれぞれの周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列を抽出し、学習用の音声の調波構造を表す対数周波数軸上の周波数特性のうちの、前記学習用の音声のピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなるテンプレートパターンと、抽出した係数の列との類似度を算出し、前記テンプレートパターンとの間で最大の類似度が算出された係数の列の元になった特定の周波数の範囲の周波数特性を選択するときに用いられた基準の周波数を、入力音声のピッチ周波数として決定するステップを含む。
【００３０】
本発明の一側面においては、入力音声の調波構造を表す対数周波数軸上の周波数特性のうち、所定の周波数を基準として選択された特定の周波数の範囲における周波数特性が複数抽出され、抽出されたそれぞれの周波数特性の次元変換が逆フーリエ変換を用いて行われ、次元変換が行われることによって得られた係数の列が抽出される。また、学習用の音声の調波構造を表す対数周波数軸上の周波数特性のうちの、前記学習用の音声のピッチ周波数を基準として選択された特定の周波数の範囲における周波数特性の次元変換を逆フーリエ変換を用いて行い、次元変換を行うことによって得られた係数の列からなるテンプレートパターンと、抽出した係数の列との類似度が算出され、前記テンプレートパターンとの間で最大の類似度が算出された係数の列の元になった特定の周波数の範囲の周波数特性を選択するときに用いられた基準の周波数が、入力音声のピッチ周波数として決定される。
【発明の効果】
【００３１】
本発明の一側面によれば、周波数特性が不安定な場合や、周波数特性に含まれる調波構造が不安定な場合であっても、ピッチ周波数の推定を精度よく行うことができる。
【発明を実施するための最良の形態】
【００３２】
図３は、本発明の一実施形態に係る音声処理装置１の構成例を示すブロック図である。
【００３３】
図３に示すように、音声処理装置１は、入力部１１、周波数分析部１２、特徴量抽出部１３、ピッチ周波数決定部１４、パラメータ記憶部１５、および出力部１６から構成される。
【００３４】
入力部１１は、音声信号の入力に用いられるマイクなどの装置、入力信号を増幅するアンプ、およびアナログの入力信号をデジタル信号に変換するA/D(Analog /Digital)変換器などによって構成される。入力部１１は、入力信号を例えば１６kHzでサンプリングした後、得られたデジタルの音声信号を周波数分析部１２に出力する。
【００３５】
周波数分析部１２は、入力部１１から供給された音声信号を分析することによって、ピッチ抽出に必要となる基本的な周波数特性の抽出を行う。周波数分析部１２は、抽出した周波数特性を表す信号を特徴量抽出部１３に出力する。
【００３６】
特徴量抽出部１３は、サーチ周波数を順次更新し、サーチ周波数に合わせて逐次的に、ピッチ抽出に必要となる特徴量の抽出を周波数分析部１２から供給された信号に基づいて行う。特徴量抽出部１３は、抽出した特徴量を表す信号をピッチ周波数決定部１４に出力する。
【００３７】
ここでのサーチ周波数としては、例えば、最小サーチ周波数である５０Hzから最大サーチ周波数である５００Hzまでの帯域内の周波数といったように、人間によって発声される通常の音声におけるピッチ周波数の変化域をおおよそ含むような帯域内の周波数が設定される。
【００３８】
サーチ周波数帯域は、最小サーチ周波数から最大サーチ周波数までの周波数帯域となる。また、サーチ周波数の更新幅は、任意の周波数幅でよく、例えば、対数周波数軸上において、サーチ周波数帯域を任意の数で均等に分割した幅にすることができる。
【００３９】
ピッチ周波数決定部１４は、特徴量抽出部１３から供給された信号によって表される特徴量と、パラメータ記憶部１５に記憶されている、基本的な音声の調波構造を表すテンプレートパターンとの類似度の計算を行う。ピッチ周波数決定部１４は、特徴量抽出部１３により抽出された全ての特徴量について、テンプレートパターンとの類似度の計算を繰り返し行い、計算された類似度に基づいて、音声処理装置１に入力された音声信号のピッチ周波数を決定する。ピッチ周波数決定部１４は、決定したピッチ周波数の情報を出力部１６に出力する。
【００４０】
出力部１６は、ピッチ周波数決定部１４により決定されたピッチ周波数を用いて、音声処理装置１の外部にある他の装置を動作させるなどの各種の指令を行う。
【００４１】
図４は、図３の周波数分析部１２の構成例を示すブロック図である。
【００４２】
図４に示すように、周波数分析部１２は、時間周波数変換部２１、対数変換部２２、および周波数領域抽出部２３から構成される。入力部１１から出力された信号は時間周波数変換部２１に入力される。
【００４３】
時間周波数変換部２１は、入力された音声信号にFFT分析等の時間周波数変換処理を施すことによって時間領域の特性を周波数領域の特性に変換し、変換して得られた周波数領域の周波数特性を表す信号を対数変換部２２に出力する。この周波数特性の例を図５Ｂに示す。図５Ｂに示す周波数特性は、図５Ａに示す時間領域の特性を周波数領域の特性に変換したものである。
【００４４】
対数変換部２２は、時間周波数変換部２１から供給された信号によって表される周波数特性における周波数軸（Ｘ軸）と振幅軸（Ｙ軸）をそれぞれ対数化することによって、対数周波数軸上での周波数特性に変換し、変換して得られた対数周波数軸上での周波数特性を表す信号を周波数領域抽出部２３に出力する。この周波数特性の例を図５Ｃに示す。
【００４５】
周波数領域抽出部２３は、対数変換部２２から供給された信号により表される対数周波数軸上での周波数特性のうち、所望の周波数領域の周波数特性のみを取り出し、取り出した周波数特性を表す信号を周波数特性分析の結果として特徴量抽出部１３に出力する。
【００４６】
図５Ｄの上段に示される対数周波数軸上での周波数特性から取り出された所望の周波数領域の周波数特性を図５Ｄの下段に示す。図５Ｄの例においては、対数周波数軸上で低域側と高域側の所定の範囲を除く、中間部分の周波数特性が取り出されている。
【００４７】
以下、周波数領域抽出部２３により取り出された所望の周波数領域の周波数特性を特定周波数特性という。
【００４８】
図６は、図３の特徴量抽出部１３の構成例を示すブロック図である。
【００４９】
図６に示すように、特徴量抽出部１３は、所望部分抽出部３１、逆フーリエ変換部３２、および特定係数抽出部３３から構成される。周波数分析部１２による周波数分析の結果を表す信号は所望部分抽出部３１に入力される。
【００５０】
所望部分抽出部３１は、サーチ周波数に合わせて、周波数分析部１２から供給された信号によって表される特定周波数特性内の所望部分を抽出する。
【００５１】
ここでの所望部分とは、サーチ周波数に一定の係数を乗じて得られる周波数範囲を指す。
【００５２】
例えば、サーチ周波数に０．５を乗じた周波数を所望部分の最低周波数とし、サーチ周波数に１４．０を乗じた周波数を所望部分の最高周波数とするなどして、抽出対象となる所望部分が選択される。この例は、サーチ周波数が正解のピッチ周波数である場合には、ピッチ周波数の１／２の周波数（半ピッチ）から、１４倍の高調波成分の周波数までを含む周波数範囲が所望部分となることを表す。
【００５３】
所望部分の範囲は、サーチ周波数が上述した最小サーチ周波数の５０Hzである場合、２５Hzから７００Hzの周波数範囲となり、サーチ周波数が上述した最大サーチ周波数の５００Hzである場合、２５０Hzから７０００Hzの周波数範囲となる。このように、サーチ周波数は所望部分を選択する基準として用いられる。
【００５４】
所望部分抽出部３１は、このような所望部分の抽出を、サーチ周波数を所定の幅で例えば高域側に更新して行い、抽出したそれぞれの所望部分の信号を逆フーリエ変換部３２に順次出力する。
【００５５】
なお、特定周波数特性は図７Ｂ、図８Ｂに示されるように対数周波数軸上で表されているので、サーチ周波数を更新して行われる所望部分の抽出は、所望部分に対応する一定範囲を高域側に一定量ずつシフトする操作となる。
【００５６】
図７Ｂに示す周波数特性は、図７Ａに示す男声の周波数軸上での周波数特性を対数周波数軸上の特性として示したものであり、図８Ｂに示す周波数特性は、図８Ａに示す女声の周波数軸上での周波数特性を対数周波数軸上の特性として示したものである。調波構造の線形シフト性を利用し、対数周波数軸上での周波数特性とすることにより、男声と女声に現れるピーク成分の間隔の違いを強調したりすることができる。
【００５７】
逆フーリエ変換部３２は、所望部分抽出部３１から供給された信号によって表される所望部分の周波数特性に対して、逆フーリエ変換を用いて次元変換を行う。
【００５８】
この次元変換操作は、ケプストラム分析における対数振幅の周波数特性に対する逆フーリエ変換や、Specmurt分析における対数周波数軸上の周波数特性に対する逆フーリエ変換に対応する操作である。
【００５９】
逆フーリエ変換部３２による次元変換操作がケプストラム分析やSpecmurt分析における次元変換操作と異なっている点は、次元変換前の周波数特性を表す軸が、周波数軸（Ｘ軸）、振幅軸（Ｙ軸）ともに対数になっている点である。すなわち、周波数軸と振幅軸のうち、ケプストラム分析においては振幅軸だけが対数になり、Specmurt分析においては周波数軸だけが対数になっているのに対して、逆フーリエ変換部３２による次元変換操作においては、その両方の軸が対数になっている。
【００６０】
なお、ケプストラム分析については、「応用音響学：音声分析（３）ケプストラム」（http://ocw.u-tokyo.ac.jp/course-list/engineering/applied-acoustics-2005/lecture-notes/B3-Cepstrum.pdf）に記載されている。また、Specmurt分析については、"Specmurt Anasylis: A Piano-Roll-Visualization of Polyphonic Music Signals by Deconvolution of Log-Frequency Spectrum"（http://hil.t.u-tokyo.ac.jp/~lab/topics/Sagayama04SAPA10/index.html）に記載されている。ケプストラム分析とSpecmurt分析の対応関係については「Specmurt分析による音楽音響信号の多重ピッチ推定」（http://slab.hil.t.u-tokyo.ac.jp/~lab/research/introduction/Specmurt/Specmurt-jp.html）に記載されている。
【００６１】
逆フーリエ変換部３２は、逆フーリエ変換を用いて次元変換を行うことによって得られた全体の係数の列を表す信号を特定係数抽出部３３に出力する。
【００６２】
特定係数抽出部３３は、逆フーリエ変換後の次元における全係数から、特定次数部分の係数のみを抽出する。ここで抽出される特定次数部分の係数とは、逆フーリエ変換後の次元において、低次および高次の係数を除いた、中間の係数を指す。
【００６３】
抽出対象となる特定次数部分の係数は、実際のピッチ抽出の性能評価の結果に基づいて決めることが可能である。ピッチ抽出の性能評価は、正解のピッチ周波数が既知の状態で行われる評価であり、上述した処理と同様にして逆フーリエ変換後の次元における全係数を求め、そこから抽出した所定の次数部分の係数を用いて求められたピッチ周波数と、正解のピッチ周波数を比較することを、抽出する次数部分を適宜変更して進められる。例えば、正解のピッチ周波数に最も近いピッチ周波数を求めることができた係数部分が特定次数部分の係数として特定係数抽出部３３に設定される。
【００６４】
特定係数抽出部３３は、抽出した特定次数部分の係数の列をピッチ抽出の為の特徴量系列とし、特徴量系列を表す信号をピッチ周波数決定部１４に出力する。
【００６５】
図９は、特徴量抽出部１３の各部において得られる周波数特性の例を示す図である。
【００６６】
図９の上段に示される波形Ｐ1は、周波数分析部１２から特徴量抽出部１３の所望部分抽出部３１に供給される信号によって表される特定周波数特性を表す。
【００６７】
点線矢印Ａ1の先に示される波形Ｐ11は、波形Ｐ1の区間Ｓ1で示される部分が所望部分抽出部３１により抽出されることによって得られた周波数特性を表す。所望部分抽出部３１においては、対象となる区間が図９に示されるように高域側に順次更新され、所望部分の抽出が行われる。区間Ｓ1は、最小サーチ周波数に合わせて設定される区間であり、区間Ｓ3は、最大サーチ周波数に合わせて設定される区間である。
【００６８】
点線矢印Ａ2の先に示される波形Ｐ21は、波形Ｐ1の区間Ｓ2で示される部分が所望部分抽出部３１により抽出されることによって得られた周波数特性を表し、点線矢印Ａ3の先に示される波形Ｐ31は、波形Ｐ1の区間Ｓ3で示される部分が所望部分抽出部３１により抽出されることによって得られた周波数特性を表す。
【００６９】
波形Ｐ11，Ｐ21，Ｐ31を表す信号は所望部分抽出部３１から逆フーリエ変換部３２に供給され、逆フーリエ変換部３２において次元変換が行われる。
【００７０】
矢印Ａ11の先に示される波形Ｐ12は、逆フーリエ変換を用いて波形Ｐ11の次元変換を行って得られた全係数を表し、矢印Ａ21の先に示される波形Ｐ22は、逆フーリエ変換を用いて波形Ｐ21の次元変換を行って得られた全係数を表す。矢印Ａ31の先に示される波形Ｐ32は、逆フーリエ変換を用いて波形Ｐ31の次元変換を行って得られた全係数を表す。
【００７１】
波形Ｐ12，Ｐ22，Ｐ32を表す信号は逆フーリエ変換部３２から特定係数抽出部３３に供給され、特定係数抽出部３３において、特定次数部分の係数の抽出が行われる。
【００７２】
矢印Ａ12の先に示される波形Ｐ13は、波形Ｐ12の区間Ｓ11で示される特定次数部分が特定係数抽出部３３により抽出されることによって得られた特徴量系列を表し、矢印Ａ22の先に示される波形Ｐ23は、波形Ｐ22の区間Ｓ21で示される特定次数部分が特定係数抽出部３３により抽出されることによって得られた特徴量系列を表す。矢印Ａ32の先に示される波形Ｐ33は、波形Ｐ32の区間Ｓ31で示される特定次数部分が特定係数抽出部３３により抽出されることによって得られた特徴量系列を表す。
【００７３】
波形Ｐ13，Ｐ23，Ｐ33によって表される特徴量系列が特定係数抽出部３３からピッチ周波数決定部１４に出力される。
【００７４】
このようにして、特定次数部分の係数のみを抽出することの効果を図１０乃至図１２に示す。
【００７５】
図１０Ａの上側の波形は、図９の波形Ｐ12を対数周波数軸上に示した波形であり、下側の波形は、図９の波形Ｐ13を対数周波数軸上に示した波形である。図１０Ｂの上側の波形は、図９の波形Ｐ22を対数周波数軸上に示した波形であり、下側の波形は、図９の波形Ｐ23を対数周波数軸上に示した波形である。図１０Ｃの上側の波形は、図９の波形Ｐ32を対数周波数軸上に示した波形であり、下側の波形は、図９の波形Ｐ33を対数周波数軸上に示した波形である。
【００７６】
逆フーリエ変換後の次元における低次及び高次の次数部分を除くことによって、特定周波数特性においてピッチ抽出性能を劣化させるような変動等を効果的に取り除くことができ、それぞれの図において下側に示す波形を用いて、基本的な調波構造のみに着目してピッチ抽出を行うことが可能になる。すなわち、縦軸の０付近にレベルが抑えられた調波構造に着目してピッチ抽出を行うことができる。
【００７７】
図１１Ａの波形は、逆フーリエ変換後の次元における全係数を対数周波数軸上に示した波形であり、図１１Ｂの波形は、全係数から、低次及び高次の次数部分を除いた係数を対数周波数軸上に示した波形である。１本の波形が１つの音声に対応する。
【００７８】
同様に、図１２Ａの波形は、逆フーリエ変換後の次元における全係数を対数周波数軸上に示した波形であり、図１２Ｂの波形は、全係数から、低次及び高次の次数部分を除いた係数を対数周波数軸上に示した波形である。
【００７９】
このように、逆フーリエ変換後の次元における全係数を対数周波数軸上に示した場合には、それぞれの波形のレベルにばらつきが現れ、不安定であるのに対して、低次及び高次の次数部分を除くことによって、対数周波数軸上のそれぞれの波形を０付近のレベルの波形に抑えることができる。
【００８０】
図１３は、図３のピッチ周波数決定部１４の構成例を示すブロック図である。
【００８１】
図１３に示すように、ピッチ周波数決定部１４は、類似度計算部４１、および類似度最大値検出部４２から構成される。特徴量抽出部１３により抽出された特徴量系列を表す信号は類似度計算部４１に入力される。
【００８２】
類似度計算部４１は、特徴量抽出部１３から供給された信号によって表されるそれぞれの特徴量系列と、パラメータ記憶部１５に記憶されているテンプレートパターンとの類似度を算出する。テンプレートパターンの作成方法については後述する。
【００８３】
ここで算出される類似度としては、例えば、下式（１）で表される相互相関係数ｒが用いられる。
【数１】
2009086476.tif 000003
【００８４】
式（１）において、ｉは注目する特徴量系列を表す。相互相関係数ｒの値が大きいほど、注目している特徴量系列がテンプレートパターンに類似していることを表す。相互相関係数以外の他の指標が類似度として用いられるようにしてもよい。
【００８５】
サーチ周波数に対応した各特徴量系列と、テンプレートパターンとの比較の例を図１４に示す。
【００８６】
図１４の例においては、図９に示されるようにして抽出された波形Ｐ13により表される特徴量系列とテンプレートパターンＰ41との類似度、波形Ｐ23により表される特徴量系列とテンプレートパターンＰ41との類似度、および、波形Ｐ33により表される特徴量系列とテンプレートパターンＰ41との類似度がそれぞれ点線矢印Ａ41乃至Ａ43に示されるようにして算出されている。
【００８７】
類似度計算部４１は、算出した類似度の情報を類似度最大値検出部４２に出力する。
【００８８】
類似度最大値検出部４２は、類似度計算部４１から供給された情報に基づいて類似度の最大値を検出し、最大の類似度が算出された特徴量系列に対応するサーチ周波数をピッチ周波数として決定する。サーチ周波数帯域における相互相関係数の全てをプロットした例を図１５に示す。
【００８９】
図１５の横軸は対数周波数を表し、縦軸は類似度を表す。図１５の例においては、最小サーチ周波数は５０Hzとされ、最大サーチ周波数は５００Hzとされている。また、サーチ周波数を１６８．８０Hzとして周波数特性を抽出し、逆フーリエ変換などを施すことによって得られた特徴量系列と、テンプレートパターンとの類似度が最大の類似度とされている。
【００９０】
この場合、テンプレートパターンとの間で最大の類似度が算出された特徴量系列の元になった周波数特性を選択するときに基準として用いられた１６８．８０Hzのサーチ周波数が、ピッチ周波数として決定される。
【００９１】
類似度最大値検出部４２は、決定したピッチ周波数をピッチ周波数決定部１４における処理の結果として出力部１６に出力する。
【００９２】
ここで、テンプレートパターンの作成方法について説明する。
【００９３】
テンプレートパターンの作成には複数の学習用データが用いられる。学習用データは、各時刻における正解のピッチ周波数情報が付与されている音声波形データからなる。
【００９４】
学習用データである音声波形データの各分析フレームを対象として、周波数分析部１２により行われる周波数分析処理と同じ処理が行われることによって特定周波数特性が求められ、更に、付与されている正解のピッチ周波数情報に基づいて、特定周波数特性から１つの所望部分が抽出される。
【００９５】
すなわち、特徴量抽出部１３の所望部分抽出部３１において行われる周波数範囲の抽出と同様にして、正解のピッチ周波数に一定の係数が乗算されることによって求められる最小の周波数から最大の周波数までの周波数範囲が所望部分として抽出される。以下、正解のピッチ周波数情報を基準として抽出された所望部分の調波構造を正解調波構造という。
【００９６】
全てのサンプル（学習用データ）を対象として、正解調波構造を正解のピッチ周波数情報に基づいて取得することが行われる。全てのサンプルから得られた正解調波構造を同時に対数周波数軸上にプロットした周波数特性の例を図１６Ａに示す。
【００９７】
次に、全てのサンプルから得られた正解調波構造の平均（平均周波数特性）が求められる。平均周波数特性の例を図１６Ｂに示す。
【００９８】
次に、特徴量抽出部１３の逆フーリエ変換部３２により行われる処理と同様にして、平均周波数特性に対して、逆フーリエ変換を用いて次元変換が施される。
【００９９】
次に、特徴量抽出部１３の特定係数抽出部３３により行われる処理と同様にして、逆フーリエ変換後の次元における全係数から、特定次数部分の係数のみの抽出が行われる。抽出された係数の列は正解のピッチ周波数に対応する特徴量系列であり、この特徴量系列が、テンプレートパターンとして用いられる。
【０１００】
このようにして求められたテンプレートパターンの例を図１６Ｃに示す。また、平均周波数特性とテンプレートパターンの周波数特性を同じ対数周波数軸に並べたものを図１６Ｄに示す。図１６Ｃ、図１６Ｄに示すように、テンプレートパターンは任意の調波構造を有する。
【０１０１】
図１６Ｃに示されるようなテンプレートパターンがパラメータ記憶部１５に記憶され、ピッチ周波数を実際に決定する際に類似度の算出に用いられる。
【０１０２】
次に、以上のような構成を有する音声処理装置１の処理について説明する。
【０１０３】
はじめに、図１７のフローチャートを参照して、音声処理装置１のピッチ周波数抽出処理について説明する。
【０１０４】
ステップＳ１において、周波数分析部１２は、入力部１１から供給された音声信号を対象として周波数分析処理を行う。周波数分析処理が行われることによって得られた周波数特性を表す信号は特徴量抽出部１３に出力される。周波数分析処理については図１８のフローチャートを参照して後述する。
【０１０５】
ステップＳ２において、特徴量抽出部１３は、周波数分析部１２により得られた周波数特性に基づいて特徴量抽出処理を行う。特徴量抽出処理が行われることによって得られた特徴量系列を表す信号はピッチ周波数決定部１４に出力される。特徴量抽出処理については図１９のフローチャートを参照して後述する。
【０１０６】
ステップＳ３において、ピッチ周波数決定部１４の類似度計算部４１は、ピッチ周波数決定部１４から供給された信号によって表される特徴量系列と、パラメータ記憶部１５に記憶されているテンプレートパターンとの類似度を算出する。類似度計算部４１は、算出した類似度の情報を類似度最大値検出部４２に出力する。
【０１０７】
ステップＳ４において、類似度計算部４１は、最小サーチ周波数から最大サーチ周波数までのサーチ周波数帯域の全範囲でサーチ周波数を更新して処理を行ったか否かを判定する。
【０１０８】
サーチ周波数帯域の全範囲でサーチ周波数を更新して処理を行っていないとステップＳ４において判定された場合、ステップＳ２に戻り、それ以降の処理が繰り返される。すなわち、サーチ周波数が一定量だけ高域側に更新され、更新されたサーチ周波数に対応する特徴量系列を抽出する処理が行われる。
【０１０９】
一方、サーチ周波数帯域の全範囲でサーチ周波数を更新して処理を行ったとステップＳ４において判定された場合、ステップＳ５において、類似度最大値検出部４２は、類似度計算部４１から供給された情報に基づいて類似度の最大値を検出し、最大の類似度が算出された特徴量系列に対応するサーチ周波数をピッチ周波数として決定する。
【０１１０】
その後、処理は終了され、類似度最大値検出部４２により決定されたピッチ周波数の情報を用いて、音声処理装置１の外部にある他の装置を動作させることなどが出力部１６により行われる。
【０１１１】
次に、図１８のフローチャートを参照して、図１７のステップＳ１において行われる周波数分析処理について説明する。
【０１１２】
ステップＳ１１において、周波数分析部１２の時間周波数変換部２１は、入力された音声信号にFFT分析等の時間周波数変換処理を施すことによって、時間領域の特性を周波数領域の特性に変換する。時間周波数変換部２１は、周波数領域の周波数特性を表す信号を対数変換部２２に出力する。
【０１１３】
ステップＳ１２において、対数変換部２２は、時間周波数変換部２１から供給された信号によって表される周波数特性における周波数軸と振幅軸を対数化することによって、対数周波数軸上での周波数特性に変換する。対数変換部２２は、対数周波数軸上での周波数特性を表す信号を周波数領域抽出部２３に出力する。
【０１１４】
ステップＳ１３において、周波数領域抽出部２３は、対数変換部２２から供給された信号により表される対数周波数軸上での周波数特性から特定周波数特性を取り出し、取り出した特定周波数特性を表す信号を特徴量抽出部１３に出力する。その後、図１７のステップＳ１に戻り、それ以降の処理が行われる。
【０１１５】
次に、図１９のフローチャートを参照して、図１７のステップＳ２において行われる特徴量抽出処理について説明する。
【０１１６】
ステップＳ２１において、特徴量抽出部１３の所望部分抽出部３１は、サーチ周波数に合わせて、周波数分析部１２から供給された信号によって表される周波数特性における所望部分を抽出する。所望部分抽出部３１は、抽出した所望部分を表す信号を逆フーリエ変換部３２に出力する。
【０１１７】
ステップＳ２２において、逆フーリエ変換部３２は、所望部分抽出部３１から供給された信号によって表される所望部分の次元変換を逆フーリエ変換を用いて行う。逆フーリエ変換部３２は、逆フーリエ変換を用いて次元変換を行うことによって得られた全体の係数の列を表す信号を特定係数抽出部３３に出力する。
【０１１８】
ステップＳ２３において、特定係数抽出部３３は、逆フーリエ変換後の次元における全係数から特定次数部分の係数のみを抽出し、抽出した特徴量系列を表す信号をピッチ周波数決定部１４に出力する。その後、図１７のステップＳ２に戻り、それ以降の処理が行われる。
【０１１９】
以上の処理により、周波数特性中に現れるピッチ抽出性能を劣化させるような変動や、周波数特性の不安定さを効果的に除去することが可能となり、ピッチ抽出性能を劣化させるような成分を除去した周波数特性を用いて、より精度の高いピッチ抽出が可能になる。
【０１２０】
以上においては、類似度計算部４１により算出された相互相関係数はピッチ周波数を決定するために用いられるものとしたが、入力音声が有声であるか無声であるかを判定するために用いられるようにしてもよい。
【０１２１】
図２０は、入力音声が有声であるか無声であるかの判定を行う判定部５１が設けられているピッチ周波数決定部１４の構成例を示す図である。
【０１２２】
判定部５１は、類似度計算部４１により算出された相互相関係数の最大値に基づいて、入力音声が有声であるか無声であるかを判定したり、相互相関係数を図１５に示すように所定の平面上にプロットしたときに得られる最大値付近の先鋭度に基づいて、入力音声が有声であるか無声であるかを判定したりする。判定部５１に対しては、有声であるか無声であるかを判定する基準となる相互相関係数の最大値や、最大値付近の先鋭度の情報があらかじめ設定されている。
【０１２３】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１２４】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２５】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０１２６】
バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、光ディスクや半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１２７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インターフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２８】
CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
【０１２９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３０】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１３１】
【図１】音声波形の例を示す図である。
【図２】音声波形の他の例を示す図である。
【図３】本発明の一実施形態に係る音声処理装置の構成例を示すブロック図である。
【図４】図３の周波数分析部の構成例を示すブロック図である。
【図５】周波数分析部の各部により得られる周波数特性の例を示す図である。
【図６】図３の特徴量抽出部の構成例を示すブロック図である。
【図７】周波数特性の例を示す図である。
【図８】周波数特性の他の例を示す図である。
【図９】特徴量抽出部の各部により得られる周波数特性の例を示す図である。
【図１０】周波数特性の例を示す図である。
【図１１】周波数特性の他の例を示す図である。
【図１２】周波数特性のさらに他の例を示す図である。
【図１３】図３のピッチ周波数決定部の構成例を示すブロック図である。
【図１４】類似度の算出について示す図である。
【図１５】ピッチ周波数の決定について示す図である。
【図１６】テンプレートパターンの作成の例を示す図である。
【図１７】音声処理装置のピッチ周波数抽出処理について説明するフローチャートである。
【図１８】図１７のステップＳ１において行われる周波数分析処理について説明するフローチャートである。
【図１９】図１７のステップＳ２において行われる特徴量抽出処理について説明するフローチャートである。
【図２０】図３のピッチ周波数決定部の他の構成例を示すブロック図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１３２】
１  音声処理装置，  １１  入力部，  １２  周波数分析部，  １３  特徴量抽出部，  １４  ピッチ周波数決定部，  １５  パラメータ記憶部，  １６  出力部，  ２１  時間周波数変換部，  ２２  対数変換部，  ２３  周波数領域抽出部，  ３１  所望部分抽出部，  ３２  逆フーリエ変換部，  ３３  特定係数抽出部，  ４１  類似度計算部，  ４２  類似度最大値検出部
【図１】
2009086476.tif 000004
【図２】
2009086476.tif 000005
【図３】
2009086476.tif 000006
【図４】
2009086476.tif 000007
【図５】
2009086476.tif 000008
【図６】
2009086476.tif 000009
【図７】
2009086476.tif 000010
【図８】
2009086476.tif 000011
【図９】
2009086476.tif 000012
【図１０】
2009086476.tif 000013
【図１１】
2009086476.tif 000014
【図１２】
2009086476.tif 000015
【図１３】
2009086476.tif 000016
【図１４】
2009086476.tif 000017
【図１５】
2009086476.tif 000018
【図１６】
2009086476.tif 000019
【図１７】
2009086476.tif 000020
【図１８】
2009086476.tif 000021
【図１９】
2009086476.tif 000022
【図２０】
2009086476.tif 000023
【図２１】
2009086476.tif 000024