(57)【要約】【課題】音声信号の品質を劣化させることなく、少ない計算量で入力音声信号の基本周波数を所望する基本周波数に変更する音声信号処理装置を提供する。【解決手段】入力音声信号に時間窓を乗じ、周波数領域に変換してスペクトルを得るスペクトル分析部１１と、スペクトルを設定された周波数で分割し、低域スペクトル成分において、振幅を保持して位相を零位相に変更し、高域スペクトル成分と加算してスペクトルを変更し、時間領域に変換して変換音声信号を得る帯域分割ゼロ位相化部１２を備え、入力音声信号に乗じる時間窓の時間位置を順次移動して、変換音声信号を生成し、順次生成された変換音声信号に時間窓を乗じピッチ波形を生成し、所望する基本周波数のピッチ位置の時間軸上で重畳加算し、合成音声信号を生成する重畳加算合成部１３を備える。【選択図】図１
2004029587.tif 000002
【特許請求の範囲】
【請求項１】
入力音声信号の基本周波数を所望する基本周波数に変更する音声処理方法において、
入力音声信号に時間位置をシフトさせた時間窓を乗じ、周波数領域に変換してスペクトルを得る過程と、
順次得られたスペクトルを設定された周波数で低域スペクトル成分と高域スペクトル成分に分割し、低域スペクトル成分において、振幅を保持し、位相を零位相に変更して高域スペクトル成分と加算してスペクトルを変更する過程と、
変更したスペクトルを時間領域に変換して音声信号を得る過程と、
順次得られた変換音声信号に時間窓を乗じピッチ波形を生成する過程と、
生成したピッチ波形を所望する基本周波数のピッチ位置の時間軸上で重畳し、所望する基本周波数に変更した合成音声信号を生成する過程と、を有することを特徴とする音声信号処理方法。
【請求項２】
請求項１に記載の音声信号処理方法において、
入力音声信号に乗じる時間窓の時間位置のシフトは、入力音声信号の基本周波数の逆数（ピッチ周期）間隔とすることを特徴とする音声信号処理方法。
【請求項３】
請求項１又は２に記載の音声信号処理方法において、
前記入力音声信号に乗じる時間窓の窓長として、入力音声信号の基本周波数に反比例した窓長に決定する過程と、
前記変換音声信号に乗じる時間窓の窓長として、所望する基本周波数に反比例した窓長に決定する過程と、を有することを特徴とする音声信号処理方法。
【請求項４】
請求項３に記載の音声信号処理方法において、
前記決定した入力音声信号に乗じる時間窓は、相補的ガウス窓関数であることを特徴とする音声信号処理方法。
【請求項５】
請求項１乃至４の何れか１項に記載の音声信号処理方法において、
前記変換音声信号に乗じる時間窓の窓長として入力音声信号の基本周波数の反比例する値以下となるように窓長を制限する過程を有することを特徴とする音声信号処理方法。
【請求項６】
請求項１乃至５の何れか１項に記載の音声信号処理方法において、
生成した合成音声信号に対して、入力信号のゲイン特性は不変であり位相特性のみ変更する全域通過フィルタ処理を行う過程を有することを特徴とする音声信号処理方法。
【請求項７】
入力音声信号の基本周波数を所望する基本周波数に変更する音声処理装置において、
入力音声信号に時間位置をシフトさせた時間窓を乗じ、周波数領域に変換してスペクトルを得るスペクトル分析部と、
順次得られたスペクトルを設定された周波数よりも低域スペクトル成分と高域スペクトル成分に分割し、低域スペクトル成分において、振幅を保持し、位相を零位相に変更して高域スペクトル成分と加算してスペクトルを変更し、変更したスペクトルを時間領域に変換して音声信号を得る帯域分割ゼロ位相化部と、
順次得られた変換音声信号に時間窓を乗じピッチ波形を生成し、所望する基本周波数のピッチ位置の時間軸上で重畳し、所望する基本周波数に変更した合成音声信号を生成する重畳加算合成部と、を有することを特徴とする音声信号処理装置。
【請求項８】
請求項７に記載の音声信号処理装置において、
スペクトル分析部の入力音声信号に乗じる時間窓の時間位置のシフトは、入力音声信号の基本周波数の逆数（ピッチ周期）間隔とすることを特徴とする音声信号処理装置。
【請求項９】
請求項８に記載の音声信号処理装置において、
スペクトル分析部は、入力音声信号に乗じる時間窓の窓長として、入力音声信号の基本周波数に反比例した窓長に決定する手段を備え、
重畳加算合成部は、変換音声信号に乗じる時間窓の窓長として、所望する基本周波数に反比例した窓長に決定する手段を備えた、ことを有することを特徴とする音声信号処理装置。
【請求項１０】
請求項９に記載の音声信号処理装置において、
前記決定した入力音声信号に乗じる時間窓は、相補的ガウス窓関数であることを特徴とする音声信号処理装置。
【請求項１１】
請求項７乃至１０の何れか１項に記載の音声信号処理装置において、
前記変換音声信号に乗じる時間窓の窓長として入力音声信号の基本周波数の反比例する値以下となるように窓長を制限する手段を有することを特徴とする音声信号処理装置。
【請求項１２】
請求項７乃至１１の何れか１項に記載の音声信号処理装置において、
生成された合成音声信号を入力し、ゼロ位相特性を補正した合成音声信号を出力する、入力信号のゲイン特性は不変であり位相特性のみ変更する全域通過フィルタを有することを特徴とする音声信号処理装置。
【請求項１３】
入力音声信号の基本周波数を所望する基本周波数に変更する音声信号処理プログラムにおいて、
入力音声信号に時間位置をシフトさせた時間窓を乗じ、周波数領域に変換してスペクトルを得る処理と、
順次得られたスペクトルを設定された周波数よりも低い周波数領域と高い周波数領域に分割し、低い周波数領域において、振幅を保持し、位相を零位相に変更して高い周波数領域と加算してスペクトルを変更する処理と、
変更したスペクトルを時間領域に変換して音声信号を得る処理と、
順次得られた変換音声信号に時間窓を乗じピッチ波形を生成する処理と、
生成したピッチ波形を所望する基本周波数のピッチ位置の時間軸上で重畳し、所望する基本周波数に変更した合成音声信号を生成する処理と、をコンピュータに実行させるための音声信号処理プログラム。
【請求項１４】
請求項１３に記載の音声信号処理プログラムにおいて、
生成した合成音声信号に対して、入力信号のゲイン特性は不変であり位相特性のみ変更する全域通過フィルタ処理をコンピュータに実行させる音声信号処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力音声信号の基本周波数を所望する基本周波数に変更する音声信号処理方法、装置及び音声信号処理プログラムに関するものである。
【０００２】
【従来の技術】
音声合成や音声変換の分野においては、音声の韻律における主要な要素である基本周波数を変換する技術として、所望する（目標とする）基本周波数の周期に対応してピッチ波形を重畳する処理により波形を操作し基本周波数を変換する手法が主流を占めている。
このような手法において重要なのは、加算重畳する１ピッチの波形を取得する方法である。
従来の手法としては、（１）基本周波数に対応した窓長の窓掛けによりピッチ波形を切り出し、基本周波数の周期間隔でピッチ波形を重畳加算する方法、（２）またはボコーダ（音声分析合成系）としてスペクトル包絡と音源を分離した上で基本周波数を操作するボコーダ型の方法（特開平１０−９７２８７号公報，特開２０００−３３０５８２）等が提案されている。
【０００３】
【発明が解決しようとする課題】
しかし、上記の方法にはそれぞれ欠点が存在している。
（１）においては、例えば、単に窓掛けによる切り出し方式は、切り出す位置や音声のピッチ波形形状及び基本周波数の変更量に対してセンシティブな方法であり、ピッチ波形を切り出す位置によって大きく品質が左右されまた基本周波数の変更量が２０％以上になると著しく品質が劣化する。
（２）ボコーダ型では音声品質を維持したままスペクトルを操作することが困難であり特開平１０−９７２８７号公報のように様々な処理を加えることで音質劣化を避ける試みが成されており、適正な処理を行うことができれば高品質な基本周波数変更が実現可能である。しかし実用上は音声信号をスペクトル包絡と音源に分離する処理の計算量が多く、処理時間が掛かってしまうという問題のほか、様々な処理におけるパラメータの値が入力音声信号の特性に依存しながらもその値を適切に設定する方法は定式化されておらず、そのため適正なパラメータ設定が困難であり、事実上、高品質な基本周波数変更が実現できるかどうかは入力音声に依存するという状況であった。
【０００４】
本発明の第１の目的は、音声信号の音声品質を劣化させることなく基本周波数の変更を可能とすることである。また第２の目的は少ない計算量で基本周波数の変更を可能とすることである。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明は、入力音声信号に対して、時間位置をシフトさせた時間窓を乗じ、周波数領域に変換し、周波数領域での簡便な処理であるゼロ位相化により波形形状による品質劣化なしに所望する基本周波数に対応するピッチ位置で波形重畳することにより基本周波数の変更を可能とするものである。また、ゼロ位相化による品質劣化を避けるため、帯域を分割し高域スペクトル成分に対しては位相処理を行わず、フィルタ処理により聴覚上での品質劣化を避けるものである。
【０００６】
【発明の実施の形態】
以下この発明の一実施形態を述べる。
図１を参照して音声信号処理装置の構成、基本的なフローを説明する。
入力音声信号ｘ（ｎ）はスペクトル分析部１１で短時間スペクトル分析をして短時間スペクトルＸ（ω）を得て、それをもとに帯域分割ゼロ位相化部１２で、音声信号の位相変更処理を行い、変更された変換音声信号ｘ’（ｎ）を生成し、変換音声信号ｘ’（ｎ）と入力された所望する（目標とする）基本周波数ｆ０に基づいて重畳加算合成部１３で基本周波数が変更された部分的な合成音声信号が生成される。ここで再度スペクトル分析部１１に戻り全入力音声信号の処理が終了するまで、スペクトル分析部１１、帯域分割ゼロ位相化部１２、重畳加算合成部１３において繰り返し処理を行い、入力された基本周波数ｆ０に基づいた連続した合成音声信号ｘ”（ｎ）を生成する。また、フィルタ処理部１４で音声信号をフィルタ処理することで聴感的な補正を行い、最終的な合成音声信号ｘ”’（ｎ）を生成する。
【０００７】
図２にスペクトル分析部１１の構成を示す。
入力音声信号ｘ（ｎ）は、波形切り出し部１１−１で対象となるフレームの音声信号を切り出し、窓掛け部１１−２で短時間スペクトル分析として適当な窓関数（例えば、Ｈａｍｍｉｎｇ窓、Ｈａｎｎｉｎｇ窓、Ｇａｕｓｓ窓、相補的Ｇａｕｓｓ窓等）を掛け、フーリエ変換部１１−３でフーリエ変換を行い、短時間スペクトルＸ（ω）を得る。
【０００８】
図３に図２のスペクトル分析部１１の処理内容を模擬的な図で示す。
ｘ（ｎ）（ｎはサンプル）は入力音声信号を示す。まず、対象となるフレーム（例えば、５〜２０ｍｓ）の波形（点線で囲まれた部分）を切り出す（Ｓ１１−１）。次に窓関数Ｗ（ｎ）を切り出した音声信号に乗じる（Ｓ１１−２）。次に窓掛けされた信号に対し離散フーリエ変換（一般的には高速フーリエ変換（ＦＦＴ）が用いられる）により短時間スペクトルＸ（ω）（ωは周波数）を得る（Ｓ１１−３）。
次のフレームを分析する際には、フレームシフト幅Ｆｓ（例えば、２．５〜５ｍｓ）だけ時間軸上をずらして対象となるフレーム（細線で囲まれた領域）に対して、上記と同様な処理を行う。このフレームシフト幅は切り出し波形の位相と切り出し窓長によっては音質劣化を招く可能性があるため、入力音声信号の基本的な周期波形である１ピッチ波形の間隔（ピッチ周期）で窓を設定する、すなわち、入力音声信号の基本周波数の逆数（ピッチ周期）間隔とすることで上記問題を解決する。
【０００９】
次に、図４に帯域分割ゼロ位相化部１２の構成を示す。
短時間スペクトルＸ（ω）は、帯域分割部１２−１により高域スペクトルＸｈ（ω）（ω≧ωｔｈ）、低域スペクトルＸｌ（ω）（ω＜ωｔｈ）に分割する。
ここで、帯域分割の閾値ωｔｈとして例えば、それ以下の低域に音声の主要な特徴がほぼ含まれる３〜４ｋＨｚの値、または、重要な特徴である第１、第２フォルマントが含まれる１ｋＨｚ前後の値にすることが考えられる。
次に、低域スペクトル成分Ｘｌ（ω）についてゼロ位相化部１２−２でゼロ位相化を行いゼロ位相化低域スペクトル成分Ｘ’ｌ（ω）を生成する。ゼロ位相化により低域スペクトル成分Ｘｌ（ω）の各周波数の位相をゼロ（一致させる）とする。（すなわち、実数成分のみとする。）
次に加算部１２−３で高域スペクトル成分Ｘｈ（ω）とゼロ位相化低域スペクトル成分Ｘ’ｌ（ω）を加算し、低域ゼロ位相化スペクトルＸ’（ω）を得る。最後に、逆フーリエ変換部１２−４でＸ’ｌ（ω）を逆フーリエ変換し、変換音声信号ｘ’（ｎ）を生成する。ここで逆フーリエ変換として一般的な逆高速フーリエ変換（ＩＦＦＴ）が用いられる。
【００１０】
図５に重畳加算合成部１３の処理内容を模擬的な図で示す。
変換音声信号ｘ’（ｎ）に対し、音声信号の中央を中心として、波形重畳に利用するものとして適当な窓関数（例えば、Ｈａｎｎｉｎｇ窓、Ｃｏｓｉｎｅ窓、台形窓等）Ｗｐ（ｎ）を乗じ１ピッチ波形Ｐ（ｎ）を得る。次にＰ（ｎ）を時間軸上の対応するピッチ位置（所望する基本周波数の周期）を中心として重畳加算する。このとき、窓関数の窓長は、所望する基本周波数ｆ０に反比例するように窓長に決定し、一般的に窓長として所望する（目標とする）基本周波数の周期の２倍程度の値が用いられる。
入力音声信号を時間軸上でフレームをシフトさせて切り出し、１フレームの変換音声信号に対して１フレームピッチ波形Ｐ（１）、２フレームの変換音声信号に対してピッチ波形Ｐ（２）、・・・、ｎフレームの変換音声信号に対してピッチ波形Ｐ（ｎ）を得て、時間軸上で対応するピッチ位置において重畳加算することにより合成音声信号ｘ”（ｎ）を生成する。
ここで、ピッチ位置は所望する基本周波数ｆ０の周期から計算することが可能であり、例えば基本周波数ｆ０が一定の値であればその逆数である周期１／ｆ０を基本として、時間０からその周期間隔でピッチ位置が配置される。また基本周波数がある特定のパターン、つまり時間に関する関数Ｆ（ｔ）として与えられた場合でも、同様に時間０を始点として、一番目のピッチ位置ｔ１＝１／Ｆ（０）、２番目のピッチ位置ｔ２＝１／Ｆ（ｔ１）、ｔ３＝１／Ｆ（ｔ２）のように計算できる。
【００１１】
図６を参照して入力音声信号の基本周波数と所望する基本周波数との関係について説明する。
所望する（目標とする）基本周波数が入力音声信号の基本周波数より高い場合にはフレームピッチ波形は（ａ）に示すようになり問題は発生しない。これに対して所望する基本周波数が入力音声信号の基本周波数（１／Ｔ０）より低い場合は、ピッチ波形切り出しの窓長を単純に所望する基本周波数の逆数（ピッチ周期）Ｔｔ’とすると、フレームピッチ波形は、（ｂ）の点線で囲んだ円で示すような隣接する周期分を含む波形になり、重畳加算した場合には隣接するピッチ波形に対するノイズ成分として作用し、所望とする基本周波数に変更された音声の品質を劣化させる。そのため、ピッチ波形切り出し窓長を入力音声信号の基本周波数の逆数（ピッチ周期）Ｔ０以下（入力音声信号の基本周波数の反比例する値以下）に抑えることで、上記の現象をなくし品質劣化を防ぐことができる。
【００１２】
重畳加算合成部１３から出力された変換音声信号ｘ’（ｎ）が重畳加算された合成音声信号ｘ”（ｎ）は、フィルタ処理部１４においてフィルタ処理され、最終的な合成音声信号ｘ”’（ｎ）が生成される。
フィルタ処理において、位相特性を有するフィルタを用いることで低域におけるゼロ位相化による一般的にバジー感といわれる聴感上の問題を除去することが必要である。ここで用いるフィルタは周波数に対するゲイン特性を大きく変更するものでないことが望ましく、フィルタとして例えば下式に示すような伝達関数を有するＮ次の全域通過フィルタを利用することで入力音声信号のゲイン特性の一定倍率の変更と位相特性の変更が可能となる。
【数１】
2004029587.tif 000003
（ｄ＞０、ｂ＊ｉはｂｉの複素共役を示す。）
ここで、ｄ＝１ならばフィルタのゲイン特性は１となり入力音声信号に対するゲイン特性は不変となる。
【００１３】
本発明の音声信号処理装置は、ＣＰＵやメモリ等を有するコンピュータと、アクセスを行うためのユーザ端末と、記録媒体とから構成される。
記録媒体はＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録された音声信号処理プログラム、あるいは通信回線を介して伝送された音声信号処理プログラムはコンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に前述の構成要素を実現する。
【００１４】
【発明の効果】
以上述べたようにこの発明によれば、計算量の少ない周波数領域（低域）でのゼロ位相化により波形形状による品質劣化なしに波形重畳処理により基本周波数の変更を可能とするものである。
また、ゼロ位相化において、帯域を分割し実際の音声において複雑な位相成分に対しては位相処理を行わず低域に対してのみゼロ位相化処理を行い、またフィルタ処理により低域でのゼロ位相特性を補償し聴感上での品質劣化を避け高品質な合成音声を生成するものである。
【図面の簡単な説明】
【図１】本発明の一実施例を示す音声信号処理装置の構成図。
【図２】スペクトル分析部の構成図。
【図３】スペクトル分析部の処理を説明する図。
【図４】帯域分割ゼロ位相化部の構成図。
【図５】重畳加算合成部の処理を説明する図。
【図６】入力音声信号の基本周波数と所望する基本周波数との関係を説明する図。
【符号の説明】
１１・・・スペクトル分析部、１１−１・・・波形切り出し部、１１−２・・・窓掛け部、１１−３・・・フーリエ変換部
１２・・・帯域分割ゼロ位相化部、１２−１・・・帯域分割部、１２−２・・・ゼロ位相化部、１２−３・・・加算部、１２−４・・・逆フーリエ変換部
１３・・・重畳加算合成部、１４・・・フィルタ処理部
【図１】
2004029587.tif 000004
【図２】
2004029587.tif 000005
【図３】
2004029587.tif 000006
【図４】
2004029587.tif 000007
【図５】
2004029587.tif 000008
【図６】
2004029587.tif 000009