(57)【特許請求の範囲】
【請求項１】
音声信号の供給される可変利得アンプと、
周波数帯域が150Hz〜1000Hzを含み、上記音声信号からピッチ成分およびフォルマント成分を抽出するバンドパスフィルタと、
このバンドパスフィルタの出力を両波整流するとともに、この両波整流出力の低域成分を取り出すことにより、上記音声信号のレベルを示す信号を出力するレベル検出回路と、
このレベル検出回路の検出出力が、第１のしきい値を越え、その後、第２のしきい値よりも小さくなったとき、この小さくなった時点を上記音声信号の終了点として検出する終了点検出回路と、
この終了点検出回路の検出出力にしたがって、上記可変利得アンプの利得を制御する制御回路と
を有し、
上記終了点検出回路が上記音声信号の終了点を検出したとき、上記可変利得アンプにおいて、上記制御回路の制御出力により、上記音声信号の振幅を十数ｍ秒〜数十ｍ秒の期間にわたって大きくする
ようにした音声信号の処理回路。
【請求項２】
請求項１に記載の音声信号の処理回路において、
上記第１のしきい値は上記第２のしきい値以上である
ようにした音声信号の処理回路。
【請求項３】
請求項１あるいは請求項２に記載の音声信号の処理回路において、
上記第２のしきい値を、レベル検出回路の検出出力が第１のしきい値を越えた後のピーク値の数％〜数十％に設定する
ようにした音声信号の処理回路。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、補聴器、電話、拡声器、音声通信などの分野で用いられる音声信号の処理回路に関する。
【０００２】
【従来の技術】
音声を伝送あるいは再生する場合、その伝送系あるいは再生系に残響やエコーが多いと、結果の音声の明瞭度が低下してしまう。そこで、そのようなときには、発話速度を遅くする、連続して発声される語音を細かく分解し、時間をあけて再生するなどの処理が行なわれている。
【０００３】
また、子音のような高域周波数が聞き取りにくいときには、周波数イコライザ処理により高域周波数の強調を行うこともある。さらに、いわゆる継時マスキング（エネルギーの大きい母音と子音とが続くとき、その母音により子音がマスクされる現象）を考慮した重み関数をかける処理も試みられている。
【０００４】
さらに、以上の処理は難聴者や老人を対象に行われることもある。
【０００５】
【発明が解決しようとする課題】
ところが、上述したように、発話速度を遅くしたり、連続して発声される語音を分解したりすると、次のような問題点を生じてしまう。
【０００６】
１．原音声との間に時間のずれを生じ、即時性がなくなってしまう。したがって、会話などを行なうときには使えない。また、放送などを聞く楊合であっても、聞き終わるまでの時間が長くなってしまう。
２．語音の知覚判断には音声成分の変化速度も重要な手がかりになっているので、発話速度を遅くすると、この手がかりが変化して別な語音に知覚されてしまうことがある。
３．語音を分解してゆっくり再生すると、語音のまとまりとしての情報や過渡的な変化部分の情報が失われ、明瞭度の悪くなることがある。
４．常に高域周波数を増幅した音声は、音色のバランスがくずれて不快であったり、聞き取りにくいことがある。
５．継時マスキングを考慮した重み関数をかける処理は、少なくとも重み関数の時間長の遅延が生じてしまい、即時性が失われてしまう。この結果、口の動きと処理音との間に時間ずれを生じて明瞭度に悪い影響を与えることがある。また、イヤホンからマイクロフォンへの音響的フィードバックがあるときには、その時間遅れによって残響音のような現象が引き起こされてしまう。
【０００７】
この発明は、以上のような問題点を一掃しようとするものである。
【０００８】
【課題を解決するための手段】
このため、この発明においては、
音声信号の供給される可変利得アンプと、
周波数帯域が150Hz〜1000Hzを含み、上記音声信号からピッチ成分およびフォルマント成分を抽出するバンドパスフィルタと、
このバンドパスフィルタの出力を両波整流するとともに、この両波整流出力の低域成分を取り出すことにより、上記音声信号のレベルを示す信号を出力するレベル検出回路と、
このレベル検出回路の検出出力が、第１のしきい値を越え、その後、第２のしきい値よりも小さくなったとき、この小さくなった時点を上記音声信号の終了点として検出する終了点検出回路と、
この終了点検出回路の検出出力にしたがって、上記可変利得アンプの利得を制御する制御回路と
を有し、
上記終了点検出回路が上記音声信号の終了点を検出したとき、上記可変利得アンプにおいて、上記制御回路の制御出力により、上記音声信号の振幅を十数ｍ秒〜数十ｍ秒の期間にわたって大きくする
ようにした音声信号の処理回路
とするものである。
したがって、連続する音声に子音が続くとき、その振幅が拡大される。
【０００９】
【発明の実施の形態】
ところで、通常の会話の音声は、ある程度のまとまりをもって発音されており、音声の言語知覚も、各音の知覚と、まとまった語音の特徴の知覚との両方から行なわれていると言われている。
【００１０】
また、健聴者の場合、雑音が少なく受聴環境の良いところでは、特別な音声処理を行なわなくても音声を十分に聞き取ることができるが、雑音が多いところでは、言葉の聞き取りが悪くなったりする。この原因はいくつか考えられるが、主なものに、継時マスキングの影響がある。つまり、前の母音が次の音の子音部をマスクすることがあり、この結果、子音の聴覚的な感度が悪くなって聞き取りにくくなるものである。
【００１１】
そこで、この発明においては、音声のまとまりの終了点を検出し、この終了点から十数ｍ秒〜数十ｍ秒の期間、音声信号（特にその高域成分）の振幅を増幅し、これにより子音に対する聴覚的な感度を相対的に高くするものである。また、音声のまとまりの終了点は、音声のピッチ成分およびフォルマント成分のレベル変化を解析することにより検出する。
【００１２】
図１は、この発明の一形態を示すもので、もとの処理前の音声信号Ｓ11が入力端子１１を通じて可変利得アンプ１２に供給され、このアンプ１２の出力信号Ｓ12が出力端子１３に取り出される。
【００１３】
さらに、端子１１の信号Ｓ11が、前処理のため、バンドパスフィルタ２１およびレベル検出回路２２に順に供給される。この場合、バンドパスフィルタ２１は、連続する音声の終了点を検出しやすくし、かつ、雑音による影響が小さくなるように、信号Ｓ11からピッチ成分とフォルマント成分とを抽出するものである。したがって、その通過帯域は、例えば150Hz 〜1000Hzとされている。
【００１４】
また、レベル検出回路２２は、バンドパスフィルタ２１の出力信号Ｓ21を使用して連続する音声の終了点を検出するためのものである。このため、レベル検出回路２２は、例えば、信号Ｓ21を両波整流するとともに、その低域成分（例えば60Hz以下の成分）を取り出すことにより、信号Ｓ11のレベルを示す信号Ｓ22を形成している。
【００１５】
そして、このレベル検出回路２２の検出信号Ｓ22が終了点検出回路２３に供給され、連続する音声の終了点が検出され、その終了点の検出信号Ｓ23が利得制御回路２４に供給されて制御信号Ｓ24が形成され、この信号Ｓ24が可変利得アンプ１２に利得の制御信号として供給される。
【００１６】
この場合、連続する音声の終了点の検出は、音声レベル、つまり、信号Ｓ22のレベルが、第１のしきい値（音声存在判定しきい値）を一度越え、その後、第２のしきい値（音声終了判定しきい値）よりも小さくなるときに行う。また、利得の制御は、その音声の終了点の検出時点の直後から、例えば十数ｍ秒〜数十ｍ秒の期間にわたって、利得が大きくなるように行う。ただし、第１のしきい値は第２のしきい値以上とする。
【００１７】
このような構成によれば、端子１１に入力された音声信号Ｓ11が連続している期間は、制御信号Ｓ23により可変利得アンプ１２の利得は基準値に固定されている。したがって、その音声信号Ｓ11が、そのまま出力信号Ｓ12として端子１３に取り出される。
【００１８】
しかし、音声信号Ｓ11の連続が終了すると、その終了点の時点から制御信号Ｓ24により可変利得アンプ１２の利得が基準値よりも大きくされるので、その終了点の時点から所定の期間、音声信号Ｓ11があれば、音声信号Ｓ12の振幅は本来の大きさよりも大きくなる。したがって、連続する音声（音声信号Ｓ11）の直後の子音に対する聴感的な感度が継時マスキングにより低下していても、その子音の振幅は本来の大きさよりも大きくなっているので、その感度の低下は相殺されることになり、その子音を含む音声の明瞭度が向上する。
【００１９】
図２〜図４は、検出回路２３および制御回路２４が、検出信号Ｓ22から制御信号Ｓ24を形成する方法の一形態を示す。すなわち、この場合には、図１に示した回路の全部がデジタル化され、例えばＤＳＰにより構成される。そして、音声信号Ｓ11はもとの処理前のアナログ音声信号をＡ／Ｄ変換したデジタル音声信号とされる。
【００２０】
そして、検出回路２３および制御回路２４においては、デジタル音声信号Ｓ11の１サンプルごとに、図２の処理ルーチン１００が実行される。このルーチン１００においては、アンプ１２の利得を変更するとき、音声信号Ｓ12のレベルが不連続にならないようにするため、例えば図５に示すように、次第に変化するようにしている。
【００２１】
また、ルーチン１００および以下の説明において、各変数の意味は以下のとおりである。
【００２２】
0004005166.tif 000002
【００２３】
そして、ルーチン１００においては、まず、ステップ１０１において、e(i)＜threshold であるかどうかをチェックすることにより第ｉ番目のサンプルに音声が存在しないかどうかが判別され、信号Ｓ11が存在しないとき（e(i)＜threshold のとき）には、処理はステップ１０２に進む。そして、ステップ１０２において、enable＝“１”であるかどうかをチェックすることにより１つ前のサンプルである第(i-1) 番目のサンプルに音声が存在していたかどうかが判別され、１つ前のサンプルに音声が存在していたとき（enable＝“１”のとき）には、処理はステップ１０３に進む。
【００２４】
したがって、処理がステップ１０３に進むのは、連続する２つのサンプルのうち、前のサンプルには音声が存在し、かつ、後ろのサンプルには音声が存在しないときであり、これは連続した音声が終了したときである。つまり、連続した音声の終了が検出されたときである。
【００２５】
そこで、ステップ１０３において、次の第(i+1) 番目のサンプルに備えてenable＝“０”とされるとともに、jj＝０とされ、第ｉ番目のサンプルについての処理を終了する。
【００２６】
また、ステップ１０２において、１つ前のサンプルに信号Ｓ11が存在していないとき（enable＝“０”のとき）には、処理はステップ１１１に進み、jj＜slope1であるかどうかをチェックすることによりサンプル時点が期間Ｔ1 に含まれるかどうかが判別され、含まれるとき（jj＜slope1のとき）には、処理はステップ１１２に進む。つまり、期間Ｔ1 には、処理はステップ１１２に進む。
【００２７】
そして、このステップ１１２において、アンプ１２の利得が１ステップ分だけ大きくされる。また、変数jjが「１」だけインクリメントされる。そして、これで第ｉ番目のサンプルについての処理を終了する。
【００２８】
さらに、ステップ１１１において、サンプル時点が期間Ｔ1 に含まれないとき（jj≧slope1のとき）には、処理はステップ１２１に進む。つまり、期間Ｔ1 を過ぎているときには、処理はステップ１２１に進む。
【００２９】
そして、このステップ１２１において、jj≧slope1、かつ、jj＜(slope1 ＋slope2) であるかどうかをチェックすることによりサンプル時点が期間Ｔ2 に含まれるかどうかが判別され、含まれるとき（jj≧slope1、かつ、jj＜(slope1 ＋slope2) のとき）には、処理はステップ１２２に進む。つまり、期間Ｔ2 には、処理はステップ１２２に進む。
【００３０】
そして、このステップ１２２において、アンプ１２の利得が１ステップ分だけ小さくされる。また、変数jjが「１」だけインクリメントされる。そして、これで第ｉ番目のサンプルについての処理を終了する。
【００３１】
さらに、ステップ１２１において、サンプル時点が期間Ｔ2 を過ぎているとき（jj≧(slope1 ＋slope2) のとき）には、アンプ１２の利得の変更などをしないで、第ｉ番目のサンプルについての処理を終了する。
【００３２】
こうして、以上の処理によれば、連続していた音声が終了すると、これが検出され、図３に示すように、アンプ１２の利得が制御される。
【００３３】
そして、ルーチン１００においては、さらに、アンプ１２の利得を大きくしたときに、音声レベルのピーク値が極端に大きくなることを防ぐため、ピーク値に上限を設けている。また、ルーチン１００においては、第２のしきい値は、音声の連続ごとに設定するとともに、音声レベルが第１のしきい値を越えてから音声レベルのピークを見つけ、そのピーク値の数％〜数十％の値に設定している。
【００３４】
すなわち、ステップ１０１において、音声が存在するとき（e(i)≧threshold のとき）には、処理はステップ１３１に進む。そして、このステップ１３１において、enable＝“０”であるかどうかをチェックすることにより１つ前のサンプルである第(i-1) 番目のサンプルに音声が存在していないかどうかが判別され、１つ前のサンプルに音声が存在していないとき（enable＝“０”のとき）には、処理はステップ１４１に進む。
【００３５】
この場合、処理がステップ１４１に進むのは、ステップ１０１およびステップ１３１を通じてであるから、これは、連続する２つのサンプルのうち、前のサンプルに音声が存在しなくて後ろのサンプルに音声が存在する場合であり、つまり、音声が開始されたときである。
【００３６】
そこで、ステップ１４１において、e(i)＞voiceminであるかどうかをチェックすることにより音声が開始されたかどうかの確認が取られ、開始されているとき（e(i)＞voiceminのとき）には、処理はステップ１４２に進み、レベルe(i)が上限値peakmax を越えているかどうかが判別される。そして、越えていないとき（e(i)≦peakmax のとき）には、処理はステップ１４３に進み、ピーク値peakがレベルe(i)に設定され、その後、処理はステップ１４５に進む。
【００３７】
また、ステップ１４２において、レベルe(i)が上限値peakmax を越えているとき（e(i)＞peakmax のとき）には、処理はステップ１４４に進み、ピーク値peakが上限値peakmax に設定され、その後、処理はステップは１４５に進む。
【００３８】
そして、ステップ１４５においては、ステップ１４３あるいはステップ１４４で設定されたピーク値peakにしたがって、第２のしきい値threshold が、threshold ＝peak×rateで示される値に設定されるとともに、次の第(i+1) 番目のサンプルに備えてenable＝“１”とされ、その後、ステップ１６１に進む。
【００３９】
さらに、ステップ１４１において、音声が開始されていないとき（e(i)≦voiceminのとき）には、処理はステップ１４１からそのままステップ１６１に進み、ピーク値peakおよびフラグenableは設定されない。
【００４０】
こうして、音声が開始されたときには、その開始時のレベルに対応して第２のしきい値threshold が設定される。
【００４１】
一方、ステップ１３１において、１つ前のサンプルに音声が存在していたとき（enable＝“１”のとき）には、処理はステップ１５１に進む。この場合、処理がステップ１５１に進むのは、ステップ１０１およびステップ１３１を通じてであるから、これは、連続する２つのサンプルの両方に音声が存在するときであり、音声が連続しているときである。つまり、音声が連続している期間のときである。
【００４２】
そこで、ステップ１５１において、第ｉ番目のサンプルのレベルe(i)がそれまでのピーク値peakと比較され、レベルe(i)のほうが大きいとき（e(i)＞peakのとき）には、処理はステップ１５１からステップ１５２に進み、レベルe(i)が上限値peakmax を越えているかどうかが判別される。そして、越えていないとき（e(i)＜peakmax のとき）には、処理はステップ１５３に進み、ピーク値peakがレベルe(i)に更新され、その後、処理はステップ１５５に進む。
【００４３】
また、ステップ１５２において、レベルe(i)が上限値peakmax を越えているとき（e(i)＜peakmax のとき）には、処理はステップ１５４に進み、ピーク値peakが上限値peakmax に更新され、その後、処理はステップは１５５に進む。
【００４４】
そして、ステップ１５５においては、ステップ１５３あるいはステップ１５４で更新されたピーク値peakにしたがって、第２のしきい値threshold が、threshold ＝peak×rateで示される値に更新され、その後、ステップ１６１に進む。
【００４５】
さらに、ステップ１５１において、それまでのピーク値peakのほうが大きいとき（e(i)≦peakのとき）には、処理はステップ１５１からそのままステップ１６１に進み、ピーク値peakは更新されない。
【００４６】
こうして、音声が連続しているときには、その連続期間におけるピーク値peakが見つけられるとともに、そのピーク値peakにしたがって第２のしきい値threshold が更新される。
【００４７】
そして、処理がステップ１６１に進むと、jj＞０、かつ、jj＜slope1であるかどうかをチェックすることによりサンプル時点が期間Ｔ1 に含まれるかどうかが判別され、含まれるとき（jj＞０、かつ、jj＜slope1のとき）には、処理はステップ１６２に進む。つまり、期間Ｔ1 には、処理はステップ１６２に進む。
【００４８】
そして、このステップ１６２において、アンプ１２の利得が１ステップ分だけ大きくされる。また、変数jjが「１」だけインクリメントされる。そして、これで第ｉ番目のサンプルについての処理を終了する。
【００４９】
さらに、ステップ１６１において、サンプル時点が期間Ｔ1 に含まれないとき（jj≧slope1のとき）には、処理はステップ１７１に進む。つまり、期間Ｔ1 を過ぎたときには、処理はステップ１７１に進む。
【００５０】
そして、このステップ１７１において、jj≧slope1、かつ、jj＜(slope1 ＋slope2) であるかどうかをチェックすることによりサンプル時点が期間Ｔ2 に含まれるかどうかが判別され、含まれるとき（jj≧slope1、かつ、jj＜(slope1 ＋slope2) のとき）には、処理はステップ１７２に進む。つまり、期間Ｔ2 には、処理はステップ１７２に進む。
【００５１】
そして、このステップ１７２において、アンプ１２の利得が１ステップ分だけ小さくされる。また、変数jjが「１」だけインクリメントされる。そして、これで第ｉ番目のサンプルについての処理を終了する。
【００５２】
さらに、ステップ１７１において、サンプル時点が期間Ｔ2 を過ぎているとき（jj≧(slope1 ＋slope2) のとき）には、処理はステップ１８１に進み、変数jjが「０」に初期化され、これで第ｉ番目のサンプルについての処理を終了する。
【００５３】
以上の処理により、連続する音声の終了点を起点として十数ｍ秒〜数十ｍ秒の期間、音声信号Ｓ11の振幅が大きくされるので、その連続する音声（音声信号Ｓ11）の直後の子音に対する聴感的な感度が継時マスキングにより低下していても、その感度の低下は、信号Ｓ11の振幅の増大により相殺されることになり、その子音を含む音声の明瞭度が向上する。
【００５４】
図６は、音声波形の観測結果を示すもので、図６Ａはルーチン１００による処理を行っていない音声信号Ｓ11の波形、図６Ｂはルーチン１００による処理を行った音声信号Ｓ12の波形である。また、このときの発声内容は、「１行目に書いてください」である。
【００５５】
そして、矢印Ａ、Ｅ、Ｆにより示すように、連続する音声の終了点から次の子音までの時間間隔が短いときには、その子音に対する継時マスキングが大きいが、その子音の振幅は拡大されて強調されている。また、矢印Ｂ、Ｃ、Ｄにより示すように、次の子音までの時間間隔が長いときには、継時マスキングは小さいが、これに対応して子音の振幅は強調されていない。
【００５６】
したがって、上述の処理回路によれば、音声を残響やエコーなどのある系で伝送あるいは再生するとき、あるいは難聴者や老人が音声を聞くとき、以下のような効果を得ることができる。
１．次に発声される子音への継時マスキングが軽減されるように、その子音だけを強調しているので、音声がはっきりし、明瞭度を改善できる。
２．常に音声の高域を強調すると、音色のバランスが崩れたような不快感を伴うが、継時マスキングが起きているときのみ子音を強調するので、そのような不快感がない。
３．原理的に即時処理ができるので、発声者の口の動きと処理音との間に時間差の生じることがない。また、イヤホンからマイクロフォンへの音響的フィードバックがあっても、残響音のような音にはならないので、聞きやすい。
４．語音の知覚判断にとって重要な音声成分の変化速度や、語音のまとまりとしての情報および過渡的な変化部分の情報が失われない。
【００５７】
なお、上述において、継時マスキングによるマスキング量は、妨害音として作用する音声部分（連続する音声区間）のレベルおよび継続時間と、連続する音声部分の終了点からの時間によって変化するが、もとの音声信号Ｓ11の振幅が制御される期間およびその大きさを、継時マスキングのマスキング量にあわせて加減することもでき、マスキング量が大きいときには、振幅およびその制御期間を大きくすればよい。
【００５８】
また、上述においては、可変利得アンプ１２において、音声信号Ｓ11の全帯域について振幅を大きくしているが、子音に対応する高域だけ振幅を大きくしてもよい。
【００５９】
【発明の効果】
この発明によれば、音声がはっきりし、明瞭度を改善できる。また、常に音声の高域を強調するときのような不快感がない。さらに、発声者の口の動きと処理音との間に時間差の生じることがない。
【００６０】
また、イヤホンからマイクロフォンへの音響的フィードバックがあっても、残響音のようにならず、聞きやすい。さらに、語音の知覚判断などに有効な情報が損なわれない。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明の一形態の一部を示すフローチャートである。
【図３】図２の続きを示すフローチャートである。
【図４】図３の続きを示すフローチャートである。
【図５】この発明を説明するための図である。
【図６】この発明を説明するための図である。
【符号の説明】
１２…可変利得アンプ、２１…バンドパスフィルタ、２２…レベル検出回路、２３…終了点検出回路、２４…利得制御回路、１００…処理ルーチン
【図１】
0004005166.tif 000003
【図２】
0004005166.tif 000004
【図３】
0004005166.tif 000005
【図４】
0004005166.tif 000006
【図５】
0004005166.tif 000007
【図６】
0004005166.tif 000008