(57)【要約】【課題】ボイススイッチが作動している間の背景雑音が遠端話者を不快にさせてしまうことを防止する。【解決手段】音声信号処理装置１０は、遠端話者発話を検出する遠端話者発話検出部１１と、近端話者発話を検出する近端話者発話検出部１２と、遠端話者発話検出部１１及び近端話者発話検出部１２の検出結果に基づいて、遠端話者及び近端話者がともに無発話状態であることを判定するＯＲ回路１３と、ＯＲ回路１３が前記無発話状態と判定したとき新たに背景雑音信号を記憶し、ＯＲ回路１３が前記無発話状態でないと判定したとき前記記憶した背景雑音信号を保持するリングバッファ１６と、近端話者からの音声信号及び背景雑音信号のレベルを制御する第１のアッテネータ１７と、リングバッファ１６に記憶された背景雑音信号のレベルを制御する第２のアッテネータ１８と、第１及び第２のアッテネータ１７，１８からの出力信号を加算する加算器１９とを備える。【選択図】図１
2005051761.tif 000002
【特許請求の範囲】
【請求項１】
遠端話者からの音声信号を入力し、当該遠端話者からの音声信号に基づいて、前記遠端話者が発話状態か無発話状態かを判定する遠端話者発話検出手段と、
近端話者からの音声信号を入力し、当該近端話者からの音声信号に基づいて、前記近端話者が発話状態か無発話状態かを判定する近端話者発話検出手段と、
前記遠端話者発話検出手段及び前記近端話者発話検出手段の判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定手段と、
背景雑音を入力する背景雑音記憶手段と、
を備え、
前記背景雑音記憶手段は、
前記近端話者からの背景雑音信号を入力し、前記無発話状態判定手段が前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶し、前記無発話状態判定手段が前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには記憶されている背景雑音信号をそのまま保持することを特徴とする音声信号処理装置。
【請求項２】
前記近端話者からの音声信号を入力し、その音声信号のレベルを制御する第１の減衰手段と、
前記雑音記憶手段に記憶又は保持された背景雑音信号を入力し、当該入力された背景雑音信号のレベルを制御する第２の減衰手段と、
前記第１の減衰手段からの出力信号及び第２の減衰手段からの出力信号を加算する加算手段と、
を備えたことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記遠端話者発話検出手段は、前記遠端話者の音声信号のレベルが小さいときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが大きいときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくすることを特徴とする請求項２に記載の音声信号処理装置。
【請求項４】
前記遠端話者発話検出手段は、前記遠端話者の音声信号のレベルが小さく、かつ発話時間が短いときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが小さく、かつ発話時間が長いときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくすることを特徴とする請求項２に記載の音声信号処理装置。
【請求項５】
前記第１の減衰手段の前段にエコーキャンセラを備えたことを特徴とする請求項２に記載の音声信号処理装置。
【請求項６】
遠端話者が発話状態か無発話状態かを判定するとともに、近端話者が発話状態か無発話状態かを判定する発話判定工程と、
前記発話判定工程での判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定工程と、
前記無発話状態判定工程で前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶手段に記憶し、前記無発話状態判定工程で前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには前記記憶されていた背景雑音信号を前記記憶手段にそのまま保持する雑音記憶工程と、
外部入力された前記近端話者からの音声信号及び背景雑音信号のレベルを制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを制御する減衰工程と、
前記減衰工程でレベル制御され、前記外部入力された音声信号からなる信号と、前記減衰工程でレベル制御され、前記記憶手段で記憶又は保持された背景雑音信号からなる信号とを加算する加算工程と、
を有することを特徴とする音声信号処理方法。
【請求項７】
前記減衰工程では、外部入力された前記近端話者からの音声信号のレベルを第１の減衰手段により制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを第２の減衰手段により制御しており、
前記遠端話者の音声信号のレベルが小さいときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが大きいときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくすることを特徴とする請求項６に記載の音声信号処理方法。
【請求項８】
前記減衰工程では、外部入力された前記近端話者からの音声信号のレベルを第１の減衰手段により制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを第２の減衰手段により制御しており、
前記遠端話者の音声信号のレベルが小さく、かつ発話時間が短いときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが小さく、かつ発話時間が長いときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくすることを特徴とする請求項６に記載の音声信号処理方法。
【請求項９】
遠端話者が発話状態か無発話状態かを判定するとともに、近端話者が発話状態か無発話状態かを判定する発話判定工程と、
前記発話判定工程での判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定工程と、
前記無発話状態判定工程で前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶手段に記憶し、前記無発話状態判定工程で前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには記憶されている背景雑音信号を前記記憶手段にそのまま保持する雑音記憶工程と、
外部入力された前記近端話者からの音声信号及び背景雑音信号のレベルを制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを制御する減衰工程と、
前記減衰工程でレベル制御され、前記外部入力された音声信号からなる信号と、前記減衰工程でレベル制御され、前記記憶手段で記憶又は保持された背景雑音信号からなる信号とを加算する加算工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相手話者からの音声がスピーカからマイクにまわり込んで発生するエコーをキャンセルする音声信号処理装置、音声信号処理方法及びプログラムに関する。
【背景技術】
【０００２】
ハンズフリー通話を行う際、電話使用者（以下、近端話者という。）は、電話のスピーカから出力された相手話者（以下、遠端話者という。）の声を聞く。一方、近端話者の声は、マイクで拾われて、電話回線に載せて遠端話者の端末に送られる。このとき、スピーカからの音声（遠端話者の音声）がマイクにまわり込み、遠端話者は自己が発した音声をいくらかの遅延の後に聞くことになる。このとき、遠端話者は不快に感じる。この現象はエコーと呼ばれるものである。このようなエコーを抑制する方法として、エコーキャンセラやボイススイッチが用いられている。ここで、ボイススイッチを用いた、エコーを抑制する装置について説明する。
【０００３】
そのような装置として、遠端話者からの音声入力（音声受信）を検出する話者検出器と、話者検出器が遠端話者の発話（音声入力）を検出した場合、その発話（音声入力）期間だけマイクから入力された音声を、ある固定されたレベルまで減衰させる二値減衰器（アッテネータ）とを備える装置がある。ここで、二値減衰器が前記ボイススイッチを構成している。なお、ボイススイッチの他に二値減衰器としてセンタクリッパがある。
【０００４】
このような構成により、遠端話者が発話している間、マイクから入力された遠端話者の音声が二値減衰器（アッテネータ）で減衰されるので、エコーが抑制されるようなる。
このような構成では、遠端話者が発話していない場合、すなわちボイススイッチが作動していない場合、遠端話者は、近端話者の背景雑音を含めて近端話者の発話を聞くことになる。しかし、遠端話者が発話した場合、ボイススイッチが作動することで、エコーが抑制されるとともに、近端話者の背景雑音も減衰されてしまう。この場合、急に静かになることで、遠端話者は、電話が切れたのではないかと勘違いしてしまう等、不快に感じるようになる。
【０００５】
ここで、このような事態を解消する装置として、マイクから入力された音声信号から所定の音声帯域を削除するフィルタを通過させて、背景雑音（走行雑音も含む、以下同じ。）を取り出し、その取り出した背景雑音をボイススイッチの作動時に遠端話者に送信している装置がある。ここで、マイクと前記フィルタとの間にエコーキャンセラを設けているものもあり、この場合、当該フィルタには、エコーキャンセラから残留エコーからなる音声信号が入力される（例えば特許文献１参照）。
【０００６】
また、擬似的な雑音を発生させる発生器を備えて、その発生器で得た擬似的な雑音をボイススイッチの作動時に遠端話者に送信している装置もある。ここで、擬似的な雑音は、快適雑音（コンフォート・ノイズ）と呼ばれるものである。
このような装置構成とすれば、ボイススイッチの作動時でも、背景雑音が遠端話者に聞こえないので、電話が切れたのではないかと勘違いしてしまうこともなく、不快に感じさせることもない。
【特許文献１】特開平３−１７１９２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、前記フィルタを備えた装置では、フィルタ処理で取り出した背景雑音成分が変
形してしまう場合がある。すなわち、背景雑音は、ロードノイズ、風切り音、エンジン音等のように広い音声帯域の音声成分からなるものであり、このようなことから、このような背景雑音をフィルタ処理で所定の音声帯域を取り出すようにしてしまうと、その取り出した背景雑音は変形したものとなってしまう。さらに、ボイススイッチが二値減衰器である場合、スイッチ感が出てしまう。これでは、やはり遠端話者を不快に感じさせてしまう。
【０００８】
また、前記発生器を備えた装置では、発生器により発生させる擬似的な雑音が、必ずしもその環境に合致した背景雑音になっているとも言いがたい。これでは、やはり遠端話者を不快に感じさせてしまう。
ところで、話者検出器が遠端話者の発話を検出している限り、ボイススイッチは作動する。しかし、話者検出器が、エコーが発生しないような小さいレベルの遠端話者の発話を検出するような場合、小声の相槌程度にもボイススイッチが作動してしまう。これでは、ボイススイッチが最適に作動しているとは言い難く、遠端話者は、この相槌の間になされた近端話者の発話を聞き取れなくなってしまう。
【０００９】
そこで、本発明は、前述の問題に鑑みてなされたものであり、ボイススイッチが作動している間の背景雑音が遠端話者を不快にさせてしまうことを防止すること、さらには、ボイススイッチを最適に作動することができる音声信号処理装置、音声信号処理方法及びプログラムの提供を目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明に係る音声信号処理装置は、遠端話者からの音声信号を入力し、当該遠端話者からの音声信号に基づいて、前記遠端話者が発話状態か無発話状態かを判定する遠端話者発話検出手段と、近端話者からの音声信号を入力し、当該近端話者からの音声信号に基づいて、前記近端話者が発話状態か無発話状態かを判定する近端話者発話検出手段と、前記遠端話者発話検出手段及び前記近端話者発話検出手段の判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定手段と、背景雑音を入力する背景雑音記憶手段と、を備える。
【００１１】
そして、背景雑音記憶手段は、前記近端話者からの背景雑音信号を入力し、前記無発話状態判定手段が前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶し、前記無発話状態判定手段が前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには記憶されている背景雑音信号をそのまま保持する。
【００１２】
また、請求項２に記載の発明に係る音声信号処理装置は、請求項１に記載の発明に係る音声信号処理装置において、前記近端話者からの音声信号を入力し、その音声信号のレベルを制御する第１の減衰手段と、前記雑音記憶手段に記憶又は保持された背景雑音信号を入力し、当該入力された背景雑音信号のレベルを制御する第２の減衰手段と、前記第１の減衰手段からの出力信号及び第２の減衰手段からの出力信号を加算する加算手段と、を備える。
ここで、前記背景雑音記憶手段、第１の減衰手段、第２の減衰手段及び加算手段は、ボイススイッチを構成している。
【００１３】
また、請求項３に記載の発明に係る音声信号処理装置は、請求項２に記載の発明に係る音声信号処理装置において、前記遠端話者発話検出手段が、前記遠端話者の音声信号のレベルが小さいときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが大きいときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくする。
【００１４】
また、請求項４に記載の発明に係る音声信号処理装置は、請求項２に記載の発明に係る音声信号処理装置において、前記遠端話者発話検出手段が、前記遠端話者の音声信号のレベルが小さく、かつ発話時間が短いときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが小さく、かつ発話時間が長いときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくする。
また、請求項５に記載の発明に係る音声信号処理装置は、請求項２に記載の発明に係る音声信号処理装置において、前記第１の減衰手段の前段にエコーキャンセラを備える。
【００１５】
また、請求項６に記載の発明に係る音声信号処理方法は、遠端話者が発話状態か無発話状態かを判定するとともに、近端話者が発話状態か無発話状態かを判定する発話判定工程と、前記発話判定工程での判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定工程と、前記無発話状態判定工程で前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶手段に記憶し、前記無発話状態判定工程で前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには前記記憶されていた背景雑音信号を前記記憶手段にそのまま保持する雑音記憶工程と、外部入力された前記近端話者からの音声信号及び背景雑音信号のレベルを制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを制御する減衰工程と、前記減衰工程でレベル制御され、前記外部入力された音声信号からなる信号と、前記減衰工程でレベル制御され、前記記憶手段で記憶又は保持された背景雑音信号からなる信号とを加算する加算工程と、を有する。
【００１６】
また、請求項７に記載の発明に係る音声信号処理方法は、請求項６に記載の発明に係る音声信号処理方法において、前記減衰工程では、外部入力された前記近端話者からの音声信号のレベルを第１の減衰手段により制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを第２の減衰手段により制御しており、前記遠端話者の音声信号のレベルが小さいときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが大きいときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくする。
【００１７】
また、請求項８に記載の発明に係る音声信号処理方法は、請求項６に記載の発明に係る音声信号処理方法において、前記減衰工程では、外部入力された前記近端話者からの音声信号のレベルを第１の減衰手段により制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを第２の減衰手段により制御しており、前記遠端話者の音声信号のレベルが小さく、かつ発話時間が短いときは前記第１の減衰手段での減衰量を小さくするとともに前記第２の減衰手段での減衰量を大きくし、前記遠端話者の音声信号のレベルが小さく、かつ発話時間が長いときは前記第１の減衰手段での減衰量を大きくするとともに前記第２の減衰手段での減衰量を小さくする。
【００１８】
また、請求項９に記載の発明に係るプログラムは、遠端話者が発話状態か無発話状態かを判定するとともに、近端話者が発話状態か無発話状態かを判定する発話判定工程と、前記発話判定工程での判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定工程と、前記無発話状態判定工程で前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶手段に記憶し、前記無発話状態判定工程で前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには記憶されている背景雑音信号を前記記憶手段にそのまま保持する雑音記憶工程と、外部入力された前記近端話者からの音声信号及び背景雑音信号のレベルを制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを制御する減衰工程と、前記減衰工程でレベル制御され、前記外部入力された音声信号からなる信号と、前記減衰工程でレベル制御され、前記記憶手段で記憶又は保持された背景雑音信号からなる信号とを加算する加算工程と、をコンピュータに実行させる。
【発明の効果】
【００１９】
本発明によれば、ボイススイッチが作動している間の背景雑音が遠端話者を不快にさせてしまうことを防止すること、さらには、ボイススイッチを最適に作動することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
第１の実施の形態は、本発明を適用した音声信号処理装置である。図１は、その音声信号処理装置１０の構成を示す。本実施の形態の音声信号処理装置１０は、ハンズフリー通話機能を備えた携帯電話装置に搭載されている。
図１に示すように、音声信号処理装置１０は、遠端話者発話検出部１１、近端話者発話検出部１２、ＯＲ回路１３、エコーキャンセラ１４、スイッチ１５、リングバッファ１６、第１及び第２のアッテネータ１７，１８及び加算器１９を備えている。
【００２１】
携帯電話装置は、携帯電話装置が受信した音声信号をスピーカ１から出力する。このとき、遠端話者発話検出部１１は、携帯電話装置が受信した音声信号中から遠端話者の音声信号を検出する。遠端話者発話検出部１１は、遠端話者の音声信号の検出結果を遠端話者音検出フラグＦＥＳ＿ＤＥＴとして、ＯＲ回路１３に出力する。ここで、遠端話者発話検出部１１は、遠端話者の音声信号を検出した場合、すなわち遠端話者が発話した場合、遠端話者音検出フラグＦＥＳ＿ＤＥＴを“１”にして、遠端話者の音声信号を検出できない場合、すなわち遠端話者が発話していない場合、遠端話者音検出フラグＦＥＳ＿ＤＥＴを“０”にする。
【００２２】
また、遠端話者発話検出部１１は、第１及び第２のアッテネータ１７，１８にＶＡＤ（Voice Activity Detection）信号を出力する。ここで、ＶＡＤ信号は、音声パワー或いは音圧レベルを示す信号であり、０．０から１．０の間で無段階で変化する信号である。後述するように、第１及び第２のアッテネータ１７，１８は、このＶＡＤ信号に基づいて減衰量を調整する。
【００２３】
一方、マイク２に入力された音声信号は、エコーキャンセラ１４に入力される。エコーキャンセラ１４では、入力された音声信号のエコーを除去する。
ここで、マイク２に入力された音声信号は、近端話者の音声信号、その近端話者の背景雑音からなる音声信号である。また、近端話者が発話していない場合、マイク２に入力された音声信号は、近端話者の背景雑音からなる音声信号だけになる。また、遠端話者が発話している場合、マイク２に入力された音声信号は、スピーカ１から回り込んでくる当該遠端話者の音声信号である。因みに、遠端話者が大きな声を出して発話していれば、マイク２には、それに応じた大きさの音声信号がスピーカ１から回り込んで入力される。
【００２４】
このエコーキャンセラ１４でエコーが除去された音声信号は、近端話者発話検出部１２、スイッチ１５及び第１のアッテネータ１７に入力される。
近端話者発話検出部１２は、マイク２に入力された音声信号中から近端話者の音声信号を検出する。近端話者発話検出部１２は、近端話者の音声信号の検出結果を近端話者音検出フラグＮＥＳ＿ＤＥＴとして、ＯＲ回路１３に出力する。ここで、近端話者発話検出部１２は、近端話者の音声信号を検出した場合、すなわち近端話者が発話した場合、近端話者音検出フラグＮＥＳ＿ＤＥＴを“１”にして、近端話者の音声信号を検出できない場合、すなわち近端話者が発話していない場合、近端話者音検出フラグＮＥＳ＿ＤＥＴを“０”にする。
【００２５】
ＯＲ回路１３は、遠端話者発話検出部１１が出力した遠端話者音検出フラグＦＥＳ＿ＤＥＴ又は近端話者発話検出部１２が出力した近端話者音検出フラグＮＥＳ＿ＤＥＴのうちの少なくとも一方が“１”の場合、書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬとして“１”をスイッチ１５に出力し、それ以外は書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬとして“０”をスイッチ１５に出力する。
【００２６】
スイッチ１５は、ＯＲ回路１３からの書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“０”の場合、すなわち遠端話者も近端話者も発話していない場合、閉となり、スイッチ１５は、ＯＲ回路１３からの書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“１”の場合、すなわち遠端話者又は近端話者のいずれか一方が発話している場合、開となる。スイッチ１５が閉となった場合、マイク２に入力された音声信号、すなわち遠端話者も近端話者も発話していない場合のマイク２への音声信号が、リングバッファ１６に入力される。ここで、遠端話者も近端話者も発話していない場合のマイク２への音声信号とは、近端話者の背景雑音からなる音声信号である。
【００２７】
リングバッファ１６には、アドレスｔ−０００〜ｔ−９９９のデータ領域に次々でデータを書き込まれる。このリングバッファ１６では、アドレスｔ−０００に書き込み（Ｗｒｉｔｅ）ポインタがあり、アドレスｔ−００１に読み出し（Ｒｅａｄ）ポインタがある。これにより、リングバッファ１６は、サンプリング毎（例えば１／８０００秒毎）に書き込み（Ｗｒｉｔｅ）ポインタがあるアドレスｔ−０００のデータ領域にデータを書き込んでいく。そして、このようにアドレスｔ−０００のデータ領域に書き込まれたデータは、サンプリング時間経時毎に次のアドレスのデータ領域にずれていく。すなわち、アドレスｔ−０００のデータ領域に書き込まれたデータは、アドレスｔ−００１以降のデータ領域にずれていき、最終的に９９９サンプル後に、アドレスｔ−９９９のデータ領域に移動する。アドレスｔ−００１には読み出し（Ｒｅａｄ）ポインタがあるので、このアドレスｔ−００１のデータ領域のデータがサンプリング時間毎に後段の第２のアッテネータ１８に出力される。
【００２８】
ここで、スイッチ１５の開閉動作に応じたリングバッファ１６へのデータ書き込みは次のようになる。
スイッチ１５が閉の場合、すなわちＯＲ回路１３から書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“０”の場合、マイク２からの音声信号（音声データ）がアドレスｔ−０００のデータ領域に書き込まれる。ここで、書き込まれる音声信号（音声データ）は、近端話者の背景雑音からなる音声信号（音声データ）である。一方、スイッチ１５が開の場合、すなわちＯＲ回路１３の出力が“１”の場合、アドレスｔ−９９９のデータ領域のデータがアドレスｔ−０００のデータ領域に書き込まれる。すなわち、すでにリングバッファ１６に記憶されていた音声信号がそのまま保持される。
【００２９】
第１のアッテネータ１７は、マイク２からの信号がエコーキャンセラ１４を介して直接入力されている。第１のアッテネータ１７は、この音声信号を減衰させる。具体的には、第１のアッテネータ１７は、入力された音声信号Ｓ１から下記（１）式により新たな音声信号Ｓ１を得て、音声信号の減衰を行う。
Ｓ１＝Ｓ１×（１．０−ａ×ＶＡＤ）  ・・・（１）
ここで、ａは係数である。この係数ａは、０よりも大きく、１以下である（０＜ａ≦１）。例えばこの係数を調整することで、減衰し過ぎないようにすることができる。
【００３０】
エコーキャンセラが前段に挿入されている場合、ボイススイッチをそれほど大きく効かせる必要はない。例えば、エコーキャンセラの性能が良く、その性能が平均して−３５ｄＢのエコー減衰能力があるとき、通常、人間の聴感は−４０ｄＢ以上減衰していれば、経験上エコーを感じない。そのため、ボイススイッチでは、あと−５ｄＢ程度減衰させれば良いことになる。ボイススイッチであと−６ｄＢ減衰させることにすると、エコーキャンセル後の音声を１／２にすれば良いことになる。そこで、エコーキャンセル後の音声を（１−（０．５×ＶＡＤ））倍すれば、エコーが最大になるＶＡＤ＝１．０のときでも、−４１（＝−３５−６）ｄＢ減衰させることができる。このとき、ボイススイッチをあまり深く使用すると、違和感（トランシーバのような半２重性）があるので、１．０以下の範囲でできるだけ小さい値で使用した方が好ましい。
【００３１】
逆に、エコーキャンセラが前段に挿入されていない場合や、エコーキャンセラが前段に挿入されている場合であっても、マイクの性能が良くないときや、エコーキャンセラ自体の性能が良くないときは、ボイススイッチを大きく効かせる必要がある。このとき係数ａは、１に近い値をとるのが好ましい。
これにより、第１の減衰手段を構成する第１のアッテネータ１７は、遠端話者の音声信号のレベルが小さいとき減衰量が小さくなり、遠端話者の音声信号のレベルが大きいとき減衰量が大きくなる。
【００３２】
一方、第２のアッテネータ１８は、リングバッファ１６からの音声信号（背景雑音の
音声信号）を減衰させる。具体的には、第２のアッテネータ１８は、入力された音声信号Ｓ２から下記（２）式により新たな音声信号Ｓ２を得て、音声信号の減衰を行う。
Ｓ２＝Ｓ２×ａ×ＶＡＤ  ・・・（２）
これにより、第２の減衰手段を構成する第２のアッテネータ１８は、遠端話者の音声信号のレベルが小さいとき減衰量が大きくなり、遠端話者の音声信号のレベルが大きいとき減衰量が小さくなる。
このようにして第１のアッテネータ１７及び第２のアッテネータ１８で得た音声信号Ｓ１，Ｓ２は加算器１９に入力される。
加算器１９では第１のアッテネータ１７からの音声信号Ｓ１と第２のアッテネータ１８からの音声信号Ｓ２とを加算して出力する。ここで、加算された音声信号は遠端話者の電話装置に送信される。
【００３３】
音声信号処理装置１０は以上のように構成されている。この音声信号処理装置１０による一連の信号処理を、図２を用いて説明する。
今、図２中（Ａ）に示すように、遠端話者の音声信号が入力されているとする。さらに、追って近端話者が発話したとする。この場合、マイク２には、図２中（Ｂ）に示すように、その遠端話者の音声信号Ｍ１と、その後に近端話者の音声信号Ｍ２とが入力される。これにより、遠端話者発話検出部１１は、図２中（Ｃ）に示すように、入力された遠端話者の音声信号Ｍ１に対応してＶＡＤ信号を出力する。ここで、ＶＡＤ信号は、遠端話者の音声信号Ｍ１のレベルに応じて、０．０から１．０の間で変化する。また、遠端話者発話検出部１１は、その遠端話者が発話中、図２中（Ｄ）に示すように、“１”の遠端話者音検出フラグＦＥＳ＿ＤＥＴをＯＲ回路１３に出力する。
【００３４】
一方、近端話者発話検出部１２は、図２中（Ｅ）に示すように、マイク２に入力された近端話者の音声信号Ｍ２に対応して“１”の遠端話者音検出フラグＮＥＳ＿ＤＥＴをＯＲ回路１３に出力する。
ＯＲ回路１３は、遠端話者音検出フラグＦＥＳ＿ＤＥＴが“１”の期間中、又は近端話者音検出フラグＮＥＳ＿ＤＥＴが“１”の期間中、スイッチ１５に“１”の書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬを出力する。また、ＯＲ回路１３は、遠端話者音検出フラグＦＥＳ＿ＤＥＴが“０”の期間中であり、かつ近端話者音検出フラグＮＥＳ＿ＤＥＴが“０”の期間中、スイッチ１５に“０”の書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬを出力する。スイッチ１５では、この書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬに応じて開閉する。
【００３５】
これにより、リングバッファ１６には、図２中（Ｇ）に示すように、書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“０”の期間中だけ、すなわち遠端話者も近端話者も無発話状態の期間中だけ、マイク２からの音声信号（音声データ）が書き込まれる。ここで、書き込まれる音声信号（音声データ）は、近端話者の背景雑音からなる音声信号（音声データ）である。
【００３６】
一方、リングバッファ１６には、書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“１”の期間中（図２中（Ｇ）においてＸ１，Ｘ２期間中）はマイク２からの音声信号（音声データ）が書き込まれることなく、アドレスｔ−９９９のデータ領域の音声信号（音声データ）がアドレスｔ−０００のデータ領域に書き込まれる。
この結果、図２中（Ｈ）に示すように、リングバッファ１６は、近端話者の背景雑音（走行雑音を含む。）からなる音声信号（音声データ）を常に第２のアッテネータ１８に出力する。第２のアッテネータ１８は、図２中（Ｉ）に示すように、リングバッファ１６からの近端話者の背景雑音からなる音声信号を減衰して加算器１９に出力する。
【００３７】
ここで、第２のアッテネータ１８では、遠端話者の音声の音声パワー或いは音圧レベルに応じて０．０〜１．０の間で変化するＶＡＤ信号により近端話者の背景雑音からなる音
声信号を調整しているので（前記（２）式参照）、当該第２のアッテネータ１８の出力は、遠端話者の発話の開始と終了に対応して、徐々に大きくなり、そして、徐々に小さくなる。
【００３８】
一方、第１のアッテネータ１７では、図２中（Ｊ）に示すように、マイク２からの音声信号中で遠端話者の音声信号が含まれている領域部分（図２中（Ｊ）においてＸ３の領域部分）を減衰させる。マイク２には、遠端話者の音声信号が入力されている期間中、近端話者の背景雑音の音声信号も入力されているので、第１のアッテネータ１７では、遠端話者の音声信号とともに近端話者の背景雑音の音声信号も減衰させる。なお、従来では、このように、遠端話者の音声信号とともに近端話者の背景雑音の音声信号も減衰させていたので、遠端話者に不快感を与えていたのである。
【００３９】
なお、ここで、第１のアッテネータ１７では、遠端話者の音声の音声パワー或いは音圧レベルに応じて０．０〜１．０の間で変化するＶＡＤ信号により音声信号を調整しているので（前記（１）式参照）、当該第１のアッテネータ１７の出力は、遠端話者の発話の開始と終了に対応して、徐々に小さくなり、そして、徐々に大きくなる。
加算器１９では、図２中（Ｋ）に示すように、第１のアッテネータ１７からの音声信号に、第２のアッテネータからの音声信号を加算、すなわち重畳させる。これにより、遠端話者が発話期間中（図２中（Ｋ）においてＸ４の期間中）でも、近端話者の背景雑音の音声信号が、遠端話者への音声信号中に含まれて出力される。
【００４０】
なお、例えば、ＶＡＤ＝０．３５とし、係数ａを１．０とした場合、第１のアッテネータ１７では、音声信号が×０．７５で調整（減衰）され、第２のアッテネータ１８では、音声信号が×０．３５で調整（減衰）される。加算器１９は、このように調整された音声信号同士を重畳することになる。
また、マイク２に入力された近端話者の音声信号Ｍ２については、第１のアッテネータ１７で減衰されることなく、遠端話者側に出力される。
【００４１】
次に第１の実施の形態における効果を説明する。
前述したように、随時データが書き込み可能なメモリとしてリングバッファ１６を備えており、遠端話者も近端話者も無発話状態の期間中、マイク２から入力されている音声信号をそのリングバッファ１６に随時記憶している。そして、遠端話者発話検出部１１が遠端話者の発話を検出した場合に、第１のアッテネータ１７で減衰された音声信号に、そのリングバッファ１６に記憶しておいた音声信号を重畳させ、その音声信号を遠端話者の電話装置に送信している。
【００４２】
ここで、遠端話者も近端話者も無発話状態の期間中に、マイク２が拾う音声は、背景雑音のみである。よって、リングバッファ１６に記憶されていく音声信号は、背景雑音の音声信号だけである。このようなことから、実際の近端話者の背景雑音と極めて相関の高い最新の音声信号が、第１のアッテネータ１７で減衰された音声信号に重畳されるので、背景雑音が遠端話者に聞こえなくなってしまったり、或いは変形された背景雑音が聞こえてしまうようなことを防止でき、これにより、遠端話者に違和感を与えてしまうことを防止できる。
【００４３】
また、前述したように、遠端話者発話検出部１１で音声パワー或いは音圧レベルを示すＶＡＤ信号を得ており、第２のアッテネータ１８は、このＶＡＤ信号に基づいて、リングバッファ１６から出力される背景雑音の音声信号を減衰させている。ここで、ＶＡＤ信号は、遠端話者の音声の音声パワー或いは音圧レベルに応じて０．０から１．０の間で無段階で変化する信号とされているので、リングバッファ１６から出力される背景雑音の音声信号は、遠端話者の音声の音声パワー或いは音圧レベルに応じて断続的に変化するように
なる。このようにすることで、背景雑音が遠端話者に与える違和感を更に低減することができ、遠端話者の不快感を改善することができる。
【００４４】
また、前述したように、第１のアッテネータ１７は、ＶＡＤ信号に基づいて、リングバッファ１６から出力される背景雑音の音声信号を減衰させている。ここで、ＶＡＤ信号は、先に説明したように、遠端話者の音声の音声パワー或いは音圧レベルに応じて０．０から１．０の間で無段階で変化する信号である。また、遠端話者の音が小さい場合、ＶＡＤ信号はそれに応じて小さい値をとる。そして、この場合、第１のアッテネータ１７による減衰レベル（減衰量）は小さくなる。
【００４５】
このようなことから、相槌のように小さい声で遠端話者が発話した場合、ＶＡＤ信号が小さくなり、第１のアッテネータ１７による減衰レベル（減衰量）が小さくなる。この結果、遠端話者が相槌のように小さい声で発話した場合に、近端話者が発話した場合でも、減衰レベルが抑えられるので、遠端話者が近端話者の発話を聞き漏らすことを防止することができる。
【００４６】
次に第２の実施の形態を説明する。第２の実施の形態は、前述の第１の実施の形態と同様に、本発明を適用した音声信号処理装置である。この第２の実施の形態の音声信号処理装置は、図３に示すように、前述の第１の実施の形態が備えるスイッチ１５及びリングバッファ１６に換えて、セレクタ２１及びＦＩＦＯ（First-InFirst-Out）メモリ２２を備えている。この第２の実施の形態の音声信号処理装置１０は、前述の第１の実施の形態と同様に、ハンズフリー通話機能を備えた携帯電話装置に搭載されている。ここで、第２の実施の形態の音声信号処理装置１０の構成部分において、第１の実施の形態の音声信号処理装置１０と同様な構成部分については同一番号を付し、その説明は省略する。
【００４７】
セレクタ２１には、ＦＩＦＯメモリ２２から第２のアッテネータ１８に出力された背景雑音の音声信号及びエコーキャンセラ１４からの音声信号が入力されている。そして、セレクタ２１には、ＯＲ回路１３はからの書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが入力されており、セレクタ２１は、この書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬに基づいて、前記２つの音声信号のうちから一の音声信号を選択して、その選択した音声信号をＦＩＦＯメモリ２２に出力している。
【００４８】
具体的には、セレクタ２１は、書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“０”の場合、すなわち遠端話者も近端話者も発話していない場合、エコーキャンセラ１４からの音声信号をＦＩＦＯメモリ２２に出力している。また、セレクタ２１は、書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“１”の場合、すなわち遠端話者又は近端話者のいずれか一方が発話している場合、ＦＩＦＯメモリ２２から第２のアッテネータ１８に出力された背景雑音の音声信号をＦＩＦＯメモリ２２に出力している。
【００４９】
ＦＩＦＯメモリ２２では、セレクタ２１からの音声信号を順次記憶していき、記憶が古い順に、音声信号を第２のアッテネータ１８に出力している。よって、書き込み制御信号ＷＲＩＴＥ＿ＣＴＲＬが“１”の場合にセレクタ２１がＦＩＦＯメモリ２２に出力する音声信号は一番古い音声信号になる。
第２の実施の形態の音声信号処理装置１０では、以上のようにセレクタ２１及びＦＩＦＯメモリ２２を備えている。
【００５０】
このような構成にすることで、ＦＩＦＯメモリ２２から背景雑音の音声信号を読み出すだけで、当該背景雑音の音声信号を第２のアッテネータ１８に出力するとともに、必要に応じてＦＩＦＯメモリ２２にその背景雑音の音声信号をフィードバックできるようになる
。このように一の読み出し命令で同時に２つの処理が可能になるので、処理或いはプログラムを効率化することができる。
以上、本発明の実施の形態について説明した。しかし、本発明は、前述の実施の形態として実現されることに限定されるものではない。
【００５１】
すなわち、前述の実施の形態では、遠端話者の音声パワー或いは音圧レベルを示すＶＡＤ信号、すなわち遠端話者の音声信号のレベルに基づいて第１のアッテネータ１７及び第２のアッテネータ１８を制御している。これに限定されないことはいうまでもない。すなわち、遠端話者の発話時間に基づいて第１のアッテネータ１７及び第２のアッテネータ１８を制御することもできる。具体的には、遠端話者発話検出部１１で遠端話者の音声信号から遠端話者の発話時間を得る。そして、この遠端話者の発話時間が短いときには、第１のアッテネータ１７では、減衰量を小さくし、すなわち減衰レベルを小さくし、第２のアッテネータ１８では、減衰量を大きくし、すなわち減衰レベルを大きくする。また、遠端話者の発話時間が長いときには、第１のアッテネータ１７では、減衰量を大きくし、すなわち減衰レベルを大きくし、第２のアッテネータ１８では、減衰量を小さくし、すなわち減衰レベルを小さくする。
【００５２】
これにより例えば、遠端話者が相槌のように単発な声を出した場合には、第１のアッテネータ１７による減衰レベル（減衰量）が小さくなるので、この結果、遠端話者が相槌のように小さい声の場合において近端話者が発話したときでも、減衰レベルが抑えられるので、遠端話者が近端話者の発話を聞き漏らすことを防止することができる。
また、前述の実施の形態では、音声信号処理装置１０がエコーキャンセラ１４を備えた場合を説明しているが、音声信号処理装置１０がエコーキャンセラ１４を備えることに限定されるものではない。
また、前述の第１の実施の形態では、リングバッファ１６のアドレスｔ−００１に読み出し（Ｒｅａｄ）ポインタをおいている。しかし、これに限定されないことはいうまでもない。すなわち、他のアドレスに読み出し（Ｒｅａｄ）ポインタをおいてもよい。
【００５３】
例えば、アドレスｔ−９９９に読み出し（Ｒｅａｄ）ポインタをおいてもよい。例えば、長いバッファ（アドレスが多いバッファ）を使用すると更新に時間がかかるので、前述の第１の実施の形態のように、書き込み（Ｗｒｉｔｅ）ポインタがあるアドレスｔ−０００の直近（アドレスｔ−００１）に読み出し（Ｒｅａｄ）ポインタをおくのが好ましい。これにより、リングバッファ１６の更新処理に影響されることなく、リングバッファ１６から背景雑音を取り出して、第２のアッテネータ１８に出力できるようになる。例えば、リングバッファ１６の更新処理に影響されて、リングバッファ１６からの背景雑音を取り出しが遅れてしまうと、結果的に、加算器１９における背景雑音の重畳が間に合わなくなり、遠端話者を不快にさせてしまう。しかし、リングバッファ１６の更新処理に影響されなければ、すばやくリングバッファ１６から背景雑音を取り出せるので、そのような事態を回避することができる。
このようなことから、読み出し（Ｒｅａｄ）ポインタは、データ更新応答速度（バッファ処理速度）を考慮して決定するのが好ましい。
【００５４】
また、前述の第１の実施の形態のように、全ての時間でアドレス（ｔ−００１）から読み出す場合が好ましい場合もあるが、読み出しアドレスを浮動（１／ｆ揺らぎ、乱数等）として揺らぎを持たせても良い。アドレスをｔ−０００〜ｔ−ｘｘｘの間で、定期的に変更して、同じバッファの内容が繰り返し再生されることによる不快感を低減できる。このとき、「定期的」を余り小さな値とすると、背景音と音質的に異なったものになるので、例えばバッファ１／４の周分の時間（２５０サンプル）毎に読み出しアドレスを浮動変更すると良い。
【００５５】
なお、前述の実施の形態の説明において、遠端話者発話検出部１１は、遠端話者からの音声信号を入力し、当該遠端話者からの音声信号に基づいて、前記遠端話者が発話状態か無発話状態かを判定する遠端話者発話検出手段を構成しており、遠端話者発話検出部１２は、近端話者からの音声信号を入力し、当該近端話者からの音声信号に基づいて、前記近端話者が発話状態か無発話状態かを判定する近端話者発話検出手段を構成しており、ＯＲ回路１３は、前記遠端話者発話検出手段及び前記近端話者発話検出手段の判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定手段を構成しており、リングバッファ１６又はＦＩＦＯメモリ２２は、背景雑音を入力する背景雑音記憶手段を構成している。すなわち、リングバッファ１６又はＦＩＦＯメモリ２２は、前記近端話者からの背景雑音信号を入力し、前記無発話状態判定手段が前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶し、前記無発話状態判定手段が前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには記憶されている背景雑音信号をそのまま保持する。
【００５６】
また、前述の実施の形態では、遠端話者が発話状態か無発話状態かを判定するとともに、前記近端話者が発話状態か無発話状態かを判定する発話判定工程と、前記発話判定工程での判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定工程と、前記無発話状態判定工程で前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶手段に記憶し、前記無発話状態判定工程で前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには前記記憶されていた背景雑音信号を前記記憶手段にそのまま保持する雑音記憶工程と、外部入力された前記近端話者からの音声信号及び背景雑音信号のレベルを制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを制御する減衰工程と、前記減衰工程でレベル制御され、前記外部入力された音声信号からなる信号と、前記減衰工程でレベル制御され、前記記憶手段で記憶又は保持された背景雑音信号からなる信号とを加算する加算工程と、を有する音声信号処理方法が実現されている。
【００５７】
また、前述の実施の形態の処理内容をプログラムにより実現することもできる。この場合、前述の実施の形態において実行されている処理は、遠端話者が発話状態か無発話状態かを判定するとともに、前記近端話者が発話状態か無発話状態かを判定する発話判定工程と、前記発話判定工程での判定結果に基づいて、前記遠端話者及び前記近端話者の無発話状態を判定する無発話状態判定工程と、前記無発話状態判定工程で前記遠端話者及び前記近端話者がともに無発話状態であると判定したときにはそのときの背景雑音信号を記憶手段に記憶し、前記無発話状態判定工程で前記遠端話者又は前記近端話者のうちのいずれか一方が発話状態であると判定したときには記憶されている背景雑音信号を前記記憶手段にそのまま保持する雑音記憶工程と、外部入力された前記近端話者からの音声信号及び背景雑音信号のレベルを制御するとともに、前記記憶手段で記憶又は保持された背景雑音信号のレベルを制御する減衰工程と、前記減衰工程でレベル制御され、前記外部入力された音声信号からなる信号と、前記減衰工程でレベル制御され、前記記憶手段で記憶又は保持された背景雑音信号からなる信号とを加算する加算工程と、をコンピュータに実行させるプログラムにより実現されている処理になる。
【図面の簡単な説明】
【００５８】
【図１】本発明の第１の実施の形態の音声信号処理装置の構成を示すブロック図である。
【図２】前記音声信号処理装置の各構成部の処理の説明に使用した信号を示す図である。
【図３】本発明の第２の実施の形態の音声信号処理装置の構成を示すブロック図である。
【符号の説明】
【００５９】
１０  音声信号処理装置
１１  遠端話者発話検出部
１２  近端話者発話検出部
１３  ＯＲ回路
１４  エコーキャンセラ
１５  スイッチ
１６  リングバッファ
１７  第１のアッテネータ
１８  第２のアッテネータ
１９  加算器
２１  セレクタ
２２  ＦＩＦＯメモリ
【図１】
2005051761.tif 000003
【図２】
2005051761.tif 000004
【図３】
2005051761.tif 000005