(57)【要約】  【課題】  音響信号の処理時間の短縮化を図ることができる音響処理装置を提供すること。  【解決手段】  第１音響信号を入力する音響信号入力手段１１と、第１音響信号を第１音響に変換して出力するスピーカー１２と、第２音響を入力して第２音響信号を出力するマイクロホン１３と、第２音響信号から音響エコー成分を低減した第３音響信号を出力するエコーキャンセラ手段１４と、第３音響信号を時系列に記憶する音響信号記憶手段１５と、第３音響信号から音声成分を検出する発声検出手段１６と、第３音響信号の所定の信号を第４音響信号として出力する処理信号出力手段１８と、発声検出手段１６が音声成分を検出したとき、処理信号出力手段１８が第４音響信号を出力するよう制御する信号出力制御手段１７とを備える構成とすることにより、音響信号の処理時間の短縮化を図るようにした。【選択図】  図１
2005084253.tif 000002
【特許請求の範囲】
【請求項１】
第１音響信号を入力する音響信号入力手段と、
前記第１音響信号を音に変換して空間に出力するスピーカーと、
空間の音を収音して第２音響信号として出力するマイクロホンと、
前記第１音響信号及び前記第２音響信号に基づき、前記第２音響信号から前記第２音響信号に含まれる前記第１音響信号の成分を表す音響エコー成分を低減した第３音響信号を出力するエコーキャンセラ手段と、
前記第３音響信号を時系列に記憶する音響信号記憶手段と、
前記第３音響信号から利用者が発声した音声成分を検出する発声検出手段と、
前記音響信号記憶手段によって記憶された前記第３音響信号に含まれる所定の時刻以降の信号を第４音響信号として出力する処理信号出力手段と、
前記発声検出手段によって前記音声成分が検出されたとき、前記処理信号出力手段が前記第４音響信号を出力するよう制御する信号出力制御手段とを備えたことを特徴とする音響処理装置。
【請求項２】
前記発声検出手段は、前記第１音響信号及び前記第３音響信号に基づいて前記音声成分を検出することを特徴とする請求項１に記載の音響処理装置。
【請求項３】
前記発声検出手段は、前記第２音響信号及び前記第３音響信号に基づいて前記音声成分を検出することを特徴とする請求項１に記載の音響処理装置。
【請求項４】
前記発声検出手段は、前記第１音響信号、前記第２音響信号及び前記第３音響信号に基づいて前記音声成分を検出することを特徴とする請求項１に記載の音響処理装置。
【請求項５】
前記スピーカーから出力される前記音の音量を制御する音量制御手段を備え、前記発声検出手段は、前記音の音量に基づいて前記音声成分を検出することを特徴とする請求項１から請求項４までのいずれかに記載の音響処理装置。
【請求項６】
前記利用者が発声するタイミングを検出する発声検出補助手段を備え、前記発声検出手段は、前記発声検出補助手段によって検出された前記タイミングに基づいて前記音声成分を検出することを特徴とする請求項１から請求項５までのいずれかに記載の音響処理装置。
【請求項７】
前記マイクロホンは複数のマイクロホン素子を含み、前記複数のマイクロホン素子によって入力された前記利用者の音声の音声信号を制御するマイクロホン入力制御手段を備え、前記発声検出手段は、前記マイクロホン入力制御手段によって制御された前記利用者の音声の音声信号に基づいて前記音声成分を検出することを特徴とする請求項１から請求項６までのいずれかに記載の音響処理装置。
【請求項８】
前記エコーキャンセラ手段によって出力された前記第３音響信号に含まれる騒音信号成分を抑圧する騒音抑圧手段を備え、前記発声検出手段は、前記騒音抑圧手段の出力に基づいて前記音声成分を検出することを特徴とする請求項１から請求項７までのいずれかに記載の音響処理装置。
【請求項９】
通信路を介し、前記音響信号入力手段に入力する信号の受信及び前記第４音響信号の送信を制御する通信制御手段を備えたことを特徴とする請求項１から請求項８までのいずれかに記載の音響処理装置。
【請求項１０】
通信路を介し、前記第１音響信号を前記スピーカーに送信するとともに、前記マイクロホンによって出力される前記第２音響信号を前記エコーキャンセラ手段に送信する通信制御手段を備えたことを特徴とする請求項１から請求項９までのいずれかに記載の音響処理装置。
【請求項１１】
前記エコーキャンセラ手段は、前記第１音響信号及び前記第２音響信号に基づき、前記スピーカーから出力される前記音が伝達される前記スピーカーから前記マイクロホンまでの伝達経路の特性を推定し、前記伝達経路の特性に応じたフィルタ係数を出力する適応フィルタと、
前記第１音響信号を記憶する第１音響信号記憶手段と、
前記フィルタ係数に基づき、前記第１音響信号記憶手段によって記憶された前記第１音響信号の畳み込み処理を行う畳み込み手段と、
前記適応フィルタによって出力された前記フィルタ係数の安定性を判定し、前記フィルタ係数を前記畳み込み手段に転送する係数転送判定手段と、
前記第２音響信号を記憶する第２音響信号記憶手段とを備えたことを特徴とする請求項１から請求項１０までのいずれかに記載の音響処理装置。
【請求項１２】
前記発声検出手段は、前記フィルタ係数の収束状況に基づいて前記音声成分を検出することを特徴とする請求項１１に記載の音響処理装置。
【請求項１３】
前記エコーキャンセラ手段は、前記フィルタ係数の学習に必要な前記第１音響信号を記憶する第１学習用データ記憶手段と、
前記フィルタ係数の学習に必要な前記第２音響信号を記憶する第２学習用データ記憶手段と、
前記第１学習用データ記憶手段及び前記第２学習用データ記憶手段の記憶動作を制御する学習データ制御手段とを備えたことを特徴とする請求項１から請求項１２までのいずれかに記載の音響処理装置。
【請求項１４】
前記音響信号入力手段によって入力された前記第１音響信号は、オーディオ再生装置から出力されるオーディオ信号またはガイダンス再生装置から出力されるガイダンス音声信号を含むことを特徴とする請求項１から請求項１３までのいずれかに記載の音響処理装置。
【請求項１５】
前記処理信号出力手段は、前記第４音響信号を音声認識の処理を行う音声認識処理装置に出力することを特徴とする請求項１から請求項１４までのいずれかに記載の音響処理装置。
【請求項１６】
前記処理信号出力手段は、前記発声検出手段が前記音声成分を検出した際に出力する信号を前記音声認識処理装置に出力することを特徴とする請求項１５に記載の音響処理装置。
【請求項１７】
前記発声検出手段は、前記第３音響信号のパワーまたは信号レベルに基づいて前記音声成分を検出することを特徴とする請求項１から請求項１６までのいずれかに記載の音響処理装置。
【請求項１８】
前記発声検出手段は、前記第３音響信号の周波数分析結果及び周波数判定結果のいずれかに基づいて前記音声成分を検出することを特徴とする請求項１から請求項１７までのいずれかに記載の音響処理装置。
【請求項１９】
前記信号出力制御手段は、前記発声検出手段によって前記音声成分が検出された時刻から所定時間遡った時刻を前記処理信号出力手段によって出力される前記第４音響信号の開始時刻とすることを特徴とする請求項１から請求項１８までのいずれかに記載の音響処理装置。
【請求項２０】
前記発声検出手段は、前記利用者の発声が終了した発声終了時刻を検出し、前記信号出力制御手段は、前記発声終了時刻を前記処理信号出力手段によって出力される前記第４音響信号の終了時刻とすることを特徴とする請求項１から請求項１９までのいずれかに記載の音響処理装置。
【請求項２１】
前記発声検出手段は、予め設定された前記パワーまたは信号レベルの閾値に基づいて前記音声成分を検出することを特徴とする請求項１７から請求項２０までのいずれかに記載の音響処理装置。
【請求項２２】
前記閾値は、前記第３音響信号に含まれる騒音信号成分に応じて変化するよう設定されていることを特徴とする請求項２１に記載の音響処理装置。
【請求項２３】
前記閾値は、前記スピーカーから出力される前記音の有無に基づいて変化するよう設定されていることを特徴とする請求項２１に記載の音響処理装置。
【請求項２４】
前記閾値は、前記スピーカーから出力される前記音の出力時間に基づいて変化するよう設定されていることを特徴とする請求項２１に記載の音響処理装置。
【請求項２５】
前記第４音響信号によって電気機器を動作させることを特徴とする請求項１から請求項２４までのいずれかに記載の音響処理装置。
【請求項２６】
前記電気機器は、カーナビゲーションシステムであることを特徴とする請求項２５に記載の音響処理装置。
【請求項２７】
前記第４音響信号は、前記利用者の歌声の信号を含むことを特徴とする請求項１から請求項２６までのいずれかに記載の音響処理装置。
【請求項２８】
前記マイクロホンから出力された前記第２音響信号によって、ハードウェア及びソフトウェアの少なくとも一方により製作された擬似生命体と対話することを特徴とする請求項１から請求項２７までのいずれかに記載の音響処理装置。
【請求項２９】
請求項１から請求項２８までの音声処理装置を複数備え、各音声処理装置の前記スピーカーから出力された前記音のうち、前記マイクロホンに入力された成分を低減することを特徴とする音響処理システム。
【請求項３０】
前記音声処理装置はそれぞれ、通信路を介し、前記音響エコー成分を低減するための音響信号を送受信することを特徴とする請求項２９に記載の音響処理システム。
【請求項３１】
第１音響信号及び前記第２音響信号に基づき、前記第２音響信号から前記第２音響信号に含まれる前記第１音響信号の成分を表す音響エコー成分を低減した第３音響信号を時間情報と共に記憶し、前記第３音響信号に所定の音声成分が含まれているとき、前記第３音響信号に含まれる所定の時間範囲の信号を第４音響信号として出力することを特徴とする音響処理方法。
【請求項３２】
請求項３１に記載の音響処理方法をコンピュータに実行させるためのプログラム。
【請求項３３】
請求項３２に記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エコーキャンセラを利用した音響処理装置、方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
スピーカーから音（例えば、音声や音楽など）を出力する環境下で、マイクロホンから例えば音声を入力するシステムとしては、テレビ会議システムやハンズフリー通話システムなどがある。このようなシステムでは、スピーカーから出力される音響がマイクロホンに混入するという問題が発生する。このマイクロホンに混入する音を音響エコーと呼ぶ。この問題を解決する方法としては、エコーキャンセラの利用が一般的である。エコーキャンセラとは、スピーカーから出力される音が既知であることを利用し、スピーカーから出力される既知の音とマイクロホンに入力されるスピーカーからの音とから、マイクロホンから入力された音に混入した音響エコー成分を適応フィルタによって推定し、音響エコー成分をキャンセルする処理を行うものである。このエコーキャンセラを利用した音響処理装置は、広く用いられており、例えば非特許文献１や非特許文献２などに詳しく示されている。
【０００３】
一方、音声認識を利用した音声対話システムにおいても音響エコー成分の低減が求められている。例えば、カーナビゲーションシステムにおける音声対話システムでは、システム側から例えば「ご用はなんですか？」というガイダンス音声がスピーカーから出力され、それに対して利用者がマイクロホンで例えば「Ａ遊園地に行きたい。」と答えるようになっている。現在ある多くの音声対話システムでは、システムのガイダンス音声出力が終了した後に発声するように制約されている。しかしながら、利用者にとってはガイダンス音声が出力されている間でも、割り込んで発声することができれば便利である。このような割り込み発声を可能にする技術は、バージイン（Ｂａｒｇｅ−ｉｎ）と呼ばれ、音声対話システムで求められている技術となっている（例えば、非特許文献３参照）。
【０００４】
音声対話システムでバージインを実現する際に大きな課題となるのが、マイクロホンから入力された音にスピーカーから出力されたガイダンスの音声成分が音響エコー成分として含まれていると音声認識に悪影響を及ぼすことであり、通常はエコーキャンセラを利用して音響エコー成分を低減する。しかしながら、エコーキャンセラによって音響エコー成分を完全にキャンセルすることは困難である。
【０００５】
例えば、騒音環境下において音響エコー成分の推定精度が低下したり、音響エコーが伝達された経路（以下、音響エコー経路という。）の特性を推定する際に利用者の音声が重畳していたために誤った学習が行われたり、音響エコー経路の特性が時間とともに変化しているために推定誤差が生じたりするなどの問題により、キャンセルすべき音響エコー成分の引き残り信号（以下、残留エコーという。）が発生する。この残留エコーが音声認識や音声出力に与える影響を軽減するため、エコーキャンセラで処理した信号から利用者が発声した音声区間のみを取り出す技術の検討が行われている。また、利用者が発声している時間に適応フィルタに学習させると誤った学習となる問題への対策としては、利用者の音声の有無を検出して、学習及び更新を行うようにする検討も行われている。
【０００６】
前述のように、音声対話システムにおけるガイダンス音声を低減する技術、システム自身が出力している例えば音楽の信号をキャンセルする技術、音響エコー成分を取り除いて音声信号を出力する技術はこれまでにも検討が行われている。
【０００７】
例えば、特許文献１に記載の「音響信号記録再生装置」及び特許文献２に記載の「情報処理装置」においては、図３３に示すように、音響信号入力手段１と、スピーカー２と、マイクロホン３と、エコーキャンセラ手段４と、処理信号出力手段５とを備え、エコーキャンセラ手段４によって音響エコー成分が低減できるようになっている。
【０００８】
また、特許文献３に記載の「音声認識装置」においては、図３４に示すように、音響信号入力手段１と、スピーカー２と、マイクロホン３と、エコーキャンセラ手段４と、処理信号出力手段５と、音声区間検出手段６を備え、エコーキャンセラ手段４の入出力信号のレベル差から利用者の発声が存在するかどうかを判定し、音声区間検出手段６によって音声区間を切り出すことにより音響エコー成分が低減できるようになっている。
【０００９】
また、特許文献４に記載の「音声入力方式」においては、エコーキャンセラで処理した信号から音声部分のみを抽出して、再びスピーカーから出力することで、利用者に発声内容を確認させることができるようになっている。
【００１０】
また、特許文献５に記載の「音声対話システム」においては、背景騒音のパワーと適応フィルタで予測した音響エコー成分のパワーの特に継続時間を利用して利用者の発声検出を行い、音声区間のときにはそれ以前の適応フィルタの係数を使うように構成され、音声があるときのみ音声認識ができるようになっている。
【００１１】
また、特許文献６に記載の「音声処理装置および方法」においては、エコーキャンセラ処理した後の信号の時間情報及び周波数情報を利用し、利用者の発声を検出して適応フィルタの学習を行うタイミングが決定できるようになっている。
【００１２】
また、特許文献７に記載の「音声の重畳検出方法及び装置とその検出装置を利用する音声入出力装置」においては、音声出力部と音声音源信号入力手段のパワー又は対数パワーを使って利用者の発声を検出し、エコーキャンセラの学習に適したデータが得られるようになっている。
【特許文献１】特開平８−１０７３７５号公報（第４−５頁、第１図）
【特許文献２】特開平８−５１３８５号公報（第３−４頁、第１図）
【特許文献３】特開２００１−１３４２７５号公報（第３−４頁、第５図）
【特許文献４】特開２００１−９４３７０号公報（第３−４頁、第１図）
【特許文献５】特開平５−３２３９９３号公報（第３−４頁、第１図）
【特許文献６】特許第３２２９３３５号公報（第４頁、第２図）
【特許文献７】特開平７−２６４１０３号公報（第４頁、第１図）
【非特許文献１】電子情報通信学会（編）「音響システムとディジタル処理」pp.209-218、コロナ社、1995。
【非特許文献２】北脇信彦（編著）「ディジタル音声・オーディオ技術」オーム社、pp.221-257、1999。
【非特許文献３】北脇信彦（編著）「音のコミュニケーション工学」コロナ社、pp．128-130、1996。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、このような従来の音声処理装置では、例えば利用者の発声が終了するまで信号を出力することができなかったり、音響エコー成分を低減するためのアルゴリズムが不十分であったり、適応フィルタの係数が十分に収束しない状態で適応フィルタの係数を利用していたりするので、音響エコー成分を十分低減できず、また、エコーキャンセラで音響信号を処理してから出力するまでの時間の短縮化が図れないという問題があった。
【００１４】
本発明は、このような問題を解決するためになされたもので、マイクロホンが出力する信号から音響エコー成分をより効果的に低減するともに、エコーキャンセラで音響信号を処理してから出力するまでの時間の短縮化を図ることができる音響処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の音響処理装置は、第１音響信号を入力する音響信号入力手段と、前記第１音響信号を音に変換して空間に出力するスピーカーと、空間の音を収音して第２音響信号として出力するマイクロホンと、前記第１音響信号及び前記第２音響信号に基づき、前記第２音響信号から前記第２音響信号に含まれる前記第１音響信号の成分を表す音響エコー成分を低減した第３音響信号を出力するエコーキャンセラ手段と、前記第３音響信号を時系列に記憶する音響信号記憶手段と、前記第３音響信号から利用者が発声した音声成分を検出する発声検出手段と、前記音響信号記憶手段によって記憶された前記第３音響信号に含まれる所定の時刻以降の信号を第４音響信号として出力する処理信号出力手段と、前記発声検出手段によって前記音声成分が検出されたとき、前記処理信号出力手段が前記第４音響信号を出力するよう制御する信号出力制御手段とを備えたことを特徴とする構成を有している。
【００１６】
この構成により、発声検出手段は、第３音響信号から利用者が発声した音声成分を検出し、信号出力制御手段は、発声検出手段によって音声成分が検出されたとき、処理信号出力手段が第４音響信号を出力するよう制御するので、エコーキャンセラ手段で音響信号を処理してから出力するまでの時間の短縮化を図ることができる。
【００１７】
また、本発明の音響処理装置は、前記発声検出手段は、前記第１音響信号及び前記第３音響信号に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００１８】
この構成により、発声検出手段は、第３音響信号から利用者が発声した音声成分を高精度で検出することができる。
【００１９】
また、本発明の音響処理装置は、前記発声検出手段は、前記第２音響信号及び前記第３音響信号に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００２０】
この構成により、発声検出手段は、第２音響信号と第３音響信号との差を観測することができるので、第３音響信号から利用者が発声した音声成分を高精度で検出することができる。
【００２１】
また、本発明の音響処理装置は、前記発声検出手段は、前記第１音響信号、前記第２音響信号及び前記第３音響信号に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００２２】
この構成により、発声検出手段は、第１音響信号、第２音響信号及び第３音響信号に基づいて利用者が発声した音声成分を高精度で検出することができる。
【００２３】
また、本発明の音響処理装置は、前記スピーカーから出力される前記音の音量を制御する音量制御手段を備え、前記発声検出手段は、前記音の音量に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００２４】
この構成により、発声検出手段は、スピーカーから出力された音のレベルを反映させた発声検出を行うことができるので、利用者が発声した音声成分を高精度で検出することができる。
【００２５】
また、本発明の音響処理装置は、前記利用者が発声するタイミングを検出する発声検出補助手段を備え、前記発声検出手段は、前記発声検出補助手段によって検出された前記タイミングに基づいて前記音声成分を検出することを特徴とする構成を有している。
【００２６】
この構成により、発声検出補助手段は、利用者が発声するタイミングを検出するので、発声検出手段は、利用者が発声した音声成分を高精度で検出することができる。
【００２７】
また、本発明の音響処理装置は、前記マイクロホンは複数のマイクロホン素子を含み、前記複数のマイクロホン素子によって入力された前記利用者の音声の音声信号を制御するマイクロホン入力制御手段を備え、前記発声検出手段は、前記マイクロホン入力制御手段によって制御された前記利用者の音声の音声信号に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００２８】
この構成により、利用者が発声した音声のＳＮ比（信号対雑音比）を高くすることができると同時に、マイクロホンへ混入する音響エコーを少なくすることができ、発声検出精度をより高めることができるとともに、処理信号出力手段から出力される信号に含まれる残留エコーのレベルを低減することができる。
【００２９】
また、本発明の音響処理装置は、前記エコーキャンセラ手段によって出力された前記第３音響信号に含まれる騒音信号成分を抑圧する騒音抑圧手段を備え、前記発声検出手段は、前記騒音抑圧手段の出力に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００３０】
この構成により、騒音抑圧手段は、第３音響信号に含まれる騒音信号成分を抑圧するので、発声検出補助手段は、騒音の影響が低減された信号で発生検出を行うことができる。
【００３１】
また、本発明の音響処理装置は、通信路を介し、前記音響信号入力手段に入力する信号の受信及び前記第４音響信号の送信を制御する通信制御手段を備えたことを特徴とする構成を有している。
【００３２】
この構成により、ネットワークを介して音響信号の送受信が可能となり、ネットワークに接続されたシステムへの応用も可能となる。
【００３３】
また、本発明の音響処理装置は、通信路を介し、前記第１音響信号を前記スピーカーに送信するとともに、前記マイクロホンによって出力される前記第２音響信号を前記エコーキャンセラ手段に送信する通信制御手段を備えたことを特徴とする構成を有している。
【００３４】
この構成により、スピーカー及びマイクロホンと音響処理を行う手段が必ずしも同一のシステム内にある必要はなくなるため、スピーカーとマイクロホンを小型の装置に組み込み、エコーキャンセラ等の手段を大型の装置に組み込んで実行することも可能となる。
【００３５】
また、本発明の音響処理装置は、前記エコーキャンセラ手段は、前記第１音響信号及び前記第２音響信号に基づき、前記スピーカーから出力される前記音が伝達される前記スピーカーから前記マイクロホンまでの伝達経路の特性を推定し、前記伝達経路の特性に応じたフィルタ係数を出力する適応フィルタと、前記第１音響信号を記憶する第１音響信号記憶手段と、前記フィルタ係数に基づき、前記第１音響信号記憶手段によって記憶された前記第１音響信号の畳み込み処理を行う畳み込み手段と、前記適応フィルタによって出力された前記フィルタ係数の安定性を判定し、前記フィルタ係数を前記畳み込み手段に転送する係数転送判定手段と、前記第２音響信号を記憶する第２音響信号記憶手段とを備えたことを特徴とする構成を有している。
【００３６】
この構成により、適応フィルタで行うスピーカーからマイクロホンまでの音響エコー経路の特性の推定精度が高くなるまで第１音響信号記憶手段及び第２音響信号記憶手段に蓄えておくことが可能となり、精度よいエコーキャンセル処理を行うことが可能となると同時に、遅延時間の少ない状態で処理信号を出力することができる。
【００３７】
また、本発明の音響処理装置は、前記発声検出手段は、前記フィルタ係数の収束状況に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００３８】
この構成により、エコーキャンセル処理で処理された信号の精度を知ることが可能となるため、より高精度な発声検出を行うことができる。
【００３９】
また、本発明の音響処理装置は、前記エコーキャンセラ手段は、前記フィルタ係数の学習に必要な前記第１音響信号を記憶する第１学習用データ記憶手段と、前記フィルタ係数の学習に必要な前記第２音響信号を記憶する第２学習用データ記憶手段と、前記第１学習用データ記憶手段及び前記第２学習用データ記憶手段の記憶動作を制御する学習データ制御手段とを備えたことを特徴とする構成を有している。
【００４０】
この構成により、少ない学習データを利用して音響エコー経路の特性を学習することができる。
【００４１】
また、本発明の音響処理装置は、前記音響信号入力手段によって入力された前記第１音響信号は、オーディオ再生装置から出力されるオーディオ信号またはガイダンス再生装置から出力されるガイダンス音声信号を含むことを特徴とする構成を有している。
【００４２】
この構成により、スピーカーから出力した音楽やガイダンス音声などの音響信号の影響を低減して、精度よく利用者の音声成分を出力することができる。
【００４３】
また、本発明の音響処理装置は、前記処理信号出力手段は、前記第４音響信号を音声認識の処理を行う音声認識処理装置に出力することを特徴とする構成を有している。
【００４４】
この構成により、スピーカーから出力した信号の影響を受けずに音声認識を行うことが可能となり、性能の良い音声対話装置を実現することもできる。
【００４５】
また、本発明の音響処理装置は、前記処理信号出力手段は、前記発声検出手段が前記音声成分を検出した際に出力する信号を前記音声認識処理装置に出力することを特徴とする構成を有している。
【００４６】
この構成により、スピーカーから出力した信号の影響を小さくして音声認識を行うことができる。
【００４７】
また、本発明の音響処理装置は、前記発声検出手段は、前記第３音響信号のパワーまたは信号レベルに基づいて前記音声成分を検出することを特徴とする構成を有している。
【００４８】
この構成により、比較的観測しやすい例えば音響信号のパワーを用いて発声検出を行うことができ、あらかじめ設定した閾値と比較することによって発声検出を行うことができる。
【００４９】
また、本発明の音響処理装置は、前記発声検出手段は、前記第３音響信号の周波数分析結果及び周波数判定結果のいずれかに基づいて前記音声成分を検出することを特徴とする構成を有している。
【００５０】
この構成により、周波数分析によるスペクトルパターンや、調波構造の有無、音声の周期性、基本周波数の値、などを観測することができるため、音声の特徴に注目した発声検出を行うことができる。
【００５１】
また、本発明の音響処理装置は、前記信号出力制御手段は、前記発声検出手段によって前記音声成分が検出された時刻から所定時間遡った時刻を前記処理信号出力手段によって出力される前記第４音響信号の開始時刻とすることを特徴とする構成を有している。
【００５２】
この構成により、音響信号記憶手段で行う処理を一定時間出力を遅らせる遅延手段と同等の構成とすることが可能となり、より単純な構成となるほか、スピーカーから出力された音響信号の影響を低減して音声信号が含まれた部分の信号を出力できるように構成することができる。
【００５３】
また、本発明の音響処理装置は、前記発声検出手段は、前記利用者の発声が終了した発声終了時刻を検出し、前記信号出力制御手段は、前記発声終了時刻を前記処理信号出力手段によって出力される前記第４音響信号の終了時刻とすることを特徴とする構成を有している。
【００５４】
この構成により、音響処理方法から出力される信号を音声区間に絞った信号として処理することができる。
【００５５】
また、本発明の音響処理装置は、前記発声検出手段は、予め設定された前記パワーまたは信号レベルの閾値に基づいて前記音声成分を検出することを特徴とする構成を有している。
【００５６】
この構成により、利用者の発声検出を閾値との比較という単純な方法で実現することができる。
【００５７】
また、本発明の音響処理装置は、前記閾値は、前記第３音響信号に含まれる騒音信号成分に応じて変化するよう設定されていることを特徴とする構成を有している。
【００５８】
この構成により、利用者の発声検出を閾値で行う際に、騒音下における利用者の発声レベル上昇を考慮した閾値の設定を実現することができ、より高精度な発声検出を行うことができる。
【００５９】
また、本発明の音響処理装置は、前記閾値は、前記スピーカーから出力される前記音の有無に基づいて変化するよう設定されていることを特徴とする構成を有している。
【００６０】
この構成により、スピーカーから出力されている音の影響の程度を予測して、それを反映した閾値設定が可能となり、より高精度な発声検出を行うことができる。
【００６１】
また、本発明の音響処理装置は、前記閾値は、前記スピーカーから出力される前記音の出力時間に基づいて変化するよう設定されていることを特徴とする構成を有している。
【００６２】
この構成により、エコーキャンセラ手段によるスピーカーからの出力信号の低減効果を予測し、それを反映した閾値設定が可能となり、より高精度な発声検出を行うことができる。
【００６３】
また、本発明の音響処理装置は、前記第４音響信号によって電気機器を動作させることを特徴とする構成を有している。
【００６４】
この構成により、例えばテレビやオーディオ装置、空調機器などの様々な機器で本発明が提供する音響処理方法を組み込んだ装置を実現することができる。
【００６５】
また、本発明の音響処理装置は、前記電気機器は、カーナビゲーションシステムであることを特徴とする構成を有している。
【００６６】
この構成により、カーナビゲーションへの音声操作をスムーズに実現することができる。
【００６７】
また、本発明の音響処理装置は、前記第４音響信号は、前記利用者の歌声の信号を含むことを特徴とする構成を有している。
【００６８】
この構成により、利用者が歌った音楽の信号を抽出することができる。
【００６９】
また、本発明の音響処理装置は、前記マイクロホンから出力された前記第２音響信号によって、ハードウェア及びソフトウェアの少なくとも一方により製作された擬似生命体と対話することを特徴とする構成を有している。
【００７０】
この構成により、ロボットまたは擬人化されたキャラクタと対話ができるシステムを実現することができる。
【００７１】
本発明の音響処理システムは、音声処理装置を複数備え、各音声処理装置の前記スピーカーから出力された前記音のうち、前記マイクロホンに入力された成分を低減することを特徴とする構成を有している。
【００７２】
この構成により、近くにある２つの音響処理装置のスピーカーから出力される信号の情報を得ることができるため、より効果的なエコーキャンセル部処理を行うことができる。
【００７３】
また、本発明の音響処理システムは、前記音声処理装置はそれぞれ、通信路を介し、前記音響エコー成分を低減するための音響信号を送受信することを特徴とする構成を有している。
【００７４】
この構成により、物理的に接続されていない近くにある２つの音響処理装置のスピーカーから出力される信号の情報を得ることができるため、より効果的なエコーキャンセル部処理を行うことができる。
【００７５】
本発明の音響処理方法は、第１音響信号及び前記第２音響信号に基づき、前記第２音響信号から前記第２音響信号に含まれる前記第１音響信号の成分を表す音響エコー成分を低減した第３音響信号を時間情報と共に記憶し、前記第３音響信号に所定の音声成分が含まれているとき、前記第３音響信号に含まれる所定の時間範囲の信号を第４音響信号として出力することを特徴とする方法である。
【００７６】
この方法により、音響エコー成分を低減した第３音響信号を時間情報と共に記憶した後、第３音響信号に利用者の音声成分が含まれているとき、第３音響信号に含まれる所定の時間範囲の信号を第４音響信号として出力することができる。
【００７７】
本発明のプログラムは、音響処理方法をコンピュータに実行させるためのプログラムである。
【００７８】
このプログラムにより、コンピュータは音響処理方法の各ステップを実行することとなる。
【００７９】
本発明の記憶媒体は、請求項３２に記載のプログラムを記憶した記憶媒体である。
【００８０】
この記憶媒体により、コンピュータに音響処理方法の各ステップを実行させることができる。
【発明の効果】
【００８１】
本発明は、第３音響信号から利用者が発声した音声成分を検出する発声検出手段と、発声検出手段によって音声成分が検出されたとき、処理信号出力手段が第４音響信号を出力するよう制御する信号出力制御手段とを設けることにより、エコーキャンセラ手段で音響信号を処理してから出力するまでの時間の短縮化を図ることができるという効果を有する音響処理装置を提供することができるものである。
【発明を実施するための最良の形態】
【００８２】
以下、本発明の実施の形態について図面を用いて説明する。なお、各実施の形態の構成の説明において、既出の同様の構成には同一の符号を付し、その説明を省略する。また、動作の説明において、既出の同様の構成に係る動作の説明は省略する。
【００８３】
（第１の実施の形態）
まず、本発明の第１の実施の形態の音響処理装置の構成について説明する。
【００８４】
図１に示すように、本実施の形態の音響処理装置１０は、第１音響信号を入力する音響信号入力手段１１と、第１音響信号を第１音響に変換して出力するスピーカー１２と、第２音響を入力して第２音響信号を出力するマイクロホン１３と、第１音響信号及び第２音響信号に基づき、第２音響信号から第２音響信号に含まれる第１音響信号の成分を表す音響エコー成分を低減した第３音響信号を出力するエコーキャンセラ手段１４と、第３音響信号を時系列に記憶する音響信号記憶手段１５と、第３音響信号から利用者が発声した音声成分を検出する発声検出手段１６と、音響信号記憶手段１５によって記憶された第３音響信号に含まれる所定の時間区間の信号を第４音響信号として出力する処理信号出力手段１８と、発声検出手段１６によって音声成分が検出されたとき、処理信号出力手段１８が第４音響信号を出力するよう制御する信号出力制御手段１７とを備えている。
【００８５】
なお、前述の第１音響及び第２音響として、それぞれ、利用者に音声入力を促すガイダンス音声及び利用者の音声を挙げて以下説明する。
【００８６】
エコーキャンセラ手段１４は、例えば、図２または図３に示すように構成されている。
【００８７】
図２においてエコーキャンセラ手段１４は、ガイダンス音声信号及び利用者の音声信号に基づき、ガイダンス音声が出力されるスピーカー１２からマイクロホン１３までの伝達経路の特性を推定し、伝達経路の特性に応じたフィルタ係数を出力する適応フィルタ１９を備えている。
【００８８】
一方、図３においてエコーキャンセラ手段１４は、伝達経路の特性に応じたフィルタ係数を出力する適応フィルタ１９と、フィルタ係数に基づいてガイダンス音声信号の畳み込み処理を行う畳み込み手段２１と、適応フィルタ１９によって出力されたフィルタ係数の安定性を判定し、フィルタ係数が安定しているとき、フィルタ係数を畳み込み手段２１に転送する係数転送判定手段２０とを備えている。
【００８９】
次に、本実施の形態の音響処理装置１０の動作について説明する。
【００９０】
まず、音響信号入力手段１１によって、利用者の音声入力を促すガイダンス音声信号、例えば「どこに行きますか？」という音声信号が入力される。次いで、ガイダンス音声信号は、エコーキャンセラ手段１４に入力され、スピーカー１２によってガイダンス音声が空間へ出力される。
【００９１】
引き続き、マイクロホン１３によって、例えば「Ａ遊園地に行きたい。」というような利用者の音声が入力される。このとき、マイクロホン１３には、利用者が発声した音声のほかにスピーカー１２によって出力されたガイダンス音声も混入する。このガイダンス音声は音響エコーとなり、利用者の音声処理において妨害音となるため、エコーキャンセラ手段１４によってガイダンス音声をキャンセルする処理が行われる。
【００９２】
ここで、エコーキャンセラ手段１４によるガイダンス音声のキャンセル処理について、２つの例を挙げて以下説明する。
【００９３】
第１に、エコーキャンセラ手段１４が図２に示された構成の場合についてガイダンス音声のキャンセル処理を具体的に説明する。
【００９４】
音響信号入力手段１１によって入力されるガイダンス音声の時系列信号をｘ（ｉ）、このガイダンス音声ｘ（ｉ）がスピーカー１２からマイクロホン１３に混入した信号、すなわち音響エコーをｙ（ｉ）、利用者が発声した信号をｓ（ｉ）、背景騒音信号をｎ（ｉ）とすると、マイクロホン１３に入力される信号ｄ（ｉ）は、ｄ（ｉ）＝ｓ（ｉ）＋ｙ（ｉ）＋ｎ（ｉ）で表現される。
【００９５】
このとき、適応フィルタ１９ではｄ（ｉ）に含まれるガイダンス信号成分ｙ（ｉ）の推定値ｙｄ（ｉ）の計算を行い、エコーキャンセラ手段１４の処理としてｅ（ｉ）＝ｄ（ｉ）−ｙｄ（ｉ）を行う。こうしてマイクロホン１３から入力された信号ｄ（ｉ）に含まれるガイダンス音声成分をキャンセルした信号ｅ（ｉ）（第３音響信号）が得られ、音響信号記憶手段１５によって記憶される。
【００９６】
第２に、エコーキャンセラ手段１４が図３に示された構成の場合についてガイダンス音声のキャンセル処理を具体的に説明する。なお、図３に示された構成は、デュアルフィルタ構成と呼ばれるものである。このデュアルフィルタ構成のエコーキャンセラについては、例えば「デュアルフィルタ構成エコーキャンセラにおける係数転送方式について」（王、松井、寺田、中山著：日本音響学会講演論文集、3-p-10、pp.491-492、Oct. 1999）で説明されている。
【００９７】
図３に示すように、適応フィルタ１９で学習したフィルタ係数を係数転送判定手段２０に送り、係数転送判定手段２０でフィルタ係数の安定性を判定する。もし、フィルタ係数が安定した状態のものであると判定されれば、フィルタ係数を畳み込み手段２１に送ってエコーキャンセラ処理を行うようになっている。図３に示されたエコーキャンセラ手段１４における適応フィルタ１９のアルゴリズムについては、前述の非特許文献２や「適応フィルタ入門」（Ｓ．ヘイキン著、武部幹（訳）：現代工学社、1987）などに様々な手法が示されている。
【００９８】
前述のようなエコーキャンセラ処理を行う前後におけるｙ（ｉ）、ｓ（ｉ）、ｄ（ｉ）、ｅ（ｉ）の時間波形の例を図４に示す。なお、図４においては、エコーキャンセラ処理を分りやすくするため背景騒音ｎ（ｉ）がゼロである状態としている。また図４では、エコーキャンセラ処理後の信号の例として２種類示している。まず、図４（ｄ）に示されたｅ１（ｉ）は適応フィルタ１９のフィルタ係数が収束していないときの状態での出力例を表し、ガイダンス音声の引き残りが大きく存在している。一方、図４（ｅ）に示されたｅ２（ｉ）は適応フィルタ１９のフィルタ係数が収束しているときの出力例を表しており、ガイダンス音声が大幅にキャンセルされていることが示されている。なお、適応フィルタ１９における具体的な処理アルゴリズムの例は、前述の非特許文献２や「適応フィルタ入門」などに様々な手法が示されている。
【００９９】
前述のようにエコーキャンセラ手段１４から出力された信号ｅ（ｉ）は、一時的に音響信号記憶手段１５に蓄えられる。このとき同時に、エコーキャンセラ手段１４からの出力信号ｅ（ｉ）が発声検出手段１６に送られ、信号ｅ（ｉ）の中に利用者が発声した音声成分を検出する検出処理が行われる。この検出処理は例えば信号のパワーに基づいて行われ、信号ｅ（ｉ）の平均パワーＰ（ｉ）を観測しておき、パワーＰ（ｉ）が閾値ＴＨを越えたときｅ（ｉ）の中に利用者が発声した音声成分が含まれていると判断される。
【０１００】
ここで、発声検出手段１６による音声成分の検出処理の具体例を説明する。
【０１０１】
図５において、エコーキャンセラ処理後の信号ｅ（ｉ）には、ガイダンス音声の引き残りがあり、途中から利用者の発声音声が含まれている時間波形の例が示されている。図５の下部に示された発声音声の検出結果は、オフの状態でスタートし、音声があると判断された時刻以降でオンに変化する。
【０１０２】
図５に示されているように、通常は音声が始まってから少し遅れたタイミングで発声検出結果がオンになる。そこで、発声音声の検出結果がオフからオンに変わった瞬間の時刻をＴｏｎとし、時刻Ｔｏｎから時間Ｔｍだけ遡った時刻Ｔｓ以降の信号ｅ（ｉ）（第４音響信号）を出力するよう処理信号出力手段１８が信号出力制御手段１７によって制御される。
【０１０３】
したがって、音響信号記憶手段１５に蓄えられた信号から音響エコー成分を低減し、利用者が発声した音声成分を含んだ信号が処理信号出力手段１８を通じて出力される。
【０１０４】
以上のように、本実施の形態の音響処理装置１０によれば、利用者の発声の終了を検出してから信号を出力するようになっている従来の技術とは異なり、発声検出手段１６における発声検出結果がオンになったらすぐに信号出力を開始できる構成としたので、エコーキャンセラ処理をした信号を出力する時間を短縮することが可能となる。
【０１０５】
なお、本実施の形態で取り上げたエコーキャンセラ手段１４におけるエコーキャンセラ処理や、発声検出手段１６における音声成分の検出処理は一例であり、他の手法によって同等の処理を実現しても構わない。
【０１０６】
また、本実施の形態の第１の他の態様の音響処理装置３０を図６に示す。音響処理装置３０は、音楽などの再生を行うオーディオ再生手段３１と、処理信号出力手段１８から出力された音声信号を記録する音声記録手段３２とを備えている。この構成により、音声記録手段３２は、オーディオ再生手段３１からの音楽信号及び音響エコーが低減された利用者の音声信号、例えば利用者の歌声の信号を記録することができる。なお、図７は、音響処理装置３０のイメージを示したものである。利用者はスピーカー１２から出力される音楽に合わせ歌を歌い、歌声の信号は音声記録手段３２に記憶される。
【０１０７】
また、本実施の形態の第２の他の態様の音響処理装置４０を図８に示す。音響処理装置４０は、ガイダンス信号を再生するガイダンス再生手段４１と、処理信号出力手段１８から出力された音声信号に基づき音声認識を行う音声認識手段４２とを備えている。この構成により、図９及び図１０に示すような音声対話システムを構築する場合、エコーキャンセラ処理をした信号を出力する時間が短縮できること及びエコーキャンセラ処理が確実にできることを生かして、自然なやり取りができる対話システムを実現することができる。図９及び図１０においてモニタ４３に現れるアニメーションキャラクタはソフトウェアで制作された擬似生命体の一例であり、利用者は、人間同士が対話するような感覚でアニメーションキャラクタと対話し、例えば情報の検索、記録等を行うことができる。
【０１０８】
（第２の実施の形態）
まず、本発明の第２の実施の形態の音響処理装置の構成について説明する。
【０１０９】
図１１に示すように、本実施の形態の音響処理装置５０の構成は、本発明の第１の実施の形態の音響処理装置１０に対し、発声検出手段１６が、エコーキャンセラ手段１４の出力信号と音響信号入力手段１１の出力信号とに基づき、利用者が発声した音声成分の検出処理を行う点が異なっている。
【０１１０】
発声検出手段１６は、音響信号入力手段１１から出力された信号がスピーカー１２を通じて出力される信号のレベルの変化、周波数特性、発声内容などの情報を得ることができるようになっている。したがって、利用者の発声検出を高精度で行うことが可能になる。例えば、音響信号入力手段１１からガイダンス音声が出力されていると判断できるときには、発声検出するための閾値を高めに設定するなどの処理を行うことができるようになる。
【０１１１】
次に、本実施の形態の音響処理装置５０の動作について説明する。ただし、発声検出手段１６の動作についてのみ説明する。
【０１１２】
発声検出手段１６において、音響信号入力手段１１からの入力信号ｘ（ｉ）と、エコーキャンセラ手段１４からの出力信号ｅ（ｉ）から利用者の発声が検出される。本実施の形態では、信号のスムージング値を使って発声検出を行う方法を例として取り挙げる。なお、信号のスムージング値とは、信号振幅の絶対値の時間的な平均値をいう。
【０１１３】
エコーキャンセラ手段１４から得られる信号をｅ（ｉ）のスムージング値、Ｐｅ（ｉ）を観測しておき、利用者の発声音声がないときの値を背景騒音のスムージング値Ｐｎ（ｉ）として記録しておく。そして、Ｌ（ｉ）＝Ｐｅ（ｉ）−Ｐｎ（ｉ）をフレームごとに観測し続け、このＬ（ｉ）が閾値ＴＨを越えたときに、利用者の発声音声があるとみなすものとする。
【０１１４】
エコーキャンセラ処理を効果的に行うよう閾値ＴＨを設定するには、音響信号入力手段１１からの入力信号ｘ（ｉ）を観測しておき、音響信号入力手段１１からガイダンス音声などが出力されているかどうかで閾値を変化させることが望ましい。また、ｅ（ｉ）に含まれる背景騒音レベルによって、利用者の発声レベルが変化したり、音響エコーの消去量が変化したりするため、Ｐｅ（ｉ）によっても閾値を変化させるようにするのが望ましい。前述のように設定した閾値の関数の例を図１２に示す。
【０１１５】
図１２において、３種類の閾値ＴＨの設定方法が示されている。まず閾値設定方法１は、騒音レベルＰｎ（ｉ）の値によらずに一定値の閾値ＴＨとする方法を示している。次に閾値設定方法２は、騒音レベルＰｎ（ｉ）によって閾値ＴＨの値を増加させる例を示している。閾値設定方法３は、騒音レベルＰｎ（ｉ）によって閾値ＴＨが増加するが、あるＰｎ（ｉ）の範囲では閾値ＴＨが変化しないようにした例を示している。図１２に示された３つの閾値設定方法は一例であり、実際に使用するシステムに最適な方法で設定するのが望ましい。
【０１１６】
ここで、エコーキャンセラ処理を効果的に行うための閾値ＴＨの設定について補足する。まず背景騒音レベルによって閾値ＴＨを変化させることによってエコーキャンセラ処理を効果的に行うことができる。例えば、騒音レベルが上昇すると、一般的に利用者の発声レベルも上昇するので、騒音レベルが高いときには、発声検出の閾値ＴＨを高めに設定するのが望ましい。
【０１１７】
また、スピーカー１２から音響信号が出力されているかどうかによって、閾値ＴＨを変化させてもよく、スピーカー１２から音響信号が出力されていない場合には、閾値ＴＨを小さく設定するとエコーキャンセラ処理を効果的に行うことができる。
【０１１８】
さらに、スピーカー１２から出力される音響信号の合計時間によって閾値ＴＨを変化させてもよい。エコーキャンセラ手段１４の性能がスピーカー１２から出力される音響信号の合計時間が短いときには、エコーキャンセラ処理が不十分であることが多いからである。したがって、スピーカー１２から出力される音響信号の合計時間が短いときには、閾値ＴＨを大きめに設定するのが望ましい。
【０１１９】
以上のように、閾値ＴＨを設定して利用者の発声検出を行い、音響エコー信号を低減して、利用者が発生した音声信号を含んだ信号を出力することが可能となる。
【０１２０】
次に、本実施の形態の音響処理装置５０の処理信号出力手段１８に音声認識手段４２を接続した場合、音声認識手段４２による音声認識性能を調べた実験結果について述べる。
【０１２１】
図１３は、カーナビゲーション装置における音声認識処理を行った場合の性能評価結果を示している。この音声認識実験では、ガイダンス音声が出力されている間に利用者が施設名を発声したときの音声認識率を求めている。条件は、不特定話者型の単語認識であり、辞書は２６００単語辞書、アイドリング相当のＳＮ比２５ｄＢの環境で使用したときを仮定している。
【０１２２】
図１３の横軸は、発声のタイミングであり、ガイダンス出力開始時刻を０．５秒、利用者の発声タイミングをＵ秒としたときの音声認識率を縦軸に表示している。この結果より、エコーキャンセラを用いないで音声認識したときの認識率５１に比べて、処理信号出力手段１８から出力した信号を音声認識したときの認識率５２の方が、音声認識性能が大幅に改善されていることが分る。
【０１２３】
なお、本実施の形態で説明した発声検出手段１６における処理の例、閾値の設定方法などは一例であり、これらに限定されるものではない。
【０１２４】
以上のように、本実施の形態の音響処理装置５０は、発声検出手段１６は、エコーキャンセラ手段１４の出力信号と音響信号入力手段１１から出力される信号とに基づき、利用者が発声した音声成分の検出処理を行う構成としたので、エコーキャンセラ処理においてガイダンス音声を十分にキャンセルしづらい環境で動作させる場合でも、エコーキャンセラ処理の効果をあげることができる。
【０１２５】
（第３の実施の形態）
まず、本発明の第３の実施の形態の音響処理装置の構成について説明する。
【０１２６】
図１４に示すように、本実施の形態の音響処理装置６０は、エコーキャンセラ手段１４に入力される信号とエコーキャンセラ手段１４で処理されて出力された信号とに基づき、利用者が発声した音声成分の検出処理を行う発声検出手段１６を備えている。
【０１２７】
次に、本実施の形態の音響処理装置６０の動作について説明する。ただし、発声検出手段１６の動作についてのみ説明する。
【０１２８】
エコーキャンセラ手段１４に入力される信号とエコーキャンセラ手段１４で処理されて出力された信号とが発声検出手段１６に入力され、発声検出手段１６は、両者の信号に基づいて利用者が発声した音声成分の検出処理を行う。なお、検出処理の詳細については、第１の実施の形態及び第２の実施の形態において説明したので省略する。
【０１２９】
以上のように、本実施の形態の音響処理装置６０によれば、発声検出手段１６は、エコーキャンセラ手段１４に入力される信号とエコーキャンセラ手段１４で処理されて出力された信号とに基づき、利用者が発声した音声成分の検出処理を行う構成としたので、エコーキャンセラ手段１４によってどの程度の信号キャンセルが行われたかを観測することができるようになり、例えばマイクロホン１３からエコーキャンセラ手段１４に入力される信号のレベルが高く、なおかつエコーキャンセラ手段１４で処理された後の信号のレベルが高かった場合には、利用者が発声した音声が含まれるという判定を行うことができるので、高精度なエコーキャンセラ処理を行うことができる。
【０１３０】
（第４の実施の形態）
まず、本発明の第４の実施の形態の音響処理装置の構成について説明する。
【０１３１】
図１５に示すように、本実施の形態の音響処理装置７０は、第２の実施の形態の音響処理装置５０と第３の実施の形態の音響処理装置６０とを組み合わせた構成をしている。すなわち、発声検出手段１６は、音響信号入力手段１１からスピーカー１２を通じて出力される信号とマイクロホン１３からエコーキャンセラ手段１４に入力される信号と、エコーキャンセラ手段１４で処理した信号とに基づいて、利用者が発声した音声成分の検出処理を行うようになっている。
【０１３２】
本実施の形態の音響処理装置７０の動作については、第２の実施の形態及び第３の実施の形態において説明したので省略する。
【０１３３】
以上のように、本実施の形態の音響処理装置７０によれば、音響信号入力手段１１からスピーカー１２を通じて出力される信号とマイクロホン１３からエコーキャンセラ手段１４へ入力される信号と、エコーキャンセラ手段１４で処理した信号とに基づいて、利用者が発声した音声成分の検出処理を行う構成としたので、利用者が発声した音声成分の検出処理を精度よく行うことができ、確実にエコーキャンセラ処理を行うことができる。
【０１３４】
（第５の実施の形態）
まず、本発明の第５の実施の形態の音響処理装置の構成について説明する。
【０１３５】
図１６に示すように、本実施の形態の音響処理装置８０は、第１の実施の形態の音響処理装置１０に加えて、スピーカー１２から出力される音響信号の出力レベルを制御する音量制御手段８１を備えている。音量制御手段８１は、音響信号の出力レベルを制御する際の制御情報を発声検出手段１６に出力するようになっている。
【０１３６】
次に、本実施の形態の音響処理装置８０の動作について説明する。ただし、発声検出手段１６及び音量制御手段８１の動作についてのみ説明する。
【０１３７】
音量制御手段８１によって、音響信号入力手段１１から入力された音響信号の出力レベルが制御される。したがって、スピーカー１２から出力される音響の出力レベルは音量制御手段８１の制御量に応じて増減し、音響エコー成分も増減することとなる。
【０１３８】
一方、発声検出手段１６は、エコーキャンセラ手段１４から出力されたキャンセル処理後のガイダンス音声信号と音量制御手段８１の制御情報の信号とに基づいて利用者が発声した音声成分の検出処理を行う。
【０１３９】
以上のように、本実施の形態の音響処理装置８０によれば、音量制御手段８１は、スピーカー１２から出力される音響信号の出力レベルを制御する構成としたので、マイクロホン１３から入力される音響信号のレベルを推定することができ、利用者が発声した音声成分の検出処理が精度よくでき、確実にエコーキャンセラ処理を行うことができる。
【０１４０】
（第６の実施の形態）
まず、本発明の第６の実施の形態の音響処理装置の構成について説明する。
【０１４１】
図１７に示すように、本実施の形態の音響処理装置９０は、第１の実施の形態の音響処理装置１０に加えて、利用者が発声するタイミングを検出する発声検出補助スイッチ９１を備えている。なお、発声検出補助スイッチ９１は、発声検出補助手段を構成している。また、発声検出補助スイッチ９１の具体例としては、ボタンスイッチ、タッチセンサ、カメラを使って唇の動きを検出するシステム等が挙げられる。
【０１４２】
次に、本実施の形態の音響処理装置９０の動作について説明する。ただし、発声検出補助スイッチ９１に係る動作についてのみ説明する。
【０１４３】
発声検出補助スイッチ９１は、利用者が発声を開始するときオンにされ、その信号が発声検出手段１６に出力される。発声検出手段１６は、発声検出補助スイッチ９１からオン信号を受信することにより、利用者の発声タイミングを取得する。
【０１４４】
以上のように、本実施の形態の音響処理装置９０は、発声検出補助スイッチ９１によって利用者の発声タイミングを取得する構成としたので、利用者が発声した音声成分の検出処理を精度よく行うことができ、確実にエコーキャンセラ処理を行うことができる。
【０１４５】
（第７の実施の形態）
まず、本発明の第７の実施の形態の音響処理装置の構成について説明する。
【０１４６】
図１８に示すように、本実施の形態の音響処理装置１００は、利用者の発声音声を入力する複数のマイクロホン１０２と、マイクロホン１０２によって入力された結果をもとに利用者が発声した音声を強調して出力するマイクロホン入力制御手段１０１とを備えている。
【０１４７】
次に、本実施の形態の音響処理装置１００の動作について説明する。ただし、複数のマイクロホン１０２及びマイクロホン入力制御手段１０１の動作についてのみ説明する。
【０１４８】
複数のマイクロホン１０２は、利用者の音声を集音し、音声信号をマイクロホン入力制御手段１０１に出力する。マイクロホン入力制御手段１０１は、利用者の音声信号を強調し、強調された音声信号が発声検出手段１６に出力される。発声検出手段１６は、強調された音声信号とエコーキャンセラ処理された信号とに基づき利用者が発声した音声成分の検出処理を行う。
【０１４９】
以上のように、本実施の形態の音響処理装置１００は、複数のマイクロホン１０２と、マイクロホン１０２によって入力された結果をもとに利用者が発声した音声を強調して出力するマイクロホン入力制御手段１０１を備える構成としたので、マイクロホン入力制御手段１０１において利用者が発声した音声信号を強調し、混入したガイダンス音声のレベルを低減することが可能となり、ガイダンス音声のレベルを低減した信号によって利用者の発声をより高精度に検出することができ、確実にエコーキャンセラ処理を行うことができる。
【０１５０】
（第８の実施の形態）
まず、本発明の第８の実施の形態の音響処理装置の構成について説明する。
【０１５１】
図１９に示すように、本実施の形態の音響処理装置１１０は、エコーキャンセラ手段１４で処理した信号に対して、マイクロホン１３の周辺の騒音の騒音成分を抑圧する騒音抑圧手段１１１を備えている。
【０１５２】
次に、本実施の形態の音響処理装置１１０の動作について説明する。ただし、騒音抑圧手段１１１に係る動作についてのみ説明する。
【０１５３】
騒音抑圧手段１１１は、エコーキャンセラ手段１４からのエコーキャンセラ処理された信号に含まれるマイクロホン１３周辺の騒音の騒音成分を抑圧し、低減する。騒音抑圧手段１１１によって処理された信号は、音響信号記憶手段１５に蓄えられ、発声検出手段１６は、音響信号入力手段１１からの入力信号と騒音抑圧手段１１１からの出力信号に基づいて利用者の発声検出を行う。
【０１５４】
以上のように、本実施の形態の音響処理装置１１０は、マイクロホンに混入した背景騒音成分の影響を取り除いて、利用者の発声検出を行うことが可能となり、利用者の発声をより高精度に検出することができ、確実にエコーキャンセラ処理を行うことができる。
【０１５５】
（第９の実施の形態）
まず、本発明の第９の実施の形態の音響処理装置の構成について説明する。
【０１５６】
図２０に示すように、本実施の形態の音響処理装置１２０は、通信網１２２からの音響信号の受信及び処理信号出力手段１８からの信号の送信を制御する通信制御手段１２１と、インターネットを含む通信網１２２と、所定の音声処理を行う音声処理手段１２４と、通信網１２２と音声処理手段１２４との通信を制御する通信制御手段１２３とを備えている。
【０１５７】
次に、本実施の形態の音響処理装置１２０の動作について説明する。
【０１５８】
音響信号入力手段１１は、通信網１２２を介して音声処理手段１２４から音響信号を入力する。一方、処理信号出力手段１８からの信号は、通信網１２２を介して音声処理手段１２４に出力される。通信制御手段１２１及び通信制御手段１２３は通信網１２２と音響信号の送受信の制御を行う。
【０１５９】
以上のように、本実施の形態の音響処理装置１２０は、音響信号入力手段１１に入力される信号と処理信号出力手段１８から出力される信号を通信制御手段１２１及び通信制御手段１２３によって伝送する構成としたので、エコーキャンセラ処理された音響信号をネットワークに接続された音声処理手段１２４に出力することができる。なお、通信網１２２との信号の送受信は、電話回線やイーサネット（登録商標）などのような有線回線を介して行ってもよいし、電波通信や赤外線通信などの無線通信によるものでもよい。
【０１６０】
（第１０の実施の形態）
まず、本発明の第１０の実施の形態の音響処理装置の構成について説明する。
【０１６１】
図２１に示すように、本実施の形態の音響処理装置１３０は、通信網１２２からの音響信号の受信及び処理信号出力手段１８からの信号の送信を制御する通信制御手段１２３と、通信網１２２とスピーカー１２及びマイクロホン１３との通信を制御する通信制御手段１２１とを備えている。
【０１６２】
次に、本実施の形態の音響処理装置１３０の動作について説明する。
【０１６３】
スピーカー１２は、通信網１２２を介してエコーキャンセラ手段１４から音響信号を入力し、音響を出力する。一方、マイクロホン１３からの音声信号は、通信網１２２を介してエコーキャンセラ手段１４に出力される。通信制御手段１２１及び通信制御手段１２３は通信網１２２と音響信号の送受信の制御を行う。
【０１６４】
以上のように、本実施の形態の音響処理装置１３０は、スピーカー１２に入力される信号とマイクロホン１３から出力される信号を通信制御手段１２１及び通信制御手段１２３によって伝送する構成としたので、通常、利用者の近くにあるスピーカー１２及びマイクロホン１３とエコーキャンセラ手段１４とを切り離すことも可能となり、例えばスピーカー１２及びマイクロホン１３を有する小型の端末として確実にエコーキャンセラ処理が行える音響処理装置を実現することができるなど、より便利な音響処理を実現することが可能となる。
【０１６５】
（第１１の実施の形態）
まず、本発明の第１１の実施の形態の音響処理装置の構成について説明する。
【０１６６】
図２２に示すように、本実施の形態の音響処理装置１４０のエコーキャンセラ手段１４は、図３に示された従来からあるデュアルフィルタ構成を基本としている。エコーキャンセラ手段１４は、伝達経路の特性に応じたフィルタ係数を出力する適応フィルタ１９と、フィルタ係数に基づいてガイダンス音声信号の畳み込み処理を行う畳み込み手段２１と、適応フィルタ１９によって出力されたフィルタ係数の安定性を判定し、フィルタ係数を畳み込み手段２１に転送する係数転送判定手段２０と、音響信号入力手段１１からの音響信号を記憶する第１音響信号記憶手段１４１と、マイクロホン１３からの音響信号を記憶する第２音響信号記憶手段１４２とを備えている。
【０１６７】
次に、本実施の形態の音響処理装置１４０の動作について説明する。
【０１６８】
エコーキャンセラ手段１４は、第１音響信号記憶手段１４１及び第２音響信号記憶手段１４２を設けることで、適応フィルタ１９で学習したフィルタ係数が十分に収束するのを待って、エコーキャンセル部処理を行う。すなわち、エコーキャンセラ手段１４に信号が入力されてからしばらくの間フィルタ係数が収束しない場合において、従来のエコーキャンセラでは信号を出力してしばらくの間は残留エコーが多く含まれるようになっていたが、本実施の形態の音響処理装置１４０では適応フィルタ係数が収束するのを待ってからエコーをキャンセルするようになっているため、残留エコーの発生を抑えることができるようになる。
【０１６９】
以上のように、本実施の形態の音響処理装置１４０は、第１音響信号記憶手段１４１は、音響信号入力手段１１からの音響信号を記憶し、第２音響信号記憶手段１４２は、マイクロホン１３からの音響信号を記憶する構成としたので、適応フィルタ係数が収束するのを待ってからエコーをキャンセルすることができ、残留エコーの発生を抑えることができる。
【０１７０】
なお、第１の実施の形態から第１０の実施の形態における音響処理装置に本実施の形態のエコーキャンセラ手段１４を備える構成とすることにより、さらに高性能な音響処理方法を提供することが可能となる。
【０１７１】
（第１２の実施の形態）
まず、本発明の第１２の実施の形態の音響処理装置の構成について説明する。
【０１７２】
図２３に示すように、本実施の形態の音響処理装置１５０は、第１１の実施の形態の音響処理装置１４０に、さらに適応フィルタ１９に入力される信号を蓄える学習用データ記憶手段を備えている。すなわち、音響信号入力手段１１と適応フィルタ１９との間に挿入される第１学習用データ記憶手段１５１と、マイクロホン１３と適応フィルタ１９との間に挿入される第２学習用データ記憶手段１５２と、第１学習用データ記憶手段１５１及び第２学習用データ記憶手段１５２の記憶動作を制御する学習データ制御手段１５３とを備えている。
【０１７３】
次に、本実施の形態の音響処理装置１５０の動作について説明する。
【０１７４】
学習データ制御手段１５３は、適応フィルタ１９の学習に適したデータを検出したときに、このデータを第１学習用データ記憶手段１５１及び第２学習用データ記憶手段１５２に同じタイミングで保存または更新しておくように制御する。適応フィルタ１９は、第１学習用データ記憶手段１５１及び第２学習用データ記憶手段１５２に保存されたデータに基づいて、繰り返し学習を行う。これによって、少ないデータでも収束したフィルタ係数が得られるようになる。ただし、第１学習用データ記憶手段１５１及び第２学習用データ記憶手段１５２に記憶されたデータを用いて学習したフィルタ係数が有効となるのは、伝達特性変化が大きくないときなので、学習データ制御手段１５３によって、学習に使用するデータを可能な限り更新させるようにすることが望ましい。
【０１７５】
以上のように、本実施の形態の音響処理装置１５０は、適応フィルタ１９に入力される信号を蓄える第１学習用データ記憶手段１５１及び第２学習用データ記憶手段１５２を備える構成としたので、適応フィルタで算出されたフィルタ係数が収束するのに十分なデータが得られないような場合でも、学習用に格納したデータを繰り返し使用することによって収束したフィルタ係数を得ることができ、効果的なエコーキャンセラ処理を行うことができる。
【０１７６】
（第１３の実施の形態）
まず、本発明の第１３の実施の形態の音響処理装置の構成について説明する。
【０１７７】
図２４に示すように、本実施の形態の音響処理装置１６０は、処理信号出力手段１８に音声認識手段４２が接続されており、さらに発声検出手段１６の結果を音声認識手段４２に出力するように構成されている。
【０１７８】
次に、本実施の形態の音響処理装置１６０の動作について説明する。
【０１７９】
発声検出手段１６は、エコーキャンセラ処理された信号に基づき利用者が発声した音声成分の検出処理を行い、検出処理結果の信号を信号出力制御手段１７及び音声認識手段４２に出力する。
【０１８０】
以上のように、本実施の形態の音響処理装置１６０は、発声検出手段１６の結果を音声認識手段４２に出力する構成としたので、エコーキャンセラ手段１４でガイダンス音声をキャンセルした信号に対して音声認識処理が行えると同時に、発声検出手段１６でガイダンス音声と利用者の音声の重なり具合を検出することができるので、音声認識性能を高めることができる。
【０１８１】
例えば、発声検出手段１６では、音響信号入力手段１１からスピーカー１２を通じて出力される信号とエコーキャンセラ手段１４から出力される信号とを比較し、エコーキャンセラ処理がまだ収束せずに音響エコー成分が多く含まれているかどうかによって音声認識処理における学習処理、例えば話者適応や環境適応などの処理を行うか否かを自動的に判別することが可能となり、音声認識処理の性能を向上させることができる。
【０１８２】
（第１４の実施の形態）
まず、本発明の第１４の実施の形態の音響処理システムの構成について説明する。
【０１８３】
図２５に示すように、本実施の形態の音響処理システム１７０は、図８に示された音響処理装置４０を２つ備えている。なお、図８の上部に示された音響処理装置４０においては各符号にａを付し、図８の下部に示された音響処理装置４０においては各符号にｂを付している。図８において、双方のスピーカー１２ａ、１２ｂから出力される音響信号がエコーキャンセラ手段１４に入力されるようになっている。この場合、エコーキャンセラ手段１４の構成例を図２６及び図２７に示す。
【０１８４】
次に、本実施の形態の音響処理システム１７０の動作について説明する。
【０１８５】
音響信号入力手段１１ａから出力された音響信号は、エコーキャンセラ手段１４ａ及びエコーキャンセラ手段１４ｂに出力され、エコーキャンセラ処理が行われる。一方、音響信号入力手段１１ｂから出力された音響信号も、エコーキャンセラ手段１４ａ及びエコーキャンセラ手段１４ｂに出力される。
【０１８６】
次に、本実施の形態の他の態様の音響処理システム１８０を図２８に示す。音響処理システム１８０は、図２５に示された音響処理システム１７０の構成を一部変更したものである。すなわち、通信制御手段１２１及び１２３を介し、２つの音響処理装置間における信号を送受信するようになっている。
【０１８７】
音響処理システム１８０のような構成にすることによって、２つの音響処理装置が直接接続されていなくても、エコーキャンセラ処理を効果的に行うことが可能となる。例えば、図２９に示すように、テレビ操作を行うシステムとして応用することができる。また、図３０に示すように、ロボットのような擬似生命体との対話システムを構築することもできる。
【０１８８】
以上のように、本実施の形態の音響処理システム１７０は、音響処理装置４０を２つ備え、双方のスピーカー１２ａ、１２ｂから出力される音響信号がエコーキャンセラ手段１４に入力されるよう構成したので、２つのスピーカーから出力される音響による音響エコー成分を低減するシステムを実現することができる。
【０１８９】
なお、本実施の形態の音響処理システム１７０を３個以上備える構成においても、前述と同様な効果を得ることができる。
【０１９０】
（第１５の実施の形態）
まず、本発明の第１５の実施の形態の音響処理装置の構成について説明する。
【０１９１】
図３１に示すように、本実施の形態の音響処理システム１８０は、ノート型のパーソナルコンピュータ１８１で構成されている。パーソナルコンピュータ１８１は、スピーカー１２、マイクロホン１３、モニタ４３と、図示しないマイクロプロセッサ、半導体メモリ、ハードディスク等によって構成されている。パーソナルコンピュータ１８１は、図３２に示された各ステップのプログラムによって音響処理を実行するようになっている。このプログラムは、記憶媒体１８２に記憶されている。記憶媒体１８２は、磁気ディスク、光ディスク、半導体メモリ等によって構成されている。
【０１９２】
次に、本実施の形態の音響処理システム１８０の動作について説明する。
【０１９３】
図３２において、まず、マイクロホン１３によって利用者の音声が入力され、この音声の入力信号が得られる（ステップＳ１１）。次いで、ガイダンス音声の原信号が例えば、ハードディスクから取得され（ステップＳ１２）、スピーカー１２からガイダンス音声が出力される。引き続き、ガイダンス音声による音響エコー成分を低減するエコーキャンセラ処理が実行される（ステップＳ１３）。
【０１９４】
続いて、音響エコー成分が低減された音響信号から利用者が発声した音声成分を検出する発声検出処理が実行される（ステップＳ１４）。そして、エコーキャンセラ処理された処理波形が出力され（ステップＳ１５）、例えば音声認識が行われる。
【０１９５】
以上のように、本実施の形態の音響処理システム１８０によれば、パーソナルコンピュータ１８１がプログラムを実行することにより音響処理を行う構成としたので、専用の音響処理装置を製作することが不要となり、低コストで高効率の音響処理を実現することができる。
【０１９６】
なお、以上の説明では、音響処理システム１８０をパーソナルコンピュータ１８１で構成した例で説明したが、他の装置でも同様に実施可能である。また、ネットワークを経由したコンピュータ上でも同様に実施可能である。
【産業上の利用可能性】
【０１９７】
以上のように、本発明にかかる音響処理装置は、エコーキャンセラ手段で音響信号を処理してから出力するまでの時間の短縮化を図ることができるという効果を有し、エコーキャンセラを利用した音響処理装置、方法、プログラム及び記憶媒体等として有用である。
【図面の簡単な説明】
【０１９８】
【図１】本発明の第１の実施の形態の音響処理装置のブロック図
【図２】エコーキャンセラ手段の一例を示す図
【図３】エコーキャンセラ手段の一例を示す図
【図４】エコーキャンセラの効果を表すための時間信号波形の例を示す図
【図５】発声検出手段の動作例を示す図
【図６】本発明の第１の実施の形態の第１の他の態様の音響処理装置のブロック図
【図７】本発明の第１の実施の形態の第１の他の態様の音響処理装置のイメージ図
【図８】本発明の第１の実施の形態の第２の他の態様の音響処理装置のブロック図
【図９】音声対話システムの一例を示す図
【図１０】音声対話システムの一例を示す図
【図１１】本発明の第２の実施の形態の音響処理装置のブロック図
【図１２】閾値設定方法の一例を示す図
【図１３】音声認識率の比較図
【図１４】本発明の第３の実施の形態の音響処理装置のブロック図
【図１５】本発明の第４の実施の形態の音響処理装置のブロック図
【図１６】本発明の第５の実施の形態の音響処理装置のブロック図
【図１７】本発明の第６の実施の形態の音響処理装置のブロック図
【図１８】本発明の第７の実施の形態の音響処理装置のブロック図
【図１９】本発明の第８の実施の形態の音響処理装置のブロック図
【図２０】本発明の第９の実施の形態の音響処理装置のブロック図
【図２１】本発明の第１０の実施の形態の音響処理装置のブロック図
【図２２】本発明の第１１の実施の形態の音響処理装置のブロック図
【図２３】本発明の第１２の実施の形態の音響処理装置のブロック図
【図２４】本発明の第１３の実施の形態の音響処理装置のブロック図
【図２５】本発明の第１４の実施の形態の音響処理装置のブロック図
【図２６】本発明の第１４の実施の形態のエコーキャンセラ手段のブロック図
【図２７】本発明の第１４の実施の形態のエコーキャンセラ手段のブロック図
【図２８】本発明の第１４の実施の形態の他の対応の音響処理装置のブロック図
【図２９】本発明の音響処理装置をテレビ操作システムに応用した例を示す図
【図３０】本発明の音響処理装置をロボットとの音声対話システムに応用した例を示す図
【図３１】本発明の第１５の実施の形態の音響処理装置のブロック図
【図３２】本発明の第１５の実施の形態の音響処理装置の各ステップのフローチャート
【図３３】従来の音響処理装置のブロック図
【図３４】従来の音響処理装置のブロック図
【符号の説明】
【０１９９】
１０、３０、４０、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０  音響処理装置
１１  音響信号入力手段
１２、１２ａ  スピーカー
１３、１０２  マイクロホン
１４、１４ａ、１４ｂ  エコーキャンセラ手段
１５、１１、１１ａ、１１ｂ  音響信号記憶手段
１６  発声検出手段
１７  信号出力制御手段
１８  処理信号出力手段
１９  適応フィルタ
２０  係数転送判定手段
２１  畳み込み手段
３１  オーディオ再生手段
３２  音声記録手段
４１  ガイダンス再生手段
４２  音声認識手段
４３  モニタ
５１  エコーキャンセラなしの認識率
５２  本発明の音響処理装置による認識率
８１  音量制御手段
９１  発声検出補助スイッチ（発声検出補助手段）
１０１  マイクロホン入力制御手段
１１１  騒音抑圧手段
１２１、１２３  通信制御手段
１２２  通信網
１２４  音声処理手段
１５３  学習データ制御手段
１７０、１８０  音響処理システム
１８１  パーソナルコンピュータ
１８２  記憶媒体
【図１】
2005084253.tif 000003
【図２】
2005084253.tif 000004
【図３】
2005084253.tif 000005
【図４】
2005084253.tif 000006
【図５】
2005084253.tif 000007
【図６】
2005084253.tif 000008
【図７】
2005084253.tif 000009
【図８】
2005084253.tif 000010
【図９】
2005084253.tif 000011
【図１０】
2005084253.tif 000012
【図１１】
2005084253.tif 000013
【図１２】
2005084253.tif 000014
【図１３】
2005084253.tif 000015
【図１４】
2005084253.tif 000016
【図１５】
2005084253.tif 000017
【図１６】
2005084253.tif 000018
【図１７】
2005084253.tif 000019
【図１８】
2005084253.tif 000020
【図１９】
2005084253.tif 000021
【図２０】
2005084253.tif 000022
【図２１】
2005084253.tif 000023
【図２２】
2005084253.tif 000024
【図２３】
2005084253.tif 000025
【図２４】
2005084253.tif 000026
【図２５】
2005084253.tif 000027
【図２６】
2005084253.tif 000028
【図２７】
2005084253.tif 000029
【図２８】
2005084253.tif 000030
【図２９】
2005084253.tif 000031
【図３０】
2005084253.tif 000032
【図３１】
2005084253.tif 000033
【図３２】
2005084253.tif 000034
【図３３】
2005084253.tif 000035
【図３４】
2005084253.tif 000036