(57)【特許請求の範囲】
【請求項１】
雑音を含む入力信号を分割し、フレーム信号として切り出すフレーム分割手段と、
該フレーム分割手段によって切り出されたフレーム信号からスペクトルを算出するスペクトル算出手段と、
前記スペクトル算出手段によって算出されたスペクトルに現れる雑音成分の特徴に基づいて、当該スペクトルから前記雑音のスペクトルを雑音スペクトルとして推定する雑音スペクトル推定手段と、
雑音のスペクトルである予測雑音スペクトルを記憶する予測雑音スペクトル記憶手段と、
該予測雑音スペクトル記憶手段に記憶された予測雑音スペクトルの中から、前記雑音スペクトル推定手段によって推定された雑音スペクトルとの類似度合の高いものを特定する予測雑音スペクトル特定手段と、
前記予測雑音スペクトル特定手段によって特定された予測雑音スペクトルを、前記スペクトル算出手段によって算出されたスペクトルから減算する減算手段と
を備えることを特徴とする雑音抑圧装置。
【請求項２】
請求項１に記載の雑音抑圧装置において、
前記雑音スペクトル推定手段は、前記入力信号に基づいて算出したスペクトルのレベル変化率が所定の閾値以上となる周波数を検出し、当該検出した周波数におけるスペクトル成分に基づいて前記雑音スペクトルを推定するよう構成されていることを特徴とする雑音抑圧装置。
【請求項３】
請求項１に記載の雑音抑圧装置において、
前記雑音スペクトル推定手段は、前記入力信号に基づいて算出したスペクトルのレベル変化率が第１の閾値以上となる周波数を検出すると共に、当該周波数の２n 倍（ｎは整数）の近傍の周波数で、当該周波数におけるレベル変化率が前記第１の閾値よりも小さな第２の閾値以上となっているものを検出し、前記レベル変化率が前記第１又は第２の閾値以上となっている周波数におけるスペクトル成分に基づいて前記雑音スペクトルを推定するよう構成されていることを特徴とする雑音抑圧装置。
【請求項４】
請求項１〜３のいずれかに記載の雑音抑圧装置において、
さらに、
車両に搭載されて用いられ、車両状態を検出する車両状態検出手段と、
前記入力信号に音声が含まれている音声区間と前記音声が含まれていない雑音区間とを判定する判定手段と、
前記判定手段によって判定された前記雑音区間の入力信号に基づいて算出した前記スペクトルを前記予測雑音スペクトルとし、前記車両状態検出手段によって検出される各車両状態に対応させて記憶する予測雑音スペクトル記憶制御手段を備えることを特徴とする雑音抑圧装置。
【請求項５】
請求項４に記載の雑音抑圧装置において、
前記予測雑音スペクトル記憶制御手段は、前記車両状態検出手段によって検出される車両状態に対応する予測雑音スペクトルが前記予測雑音スペクトル記憶手段に記憶されていない場合に、前記算出された予測雑音スペクトルを記憶するよう構成されていることを特徴とする雑音抑圧装置。
【請求項６】
請求項４に記載の雑音抑圧装置において、
前記予測雑音スペクトル記憶制御手段は、前記車両状態検出手段によって検出される車両状態に対応する予測雑音スペクトルが前記予測雑音スペクトル記憶手段に既に記憶されている場合であっても、記憶されてから所定時間が経過している場合には、当該予測雑音スペクトルを更新するよう構成されていることを特徴とする雑音抑圧装置。
【請求項７】
請求項４〜６のいずれかに記載の雑音抑圧装置において、
前記判定手段は、前記入力信号のパワーに基づいて前記音声区間及び雑音区間を判定するよう構成されていることを特徴とする雑音抑圧装置。
【請求項８】
請求項４〜６のいずれかに記載の雑音抑圧装置において、
音声を入力させる期間を発声者自身が指定するために設けられた入力期間指定手段を備え、
前記判定手段は、前記入力期間指定手段によって指定された入力期間を前記音声区間として判定するよう構成されていることを特徴とする雑音抑圧装置。
【請求項９】
請求項１〜８のいずれかに記載の雑音抑圧装置と、
該雑音抑圧装置からの出力を、予め記憶されている複数の比較対象パターン候補と比較して一致度合の高いものを認識結果とする音声認識装置と、
を備えることを特徴とする音声認識システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識等の音声信号処理の前処理として用いる雑音抑圧に関し、特に、認識対象となる音声信号と雑音信号とが混在した入力信号から雑音成分を除去する技術に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来より、例えばカーナビゲーションシステムにおける目的地の設定などを音声によって入力できるようにする場合などに有効な音声認識装置が提案され、また実現されている。このような音声認識装置においては、入力音声を予め記憶されている複数の比較対象パターン候補と比較し、一致度合の高いものを認識結果とするのであるが、現在の認識技術ではその認識結果が完全に正確なものとは限らない。これは、静かな環境下にあってもそうであるため、周囲に雑音が発生するような環境下ではなおさらである。特に、上述したカーナビゲーションシステムなどの実際の使用環境を考慮すると、雑音がないことは想定しにくい。したがって、認識率の向上を実現する上では、音声認識装置への入力の前処理として、認識に必要な音声信号と雑音信号とが混在した入力信号から雑音成分を除去する雑音抑圧を行なうことが望ましい。
【０００３】
このような雑音抑圧を行なってから音声認識を行なうシステム構成として、例えば図６（ａ）のような音声認識システム２００が考えられている。つまり、音声用マイク２０１からは雑音が混入した音声信号が入力される。一方、雑音用マイク２０２からは雑音のみの雑音信号が入力される。音声用マイク２０１及び雑音用マイク２０２からの入力信号は雑音抑圧装置２０３へ入力され、雑音抑圧装置２０３で雑音抑圧された音声信号が音声認識装置２０４へ転送される。また、この場合、利用者がＰＴＴ（Push-To-Talk）スイッチ２０５を押しながらマイク２０１を介して音声を入力するようにされている。そして、雑音抑圧装置２０３での雑音抑圧は次のように行われる。
【０００４】
つまり、図６（ｂ）に示すように、ＰＴＴスイッチ２０５が押されると音声区間であるとして、雑音抑圧装置２０３は音声用マイク２０１及び雑音用マイク２０２からの入力信号を取り込む。しかし、音声用マイク２０１からの入力信号は「音声信号＋雑音信号」となる。したがって、雑音用マイク２０２から入力された「雑音信号」を、音声用マイク２０１からの「音声信号＋雑音信号」から差し引けば、雑音信号の抑圧された音声信号を抽出することができるというものである。なお、雑音の混入した音声信号から雑音信号を差し引く際には、それぞれの信号をフーリエ変換した周波数スペクトルやその周波数スペクトルの振幅である振幅スペクトルあるいは振幅スペクトルを２乗したパワースペクトルの形式で差し引くことが考えられる。
【０００５】
しかしながら、図６として上述したような手法では、雑音用マイク２０２が音声信号をひろわないように、音声用マイク２０１と雑音用マイク２０２とを所定距離だけ離した場所に設置することが必要となり、システム全体が煩雑となる。また、２本のマイクを設置するため、マイクを設置する場所によっては、発生する雑音の種類が異なる可能性がある。すなわち、音声用マイク２０１から音声信号と共に入力される雑音信号と雑音用マイク２０２から入力される雑音信号とが同一である保障はない。そのため、音声信号と雑音信号とが混在した入力信号から雑音成分のみを適切に除去することができない可能性があった。
【０００６】
ここで雑音の種類が異なると、適切な雑音成分の除去ができないことを説明する。図５は、種類の異なる雑音の周波数スペクトルを例示する説明図であるが、図５（ａ）では、１キロＨｚ、２キロＨｚ、４キロＨｚ付近の周波数成分のレベル変化率が大きくなっており、図５（ｂ）では、図５（ａ）と比べて、１キロＨｚ、２キロＨｚ、４キロＨｚ付近の周波数成分のレベル変化率がさらに大きくなっている。また、図５（ｃ）では、１．５キロＨｚ、３キロＨｚ、６キロＨｚ付近の周波数成分のレベル変化率が大きくなっており、図５（ｄ）では、０〜６キロＨｚの全ての周波数成分のレベル変化率が大きくなっている。なお、レベル変化率とはスペクトル波形における傾きの絶対値をいい、レベル変化率の大きな部分は、図中ではグラフの縦軸方向に突出した部分として示される。
【０００７】
このように種類の異なる雑音を周波数スペクトルとして見た場合、レベル変化率やそのレベル変化率の大きくなる周波数などが異なってくる。従って、音声信号と雑音信号とが混在する入力信号から雑音成分を差し引く際、種類の異なる雑音のスペクトルを差し引くと、却って音声信号のスペクトルに歪みを生じさせることになる。つまり、図６（ａ）に示すようなシステムでは、音声用マイク２０１から入力される雑音と雑音用マイク２０２から入力される雑音が同じ種類のものでなければ、適切な雑音抑圧ができないのである。
【０００８】
ところで、従来、１本のマイクを使用したシステムもあったが、この場合は、ＰＴＴスイッチのオン・オフを検出して雑音区間、音声区間を区別し、雑音区間において取り込んだ「雑音信号」を、音声区間において取り込んだ「音声信号＋雑音信号」から差し引いて、雑音信号の抑圧された音声信号を抽出する。しかし、この手法も、音声区間において混入した雑音を直接検知しているのではなく、音声区間の開始以前の雑音区間にて取り込んだ雑音信号を基に音声区間における雑音を推定し、雑音の混入した音声信号から、推定された雑音信号を差し引いているに過ぎない。
【０００９】
従って、例えば自動車内というように周囲の環境が時々刻々変化し、それに伴って発生する雑音の種類も変化するような環境下では、雑音区間において入力された雑音が音声区間において音声信号に混入した雑音と同じ種類のものである保障がなく、この場合も、適切に雑音信号を差し引くことができない可能性があった。
【００１０】
本発明は、上述した問題点を解決するためになされたものであり、音声信号と雑音信号とが混在した入力信号から雑音成分を適切に除去し、音声認識における認識率の向上に寄与することを目的とする。
【００１１】
【課題を解決するための手段及び発明の効果】
本発明の雑音抑圧装置では、例えばマイクロフォンなどを介して入力された入力信号を、フレーム分割手段が分割しフレーム信号として切り出し、スペクトル算出手段が、そのフレーム信号からスペクトルを算出する。ここでスペクトル算出手段が算出するスペクトルは、一例として、フレーム信号のフーリエ変換にて定義される周波数スペクトルであることが考えられる。但し、フーリエ変換にて定義されるものには限られず、例えばフーリエ級数展開、Ｚ変換、離散的フーリエ変換（ＤＦＴ）にて定義されるスペクトルを用いてもよい。また、上述した周波数スペクトルの振幅成分である振幅スペクトルを用いてもよいし、その振幅スペクトルを２乗して得たパワースペクトルを用いてもよい。
【００１２】
上述した入力信号は、利用者からの音声信号が入力される場合は、雑音の混入した音声信号であるし、利用者からの音声信号が入力されない場合は、雑音のみの信号である。ここで特に、本発明の雑音抑圧装置では、雑音スペクトル推定手段が、入力信号に基づいて算出したスペクトルに現れる雑音成分の特徴に基づいて、そのスペクトルに含まれる雑音のスペクトルを雑音スペクトルとして推定する。なお、雑音スペクトルは、繰り返し算出されるスペクトルにそれぞれ対応させて推定してもよいし、所定数のスペクトル毎に、それらスペクトルに共通するものとして推定してもよい。例えば繰り返し算出されるスペクトルに同じ種類の雑音のスペクトルが含まれている場合は、雑音のスペクトルの周波数成分がそれらスペクトルに共通して現出することが考えられるため、複数のスペクトルに基づいて雑音スペクトルを推定すれば、より正確な雑音スペクトルを推定できる可能性が高くなる。逆に、雑音の種類が時々刻々変化するような環境下では、相対的に早いタイミングで繰り返し雑音スペクトルを推定することが望ましい。
【００１３】
そして、本発明の雑音抑圧装置は、さらに、雑音信号に基づいて算出された雑音のスペクトルである予測雑音スペクトルを記憶する予測雑音スペクトル記憶手段と、予測雑音スペクトル記憶手段に記憶された予測雑音スペクトルの中から、雑音スペクトル推定手段によって推定された雑音スペクトルとの類似度合の高いものを特定する予測雑音スペクトル特定手段と、予測雑音スペクトル特定手段によって特定された予測雑音スペクトルを、スペクトル算出手段によって算出されたスペクトルから減算する減算手段とを備える。
このような方法意外に、例えば、入力信号に基づいて算出したスペクトルから雑音スペクトルを推定し、推定した雑音スペクトルを減算する構成にすることも考えられるが、音声信号のスペクトルから雑音スペクトルを推定する場合、真の雑音のスペクトルを推定することは困難である。そこで、雑音信号に基づいて算出された雑音のスペクトルを予測雑音スペクトルとして予測雑音スペクトル記憶手段に記憶しておき、減算手段は、この予測雑音スペクトルを減算するようにするのである。
このとき、予測雑音スペクトルを複数種類記憶しておき、音声信号のスペクトルに重畳している雑音のスペクトルに近いものを予測雑音スペクトル特定手段が特定する。予測雑音スペクトル特定手段は、予測雑音スペクトル記憶手段に記憶された予測雑音スペクトルの中で、上述した雑音スペクトル推定手段によって推定された雑音スペクトルとの類似度合が高いものを特定する。例えば、図４（ｂ）に示す雑音スペクトルとの類似度合が最も高い図４（ｃ）に示す予測雑音スペクトルが特定されるという具合である。
つまり、予測雑音スペクトルとして、音声信号に混入する可能性の高い雑音のスペクトルを記憶しておけば、音声信号と雑音信号の混在する入力信号から雑音成分のみを除去できる。その結果、音声認識率を飛躍的に向上させることができる。
【００１５】
ここで、音声区間の入力信号に基づいて算出したスペクトルに現れる雑音成分の特徴に基づき、雑音スペクトルを推定する具体的な手法を説明する。
例えば請求項２に示すように、雑音スペクトル推定手段は、入力信号に基づいて算出したスペクトルのレベル変化率が所定の閾値以上となる周波数を検出し、当該検出した周波数におけるスペクトル成分に基づいて雑音スペクトルを推定するよう構成することが考えられる。
【００１６】
これは、図５に例示したように雑音のスペクトルには特定の周波数成分にレベル変化率の大きな部分が現れる可能性が高いという事実に着目したものである。このような特定周波数成分のレベル変化率が大きな雑音のスペクトルが重畳した音声信号のスペクトルには、図３（ｂ）に示すように、特定の周波数成分にレベル変化率の大きな部分が現出する。そして、図３（ａ）に示すような雑音の混入していない理想的な音声信号のスペクトルと比較すると、このレベル変化率の大きな部分を差し引けば、理想的な音声信号のスペクトルに近づけられることが分かる。
【００１７】
従って、以下のようにして雑音スペクトルを推定することができる。
例えばスペクトル算出手段が周波数スペクトルを算出する場合、その周波数スペクトルは、時間関数であるフレーム信号のフーリエ変換にて定義され、周波数ｆの関数として表される。そのため、周波数ｆで微分することによってスペクトルのレベル変化率を求め、この変化率が所定の閾値以上となる周波数を検出し、そして、当該周波数におけるスペクトル成分に基づいて雑音スペクトルを推定する。ここでスペクトル成分に基づいて推定するとは、例えばそのスペクトル成分そのものを有するスペクトルを雑音スペクトルとして推定することも考えられるし、あるいは、検出された周波数以外の周波数におけるスペクトル成分を用いてそのスペクトル成分を逓倍補正し、その補正したスペクトル成分を有するスペクトルを雑音スペクトルとして推定することも考えられる。例えば図４（ａ）に示すような雑音の混入した音声信号のスペクトルがある場合にレベル変化率が所定の閾値を越える周波数が、１ｋＨｚ、２ｋＨｚ、４ｋＨｚ付近の周波数である場合には、１，２，４ｋＨｚ付近のスペクトル成分に基づくスペクトル成分を有する例えば図４（ｂ）に示すようなスペクトルを雑音スペクトルとして推定するという具合である。
【００１８】
このように、雑音のスペクトルは、特定の周波数成分のレベルの変化率が大きくなることが多く、雑音の混入した音声信号のスペクトルにレベルの変化率が大きくなる周波数成分を現出させるという点に着目すれば、音声信号に混入した雑音のスペクトルを推定することができる。
【００１９】
なお、上述したように、周波数成分のレベルの変化率だけによって、混入した雑音のスペクトルを推定することもできるが、上述した閾値の設定は困難である場合も考えられる。つまり、雑音のスペクトルのレベル変化率が音声のスペクトルのレベル変化率とかけ離れていればよいが、雑音のスペクトルと音声のスペクトルとのレベル変化率の差が小さい場合、それを判定するための閾値の設定は難しくなる。
【００２０】
そこで、請求項３に示すように、雑音スペクトル推定手段は、入力信号に基づいて算出したスペクトルのレベル変化率が第１の閾値以上となる周波数を検出すると共に、当該周波数の２n 倍（ｎは整数）の近傍の周波数で、当該周波数におけるレベル変化率が第１の閾値よりも小さな第２の閾値以上となっているものを検出し、レベル変化率が第１又は第２の閾値以上となっている周波数におけるスペクトル成分に基づいて雑音スペクトルを推定するよう構成することが考えられる。
【００２１】
これは、雑音のスペクトルのレベル変化率と周波数との関係に着目したものである。すなわち、雑音のスペクトル中にレベル変化率が大きくなる周波数があると、その周波数を２n 倍した周波数でもレベル変化率が大きくなることが多いという関係に着目したものである。例えば図４に示すように、１ｋＨｚ、その倍の２ｋＨｚ、さらにその倍の４ｋＨｚ付近でレベル変化率が大きくなるという具合である。この前提に立てば、相対的にレベル変化率の大きな周波数があった場合、その周波数の２n 倍の周波数でレベル変化率が大きくなっていれば、その２n 倍の周波数におけるレベル変化は、雑音のスペクトルに起因するものとみなしてよい。そこで、最初に第１の閾値以上となる周波数を検出し、次に第１の閾値では判定できない雑音のスペクトルに起因するレベル変化を、上述した周波数間の関係を用い、第１の閾値よりも小さな第２の閾値で判定する。そして、このようにして検出された周波数におけるスペクトル成分に基づいて雑音スペクトルを推定する。ここでスペクトル成分に基づいて雑音スペクトルを推定するというのは、請求項２と同様である。この場合、周波数間の関係を用いることによって、閾値の設定が簡単になると共に、より正確に雑音のスペクトルを推定することができる。
【００２２】
なお、ここで「ｎは整数」としたが、例えば図４に示す例では、０ｋＨｚ＜（周波数×２n ）＜６ｋＨｚとなるようなｎについて考えればよい。すなわち、周波数×２n が考慮すべき周波数帯域に入るようなｎに限定される。但し、ｎは負の整数であることも考えられる。つまり、最初に検出された周波数の１／２倍の周波数、１／４倍の周波数・・・も考慮するのである。
【００２７】
ところで、予測雑音スペクトルとして、音声信号に混入する可能性の高い雑音のスペクトルを記憶するため、入力信号として雑音のみの雑音信号が入力された場合に、この雑音信号に基づいてスペクトルを算出し、算出したスペクトルを予測雑音スペクトルとして記憶しておくようにすることが考えられる。例えば、本装置が自動車内に設置されることを前提とすれば、請求項４に示すような構成を採用することが考えられる。すなわち、請求項１〜３の構成に加え、さらに、車両状態を検出する車両状態検出手段と、入力信号に音声が含まれている音声区間と音声が含まれていない雑音区間とを判定する判定手段と、判定手段によって判定された雑音区間の入力信号に基づいて算出したスペクトルを予測雑音スペクトルとし、車両状態検出手段によって検出される各車両状態に対応させて記憶する予測雑音スペクトル記憶制御手段を備える構成とすることが考えられる。
【００２８】
車両状態検出手段は、例えば車載オーディオ機器の音量、車速、窓の開閉状態、道路状態、車両の振動状態といった車両状態を検出する。そして、入力信号に音声が含まれている音声区間であるか音声が含まれていない雑音区間であるかは、判定手段によって判定され、予測雑音スペクトル記憶制御手段が、雑音区間における入力信号に基づいて算出されたスペクトルである予測雑音スペクトルを、上述した車両状態に対応させて記憶する。
【００２９】
本発明では、実際に雑音区間において入力された入力信号からスペクトルを算出し、予測雑音スペクトルとして記憶するのであるが、ここで特に、車両状態に対応させて記憶することを特徴としている。この技術思想の前提となるのは、車両状態が変われば発生する雑音の種類が変わるという認識である。すなわち、自動車内を考えた場合、各車両状態に対応して異なる種類の雑音が、音声信号に混入すると考えられるため、各車両状態に対応させて予測雑音スペクトルを記憶しておけば、それら予測雑音スペクトルは、音声信号に混入する可能性のある雑音のスペクトルとなるのである。
【００３０】
なお、予測雑音スペクトル記憶手段は、ある車両状態に対応する予測雑音スペクトルを一度記憶した後は、その車両状態となった場合であっても予測雑音スペクトルを記憶しないように構成することもできるし、同じように窓を開けた状態であっても周囲の環境が街中であるのと郊外であるのとでは雑音の種類も変わってくることが考えられるため、ある車両状態に対応する予測雑音スペクトルを一度記憶した後であっても、記憶した時から所定時間が経過している場合には、算出された予測雑音スペクトルを改めて記憶するように構成してもよい。前者のような構成とすれば、各車両状態に対応する予測雑音スペクトルを一度記憶すれば、その後は記憶処理が実行されないため、処理負荷軽減の点で有効であるし、一方、後者のような構成とすれば、所定時間が経過した後に予測雑音スペクトルが更新されるため、比較的現在時点に近い過去の雑音信号に基づいて算出された予測雑音スペクトルが記憶される。従って、音声信号に混入する雑音のスペクトルに類似した予測雑音スペクトルが記憶される可能性が高くなり、雑音成分の除去が効果的に行われる可能性がある。
【００３１】
また、上述した判定手段は、入力信号に音声が含まれている音声区間であるか音声が含まれていない雑音区間であるかを判定するのであるが、これは入力信号のパワーに基づいて判定することが考えられる。また、音声を入力させる期間を発声者自身が指定するために設けられた入力期間指定手段によって指定された入力期間を音声区間として判定するようにしてもよい。この入力期間指定手段としては、例えばＰＴＴ（Push-To-Talk）スイッチなどが考えられる。つまり、利用者がＰＴＴスイッチを押しながら音声を入力すると、そのＰＴＴスイッチが押されている間に入力された音声を処理対象として受け付けるのである。
【００３２】
なお、これまでは雑音抑圧装置としての構成及びその作用効果について説明したが、上述した雑音抑圧装置と、該雑音抑圧装置からの出力を、予め記憶されている複数の比較対象パターン候補と比較して一致度合の高いものを認識結果とする音声認識装置と、を備えることを特徴とする音声認識システムとして実現することもできる。
【００３３】
これら音声認識システムとして実現した場合の効果については、雑音抑圧装置として実現した場合と同様であるので、ここでは省略する。
また、このような音声認識システムは、種々の適用先が考えられるが、例えばいわゆるカーナビゲーションシステム用として用いることが考えられる。この場合には、例えば経路設定のための目的地などが音声にて入力できれば非常に便利である。また、ナビゲーションシステムだけでなく、例えば音声認識システムを車載空調システム用として用いることも考えられる。この場合には、空調システムにおける空調状態関連指示を利用者が音声にて入力するために用いることとなる。
【００３４】
【発明の実施の形態】
図１は本発明の実施形態の音声認識システムの概略構成を示すブロック図である。本音声認識システムは、車載用であり、マイク３０を介して入力された音声に対して雑音抑圧を行なう雑音抑圧装置１０と、その雑音抑圧装置１０からの出力を、予め記憶されている複数の比較対象パターン候補と比較して一致度合の高いものを認識結果とする音声認識装置２０とを備えている。また、雑音抑圧装置１０には、利用車が音声を入力する場合に押下するＰＴＴ（PushーtoーTalk）スイッチ４０が接続されている。さらに、車両状態を検出するためのオーディオ機器５１、速度センサ５２、加速度センサ５３、ナビゲーション装置５４及び窓開閉装置５５が接続されている。
【００３５】
図１に示すように、雑音抑圧装置１０は、音声入力部１１と、フレーム分割部１２と、フーリエ変換部１３と、雑音スペクトル推定部１４と、音声制御部１５と、減算部１６と、逆フーリエ変換部１７と、雑音記憶部１８とを備えている。以下各ブロックでの処理内容について説明する。
【００３６】
音声入力部１１は、マイク３０を介して入力されたアナログ音声信号を例えば１０ＫＨｚのサンプリング周波数でデジタル信号に変換し、フレーム分割部１２へ出力する。フレーム分割部１２は、音声入力部１１からの入力信号の区切りを判断し、例えば「とうきょうと」、「ちよだく」というような単語毎のフレームに切り出し、フーリエ変換部１３へ出力する。フーリエ変換部１３では、フレーム毎の時間関数の入力信号に対してフーリエ変換を行い、入力信号の周波数スペクトルを求める。この周波数スペクトルは、雑音スペクトル推定部１４及び減算部１６へ出力される。なお、以下、周波数スペクトルを単にスペクトルと記述する。
【００３７】
雑音スペクトル推定部１４には上述したＰＴＴスイッチ４０からの音声入力検出信号が入力されるようになっており、この音声入力信号を受け取ると、雑音スペクトル推定部１４は、フーリエ変換部１３からのスペクトルに基づき、そのスペクトルに含まれる雑音のスペクトルを推定する。そして、推定した雑音スペクトルを音声制御部１５へ出力する。
【００３８】
ここで雑音スペクトル推定部１４における雑音スペクトルの具体的な推定方法を説明する。なお、最初に、実際に測定した雑音信号に基づいて算出された雑音のスペクトルを示す図５を参照し、雑音のスペクトルの特徴を説明する。
図５に示すように、雑音の種類によって雑音のスペクトルの周波数成分は変わるのであるが、特に特定の周波数成分にレベル変化率の大きな部分が現出することが多い。レベル変化率とはスペクトル波形の傾きの絶対値であり、このレベル変化率が大きな部分は、図で言えば、スペクトル波形がグラフ縦軸方向に大きく突出した部分である。例えば図５（ａ）及び（ｂ）では、１ｋ，２ｋ，４ｋＨｚ付近でレベル変化率が大きくなっており、図５（ｃ）では、１．５ｋ，３ｋ，６ｋＨｚ付近でレベル変化率が大きくなっており、図５（ｄ）では、０〜６ｋＨｚの全体でレベル変化率が大きくなっている。
【００３９】
従って、雑音の混入した音声信号のスペクトルにもこのような雑音スペクトルの特徴が現れることが多い。例えば、図３（ａ）には、雑音の混入していない理想的な音声信号のスペクトルを示し、一方、図３（ｂ）には、雑音の混入した音声信号のスペクトルを示した。図３（ａ）と図３（ｂ）を比較すると分かるように、雑音の混入した音声信号のスペクトルには、特定の周波数成分にレベル変化率の大きな部分が現出している。
【００４０】
また、雑音のスペクトルにレベル変化率が大きくなる周波数があると、その周波数を２n 倍した周波数でもレベル変化率が大きくなることが多い。例えば図５（ａ）及び（ｂ）では、１ｋ，２ｋ，４ｋＨｚ付近でレベルの変化率が大きくなっており、図５（ｃ）では、１．５ｋ，３ｋ，６ｋ付近でレベル変化率が大きくなっている。
【００４１】
そこで、本実施形態では、雑音の混入した音声信号のスペクトルのレベル変化率と周波数とに基づいて雑音スペクトルを推定している。
具体的には、フーリエ変換部１３から出力される周波数ｆの関数であるスペクトルを周波数ｆで微分し、レベル変化率が第１の閾値以上となる周波数ｆ１を検出する。さらに、周波数ｆ１の２n 倍の周波数で、レベル変化率が第２の閾値以上となる周波数ｆ２を検出する。そして、レベル変化率が第１又は第２の閾値以上となっている周波数ｆ１，ｆ２におけるスペクトル成分を抽出し、検出された周波数ｆ１，ｆ２以外の周波数におけるスペクトル成分を用いて周波数ｆ１，ｆ２におけるスペクトル成分を補正し、その補正したスペクトル成分を有する雑音スペクトルを推定する。例えば、図４（ａ）に示した雑音の混入した音声信号のスペクトルから図４（ｂ）に示した雑音スペクトルが推定される。
【００４２】
なお、この雑音スペクトル推定部１４は、音声が入力されたことを示す音声入力検出信号を受け取っていない期間は、雑音スペクトルの推定処理を中止する。本実施形態においては、ＰＴＴ（Push-To-Talk）スイッチ４０が押されている場合にはこの音声入力検出信号が出力される。つまり、本音声認識システムでは、利用者がＰＴＴスイッチ４０を押しながらマイク３０を介して音声を入力するという使用方法である。そのため、ＰＴＴスイッチ４０が押されているということは利用者が音声を入力しようとする意志をもって操作したことであるので、その場合、実際には音声入力があるかないかを判断することなく、音声入力がされる期間（音声区間）であると捉えて処理しているのである。
【００４３】
ＰＴＴスイッチ４０の押下による音声入力検出信号が出力されない場合は、音声が入力されない期間（雑音区間）であると捉えて、フーリエ変換部１３からのスペクトルをそのまま音声制御部１５へ出力する。
次に音声制御部１５について説明する。音声制御部１５には、オーディオ機器５１からの音量、速度センサ５２からの車速、加速度センサ５３からの車両の振動状態、ナビゲーション装置５４からの道路状態（トンネル、砂利道など）、窓開閉装置５５からの窓の開閉状態が入力されるようになっており、音声制御部１５は、これら５つのデータに基づき車両状態を特定すると共に、以下説明する処理を行う。この音声制御部１５にも音声が入力されたことを示す音声入力検出信号が入力され、音声入力検出信号が入力されている場合（音声区間）と、音声入力検出信号が入力されていない場合（雑音区間）とで処理を変える。そこで、音声制御部１５における処理を以下分説する。
【００４４】
最初に、音声入力信号が入力されていない場合である雑音区間の処理を説明する。
この場合、上述したように音量、車速、加速度、道路状態、窓の開閉状態という５つのパラメータから定まる車両状態に対応する雑音のスペクトルが雑音記憶部１８に記憶されているか否かを判断し、記憶されていない場合には雑音スペクトル推定部１４から出力されたスペクトルを雑音記憶部１８に記憶する。これによって、雑音区間の入力信号に基づいてフーリエ変換部１３にて算出されたスペクトルが、各車両状態に対応して記憶されることになる。なお、雑音区間の入力信号に基づいてフーリエ変換部１３にて算出されたスペクトルを以下「予測雑音スペクトル」という。
【００４５】
続けて、音声入力検出信号が入力されている場合である音声区間の処理を説明する。
このとき、上述したように雑音スペクトル推定部１４からは、音声区間の入力信号に基づいてフーリエ変換部１３にて算出されたスペクトルに含まれる雑音のスペクトルを推定した雑音スペクトルが出力される。ここで音声制御部１５は、雑音スペクトル推定部１４から出力された雑音スペクトルと、各車両状態に対応させて雑音記憶部１８に記憶されている各予測雑音スペクトルとの類似度合を計算し、類似度合が所定値を越える予測雑音スペクトルを発見すると、その予測雑音スペクトルを減算部１６へ出力する。例えば、図４（ｂ）に示すような雑音スペクトルに基づいて、複数の予測雑音スペクトルの中から図４（ｃ）に示すような予測雑音スペクトルを出力するという具合である。
【００４６】
減算部１６では、フーリエ変換部１３から出力された雑音の混入した音声信号のスペクトルから、音声制御部１５から出力された予測雑音スペクトルを減算する。そして、逆フーリエ変換部１７では、減算部１６からの出力に対して逆フーリエ変換を施して時間関数の信号を求める。逆フーリエ変換部１７は、この信号を音声認識装置２０へ出力する。
【００４７】
このようにして、フレーム分割部１２での切り出し単位であるフレーム毎に得られる雑音の抑圧された時間関数の信号が順次音声認識装置２０へ送られる。
次に、この音声認識装置２０について説明する。
音声認識装置２０は、雑音抑圧装置１０からの出力を用いて一般的な分析手法である線形予測分析を行いパラメータを計算する。そして、予め計算しておいた認識対象語彙の標準パターン（特徴パラメータ系列）と、計算されたパラメータとの間で類似度計算を行なう。これらは周知のＤＰマッチング法、ＨＭＭ（隠れマルコフモデル）あるいはニューラルネットなどによって、この時系列データをいくつかの区間に分け、各区間が辞書データとして格納されたどの単語に対応しているかを求める。そして、各認識対象語彙のうち類似度が所定値を越える語彙を認識結果として図示しない各種アクチュエータ等の制御部へ出力する。一方、各認識対象語彙のうち類似度が所定値を越える語彙がない場合には、雑音抑圧装置１０の音声制御部１５へ認識不可であることを通知する。
【００４８】
音声認識装置２０から認識不可である旨の通知を受けると、雑音抑圧装置１０の音声制御部１５は、再び雑音スペクトル推定部１４から出力された雑音スペクトルに類似する別の予測雑音スペクトルを発見すべく、各車両状態に対応させて雑音記憶部１８に記憶されている予測雑音スペクトルとの類似度合を計算する。そして、類似度合が所定値を越える予測雑音スペクトルが発見されると、その予測雑音スペクトルを減算部１６へ出力する。一方、類似度合が所定値を越える予測雑音スペクトルが発見されない場合は、オーディオ機器５１及びナビゲーション装置５４へ利用者からの再入力を促すための指示信号を出力する。この指示信号に基づく指示は、スピーカ６０から音声として出力されると共に、ナビゲーション装置５４のモニタに文字として表示される。
【００４９】
以上、図１に基づいて各機能ブロックの説明をしたが、さらに上述した各処理の流れを明確にするため、次に本音声認識システムでの処理を図２のフローチャートに基づいて説明する。
まず最初のステップＳ１００において、入力処理を行う。この処理は、図１に示した音声入力部１１及びフレーム分割部１２の処理に相当するものである。すなわち、マイク３０を介して入力されたアナログ音声信号を例えば１０ＫＨｚのサンプリング周波数でデジタル信号に変換し、変換されたデジタル信号を例えば単語毎のフレームとして順次切り出す。
【００５０】
Ｓ１１０では、フーリエ変換を行う。この処理は、図１中に示したフーリエ変換部１３の処理に相当する。ここでは、フレーム毎の入力信号に対してフーリエ変換を行い、入力信号の周波数スペクトルを求め、その周波数スペクトルの振幅成分を２乗して入力信号のパワースペクトルを算出する。
【００５１】
Ｓ１２０では、車両状態を取得する。本実施形態で車両状態とは、図１中に示したオーディオ機器５１からの音量、速度センサ５２からの車速、加速度センサ５３からの車両の振動状態、ナビゲーション装置５４からの道路状態及び窓開閉装置５５からの窓の開閉状態という５つのパラメータによって定まる状態をいう。従って、ここではこれら５つのパラメータを取得し、この５つのパラメータから車両状態を特定する。なお、この処理は、図１中の音声制御部１５の処理に相当する。
【００５２】
Ｓ１３０では、ＰＴＴスイッチ４０がオンであるか否かを判断する。ここでＰＴＴスイッチ４０がオンである場合（Ｓ１３０：ＹＥＳ）、すなわち音声が入力される期間（音声区間）である場合には、Ｓ１６０へ移行する。一方、ＰＴＴスイッチ４０がオンでない場合（Ｓ１３０：ＮＯ）、すなわち雑音のみが入力される期間（雑音区間）である場合には、Ｓ１４０へ移行する。
ＰＴＴスイッチ４０がオフである場合に移行するＳ１４０からの処理は、Ｓ１１０でフーリエ変換されたフレーム信号が雑音のみの雑音信号である場合に相当する。Ｓ１４０では、Ｓ１２０にて特定された車両状態に対応して予測雑音スペクトルが既に雑音記憶部１８に記憶されているか否かを判断する。ここで予測雑音スペクトルが既に記憶されていると判断されると（Ｓ１４０：ＹＥＳ）、Ｓ１５０の処理を実行せずに、本雑音抑圧処理を終了する。一方、予測雑音スペクトルがまだ記憶されていないと判断されると（Ｓ１４０：ＮＯ）、Ｓ１５０にて、Ｓ１１０で算出されたスペクトルを予測雑音スペクトルとして雑音記憶部１８に記憶し、本雑音抑圧処理を終了する。なお、Ｓ１４０及びＳ１５０の処理は音声制御部１５の処理に相当する。
【００５３】
ＰＴＴスイッチ４０がオンである場合に移行するＳ１６０からの処理は、Ｓ１１０でフーリエ変換されたフレーム信号が雑音の混入した音声信号である場合に相当する。
Ｓ１６０では、Ｓ１１０にて算出されたスペクトルに含まれる雑音スペクトルを推定する。この処理は、図１中に示した雑音スペクトル推定部１４の処理に相当する。
【００５４】
続くＳ１７０では、Ｓ１６０にて算出された雑音スペクトルに類似する予測雑音スペクトルが雑音記憶部１８に記憶されているか否かを判断するものである。ここでは、雑音記憶部１８に記憶されている予測雑音スペクトルとＳ１６０にて算出された雑音スペクトルとの類似度合を順次算出しつつ、類似度合が所定値以上であるか否かを判断する。ここで類似度合が所定値以上の予測雑音スペクトルがあった場合（Ｓ１７０：ＹＥＳ）、Ｓ１８０へ移行する。一方、類似度合が所定値以上の予測雑音スペクトルがなかった場合（Ｓ１７０：ＮＯ）、Ｓ２１０へ移行する。
【００５５】
Ｓ１８０では、減算処理を行う。この処理は、図１中の減算部１６の処理に相当する。ここでは、Ｓ１１０にて算出されたスペクトルから、Ｓ１７０にて読み出された予測雑音スペクトルを減算する。その後、逆フーリエ変換が行われ、時間関数の信号が音声認識装置２０へ出力される。
【００５６】
Ｓ１９０では、音声認識できたか否かを判断する。この処理は、図１中の音声認識装置２０における処理である。ここでは、上述したような周知の方法によって、予め記憶されている各認識対象語彙のうち類似度が所定値を越える語彙があるか否かを判断する。ここで類似度が所定値を越える語彙があると判断された場合（Ｓ１９０：ＹＥＳ）、Ｓ２００にて、その語彙を認識結果として図示しない制御部へ出力する。一方、類似度が所定値を越える語彙がないと判断された場合（Ｓ１９０：ＮＯ）、Ｓ２１０へ移行する。
【００５７】
Ｓ１７０及びＳ１９０で否定判断された場合に移行するＳ２１０では、雑音記憶部１８に記憶されている予測雑音スペクトルについてＳ１６０にて算出された雑音スペクトルとの類似度合をすべて算出し類似判定したか否かを判断する。ここで雑音記憶部１８に記憶されている予測雑音スペクトルについてすべて類似判定している場合（Ｓ２１０：ＹＥＳ）、Ｓ２２０にて利用者に再入力を促す。この処理は、音声制御部１５が、オーディオ機器５１及びナビゲーション装置５４へ利用者からの再入力を促すための指示信号を出力するものである。その後、本雑音抑圧処理を終了する。一方、雑音記憶部１８に記憶されている予測雑音スペクトルについて類似判定をしていないものがある場合（Ｓ２１０：ＮＯ）、Ｓ１７０からの処理を繰り返す。
【００５８】
次に、本実施形態の音声認識システムの発揮する効果を説明する。なお、ここでの説明に対する理解を容易にするため、最初に従来の問題点について簡単に説明しておく。
従来より、雑音の混入した音声信号に基づいて算出したスペクトルから雑音のスペクトルを差し引いて、音声認識装置での認識率を向上させることが行われていたが、このときの雑音のスペクトルは、上述したように別のマイクロフォンを介して入力された雑音信号に基づいて算出されたり、または、音声信号が入力される以前に入力された過去の雑音信号に基づいて算出されたりしていたため、音声信号に混入した雑音と同じ種類の雑音のスペクトルである保障がなかった。従って、音声信号に混入した雑音とは異なる種類の雑音スペクトルを差し引いてしまうことがあり、音声信号に混入した雑音を適切に抑圧できず、音声認識率の低下につながっていた。
【００５９】
そこで、本実施形態の音声認識システムでは、ＰＴＴスイッチ４０がオフとなっている期間（雑音区間）に算出された雑音のスペクトルを予測雑音スペクトルとして雑音記憶部１８に記憶する際、取得した車両状態（図２中のＳ１２０）に対応させて複数種類記憶しておく（図２中のＳ１４０及びＳ１５０）。そして、ＰＴＴスイッチ４０がオンとなっている期間（音声区間）に算出された音声信号のスペクトルから、そのスペクトルに重畳した雑音スペクトルを推定し（図２中のＳ１６０）、この推定した雑音スペクトルに類似する予測雑音スペクトルが雑音記憶部１８に記憶されているか否かを判断する（図２中のＳ１７０）。ここで、雑音記憶部１８に記憶された予測雑音スペクトルに雑音スペクトルと類似するものがあれば、その予測雑音スペクトルを、雑音の混入した音声信号のスペクトルから減算し（図２中のＳ１８０）、音声認識を行う（図２中のＳ１９０）。
【００６０】
つまり、雑音区間にて算出された雑音のスペクトルである予測雑音スペクトルを従来ように一律に記憶しておくのではなく、車両状態が変われば発生する雑音の種類が変わるという前提に立ち、車両状態に対応させて記憶しておくのである。これによって、複数の種類の雑音のスペクトルが予測雑音スペクトルとして記憶されることになる。そして、音声区間にて算出された雑音の混入した音声のスペクトルに含まれる雑音のスペクトルを推定し、この雑音スペクトルに類似する予測雑音スペクトルを差し引く。従って、全く種類の異なる雑音のスペクトルを差し引いてしまう可能性がなくなり、音声信号と雑音信号とが混在した入力信号から雑音成分のみを適切に除去できる可能性が高くなる。結果として、音声認識装置２０における音声認識率の向上に寄与することができる。
【００６１】
なお、本実施形態においては、フレーム分割部１２における切り出し機能が「フレーム分割手段」に相当する。また、雑音スペクトル推定部１４において、音声入力検出信号の入力があると雑音の推定処理を始めたり、音声制御部１５において、音声入力検出信号の入力があると予測雑音スペクトルの検索処理を行い、音声入力検出信号の入力がないと雑音のスペクトルを予測雑音スペクトルとして記憶する処理を実行しているが、これが「判定手段」による音声区間と雑音区間の判定結果に基づく処理内容の変更に相当する。そして、フーリエ変換部１３が「スペクトル算出手段」に相当し、雑音スペクトル推定部１４が「雑音スペクトル推定手段」に相当する。また、減算部１６が「減算手段」に相当し、雑音記憶部１８が「予測雑音スペクトル記憶手段」に相当し、オーディオ機器５１、速度センサ５２、加速度センサ５３、ナビゲーション装置５４及び窓開閉装置５５が「車両状態検出手段」に相当し、音声制御部１５が「予測雑音スペクトル記憶制御手段」に相当し、ＰＴＴスイッチ４０が「入力期間指定手段」に相当する。
【００６２】
以上、本発明はこのような実施形態に何等限定されるものではなく、本発明の主旨を逸脱しない範囲において種々なる形態で実施し得る。
（１）例えば、上記実施形態においては、ＰＴＴスイッチ４０のオン・オフを判定し、ＰＴＴスイッチがオフである期間（雑音区間）の雑音のみの入力信号に基づいて算出された雑音のスペクトルを予測雑音スペクトルとして雑音記憶部１８に記憶する構成であった。このとき、車両状態に対応する予測雑音スペクトルを一度記憶した後は、その車両状態となった場合であっても予測雑音スペクトルを記憶しないようになっていた（図２中のＳ１４０：ＹＥＳ）。すなわち、各車両状態に対応する予測雑音スペクトルを一度記憶すれば、その後は記憶処理が実行されないため、処理負荷軽減の点で有効である。
【００６３】
これに対して、ある車両状態に対応する予測雑音スペクトルを一度記憶した後であっても、記憶した時から所定時間が経過している場合には、既に記憶されている予測雑音スペクトルを更新するように構成してもよい。なぜなら、同じように窓を開けた状態であっても周囲の環境が街中であるのと郊外であるのとでは雑音の種類も変わってくることが考えられ、なるべく現時点に近い過去に記憶された雑音のスペクトルを予測雑音スペクトルとした方がよいからである。このような構成とすれば、所定時間が経過した後に予測雑音スペクトルが更新されるため、より音声信号に混入した雑音に近い予測雑音スペクトルが記憶される可能性が高くなり、雑音成分の除去が効果的に行われる可能性が高くなる。
【００６４】
また、発生が予想される雑音が分かっている場合には、それら雑音のスペクトルを予測雑音スペクトルとして予め雑音記憶部１８に記憶しておいてもよい。この場合、ＰＴＴスイッチ４０によって音声区間と雑音区間を区別し、雑音区間において算出した雑音のスペクトルを記憶する必要がなくなるため、処理負荷軽減という点で有利である。
【００６５】
（２）また、上記実施形態では、雑音スペクトル推定部１４にて音声信号に混入した雑音のスペクトルを雑音スペクトルとして推定し（図２中のＳ１６０）、雑音記憶部１８に記憶された予測雑音スペクトルの中でこの雑音スペクトルに類似するものを減算部１６にて減算するようにしていたが（図２中のＳ１８０）、雑音スペクトル推定部１４にて推定した雑音スペクトルそのものを減算するようにしてもよい。この場合は、ＰＴＴスイッチ４０によって音声区間と雑音区間を区別し、雑音区間において算出した雑音のスペクトルを記憶する必要がなくなると共に、予測雑音スペクトルを記憶するための雑音記憶部も必要なくなるため、処理負荷軽減及び装置構成の簡略化を実現することができる。
【００６６】
（３）さらにまた、雑音スペクトル推定部１４における雑音スペクトルの推定方法について言えば、上記実施形態では、雑音の混入した音声のスペクトルのレベル変化率及び周波数に基づいて雑音を推定していたが、レベル変化率のみに基づいて雑音スペクトルを推定することもできる。
【００６７】
（４）また、上記実施形態では、フレーム信号をフーリエ変換した周波数スペクトルを用いて処理を行っていたが、フーリエ変換して得た周波数スペクトルの振幅成分である振幅スペクトルや、その振幅成分を２乗したパワースペクトルを用いて処理を行う構成とすることも考えられる。
【００６８】
（５）さらにまた、上記実施形態においては、音声を入力させる期間を発声者自身が指定するために設けられたＰＴＴスイッチ４０を用い、利用者がＰＴＴスイッチ４０を押しながら音声を入力すると、そのＰＴＴスイッチ４０が押されている間を音声区間とみなすようにしたが、実際の入力信号に基づいて音声区間と雑音区間を判定するようにしてもよい。例えば、入力信号のパワーに基づいて判定することが考えられる。
【図面の簡単な説明】
【図１】  実施形態の音声認識システムの概略構成を示すブロック図である。
【図２】  実施形態の音声認識システムで実行される雑音抑圧処理を示すフローチャートである。
【図３】  （ａ）は雑音の混入していない音声信号のスペクトルを例示し、（ｂ）は雑音の混入した音声信号のスペクトルを例示した説明図である。
【図４】  （ａ）は雑音の混入した音声信号のスペクトルを例示し、（ｂ）は（ａ）のスペクトルに基づいて推定された雑音スペクトルを例示し、（ｃ）は予め記憶された予測雑音スペクトルの中で（ｂ）のスペクトルに類似するものを例示した説明図である。
【図５】  種類の異なる雑音のスペクトルを例示した説明図である。
【図６】  従来の音声認識システムを例示する説明図である。
【符号の説明】
１０…雑音抑圧装置                    １１…音声入力部
１２…フレーム分割部                  １３…フーリエ変換部
１４…雑音スペクトル推定部            １５…音声制御部
１６…減算部                          １７…逆フーリエ変換部
１８…雑音記憶部                      ２０…音声認識装置
３０…マイク                          ４０…ＰＴＴスイッチ
５１…オーディオ機器                  ５２…速度センサ
５３…加速度センサ                    ５４…ナビゲーション装置
５５…窓開閉装置                      ６０…スピーカ
２００…音声認識システム              ２０１…音声用マイク
２０２…雑音用マイク                  ２０３…雑音抑圧装置
２０４…音声認識装置                  ２０５…ＰＴＴスイッチ
【図１】
0003900691.tif 000002
【図２】
0003900691.tif 000003
【図３】
0003900691.tif 000004
【図４】
0003900691.tif 000005
【図５】
0003900691.tif 000006
【図６】
0003900691.tif 000007