(57)【要約】【課題】  話者が移動しても、雑音に対して頑健な、音声認識システムと認識方法を提供する。【解決手段】  位置毎の雑音スペクトルを記憶し、位置毎の雑音を含む音響モデルを記憶し、位置を判別する。無発話区間でのマイクロホンからの音響信号のスペクトルと、位置毎の雑音スペクトルとを比較し、閾値以上の差異を検出した際に、閾値を越える部分の少なくとも一部を雑音除去部で雑音除去する。そして位置毎の音響モデルにより、音声認識する。【選択図】    図１
2011118124.tif 000002
【特許請求の範囲】
【請求項１】
マイクロホンからの音響信号中の雑音を、雑音除去部で処理して、音響モデルを記憶した音声認識部により音声認識するシステムであって、
位置毎の雑音スペクトルを記憶する雑音スペクトル記憶部と、
位置毎でかつ当該位置での雑音を含む音響モデルを記憶する音響モデル記憶部と、
位置の判別手段と、
無発話区間でのマイクロホンからの音響信号のスペクトルと、判別手段で判別した位置に対して雑音スペクトル記憶部に記憶されている雑音スペクトルとを比較する雑音比較部とを設けて、
雑音比較部で閾値以上の差異を検出した際に、発話区間でのマイクロホンからの音響信号に対し、前記閾値を越える部分の少なくとも一部を、雑音除去部で雑音除去し、
判別手段で判別した位置に対する音響モデルにより、前記音声認識部により音声認識を行うことを特徴とする、音声認識システム。
【請求項２】
サーバと複数の移動端末とからなり、かつ前記マイクロホンと判別手段とを端末に、雑音スペクトル記憶部と音響モデル記憶部と雑音比較部とをサーバに設け、
雑音除去部と音声認識部とを、サーバもしくは端末のいずれかに設けたことを特徴とする、請求項１の音声認識システム。
【請求項３】
前記判別手段は位置センサであることを特徴とする、請求項１または２の音声認識システム。
【請求項４】
音声認識用の辞書からなる言語モデルを複数記憶し、判別手段で判別した位置に応じて言語モデルを切り替えることを特徴とする、請求項１〜３のいずれかの音声認識システム。
【請求項５】
マイクロホンからの音響信号中の雑音を、雑音除去部で処理して、音響モデルを記憶した音声認識部により音声認識する方法であって、
記憶手段で位置毎の雑音スペクトルを記憶し、
記憶手段で位置毎でかつ当該位置での雑音を含む音響モデルを記憶し、
位置の判別手段で位置を判別し、
比較手段で、無発話区間でのマイクロホンからの音響信号のスペクトルと、判別手段で判別した位置に対して雑音スペクトル記憶部に記憶されている雑音スペクトルとを比較し、  閾値以上の差異を検出した際に、発話区間でのマイクロホンからの音響信号に対し、前記閾値を越える部分の少なくとも一部を、雑音除去部で雑音除去し、
判別手段で判別した位置に対する音響モデルにより、前記音声認識部により音声認識を行うことを特徴とする、音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声認識に関し、特に雑音への頑健性を向上させることに関する。
【背景技術】
【０００２】
特許文献１：特開2005-208483は、コールセンターなどでの音声認識について、話者の属する組織に応じて、言語モデルを変更することを開示している。この手法では、小さな語彙の言語モデルを複数用意し、話者に応じて変更することにより、誤認識を少なくする。また特許文献２：特許4003566は、騒音抑制のために、低周波側では非線形スペクトルサブトラクションを、高周波側ではウィナーフィルタまたはカルマンフィルタを作用させることを開示している。
【０００３】
特許文献１での言語モデルの切替を、雑音除去パラメータの切替に応用する場合、ある程度の時間をかけて雑音パラメータを学習する。しかし話者の移動速度が速い場合は、雑音パラメータの学習が追随できない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-208483
【特許文献２】特許4003566
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明の課題は、話者が移動しても雑音に対して頑健な、音声認識システムと認識方法を提供することにある。
またこの発明での追加の課題は、ピッキング、ガイダンス、ナビゲーションなどでの音声認識で、言語モデルを適切に切り替えることにある。  
【課題を解決するための手段】
【０００６】
この発明の音声認識装置は、マイクロホンからの音響信号中の雑音を、雑音除去部で処理して、音響モデルを記憶した音声認識部により音声認識するシステムであって、
位置毎の雑音スペクトルを記憶する雑音スペクトル記憶部と、
位置毎でかつ当該位置での雑音を含む音響モデルを記憶する音響モデル記憶部と、
位置の判別手段と、
無発話区間でのマイクロホンからの音響信号のスペクトルと、判別手段で判別した位置に対して雑音スペクトル記憶部に記憶されている雑音スペクトルとを比較する雑音比較部とを設けて、
雑音比較部で閾値以上の差異を検出した際に、発話区間でのマイクロホンからの音響信号に対し、前記閾値を越える部分の少なくとも一部を、雑音除去部で雑音除去し、
判別手段で判別した位置に対する音響モデルにより、前記音声認識部により音声認識を行うことを特徴とする。
【０００７】
この発明の音声認識方法は、マイクロホンからの音響信号中の雑音を、雑音除去部で処理して、音響モデルを記憶した音声認識部により音声認識する方法であって、
記憶手段で位置毎の雑音スペクトルを記憶し、
記憶手段で位置毎でかつ当該位置での雑音を含む音響モデルを記憶し、
位置の判別手段で位置を判別し、
比較手段で、無発話区間でのマイクロホンからの音響信号のスペクトルと、判別手段で判別した位置に対して雑音スペクトル記憶部に記憶されている雑音スペクトルとを比較し、  閾値以上の差異を検出した際に、発話区間でのマイクロホンからの音響信号に対し、前記閾値を越える部分の少なくとも一部を、雑音除去部で雑音除去し、
判別手段で判別した位置に対する音響モデルにより、前記音声認識部により音声認識を行うことを特徴とする。
【０００８】
この発明では、以下の効果が得られる。
(1)  雑音スペクトルの比較を通じ、あるいはGPS等の位置センサにより、話者の位置を判別する。そして位置毎で雑音を含む音響モデルを用いる。この結果、記憶済みの雑音スペクトルからの変化が小さい場合、雑音の影響を極く小さくできる。また同じ話者でも、周囲の環境により、音声が変化する。このことも場所毎の音響モデルに織り込み済みである。
(2)  話者の移動に対応して雑音を学習するのでなく、話者の位置を特定して、その位置に応じた音響モデルを用いる。このため話者の移動に速やかに追随できる。
(3)  場所毎の雑音スペクトルと現在の雑音スペクトルとが閾値以上異なる場合、雑音除去を行う。雑音除去は閾値を越える小さな部分、あるいはその一部に対して行えばよいので、音声信号を歪ませることが少ない。
この明細書で音声認識システムに関する記載は音声認識方法にもそのまま当てはまり逆に音声認識方法に関する記載は音声認識システムにもそのまま当てはまる。
【０００９】
好ましくは、音声認識システムはサーバと複数の移動端末とからなり、かつ前記マイクロホンと判別手段とを端末に、雑音スペクトル記憶部と音響モデル記憶部と雑音比較部とをサーバに設け、雑音除去部と音声認識部とを、サーバもしくは端末のいずれかに設ける。
【００１０】
また好ましくは、前記判別手段はＧＰＳ等の位置センサである。位置センサで話者の位置を判別すると、話者の移動に音響モデルの切替が遅れることがない。なお雑音スペクトルと実際の雑音との比較からも話者の位置を判別できるが、雑音の取得と比較とのため、位置の判別が話者の移動に遅れることがある。位置センサは音響モデルの切替等のために位置を判別できれば良く、高精度に位置を検出する必要はない。
【００１１】
好ましくは、音声認識用の辞書からなる言語モデルを複数記憶し、判別手段で判別した位置に応じて言語モデルを切り替える。話者の位置により言語モデルを切り替えることにより、より正確な音声認識ができる。
【図面の簡単な説明】
【００１２】
【図１】実施例の音声認識システムのブロック図
【図２】実施例での音響モデルと言語モデルの切替アルゴリズムを示す図
【図３】雑音スペクトルの記憶値と実際とがほぼ一致する例を示す図
【図４】雑音スペクトルの記憶値と実際との差異が閾値以上で、雑音除去を行う例を示す図
【図５】話者の位置により、書籍用と食品用との間で言語モデルを切り替える例を示す図
【図６】話者の位置により、ピッキング用とアソート用との間で言語モデルを切り替える例を示す図
【発明を実施するための最良の形態】
【００１３】
以下に本発明を実施するための最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書とこの分野の周知技術を参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１４】
図１〜図６に、実施例の音声認識システムを示す。図１において、２は音声認識システムのサーバで、複数の端末４と通信部１８，３８により接続されている。６は雑音比較部で、端末４から受信した雑音の音響データあるいは雑音のスペクトルと、例えばn個の位置に対して位置毎に雑音スペクトルを記憶した雑音スペクトル記憶部８のデータとを比較する。雑音比較部６は、実際の雑音と最も近い雑音スペクトルを与える位置を求めると、実際の雑音とその位置の雑音スペクトルとの差異が閾値以上か否かを判定する。なお端末４の位置情報取得デバイス２２から位置信号が送られてくる場合、どの位置の雑音スペクトルが実際の雑音に最も近いかの判定は不要である。雑音除去部１０は、実際の雑音と記憶した雑音スペクトルとの差異が閾値以上の場合に、閾値を越える部分あるいはその一部に対して、音声認識部１６での処理前に、スペクトルサブトラクションあるいはカルマンフィルタ，ウィナーフィルタなどにより、雑音除去を行う。
【００１５】
言語モデル記憶部１２は、端末４を装着した話者の移動範囲に応じて、例えばn個の言語モデルを記憶し、その作用は音声認識で得られた音素列を言語に変換する辞書である。位置に応じて言語モデルを切り替えることにより、その位置に応じた語彙の少ない小さな辞書で正確かつ高速な音声認識を行う。実施例では、位置と、言語モデルと、雑音スペクトルとを、互いに１：１：１に対応させる。しかし１つの言語モデルに対して、複数の位置と複数の雑音スペクトルとを対応させても良い。音響モデル記憶部１４は、位置毎にかつ話者毎に音響モデルを記憶する。ただし単純のため、話者と位置毎ではなく、位置のみに応じた音響モデルとしても良い。ここでの音響モデルは、少数のサンプルを用いて作成したもので、話者に応じて発音が異なることから、好ましくは話者毎の音響モデルとする。また同じ話者でも、環境雑音などが異なれば、同じ音素を異なって発音するので、位置に応じた音響モデルとする。端末４が１個の場合、話者毎に音響モデルを設ける必要はなく、また端末４にサーバ２の機能を持たせて、サーバ２を廃止しても良い。
【００１６】
音声認識部１６は、端末４から送信された音声信号を音声認識し、用いる音響モデルは端末４を装着している話者に対応し、かつ話者の位置での標準的な雑音を含んでいる。また用いる言語モデルも話者の位置に対応する。なお記憶している雑音スペクトルと実際の雑音スペクトルとの間に閾値以上の差異がある場合、雑音除去部１０で雑音を除去した後に、音声認識する。
【００１７】
実施例では、サーバ２は複数の端末４に対し、スピーカ２０からピッキングなどの作業を指令し、端末４を装着した作業者はマイクロホン２３から作業の状況などを報告し、これをサーバ２側で音声認識する。そこでタスク状態記憶部１７では、端末４毎のタスクの状態を記憶する。タスクの状態とは、例えばピッキングの指令とそれに対する報告である。なお実施例はこれ以外に、例えばメンテナンスや作業などで、話者が複数の位置を移動しながら発話する際の音声認識などにも用いることができる。またパイロット，外科医，歯科医などの音声認識に用いることができる。
【００１８】
端末４側の構成を説明する。スピーカ２０は作業者に対してピッキングなどの指示を行い、位置情報取得デバイス２２は例えばGPSであり、端末４の現在位置を求める。マイクロホン２３は作業者の音声をピックアップし、特徴抽出部２４で特徴量ベクトルなどに変換する。特徴量ベクトルは、発話区間を適宜の時間幅に分割し、各時間幅に対する音声データの周波数スペクトルの特徴量を１０〜２０次元等のベクトルとして抽出したものである。発話区間検出部２５は、発話区間と無発話区間とを識別し、例えばマイクロホン２３からの信号（特徴抽出部を迂回）が、所定の閾値の外側から内側へ変化し、かつ０をクロスした回数をカウントする。時間当たりのこの回数が所定値以上の場合を発話区間とし、そうでなければ無発話区間とする。これは、閾値以上の強さの信号が０クロッシングする時間当たりの頻度が高いと発話区間とすることである。なお発話区間の検出方法自体は任意である。雑音記憶部２６は、マイクロホン２３を介し、発話区間以外（無発話区間）の区間での周囲の雑音を記憶する。雑音は音響データとして記憶しても、あるいはそのスペクトルとして記憶してもよい。
【００１９】
実施例では、音声認識はサーバ２側で行うものとし、雑音除去部１０〜音声認識部１６をサーバ２に設けた。しかしながらこれらの処理を端末４で行っても良く、その場合サーバ２は端末４側での実際の雑音と、記憶部８に記憶した雑音スペクトルとを比較し、差異が閾値以上の場合、閾値を超える部分の雑音除去を端末４側へ要求する。またどの位置の音響モデルを用いるかを指令する。なおGPSは高価な機器であり、端末４がデバイス２２を備えていない場合、サーバ２は端末４からの雑音を、記憶部８で記憶した全ての雑音スペクトルと比較し、端末４の位置を雑音の類似度から判別する。
【００２０】
端末４側で音声認識を行う場合、雑音除去部２８と言語モデル記憶部３０並びに音響モデル記憶部３２、及び音声認識部３４を、端末４に設ける。言語モデルは位置毎の言語モデルであり、作業位置に応じて語彙を変更するためのものである。音響モデル記憶部３２は、端末４を装着している作業者の音響モデルを、位置を変えて雑音込みで記憶している。タスク状態記憶部３６は、端末４に関するピッキングなどのタスクの状態を記憶し、通信部３８はサーバ２と通信し、電池などの電源４０は端末４に電力を供給する。
【００２１】
ここで位置毎に音響モデルを作成し記憶することの意味を説明する。同じ話者でも周囲の雑音などが異なれば、音声が変化する。これは静かな場所での会話と、騒音の激しい場所での会話を比較すると、日常的に認められることである。また記憶する音響モデルは音声信号のみでなく、周囲の雑音を含んでいる。従って場所毎の音響モデル、より正確には場所と人毎の音響モデルを用いることにより、その場所での雑音を含み、実際の音声に近い音響モデルを記憶できる。
【００２２】
図２に音声認識のアルゴリズムを示す。端末側では発話区間以外で雑音を記録し、雑音データ（音響データ）あるいはそのスペクトルを求めて記憶する。またGPSなどを備えている場合、現在位置を常時求めておく（ステップ１）。発話が開始されたなどによりサーバ２と通信する際に、端末側からサーバ側へ現在位置と雑音データとを送信する。雑音データは雑音スペクトルとして送信しても良い。雑音データの他に、音声データを例えば特徴抽出部２４で特徴量ベクトルに変換し、サーバ２へ送信する（ステップ２）。なお端末４で音声認識を行う場合、音声データ自体の送信は不要である。
【００２３】
サーバ側では端末がGPSなどを備えていない場合、現在位置が不明として、ステップ３で受信した雑音と記憶した雑音スペクトルとを比較する。そして最も近い雑音スペクトルの位置に端末が存在するものとする。ステップ４で、現在位置に対応する雑音スペクトルの記憶値と、実際の雑音スペクトルとを比較し、差異が閾値以下であれば、その位置の音響モデルをそのまま使用する。差異が閾値以上では、閾値を越える誤差を解消するように雑音除去を実行する。雑音除去にはスペクトルサブトラクションなどを用いる。
【００２４】
このようにすると、用いる音響モデルは、その雑音が存在する位置でのその話者の音声に基づくものである。従って周囲の雑音は音声モデルに既に織り込み済みであり、記憶した雑音スペクトルから実際の雑音が閾値以上ずれている場合、これらの差異を解消するように雑音除去を実行する。この結果、雑音除去として小さな雑音除去を行えば良く、大規模な雑音除去を行った場合のように、音声信号が歪むことがない。サーバでは位置に応じて言語モデルを選択し（ステップ５）、ステップ６で音声認識を実行する。ピッキングなどの作業の場合、音声認識により作業の進捗状況を把握し、作業者の現在位置と合わせて次の作業を指示する。
【００２５】
図３，図４にスペクトルサブトラクションの例を示し、図３，図４の濃い線は記憶済みの雑音スペクトルを、淡い線は実際の雑音スペクトルを示す。図３ではこれらはほぼ一致している。図４では、記憶した雑音スペクトル４２と実際の雑音スペクトル４４には、図示しない閾値以上ずれた周波数帯があり、例えば閾値を越える部分はスペクトル４２，４４の間の領域４６とする。すると領域４６分、あるいはその一部の雑音除去を行い、例えばスペクトルサブトラクションにより、発話区間の音響信号のスペクトルから閾値を越えた部分（領域４６）、あるいはその２／３などを除去する。スペクトル４２分の雑音は音響モデルに既に織り込み済みで、音声認識の妨げとはならない。そして領域４６分の小さな雑音除去を行うので、音声信号を歪ませることが小さい。
【００２６】
図５，図６にピッキングでの応用を示す。図５の５０，５２は２人の作業者で、例えば作業者５０は実線の経路で書籍棚５３から食品棚５４へ移動してピッキングを行い、作業者５２は点線の経路で食品棚５４で先にピッキングし、書籍棚５３で次にピッキングするとする。作業者５０，５２の位置をGPSあるいは雑音スペクトルの比較などから求め、これに応じて言語モデルを切り替える。従って食品棚５４の付近で曖昧な語尾は「冊」ではなく「個」のはずであり、書籍棚５３の付近では曖昧な語尾は「個」ではなく「冊」と認識される。語彙を絞ることにより高速で正確な音声認識ができる。
【００２７】
図６では、作業者がピッキングゾーン６０とアソートゾーン６２（詰め合わせを行うゾーン）の間を、移動するとする。ピッキングゾーン６０では、作業者の音声信号はピッキングに対応する語彙を収容した言語モデルにより解釈され、アソートゾーン６２ではアソートに関する語彙を収容した言語モデルにより解釈される。
【００２８】
実施例では以下の効果が得られる。
(1)  雑音スペクトルの比較を通じ、あるいはGPS等の位置センサにより、話者の位置を判別する。そして位置毎で雑音を含む音響モデルを用いる。この結果、記憶済みの雑音スペクトルからの変化が小さい場合、雑音の影響を極く小さくできる。また同じ話者でも、周囲の環境により、音声が変化する。このことも場所毎の音響モデルに織り込み済みである。
(2)  話者の移動に対応して雑音を学習するのでなく、話者の位置を特定して、その位置に応じた音響モデルを用いる。このため話者の移動に速やかに追随できる。
(3)  特に位置センサで話者の位置を判別すると、話者の移動に音響モデルの切替が遅れることがない。なお雑音スペクトルと実際の雑音との比較からも話者の位置を判別できるが、雑音の取得と比較とのため、位置の判別が話者の移動に遅れることがある。
(4)  場所毎の雑音スペクトルと現在の雑音スペクトルとが閾値以上異なる場合、雑音除去を行う。雑音除去は閾値を越える小さな部分、あるいはその一部に対して行えばよいので、音声信号を歪ませることが少ない。
(5)  話者の位置により言語モデルを切り替えることにより、より正確な音声認識ができる。
(6)  なお話者が移動するのではなく、雑音スペクトルが種々のパターンの間で変化する場合、これらのパターン毎の雑音スペクトルを記憶し、現在の雑音がどのスペクトルに最も近いかを判別する。そして判別結果に従って、雑音スペクトル毎の音響モデルを切り替えると、効率的に音声認識できる。
【符号の説明】
【００２９】
２            サーバ
４            端末
６            雑音比較部
８            雑音スペクトル記憶部
１０，２８    雑音除去部
１２，３０    言語モデル記憶部
１４，３２    音響モデル記憶部
１６，３４    音声認識部
１７          タスク状態記憶部
１８，３８    通信部
２０          スピーカ
２２          位置情報取得デバイス
２３          マイクロホン
２４          特徴抽出部
２５          発話区間検出部
２６          雑音記憶部
３６          タスク状態記憶部
４０          電源
５０，５２    作業者
５３          書籍棚
５４          食品棚
６０          ピッキングゾーン
６２          アソートゾーン    
【図１】
2011118124.tif 000003
【図２】
2011118124.tif 000004
【図５】
2011118124.tif 000005
【図３】
2011118124.tif 000006
【図４】
2011118124.tif 000007
【図６】
2011118124.tif 000008