(57)【要約】【課題】従来よりも非定常雑音に頑健な、音響モデル学習技術、音声認識技術、これらの技術に用いられる雑音情報処理技術を提供する。【解決手段】収音部１０１により生成された音声信号に基づいて音声特徴量を生成し、収音部１０１により生成された雑音信号に基づいて雑音特徴量を生成する特徴量抽出部１０２と、雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、雑音特徴量が非定常雑音に対応するものであると判断された場合には、雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理装置１０３と、処理後の雑音特徴量及び音声特徴量を用いて音響モデルの学習をすることにより、音響モデルを生成する音響モデル学習部１０４と、を備えている。【選択図】図１
2018049041.tif 000002
【特許請求の範囲】
【請求項１】
目的音を収音することにより音声信号を生成し、背景雑音を収音することにより雑音信号を生成する収音部と、
上記音声信号に基づいて音声特徴量を生成し、上記雑音信号に基づいて雑音特徴量を生成する特徴量抽出部と、
上記雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、上記雑音特徴量が非定常雑音に対応するものであると判断された場合には、上記雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理装置と、
上記処理後の雑音特徴量及び上記音声特徴量を用いて音響モデルの学習をすることにより、音響モデルを生成する音響モデル学習部と、
を含む音響モデル学習装置。
【請求項２】
請求項１の音響モデル学習装置であって、
上記音声特徴量及び上記雑音特徴量は、フィルタバンク特徴量の対数値である、
音響モデル学習装置。
【請求項３】
目的音を収音することにより音声信号を生成し、背景雑音を収音することにより雑音信号を生成する収音部と、
上記音声信号に基づいて音声特徴量を生成し、上記雑音信号に基づいて雑音特徴量を生成する特徴量抽出部と、
上記雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、上記雑音特徴量が非定常雑音に対応するものであると判断された場合には、上記雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理装置と、
上記処理後の雑音特徴量及び上記音声特徴量と、請求項１の音響モデル学習装置により生成された音響モデルとを用いて音声認識を行う音声認識部と、
を含む音声認識装置。
【請求項４】
請求項３の音響認識装置であって、
上記音声特徴量及び上記雑音特徴量は、フィルタバンク特徴量の対数値である、
音声認識装置。
【請求項５】
入力された雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、上記雑音特徴量が非定常雑音に対応するものであると判断された場合には、上記雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理装置、
を含む雑音情報処理装置。
【請求項６】
収音部が、目的音を収音することにより音声信号を生成し、背景雑音を収音することにより雑音信号を生成する収音ステップと、
特徴量抽出部が、上記音声信号に基づいて音声特徴量を生成し、上記雑音信号に基づいて雑音特徴量を生成する特徴量抽出ステップと、
雑音情報処理装置が、上記雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、上記雑音特徴量が非定常雑音に対応するものであると判断された場合には、上記雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理ステップと、
音響モデル学習部が、上記処理後の雑音特徴量及び上記音声特徴量を用いて音響モデルの学習をすることにより、音響モデルを生成する音響モデル学習ステップと、
を含む音響モデル学習方法。
【請求項７】
入力された雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、上記雑音特徴量が非定常雑音に対応するものであると判断された場合には、上記雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理ステップ、
を含む雑音情報処理方法。
【請求項８】
請求項１若しくは２の音響モデル学習装置、請求項３若しくは４の音声認識装置又は請求項５の雑音情報処理装置の何れかの各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音響モデルを学習するための技術、音声を認識するための技術及び雑音を処理するための技術に関する。
【背景技術】
【０００２】
音響モデルを学習するための音声収録又は音声認識をするための音声収録においては、インテリジェントマイク（例えば、非特許文献１参照。）を用いて、発話者にフォーカスした音声と、背景雑音にフォーカスした音声とを収集することが行われている。
【０００３】
その際、雑音の影響による、音響モデルの学習及び音声認識の精度の低下を防ぐために、収録により得られた信号に対して雑音抑圧を行い、雑音が取り除かれた信号を用いて音響モデルの学習が行われることもあった。しかし、この方法では、音響モデルの学習は雑音の無い音声でのみ行われるため、実環境では前段で雑音を取り除けない場合に音声認識の性能が低下する可能性があった。
【０００４】
ところで、雑音には時間変化の小さい定常雑音と、観測する時間によって雑音の性質が異なる非定常雑音とが存在する。特に、非定常雑音が含まれる場合には、音声認識システムの性能は劣化する可能性があった。
【０００５】
スマートフォン等に搭載された音声認識を利用する場合、実環境で最も多いのは非定常雑音環境であり、この非定常雑音環境下で頑健に動作するシステムが求められていた。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ＮＴＴアドバンステクノロジ株式会社、“高騒音対応集音ソフトウェア  インテリジェントマイクライブラリ”、［online］、［平成２８年９月１２日検索］、インターネット〈URL：http://www.ntt-at.co.jp/product/i-mic/〉
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この発明は、従来よりも非定常雑音に頑健な、音響モデル学習装置、音声認識装置、これらの装置に用いられる雑音情報処理装置、これらの方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の一態様による音響モデル学習装置は、目的音を収音することにより音声信号を生成し、背景雑音を収音することにより雑音信号を生成する収音部と、音声信号に基づいて音声特徴量を生成し、雑音信号に基づいて雑音特徴量を生成する特徴量抽出部と、雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、雑音特徴量が非定常雑音に対応するものであると判断された場合には、雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理装置と、処理後の雑音特徴量及び音声特徴量を用いて音響モデルの学習をすることにより、音響モデルを生成する音響モデル学習部と、を備えている。
【０００９】
この発明の一態様による音声認識装置は、目的音を収音することにより音声信号を生成し、背景雑音を収音することにより雑音信号を生成する収音部と、音声信号に基づいて音声特徴量を生成し、雑音信号に基づいて雑音特徴量を生成する特徴量抽出部と、雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、雑音特徴量が非定常雑音に対応するものであると判断された場合には、雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理装置と、処理後の雑音特徴量及び音声特徴量と、請求項１の音響モデル学習装置により生成された音響モデルとを用いて音声認識を行う音声認識部と、を備えている。
【００１０】
この発明の一態様による雑音情報処理装置は、入力された雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、雑音特徴量が非定常雑音に対応するものであると判断された場合には、雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う雑音情報処理装置である。
【発明の効果】
【００１１】
従来よりも非定常雑音に頑健な、音響モデル学習装置、音声認識装置、これらの装置に用いられる雑音情報処理装置、これらの方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】音響モデル学習装置の例を説明するためのブロック図。
【図２】音響モデル学習方法の例を説明するための流れ図。
【図３】音声認識音響モデル学習装置の例を説明するためのブロック図。
【図４】音響モデル学習方法の例を説明するための流れ図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、この発明の一実施形態について説明する。
【００１４】
[音響モデル学習装置及び方法]
音響モデル学習装置のブロック図を図１に示す。
【００１５】
音響モデル学習装置は、図１に示すように、収音部１０１、特徴量抽出部１０２、雑音情報処理装置１０３、音響モデル学習部１０４及び音響モデル記憶部１０６を例えば備えている。音響モデル学習方法は、音響モデル学習装置の各部が、図２及び以下に説明するステップＳ１からステップＳ４の処理により例えば実現される。
【００１６】
以下、音響モデル学習装置の各部の処理について説明する。
【００１７】
＜収音部１０１＞
収音部１０１において、目的音及び背景雑音が収音される。収音部１０１は、目的音を収音することにより音声信号を生成し、背景雑音を収音することにより雑音信号を生成する（ステップＳ１）。
【００１８】
収音部１０１は、例えば２個のインテリジェントマイクである。以下、「インテリジェントマイク」のことを、「インテリマイク」とも言う。インテリマイクの詳細については、例えば非特許文献１を参照のこと。
【００１９】
インテリマイクの一方は目的音を収音するために話者にフォーカスされ、他方のインテリマイクは目的音ではない周囲の背景雑音を収音するために周辺雑音に対してフォーカスされる。所望の箇所に対するフォーカスは、インテリマイクの内部パラメータを変更することにより実現できる。
【００２０】
目的音及び背景雑音への焦点の位置については、目的音及び雑音が移動しない場合は、位置が既知であるとして焦点を固定し、目的音が移動する場合にはインテリマイク自体の機能により音源位置を推定した後に焦点を合わせる。これにより、例えば3chの音声信号及び3chの雑音信号が得られる。
【００２１】
得られた信号は、特徴量抽出部１０２に出力される。
【００２２】
＜特徴量抽出部１０２＞
特徴量抽出部１０２は、音声信号に基づいて音声特徴量を生成し、雑音信号に基づいて雑音特徴量を生成する（ステップＳ２）。
【００２３】
例えば、特徴量抽出部１０２は、まず、音声信号及び雑音信号のそれぞれに対して、インテリマイクにおける前処理を行う。インテリマイクにおける前処理とは、3chの信号よりフォーカス部分の信号のみを抽出し、1chの処理済み音声を出力するものである。
【００２４】
その後、特徴量抽出部１０２は、インテリマイクにおける前処理後の信号のそれぞれに対して、特徴量抽出を行い、フィルタバンク特徴量を得る。
【００２５】
その後、特徴量抽出部１０２は、フィルタバンク特徴量の対数をとり、時間変化に関する特徴量を付加する。フィルタバンク特徴量の算出及びその後の処理に関しては、既存の技術を用いることができる。このように、特徴量抽出部１０２は、音声特徴量及び雑音特徴量として、フィルタバンク特徴量の対数値を用いてもよい。
【００２６】
生成された音声特徴量は、音響モデル学習部１０４に出力される。生成された雑音特徴量は、雑音情報処理装置１０３に出力される。音声特徴量及び雑音特徴量は、ベクトルの形式で表現することもできるため、それぞれ音声特徴量ベクトル及び雑音特徴量ベクトルとも表記する。
【００２７】
＜雑音情報処理装置１０３＞
雑音情報処理装置１０３は、特徴量抽出部１０２から得られた雑音特徴量が定常雑音か非定常雑音下を判定し、それぞれの雑音に適した処理を行う。具体的には、雑音情報処理装置１０３は、雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、雑音特徴量が非定常雑音に対応するものであると判断された場合には、雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う（ステップＳ３）。
【００２８】
雑音特徴量は、エアコンの音のように時間によってあまり大きく変化しない定常雑音と、街中のようにその時々によって雑音の性質が大きく変化する非定常雑音との２種類に分けることができる。これらの雑音は、特性が全く異なるため、それぞれ違った対処法を取ることが好ましい。
【００２９】
雑音が定常化であるか非定常であるかの判断は、システムが保持している平均雑音ベクトルと入力された雑音特徴量ベクトルとの類似性から判断することができる。
【００３０】
平均雑音ベクトルは、例えば、直前の時刻までの定常雑音の平均値から求められるベクトルである。平均雑音ベクトルの初期値の求め方は、予め観測しておいた定常雑音から計算して求めておくか、あるいは入力音声の始めの部分に含まれる非音声区間から初期値を与える方法等いくつかのやり方がある。
【００３１】
ベクトル間の類似度の判定方法は、既存の技術を用いることができる。例えば、コサイン類似度を用いる場合、以下の式(1)のように平均雑音ベクトルn_aveと入力ベクトルn_intの内積をとることで２つのベクトルがなす角を求め、それを類似度として用いることで判定することができる。
【００３２】
【数１】
2018049041.tif 000003
【００３３】
例えば上記式(1)により定義されるコサイン類似度は、２本のベクトルが近いほど、１に近い値を示す。
【００３４】
例えば上記式(1)により定義されるコサイン類似度が閾値より大きければ定常雑音、閾値以下の時非定常雑音と判定する。閾値は、-1から1までの間で好きな値をとることができる。
【００３５】
類似度を求めた結果、定常雑音と判定された場合は、雑音特徴量と平均雑音ベクトルとの平均をとり、それを時刻tにおける新たな平均雑音ベクトルとして用いる。
【００３６】
非定常雑音と判定された場合、そのままでは認識に悪影響を及ぼすため、雑音特徴量を定常雑音に性質を近づけるような処理を行う。定常雑音への変換に関しても、様々な手法を用いることができるが、例えば、コサイン類似度の計算を行っていた場合は、２つのベクトルがなす角度が既に求まっているため、雑音特徴量ベクトルにその角度のコサインを作用させて回転を加えることで、平均雑音ベクトルに性質を近づけることが可能になる。多次元ベクトルの回転に関しては、例えば参考文献１の技術を用いることができる。
〔参考文献１〕A. Antonio; P. A. Ricardo, “General n-Dimensional Rotations,” WSCG 2004, pp. 1-8, 2004
【００３７】
雑音特徴量が非定常雑音に対応するものであると判断された場合には、定常雑音に対応する雑音特徴量に近づける処理が行われた雑音特徴量は、音響モデル学習部１０４に出力される。雑音特徴量が定常雑音に対応するものであると判断された場合には、その雑音盗聴量は、音響モデル学習部１０４に出力される。
【００３８】
＜音響モデル学習部１０４＞
音響モデル学習部１０４は、特徴量抽出部１０２が出力した音声特徴量と、雑音情報処理装置１０３が出力した雑音特徴量とを用いて音響モデルの学習を行うことにより、音響モデルを生成する（ステップＳ４）。
【００３９】
音響モデル学習方法として、DNN音響モデルに対する学習方法等の既存の音響モデル学習方法を用いることができる。例えば、参考文献２に記載された方法を用いることができる。
〔参考文献２〕Hinton, et al. , ” A fast learning algorithm for deep belief nets.”, Neural Computation, Vol18, No.7, pp.1527-1554, 2006
生成された音響モデルは、音響モデル記憶部１０６に記憶される。
【００４０】
[音声認識装置及び方法]
音響認識装置のブロック図を図３に示す。
【００４１】
音響認識装置は、図１に示すように、収音部１０１、特徴量抽出部１０２、雑音情報処理装置１０３、音声認識部１０５及び音響モデル記憶部１０６を例えば備えている。音声認識方法は、音声認識装置の各部が、図４及び以下に説明するステップＳ１からステップＳ５の処理により例えば実現される。
【００４２】
以下、音声認識装置の各部の処理について説明する。なお、音響モデル学習装置と異なる部分である音声認識部１０５を中心に説明する。音響モデル学習装置と同様の部分については、重複説明を省略する。
【００４３】
＜収音部１０１＞
収音部１０１は、音響モデル学習装置の収音部１０１と同様である。
【００４４】
＜特徴量抽出部１０２＞
特徴量抽出部１０２は、音響モデル学習装置の特徴量抽出部１０２と同様にして、音声信号に基づいて音声特徴量を生成し、雑音信号に基づいて雑音特徴量を生成する（ステップＳ２）。
【００４５】
生成された音声特徴量は、音響モデル学習部１０４に出力される。
【００４６】
＜雑音情報処理装置１０３＞
雑音情報処理装置１０３は、音響モデル学習装置の雑音情報処理装置１０３と同様にして、雑音情報処理装置１０３は、雑音特徴量が定常雑音に対応するものであるか非定常雑音に対応するものであるかを過去の定常雑音又は非定常雑音に対応する雑音特徴量を用いて判断し、雑音特徴量が非定常雑音に対応するものであると判断された場合には、雑音特徴量を定常雑音に対応する雑音特徴量に近づける処理を行う（ステップＳ３）。
【００４７】
＜音響モデル記憶部１０６＞
音響モデル記憶部１０６には、音響モデル学習装置により生成された音響モデルが、記憶されている。
【００４８】
＜音声認識部１０５＞
音声認識部１０５は、特徴量抽出部１０２が出力した音声特徴量と、雑音情報処理装置１０３が出力した雑音特徴量と、音響モデル記憶部１０６から読み込んだ音響モデルとを用いて音声認識を行う（ステップＳ５）。その際、音声音声認識として、既存の技術を用いることができる。
【００４９】
[プログラム及び記録媒体]
音響モデル学習装置、音声認識装置又は雑音情報処理装置における各処理をコンピュータによって実現する場合、これらの装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置の処理がコンピュータ上で実現される。
【００５０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００５１】
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００５２】
[変形例]
音声認識装置は、図３に破線で示すように、音響モデル学習部１０４を更に備えていてもよい。この場合、音響モデル学習部１０４は、音響モデル学習装置の音響モデル学習部１０４と同様の処理により音響モデルを生成し、生成した音響モデルを音声認識部１０５に出力する。そして、音声認識部１０５は、音響モデル記憶部１０６から読み込んだ音響モデルに代えて、音響モデル学習部１０４により生成された音響モデルを用いて、音声認識処理を行う。
【００５３】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【図１】
2018049041.tif 000004
【図２】
2018049041.tif 000005
【図３】
2018049041.tif 000006
【図４】
2018049041.tif 000007