(57)【要約】【課題】インパルス応答の類似性を測定するために用いる特徴量を抽出する。【解決手段】データ記憶部９は、複数の相異なる音響環境に関連するデータを記憶する。インパルス応答測定部１は、ユーザ環境のインパルス応答を測定する。特徴量算出部２は、ユーザ環境のインパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する。特徴量算出部２は、音響環境で測定したインパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する。データ選択部３は、ユーザ環境のインパルス応答から算出した特徴量と音響環境のインパルス応答から算出した特徴量との距離に基づいてユーザ環境に対応する音響環境に関連するデータを選択する。【選択図】図１
2018084594.tif 000002
【特許請求の範囲】
【請求項１】
インパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する特徴量算出部と、
ユーザ環境のインパルス応答を測定するインパルス応答測定部と、
複数の相異なる音響環境に関連するデータとその音響環境で測定したインパルス応答から算出した上記特徴量とを関連付けて記憶するデータ記憶部と、
上記ユーザ環境のインパルス応答から算出した上記特徴量と上記音響環境のインパルス応答から算出した上記特徴量との距離に基づいて上記ユーザ環境に対応する音響環境に関連するデータを選択するデータ選択部と、
を含む特徴量抽出装置。
【請求項２】
クリーン音声を記憶するクリーン音声記憶部と、
複数の相異なる音響環境で測定したインパルス応答を記憶するインパルス応答記憶部と、
インパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する特徴量算出部と、
上記音響環境のインパルス応答の特徴量間の距離に基づいて上記インパルス応答を複数のグループに分類するインパルス応答分類部と、
各グループに分類されたインパルス応答それぞれを上記クリーン音声にたたみ込んで各グループに対応する学習用音声を生成する学習データ生成部と、
各グループに対応する学習用音声を用いて各グループに対応する音響モデルを学習する音響モデル学習部と、
を含む音響モデル学習装置。
【請求項３】
インパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する特徴量算出部と、
ユーザ環境のインパルス応答を測定するインパルス応答測定部と、
複数の相異なる音響環境に対応する学習用音声を用いて学習した音響モデルとその音響環境で測定したインパルス応答から算出した上記特徴量とを関連付けて記憶する音響モデル記憶部と、
上記ユーザ環境のインパルス応答の特徴量と各音響モデルに対応するインパルス応答の特徴量との距離に基づいて上記ユーザ環境に対応する音響モデルを選択する音響モデル選択部と、
を含む音響モデル選択装置。
【請求項４】
データ記憶部に、複数の相異なる音響環境に関連するデータが記憶されており、
インパルス応答測定部が、ユーザ環境のインパルス応答を測定し、
特徴量算出部が、ユーザ環境のインパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出し、
上記特徴量算出部が、上記音響環境で測定したインパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出し、
データ選択部が、上記ユーザ環境のインパルス応答から算出した上記特徴量と上記音響環境のインパルス応答から算出した上記特徴量との距離に基づいて上記ユーザ環境に対応する音響環境に関連するデータを選択する
を含む特徴量抽出方法。
【請求項５】
請求項１に記載の特徴量抽出装置、請求項２に記載の音響モデル学習装置、または請求項３に記載の音響モデル選択装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ユーザ環境の音響特性を表すインパルス応答から特徴量を抽出し、インパルス応答の類似性を評価する技術に関する。
【背景技術】
【０００２】
音声を入力インターフェースとして扱うシステムにおいて、その性能はユーザ利用環境に大きく影響される。性能劣化の要因としては、発話による要因と音環境による要因とが考えられる。音環境による要因を改善するためには、ユーザ環境をシステム上で再現する必要がある。そのような従来技術としては、実環境で収録したデータを用いて再現する手法と、計算機シミュレーション上でユーザ環境を模擬する手法とがある。非特許文献１には、人工残響インパルス応答をクリーン音声に畳み込んで生成した学習用音声から音響モデルを学習し、音声認識性能を測定する手法が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】西亀健太，渡部晋治，西本卓也，小野順貴，嵯峨山茂樹，“複数残響特性下の音声を単一モデル学習に用いた未知残響環境に頑健な音声認識の検討”，電子情報通信学会技術研究報告，vol. 108(66)，pp. 43-48，May 2008
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実環境で音声データを収録する場合、大きなコストがかかるという問題がある。計算機シミュレーション上でユーザ環境を模擬する場合、コストを削減することが可能であるが、模擬するための指針を決める必要がある。ユーザ環境で取得される情報（インパルス応答）から特徴量を抽出し、その特徴量に基づいて音響特性の類似度を算出することができれば、ユーザ環境を模擬するための適切なデータを選択することができると考えられる。しかしながら、どのような特徴量であれば適切に音響特性の類似度を評価できるかは明らかでなかった。
【０００５】
この発明の目的は、上述のような点に鑑みて、インパルス応答の特徴量に基づいてユーザ環境に適合したデータを選択することができる特徴量抽出技術を提供することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、この発明の第一の態様の特徴量抽出装置は、インパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する特徴量算出部と、ユーザ環境のインパルス応答を測定するインパルス応答測定部と、複数の相異なる音響環境に関連するデータとその音響環境で測定したインパルス応答から算出した特徴量とを関連付けて記憶するデータ記憶部と、ユーザ環境のインパルス応答から算出した特徴量と音響環境のインパルス応答から算出した特徴量との距離に基づいてユーザ環境に対応する音響環境に関連するデータを選択するデータ選択部と、を含む。
【０００７】
この発明の第二の態様の音響モデル学習装置は、クリーン音声を記憶するクリーン音声記憶部と、複数の相異なる音響環境で測定したインパルス応答を記憶するインパルス応答記憶部と、インパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する特徴量算出部と、音響環境のインパルス応答の特徴量間の距離に基づいてインパルス応答を複数のグループに分類するインパルス応答分類部と、各グループに分類されたインパルス応答それぞれをクリーン音声にたたみ込んで各グループに対応する学習用音声を生成する学習データ生成部と、各グループに対応する学習用音声を用いて各グループに対応する音響モデルを学習する音響モデル学習部と、を含む。
【０００８】
この発明の第三の態様の音響モデル選択装置は、インパルス応答における後部残響のパワーが全体のパワーに占める割合を表す特徴量を算出する特徴量算出部と、ユーザ環境のインパルス応答を測定するインパルス応答測定部と、複数の相異なる音響環境に対応する学習用音声を用いて学習した音響モデルとその音響環境で測定したインパルス応答から算出した特徴量とを関連付けて記憶する音響モデル記憶部と、ユーザ環境のインパルス応答の特徴量と各音響モデルに対応するインパルス応答の特徴量との距離に基づいてユーザ環境に対応する音響モデルを選択する音響モデル選択部と、を含む。
【発明の効果】
【０００９】
この発明によれば、インパルス応答から算出した特徴量間の距離により音響特性の類似度を評価することができるため、ユーザ環境に適合したデータを選択することができる。特に、音声認識で用いる音響モデルをユーザ環境の音響特性に合わせて学習して利用することができるため、音声認識の精度を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、特徴量抽出装置の機能構成を例示する図である。
【図２】図２は、特徴量抽出方法の処理手続きを例示する図である。
【図３】図３は、音響モデル学習装置の機能構成を例示する図である。
【図４】図４は、音響モデル選択装置の機能構成を例示する図である。
【図５】図５は、音声認識方法の処理手続きを例示する図である。
【図６】図６は、実験結果を示す図である。
【図７】図７は、実験結果を示す図である。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１２】
＜第一実施形態＞
この発明の第一実施形態は、ユーザ環境で測定したインパルス応答から算出した特徴量に基づいて、そのユーザ環境を模擬するためのデータを選択する特徴量抽出装置および方法である。第一実施形態の特徴量抽出装置は、図１に示すように、インパルス応答測定部１、特徴量算出部２、データ選択部３、およびデータ記憶部９を含む。この特徴量抽出装置が図２に示す各ステップの処理を行うことにより第一実施形態の特徴量抽出方法が実現される。
【００１３】
特徴量抽出装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知または専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。特徴量抽出装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。特徴量抽出装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、特徴量抽出装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。特徴量抽出装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。特徴量抽出装置が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。
【００１４】
特徴量抽出装置のデータ記憶部９には、複数の音響環境を模擬するためのデータが、各音響環境で測定したインパルス応答から算出した特徴量と関連付けられて記憶されている。この特徴量は、後述する特徴量抽出部２により算出されたものである。音響環境を模擬するためのデータは、従来技術において計算機シミュレーションを行うために必要とされるデータであり、その内容は計算機シミュレーションの仕様により異なる。ここでは、音響環境で測定したインパルス応答の波形データであるものとする。
【００１５】
ステップＳ１において、特徴量抽出装置のインパルス応答測定部１は、ユーザ環境の空間音響特性を表すインパルス応答を測定する。以下、測定したインパルス応答をh(t)と表す。なお、tは時間を表す。インパルス応答は、公知のインパルス応答測定技術を用いて測定すればよい。測定したインパルス応答h(t)は特徴量算出部２へ送られる。
【００１６】
ステップＳ２において、特徴量抽出装置の特徴量算出部２は、インパルス応答測定部１からインパルス応答h(t)を受け取り、インパルス応答h(t)を直接音成分、初期反射成分、後部残響成分に分離して、後部残響成分のパワーが全体のパワーに占める割合を特徴量として算出する。以下、算出した特徴量をDと表す。特徴量Dは、例えば、式（１）により算出することができる。
【００１７】
【数１】
2018084594.tif 000003
【００１８】
ただし、t1は後部残響が開始する時間を表す。算出したインパルス応答h(t)の特徴量Dはデータ選択部３へ送られる。
【００１９】
ステップＳ３において、特徴量抽出装置のデータ選択部３は、特徴量算出部２からインパルス応答h(t)の特徴量Dを受け取り、インパルス応答h(t)から算出した特徴量Dとデータ記憶部９に記憶されている各インパルス応答から算出した特徴量との距離に基づいて、ユーザ環境を模擬するためのデータを選択し、出力する。出力されたデータは、計算シミュレーション上でユーザ環境を模擬するために用いられ、ユーザ環境を分析することが可能となる。特徴量間の距離の算出方法は、特徴量間の差分の絶対値を用いてもよいし、ユークリッド距離を用いてもよい。データの選択にあたっては、距離が０のもののみを選択するのではなく、一定の拡がりを持たせて選択するようにする。例えば、特徴量間の距離が予め定めた閾値よりも短い場合にも特徴量が一致するものとみなす。これにより、ユーザ環境の軽微な変化による性能劣化を防ぐことができる。
【００２０】
上記のように構成することにより、第一実施形態の特徴量抽出装置によれば、空間音響特性を表すインパルス応答の類似性を評価することが可能な特徴量を抽出することができる。そのため、インパルス応答の特徴量間の類似性（距離）に基づいて、予め用意した様々な音響環境を模擬するデータの中からユーザ環境を模擬するためのデータを適切に選択することができる。
【００２１】
＜第二実施形態＞
この発明の第二実施形態は、様々な音響環境を模擬した学習用音声を生成し、それらを用いて様々な音響環境に対応した音響モデルを学習する音響モデル学習装置および方法と、様々な音響環境に対応した音響モデルからユーザ環境に適した音響モデルを選択する音響モデル選択装置および方法である。
【００２２】
第二実施形態の音響モデル学習装置は、図３に示すように、インパルス応答記憶部１１、特徴量算出部１２、インパルス応答分類部１３、学習データ生成部１４、音響モデル学習部１５、音響モデル記憶部１６、およびクリーン音声記憶部１９を含む。第二実施形態の音響モデル選択装置は、図４に示すように、音響モデル記憶部１６、インパルス応答測定部２１、特徴量算出部２２、および音響モデル選択部２３を含む。この音響モデル学習装置および音響モデル選択装置が図５に示す各ステップを実行することで第二実施形態の音声認識方法が実現される。
【００２３】
音響モデル学習装置のインパルス応答記憶部１１には、様々な音響環境において測定された複数のインパルス応答が記憶されている。
【００２４】
音響モデル学習装置のクリーン音声記憶部１９には、事前に用意しておいたクリーン音声が記憶されている。
【００２５】
ステップＳ１２において、音響モデル学習装置の特徴量算出部１２は、インパルス応答記憶部１１に記憶されている各インパルス応答から後部残響成分のパワーが全体のパワーに占める割合を特徴量として算出する。特徴量の算出方法は、第一実施形態の特徴量算出部２と同様である。算出した各インパルス応答の特徴量はインパルス応答分類部１３へ送られる。
【００２６】
ステップＳ１３において、音響モデル学習装置のインパルス応答分類部１３は、特徴量算出部１２から複数のインパルス応答の特徴量を受け取り、特徴量間の距離に基づいてインパルス応答を複数のグループに分類する。各インパルス応答はグループ毎に学習データ生成部１４へ送られる。
【００２７】
ステップＳ１４において、音響モデル学習装置の学習データ生成部１４は、インパルス応答分類部１３からグループ毎にインパルス応答を受け取り、各グループに含まれるインパルス応答それぞれをクリーン音声記憶部１９に記憶されたクリーン音声に畳み込んで、各グループに対応する学習用音声を生成する。例えば、１０個のクリーン音声が存在し、グループに含まれるインパルス応答が５個あったとしたら、５０個の学習用音声が生成されることになる。生成した学習用音声はグループ毎に音響モデル学習部１５へ送られる。
【００２８】
ステップＳ１５において、音響モデル学習装置の音響モデル学習部１５は、学習データ生成部１４からグループ毎に学習用音声を受け取り、各グループに対応する学習用音声を用いてグループ毎に音響モデルを学習する。学習した各グループに対応する音響モデルは各グループに含まれるインパルス応答と関連付けて音響モデル記憶部１６へ記憶される。
【００２９】
ステップＳ２１において、音響モデル選択装置のインパルス応答測定部２１は、ユーザ環境の空間音響特性を表すインパルス応答h(t)を測定する。インパルス応答の測定方法は、第一実施形態のインパルス応答測定部１と同様である。測定したインパルス応答h(t)は特徴量算出部２２へ送られる。
【００３０】
ステップＳ２２において、音響モデル選択装置の特徴量算出部２２は、インパルス応答測定部２１からインパルス応答h(t)を受け取り、インパルス応答h(t)を直接音成分、初期反射成分、後部残響成分に分離して、後部残響成分のパワーが全体のパワーに占める割合を特徴量Dとして算出する。特徴量の算出方法は、第一実施形態の特徴量算出部２と同様である。算出したインパルス応答h(t)の特徴量Dは音響モデル選択部２３へ送られる。
【００３１】
ステップＳ２３において、音響モデル選択装置の音響モデル選択部２３は、特徴量算出部２２からインパルス応答h(t)の特徴量Dを受け取り、インパルス応答h(t)から算出した特徴量Dと音響モデル記憶部１６に記憶されている各音響モデルに対応するインパルス応答から算出した特徴量との距離に基づいて、ユーザ環境に対応する音響モデルを選択し、出力する。出力された音響モデルは、ユーザ環境で収音した音声を音声認識するために用いられる。特徴量間の距離の算出方法やデータの選択方法は、第一実施形態のデータ選択部３と同様であり、ユーザ環境の軽微な変化による性能劣化を防ぐために、一定の拡がりを持たせて選択するようにする。
【００３２】
上記のように構成することにより、第二実施形態の音響モデル学習装置および音響モデル選択装置によれば、インパルス応答の特徴量が近い音響モデルを選択することにより、ユーザ環境に適切な音響モデルを用いることができるため、音声認識の精度を向上することが可能である。
【００３３】
＜実験結果＞
複数の音響環境に対応する学習データを計算機シミュレーション上で生成し、音声認識実験を実施した。図６−７に、その実験結果を示す。
【００３４】
図６は、特徴量間の距離と認識率との関係を表した実験結果である。様々な音響環境に対応する学習用音声（学習データ）から各音響環境に対応する音響モデルを学習し、各音響モデルを用いてあるユーザ環境で収録した音声（評価データ）を音声認識したときの認識率をグラフ上にプロットした。横軸は学習データと評価データとの特徴量間の距離であり、縦軸は認識率である。特徴量間の距離と認識率との間には高い相関がみられ、特徴量間の距離が近いほど認識率が高くなることがわかる。
【００３５】
図７は、あるユーザ環境で収録した音声（評価データ）を複数種類の音響環境に対応する学習用音声（学習データ）から学習した音響モデルを用いて音声認識したときの認識率の変化を表した実験結果である。４種類の音声（クリーン音声、D=0.028となる音響環境の音声、D=0.056となる音響環境の音声、D=0.075となる音響環境の音声）を、特徴量が合致する音響環境の音声で学習した音響モデルと、特徴量が合致しない音響環境の音声で学習した音響モデルとで音声認識したときの認識率をグラフに表している。太い点線で表す認識率のレベル（80％）は、音声認識が実用的と考えられる性能を表している。例えば、D=0.028となる音響環境の音声を、クリーン音声で学習した音響モデル（クリーン音声モデル）と、D=0.028となる音響環境の音声で学習した音響モデル（D=0.028のモデル）とで音声認識した場合、後者の方が認識率は高くなっている。すなわち、特徴量が合致する、もしくは類似する音響モデルを用いて音声認識を行う方が高い認識率を達成できることがわかる。また、すべてのパターンで特徴量が合致する場合に実用的な音声認識精度が達成されていることがわかる。D=0.056となる環境の音声については、クリーン音声モデルと、D=0.075のモデルとを用いて実験を行った（すなわち、いずれも特徴量が合致しない）が、より特徴量が近いD=0.075のモデルの方が高い認識率となっていることがわかる。これは、必ずしも特徴量が合致しなくても一定の拡がりをもって音響モデルを選択すれば実用上十分に適切な音響モデルを選択できることを意味している。
【００３６】
上記のように構成することにより、この発明の特徴量抽出技術によれば、ユーザが利用環境を選択するだけで、ユーザ環境を模擬することが可能であるため、利便性が向上する。音声認識システムに適用した場合、実際のユーザ環境で収録すべき音声データ量を削減できるため、音響モデルの学習に伴うコストを大幅に低減することができる。また、実際のユーザ環境に近い音響モデルを学習できるため、実環境における音声認識率を向上することができる。
【００３７】
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００３８】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００３９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４０】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００４３】
１  インパルス応答測定部
２  特徴量抽出部
３  データ選択部
９  データ記憶部
１１  インパルス応答記憶部
１２  特徴量抽出部
１３  インパルス応答分類部
１４  学習データ生成部
１５  音響モデル学習部
１９  クリーン音声記憶部
２１  インパルス応答測定部
２２  特徴量抽出部
２３  音響モデル選択部
【図１】
2018084594.tif 000004
【図２】
2018084594.tif 000005
【図３】
2018084594.tif 000006
【図４】
2018084594.tif 000007
【図５】
2018084594.tif 000008
【図６】
2018084594.tif 000009
【図７】
2018084594.tif 000010