(57)【要約】  この発明の音響モデル学習装置は、話者毎の各特徴ベクトルから話者毎の全ての特徴ベクトルの平均ベクトルを減算して作成した話者毎の学習データと、全話者の各特徴ベクトルから全話者の全ての特徴ベクトルの平均ベクトルを減算して作成した全話者の学習データとを用いて音響モデルを学習するので、第１発話目に対しても認識終了時間の遅延なしに認識精度を確保した音響モデルを学習することができる。また、この発明の音声認識装置は、入力された音声が第１発話目であれば、全話者の全ての特徴ベクトルの平均ベクトルを補正ベクトルとして、入力された音声の特徴ベクトルから補正ベクトルを減算した補正後ベクトルを前記音響モデルと照合するので、第１発話目に対しても認識終了時間の遅延なしに音声認識の精度を確保することができる。
2017199416.tif 000002
【特許請求の範囲】
【請求項１】
複数の話者の発話データを分析して得た特徴ベクトルに対して、話者毎の各前記特徴ベクトルから話者毎の全ての前記特徴ベクトルの平均ベクトルを減算して話者毎の学習データを作成する話者毎学習データ作成手段と、
全話者の各前記特徴ベクトルから全話者の全ての前記特徴ベクトルの平均ベクトルを減算して全話者の学習データを作成する全話者学習データ作成手段と、
前記話者毎の学習データと前記全話者の学習データとを用いて音響モデルを学習する学習手段と
を備えたことを特徴とする音響モデル学習装置。
【請求項２】
入力された音声を分析して第１の特徴ベクトルを出力する分析手段、
前記音声が第１発話目であるか否かを判定し、第１発話目であれば、複数の話者の発話データを分析して得た第２の特徴ベクトルに対して、全話者の全ての前記第２の特徴ベクトルの平均ベクトルを補正ベクトルとし、第１発話目でなければ、前の発話までの前記第１の特徴ベクトルの平均ベクトルを補正ベクトルとして、前記第１の特徴ベクトルから前記補正ベクトルを減算した補正後ベクトルを出力する補正手段、
話者毎の前記第２の特徴ベクトルから話者毎の全ての前記第２の特徴ベクトルの平均ベクトルを減算して作成した話者毎の学習データと、全話者の前記第２の特徴ベクトルから全話者の全ての前記第２の特徴ベクトルの平均ベクトルを減算して作成した全話者の学習データと、を用いて学習した音響モデルと前記補正後ベクトルを照合して前記音声の認識結果を出力する照合手段
を備えたことを特徴とする音声認識装置。
【請求項３】
前記補正手段は、前記補正ベクトルを一時的に記憶し、第１発話目でなければ、一時的に記憶された前の発話までの前記第１の特徴ベクトルの平均ベクトルと１発話前に使用した補正ベクトルを加重平均して補正ベクトルとすることを特徴とする請求項２に記載の音声認識装置。
【請求項４】
複数の話者の発話データを分析して得た特徴ベクトルを用いて音響モデルを学習する音響モデル学習装置の音響モデル学習方法において、
前記特徴ベクトルに対して、話者毎の前記特徴ベクトルから話者毎の全ての前記特徴ベクトルの平均ベクトルを減算して話者毎の学習データを作成する話者毎学習データ作成ステップと、
全話者の前記特徴ベクトルから全話者の全ての前記特徴ベクトルの平均ベクトルを減算して全話者の学習データを作成する全話者学習データ作成ステップと、
前記話者毎の学習データと前記全話者の学習データとを用いて音響モデルを学習する学習ステップと
を備えたことを特徴とする音響モデル学習方法。
【請求項５】
入力された音声の音声認識を行う音声認識装置の音声認識方法において、
入力された音声を分析して第１の特徴ベクトルを出力する分析ステップ、
前記音声が第１発話目であるか否かを判定し、第１発話目であれば、複数の話者の発話データを分析して得た第２の特徴ベクトルに対して、全話者の全ての前記第２の特徴ベクトルの平均ベクトルを補正ベクトルとし、第１発話目でなければ、前の発話までの前記第1の特徴ベクトルの平均ベクトルを補正ベクトルとして、前記第１の特徴ベクトルから前記補正ベクトルを減算した補正後ベクトルを出力する補正ステップ、
話者毎の前記第２の特徴ベクトルから話者毎の全ての前記第２の特徴ベクトルの平均ベクトルを減算して作成した話者毎の学習データと、全話者の前記第２の特徴ベクトルから全話者の全ての前記第２の特徴ベクトルの平均ベクトルを減算して作成した全話者の学習データと、を用いて学習した音響モデルと前記補正後ベクトルを照合して前記音声の認識結果を出力する照合ステップ
を備えたことを特徴とする音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識のための音響モデルを学習する音響モデル学習装置と音響モデル学習方法、および音響モデルを用いて入力された音声を認識する音声認識装置と音声認識方法に関するものである。
【背景技術】
【０００２】
近年の音声認識は、入力された音声の周波数パターンを特徴ベクトルとして統計的手法に基づいてパターンマッチングを行う方式が主流である。この方式では事前に大量の話者が発話した音声データの周波数パターンの特徴ベクトルを用いて当該特徴ベクトルの統計的特徴をモデル化した音響モデルと、入力された音声の特徴ベクトルとの間でパターンマッチングによって音声認識を実現する。このため、周波数特性の異なる様々なマイクを用い多くの話者の発話を収録した音声を学習データとして音響モデルを学習することにより、それらのデータの特徴ベクトルが音響モデル内に統計的に反映されるため、様々なマイクや話者に対して頑健な音響モデルを構築することが可能になる。反面、音響モデルが表現する特徴ベクトルの分散が大きくなり識別性能が低下する可能性がある。【０００３】
逆に音響モデルの分散を小さくして識別精度を向上させるＣＭＮ(Cepstral Mean Normalization)という手法がある。これは音響モデルの学習時に、学習データに含まれる話者毎の音声データの特徴ベクトルに対して、話者毎に当該話者の特徴ベクトルの平均ベクトルを求め、その平均ベクトルを話者毎の特徴ベクトルから差し引いたものを学習データとするものである。前記平均ベクトルは、前記話者の音声収録に使用したマイクの周波数特性と当該話者の音声の周波数パターンの平均的な特徴を表している。そのため、この平均ベクトルを話者毎の特徴ベクトルから差し引くことにより、マイクや話者の違いをある程度吸収することができる。この学習データを用いて、例えば「あ」という母音の音響モデルを学習すると、マイクや話者の違いによる影響を抑えた「あ」の音自体が持つ特徴ベクトルをより高精度にモデル化でき、認識性能を向上させる効果がある。但しＣＭＮを行って学習した音響モデルを用いて音声認識を行うには、音声認識時にも何らかの方法で入力音声の平均ベクトルを求め、入力音声から差し引く必要がある。【０００４】
特許文献１では、音響モデルとしてHMM(Hidden Markov Model)を用いる場合において、学習時にＣＭＮを行うのではなく、学習後に得られたHMMのパラメータから近似的に平均ベクトルを求めてCMNを行う方法を開示している。この方法と音響モデルの騒音適応化を組み合わせることによってマイクの周波数特性の違い等の乗法性歪みと、周囲騒音等の加法性歪みの両方に頑健な音響モデルを高速に得る技術を開示している。特許文献１では、入力音声の平均ベクトルの算出方法として、入力音声の１発話ごとに１発話全体から平均ベクトルを算出、あるいは音声認識時に前の発話までの特徴ベクトルから平均ベクトルを算出する方法が示されている。【０００５】
【特許文献１】特開２００６−３４９７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし特許文献１の方法は、１発話終了後でなければ１発話全体の平均ベクトルを算出できないため、認識処理も１発話終了後でなければ実施できず、認識の応答速度が遅くなるという課題がある。
本発明は上記課題を解決することを目的とする。すなわちマイクの周波数特性の違いや周囲に騒音があっても、第１発話目に対して認識終了時間の遅延なしに音声認識の精度を確保することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る音響モデル学習装置は、複数の話者の発話データを分析して得た特徴ベクトルに対して、話者毎の各前記特徴ベクトルから話者毎の全ての前記特徴ベクトルの平均ベクトルを減算して話者毎の学習データを作成する話者毎学習データ作成手段と、全話者の各前記特徴ベクトルから全話者の全ての前記特徴ベクトルの平均ベクトルを減算して全話者の学習データを作成する全話者学習データ作成手段と、前記話者毎の学習データと前記全話者の学習データとを用いて音響モデルを学習する学習手段とを備えたことを特徴とする。【０００８】
また、この発明に係る音声認識装置は、入力された音声を分析して第１の特徴ベクトルを出力する分析手段、前記音声が第１発話目であるか否かを判定し、第１発話目であれば、複数の話者の発話データを分析して得た第２の特徴ベクトルに対して、全話者の全ての前記第２の特徴ベクトルの平均ベクトルを補正ベクトルとし、第１発話目でなければ、前の発話までの前記第１の特徴ベクトルの平均ベクトルを補正ベクトルとして、前記第１の特徴ベクトルから前記補正ベクトルを減算した補正後ベクトルを出力する補正手段、話者毎の前記第２の特徴ベクトルから話者毎の全ての前記第２の特徴ベクトルの平均ベクトルを減算して作成した話者毎の学習データと、全話者の前記第２の特徴ベクトルから全話者の全ての前記第２の特徴ベクトルの平均ベクトルを減算して作成した全話者の学習データと、を用いて学習した音響モデルと前記補正後ベクトルを照合して前記音声の認識結果を出力する照合手段を備えたことを特徴とする。
【発明の効果】
【０００９】
この発明の音響モデル学習装置は、話者毎の各特徴ベクトルから話者毎の全ての特徴ベクトルの平均ベクトルを減算して作成した話者毎の学習データと、全話者の各特徴ベクトルから全話者の全ての特徴ベクトルの平均ベクトルを減算して作成した全話者の学習データとを用いて音響モデルを学習して、話者毎の学習データの特徴ベクトルと概ね値をそろえた全話者の学習データを用いて音響モデルを学習するので、第１発話目に対して認識終了時間の遅延なしに様々なマイクや話者を学習データとする認識精度を確保した音響モデルを学習することができる。さらに第２発話以降に対してはＣＭＮを行うことによってマイクや話者の違いに起因する特徴ベクトルの変動を吸収した音響モデルを構築することができる。【００１０】
また、この発明の音声認識装置は、入力された音声が第１発話目であれば、全話者の全ての特徴ベクトルの平均ベクトルを補正ベクトルとして、入力された音声の特徴ベクトルから補正ベクトルを減算した補正後ベクトルを前記音響モデルと照合して入力された音声の認識結果を出力するので、第１発話目に対して認識終了時間の遅延なしに様々なマイクや話者を学習データとする音声認識の精度を確保することができる。さらに第２発話以降に対してはＣＭＮを行うことにより、マイクや話者の違いに起因する特徴ベクトルの変動を吸収して入力された音声の認識結果を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１における音響モデル学習装置１の構成図である。
【図２】この発明の実施の形態１における音響モデル学習装置１のハードウェア構成図である。
【図３】この発明の実施の形態１における話者毎学習データ作成手段３の動作を示すフローチャートである。
【図４】この発明の実施の形態１における算出手段４の動作を示すフローチャートである。
【図５】この発明の実施の形態１における全話者学習データ作成手段５の動作を示すフローチャートである。
【図６】この発明の実施の形態１における学習手段７の動作を示すフローチャートである。
【図７】この発明の実施の形態１における音声認識装置１３の構成図である。
【図８】この発明の実施の形態１における補正手段１５の動作を示すフローチャートである。
【図９】この発明の実施の形態１における補正手段１５の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明に係る音響モデル学習装置、音響モデル学習方法、音声認識装置、および音声認識方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１３】
実施の形態１．
図１は、この発明の実施の形態１における音響モデル学習装置１の構成図である。
図１において、音響モデル学習装置１は、複数の話者の発話データを音響分析して得た特徴ベクトル（第２の特徴ベクトル）で構成される学習データ２が入力され、話者毎の発話データの特徴ベクトルにＣＭＮを行って話者毎学習データを作成する話者毎学習データ作成手段３と、全話者の特徴ベクトルの平均ベクトルを算出する算出手段４と、算出手段４で算出した平均ベクトルを用いて全話者の特徴ベクトルをＣＭＮを行って全話者学習データを作成する全話者学習データ作成手段５と、話者毎学習データと全話者学習データを用いて音響モデル６を学習する学習手段７から構成される。また、音響モデル学習装置１は、話者毎学習データ作成手段３によって作成された話者毎学習データを記憶する第１の記憶手段９と、全話者学習データ作成手段５によって作成された全話者学習データを記憶する第２の記憶手段１０を備える。
【００１４】
学習データ２は、音響モデル学習装置１への入力データであり、複数の話者が周波数特性の異なる様々なマイクで収録した発話データを音響分析して得た特徴ベクトルから構成されているものとする。また前記話者一人あたり複数個の発話データがあるものとする。特徴ベクトルは音声の周波数パターンであるスペクトル特徴を表すベクトルである。本実施の形態では例えばMFCC(Mel Frequency Cepstral Coefficient)の１〜１２次元までのデータを用いる。なお特徴ベクトルは、音声データをフレームと呼ぶ１０ミリ秒ごとの区間に区切り、フレームごとに音響分析を実施して得ているので、１発話の音声データから複数個の特徴ベクトルが得られることなる。例えば１秒の発話であれば、１秒＝１０００ミリ秒なので、１０００ミリ秒／１０ミリ秒＝１００個の特徴ベクトルが得られる。前述したとおり、話者一人あたり複数個の発話をしているので、各話者ともに発話データ量に応じて複数個の特徴ベクトルが学習データ中に含まれている。
【００１５】
話者毎学習データ作成手段３は、入力された学習データ２から話者毎に全ての特徴ベクトルの平均ベクトルを算出する。そして、話者毎の各特徴ベクトルから話者毎の平均ベクトルを減算するＣＭＮを行う。そして、ＣＭＮを行った特徴ベクトルから構成する話者毎の学習データ（話者毎学習データ）を作成し、作成した話者毎学習データを第１の記憶手段９に出力し記憶する。
【００１６】
算出手段４は、入力された学習データ２から全話者の全ての特徴ベクトルの平均を算出し、全話者平均ベクトルとして全話者学習データ作成手段５に出力する。また、算出した全話者平均ベクトルを音響モデル学習装置１から出力する。ここで出力した全話者平均ベクトルは、後述する音声認識装置で使用する。
【００１７】
全話者学習データ作成手段５は、算出手段４で算出された全話者平均ベクトルを全話者の各特徴ベクトルから減算してＣＭＮを行う。そして、ＣＭＮを行った特徴ベクトルから構成する全話者の学習データ（全話者学習データ）を作成し、作成した全話者学習データを第２の記憶手段１０に出力し記憶する。
【００１８】
学習手段７は、第１の記憶手段９に記憶された話者毎学習データと、第２の記憶手段１０に記憶された全話者学習データを用いて音響モデル６を学習し、学習した音響モデル６を音響モデル学習装置１から出力する。
【００１９】
図２は、この発明の実施の形態１における音響モデル学習装置１のハードウェア構成図である。
音響モデル学習装置１は、プロセッサ１１とメモリ１２から構成されている。音響モデル学習装置１の話者毎学習データ作成手段３、算出手段４、全話者学習データ作成手段５、および学習手段７はプロセッサ１１がメモリ１２に記憶されたプログラムを実行することにより実現される。また、音響モデル学習装置１の第１の記憶手段９と第２の記憶手段１０はメモリ１２であるが、例えばディスクストレージ等であってもよい。
【００２０】
次に、音響モデル学習装置１の動作について説明する。
まず、話者毎学習データ作成手段３の動作を説明する。
図３は、この発明の実施の形態１における話者毎学習データ作成手段３の動作を示すフローチャートである。
話者毎学習データ作成手段３は、学習データ２から話者毎の特徴ベクトルを取得する。（ステップ（以下ＳＴと示す）１）。そして、話者毎の全ての特徴ベクトルの平均ベクトルを算出する（ＳＴ２）。次に、算出した話者毎の平均ベクトルを話者毎の各特徴ベクトルから減算するＣＭＮを行って、話者毎の学習データ（話者毎学習データ）を作成し、第１の記憶手段９に出力して記憶する。そして、全ての話者の話者毎学習データを作成したか否かを判定し（ＳＴ４）、作成していなければ次の話者の処理を行い（ＳＴ５）、作成していれば終了する。
【００２１】
次に、算出手段４の動作について説明する。
図４は、この発明の実施の形態１における算出手段の動作を示すフローチャートである。
算出手段４は、学習データ２から全ての話者の特徴ベクトルを取得し（ＳＴ２１）、学習データ２全体すなわち全話者の全ての特徴ベクトルの平均を算出し、全話者平均ベクトル８として音響モデル学習装置１から出力する。また、全話者平均ベクトル８を全話者学習データ作成手段５に出力する（ＳＴ２２）。
【００２２】
次に、全話者学習データ作成手段５の動作について説明する。
図５は、この発明の実施の形態１における全話者学習データ作成手段５の動作を示すフローチャートである。
全話者学習データ作成手段５は、学習データ２から全話者の全ての特徴ベクトル（全話者特徴ベクトル）を取得する（ＳＴ３１）。そして、算出手段４から全話者平均ベクトル８を取得し（ＳＴ３２）、全話者特徴ベクトルから全話者平均ベクトル８を減算するＣＭＮを行って、全話者の学習データ（全話者学習データ）を作成し、第２の記憶手段１０に出力して記憶する（ＳＴ３３）。
【００２３】
このように全話者の全ての特徴ベクトルから全話者平均ベクトル８を減算することにより、話者毎学習データとの不整合を概ね解消することができる。なお、ここでいう不整合とは、話者毎学習データは、話者毎に平均ベクトルを減算しているため、減算を行っていない特徴ベクトルとは値が大きく異なることである。両者をそのまま使用して音響モデル６を学習すると正しい統計量が算出できないため、算出した全話者平均ベクトル８を全話者の特徴ベクトルから減算して全話者学習データを作成している。この全話者学習データは、全話者平均ベクトルの変動は吸収していないが、全話者平均ベクトルを減算することにより、話者毎学習データの特徴ベクトルと概ね値をそろえることができ、両者を用いて音響モデルを学習することが可能になる。
【００２４】
次に、学習手段７の動作について説明する。
図６は、この発明の実施の形態１における学習手段７の動作を示すフローチャートである。
学習手段７は、第１の記憶手段９から話者毎学習データを取得する（ＳＴ４１）。また、第２の記憶手段１０から全話者学習データを取得する（ＳＴ４２）。そして、話者毎学習データと全話者学習データの両方の学習データを用いて音響モデルを学習し音響モデル学習装置１から出力する（ＳＴ４３）。なお、学習手段７は、音響モデル６がHMMの場合は、最尤推定法によって音響モデル６を学習する。あるいは他の学習方式、例えば相互情報量最大化推定等の学習方式を用いてもよい。また、音響モデル６がニューラルネットワークの場合は、例えばクロスエントロピー最小化基準で誤差逆伝播法を用いて学習する。
【００２５】
また、音響モデル６がモデル化する音声の単位としては例えば音素とする。音素とは母音と子音であり、例えば、「か」という音は子音／ｋ／と母音／ａ／から構成される。ここで／／は音素を表す時に用いる記号である。全ての音素に対して音響モデルを学習しておけば音素の音響モデルを連結することにより、すべての語彙の特徴ベクトルをモデル化できる。
【００２６】
このように学習する効果を説明する。
話者毎学習データは、マイクや話者の違いによる特徴ベクトルの変動を抑えて高精度に音響モデルを学習することができ、認識性能を向上させる効果がある。一方、全話者学習データは、学習データの特徴ベクトルを一様に減算しただけであるため、元の学習データと同一の特徴を持っている。元の学習データは様々な周波数特性のマイクを用いて収録した話者の特徴ベクトルを含んでいるため、マイクや話者の違いに対して頑健な音響モデルを構築する効果がある。
【００２７】
また、全話者の特徴ベクトルから全話者平均ベクトルを減算することにより、全話者の特徴ベクトルを話者毎学習データの特徴ベクトルと概ね値をそろえることができ、両方の学習データの特徴を合わせ持つ音響モデルを学習することが可能になる。そのため、入力音声に対して、ＣＭＮすなわち平均ベクトルの減算が実施困難な第１発話目に対して頑健性の高い音響モデルを構築することができる。さらに第２発話以降に対してはＣＭＮを行うことによってマイクや話者の違いに起因する特徴ベクトルの変動を吸収した音響モデルを構築することができる。
【００２８】
次に、上記の音響モデルを用いた音声認識装置について説明する。
図７は、この発明の実施の形態１における音声認識装置１３の構成図である。
音声認識装置１３は、音響分析手段１４、補正手段１５、照合手段１６、全話者平均ベクトル８、音響モデル６ａから構成される。音響分析手段１４は、分析手段に相当する。
そして、音声認識装置１３のハードウェア構成は、図２に示した音響モデル学習装置１と同様に構成することができる。すなわち音声認識装置１３は、図２に示すプロセッサ１１とメモリ１２から構成される。具体的には、音響分析手段１４、補正手段１５、照合手段１６は、プロセッサ１１がメモリ１２に記憶されたプログラムを実行することにより実現される。また、全話者平均ベクトル８と音響モデル６ａは、メモリ１２で構成される。
【００２９】
音声認識装置１３は、音響分析手段１４が入力された音声（入力音声）１７を分析して得た特徴ベクトル（第１の特徴ベクトル）を得る。そして、補正手段１５で入力音声１７が第１発話目であるか否かを判定し、第１発話目であれば、音響モデル学習装置１で作成された全話者平均ベクトル８を補正ベクトルとする。更に、音響分析手段１４が分析して得た特徴ベクトルから補正ベクトルを減算して補正後ベクトルとし、補正前の特徴ベクトル（補正前特徴ベクトル）を一時的に記憶する。
【００３０】
また、入力音声１７が第１発話目でなければ、一時的に記憶されている前の発話までの補正前特徴ベクトルの平均ベクトルを補正ベクトルとし、音響分析手段１４が分析して得た特徴ベクトルから補正ベクトルを減算して補正後ベクトルとする。そして、照合手段１６で補正後ベクトルを音響モデル学習装置１で学習した音響モデルと照合して入力音声１７を認識し、認識結果１８を出力する。
【００３１】
音響分析手段１４は、入力音声１７を分析し、分析して得た特徴ベクトルを補正手段１５に出力する。
補正手段１５は、入力音声１７が第１発話目であるか否かを判定する。入力音声１７が第１発話目であれば、全話者平均ベクトル８を補正ベクトルとし、入力音声１７の特徴ベクトルから補正ベクトルを減算して補正後ベクトルとする。そして、補正後ベクトルを照合手段１６に出力し、補正前特徴ベクトルを一時的に記憶する。
【００３２】
また、入力音声１７が第１発話目でなければ、一時的に記憶されている前の発話までの補正前特徴ベクトルの平均ベクトルを補正ベクトルとし、入力音声１７の特徴ベクトルから補正ベクトルを減算して補正後ベクトルとする。そして、補正後ベクトルを照合手段１６に出力し、補正前の特徴ベクトルを一時的に記憶する。
【００３３】
照合手段１６は、補正手段１５から入力された補正後ベクトルを音響モデル６ａと照合して入力音声１７を認識し、認識結果１８を出力する。
【００３４】
音響モデル６ａは、音響モデル学習装置１によって話者毎学習データと全話者学習データを用いて学習した音響モデル６ａであって、メモリ１２に記憶されている。音響モデル６ａは照合手段１６から参照される。例えば、都道府県名を認識対象語彙として、単語の音声認識を行う場合、音響モデル６ａには、本発明の音響モデル学習装置１で学習した音素単位の音響モデルを連結した単語単位の音響モデルが格納されているものとする。例えば、東京(とーきょー)という単語の音響モデルは音素／ｔ／，／ｏ／，／ｏ／，／ｋ／，／j／，／ｏ／，／ｏ／の音素の音響モデルを順番に連結した全都道府県名の単語の音響モデルから構成されている。
【００３５】
全話者平均ベクトル８は、音響モデル学習装置１の全話者学習データ作成手段５で作成された全話者平均ベクトル８であり、メモリ１２に記憶されている。全話者平均ベクトル８は、補正手段１５から参照される。
【００３６】
次に音声認識装置１３の動作について説明する。
まず、音響分析手段１４は、入力音声１７を音響分析し、特徴ベクトルを出力する。この特徴ベクトルは本発明の音響モデル学習装置１の入力である学習データと同様のものであり、本実施の形態ではＭＦＣＣの１〜１２次元までのデータである。
次に、補正手段１５は、入力音声１７が第１発話目であるか否かを判断し、第１発話目であるか否かによって音響分析手段１４から入力された特徴ベクトルを補正する。そして、補正後の特徴ベクトルを照合手段１６に出力し、補正前の特徴ベクトルを一時的に記憶する。
【００３７】
補正手段１５の動作の詳細を以下に説明する。
図８は、この発明の実施の形態１における補正手段１５の動作を示すフローチャートである。
まず、メモリ１２に記憶されている全話者平均ベクトル８を取得する（ＳＴ５１）。次に、入力音声１７が第１発話目であるか否かを判定する（ＳＴ５２）。補正手段１５は、入力音声１７に対して、話者毎に発話回数をカウントしているものとし、カウントしている発話回数によって第１発話目であるか否かを判定する。または、補正手段１５は、内部に一時的に記憶している発話の１回目であるか、２回目以降であるかという情報を用いて第１発話目であるか否かを判定してもよい。
【００３８】
そして、入力音声１７が第１発話目であれば、全話者平均ベクトル８を補正ベクトルとする（ＳＴ５３）。更に、音響分析手段１４が得た特徴ベクトルから補正ベクトルを減算するＣＭＮを行った特徴ベクトルを補正後ベクトルとして、照合手段１６に出力する（ＳＴ５４）。更に、減算する前の特徴ベクトルを補正前ベクトルとして一時的に記憶する（ＳＴ５５）。
なお、
【００３９】
一方、入力音声１７が第１発話目でなければ（第２発話目以降であれば）、ＣＭＮを行って補正後のベクトルを算出する。例えば、ＳＴ５５で一時的に記憶している前の発話までの補正前ベクトルの平均を平均ベクトルとして求め、求めた平均ベクトルを補正ベクトルとする（ＳＴ５６）。以降は、第１発話目と同様にＳＴ５４、ＳＴ５５の処理を行う。
【００４０】
前述したとおり、音響モデル６ａの学習に使用した全話者学習データは全話者平均ベクトル８を学習データの全話者の各特徴ベクトルから差し引くことにより作成したものであるため、音声認識時も入力音声１７の特徴ベクトルから全話者平均ベクトルを差し引くことにより、入力音声１７の特徴ベクトルを学習時の特徴ベクトルと整合させる効果がある。なお全話者平均ベクトル８を補正ベクトルとして使用する場合は、ＣＭＮを行う効果であるマイクや話者の違いによる特徴ベクトルの変動を吸収する効果は得られないが、本発明による音響モデルは様々なマイクや話者を学習データとしているため第１発話目に対して、音声認識の終了時間の遅延なしにある程度頑健な音声認識が実現できる。
【００４１】
なお、第２発話目以降の補正ベクトルは、補正手段１５で一時的に記憶している前の発話までの特徴ベクトルの平均ベクトルと１発話前に使用した補正ベクトルを加重平均して補正ベクトルとしてもよい。
図９は、この発明の実施の形態１における補正手段１５の動作を示すフローチャートである。
図９において、図８と同一動作である箇所は、図８と同一番号を付している。図９と図８の違いは、図８のＳＴ５５の処理が図９のＳＴ５５ａに置き換わり、ＳＴ５６の処理がＳＴ５６ａに置き換わったことのみである。
【００４２】
ＳＴ５５ａの動作は、減算する前の特徴ベクトルである補正前ベクトルと、補正ベクトルとを一時的に記憶する。
ＳＴ５６ａの動作は上述した通りであり、補正手段１５が一時的に記憶している前の発話までの補正前ベクトルの平均ベクトルと、１発話前に使用した補正ベクトルとを加重平均して補正ベクトルとする。
【００４３】
この様に、一時的に記憶している前の発話までの特徴ベクトルの平均ベクトルと１発話前に使用した補正ベクトルを加重平均して補正ベクトルとすると、直前の発話をより重視して求めることになる。そのため、話者が途中で交代した場合であっても補正ベクトルを速やかに更新することができ、認識率を上げることができる。
以上が補正手段１５の動作の詳細な説明である。
【００４４】
次に、音声認識装置１３の動作にもどり、照合手段１６の動作について説明する。
照合手段１６は、補正手段１５から入力された補正ベクトルを音響モデル６ａとパターンマッチングを行い、尤度が最も高い音響モデルの語彙を認識結果１８として出力する。パターンマッチングの方法としては、例えばビタビアルゴリズムを用いる。
【００４５】
以上説明したように、本発明では学習データとして話者毎の平均ベクトルを用いてＣＭＮを行った話者毎学習データと、全話者の平均ベクトルを用いてＣＭＮを行った全話者学習データの両方を用いて音響モデルを学習している。そして音声認識時には第１発話目に対しては補正ベクトルとして全話者平均ベクトルを用いる。これは音響モデルの学習に使用した全話者学習データの特徴ベクトルと同一条件で特徴ベクトルを算出するためである。このように第１発話目に対しては、全話者学習データと同一条件で入力音声の特徴ベクトルを補正するので、全話者学習データを使用して音響モデルを学習した効果により、様々なマイクや話者の第１発話目に対して音声認識の終了時間の遅延なしにある程度頑健な音声認識が実現できる。
【００４６】
更に、音声認識時の第２発話目以降に対しては、例えば入力音声の前の発話までの特徴ベクトルの平均ベクトルを補正ベクトルとすることにより、マイクや話者の違いに起因する特徴ベクトルの変動に対してＣＭＮの効果を十分に発揮する音響モデルを得て、音声認識性能を改善することができる。これは音響モデルの学習に使用した話者毎の平均ベクトルを用いてＣＭＮを行った話者毎学習データの特徴ベクトルと同一条件で特徴ベクトルを算出することになるため、音響モデルの学習時と音声認識時で同一条件の話者毎の平均ベクトルを用いてＣＭＮを実施するのと同等の効果が得られ、認識性能が向上する。また２発話目以降に話者が交代し補正ベクトルに若干の不整合が生じた場合でも、音響モデルの学習に全話者の平均ベクトルを用いてＣＭＮを行った全話者学習データも使用しているので、ＣＭＮを行った話者毎学習データのみで学習した音響モデルと比較して認識性能の低下を抑える効果がある。
【００４７】
また、特許文献１では、入力発話長が短い場合には、平均ベクトルの精度が低下して認識性能が低下する。しかし、本発明に係る音声認識装置では、話者毎の平均ベクトルを用いてＣＭＮを行った話者毎学習データと、全話者の平均ベクトルを用いてＣＭＮを行った全話者学習データの両方を使用して学習した音響モデルを用いて音声認識を行うので、入力発話長が短い場合であっても認識性能の低下を抑えることができる。
【００４８】
また、特許文献１では、学習データ全体で平均ベクトルを求めているため、話者の違いに起因する特徴ベクトルの変動が考慮されていないため認識性能が低下する。しかし、本発明に係る音声認識装置では、話者毎の平均ベクトルを用いてＣＭＮを行った話者毎学習データと、全話者の平均ベクトルを用いてＣＭＮを行った全話者学習データの両方を使用して学習した音響モデルを用いて音声認識を行うので、話者の違いに起因する特徴ベクトルの変動があっても認識性能の低下を抑えることができる。
【００４９】
なお本実施の形態では、学習する音響モデルとしてHMMを例にとり説明したが、学習データを用いて学習する任意の音響モデルに対しても、話者毎の平均ベクトルを用いてＣＭＮを行った話者毎学習データと全話者の平均ベクトルを用いてＣＭＮを行った全話者学習データの両方を用いて学習することが可能であり、同様の効果がある。例えば音響モデルとしてニューラルネットワークを学習することも可能である。
【産業上の利用可能性】
【００５０】
以上のように、本発明に係る音響モデル学習装置および音響モデル学習方法は、学習データとして話者毎の平均ベクトルを用いてCＭＮを行った話者毎学習データと、全話者の平均ベクトルを用いてＣＭＮを行った全話者学習データの両方を用いて音響モデルを学習するので、ＣＭＮを実施することが困難な第１発話目に対して頑健性の高い音響モデルを構築することができる。
また、本発明に係る音声認識装置および音声認識方法は、入力音声の第１発話目に対して、入力音声の特徴ベクトルを全話者平均ベクトルで補正して、補正後の特徴ベクトルを前記音響モデルと照合して音声認識を行うので、第１発話目に対して音声認識の終了時間の遅延なしに頑健な音声認識が実現できる。さらに第２発話以降に対してはＣＭＮを行うことにより、マイクや話者の違いに起因する特徴ベクトルの変動を吸収して入力された音声の認識結果を得ることができる。
【符号の説明】
【００５１】
１  音響モデル学習装置、２  学習データ、３  話者毎学習データ作成手段、４  算出手段、５  全話者学習データ作成手段、６  音響モデル、７  学習手段、８  全話者平均ベクトル、９  第１の記憶手段、１０  第２の記憶手段、１１  プロセッサ、１２  メモリ、１３  音声認識装置、１４  音響分析手段、１５  補正手段、１６  照合手段、１７入力音声、１８  認識結果。
【図１】
2017199416.tif 000003
【図２】
2017199416.tif 000004
【図３】
2017199416.tif 000005
【図４】
2017199416.tif 000006
【図５】
2017199416.tif 000007
【図６】
2017199416.tif 000008
【図７】
2017199416.tif 000009
【図８】
2017199416.tif 000010
【図９】
2017199416.tif 000011
【手続補正書】
【提出日】平成30年6月19日(2018.6.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
全話者平均ベクトル８は、音響モデル学習装置１の算出手段４で作成された全話者平均ベクトル８であり、メモリ１２に記憶されている。全話者平均ベクトル８は、補正手段１５から参照される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
そして、入力音声１７が第１発話目であれば、全話者平均ベクトル８を補正ベクトルとする（ＳＴ５３）。更に、音響分析手段１４が得た特徴ベクトルから補正ベクトルを減算するＣＭＮを行った特徴ベクトルを補正後ベクトルとして、照合手段１６に出力する（ＳＴ５４）。更に、減算する前の特徴ベクトルを補正前ベクトルとして一時的に記憶する（ＳＴ５５）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
次に、音声認識装置１３の動作にもどり、照合手段１６の動作について説明する。
照合手段１６は、補正手段１５から入力された補正後ベクトルを音響モデル６ａとパターンマッチングを行い、尤度が最も高い音響モデルの語彙を認識結果１８として出力する。パターンマッチングの方法としては、例えばビタビアルゴリズムを用いる。
【国際調査報告】
2017199416.tif 000012
2017199416.tif 000013