(57)【要約】【課題】人手によるルールを設けることなく、学習データを自動で生成する。【解決手段】音響モデル用学習データ生成装置２０は、第１のモデルパラメータ群から、第１の確率分布に従い属性ラベルを生成する属性ラベル確率的生成モデル２１と、第２のモデルパラメータ群および属性ラベルから、第２の確率分布に従い音素系列を生成する音素系列確率的生成モデル２２と、第３のモデルパラメータ群、属性ラベル、および音素系列から、第３の確率分布に従い音響特徴量系列を生成する音響特徴量系列確率的生成モデル２３と、を備える。【選択図】図３
2020027211.tif 000002
【特許請求の範囲】
【請求項１】
音響モデル用の学習データを生成する学習データ生成装置であって、
第１のモデルパラメータ群から、第１の確率分布に従い属性ラベルを生成する属性ラベル確率的生成モデルと、
第２のモデルパラメータ群および前記属性ラベルから、第２の確率分布に従い音素系列を生成する音素系列確率的生成モデルと、
第３のモデルパラメータ群、前記属性ラベル、および前記音素系列から、第３の確率分布に従い音響特徴量系列を生成する音響特徴量系列確率的生成モデルと、
を備えることを特徴とする学習データ生成装置。
【請求項２】
前記第１のモデルパラメータ群、前記第２のモデルパラメータ群、および前記第３のモデルパラメータ群は、収集済みの属性ラベル、音素系列、および音響特徴量系列からそれぞれ最尤基準に基づいて生成されることを特徴とする、請求項１に記載の学習データ生成装置。
【請求項３】
前記属性ラベル確率的生成モデルは、前記第１の確率分布からランダムに１つの値を決定するアルゴリズムを用いて前記属性ラベルを生成し、
前記音素系列確率的生成モデルは、前記第２の確率分布からランダムに１つの値を決定するアルゴリズムを用いて前記音素系列を生成し、
前記音響特徴量系列確率的生成モデルは、前記第３の確率分布からランダムに１つの値を決定するアルゴリズムを用いて前記音響特徴量系列を生成することを特徴とする、請求項１又は２に記載の学習データ生成装置。
【請求項４】
前記第１の確率分布および前記第２の確率分布はカテゴリカル分布であり、
前記第３の確率分布は正規分布であることを特徴とする、請求項１から３のいずれか一項に記載の学習データ生成装置。
【請求項５】
音響モデル用の学習データを生成する学習データ生成方法であって、
第１のモデルパラメータ群から、第１の確率分布に従い属性ラベルを生成するステップと、
第２のモデルパラメータ群および前記属性ラベルから、第２の確率分布に従い音素系列を生成するステップと、
第３のモデルパラメータ群、前記属性ラベル、および前記音素系列から、第３の確率分布に従い音響特徴量系列を生成するステップと、
を含むことを特徴とする学習データ生成方法。
【請求項６】
コンピュータを、請求項１から４のいずれか一項に記載の学習データ生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響モデル用の学習データを生成する学習データ生成装置、学習データ生成方法、及びプログラムに関する。
【背景技術】
【０００２】
音声認識は、スマートフォン上やロボットなどを通して、様々な環境で利用されるようになってきている。このような実環境における音声認識の高度化においては、音響モデルが実環境の様々な音響的変動に頑健であることが求められる。音響的変動とは、雑音環境特性やマイク特性、話者特性などに起因する音声情報の様々な変動を表す。これらに頑健な音響モデルを構築するためには、これらの音響変動要因を含む音響モデル用の学習データを実環境で大量に集めて音響モデルを学習させることが有効である。ここで、音響モデル用の学習データは、音声の音響特徴量系列とそれに対応した音素系列の組を１つ以上含むデータ集合を表す。
【０００３】
しかしながら、実際に音声認識システムを構築する際に、収集できる学習データの量はコストの問題で限られることが多いため、様々な変動要因に十分に頑健な音響モデルを学習することが困難な場合がしばしばある。この課題に対応するためのアプローチとして、学習データの疑似生成が有効であることが知られている。例えば、雑音環境特性に頑健にするためには、静穏環境下で収集した学習データの音響特徴量系列に雑音を人工的に付加することにより、疑似的に雑音環境下で収集した学習データを作り出すことができる。
【０００４】
非特許文献１および非特許文献２には、音響変動要因を疑似的に加えて学習データを生成する技術が開示されている。これらの研究では、学習データの音響特徴量系列に対して、人手であらかじめモデル化したルールに従い音響変動要因を加えて疑似的に音響変動要因を加えた音響特徴量系列を作成し、対応する音素系列とペア化することで疑似的に作成した学習データとすることで、音響モデルの学習に利用している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】N. Jaitly and G. E. Hinton, “Vocal tract length perturbation (VTLP) improves speech recognition,” In Proc. ICML. Workshop on Deep Learning for Audio, Speech and. Language, 2013.
【非特許文献２】N. Kanda, R. Takeda, and Y. Obuchi, “Elastic spectral distortion for low resource speech recognition with deep neural networks,” In Proc. IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 309-314, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の学習データを疑似生成する手法では、所定の音声変動ルールを人手で与えることが必要であり、学習データを自動で生成することができないという問題があった。
【０００７】
かかる事情に鑑みてなされた本発明の目的は、人手によるルールを設けることなく、学習データを自動で生成することが可能な学習データ生成装置、学習データ生成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る学習データ生成装置は、音響モデル用の学習データを生成する学習データ生成装置であって、第１のモデルパラメータ群から、第１の確率分布に従い属性ラベルを生成する属性ラベル確率的生成モデルと、第２のモデルパラメータ群および前記属性ラベルから、第２の確率分布に従い音素系列を生成する音素系列確率的生成モデルと、第３のモデルパラメータ群、前記属性ラベル、および前記音素系列から、第３の確率分布に従い音響特徴量系列を生成する音響特徴量系列確率的生成モデルと、を備えることを特徴とする。
【０００９】
また、上記課題を解決するため、本発明に係る学習データ生成方法は、音響モデル用の学習データを生成する学習データ生成方法であって、第１のモデルパラメータ群から、第１の確率分布に従い属性ラベルを生成するステップと、第２のモデルパラメータ群および前記属性ラベルから、第２の確率分布に従い音素系列を生成するステップと、第３のモデルパラメータ群、前記属性ラベル、および前記音素系列から、第３の確率分布に従い音響特徴量系列を生成するステップと、を含むことを特徴とする。
【００１０】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記学習データ生成装置として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、人手によるルールなしに学習データを自動生成する枠組みを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る学習データ生成装置を備える学習データ生成システムの構成例を示すブロック図である。
【図２】本発明の一実施形態に係る学習データ生成装置の構成例を示すブロック図である。
【図３】本発明の一実施形態に係る学習データ生成装置に入力するパラメータを生成するモデルパラメータ学習装置の構成例を示すブロック図である。
【図４】本発明の一実施形態に係る学習データ生成方法の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係る学習データ生成装置を備える学習データ生成システム１の構成例を示すブロック図である。学習データ生成システム１は、モデルパラメータ学習装置１０と、学習データ生成装置２０とを備え、収集済の音響モデル用の属性ラベル付き学習データを用いて、該属性ラベル付き学習データには含まれない学習データを新たに自動生成する。音響モデルとは、ある音響特徴量系列が入力された場合の音素系列が出力される確率を定義するモデルである。
【００１５】
なお、本実施形態においては、モデルパラメータ学習装置１０と学習データ生成装置２０とを分けて記載しているが、これらの装置は一体的に形成されてもよい。したがって、学習データ生成装置２０が、モデルパラメータ学習装置１０が備える各部を備えていてもよい。
【００１６】
図２は、モデルパラメータ学習装置１０の構成例を示すブロック図である。モデルパラメータ学習装置１０は、学習データ記憶部１１と、モデルパラメータ学習部１２とを備える。
【００１７】
学習データ記憶部１１は、収集した属性ラベル付き学習データを記憶する。収集した属性ラベル付き学習データは、音響特徴量系列Ｘｎ、音素系列Ｓｎ、および属性ラベルａの３つ組の集合であり、組の数をＮ（１≦ｎ≦Ｎ、例えばＮ＝１００００）とすると、属性ラベル付き学習データは次式で表される。ここで、Ｔｎは音響特徴量系列Ｘｎや音素系列Ｓｎの長さであり、ｎによって異なる値となる。なお、音響特徴量としては、例えばメル周波数ケプストラム係数（ＭＦＣＣ）やそれに対して正規化等の変換をしたもの、時間的に前後する複数個の特徴量を結合したもの等の任意のものを含む。属性ラベルとしては、例えば男性か女性かを示す情報、日本人か外国人かを示す情報などの任意のものを含む。
【００１８】
【数１】
2020027211.tif 000003
【００１９】
モデルパラメータ学習部１２は、学習データ記憶部１１に記録された、収集済みの属性ラベル付き学習データを取得し、学習データ生成装置２０が備える３つのモデルのモデルパラメータ群θ１，θ２，θ３を学習し、学習データ生成装置２０に出力する。学習は次式に示す基準で行う。なお、これらの学習は、それぞれの確率分布の定義によって異なるが、どの場合でも下記の最尤基準で行うことができる。ここで、記号＾が付されたθは、右辺を満たす（右辺により最尤基準で推定された）θであることを意味する。
【００２０】
【数２】
2020027211.tif 000004
【００２１】
図３は、学習データ生成装置２０の構成例を示す図である。学習データ生成装置２０は、音響モデル用の学習データを生成する装置であり、確率的に属性ラベルを決定する属性ラベル確率的生成モデル２１と、属性ラベルから確率的に音素系列を決定する音素系列確率的生成モデル２２と、属性ラベルおよび音素系列から確率的に音響特徴量系列を生成する音響特徴量系列確率的生成モデル２３とを備える。
【００２２】
学習データ生成装置２０は、学習データ生成装置２０が備える３つのモデルのモデルパラメータ群θ１，θ２，θ３を入力し、疑似的な学習データとして、音響特徴量系列Ｘ＝（ｘ１，・・・，ｘＴ）および音素系列Ｓ＝（ｓ１，・・・，ｓＴ）を生成して出力する。ここで、Ｔは音響特徴量系列Ｘ、音素系列Ｓのフレーム長を表し、人手によりあらかじめ所定の値（例えば１００）に決定しておくこともできるし、音素系列Ｓの生成時に自動決定することもできる。自動決定する場合は、特定の音素が生成されたタイミングをＴとすればよく、例えば無音に対応した音素のタイミングに割り当てることができる。
【００２３】
属性ラベル確率的生成モデル２１は、モデルパラメータ群θ１から第１の確率分布に従い確率的な施行により、生成したい音声に関する属性ラベルａを生成する。生成した属性ラベルａは、音素系列確率的生成モデル２２および音響特徴量系列確率的生成モデル２３に出力される。具体的には、属性ラベル確率的生成モデル２１は次式により、第１の確率分布からランダムに１つの属性ラベルａを決定する。
【００２４】
【数３】
2020027211.tif 000005
【００２５】
第１の確率分布として、例えばカテゴリカル分布を用いることができる。この場合、モデルパラメータ群θ１の実体は、属性ラベルａについてのカテゴリカル分布のモデルパラメータである。〜は確率分布に従い、ランダムに生成することを意味する。このランダムな生成は、例えば下記のSampleOneアルゴリズムに従う。なお、SampleOneアルゴリズムは、カテゴリカル分布からのランダムサンプリングにおいて公知の方法である。
【００２６】
SampleOneアルゴリズムは、確率分布からランダムに1つの値を決定するアルゴリズムであり、カテゴリカル分布を入力して、確率分布の実現値を出力する。具体的に説明するために、前述の例であるＰ（ａ｜θ１）が入力である場合を扱う。Ｐ（ａ｜θ１）はカテゴリカル分布と呼ばれる確率分布の形となっている。属性ラベルａの具体的な実現値の集合をＪとし、Ｊに含まれる実現値の種類数を｜Ｊ｜とすると、属性ラベルａの取り得る値は、ｔ１，ｔ２，・・・，ｔ｜Ｊ｜となる。すなわち、ｔ１，ｔ２，・・・，ｔ｜Ｊ｜が具体的な実現値であり、この集合がＪである。Ｊは、確率分布のモデルパラメータが与えられれば自動的に決まる。具体的に、この確率分布は、Ｐ（ａ＝ｔ１｜θ１），Ｐ（ａ＝ｔ２｜θ１），・・・，Ｐ（ａ＝ｔ｜Ｊ｜｜θ１）となっている。この時、Ｐ（ａ）は次の性質を有する。
【００２７】
【数４】
2020027211.tif 000006
【００２８】
この時、属性ラベルａのSampleOneは乱数に基づく。ここでは乱数値をｒａｎｄとおく。Ｐ（ａ＝ｔ１｜θ１），Ｐ（ａ＝ｔ２｜θ１），・・・，Ｐ（ａ＝ｔ｜Ｊ｜｜θ１）は具体的な数値を持っている。ｒａｎｄ−Ｐ（ａ＝ｔ１｜θ１），ｒａｎｄ−Ｐ（ａ＝ｔ１｜θ１）−Ｐ（ａ＝ｔ２｜θ１），ｒａｎｄ−Ｐ（ａ＝ｔ１｜θ１）−Ｐ（ａ＝ｔ２｜θ１）−Ｐ（ａ＝ｔ３｜θ１）と順番に値を算出し、その値が０より小さくなった場合の値を出力する。例えば、次式が成立する場合には、ｔ２を出力する。このように、SampleOneアルゴリズムは、任意のカテゴリカル分布からのデータサンプルアルゴリズムといえる。
【００２９】
【数５】
2020027211.tif 000007
【００３０】
音素系列確率的生成モデル２２は、モデルパラメータ群θ２および属性ラベル確率的生成モデル２１により生成された属性ラベルａから、第２の確率分布に従い確率的な施行により、生成したい音声に関する音素系列Ｓ＝（ｓ１，・・・，ｓＴ）を生成する。生成した音素系列Ｓは、音響特徴量系列確率的生成モデル２３に出力されるとともに、学習データ生成装置２０の外部に出力される。
【００３１】
音素系列Ｓの生成は、音素ごとに行われる。第２の確率分布として、Ｐ（ｓｔ｜ｓ１，・・・，ｓｔ−１，ａ，θ２）を定義する分布（例えばカテゴリカル分布）を用いることができる。Ｐ（ｓｔ｜ｓ１，・・・，ｓｔ−１，ａ，θ２）には任意の構造が利用できるが、例えばn-gramモデルやリカレントニューラルネットワークを用いることで定義できる。モデルパラメータ群θ２は定義したモデルにより異なるが、ｓ１，・・・，ｓｔ−１，ａを用いてｓｔについてのカテゴリカル分布を定義することが可能なモデルパラメータとなる。音素ｓｔの生成は、次式に従う。
【００３２】
【数６】
2020027211.tif 000008
【００３３】
このランダムな生成は、前述のSampleOneアルゴリズムに従う。この処理は再帰的に行うことができ、音素ｓｔ＋１の生成時は生成した音素ｓｔを用いて次式に従う。
【００３４】
【数７】
2020027211.tif 000009
【００３５】
この処理をＴ回行うことによって、音素系列Ｓ＝（ｓ１，・・・，ｓＴ）を生成することができる。なお、Ｔは人手によって決定してもよいし、自動で決定する場合は、あらかじめ定義した音素（例えば、無音を表す音素）が生成した時間をＴとしてもよい。
【００３６】
音響特徴量系列確率的生成モデル２３は、モデルパラメータ群θ３、属性ラベル確率的生成モデル２１により生成された属性ラベルａ、および音素系列確率的生成モデル２２により生成された音素系列Ｓ＝（ｓ１，・・・，ｓＴ）から、第３の確率分布に従い確率的な施行により、生成したい音声に関する音響特徴量系列Ｘ＝（ｘ１，・・・，ｘＴ）を生成する。生成した音響特徴量系列Ｘは、学習データ生成装置２０の外部に出力される。
【００３７】
音響特徴量系列Ｘの生成は、音響特徴量ごとに行われる。第３の確率分布として、Ｐ（ｘｔ｜ｓ１，・・・，ｓｔ，ａ，θ３）を定義する任意の連続空間の確率分布を利用でき、例えば正規分布を用いることができる。正規分布を用いる場合は、ｓ１，・・・，ｓＴ，，ａ，θ３から正規分布のパラメータである平均ベクトルと共分散行列を求めればよく、例えば非参考文献４のようなMixture Density Networkを用いることができる。モデルパラメータ群θ３は、ｓ１，・・・，ｓＴ，ａ，θ３から定義した分布のパラメータを算出することがモデルパラメータに相当する。音響特徴量ｘｔの生成は次式に従う。
【００３８】
【数８】
2020027211.tif 000010
【００３９】
このランダムな生成は定義した確率分布により異なるが、例えば対角共分散行列を持つ正規分布の場合、次元ごとにボックス＝ミュラー法を用いることで生成できる。ボックス＝ミュラー法については公知の技術であるため、ここでは説明を省略する。この処理をｔ＝１からＴまで行うことにより、音響特徴量系列Ｘ＝（ｘ１，・・・，ｘＴ）を得ることができる。なお、Ｔは入力の音素系列の長さと一致することとする。
【００４０】
なお、学習データ生成装置２０として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、学習データ生成装置２０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００４１】
また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００４２】
次に、本発明の一実施形態に係る学習データ生成方法について、図４を参照して説明する。図４は、学習データ生成方法の手順の一例を示すフローチャートである。
【００４３】
まず、上述したモデルパラメータ学習部１２により、属性ラベル付き学習データを取得し（ステップＳ１０１）、３つのモデルパラメータ群θ１，θ２，θ３を生成する（ステップＳ１０２）。次に、上述した属性ラベル確率的生成モデル２１により、モデルパラメータ群θ１から、第１の確率分布に従い属性ラベルａを生成する（ステップＳ１０３）。次に、上述した音素系列確率的生成モデル２２により、モデルパラメータ群θ２および属性ラベルａから、第２の確率分布に従い音素系列Ｓを学習データとして生成する（ステップＳ１０４）。次に、上述した音響特徴量系列確率的生成モデル２３により、モデルパラメータ群θ３、属性ラベルａ、および音素系列Ｓから、第３の確率分布に従い音響特徴量系列Ｘを学習データとして生成する（ステップＳ１０５）。
【００４４】
以上説明したように、本発明では、モデルパラメータ群θ１から、第１の確率分布に従い属性ラベルａを生成し、モデルパラメータ群θ２および属性ラベルａから、第２の確率分布に従い音素系列を生成し、モデルパラメータ群θ３、属性ラベルａ、および音素系列Ｓから、第３の確率分布に従い音響特徴量系列Ｘを生成する。したがって、本発明によれば、音声変動ルールを人手で与えることなく、確率的なふるまいのみで、音響モデル用の学習データ（音素系列Ｓおよび音響特徴量系列Ｘ）を疑似的に生成することが可能となる。
【００４５】
また、音響モデル用の学習データを疑似生成する従来の手法では、収集済みの学習データの音響特徴量系列に対して、人手であらかじめモデル化したルールに従い疑似的に音響変動要因を加えた音響特徴量系列を作成し、対応する音素系列とペア化する方法であるため、収集済みの学習データに存在しない音素系列についての学習データを生成することができなかった。その点、本発明では、モデルパラメータ群θ１，θ２，θ３は、収集済みの属性ラベル付き学習データ（属性ラベル、音素系列、および音響特徴量系列）からそれぞれ最尤基準に基づいて生成される。したがって、本発明によれば、収集済みの属性ラベル付き学習データに存在しないような、学習データ（音素系列および音響特徴量系列）を生成することが可能となる。かくして、音声認識性能が高い音響モデルを構築することが可能となる。
【００４６】
ここで、第１の確率分布および第２の確率分布は、カテゴリカル分布とするのが好適である。その理由は、離散値の生成をモデル化した分布として一般的にカテゴリカル分布が用いられており、ソフトマックス層を出力としたニューラルネットワークを用いるなどの方法により、カテゴリカル分布のパラメータを出力することができるからである。また、第３の確率分布は、正規分布とするのが好適である。その理由は、連続値の生成をモデル化した分布として一般的に正規分布が用いられており、平均と分散を出力とするニューラルネットワークを用いるなどの方法により正規分布のパラメータを出力することができるからである。
【００４７】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００４８】
１    学習データ生成システム
１０  モデルパラメータ学習装置
１１  学習データ記憶部
１２  モデルパラメータ学習部
２０  学習データ生成装置
２１  属性ラベル確率的生成モデル
２２  音素系列確率的生成モデル
２３  音響特徴量系列確率的生成モデル
【図１】
2020027211.tif 000011
【図２】
2020027211.tif 000012
【図３】
2020027211.tif 000013
【図４】
2020027211.tif 000014