(57)【要約】  音響モデル学習装置は、学習用の特徴量に対する、学習対象のニューラルネットワーク型音響モデルである第二の音響モデルの出力確率分布に基づく第一の損失と、学習用の特徴量に対する、学習済みのニューラルネットワーク型音響モデルである第一の音響モデルの中間特徴量と第二の音響モデルの中間特徴量とに基づく第二の損失と、に基づいて第二の音響モデルのパラメタを更新するパラメタ更新部を含む。
2020090651.tif 000002
【特許請求の範囲】
【請求項１】
学習用の特徴量に対する、学習対象のニューラルネットワーク型音響モデルである第二の音響モデルの出力確率分布に基づく第一の損失と、学習用の特徴量に対する、学習済みのニューラルネットワーク型音響モデルである第一の音響モデルの中間特徴量と前記第二の音響モデルの中間特徴量とに基づく第二の損失と、に基づいて前記第二の音響モデルのパラメタを更新するパラメタ更新部を含む、
音響モデル学習装置。
【請求項２】
請求項１の音響モデル学習装置であって、
前記第一の音響モデルのm層目の次元数と前記第二の音響モデルのn層目の次元数とが同じである、
音響モデル学習装置。
【請求項３】
請求項１の音響モデル学習装置であって、
前記第一の音響モデルとして利用しようとするモデルの中間層の次元数より前記第二の音響モデルの中間層の次元数が小さい場合に、前記第一の音響モデルとして利用しようとするモデルの出力層と前記出力層の１つ前の層の間に、前記第二の音響モデルの中間層と同じ次元数のボトルネック層を設け、前記学習用の特徴量と前記学習用の特徴量に対する正解とに基づき再度学習したモデルを前記第一の音響モデルとして用いる、
音響モデル学習装置。
【請求項４】
請求項１から請求項３の何れかの音響モデル学習装置であって、
前記パラメタ更新部は、
前記学習用の特徴量に対する前記第一の音響モデルの出力確率分布と、前記学習用の特徴量に対する前記第二の音響モデルの出力確率分布とから第一Ａの損失を計算する第一Ａ損失計算部と、
前記学習用の特徴量に対する正解と、前記学習用の特徴量に対する前記第二の音響モデルの出力確率分布とから第一Ｂの損失を計算する第一Ｂ損失計算部とを含み、
前記第一の損失は、前記第一Ａの損失と前記第一Ｂの損失とからなる、
音響モデル学習装置。
【請求項５】
学習用の特徴量に対する、学習対象のニューラルネットワーク型モデルである第二のモデルの出力確率分布に基づく第一の損失と、学習用の特徴量に対する、学習済みのニューラルネットワーク型モデルである第一のモデルの中間特徴量と前記第二のモデルの中間特徴量とに基づく第二の損失と、に基づいて前記第二のモデルのパラメタを更新するパラメタ更新部を含む、
モデル学習装置。
【請求項６】
学習用の特徴量に対する、学習対象のニューラルネットワーク型音響モデルである第二の音響モデルの出力確率分布に基づく第一の損失と、学習用の特徴量に対する、学習済みのニューラルネットワーク型音響モデルである第一の音響モデルの中間特徴量と前記第二の音響モデルの中間特徴量とに基づく第二の損失と、に基づいて前記第二の音響モデルのパラメタを更新するパラメタ更新ステップを含む、
音響モデル学習方法。
【請求項７】
請求項６の音響モデル学習方法であって、
前記第一の音響モデルのm層目の次元数と前記第二の音響モデルのn層目の次元数とが同じである、
音響モデル学習方法。
【請求項８】
請求項６の音響モデル学習方法であって、
前記第一の音響モデルとして利用しようとするモデルの中間層の次元数より前記第二の音響モデルの中間層の次元数が小さい場合に、前記第一の音響モデルとして利用しようとするモデルの出力層と前記出力層の１つ前の層の間に、前記第二の音響モデルの中間層と同じ次元数のボトルネック層を設け、前記学習用の特徴量と前記学習用の特徴量に対する正解とに基づき再度学習したモデルを前記第一の音響モデルとして用いる、
音響モデル学習方法。
【請求項９】
モデル学習装置が、学習用の特徴量に対する、学習対象のニューラルネットワーク型モデルである第二のモデルの出力確率分布に基づく第一の損失と、学習用の特徴量に対する、学習済みのニューラルネットワーク型モデルである第一のモデルの中間特徴量と前記第二のモデルの中間特徴量とに基づく第二の損失と、に基づいて前記第二のモデルのパラメタを更新するパラメタ更新ステップを含む、
モデル学習方法。
【請求項１０】
請求項１から請求項４の何れかの音響モデル学習装置、または、請求項５のモデル学習装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデルを効率的に学習する音響モデル学習装置、モデル学習装置、それらの方法、およびプログラムに関する。
【背景技術】
【０００２】
一般的なニューラルネットワークの学習方法（以下、「従来技術１」ともいう）を実現するための学習装置の機能ブロック図を図１に示す。この学習方法を用いて、音声認識用のニューラルネットワーク型音響モデル（以下、単に「音響モデル」と書く）を学習する方法が非特許文献１の"TRAINING DEEP NEURAL NETWORKS"の節に記載されている。【０００３】
事前に学習データ（学習用の音響信号）の各サンプルから抽出した特徴量（学習用の特徴量であり、実数ベクトルからなる）と各特徴量に対応する正解ユニット番号（正解）のペア、および適当な初期モデルを用意する。初期モデルとしては、各パラメータに乱数を割り当てたニューラルネットワークや、既に別の学習データで学習済みのニューラルネットワークなどが利用できる。【０００４】
中間特徴量抽出部１０１は入力された特徴量から、出力確率分布計算部１０２において正解ユニットを識別しやすくするための中間特徴量を次式により計算する。【０００５】
【数１】
2020090651.tif 000003
【０００６】
ただし、jはユニットを示すインデックスであり、iはユニットjの下位の層に含まれるユニットを示すインデックスであり、yjはユニットjの中間特徴量を示し、logistic()はロジスティック関数を示し、bjはユニットjのバイアスを示し、wijは下位のユニットiからユニットjへの接続重みを示す。【０００７】
この中間特徴量抽出部１０１は複数の層のニューラルネットワークの入力層と中間層とで構築されており、中間層の数だけ特徴量（以下、単に「中間特徴量」と書く）を抽出する計算が行われる。【０００８】
出力確率分布計算部１０２は、ニューラルネットワークの出力層で構築されており、中間特徴量抽出部１０１で抽出した中間特徴量を現在のモデルに入力して出力層の各ユニットの確率(出力確率pj)を並べた出力確率分布を次式により計算する。【０００９】
【数２】
2020090651.tif 000004
【００１０】
第一モデル更新部１０３は、正解ユニット番号と出力確率分布から損失関数Cを次式により計算する。【００１１】
【数３】
2020090651.tif 000005
【００１２】
ただし、正解ユニット番号に対応するユニットの場合djは1の値を取り、その他のユニットの場合djは0の値を取る。【００１３】
さらに、第一モデル更新部１０３は、損失関数Cの値を減少させるように次式によりモデルを更新する。【００１４】
【数４】
2020090651.tif 000006
【００１５】
ただし、Wは接続重みwijを要素とする行列であり、W^は更新後のモデルを示し、εは学習率を示す。なお、bjについても同様に更新する。【００１６】
学習データの特徴量と正解ユニット番号の各ペアに対して、上記の中間特徴量の抽出→出力確率計算→モデル更新の処理を繰り返し、所定回数（通常、数十〜数百回）の繰り返しが完了した時点のモデルを学習済みのモデルとして利用する。【００１７】
図２は、学習するモデル（以下、「学習対象のモデル」ともいう）と高性能な学習済みのモデルの振る舞いを似せる方法（以下、従来技術２ともいう）を実現するための学習装置の機能ブロック図を示す。【００１８】
一般的なニューラルネットワークの学習における損失関数は以下の式で表される。【００１９】
【数５】
2020090651.tif 000007
【００２０】
このLHard(θ)は上述の式(3)のCであり、θは中間特徴量抽出部１０１および出力確率分布計算部１０２で用いるパラメタ(式(1)のwij、bj)である。またfjは正解ラベルを表す。正解ラベルfjはK次元（分類するクラス数）のOne-hotベクトルの要素であり、このOne-hotベクトルは、正解のクラスに対応する次元の要素（正解ラベルfj）のみが1、それ以外の要素（正解ラベルfj）は全て0のベクトルである。【００２１】
非特許文献２では次式に示すような学習するモデルの出力確率pjと学習済みの音響モデルの出力確率qjとのクロスエントロピーを損失関数とする学習方法が記述されている。【００２２】
【数６】
2020090651.tif 000008
式(6)では学習済みの音響モデルの出力確率qjを正解ラベルとして用いる。【００２３】
この式は非特許文献２における式(5)の第一項(KL(pg,q))に相当する。【００２４】
また、次式のように上述の損失関数を線形補完により組み合わせた学習方法も提案されている。
LKD(θ)=(1-λ)LHard(θ)+λLSoft(θ)         (7)
λはどちらの損失関数に重きをおくかを示すハイパーパラメタである。【００２５】
従来技術２では、中間特徴量抽出部１０１および出力確率分布計算部１０２において、特徴量から学習済みの音響モデルの出力確率qjを求める。また、中間特徴量抽出部１０１Ｂおよび出力確率分布計算部１０２Ｂにおいて、特徴量から学習するモデルの出力確率pjを求める。そして、第二モデル更新部２０３において、式(5)〜(7)を計算して損失LKD(θ)を求め、損失LKD(θ)が小さくなるようにモデルを更新する。
【先行技術文献】
【非特許文献】
【００２６】
【非特許文献１】Geoffrey Hinton, Li Deng, Dong Yu, George E. Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patric Nguyen, Tara N. Sainath and Brian Kingsbury, “Deep Neural Networks for Acoustic Modeling in Speech Recognition,” IEEE Signal Processing Magazine, Vol. 29, No 6, pp.82-97, 2012.
【非特許文献２】G. Hinton, O. Vinyals, J. Dean, “Distilling the Knowledge in a Neural Network.” arXiv, abs/1503.02531, 2015
【発明の概要】
【発明が解決しようとする課題】
【００２７】
従来技術２では学習済みのモデルの出力確率のみを用いてモデルのパラメタを学習している。しかしながら、出力確率ベクトルの次元数は膨大であるため、学習するモデルにとって学習済みのモデルから与えられる出力確率のみではその振る舞いを捉えることが困難な場合がある。【００２８】
本発明は、学習済みのモデルの出力確率に加えて次元数の少ない中間特徴量（中間出力）の振る舞いも真似るようにモデルを学習する音響モデル学習装置、モデル学習装置、それらの方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２９】
上記の課題を解決するために、本発明の一態様によれば、音響モデル学習装置は、学習用の特徴量に対する、学習対象のニューラルネットワーク型音響モデルである第二の音響モデルの出力確率分布に基づく第一の損失と、学習用の特徴量に対する、学習済みのニューラルネットワーク型音響モデルである第一の音響モデルの中間特徴量と第二の音響モデルの中間特徴量とに基づく第二の損失と、に基づいて第二の音響モデルのパラメタを更新するパラメタ更新部を含む。
上記の課題を解決するために、本発明の他の態様によれば、モデル学習装置は、学習用の特徴量に対する、学習対象のニューラルネットワーク型モデルである第二のモデルの出力確率分布に基づく第一の損失と、学習用の特徴量に対する、学習済みのニューラルネットワーク型モデルである第一のモデルの中間特徴量と第二のモデルの中間特徴量とに基づく第二の損失と、に基づいて第二のモデルのパラメタを更新するパラメタ更新部を含む。
【発明の効果】
【００３０】
本発明によれば、学習するモデルの途中の振る舞いも学習済みのモデルに似るように学習するため、高性能な学習済みのモデルの出力確率の値により近くなり、従来技術１および２の損失関数を用いて学習するよりも高精度なモデル構築が可能となる。
【図面の簡単な説明】
【００３１】
【図１】従来技術１の音響モデル学習装置の機能ブロック図。
【図２】従来技術２の音響モデル学習装置の機能ブロック図。
【図３】第二モデル更新部の機能ブロック図
【図４】第一実施形態に係る音響モデル学習装置の機能ブロック図。
【図５】第一実施形態に係る音響モデル学習装置の処理フローの例を示す図。
【図６】第一実施形態に係る第二モデル更新部の機能ブロック図。
【図７】第一実施形態に係る第二モデル更新部の処理フローの例を示す図。
【発明を実施するための形態】
【００３２】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００３３】
本発明に係る音響モデル学習装置の構成を理解しやすくするために、まず、従来技術１および従来技術２の音響モデル学習装置の構成について説明する。
＜従来技術１＞
図１は従来技術１に係る音響モデル学習装置の機能ブロック図を示す。
【００３４】
音響モデル学習装置は、中間特徴量抽出部１０１と出力確率分布計算部１０２と第一モデル更新部１０３とを含む。
【００３５】
音響モデル学習装置は、学習用の特徴量とその特徴量に対応する正解（正解ユニット番号）とからなる学習データを入力とし、音響モデルを学習する。なお、学習済みの音響モデルを、学習済みの音響モデルを利用する外部の装置（例えば音声認識装置等）に出力してもよい。音響モデル学習装置は学習用音響信号を入力とし、音響モデル学習装置が学習用音響信号から学習用の特徴量を抽出する構成としてもよい。学習用の特徴量は学習用音響信号に対応するものであり、正解（正解ユニット番号）は学習用音響信号に対応するとも言える。
【００３６】
以下、各部について説明する。
[中間特徴量抽出部１０１]
入力：特徴量
出力：中間特徴量yj
処理：
中間特徴量抽出部１０１は入力された特徴量から、出力確率分布計算部１０２において正解ユニットを識別しやすくするための中間特徴量を次式により計算する。
【００３７】
【数７】
2020090651.tif 000009
【００３８】
この中間特徴量抽出部１０１は複数の層のニューラルネットワークの入力層と中間層とで構築されており、中間層の数だけ特徴量（以下、単に「中間特徴量」と書く）を抽出する計算が行われる。
【００３９】
例えば、ニューラルネットワークの入力層のユニット数と、特徴量（実数ベクトル）の次元数とが一致し、入力層では特徴量の各要素を入力層の各ユニットの値とする。また、中間層では、上述の式(1)で各ユニットjの値(中間特徴量yj)を求める。出力層における処理は、次の出力確率分布計算部１０２で行われる。
【００４０】
中間特徴量抽出部１０１は、最後の中間層（出力層の１つ前の中間層）の中間特徴量yjを出力する。
[出力確率分布計算部１０２]
入力：中間特徴量yi
出力：出力確率分布（出力確率pjの分布）
処理：
出力確率分布計算部１０２は、中間特徴量抽出部１０１で抽出した中間特徴量を現在のモデルに入力して出力層の各ユニットjの確率を並べた出力確率分布（出力確率pjの分布）を次式により計算する。
【００４１】
【数８】
2020090651.tif 000010
【００４２】
ただし、yjの求め方は式(1)で説明した通りである。この出力確率分布計算部１０２は、ニューラルネットワークの出力層で構築されている。この出力確率分布計算部１０２では、音声認識の場合、音声の特徴量を識別しやすくした中間特徴量がどの音声の出力シンボル（音素状態）であるかを計算し、入力した音声の特徴量に対応した出力確率分布を得る。
[第一モデル更新部１０３]
入力：更新前のモデル、出力確率分布、正解ユニット番号
出力：更新後のモデル
処理：
第一モデル更新部１０３は、正解ユニット番号と出力確率分布計算部１０２より得られる出力確率分布から損失関数C（非特許文献１の式(3)）を次式により計算する。
【００４３】
【数９】
2020090651.tif 000011
【００４４】
さらに、第一モデル更新部１０３は、損失関数Cの値を減少させるように次式によりモデルのパラメタWを更新する。
【００４５】
【数１０】
2020090651.tif 000012
【００４６】
式(1)のバイアスbjについても同様に更新する。なお、更新したパラメタは図示しない記憶部に記憶しておき、次の更新時に利用する構成としてもよい。学習データの特徴量と正解ユニット番号の各ペアに対して、上記の中間特徴量の抽出→出力確率計算→モデル更新の処理を繰り返し、所定回数（通常、数十〜数百回）の繰り返しが完了した時点のモデルを学習済みのモデルとして利用する。
＜従来技術２＞
次に、従来技術２の音響モデル学習装置について説明する。
【００４７】
従来技術１と異なる部分を中心に説明する。
【００４８】
図２は従来技術２に係る音響モデル学習装置の機能ブロック図を示す。
【００４９】
音響モデル学習装置は、中間特徴量抽出部１０１と出力確率分布計算部１０２と中間特徴量抽出部１０１Ｂと出力確率分布計算部１０２Ｂと第二モデル更新部２０３とを含む。
【００５０】
中間特徴量抽出部１０１、出力確率分布計算部１０２、中間特徴量抽出部１０１Ｂ及び出力確率分布計算部１０２Ｂにおける処理は従来技術１と同様である。ただし、中間特徴量抽出部１０１と出力確率分布計算部１０２で利用されるモデルは学習済みであり、パラメタ（重みwijとバイアスbj）は更新されない。なお、ここでは、学習済みのモデルを利用して計算される出力確率をqjと表記する。学習するモデルの振る舞いを学習済みのモデルに似るように学習するために、音響モデル学習装置の入力である学習データを、学習済みのモデルを学習する際に利用した学習データとしてもよい。
[第二モデル更新部２０３]
入力：更新前のモデル、学習するモデルの出力確率分布（以下、単に「出力確率分布」ともいう）、正解ユニット番号、学習済みのモデルの出力確率分布、ハイパーパラメタλ
出力：更新後のモデル
処理：
図３は、第二モデル更新部２０３の機能ブロック図を示す。
【００５１】
第二モデル更新部２０３は、損失計算部２０３−１Ａ、２０３−１Ｂ、乗算部２０３−２Ａ、２０３−２Ｂ、加算部２０３−３、パラメタ更新部２０３−５を含む。
【００５２】
学習するモデルと正解との損失の計算は損失計算部２０３−１Ｂで行われ、学習するモデルと学習済みのモデルとの損失の計算は損失計算部２０３−１Ａで行われる。最終的な損失はハイパーパラメタλによる線形補完の和（次式参照）によって求まる。
LKD(θ)=(1-λ)LHard(θ)+λLSoft(θ)         (7)
この最終的な損失をもとにパラメタ更新部２０３−５によってモデルパラメタを更新する。
[損失計算部２０３−１Ａ]
入力：出力確率分布(pjの分布)、学習済みのモデルの出力確率分布（qjの分布）
出力：損失LSoft(θ)
処理：
学習するモデルの出力と学習済みモデルの出力がどれくらいずれているかを示す損失を次式によって計算する。
【００５３】
【数１１】
2020090651.tif 000013
【００５４】
[損失計算部２０３−１Ｂ]
入力：出力確率分布(pjの分布)、正解ユニット番号
出力：損失LHard(θ)
処理：
学習するモデルの出力と正解がどれくらいずれているかを示す損失を次式によって計算する。
【００５５】
【数１２】
2020090651.tif 000014
【００５６】
なお、正解ラベルfjはK次元（分類するクラス数）のOne-hotベクトルの要素であり、このOne-hotベクトルは、正解のクラスに対応する次元の要素（正解ラベルfj）のみが1、それ以外の要素（正解ラベルfj）は全て0のベクトルである。
【００５７】
乗算部２０３−２Ａでは損失LSoft(θ)にハイパーパラメタλを乗じて積λLSoft(θ)を求め、乗算部２０３−２Ｂでは損失LHard(θ)に(1-λ)を乗じて積(1-λ)LHard(θ)を求める。加算部２０３−３では、λLSoft(θ)と(1-λ)LSoft(θ)とを加算して和(1-λ)LHard(θ)+λLSoft(θ)を求める。なお、
LKD(θ)=(1-λ)LHard(θ)+λLSoft(θ)         (7)
とし、LKD(θ)を最終的な損失とする。
[パラメタ更新部２０３−５]
入力：更新前のモデル、損失LKD(θ)
出力：更新後のモデル
処理：
パラメタ更新部２０３−５は、損失LKD(θ)の値を減少させるように次式によりモデルを更新する。
【００５８】
【数１３】
2020090651.tif 000015
【００５９】
ただし、C=LKD(θ)とする。バイアスbjについても同様に更新する。
【００６０】
次に本発明の第一実施形態について説明する。
＜第一実施形態のポイント＞
第一実施形態では、従来技術２の第二モデル更新部２０３におけるパラメタ更新部２０３−５に入力する損失に、後述する第二損失計算部３０３−１で得られた損失を加えることで、より学習済みのモデルに近い認識精度となるモデルを学習可能とする。
＜第一実施形態＞
図４は第一実施形態に係る音響モデル学習装置の機能ブロック図を、図５はその処理フローを示す。
【００６１】
音響モデル学習装置は、中間特徴量抽出部１０１と出力確率分布計算部１０２と中間特徴量抽出部１０１Ｂと出力確率分布計算部１０２Ｂと第三モデル更新部３０３とを含む。
【００６２】
中間特徴量抽出部１０１、出力確率分布計算部１０２、中間特徴量抽出部１０１Ｂ及び出力確率分布計算部１０２Ｂにおける処理（中間特徴量抽出処理Ｓ１０１、出力確率分布計算処理Ｓ１０２、中間特徴量抽出処理Ｓ１０１Ｂ及び出力確率分布計算処理Ｓ１０２Ｂ）は従来技術２と同様である。ただし、中間特徴量抽出部１０１を構築する複数の層のニューラルネットワークのm層目の中間特徴量htrained(m)を第三モデル更新部３０３に出力し、中間特徴量抽出部１０１Ｂを構築する複数の層のニューラルネットワークのn層目の中間特徴量htrain(n)を第三モデル更新部３０３に出力する。本実施形態では、第三モデル更新部３０３における処理を中心に説明する。
【００６３】
音響モデル学習装置は、学習用の特徴量とその特徴量に対応する正解（正解ユニット番号）とからなる学習データと、ハイパーパラメタλ、ρとを入力とし、音響モデルを学習する。なお、学習済みの音響モデルを、学習済みの音響モデルを利用する外部の装置（例えば音声認識装置等）に出力してもよい。
【００６４】
音響モデル学習装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音響モデル学習装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音響モデル学習装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。音響モデル学習装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。音響モデル学習装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも音響モデル学習装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、音響モデル学習装置の外部に備える構成としてもよい。
[第三モデル更新部３０３]
入力：更新前のモデル、（学習するモデルの）出力確率分布、正解ユニット番号、学習済みのモデルの出力確率分布、（学習するモデルの）中間特徴量、学習済みのモデルの中間特徴量、λ、ρ
出力：更新後のモデル
処理：
第三モデル更新部３０３は、学習するモデルの出力確率分布(出力確率pjの分布)に基づく第一の損失LKDと、学習済みの音響モデルの中間特徴量htrained(m)と学習する音響モデルの中間特徴量htrain(n)とに基づく第二の損失LMSE(θ)と、に基づいて、学習する音響モデルのパラメタを更新する（Ｓ３０３）。
【００６５】
本実施形態では、第三モデル更新部３０３は、第一Ａの損失LSoftと、第一Ｂの損失LHardとから第一の損失LKDを計算する。第一Ａの損失LSoftは、学習済みの音響モデルの出力確率分布(出力確率qjの分布)と、学習する音響モデルの出力確率分布(出力確率pjの分布)とから計算したものである。第一Ｂの損失LHardは、学習する音響モデルの出力確率分布(出力確率pjの分布)と、学習用音響信号に対する正解とから計算したものである。
【００６６】
図６は第三モデル更新部３０３の機能ブロック図を、図７はその処理フローの例を示す。
【００６７】
第三モデル更新部３０３は、損失計算部２０３−１Ａ、２０３−１Ｂ、乗算部２０３−２Ａ、２０３−２Ｂ、加算部２０３−３、第二損失計算部３０３−１、乗算部３０３−２、加算部３０３−４、パラメタ更新部３０３−５を含む。損失計算部２０３−１Ａ、２０３−１Ｂ、乗算部２０３−２Ａ、２０３−２Ｂ、加算部２０３−３における処理（損失計算処理Ｓ２０３−１Ａ、Ｓ２０３−１Ｂ、乗算処理Ｓ２０３−２Ａ、Ｓ２０３−２Ｂ、加算処理Ｓ２０３−３）は、従来技術２と同様である。
【００６８】
第三モデル更新部３０３と第二モデル更新部２０３との異なる点は、新たな損失として学習するモデルの中間特徴量と学習済みのモデルの中間特徴量のmean squared error （MSE）を用いている点である。この新たな損失は下記の式のように表す。
LMSE-KD(θ)=LKD(θ)+ρLMSE(θ)        (8)
第一項のLKD(θ)は、第二モデル更新部２０３の式(7)で得られる値と同様である。第二項のLMSE(θ)は後述する第二損失計算部３０３−１により得られた損失であり、ρは損失の重みを決めるハイパーパラメタである。この損失LMSE-KD(θ)を用いてパラメタ更新部３０３−５はモデルのパラメタを更新する。
[第二損失計算部３０３−１]
入力：（学習するモデルの）中間特徴量、学習済みのモデルの中間特徴量
出力：損失LMSE(θ)
処理：
第二損失計算部３０３−１は、学習するモデルの中間出力（中間特徴量）と学習済みのモデルの中間出力（中間特徴量）がどれくらいずれているかを下記の式に示すmean squared error（MSE）により損失として求める（Ｓ３０２）。
LMSE(θ)=||htrained(m)-htrain(n)||22        (9)
第一項は学習済みのモデルのm層目の中間特徴量、第二項は学習するモデルn層目の中間特徴量であり、これらの差分の二乗和を損失として用いる。
【００６９】
式(9)の通りMSEによる損失の計算は任意の層m、nにおいて同じ次元数でなければならない。したがってhtrained(m)とhtrain(n)の次元数が異なる場合には、損失LMSE(θ)を求めることができない。そこで、例えば、学習済みのモデルのボトルネック層（他の層に比べてユニット数を少なくした層）の中間特徴量をhtrained(m)として用い、学習するモデルのn層目の中間特徴量の次元数と合わせる。また、学習済みのモデルのボトルネック層に学習するモデルの中間層の次元数を合わせるように学習するモデルを構築してもよい。なお、学習済みのモデルと学習するモデルとにおいて、次元数が同じ中間層が2つ以上あってもよく、何れの位置の中間層を用いて式(9)を計算してもよい。ただし、一般に式(9)の損失は、出力層の１つ前の層(例えば、学習するモデルと学習済みのモデルに含まれるニューラルネットの層数が同じならば１つ前の層はm=n=L-1(Lは出力層)である)の中間特徴量を用いて求めることが好ましい。これは学習済みのモデルと学習するモデルの中間特徴量抽出部１０１，１０１Ｂにあたるニューラルネット（convolutional neural network, recurrent neural network with long short-term memoryなどのニューラルネット）の性質が異なることが多く、その中でも出力層の直前の層だけは多くのモデルにおいて性質が同一なためである。
【００７０】
乗算部３０３−２では損失LMSE(θ)にハイパーパラメタρを乗じて積ρLMSE(θ)を求める。加算部３０３−４では、加算部２０３−３の出力値であるLKD(θ)とρLMSE(θ)とを加算して和LKD(θ)+ρLMSE(θ)を求める。なお、
LMSE-KD(θ)=LKD(θ)+ρLMSE(θ)        (8)
とし、LMSE-KD(θ)を最終的な損失とする。
[パラメタ更新部３０３−５]
入力：更新前のモデル、損失LMSE-KD(θ)
出力：更新後のモデル
処理：
パラメタ更新部３０３−５は、LMSE-KD(θ)の値を減少させるように次式によりモデルを更新する。
【００７１】
【数１４】
2020090651.tif 000016
【００７２】
ただし、C=LMSE-KD(θ)とする。バイアスbjについても同様に更新する。なお、更新したパラメタは図示しない記憶部に記憶しておき、次の更新時に利用する構成としてもよい。学習データの特徴量と正解ユニット番号の各ペアに対して、中間特徴量の抽出→出力確率計算→モデル更新の処理を繰り返し、所定回数（通常、数十〜数百回）の繰り返しが完了した時点（図５のＳ３０４のｙｅｓの場合）のモデルを学習済みのモデルとして利用する。
＜効果＞
以上の構成により、学習するモデルの途中の振る舞いも学習済みのモデルに似るように学習するため、高性能な学習済みのモデルの出力確率の値により近くなり、従来技術１および２の損失関数を用いて学習するよりも高精度な音響モデル構築が可能となる。
＜変形例１＞
第一実施形態では、本発明の一般性について説明した。変形例として、学習済みの大型音響モデルの出力と中間出力を小型音響モデルに模倣させることで、小型音響モデルの性能を大型音響モデルへ近づけさせる例が挙げられる。
【００７３】
例えば、大型音響モデルを学習済みの音響モデルとして利用しようとする場合、利用したい中間層(例えば、出力層の１つ前の中間層)のユニット数が学習するモデル(小型音響モデル)の中間層(例えば、出力層の１つ前の中間層)のユニット数に対して大きい場合がある。この場合、まず、学習済みのモデルとして利用しようとするモデルの中間層に学習するモデル(小型音響モデル)の中間層の出力と同じ次元数のボトルネック層を設ける。例えば、学習するモデル(小型音響モデル)の中間層(例えば、出力層の１つ前の中間層)の出力と同じ次元数のボトルネック層を学習済みの大型音響モデルの出力層の手前に挿入する。次に、学習済みの大型音響モデルを学習したときと同じ学習データ（学習用の特徴量とその正解）で再度、ボトルネック層を設けた学習済みの大型音響モデルを学習し、学習したモデルを新たな学習済みのモデルとして用いる。新たな学習済みのモデルのボトルネック層の中間特徴量を第三モデル更新部３０３の入力とし、第一実施形態と同様の方法により、学習対象の音響モデルを学習することができる。
＜変形例２＞
音響モデル学習装置は、中間特徴量抽出部１０１Ｂと出力確率分布計算部１０２Ｂと第三モデル更新部３０３とを含み、中間特徴量抽出部１０１と出力確率分布計算部１０２とを含まない構成としてもよい。外部装置が、中間特徴量抽出部１０１と出力確率分布計算部１０２とに対応する構成を含み、学習用の特徴量からなる学習データを入力とし、学習済みの音響モデルの中間特徴量と出力確率分布と計算し、音響モデル学習装置に出力する構成としてもよい。
＜変形例３＞
本実施形態では、加算部２０３−３において、次式により損失をLKD(θ)を計算する。
【００７４】
LKD(θ)=(1-λ)LHard(θ)+λLSoft(θ)         (7)
このとき、λ=0またはλ=1となる構成も考えられる。λ=0の場合、LSoft(θ)を求める必要がないため、損失計算部２０３−１Ａと乗算部２０３−２Ａと加算部２０３−３を備えなくともよい。また、λ=1の場合、LHard(θ)を求める必要がないため、損失計算部２０３−１Ａと乗算部２０３−２Ａと加算部２０３−３を備えなくともよい。なお、LHard(θ)を求める場合もLSoft(θ)を求める場合も学習するモデルの出力確率分布(pjの分布)は必要とするため、LKD(θ)は、学習するモデルの出力確率分布に基づく値と言える。
【００７５】
【数１５】
2020090651.tif 000017
【００７６】
【数１６】
2020090651.tif 000018
【００７７】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
また、本発明は音声のみならず、入力特徴量および出力ラベルを変えることによりその他のニューラルネットワーク学習装置として実行されてもよい。例として、本発明で用いる全モデルの中間特徴量抽出部と出力確率分布計算部と各損失計算部の動作を同一とし、入力の音響特徴量を画像特徴量、出力の音素数を画像中の物体や動物などのラベルとした場合には画像認識モデルのニューラルネットワーク学習装置として実行することが可能となる。このように入力特徴量と出力ラベルを適宜変更することによって、音声や画像以外の映像や言語など、任意の特徴量に対するラベルの出力を学習可能な任意のモデルに対しても同様に適用可能である。
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００７８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００７９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００８０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８１】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020090651.tif 000019
【図２】
2020090651.tif 000020
【図３】
2020090651.tif 000021
【図４】
2020090651.tif 000022
【図５】
2020090651.tif 000023
【図６】
2020090651.tif 000024
【図７】
2020090651.tif 000025
【国際調査報告】
2020090651.tif 000026
2020090651.tif 000027