(57)【要約】  音響モデル学習装置（１０）は、まず、音声データの特徴を示す音声特徴量を抽出し、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータを基に、音声データの音響条件の特徴を示す音響条件特徴量を音響条件の計算モデルを用いて計算する。次に、音響モデル学習装置（１０）は、音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する。そして、音響モデル学習装置（１０）は、補正後パラメータおよび音声特徴量を基に音響モデルパラメータを更新し、補正後パラメータおよび音声特徴量を基に音響条件計算モデルパラメータを更新する。
2017135148.tif 000002
【特許請求の範囲】
【請求項１】
音声データの特徴を示す音声特徴量を抽出する特徴量抽出工程と、
ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算工程と、
前記音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正工程と、
前記補正後パラメータおよび前記音声特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新工程と、
前記補正後パラメータおよび前記音声特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新工程と、
を含んだことを特徴とする音響モデル学習方法。
【請求項２】
前記特徴量抽出工程は、前記音声特徴量として第１の音声特徴量、および前記第１の音声特徴量と異なる第２の特徴量を抽出し、
前記音響条件特徴量計算工程は、前記音響条件計算モデルパラメータおよび前記第２の特徴量を基に前記音響条件特徴量を計算し、
前記音響モデルパラメータ更新工程は、前記補正後パラメータおよび前記第１の音声特徴量を基に前記音響モデルパラメータを更新し、
前記音響条件計算モデルパラメータ更新工程は、前記補正後パラメータおよび前記第２の特徴量を基に前記音響条件計算モデルパラメータを更新することを特徴とする請求項１に記載の音響モデル学習方法。
【請求項３】
請求項１に記載の音響モデル学習方法により更新された前記音響モデルパラメータおよび前記音響条件計算モデルパラメータと、単語列の生成確率をモデル化する言語モデルと、を用いて音声認識を行う音声認識方法であって、
音声データの特徴を示す音声特徴量を抽出する音声認識用特徴量抽出工程と、
前記音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音声認識用音響条件特徴量計算工程と、
前記音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音声認識用音響モデルパラメータ補正工程と、
前記音声特徴量および前記補正後パラメータを基に計算された前記音響モデルの出力確率と、前記言語モデルの生成確率と、を用いて、単語列を出力する単語列検索工程と、
を含んだことを特徴とする音声認識方法。
【請求項４】
音声データの特徴を示す音声特徴量を抽出する特徴量抽出部と、
ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算部と、
前記音響条件の計算モデルの出力層が結合された音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正部と、
前記補正後パラメータおよび前記音声特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新部と、
前記補正後パラメータおよび前記音声特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新部と、
を有することを特徴とする音響モデル学習装置。
【請求項５】
請求項４に記載の音響モデル学習装置により更新された前記音響モデルパラメータおよび前記音響条件計算モデルパラメータと、単語列の生成確率をモデル化する言語モデルと、を用いて音声認識を行う音声認識装置であって、
音声データの特徴を示す音声特徴量を抽出する音声認識用特徴量抽出部と、
前記音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音声認識用音響条件特徴量計算部と、
前記音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音声認識用音響モデルパラメータ補正部と、
前記音声特徴量および前記補正後パラメータを基に計算された前記音響モデルの出力確率と、前記言語モデルの生成確率と、を用いて、単語列を出力する単語列検索部と、
を有することを特徴とする音声認識装置。
【請求項６】
請求項４に記載の音響モデル学習装置としてコンピュータを機能させる音響モデル学習プログラム。
【請求項７】
請求項５に記載の音声認識装置としてコンピュータを機能させる音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムに関する。
【背景技術】
【０００２】
従来から、学習用の音声データを隠れマルコフモデル（以下、ＨＭＭ（Hidden  Markov  Model）と称す）に基づき学習した音響モデルを用いて、認識用音声データから話者の音声を認識する技術がある（例えば非特許文献１参照）。【０００３】
認識用音声データは、周囲の雑音や話者の多様性等のため、学習用の音声データと特徴が一致しないことが多い。つまり、学習用の音声データおよび認識用音声データそれぞれが置かれる周囲の雑音を含む音響環境や話者毎の特性である話者特性等の音響条件の不一致は、音声の認識精度を低下させる。このため、音声認識技術は、音響条件に対してロバストであることが求められる。ロバストな音声認識技術として、認識用音声データが音響モデルに適合するように、適応データを用いて音響モデルのパラメータを再推定により学習する技術が知られている（例えば非特許文献２参照）。また、パラメータの再推定方法としては、誤差逆伝搬法等が広く用いられている（例えば非特許文献３参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】G.  Hinton  et  al.,  “Deep  Neural  Networks  for  Acoustic  Modeling  in  Speech  Recognition,  The  shared  views  of  four  research  groups,”  IEEE  SIGNAL  PROCESSING  MAGAZINE,  Vol.  29，No.  6,  pp.  82−97,  2012.
【非特許文献２】H.  Liao,  “SPEAKER  ADAPTATION  OF  CONTEXT  DEPENDENT  DEEP  NEURAL  NETWORKS,”  in  Proc.  of  ICASSP’13,  2013,  pp.  7947−7951.
【非特許文献３】S.  Haykin,  “NEURAL  NETWORKS:  A  COMPREHENSIVE  FOUNDATION,”  Prentice  Hall  PTR,  Upper  Saddle  River,  NJ,  USA,  2nd  edition,  1999.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術は、音響モデルの学習用の音声データが置かれる音響条件と、認識用音声データが置かれる音響条件が必ずしも同一ではないため、音響モデルと音声認識時の音声特徴量にミスマッチがあり、結果、音声認識の精度が低下する。【０００６】
音声認識の精度の低下を抑制するため、例えば、認識用音声データと同様な音響条件の適応データを用いて音響モデルのパラメータを適応させる。しかし、大量の音響モデルのパラメータを精度よく推定するために、膨大な音声データ量が必要になる。また、パラメータ推定のために用いる音声には，その音声を表現するラベル（例えば話者ＩＤやトランスクリプション等）が必要になる。そのため、観測した認識用音声データを音響モデルのパラメータを適応させる際に膨大な計算が必要になり、高速なパラメータ適応ができないという問題がある。【０００７】
そこで、本願が開示する実施形態の一例は、音声認識の際に、音響モデルのパラメータ適応を高精度かつ高速に実現することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の音響モデル学習方法は、音声データの特徴を示す特徴量を抽出する特徴量抽出工程と、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算工程と、前記音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正工程と、前記補正後パラメータおよび前記特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新工程と、前記補正後パラメータおよび前記特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新工程と、を含んだことを特徴とする。【０００９】
また、本発明の音響モデル学習装置は、音声データの特徴を示す特徴量を抽出する特徴量抽出部と、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算部と、前記音響条件の計算モデルの出力層が結合された音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正部と、前記補正後パラメータおよび前記特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新部と、前記補正後パラメータおよび前記特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新部と、を有することを特徴とする。
【発明の効果】
【００１０】
本願が開示する実施形態の一例によれば、例えば、音声認識の際に、音響モデルのパラメータ適応を高精度かつ高速に実現することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の従来技術に係る音声認識装置の構成の一例を示す図である。
【図２】図２は、第１の従来技術の処理の概要の一例を示す図である。
【図３】図３は、第１の従来技術に係る音声認識処理の一例を示すフローチャートである。
【図４】図４は、第２の従来技術に係る音声認識装置の構成の一例を示す図である。
【図５】図５は、第２の従来技術に係る音声認識処理の一例を示すフローチャートである。
【図６】図６は、第３の従来技術に係る音響モデル再学習装置の構成の一例を示す図である。
【図７】図７は、第３の従来技術に係る音声モデル再学習処理の一例を示すフローチャートである。
【図８】図８は、従来の音響条件適応型音響モデルの概要の一例を示す図である。
【図９】図９は、実施形態に係る音響条件適応型音響モデルの概要の一例を示す図である。
【図１０】図１０は、実施形態に係る音響モデル学習装置の構成の一例を示す図である。
【図１１】図１１は、実施形態に係る音響モデル学習処理の一例を示すフローチャートである。
【図１２】図１２は、実施形態に係る音声認識装置の構成の一例を示す図である。
【図１３】図１３は、実施形態に係る音声認識処理の一例を示すフローチャートである。
【図１４】図１４は、プログラムが実行されることにより、実施形態に係る音響モデル学習装置および音声認識装置が実現されるコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本願が開示する音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムの実施形態の一例の説明に先立ち、実施形態の一例が前提とする従来技術を説明する。その後、本願が開示する音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムの実施形態の一例を説明する。
【００１３】
なお、以下では、例えばＡがベクトルである場合には“ベクトルＡ”と表記し、例えばＡが行列である場合には“行列Ａ”と表記し、例えばＡがスカラーである場合には単に“Ａ”と表記する。また、例えばＡが集合である場合には、“集合Ａ”と表記する。また、例えばベクトルＡの関数ｆは、ｆ（ベクトルＡ）と表記する。また、ベクトル、行列またはスカラーであるＡに対し、“＾Ａ”と記載する場合は「“Ａ”の直上に“＾”が記された記号」と同等であるとする。また、ベクトル、行列またはスカラーであるＡに対し、“−Ａ”と記載する場合は「“Ａ”の直上に“−”が記された記号」と同等であるとする。また、ベクトル、行列またはスカラーであるＡに対し、“~Ａ”と記載する場合は「“Ａ”の直上に“~”が記された記号」と同等であるとする。また、ベクトルまたは行列であるＡに対し、ＡＴはＡの転置を表す。
【００１４】
＜第１の従来技術＞
第１の従来技術は、例えば文献１「G.  Hinton  et  al.,  “Deep  Neural  Networks  for  Acoustic  Modeling  in  Speech  Recognition,  The  shared  views  of  four  research  groups,”  IEEE  SIGNAL  PROCESSING  MAGAZINE,  Vol.  29，No.  6,  pp.  82−97,  2012.」に示される音声認識技術である。図１は、第１の従来技術に係る音声認識装置の構成の一例を示す図である。図１に示すように、第１の従来技術に係る音声認識装置２０ａは、特徴量抽出部２０１ａ、ＨＭＭ状態の出力確率計算部２０５ａ、単語列検索部２０６ａを有する。また、音声認識装置２０ａは、記憶部２５０ａと接続される。
【００１５】
記憶部２５０ａは、音響モデルおよび言語モデルをあらかじめ記憶する。音響モデルは、音声の音響的特徴をモデル化したものである。言語モデルは、音素や単語といった多数のシンボル系列から構成されている。例えば、言語モデルは、単語列の生成確率をモデル化したものであるといえる。一般的に、音声認識用の音響モデルは、各音素をLeft  to  rightのＨＭＭであり、ニューラルネットワーク（以下、ＮＮ（Neural  Network）と称す）で計算されたＨＭＭの各状態の出力確率分布を含む。
【００１６】
すなわち、記憶部２５０ａに記憶されている音響モデルは、音素等の各シンボルにおけるＨＭＭの状態遷移確率、ｉ番目の隠れ層に関する重み行列Ｗｉおよびバイアスベクトルｂｉ、アクティベーション関数のパラメータ等を含むＮＮのパラメータである。ここで、ｉは、隠れ層のインデックスである。これらを音響モデルパラメータと称し、その集合をΛ＝｛Ｗ１，ｂ１，・・・，ＷＩ，ｂＩ｝（Ｉは、隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数）とする。言語モデルは、音素や単語といった多数のシンボル系列Ｓｊから構成されており、Ｐ（Ｓｊ）は言語モデルによって得られるシンボル系列Ｓｊの確率（言語確率）である。なお、シンボル系列Ｓｊとは、音声認識結果となりうる、音素や単語等からなるシンボルの系列である。
【００１７】
特徴量抽出部２０１ａは、認識用音声データを読み込み、認識用音声データから音声の特徴量を抽出する。特徴量としては、例えば、ＭＦＣＣ（Mel  Frequency  Cepstral  Coefficient）、ＬＭＦＣ（log  Mel  Filterbank  coefficients）、ΔＭＦＣＣ（ＭＦＣＣの１回微分）、ΔΔＭＦＣＣ（ＭＦＣＣの２回微分）、対数（スペクトル）パワー、Δ対数パワー（対数パワーの１回微分）等がある。
【００１８】
そして、特徴量抽出部２０１ａは、フレーム毎に当該フレームおよびその前後５フレーム程度の連続する各フレームから得られる特徴量を連結し、１０〜２０００次元程度の時系列特徴量ベクトルｏｎ（ｎは、１，・・・，Ｎの自然数）を生成する。そして、特徴量抽出部２０１ａは、下記（１）式のように、全てのフレームについての時系列特徴量ベクトルｏｎをまとめた特徴量ベクトルＯを生成する。特徴量ベクトルＯは、１からＮフレーム目までのＤ次元ベクトルで表現されるデータである。例えば、フレーム長は、３０ｍｓ程度、フレームシフト長は、１０ｍｓ程度である。
【００１９】
【数１】
2017135148.tif 000003
【００２０】
ＨＭＭ状態の出力確率計算部２０５ａは、記憶部２５０ａから音響モデルパラメータΛを読み込み、読み込んだ音響モデルパラメータΛに基づき、特徴量ベクトルＯの各フレームｎに対する音響モデルの各ＨＭＭ状態の出力確率を計算する。ＨＭＭ状態の出力確率は、例えば文献１「G.  Hinton  et  al.,  “Deep  Neural  Networks  for  Acoustic  Modeling  in  Speech  Recognition,  The  shared  views  of  four  research  groups,”  IEEE  SIGNAL  PROCESSING  MAGAZINE,  Vol.  29，No.  6,  pp.  82−97,  2012.」の数式（２）で表されるようなニューラルネットワークの出力である。図２は、第１の従来技術の処理の概要の一例を示す図である。図２に示すように、従来技術の音声認識に音響モデルを表すニューラルネットワークは、入力と出力との間に、１以上の隠れ層を有する。ニューラルネットワークの入力は、時系列特徴量ベクトルｏｎであり、最前段の隠れ層へ入力される。ニューラルネットワークの出力は、最後段の隠れ層によるＨＭＭ状態の出力確率である。ＨＭＭ状態の出力確率計算部２０５ａが行う各隠れ層における計算は、線形変換による処理およびアクティベーション関数による処理の２つの処理を含む。各隠れ層における線形変換は、下記（２）式のようになる。
【００２１】
【数２】
2017135148.tif 000004
【００２２】
ただし、上記（２）式において、ベクトルｚｉ，ｎは、ｉ番目（ｉは自然数であり、ｉ＝１，２，・・・，Ｉ（ただしＩは隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数））の隠れ層における線形変換の出力であり、ベクトルｘｉ−１，ｎは（ｉ−１）番目の隠れ層の出力である。なお、ベクトルｘ０，ｎは、ニューラルネットワークの入力である時系列特徴量ベクトルｏｎである。また、アクティベーション関数の出力は、下記（３）式のようになる。
【００２３】
【数３】
2017135148.tif 000005
【００２４】
ただし、上記（３）式において、ベクトルｘｉ，ｎはｉ番目の隠れ層の出力であり、σは、例えばsigmoid関数等のアクティベーション関数であり、σ(ベクトルｚｉ，ｎ)ベクトルの要素毎に計算される。すなわち、ＨＭＭ状態の出力確率計算部２０５ａは、ｉ番目の隠れ層において、前段の隠れ層である（ｉ−１）番目の隠れ層の出力であるベクトルｘｉ−１，ｎに対し上記（２）式による線形変換を行った結果であるベクトルｚｉ，ｎに対して、上記（２）式による処理を行った結果であるベクトルｘｉ，ｎを出力する。そして、ＨＭＭ状態の出力確率計算部２０５ａは、各ベクトルｘｉ，ｎ（ｉ＝１，２，・・・，Ｉ）に基づき、特徴量ベクトルＯの各フレームｎに対する音響モデルの各ＨＭＭ状態の出力確率を計算する。
【００２５】
単語列検索部２０６ａは、ＨＭＭ状態の出力確率計算部２０５ａにより計算された各ＨＭＭ状態の出力確率に基づき、Ｊ個（Ｊは自然数）の対立候補シンボル系列Ｓｊを生成し、対立候補シンボル系列Ｓｊ毎に、音響モデルとの適合尤度を示す音響スコアを計算する。シンボルは、例えば、音素である。ここで、ｊ＝１，２，・・・，Ｊである。次に、単語列検索部２０６ａは、記憶部２５０ａから読み込んだ言語モデルに基づき、対立候補シンボル系列Ｓｊ毎に、言語モデルとの適合尤度を示す言語スコアを計算する。そして、単語列検索部２０６ａは、計算した音響スコアおよび言語スコアに基づき、Ｊ個の対立候補シンボル系列Ｓｊの中から、認識用音声データに対応する単語列として最も確からしい、つまり、音響スコアおよび言語スコアを統合したスコアが最も高い対立候補シンボル系列を、記憶部２５０ａに記憶される言語モデルから検索し、検索した対立候補シンボル系列を、認識結果である単語列＾Ｓとして出力する。
【００２６】
図３は、第１の従来技術に係る音声認識処理の一例を示すフローチャートである。まず、音声認識装置２０ａは、記憶部２５０ａから、音響モデルパラメータΛを読み込む（ステップＳ２０１ａ）。次に、音声認識装置２０ａは、記憶部２５０ａから、言語モデルを読み込む（ステップＳ２０２ａ）。次に、音声認識装置２０ａは、認識用音声データを読み込む（ステップＳ２０３ａ）。次に、音声認識装置２０ａは、読み込んだ認識用音声データから音声の特徴量を抽出し、特徴量ベクトルＯを生成する（ステップＳ２０４ａ）。次に、音声認識装置２０ａは、読み込んだ音響モデルパラメータΛに基づき、特徴量ベクトルＯの各フレームｎに対する音響モデルの各ＨＭＭ状態の出力確率を計算する（ステップＳ２０５ａ）。次に、音声認識装置２０ａは、ＨＭＭ状態の出力確率計算部２０５ａにより計算された各ＨＭＭ状態の出力確率に基づき、対立候補シンボル系列Ｓｊを生成し、対立候補シンボル系列Ｓｊ毎の音響スコアおよび言語スコアを統合したスコアが最も高い対立候補シンボル系列を、記憶部２５０ａに記憶される言語モデルから検索する（ステップＳ２０６ａ）。次に、音声認識装置２０ａは、ステップＳ２０６ａの検索結果を、認識結果である単語列＾Ｓとして出力する（ステップＳ２０７ａ）。
【００２７】
＜第２の従来技術＞
ここで、一般的に、音響モデルの学習時と認識時とでは、音響環境や話者特性等の音響条件が異なる。そのため、第１の従来技術の音声認識は、音響モデルと認識時の特徴量とが合致せず、十分な認識性能が得られない。そこで、音響モデルを認識時の特徴量と合致させるため、音響モデルのパラメータを補正（再推定）（以下、音響モデル補正と称す）して音声認識を行う第２の従来技術がある。第２の従来技術は、例えば文献２「H.  Liao,  “SPEAKER  ADAPTATION  OF  CONTEXT  DEPENDENT  DEEP  NEURAL  NETWORKS,”  in  Proc.  of  ICASSP’13,  2013,  pp.  7947−7951.」に示される音声認識技術である。以下、音響モデル補正を行う第２の従来技術について、第１の従来技術との差異部分を説明する。
【００２８】
図４は、第２の従来技術に係る音声認識装置の構成の一例を示す図である。音響モデル補正を行う第２の従来技術に係る音声認識装置２０ｂは、特徴量抽出部２０１ｂ、ＨＭＭ状態の出力確率計算部２０５ｂ、単語列検索部２０６ｂを有する。また、音声認識装置２０ｂは、記憶部２５０ｂと接続される。
【００２９】
記憶部２５０ｂは、第１の従来技術の記憶部２５０ａと同様であるが、記憶されている音響モデルに関しては、補正された音響モデルパラメータを記憶する。特徴量抽出部２０１ｂは、認識用音声データを読み込み、特徴量ベクトルＯを生成する。ＨＭＭ状態の出力確率計算部２０５ｂは、事前に補正された音響モデルパラメータ＾Λと、特徴量抽出部２０１ｂにより生成された特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する。単語列検索部２０６ｂは、各ＨＭＭ状態の出力確率と、記憶部２５０ｂから読み込んだ言語モデルを入力とし、認識結果である単語列＾Ｓを出力する。
【００３０】
図５は、第２の従来技術に係る音声認識処理の一例を示すフローチャートである。図５に示すように、音声認識装置２０ｂの具体的な処理は、第１の従来技術の音声認識装置２０ａと比較して、ステップＳ２０１ｂで読み込む音響モデルが、補正された音響モデルである点以外は、第１の従来技術の音声認識装置２０ａと同様である。
【００３１】
＜第３の従来技術＞
以下、第２の従来技術に係る音声認識装置２０ｂに、第３の従来技術に係る音響モデル補正（再推定）機能を有する音響モデル再学習装置１０ｃを適用した場合を説明する。図６は、第３の従来技術に係る音響モデル再学習装置の構成の一例を示す図である。音響モデル再学習装置１０ｃは、特徴量抽出部１０１ｃ、音響モデル補正部１０４ｃを有する。また、音響モデル再学習装置１０ｃは、記憶部１５０ｃと接続される。
【００３２】
記憶部１５０ｃは、言語モデルは記憶せず、音響モデルパラメータΛのみを記憶する。特徴量抽出部１０１ｃは、適応用音声データを読み込み、特徴量ベクトルＯｒを生成する。特徴量抽出部１０１ｃは、音声認識装置２０ｂの特徴量抽出部２０１ｂと同様の処理を行う。
【００３３】
音響モデル再学習装置１０ｃが計算する、補正された音響モデルパラメータ＾Λは、認識音声データと同じ音響条件の適応用音声データと、適応用音声データに関するラベルとを用いて、音響モデルパラメータΛが補正されることにより計算される。ここで、ラベルとは、手作業により書き起こされたもの（教師あり）である場合、第１または第２の従来技術の音声認識により自動的に得られたもの（教師なし）である場合がある。教師ありのラベルを用いた音響モデルパラメータΛの補正を、教師あり補正という。また、教師なしのラベルを用いた音響モデルパラメータΛの補正を、教師なし補正という。以下、ラベルを−Ｓｒと表記する。
【００３４】
音響モデル補正部１０４ｃは、記憶部１５０ｃから読み込んだ音響モデルパラメータΛ、特徴量抽出部１０１ｃにより生成された特徴量ベクトルＯｒ、入力されたラベル−Ｓｒを用い、音響モデルパラメータΛを補正（再推定）する。具体的には、音響モデル補正部１０４ｃは、適応データ（適応用音声データの特徴量ベクトルＯｒ）と、特徴量ベクトルＯｒと対応する正解シンボル系列Ｓｒを用い、下記（４）式の目的関数ＦΛが最大となるよう音響モデルパラメータ＾Λを再推定する。そして、再推定された音響モデルパラメータ＾Λは、例えば、第２の従来技術に係る音声認識装置２０ｂのＨＭＭ状態の出力確率計算部２０５ｂ（図４参照）で用いられる。
【００３５】
【数４】
2017135148.tif 000006
【００３６】
ここで、音響モデル補正部１０４ｃが用いる音響モデルは、ＮＮである。また、一般的に、目的関数ＦΛは、例えばCross  Entropyが用いられる。または、例えば、上記（４）式の最適化問題は、Stochastic  Gradient  Descent（ＳＧＤ）法で解き、そのための補正パラメータに対する微分は、文献３「S.  Haykin,  “NEURAL  NETWORKS:  A  COMPREHENSIVE  FOUNDATION,”  Prentice  Hall  PTR,  Upper  Saddle  River,  NJ,  USA,  2nd  edition,  1999.」に示されるように、Error  Backpropagationアルゴリズムにより計算できる。この場合、ＳＧＤの変数であるLearning  Rateとして、例えば0.0001等の微小値がしばしば用いられる。
【００３７】
図７は、第３の従来技術に係る音声モデル再学習処理の一例を示すフローチャートである。まず、音響モデル再学習装置１０ｃは、記憶部１５０ｃから、音響モデルパラメータΛを読み込む（ステップＳ１０１ｃ）。次に、音響モデル再学習装置１０ｃは、図示しない記憶部、例えば音声認識装置２０ｂの記憶部２５０ｂ（図４参照）から、言語モデルを読み込む（ステップＳ１０２ｃ）。次に、音響モデル再学習装置１０ｃは、適応用音声データを読み込む（ステップＳ１０３ｃ）。次に、音響モデル再学習装置１０ｃは、正解シンボル系列Ｓｒを読み込む（ステップＳ１０４ｃ）。次に、音響モデル再学習装置１０ｃは、適応用音声データから特徴量を抽出し、特徴量ベクトルＯｒを生成する（ステップＳ１０５ｃ）。次に、音響モデル再学習装置１０ｃは、特徴量ベクトルＯｒ、入力されたラベル−Ｓｒを用い、音響モデルパラメータΛを補正（再推定）する（ステップＳ１０６ｃ）。次に、音響モデル再学習装置１０ｃは、音響モデルパラメータΛを補正した音響モデルパラメータ＾Λを再推定し、出力する（ステップＳ１０７ｃ）。
【００３８】
［実施形態］
以下、本願が開示する音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムの実施形態を説明する。以下の実施形態は、一例を示すに過ぎず、本願が開示する技術を限定するものではない。また、以下に示す実施形態およびその他の実施形態は、矛盾しない範囲で適宜組み合わせてもよい。
【００３９】
＜実施形態の数理的背景＞
文献４「M.  Delcroix,  K.  Kinoshita,  T.  Hori,  T.  Nakatani,    “Context  adaptive  deep  neural  networks  for  fast  acoustic  model  adaptation,”  in  Proc.  IEEE  International  Conference  on  Acoustics,  Speech  and  Signal  Processing  (ICASSP),  2015  ,  pp.4535-4539,  2015．」には、パラメータを音響条件特徴量と関連付けて学習する音響モデルであるＣＡＤＮＮ（Context  Adaptive  Deep  Neural  Network）が記載されている。
【００４０】
ＣＡＤＮＮの音響モデルパラメータは、外部から与えられる音響条件特徴量に関係付けられており、その特徴量に依存して変化する。ＣＡＤＮＮの学習においては、まず、音声の特徴量と音響条件特徴量を用いて、各音響条件に対応した音響モデルパラメータが学習される。また、音声認識時には、認識対象の音声の音響条件特徴量が計算され、音響条件特徴量および事前に学習した音響モデルパラメータを基に、音響条件に合うような新たな音響モデルパラメータが自動的に推定・決定される。
【００４１】
このとき、音響条件特徴量は、正解ラベル（話者ＩＤやトランスクリプション）を使わずに計算でき、また少ない音声データ（数秒程度）からも計算することができるという特長を持つため、結果として高速な音響モデル適応が可能になる。しかし、ＣＡＤＮＮで用いる音響条件特徴量の計算部は、音声認識装置とは独立に設計されたものであり、音声認識性能最適化の基準で設計されたものではなかった。その結果、従来の音響条件特徴量を用いて高精度な音声認識を行うことは困難であった。
【００４２】
そこで、実施形態では、ＣＡＤＮＮにおける上記の問題を改善した音響モデルであるＣＡＤＮＮ−ＪＴ（Context  Adaptive  Deep  Neural  Network  with  joint  training）を用いる。ＣＡＤＮＮ−ＪＴによれば、音響条件特徴量の計算モデルのパラメータと音響モデルのパラメータの同時最適化を行うことができる。ＣＡＤＮＮ−ＪＴでは、例えば、音響条件特徴量の計算モデルがニューラルネットワークで表され、そのニューラルネットワークの出力層を従来のＣＡＤＮＮのニューラルネットワークの一部と結合する。これにより、音響条件特徴量の計算モデルを含む全ニューラルネットワークを、音声認識の最適化基準に基づき同時最適化することが可能となり、音声認識精度も改善される。以下、ＣＡＤＮＮ−ＪＴについて説明する。
【００４３】
（ＣＡＤＮＮの概要）
図８は、従来の音響条件適応型音響モデルの概要の一例を示す図である。従来の音響条件適応型音響モデルであるＣＡＤＮＮは、図８に示すように、ＮＮの隠れ層は、音響条件特徴量を示すベクトル（以下、「音響条件特徴量ベクトル」と称す）の要素毎に分解された形になっている。図８では、例示として、１つの隠れ層（ｉ番目の隠れ層）が分解されている状態を示すが、少なくとも１つの隠れ層または全ての隠れ層を分解するとしてもよい。分解された隠れ層の線形変換後の出力は、下記（５）式のように計算する。
【００４４】
【数５】
2017135148.tif 000007
【００４５】
ただし、上記（５）式におけるｙｋ，ｎは、詳しくは後述するが、ｎ番目のフレームから抽出された音響条件特徴量ベクトルｙｎ∈ＲＫ（Ｋ次元実数空間）のｋ番目（ｋは１，２，・・・，Ｋなる自然数、Ｋは音響条件の数を示す自然数）の要素である。以下、音響条件特徴量ｙｋ，ｎと称す。また、上記（５）式における重み行列Ｗｉ，ｋは、ｉ番目の隠れ層における音響条件特徴量ｙｋ，ｎに対する線形変換行列である。また、上記（５）式におけるバイアスベクトルｂｉ，ｋは、ｉ番目の隠れ層における音響条件特徴量ｙｋ，ｎに関するバイアスベクトルである。このように、ＣＡＤＮＮは、隠れ層をＫ個の音響条件の要素に分解して表現する。なお、音響条件特徴量毎の隠れ層の分解として、下記（６）式または下記（７）式に示すものであってもよい。
【００４６】
【数６】
2017135148.tif 000008
【００４７】
【数７】
2017135148.tif 000009
【００４８】
音声認識時の音響モデルパラメータは、下記（８−１）式および（８−２）式のように計算され、音声認識時において、音響条件特徴量ｙｋ，ｎに基づき、音響条件に自動適応することになる。
【００４９】
【数８】
2017135148.tif 000010
【００５０】
音響条件特徴量ｙｋ，ｎは、音響条件を表す。ＣＡＤＮＮでは、音響条件特徴量ｙｋ，ｎは、音声認識装置とは独立した系で計算されていた。例えば、話者適応の場合、学習の時の音声データを話者クラスごとに分割すれば、各話者クラスのモデルが学習可能であった（文献５「N.  Dehak  et  al.,  “Front-End  Factor  Analysis  for  Speaker  Verification,”  IEEE  Trans.  Audio,  Speech,  Language  Process.,  Vol.  19,  No.  4,  pp.  788−798,  2011.」参照）。ＣＡＤＮＮでは、各話者クラスのモデルを用いて、各テスト発話について各話者クラスの事後確率を計算し、それをｙｋ，ｎとしていた。
【００５１】
（ＣＡＤＮＮ−ＪＴの概要）
図９は、実施形態に係る音響条件適応型音響モデルの概要の一例を示す図である。図９に示すように、実施形態に係る音響条件適応型音響モデルであるＣＡＤＮＮ−ＪＴでは、音響条件を表す音響条件特徴量の計算モデルにはニューラルネットワークを用い、そのニューラルネットワークのパラメータは従来のＣＡＤＮＮのパラメータと同時最適化される。すなわち、音響モデル、および音響条件の計算モデルは、１つ以上の隠れ層を有するニューラルネットワークで表され、音響条件の計算モデルの出力層は、音響モデルに結合されている。
【００５２】
音響条件特徴量の計算モデルの入力としては、第２入力特徴量ｕｎが用いられる。ベクトルｕｎは、話者認識等に頻繁に用いられる話者特徴を現すivector等や、音声の特徴量Ｏｎとすることができる。なお、第２入力特徴量ｕｎは、入力特徴量と同じものであってもよいし、異なるものであってもよい。また、音響条件特徴量の計算モデルによって計算された音響条件特徴量ｙｋ，ｎは、下記（９）式のように計算される。
【００５３】
【数９】
2017135148.tif 000011
【００５４】
ここで、ベクトルｙｎ＝［ｙ１，ｎ，・・・，ｙｋ，ｎ，・・・，ｙＫ，ｎ］は、Ｋ次元の音響条件特徴量ベクトルである。また、ベクトルｕｎ＝［ｕ１，ｎ，・・・，ｕＪ，ｎ］は、Ｊ次元の第２入力特徴量である。また、関数ｆ（）は、音響条件特徴量計算のための関数であり、Ωは、関数ｆ（）のパラメータである。ここでは、ｆ（）は多層ニューラルネットワーク（ＤＮＮ）の場合を述べるが、ｆ（）は、リカレントニューラルネットワーク（ＲＮＮ）や、ＣＮＮ（Convolutional  Neural  Network）であってもよい。
【００５５】
ｆ（）をＤＮＮとした場合、Ω＝｛Ｗ´ｉ´，ｂ´ｉ´，ｉ´，・・・，Ｉ´｝は式（２）に表されるような、ニューラルネットワークの各層における線形変換のためのパラメータの集合であり、Ｗ´ｉ´は変換行列、ｂ´ｉ´はバイアスベクトル、Ｉ´は音響条件特徴量の計算モデルのニューラルネットワークの隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数である。また、隠れ層のアクティベーション関数としては、シグモイド関数等を用いることができる。また、出力層の活性化関数（アクティベーション関数）としては、ソフトマックス関数や線形関数等を用いることができる。
【００５６】
音響条件特徴量ｙｋ，ｎを話者クラスの事後確率とすることで、音響条件として各話者を表すことができる。また、音響条件特徴量ｙｋ，ｎを雑音環境クラスの事後確率とすることで、音響条件として雑音環境を表すことができる。また、ｙｋ，ｎは、基本的に数秒の音声データで計算できる特徴量であるため、数秒の音声データを用いることで、大量の音響モデルパラメータ（Ｗｉ，ｂｉ）を音響条件に適応できることになる。
【００５７】
各隠れ層の出力は、線形変換の出力ベクトルｚｉ，ｎに対してアクティベーション関数を適用し、下記（１０）式のように計算される。
【００５８】
【数１０】
2017135148.tif 000012
【００５９】
音響条件特徴量ｙｋ，ｎ毎に分解された各隠れ層の線形変換のパラメータである重み行列Ｗｉ，ｋとバイアスベクトルｂｉ，ｋ、および音響条件特徴量計算のための関数のパラメータΩは、同時に最適化される。
【００６０】
これは、音響条件特徴量の計算結果は、因数分解された隠れ層における計算過程に使用されているためである（（５）式や（９）式を参照）。すなわち、音響条件特徴量の計算モデルのニューラルネットワークと因数分解された隠れ層は結合しているため、従来のニューラルネットワークの学習手順（誤差逆伝搬（Error  backpropagation）およびＳＧＤ）（文献６「D.  Yu  and  L.  Deng,  “Automatic  Speech  Recognition：A  Deep  Learning  Approach,”Springer,2015.」参照）を用い、全ニューラルネットワークのパラメータを同時に最適化することができる。この場合の隠れ層の線形変換のパラメータの微分は、下記（１１−１）式および（１１−２）式のようになる。
【００６１】
【数１１】
2017135148.tif 000013
【００６２】
ただし、上記（１１−１）式および（１１−２）式におけるＦは、最適化基準を表す（例えばCross  Entropy）。また、ベクトルδｉ，ｎは逆伝搬した誤差を表し、下記（１２）式のように計算する。Hadamard積は、行列またはベクトルの要素毎の積である。
【００６３】
【数１２】
2017135148.tif 000014
【００６４】
上記（１２）式は、従来技術の誤差逆伝搬の式と同じであるが、上記（１２）式で用いられる重み行列Ｗｉ＋１，ｎとベクトルｚｉ，ｎは、ＣＡＤＮＮ−ＪＴで新たに導入した上記（８−１）式および（８−２）式と、上記（５）式（あるいは上記（６）式もしくは上記（７）式）に基づき計算される。エラーベクトルδＩ，ｎはエラー項である。エラーベクトルδＩ，ｎは、入力特徴量ベクトルＹとＮＮに基づき計算されるネットワークの出力（ＨＭＭ状態の出力確率）であるベクトルｘｉ，ｎと、入力された正解シンボル系列Ｓｒとから得られる正解ＨＭＭ状態ｄｎに基づき、従来技術と同様に、逆伝搬した誤差として、下記（１３）式のように計算される。
【００６５】
【数１３】
2017135148.tif 000015
【００６６】
また、音響条件特徴量の計算モデルのニューラルネットワークの隠れ層における線形変換のためのパラメータの微分は、下記（１４−１）式および（１４−２）式のようになる。
【００６７】
【数１４】
2017135148.tif 000016
【００６８】
ただし，δ´ｉ，ｎは、音響条件特徴量の計算モデルのニューラルネットワークに対して逆伝搬されてきた誤差を表し、下記（１５）式のように計算される。
【００６９】
【数１５】
2017135148.tif 000017
【００７０】
なお、（１５）式の逆伝搬されてきた誤差δ´Ｉ´，ｎは、下記（１６）式のように計算される。
【００７１】
【数１６】
2017135148.tif 000018
【００７２】
このとき、δ´ｉ，ｐ，ｎは、ｐ次元目のｉ層目の逆伝搬した誤差であり、ｚｋ，ｉ，ｐ，ｎは、ｚｋ，ｉ，ｎのｐ次元目である。ｚｋ，ｉ，ｎは、下記（１７）式のように計算される。
【００７３】
【数１７】
2017135148.tif 000019
【００７４】
＜実施形態の一例＞
（実施形態に係る音響モデル学習装置の構成）
上記実施形態の数理的背景を踏まえ、以下、実施形態の一例を説明する。図１０は、実施形態に係る音響モデル学習装置の構成の一例を示す図である。図１０に示すように、実施形態に係る音響モデル学習装置１０は、特徴量抽出部１０１、第２特徴量抽出部１０２、条件特徴量計算部１０３、音響モデルパラメータ補正部１０４、ＨＭＭ状態の出力確率計算部１０５、エラー計算部１２１、音響モデルパラメータ微分値計算部１２２、音響モデルパラメータ更新部１２３、条件特徴量計算部のパラメータ微分値計算部１２４、条件特徴量計算部のパラメータ更新部１２５、収束判定部１２６を有する。また、音響モデル学習装置１０は、記憶部１５０と接続される。
【００７５】
記憶部１５０は、音響モデルを特徴付けるパラメータとして、音響モデルパラメータΛ＝｛Ｗ１，ｎ，ｂ１，ｎ|ｎは、１，２，・・・，Ｎなる自然数｝を記憶する。ただし、Ｎは、後述のフレーム毎の音響条件特徴量ベクトルｙｎを計算する対象である一発話の総フレーム数である。
【００７６】
また、記憶部１５０は、音響条件の計算モデルを特徴付けるパラメータとして、音響条件の計算モデルパラメータΩ＝｛Ｗ´ｉ´，ｂ´ｉ´，ｉ´，・・・，Ｉ´｝を記憶する。ただし、Ｎは、後述のフレーム毎の音響条件特徴量ベクトルｙｎを計算する対象である一発話の総フレーム数である。また、（９）式の説明において述べた通り、Ｗ´ｉ´は変換行列、ｂ´ｉ´はバイアスベクトル、Ｉ´は音響条件特徴量の計算モデルのニューラルネットワークの隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数である。音響条件の計算モデルは、後述の音響条件特徴量ベクトル−Ｙを生成するためのモデルである。例えば、音響条件特徴量は、話者別の特徴、話者の性別や、雑音や残響に関する音響環境等である。
【００７７】
特徴量抽出部１０１は、マイク等で観測した学習用音声データを読み込み、学習用音声データから特徴量ベクトルＯを生成する。すなわち、特徴量抽出部１０１は、学習用音声データから特徴量を抽出する。特徴量抽出部１０１の具体的な処理は、第１の従来技術の特徴量抽出部２０１ａ、第２の従来技術の特徴量抽出部２０１ｂ、第３の従来技術の特徴量抽出部１０１ｃと同様である。
【００７８】
第２特徴量抽出部１０２は、学習用音声データを読み込み、下記（１８）式に示すような第２特徴量ベクトル系列Ｕを抽出し、条件特徴量計算部１０３に出力する。第２特徴量抽出部１０２は、特徴量抽出部１０１と同様の処理を行い、特徴量ベクトルＯを第２特徴量ベクトルとして抽出するようにしてもよいし、例えばivector等の特徴量ベクトルＯとは異なる特徴量を抽出するようにしてもよい。
【００７９】
【数１８】
2017135148.tif 000020
【００８０】
なお、（１８）式において、Ｎは第２特徴量ベクトルを計算する対象である一発話の総フレーム数であり、ｎは１からＮの整数である。つまり、第２特徴量ベクトル系列Ｕは１からＮフレーム目までの各フレームでの第２特徴量を含んでいる。第２特徴量は、例えば話者性や環境（雑音、残響）の特徴等を表すものである。また、各フレームでの第２特徴量は、Ｌ次元のベクトルで表現される。また、各特徴量ベクトルｕｎは、各フレームで異なる値を取るのではなく、数秒の間は同じ値に固定してもよいし、一発話の間は同一の値に固定してもよい。
【００８１】
条件特徴量計算部１０３は、音響条件の計算モデルを特徴付ける音響条件の計算モデルパラメータΩ、および第２特徴量抽出部１０２で抽出された第２特徴量を読み込み、（９）式により音声データの音響条件の特徴を示す音響条件特徴量を計算する。また、条件特徴量計算部１０３は、計算した音響条件特徴量を、下記（１９）式のような特徴量ベクトルＹとして音響モデルパラメータ補正部１０４に出力する。
【００８２】
【数１９】
2017135148.tif 000021
【００８３】
ただし、上記（１９）式において、Ｎは、フレーム毎の音響条件特徴量ベクトルｙｎを計算する対象である一発話の総フレーム数であり、ｎは１からＮの自然数である。つまり、音響条件特徴量ベクトルＹは、１からＮフレーム目までの各フレームの音響条件特徴量ベクトルｙｎを含み、各フレームの音響条件特徴量ベクトルｙｎはＫ次元のベクトルで表現される。なお、各フレームの音響条件特徴量ベクトルｙｎは各フレームで異なる値を取るのではなく、数秒の間は同じ値に固定してもよいし、一発話の間は同一の値に固定してもよい。
【００８４】
音響モデルパラメータ補正部１０４は、記憶部１５０から読み込んだ音響モデルを特徴付ける音響モデルパラメータΛを、条件特徴量計算部１０３により生成された音響条件特徴量ベクトルＹに基づき、上記（８−１）式および（８−２）式により補正する。なお、音響モデルパラメータ補正部１０４により補正される音響モデルパラメータΛの初期値は、乱数で決めたパラメータまたは第１乃至第３の従来技術により学習された音響モデルパラメータ等とする。音響モデルパラメータ補正部１０４は、補正により生成された補正後のパラメータ＾ΛをＨＭＭ状態の出力確率計算部１０５へ出力する。
【００８５】
ＨＭＭ状態の出力確率計算部１０５は、音響モデルパラメータ補正部１０４により補正された音響モデルパラメータ＾Λと、特徴量抽出部１０１により生成された特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する。ＨＭＭ状態の出力確率計算部１０５の具体的な処理は、第１の従来技術のＨＭＭ状態の出力確率計算部２０５ａ、第２の従来技術のＨＭＭ状態の出力確率計算部２０５ｂと同様である。
【００８６】
エラー計算部１２１は、ＨＭＭ状態の出力確率計算部１０５により計算された各ＨＭＭ状態の出力確率と、入力された正解シンボル系列−Ｓｒ（正解ＨＭＭ状態）とに基づき、上記（１３）式によりエラーベクトルδＩ，ｎを計算する。また、エラー計算部１２１は、上記（１６）式により、音響条件特徴量の計算モデルのニューラルネットワークに対して逆伝搬されてきた誤差を表すエラーベクトルδ´Ｉ´，ｎを計算する。
【００８７】
音響モデルパラメータ微分値計算部１２２は、エラー計算部１２１の計算によるエラーベクトルδＩ，ｎと、音響モデルパラメータ補正部１０４により補正された音響モデルパラメータ＾Λに基づき、音響モデルパラメータ微分値を計算する。音響モデルパラメータ微分値計算部１２２は、逆伝搬した誤差を示す上記（１１−１）式、（１１−２）式および（１２）式により音響モデルパラメータ微分値を計算する。または、音響モデルパラメータ微分値計算部１２２は、従来のStochastic  Gradient  Descent（ＳＧＤ）法で計算することもできる（上記文献６参照）。また、パラメータ学習の高速化のためによく用いられるmomentumやL2  Regularizationをあわせて用いることもできる。
【００８８】
音響モデルパラメータ更新部１２３は、記憶部１５０から読み込んだ音響モデルパラメータΛと、音響モデルパラメータ微分値計算部１２２により計算された音響モデルパラメータ微分値とに基づき、下記（２０−１）式および（２０−２）式により音響モデルパラメータΛを更新する。このように、音響モデルパラメータ更新部１２３は、補正後の音響モデルパラメータおよび特徴量を基に計算された各値を基に音響モデルパラメータを更新する。
【００８９】
【数２０】
2017135148.tif 000022
【００９０】
ただし、上記（２０−１）式および（２０−２）式において、重み行列~Ｗｉ，ｋおよびバイアスベクトル~ｂｉ，ｋは、更新した音響モデルパラメータ~Λであり、重み行列−Ｗｉ，ｋおよびバイアスベクトル−ｂｉ，ｋは１つ前のステップで得られた音響モデルパラメータ−Λである。また、上記（２０−１）式および（２０−２）式において、ηはＳＧＤの変数であるLearning  Rateであり、例えば0.1〜0.0001等の微小値である。ηは、音響モデルパラメータ補正用パラメータである。
【００９１】
条件特徴量計算部のパラメータ微分値計算部１２４は、エラー計算部１２１の計算によるエラーベクトルδＩ，ｎと、音響条件の計算モデルパラメータΩに基づき、音響条件の計算モデルパラメータ、すなわち条件特徴量計算部のパラメータ微分値を計算する。条件特徴量計算部のパラメータ微分値計算部１２４は、逆伝搬した誤差を示す上記（１４−１）式、（１４−２）式および（１５）式により条件特徴量計算部のパラメータ微分値を計算する。また、条件特徴量計算部のパラメータ微分値計算部１２４は、音響モデルパラメータ微分値計算部１２２と同様の方法を用いることもできる。
【００９２】
条件特徴量計算部のパラメータ更新部１２５は、記憶部１５０から読み込んだ音響条件の計算モデルパラメータΩと、条件特徴量計算部のパラメータ微分値計算部１２４により計算された条件特徴量計算部のパラメータ微分値とに基づき、下記（２１−１）式および（２１−２）式により音響条件の計算モデルパラメータΩを更新する。このように、条件特徴量計算部のパラメータ更新部１２５は、補正後パラメータおよび特徴量を基に計算された各値を基に音響条件の計算モデルパラメータを更新する。
【００９３】
【数２１】
2017135148.tif 000023
【００９４】
ただし、上記（２１−１）式および（２１−２）式において、重み行列~Ｗ´ｉ，ｋおよびバイアスベクトル~ｂ´ｉ，ｋは、更新した音響条件の計算モデルパラメータ~Ωであり、重み行列−Ｗ´ｉ，ｋおよびバイアスベクトル−ｂ´ｉ，ｋは、更新前の音響条件の計算モデルパラメータ−Ωである。また、上記（２１−１）式および（２１−２）式において、η´はＳＧＤの変数であるLearning  Rateであり、例えば0.1〜0.0001等の微小値である。η´は、音響条件の計算モデルパラメータ補正用パラメータである。
【００９５】
収束判定部１２６は、音響モデルパラメータ更新部１２３により更新された音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωについて、音響モデルパラメータΛおよび音響条件の計算モデルパラメータΩの学習（推定）が所定の収束条件を満たすか否かを判定する。収束判定部１２６は、所定の収束条件を満たすと判定した場合には、収束条件充足判定時の音響モデルパラメータ~Λを、音響モデル学習装置１０の出力値として出力する。音響モデル学習装置１０から出力された音響モデルパラメータ~Λは、例えば、記憶部１５０に記憶される。
【００９６】
一方、収束判定部１２６は、所定の収束条件を満たさないと判定した場合には、収束条件充足判定時の音響モデルパラメータ~Λを音響モデルパラメータ補正部１０４に出力し、さらに収束条件充足判定時の音響条件の計算モデルパラメータ~Ωを条件特徴量計算部１０３に出力し、条件特徴量計算部１０３、音響モデルパラメータ補正部１０４、ＨＭＭ状態の出力確率計算部１０５、エラー計算部１２１、音響モデルパラメータ微分値計算部１２２、音響モデルパラメータ更新部１２３、収束判定部１２６が処理を繰り返す。このとき、所定の収束条件を満たすと判定した時の音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωは、さらに記憶部１５０に記憶され、次回の処理における各パラメータの初期値として用いられるようにしてもよい。
【００９７】
なお、収束判定部１２６は、例えば、（１）１つ前のステップで得られた音響モデルパラメータ−Λまたは音響条件の計算モデルパラメータ−Ωと、更新された音響モデルパラメータ~Λまたは音響条件の計算モデルパラメータ~Ωとの差分が閾値以下になった場合、（２）収束条件充足判定の繰り返し回数が所定の回数以上になった場合、（３）学習用音声データの一部を用いて性能を評価した際に、所定の性能指標が所定値以上悪化した場合等のいずれかの所定条件に基づき、収束条件充足判定を行う。
【００９８】
（実施形態に係る音響モデル学習処理）
図１１は、実施形態に係る音響モデル学習処理の一例を示すフローチャートである。まず、音響モデル学習装置１０は、記憶部１５０から音響モデル（音響モデルパラメータΛ）を読み込む（ステップＳ１０１）。次に、音響モデル学習装置１０は、記憶部１５０から音響条件の計算モデル（音響条件の計算モデルパラメータΩ）を読み込む（ステップＳ１０２）。次に、音響モデル学習装置１０は、学習用音声データを読み込む（ステップＳ１０３）。次に、音響モデル学習装置１０は、正解シンボル系列−Ｓｒを読み込む（ステップＳ１０４）。
【００９９】
次に、音響モデル学習装置１０は、学習用音声データから特徴量ベクトルＯを抽出する（ステップＳ１０５）。次に、音響モデル学習装置１０は、学習用音声データから第２特徴量ベクトル系列Ｕを抽出する（ステップＳ１０６）。次に、音響モデル学習装置１０は、音響条件の計算モデルパラメータΩおよび第２特徴量ベクトル系列から、音響条件特徴量ベクトルＹを上記（９）式により計算する（ステップＳ１０７）。次に、音響モデル学習装置１０は、記憶部１５０から読み込んだ音響モデルパラメータΛを、音響条件特徴量ベクトルＹに基づき、上記（８−１）式および（８−２）式により補正する（ステップＳ１０８）。次に、音響モデル学習装置１０は、補正された音響モデルパラメータΛと、特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する（ステップＳ１０９）。
【０１００】
次に、音響モデル学習装置１０は、各ＨＭＭ状態の出力確率と、入力された正解シンボル系列−Ｓｒとに基づき、上記（１３）式によりエラーベクトルδＩ，ｎを計算し、また、上記（１６）式によりエラーベクトルδ´Ｉ´，ｎを計算する（ステップＳ１１０）。
【０１０１】
次に、音響モデル学習装置１０は、エラーベクトルδＩ，ｎと、補正された音響モデルパラメータΛに基づき、音響モデルパラメータ微分値を計算する（ステップＳ１１１）。次に、音響モデル学習装置１０は、記憶部１５０から読み込んだ音響モデルパラメータΛと、音響モデルパラメータ微分値とに基づき、上記（２０−１）式および（２０−２）式により音響モデルパラメータΛを更新する（ステップＳ１１２）。
【０１０２】
次に、音響モデル学習装置１０は、エラーベクトルδ´Ｉ´，ｎと、音響条件の計算モデルパラメータΩに基づき、音響条件の計算モデルパラメータ微分値を計算する（ステップＳ１１３）。次に、音響モデル学習装置１０は、記憶部１５０から読み込んだ音響条件の計算モデルパラメータΩと、音響条件の計算モデルパラメータ微分値とに基づき、上記（２１−１）式および（２１−２）式により音響条件の計算モデルパラメータΩを更新する（ステップＳ１１４）。
【０１０３】
次に、音響モデル学習装置１０は、更新された音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωについて、音響モデルパラメータΛおよび音響条件の計算モデルパラメータΩの学習が所定の収束条件を満たすか否かを判定する（ステップＳ１１５）。音響モデル学習装置１０は、音響モデルパラメータΛおよび音響条件の計算モデルパラメータΩの学習が所定の収束条件を満たす場合（ステップＳ１１５Ｙｅｓ）、ステップＳ１１６へ処理を移す。一方、音響モデル学習装置１０は、音響モデルパラメータΛまたは音響条件の計算モデルパラメータΩの学習が所定の収束条件を満たさない場合（ステップＳ１１５Ｎｏ）、ステップＳ１０７またはステップＳ１０８へ処理を移す。ステップＳ１１６では、音響モデル学習装置１０は、所定の収束条件を満たすと判定した時の音響モデルパラメータ~Λを、音響モデル学習装置１０の出力値として出力する（ステップＳ１１６）。このとき、所定の収束条件を満たすと判定した時の音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωは、さらに記憶部１５０に記憶され、次回の処理における各パラメータの初期値として用いられるようにしてもよい。
【０１０４】
（実施形態に係る音声認識装置の構成）
図１２は、実施形態に係る音声認識装置の構成の一例を示す図である。図１２に示すように、実施形態に係る音声認識装置２０は、特徴量抽出部２０１、第２特徴量抽出部２０２、条件特徴量計算部２０３、音響モデルパラメータ補正部２０４、ＨＭＭ状態の出力確率計算部２０５、単語列検索部２０６を有する。また、音声認識装置２０は、記憶部２５０と接続される。
【０１０５】
記憶部２５０は、音響モデル学習装置１０により更新された音響モデル（音響モデルパラメータΛ）、音響条件の計算モデル（音響条件の計算モデルパラメータΩ）、言語モデル、音響モデルパラメータ補正用パラメータη、音響条件の計算モデルパラメータ補正用パラメータη´をあらかじめ記憶する。
【０１０６】
特徴量抽出部２０１は、マイク等で観測した認識用音声データを読み込み、認識用音声データから特徴量を抽出し、特徴量ベクトルＯを生成する。すなわち、特徴量抽出部２０１は、認識用音声データから特徴量を抽出する。特徴量抽出部２０１の具体的な処理は、音響モデル学習装置１０の特徴量抽出部１０１と同様である。
【０１０７】
第２特徴量抽出部２０２は、マイク等で観測した認識用音声データを読み込み、認識用音声データから特徴量を抽出し、第２特徴量ベクトル系列Ｕを生成する。すなわち、特徴量抽出部２０１は、認識用音声データから特徴量を抽出する。特徴量抽出部２０１の具体的な処理は、音響モデル学習装置１０の第２特徴量抽出部１０２と同様である。
【０１０８】
条件特徴量計算部２０３は、音響条件の計算モデルパラメータΩ、および第２特徴量抽出部２０２で抽出された第２特徴量を読み込み、（９）式により音響条件特徴量を計算する。また、条件特徴量計算部２０３は、計算した音響条件特徴量を、（１９）式のような特徴量ベクトルＹとして音響モデルパラメータ補正部２０４に出力する。条件特徴量計算部２０３の具体的な処理は、音響モデル学習装置１０の条件特徴量計算部１０３と同様である。
【０１０９】
音響モデルパラメータ補正部２０４は、記憶部２５０から読み込んだ音響モデルパラメータΛと、条件特徴量計算部２０３によりで生成された音響条件特徴量ベクトルＹとに基づき、上記（８−１）式および（８−２）式により、音響モデルパラメータΛを補正する。音響モデルパラメータ補正部２０４の具体的な処理は、音響モデル学習装置１０の音響モデルパラメータ補正部１０４と同様である。
【０１１０】
ＨＭＭ状態の出力確率計算部２０５は、音響モデルパラメータ補正部２０４により補正された音響モデルパラメータ＾Λと、特徴量抽出部２０１により生成された特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する。ＨＭＭ状態の出力確率計算部２０５の具体的な処理は、音響モデル学習装置１０のＨＭＭ状態の出力確率計算部１０５と同様である。
【０１１１】
単語列検索部２０６は、特徴量および補正後パラメータを基に計算されたＨＭＭ状態の出力確率と、言語モデルの生成確率と、を用いて、単語列を出力する。すなわち、単語列検索部２０６は、ＨＭＭ状態の出力確率計算部２０５により計算された各ＨＭＭ状態の出力確率をもとに、記憶部２５０から読み込んだ言語モデルを検索し、音声認識結果として単語列＾Ｓを出力する。単語列検索部２０６の具体的な処理は、第１の従来技術の音声認識装置２０ａの単語列検索部２０６ａ、第２の従来技術の音声認識装置２０ｂの単語列検索部２０６ｂと同様である。
【０１１２】
（実施形態に係る音声認識処理）
図１３は、実施形態に係る音声認識処理の一例を示すフローチャートである。まず、音声認識装置２０は、記憶部２５０から音響モデル（音響モデルパラメータΛ）を読み込む（ステップＳ２０１）。次に、音声認識装置２０は、記憶部２５０から音響条件の計算モデルを読み込む（ステップＳ２０２）。次に、音声認識装置２０は、記憶部２５０から言語モデルを読み込む（ステップＳ２０３）。次に、音声認識装置２０は、認識用音声データを読み込む（ステップＳ２０４）。次に、音声認識装置２０は、記憶部２５０から音響モデルパラメータ補正用パラメータηおよび音響条件の計算モデルパラメータ補正用パラメータη´を読み込む（ステップＳ２０５）。
【０１１３】
次に、音声認識装置２０は、学習用音声データから特徴量ベクトルＯを抽出する（ステップＳ２０６）。次に、音声認識装置２０は、学習用音声データから第２特徴量ベクトル系列Ｕを抽出する（ステップＳ２０７）。次に、音声認識装置２０は、音響条件の計算モデルパラメータΩおよび第２特徴量ベクトル系列から、音響条件特徴量ベクトルＹを上記（９）式により計算する（ステップＳ２０８）。次に、音声認識装置２０は、記憶部２５０から読み込んだ音響モデルパラメータΛを、音響条件特徴量ベクトルＹに基づき、上記（８−１）式および（８−２）式により補正する（ステップＳ２０９）。
【０１１４】
次に、音声認識装置２０は、補正された音響モデルパラメータΛと、特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する（ステップＳ２１０）。次に、音声認識装置２０は、各ＨＭＭ状態の出力確率をもとに、記憶部２５０から読み込んだ言語モデルを検索する（ステップＳ２１１）。次に、音声認識装置２０は、ステップＳ２１１の検索結果から、音声認識結果として単語列＾Ｓを出力する（ステップＳ２１２）。
【０１１５】
（その他の実施形態）
実施形態では、ＤＮＮ（ＣＡＤＮＮ）に基づく音響モデルを音響条件の計算モデルと結合させる場合について説明したが、ＤＮＮに限らず、ＣＮＮ（Convolutional  Neural  Network）、ＲＮＮ（Recurrent  Neural  Network）、ＢＬＳＴＭ（Bidirectional  Long  Short-Term  Memory）のニューラルネットワーク等、種々のニューラルネットワークに基づく音響モデルを音響条件の計算モデルと結合させ、同様の定式化を行うことが可能である。また、本発明における音響モデルは、ＨＭＭに基づくものに限られずニューラルネットワークを用いて出力確率を計算する任意の音響モデルとすることができる。例えば、本発明における音響モデルは、ＣＴＣ（Connectionist  Temporal  Classification）やencoder-decoderに基づくモデルであってもよい。
【０１１６】
（実施形態による効果）
実施形態の音響モデル学習装置１０において、特徴量抽出部１０１および第２特徴量抽出部１０２は、音声データの特徴を示す特徴量を抽出する。また、条件特徴量計算部１０３は、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および特徴量を基に、音声データの音響条件の特徴を示す音響条件特徴量を、音響条件の計算モデルを用いて計算する。また、音響モデルパラメータ補正部１０４は、音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する。また、音響モデルパラメータ更新部１２３は、補正後パラメータおよび特徴量を基に音響モデルパラメータを更新する。また、条件特徴量計算部のパラメータ更新部１２５は、補正後パラメータおよび特徴量を基に音響条件計算モデルパラメータを更新する。
【０１１７】
これにより、実施形態は、音響条件特徴量を、正解ラベル（話者ＩＤやトランスクリプション）を用いず計算でき、また、少ない音声データ（数秒程度）から計算することができるという特長を持つため、結果として高速な音響モデル適応が可能となる。
【０１１８】
すなわち、実施形態は、少ない音声データを用いて音響モデルを音響条件に適応させることができ、従来技術のように音響モデルを音響条件毎に切り替えることなく、従来技術より高い音声認識性能を達成できる。
【０１１９】
また、実施形態は、音響モデルを表すニューラルネットワークにおいて逆伝搬してきた誤差を基に、音響条件の計算モデルを表すニューラルネットワークの最適化を行うことができるため、音響条件特徴量の計算モデルのパラメータと音響モデルのパラメータの同時最適化を行うことができる。したがって、音響条件特徴量の計算モデルを含む全ニューラルネットワークを音声認識の最適化基準に基づき同時最適化することが可能となり、音声認識精度が改善される。
【０１２０】
また、特徴量抽出部１０１および第２特徴量抽出部１０２は、特徴量として第１の特徴量、および第１の特徴量と異なる第２の特徴量を抽出するようにしてもよい。このとき、条件特徴量計算部１０３は、音響条件計算モデルパラメータおよび第２の特徴量を基に音響条件特徴量を計算する。また、音響モデルパラメータ更新部１２３は、補正後パラメータおよび第１の特徴量を基に音響モデルパラメータを更新する。また、条件特徴量計算部のパラメータ更新部１２５は、補正後パラメータおよび第２の特徴量を基に音響条件計算モデルパラメータを更新する。これにより、音響モデルおよび音響条件計算モデルに対してそれぞれ異なる特徴量を用いつつ同時最適化を行うことができるため、それぞれのモデルをより高精度に最適化できるような特徴量を用いて学習を行うことができるようになる。
【０１２１】
また、実施形態の音声認識装置２０において、音声認識用の特徴量抽出部２０１および第２特徴量抽出部２０２は、音声データの特徴を示す特徴量を抽出する。また、音声認識用の条件特徴量計算部２０３は、音響条件計算モデルパラメータ、および特徴量を基に、音声データの音響条件の特徴を示す音響条件特徴量を、音響条件の計算モデルを用いて計算する。また、音声認識用の音響モデルパラメータ補正部２０４は、音響モデルパラメータを、音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する。また、単語列検索部２０６は、特徴量および補正後パラメータを基に計算されたＨＭＭ状態の出力確率と、言語モデルの生成確率と、を用いて、単語列を出力する。音声認識の最適化基準を満たした音響条件計算モデルパラメータを用いて音声認識を行うことができるため、音声認識の精度が向上する。
【０１２２】
表１に、音声認識タスクＡＵＲＯＲＡ４において、各手法を用い、音響モデルを発話ごとに発話者に対して教師なし適応させた時の結果（単語誤り率）を表している。音響条件特徴量は一発話（数秒程度）ごとに計算しているため、少量データを基に高速な音響モデル適応を行っていることになる。また、用いた手法は、ベースライン（従来ニューラルネットワークに基づく音声認識）、ＣＡＤＮＮ、および実施形態で用いた本発明に係る手法であるＣＡＤＮＮ−ＪＴの３つである。ここで、表１から、本発明は従来音声認識（ベースライン）や従来ＣＡＤＮＮよりも高い性能を達成していることがわかる。
【０１２３】
【表１】
2017135148.tif 000024
【０１２４】
（音響モデル学習装置および音声認識装置の装置構成について）
図１０に示す音響モデル学習装置１０および図１２に示す音声認識装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要さない。すなわち、音響モデル学習装置１０および音声認識装置２０の機能の分散および統合の具体的形態は図示のものに限られず、全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。例えば、特徴量抽出部１０１および第２特徴量抽出部１０２は、一体の機能部であってもよく、ＨＭＭ状態の出力確率計算部１０５と条件特徴量計算部１０３にそれぞれ異なる特徴量を出力するようにしてもよい。なお、特徴量抽出部２０１および第２特徴量抽出部２０２についても同様である。
【０１２５】
また、例えば、音響モデル学習装置１０および音声認識装置２０は、一体の装置であってもよい。音響モデル学習装置１０および音声認識装置２０が一体の装置である場合には、音響モデル学習装置１０と音声認識装置２０において同様の機能を有する特徴量抽出部１０１と特徴量抽出部２０１、第２特徴量抽出部１０２と第２特徴量抽出部２０２、条件特徴量計算部１０３と条件特徴量計算部２０３、音響モデルパラメータ補正部１０４と音響モデルパラメータ補正部２０４、ＨＭＭ状態の出力確率計算部１０５とＨＭＭ状態の出力確率計算部２０５が同一の機能部であってもよい。
【０１２６】
また、音響モデル学習装置１０および音声認識装置２０における各処理は図示のものに限られず、処理順序および処理の統合もしくは分離することができる。例えば、実施形態におけるステップＳ１０１〜Ｓ１０４ならびにステップＳ２０１〜Ｓ２０５は処理順序を入れ替えてもよい。
【０１２７】
また、音響モデル学習装置１０および音声認識装置２０において行われる各処理は、全部または任意の一部が、ＣＰＵ等の処理装置および処理装置により解析実行されるプログラムにて実現されてもよい。音響モデル学習装置１０および音声認識装置２０において行われる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
【０１２８】
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、実施形態において説明した各処理のうち、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述および図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
【０１２９】
（プログラム）
一実施形態として、音響モデル学習装置および音声認識装置は、パッケージソフトウェアやオンラインソフトウェアとして上記の音響モデル学習または音声認識を実行する音響モデル学習プログラムまたは音声認識プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の音響モデル学習プログラムまたは音声認識プログラムを情報処理装置に実行させることにより、情報処理装置を音響モデル学習装置または音声認識装置として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal  Handyphone  System）等の移動体通信端末、さらには、ＰＤＡ（Personal  Digital  Assistant）等のスレート端末等がその範疇に含まれる。
【０１３０】
また、音響モデル学習装置および音声認識装置は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の音響モデル学習または音声認識に関するサービスを提供するサーバ装置として実装することもできる。例えば、音響モデル学習装置は、学習用音声データを入力とし、音響条件の計算モデルを出力とする音響モデル学習サービスを提供するサーバ装置として実装される。また、例えば、音声認識装置は、認識用音声データを入力とし、認識結果の単語列を出力とする音声認識サービスを提供するサーバ装置として実装される。これらの場合、音響モデル学習装置および音声認識装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の音響モデル学習または音声認識に関するサービスを提供するクラウドとして実装することとしてもかまわない。
【０１３１】
図１４は、プログラムが実行されることにより、音響モデル学習装置または音声認識装置が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
【０１３２】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１およびＲＡＭ（Random  Access  Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
【０１３３】
ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、音響モデル学習装置または音声認識装置の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、音響モデル学習装置または音声認識装置における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid  State  Drive）により代替されてもよい。
【０１３４】
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
【０１３５】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３およびプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３およびプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【符号の説明】
【０１３６】
１０  音響モデル学習装置
２０  音声認識装置
１０１、２０１  特徴量抽出部
１０２、２０２  第２特徴量抽出部
１０３、２０３  条件特徴量計算部
１０４、２０４  音響モデルパラメータ補正部
１０５、２０５  ＨＭＭ状態の出力確率計算部
１２１  エラー計算部
１２２  音響モデルパラメータ微分値計算部
１２３  音響モデルパラメータ更新部
１２４  条件特徴量計算部のパラメータ微分値計算部
１２５  条件特徴量計算部のパラメータ更新部
１２６  収束判定部
２０６  単語列検索部
１５０、２５０  記憶部
【図１】
2017135148.tif 000025
【図２】
2017135148.tif 000026
【図３】
2017135148.tif 000027
【図４】
2017135148.tif 000028
【図５】
2017135148.tif 000029
【図６】
2017135148.tif 000030
【図７】
2017135148.tif 000031
【図８】
2017135148.tif 000032
【図９】
2017135148.tif 000033
【図１０】
2017135148.tif 000034
【図１１】
2017135148.tif 000035
【図１２】
2017135148.tif 000036
【図１３】
2017135148.tif 000037
【図１４】
2017135148.tif 000038
【手続補正書】
【提出日】平成30年8月1日(2018.8.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された情報を音響条件特徴量に変換する音響条件特徴量計算手段と、
音声認識対象の認識用音声データを、ニューラルネットワークにより、シンボル系列を特定する情報に変換する第１の変換手段と、
前記音響条件特徴量に基づき、前記ニューラルネットワークのパラメータの少なくとも一部を補正する音響モデルパラメータ補正手段と、を含み、
前記第１の変換手段は、前記音響モデルパラメータ補正手段により少なくとも一部のパラメータが補正されたニューラルネットワークにより、前記音声認識対象の認識用音声データを、前記シンボル系列を特定する情報に変換する
ことを特徴とする音声認識装置。
【請求項２】
前記ニューラルネットワークは、
複数の分割された隠れ層と、
前記複数の分割された隠れ層の各々から出力される中間状態を用いて前記シンボル系列を特定する情報を得る層と、を含み、
前記音響モデルパラメータ補正手段は、前記隠れ層の各々について、当該隠れ層に対応する前記音響条件特徴量に基づき、当該隠れ層のパラメータを補正するものである
ことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
入力された音声データを当該音声データに対応するシンボル系列を特定する情報に変換するニューラルネットワークのパラメータを学習する音響モデル学習装置であって、
入力された情報を音響条件特徴量に変換する音響条件特徴量計算手段と、
音声データを、ニューラルネットワークにより、シンボル系列を特定する情報に変換する第１の変換手段と、
前記音響条件特徴量に基づき、前記ニューラルネットワークのパラメータの少なくとも一部を補正する音響モデルパラメータ補正手段と、
前記音響モデルパラメータ補正手段により少なくとも一部のパラメータが補正された前記ニューラルネットワークにより、学習用音声データの各々を第１の変換手段により変換して得た前記学習用音声データの各々に対応するシンボル系列を特定する情報と、当該シンボル系列を特定する情報に対応する正解と、の比較結果に基づき、前記ニューラルネットワークの各パラメータと前記音響条件特徴量計算手段の変換処理を特定するパラメータとを更新する音響モデルパラメータ更新手段と
を含むことを特徴とする音響モデル学習装置。
【請求項４】
前記ニューラルネットワークは、
複数の分割された隠れ層と、
前記複数の分割された隠れ層の各々から出力される中間状態を用いて前記シンボル系列を特定する情報を得る層と、を含み、
前記音響モデルパラメータ補正手段は、前記隠れ層の各々について、当該隠れ層に対応する前記音響条件特徴量に基づき、当該隠れ層のパラメータを補正するものである
ことを特徴とする請求項３に記載の音響モデル学習装置。
【請求項５】
音声認識装置によって実行される音声認識方法であって、
入力された情報を音響条件特徴量に変換する音響条件特徴量計算工程と、
音声認識対象の認識用音声データを、ニューラルネットワークにより、シンボル系列を特定する情報に変換する第１の変換工程と、
前記音響条件特徴量に基づき、前記ニューラルネットワークのパラメータの少なくとも一部を補正する音響モデルパラメータ補正工程と、を含み、
前記第１の変換工程は、前記音響モデルパラメータ補正工程により少なくとも一部のパラメータが補正されたニューラルネットワークにより、前記音声認識対象の認識用音声データを、前記シンボル系列を特定する情報に変換する
ことを特徴とする音声認識方法。
【請求項６】
音響モデル学習装置によって実行される音響モデル学習方法であって、
入力された音声データを当該音声データに対応するシンボル系列を特定する情報に変換するニューラルネットワークのパラメータを学習する音響モデル学習装置であって、
入力された情報を音響条件特徴量に変換する音響条件特徴量計算工程と、
音声データを、ニューラルネットワークにより、シンボル系列を特定する情報に変換する第１の変換工程と、
前記音響条件特徴量に基づき、前記ニューラルネットワークのパラメータの少なくとも一部を補正する音響モデルパラメータ補正工程と、
前記音響モデルパラメータ補正工程により少なくとも一部のパラメータが補正された前記ニューラルネットワークにより、学習用音声データの各々を第１の変換工程により変換して得た前記学習用音声データの各々に対応するシンボル系列を特定する情報と、当該シンボル系列を特定する情報に対応する正解と、の比較結果に基づき、前記ニューラルネットワークの各パラメータと前記音響条件特徴量計算工程の変換処理を特定するパラメータとを更新する音響モデルパラメータ更新工程と
を含むことを特徴とする音響モデル学習方法。
【請求項７】
コンピュータを、請求項１に記載の音声認識装置、又は、請求項３に記載の音響モデル学習装置として機能させるためのプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、音声認識装置、音響モデル学習装置、音声認識方法、音響モデル学習方法及びプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の音声認識装置は、入力された情報を音響条件特徴量に変換する音響条件特徴量計算手段と、音声認識対象の認識用音声データを、ニューラルネットワークにより、シンボル系列を特定する情報に変換する第１の変換手段と、前記音響条件特徴量に基づき、前記ニューラルネットワークのパラメータの少なくとも一部を補正する音響モデルパラメータ補正手段と、を含み、前記第１の変換手段は、前記音響モデルパラメータ補正手段により少なくとも一部のパラメータが補正されたニューラルネットワークにより、前記音声認識対象の認識用音声データを、前記シンボル系列を特定する情報に変換することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の音響モデル学習装置は、入力された音声データを当該音声データに対応するシンボル系列を特定する情報に変換するニューラルネットワークのパラメータを学習する音響モデル学習装置であって、入力された情報を音響条件特徴量に変換する音響条件特徴量計算手段と、音声データを、ニューラルネットワークにより、シンボル系列を特定する情報に変換する第１の変換手段と、前記音響条件特徴量に基づき、前記ニューラルネットワークのパラメータの少なくとも一部を補正する音響モデルパラメータ補正手段と、前記音響モデルパラメータ補正手段により少なくとも一部のパラメータが補正された前記ニューラルネットワークにより、学習用音声データの各々を第１の変換手段により変換して得た前記学習用音声データの各々に対応するシンボル系列を特定する情報と、当該シンボル系列を特定する情報に対応する正解と、の比較結果に基づき、前記ニューラルネットワークの各パラメータと前記音響条件特徴量計算手段の変換処理を特定するパラメータとを更新する音響モデルパラメータ更新手段とを含むことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
以下、本願が開示する音声認識装置、音響モデル学習装置、音声認識方法、音響モデル学習方法及びプログラムの実施形態の一例の説明に先立ち、実施形態の一例が前提とする従来技術を説明する。その後、本願が開示する音声認識装置、音響モデル学習装置、音声認識方法、音響モデル学習方法及びプログラムの実施形態の一例を説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
ただし、上記（３）式において、ベクトルｘｉ，ｎはｉ番目の隠れ層の出力であり、σは、例えばsigmoid関数等のアクティベーション関数であり、σ(ベクトルｚｉ，ｎ)ベクトルの要素毎に計算される。すなわち、ＨＭＭ状態の出力確率計算部２０５ａは、ｉ番目の隠れ層において、前段の隠れ層である（ｉ−１）番目の隠れ層の出力であるベクトルｘｉ−１，ｎに対し上記（２）式による線形変換を行った結果であるベクトルｚｉ，ｎに対して、上記（３）式による処理を行った結果であるベクトルｘｉ，ｎを出力する。そして、ＨＭＭ状態の出力確率計算部２０５ａは、各ベクトルｘｉ，ｎ（ｉ＝１，２，・・・，Ｉ）に基づき、特徴量ベクトルＯの各フレームｎに対する音響モデルの各ＨＭＭ状態の出力確率を計算する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
［実施形態］
以下、本願が開示する音声認識装置、音響モデル学習装置、音声認識方法、音響モデル学習方法及びプログラムの実施形態を説明する。以下の実施形態は、一例を示すに過ぎず、本願が開示する技術を限定するものではない。また、以下に示す実施形態およびその他の実施形態は、矛盾しない範囲で適宜組み合わせてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
（実施形態に係る音声認識処理）
図１３は、実施形態に係る音声認識処理の一例を示すフローチャートである。まず、音声認識装置２０は、記憶部２５０から音響モデル（音響モデルパラメータΛ）を読み込む（ステップＳ２０１）。次に、音声認識装置２０は、記憶部２５０から音響条件の計算モデルを読み込む（ステップＳ２０２）。次に、音声認識装置２０は、記憶部２５０から言語モデルを読み込む（ステップＳ２０３）。次に、音声認識装置２０は、認識用音声データを読み込む（ステップＳ２０４）。
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2017135148.tif 000039
【国際調査報告】
2017135148.tif 000040
2017135148.tif 000041
2017135148.tif 000042
2017135148.tif 000043