The Japanese Society for Artificial Intelligence

人 工 知 能62

29 巻 1 号（2014 年 1 月）

連載解説 「Deep Learning（深層学習）」〔第 5 回〕

音声認識のための深層学習
Deep Learning for Speech Recognition
久保 陽太郎Yotaro Kubo

NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories.
kubo.yotaro@lab.ntt.co.jp, http://www.kecl.ntt.co.jp/icl/signal/member/yotaro/

Keywords: deep learning, speech recognition, sequential classification, hidden Markov model.

1. は じ め にMarkov Model：HMM）[Rabiner 93] に系列ラベリン
グへの拡張性や単語認識時での精度などの面で及ぶことができずに，音声認識は HMM を用いて行うことが主流

2011 年，まだ 30％程度のエラーが出てしまうようなとなったといわれている．HMM が普及した後の音声認難しい課題であった電話会話音声の認識において，深層識分野では，機械翻訳や品詞タギングなど，そのほかの学習技術による音声認識システムが 20％以下のエラー率

系列識別問題と同様，系列のモデルをいかにつくるかにを達成したとして，関連研究者を大いに驚かせた [Seide

重点が置かれ，MLP のような静的な，すなわち一つの11]．この連載のほかの解説でも触れられているが，深事例を一つの音素に変換するような識別器の技術は，あ層学習は層数の大きな多層パーセプトロン（Multilayer

まり積極的には活用されてこなかった．

Perceptron：MLP）を学習するための手段である．音

本稿では，このような背景にあった深層学習技術が，声認識の研究コミュニティでは，主流とはいえないな

どのようにして音声認識技術の中に入り込んでいったのがらも層数の少ない多層パーセプトロンに関する研究もか，また深層学習の適用によってどのような前進があっ進められていたが，このように多数の層を用いたパーセ

たのかについて，事例を紹介しながら説明していく．

プトロンが，最も難しい音声認識問題の一つである電話会話音声で有効に利用可能であるというのは，多くの2. 音声認識の基本

研究者にとって衝撃的だったのではないかと予想され
る．音声認識分野における深層学習技術の適用は，2009

本章では音声認識問題に対する定式化法を述べた後，年に Deng らのグループが Deep Learning for Speech

深層学習登場以前に検討された深層学習につながる重要Recognition and Related Applications と題したワークな技術について紹介する．

ショップを NIPS と併催で行っていることから，ほかの応用分野に先駆けていたといえる．しかし，この時点で2･1 音声認識問題の定式化

は，音声認識技術の最先端で利用されているような，大本稿で対象とする音声認識器は，音響特徴分析の結果

語彙で複雑な依存関係を必要とする統計モデルに直接適をベクトルの時系列として与えられたとき，その音声中用できるかどうか疑問が残っていた．

で発話されている単語列を推定するシステムである．形

画像における深層学習にネオコグニトロンのような先式的には音声認識器はベクトル系列 X{x1, x2,…xt…}

行事例があるように，音声における深層学習にも Timeを入力とし，単語系列 lDelay Neural Network（TDNN）と呼ばれる先行事例

ズムとして表現される．ほかの生成モデルに基づく識別がある [Waibel 89]．TDNN は当時 ATR に所属していた器と同様，入力を観測したうえでの出力の条件付き確率{ l1, l2, …} を出力するアルゴリ

Alex Waibel によって発案された，一種の Convolution

P（l｜X）を最大にする出力候補 l を認識結果 l̂ として出Neural Network である．現在の音声認識のように音声力する．

特徴ベクトル系列を入力とし，ラベル系列を出力する系
列ラベリングのための技術ではなく，多変量系列を入力
として，その信号中に含まれる子音の候補を出力するという限定的なものであった．当時のことをよく知る研究

defl̂ ＝arg max P ( l X )l＝arg maxl

P ( X l ) P( l )
P(X)

（1）

者によると，音声信号の識別能力に関しては TDNN の

ここで，単語列の生起確率を示す P（l）を言語モデル，ほうが高いこともあったが，結局 N-gram 言語モデルと単語列が与えられたうえでの観測ベクトル系列の条件付

組み合わせて利用された隠れマルコフモデル（Hidden

き確率を示す P（X｜l）を音響モデルと呼ぶ．またこの

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence

音声認識のための深層学習

63

最大化は l についてのみ行うため，P（X）は定数と考える．音声認識に MFCC を用いる場合，一般的には 12 次

ることができる．

元の MFCC 特徴量に加え，フレーム内の音声信号の対音響モデル P
（X｜l）は HMM を応用したモデルによっ

数エネルギーを記述した一次元特徴量を追加し，さらにて，HMM 状態系列変数 q を導入し，以下のように定義

それら 13 次元特徴量の一階 / 二階時間微分を加えた 39

される．

次元の特徴量を用いることが多い．
def

HMM 状態と単語列を結ぶ確率分布 P（q｜l）はルー

P ( X l )＝∑ P ( X q ) P ( q l )ルベースのモデルとマルコフ連鎖を融合したものとなっqdef＝∑ ∏ P ( xt q t ) P ( q l )
q

（2）

t

すなわち，観測ベクトル系列の個々の要素 xt は隠れ状

態系列 q（以降，この隠れ状態を HMM 状態と呼ぶ）がている．単語系列 l に登場する単語は，すべて辞書によって読み（音素系列）が与えられていると考える．そうす
ると，単語列 l が与えられたときの音素系列 m の確率
分布 P（m｜l）はルールによって与えることができる．

与えられたうえでの条件付き独立であると仮定され，HMM 状態の確率 P（q｜m）は，コンテキスト依存音素

また単語列 l には直接依存していないと仮定される．

と呼ばれる概念を導入してモデル化することが有効であ

単語列が与えられたうえでの HMM 状態系列の確率るといわれている．コンテキスト依存音素は各音素（日P（q｜l）は単語と読みの関係といったようなルールに応

本語の場合，ローマ字表記した際の一文字とおおまかにじて制約されたマルコフ連鎖によって表される．深層学

対応する）が前後の音素に応じてその音響的特性を変化

習登場以前の音声認識では，この音響モデルに登場するさせるという現象を説明するために導入された概念であ

出力分布 P（xt｜qt）を混合正規分布（Gaussian Mixture
Model：GMM）を用いて以下のように表してきた．
P ( xt q t ) = ∑ πq , k N ( xt ; µq , k , Sq , k )
k

t

t

（3）

t

ここで，k は混合要素を示すインデックス，πq ,k は状態 qttにおける k 番目の混合要素の混合重み，N（xt ; µq , k, Sq , k）
tt

り，コンテキスト依存音素を用いた音響モデルでは，同一音素であっても，前や後の音素が異なる場合は異なる
ラベルをもつとしてモデル化される．コンテキスト依存
音素を導入することで，全音素数の L 乗（L はコンテキ
スト長）通りのラベル ＊1 を考慮する必要があり過学習が予想されるが，これらのラベルは実際にはコンテキスト

は平均ベクトル µq , k，共分散行列 Sq , k を用いて表される

依存音素クラスタリングのテクニックによって，縮約さ正規分布の確率密度関数である．これらのモデルの学習れている [Young 94]．そのうえで縮約された各コンテキ

は正規分布のパラメータ µq ,k , Sq , k，およびマルコフ連鎖

スト依存音素ごとに，3 状態 Left-to-Right 型 HMM を

t

t

t

t

の重みを EM アルゴリズムや変分ベイズ法を用いて推定

考える．3 状態 Left-to-Right 型の HMM では，各コンすることによって行われてきた．また，識別的な規準でテキスト依存音素系列は，その前半部と中央部，後半部

パラメータを再学習する識別学習技術なども盛んに研究から成ると仮定され，それぞれに異なる HMM 状態が割されてきた [He 08, Woodland 02]．

り当てられる．普通の HMM と同様，隠れ変数はマル

音声認識の精度には，音響特徴ベクトルを元の信号かコフ連鎖で遷移していくが，各遷移は，同じ HMM 状

らどのように抽出するかという点も重要である．深層学

態を繰り返す遷移か次の部分に移動する遷移かに限定さ

習登場以前より，音響特徴ベクトル系列 xt としてはメれる．各コンテキスト依存音素に対応する HMM の最ル周波数ケプストラム係数（Mel-Frequency Cepstral

終状態からは，コンテキストの制約を満たす，ほかのコ

Coefficients：MFCC）が広く用いられている．音声特ンテキスト依存音素の先頭状態に遷移し得る．このよ

徴の計算では一般的に，音声信号 10 ミリ秒ごとに 25 ミ

うな複雑な制約を考慮した遷移確率を一般的に重み付

リ秒程度の長さの音声を切り出し，
それを一つの単位（フき有限状態トランスデューサ（Weighted Finite-State

レームと呼ぶ）として計算を行う．MFCC の計算ではフTransducer：WFST）で表現するが，本稿はこれについレームとして切り出された音声をまず対数メルフィルタては詳述しない（詳細は，例えば [堀 04] を参照）
．ここ

バンク特徴ベクトルという特徴ベクトルに変換し，そので特筆すべきは，このように制約をもった状態遷移をも後，MFCC ベクトルへの変換を行う．対数メルフィルタ

つ HMM を利用することで，HMM 状態系列が定まるこバンク特徴ベクトルは，各フレームとして切り出されたとで少なくとも音素系列が一意に定まり，同様に単語列

音声信号に対応する短時間周波数スペクトルを算出したもほぼ一意に定まるという点である．すなわち音声認識

後，メル周波数と呼ばれる周波数尺度で等間隔となるよの音響モデルの難しさの大部分は，この HMM 状態系列

うに配置した複数の三角窓を適用し，各窓の通過エネルの推定であるといえる．

ギーの対数を要素としたベクトルを計算することによって得られる．また，MFCC は，対数メルフィルタバンク
特徴に離散コサイン変換（Discrete Cosine Transform：
DCT）を適用し，周波数軸上での滑らかな変化に対応する低周波数の要素のみを取り出すことによって得られ＊1 システムのデザインにもよるが，英語，日本語ともに音素数
40 〜 50 の音素体系を用いることが多い．また，コンテキスト
長としては L ＝ 3 を用いることが多い．

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence64

人 工 知 能29 巻 1 号（2014 年 1 月）

2･2 深層学習に影響を与えた技術
深層学習登場以前の音声認識研究の中で，現在の深層学習によるブレークスルーに関連する，最も重要な技術
は Tandem アプローチと呼ばれる MLP と GMM の複Ψ合アプローチであろう [Hermansky 00]．音声認識では，
Fisher Discriminant Analysis（Linear Discriminant
Analysis としても知られる）で行われてきたような特徴
量の識別分析とそれに基づく特徴変換（例えば，[HaebUmbach 92, Povey 05]）を MLP によって行うというア
プローチが 1990 年代から行われてきた．Tandem アプΨ

ローチに基づく研究では，MLP に有効な特徴を発見させることに主眼が置かれ，MFCC のみではなくさまざ

図1

Tandem アプローチ

まな特徴が利用されてきた．その中には現在のような事
前学習に基づくものではないものの，深い構造を有す
る MLP による特徴抽出を行っている例もあり，現在の深層学習・表現学習の流れと近いものもある [Chen 05,

用され，深層学習の本格的な普及には時間を要した．

3. DNN-HMM による音声認識

Kubo 11]．
Tandem アプローチでは，MLP を特徴抽出のための

DNN の 音 声 認 識 へ の 適 用 は 先 述 し た MLP/HMM

モデルとして利用する．図 1 に沿って Tandem アプロー

Hybrid アプローチに沿って実現される．本章では MLP/

チについて説明する．Tandem アプローチでは音声特徴

HMM Hybrid アプローチについて紹介するとともに，ベクトル xt は，MLP の出力ベクトルを正規化したベク

音声認識のための DNN の学習法について紹介する．

てモデル化し，元の特徴ベクトルの出力分布 P（xt｜qt）

3･1 MLP/HMM Hybrid アプローチ

を用いる代わりに ht を正規化したベクトルを用いるこ示される以下の関係式を基本として，個々の確率分布をトル Ψ（ yt）に変換される．この Ψ（ yt）を GMM によっは P（Ψ（yt）｜qt）に比例するとして利用される．Ψ（ yt）
とも多い．MLP は入力ベクトル xt を例えば対応する音素に分類するように設計される．このように補助的な識別問題を解くように MLP を学習し，その出力や隠れ層を特徴抽出の部品として用いることで MLP の非線形特徴分析能力を HMM ベースの音声認識技術の枠に導入するということが行われてきた．
Tandem アプローチは深層学習との組合せにおいても注目を集めている．Tandem アプローチにおいては，

MLP/HMM Hybrid アプローチは，ベイズ則によって別のパラメータで表現することによって行われる．
P ( xt qt )＝P ( qt x t )P ( qt )P ( xt )

（4）

ここで，P
（qt）は HMM 状態のユニグラム生起確率であり離散確率分布でモデル化する．P（qt｜xt）は HMM

状態の予測確率であり MLP を用いてモデル化する．

P（xt）は識別器を実際に利用するときには定数として扱うことができるため学習を行わない．この表現では，

ニューラルネットワークによる音響特徴抽出部分と，こHMM 状態が与えられたときの観測ベクトルの確率をれまで深く検討されてきた GMM/HMM による音声認識

HMM 状態のユニグラム確率モデル P（qt）と，入力が与部分が明示的に分離されているため，これまで GMM/
HMM のために検討されてきた各種技術がそのまま利用可能なことも多い．

えられたうえでの HMM 状態の予測確率モデル P（qt｜xt）で表し，それに加えて HMM 状態遷移確率 P（q｜l）
を導入することで HMM を構成している．個々の確率モ

Tandem アプローチに先駆けて MLP/HMM Hybrid ア

デルは最尤規準（MLP は最小クロスエントロピー規準）

プローチと呼ばれる研究があったことも重要であろう

によって推定され，推定されたモデルを組み合わせるこ[Bourlard 94]．後述する Deep Neural Network（DNN）とによって利用される．

に基づく HMM 音響モデル，すなわち DNN-HMM の基

従来 GMM を用いた音声認識を行う際には，入力ベ本構造は，実際のところ MLP/HMM Hybrid アプロー

クトル xt として MFCC をベースとした 39 次元の特徴

チの時点ではすでに完成していたものであり，単に深い
MLP を学習する手段を発見できなかったことから，現在の DNN-HMM のような大幅な精度向上を実現できなかったのであろうと著者は考えている．このように音声量を用いることが一般的であった．しかし，DNN を用いる場合は，MFCC などの特徴を zt と置き xt ＝[ zΤt−τ ,zΤt−τ ＋1…zTt＋τ− 1, zTt＋τ ]Τのように時間方向で前後にある特徴量を連結して用いることが一般的である．このようなア認識に向けて深層学習の導入に必要な技術の多くは，深プローチの有効性は先述した Tandem アプローチや特層学習登場以前に音声認識の分野で検討されていた．し徴変換の研究ではよく知られていたが，GMM では高次かし，こうしたアプローチでは主に浅い MLP のみが利元の特徴をうまく扱えないという問題があったため直接

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence

音声認識のための深層学習

65は用いられてこなかった．また，DNN では zt として，

MFCC を計算する前段階である対数メルフィルタバン

行列となっているように，この GB-RBM は入力ベクトルの要素ごとのスケールを適切にモデル化しないため，

ク特徴を用いることもある．このように，DNN では高

学習データ全体を平均 0，分散 1 となるように正規化し次元かつ相関を強くもつような特徴を直接扱うことがでて利用することが一般的である．
DNN の事前学習では，まず GB-RBM をトレーニン

きる点が優れていると考えられる．

グデータの特徴量集合から推定した後，GB-RBM に対3･2 DN N の 学 習

応する単層のニューラルネットワークを用いて，以下

前節の Hybrid アプローチを用いることで，DNN を含む MLP を音響モデルに取り込むことができる．本節
では，事前学習を援用した DNN の構成法について解説する．音声認識では畳込みニューラルネットワーク（Convolution Neural Networks：CNNs）を用いない場
合も多いことから，事前学習は重要なステップとして認のように各トレーニングデータ xt に対応する特徴 z（1）
t
（1）
（1）
[zt,（1）…]T を得る．
1 , zt, 2 … zt, i（7）z t(, 1i ) ＝ P ( h i ＝1 v, W, b , c )続いて，このようにして得た z（1）を学習データとして，t

2 層目の BB-RBM を計算し，同様に 2 層目の特徴 h（2）tを求める．これを繰り返すことによって所望の層数をも知されている．いくつかの検討結果は，データが十分につ RBM の集合を得る（Deep Boltzmann Machine の貪

ありモデル規模が十分に大きい場合の事前学習の不要性

欲学習，本連載の第 1 回 §7 を参照）
．この RBM のパを示唆しているが（例えば [Seide 11]）
，依然として事前

ラメータを DNN パラメータの初期値として用いるのが学習による性能向上は観測されており，実際に用いられ

DNN の事前学習である．具体的には，l 層目の DNNる場合が多い．

の重みパラメータを対応する RBM の重みパラメータ W

音声データは一般的に音声特徴系列の集合として表さで，バイアスパラメータを対応する RBM の潜在変数バ

れるが，本節の学習モデルでは系列としての情報を利用

イアス b で初期化する．最後の隠れ層から最終層への結しないため，すべての系列内の要素を並べた X{x1, x2,合に関しては小さな正規乱数で初期化されることが一般…xt…} のような音声特徴ベクトル集合を学習データと的である．最終層のアクティベーション関数としてはシ

音声認識のための DNN の事前学習には Restricted（本連載の第 4 回「画像認識のための深層学習」を参照）．

Boltzmann Machine（RBM）が用いられることが一般

そのほかの層に関してもシグモイドの代わりに Rectified的である．RBM に関する詳細な解説は本連載の第 1 回

Linear Unit や線形ユニットを用いたりするような試みを参照されたい．音声特徴量は実数値で示される信号でもなされている．

して考える．

グモイド関数 σ の代わりにソフトマックス関数を用いるあるため，最初の一層に対応するパラメータを事前学習

これを初期値として確率的勾配降下法（Stochastic

する RBM として，以下で示される Gaussian-Bernoulli

Gradient Descent：SGD）によって最小クロスエントロ

RBM（GB-RBM）が用いられる．

ピー規準での最適化を行うことが一般的である．一般的def

P ( v, h W, b, c )＝1Z

exp {− v−c 22 −hΤ Wv−bΤh}（5）には HMM 状態変数 qt は隠れ変数であり，それを固定して学習を行うことはあまり有効ではないと予想されるが，先述したとおり，音声認識問題の場合 HMM 状態の

ここで，v ∈ ℝD は RBM の観測変数（D 次元実数ベク

系列 q が定まった場合，音素列 m は一意に定まる，まトル），h ∈ {0, 1}H は RBM の潜在変数（H 次元バイナ

た音素列 m が定まった場合の単語列もほぼ一意に定まリベクトル），W, b, c は RBM のパラメータである．こる．このような性質から，逆に単語列 l が与えられたとの RBM は以下のような条件付き確率を内包する．

きに取り得る q を正確に再現することのできる P（qt｜P ( v h, W , b, c)＝N ( v; Wh＋b, I )P ( hi＝1 v, W , b, c)＝σ

∑ w i , j vj＋Cj}xt）を得ることができれば，そのようなモデルは十分に（6）

ここで，hi はベクトル h の i 番目の要素，σ はシグモイド関数，wi, j は重み行列 W の（i, j）番目の要素，ci は c

良い性能を出すことが期待される．よって音声認識では
ゆうほかの，例えば従来の最尤推定によって得た混合ガウス∼

分布に基づく音声認識用のモデル Θ と正解単語列 L を用∼

いて正解 HMM 状態系列 q を P（q｜L, X, Θ ）を最大にするよう推定し，そのうえで，その正解ラベルを用いての i 番目の要素，vj は v の j 番目の要素，N（v; Wh＋b, I）

最小クロスエントロピー学習することが一般的である．

は平均 Wh＋b であり，共分散行列が単位行列である多

現在，さまざまな研究機関で網羅的に実験が行われて変量正規分布である．GB-RBM も，Bernoulli-Bernoulli

いる最中であるが，現時点での典型的な設定としては，

RBM（BB-RBM）と同様 Contrastive Divergence によっ

各隠れ層のノード数が 2 048，層数としては MFCC をて最適化可能であるが，GB-RBM の推定は BB-RBM の入力する場合は 5 層，対数メルフィルタバンクを入力す

推定より数値的な安定性が悪く学習率などの設定には注る場合は 8 層というモデル構造がよく用いられる．また意を要する [Hinton 10]．また，正規分布の分散が単位最適化にはミニバッチ，
すなわち複数のトレーニングデー

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence

人 工 知 能66
タについての勾配を加算して利用するのが一般的である．

def

F ( MMI ) ( Θ )＝∑ log

4. 学 習 法 の 進 展

n音声認識における深層学習の進展はさまざまな側面で

29 巻 1 号（2014 年 1 月）

P ( l ( n ) X ( n ), Θ )∑ l ′ P ( l ′ X ( n ), Θ )（8）

ここで，分母に登場する総和（Σ l ′）は考え得るすべての単語列についての総和である．勾配ベースの最適化法見られる．音声認識分野で特に大きな流れとして表れつを適用するにあたり，この部分の偏微分を正確に計算すつあるのは，音声の性質や音声認識のマルチタスク性にるのは困難である．実際上は，ラティスと呼ばれる効率着目した学習方法の進展であると考えられる．本章では，的なグラフベースの対立仮説集合の表現を利用すること最初に音声の時系列性に着目した系列学習の進展を，次で，この部分の偏微分係数を計算することが一般的であにそれに付随した最適化の進展，最後に音声認識の多面

る．ラティスの代わりに逐次推定されたサンプル値で表性に着目したマルチタスク学習について述べる．

現する構造パーセプトロンアルゴリズム [McDonald 10]も利用されることがあるが，非線形性をもつモデルに対4･1 系 列 学 習

し並列処理によって最適化することが難しいとの理由か

深層学習が登場する以前，音声認識技術の研究分野

ら，ラティスによる近似とすべてのトレーニングデータ

において注目を集めていたのは，最適化が容易な系列ロに関する勾配を加算した後，パラメータを更新するフルス関数をどのように設計するかについてである．HMM

バッチ勾配降下法による学習が深層学習の登場以前より

は確率モデルであるため，最尤推定（や，ベイズ推論）

利用されてきた．

に基づく推定は最も直接的な推定方法の一つであるが，MMI 規準に基づく学習は系列レベルの識別学習であHMM を単なる識別器のデザインの一つとみなし，ロス

り，系列識別器として高い精度を出すようにパラメー関数を最小化することによって行う「識別学習」と呼ばタを調整するが，MMI 規準による評価は必ずしも実際れる技術が実際上高い性能を得るための手段として利用の音声認識器の評価と一致しない．その一つの理由はされてきた [He 08, Woodland 02]．識別学習技術では，

MMI の目的関数が系列ラベルを一体と見たときの一致・

実際に音声認識器を言語モデルなどと組み合わせて駆不一致しか見ていない点がある．音声認識では，ラベル動することで，どことどこが誤りやすいかを対立仮説候系列の全体を正確に推定する識別器を得ることは困難で補の形で出力し，対立仮説に関連付いたスコア（対数尤あるため単語エラー率のような部分一致の尺度で評価を度）を減少させ，正解単語列に関連付いたスコアを増加行う．こうしたことを受け，音声認識器の学習では，ラさせるよう，パラメータを最適化する．最小クロスエン

ベル系列間のエラー尺度を利用した目的関数による最適

トロピー規準による MLP の学習は，各フレームが正しい化が行われてきた．例えば，以下に示す bMMI 規準では，

HMM 状態に割り当てられることを目標とした識別学習

エラーを多く含む仮説の出現確率を上げることによっの一種であると考えられるが，系列の識別を直接最適化て，積極的にそのような仮説の出現を抑える [Povey 08]．

することによって，例えば，あるクラスとあるクラスの識別境界は曖昧に，すなわちほぼ等確率を割り当てるよ
うに調整しておいたほうが，前後のフレームでの識別率が向上し，結果として単語列の正解精度が上がるといっ

Fµ ( bMMI ) ( Θ )P ( l ( n ) X ( n ), Θ )def＝∑ logn∑ l ′ P ( l ′ X ( n ), Θ ) exp {µ E ( l ( n ), l ′ ) }たような，識別器の出力系列における相関関係および最終的な評価規準を考慮した学習ができる．

（9）
ここで E（l , l ′
）は l
（n）

と l ′の間の距離（例えば編集距（n）

本節では，系列の学習を直接取り扱うことから，学習離）である．この E を用いた確率値のシフト exp{µE（l（n）,

データとして入力系列ごとに区切られた集合を考える．

l′）} を導入することによって，エラーが多い，すなわち学習データ中の音声特徴系列は X{ X（1）, X（2）…} のよ

正解 l（n） からの距離が大きい仮説の出現確率を上げる．

うにベクトル系列の集合として表す．また学習データ中

この操作は Structured SVM [Tsochantaridis 04] におけの単語列も Lるマージンシフトに対応し，正解ラベル系列と比べた距{l（1）, l（2）…} のように単語列の集合とし離が大きな仮説ラベル系列ほど，大きなマージンをもって表すことにする．
MLP における最小クロスエントロピー規準をそのまて識別するような目的関数を導入することに相当する．

ま系列に拡張した規準が最大相互情報量規準（Maximum

より直接的な手段として，ラベル系列間のエラー尺度のMutual Information 規準：MMI 規準）である ．以下に，期待値を直接的に最適化する以下のような MPE 目的関MMI 規準において最大化されるべき目的関数を示す．

数も導入され効果を上げてきた [Povey 02]．

＊2

F ( MPE ) ( Θ )＊2 逆に，MMI からのアナロジーで，最小クロスエントロピー規
準を Frame ごとの MMI 規準（Framewise MMI）と呼ぶこと
もある．

def

＝−∑ ∑
n

l ′′

P ( l ′′ X ( n ), Θ ) exp { E ( l ( n ), l ′′ ) }∑ l ′ P ( l ′ X ( n ), Θ )（10）

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence

音声認識のための深層学習

67

こうした学習の定式化は以上に示したように明快であるが，実際の最適化は多くの場合困難である．最も大きな理由はラティスによる総和Σl 近似の不正確性であると考えられる．ラティス表現はその辺の数や頂点の数を増やすことによって，正確に近似対象の総和Σl の計算−を変数とした目的関数のヘッセ行列 H∈ ℝO × O を用いて，−
G＝J Τ HJ のように定義される．また，ヤコビ行列 J の（d,n）要素 jd, n は，最終層の d 番目のユニットの出力として z（x（xt）/∂θ n とt）をもつような DNN に対して，∂ zdd

定義される．このガウス・ニュートン行列は F が最小クが可能であり，GMM を元にした音声認識ではそれがう

ロスエントロピー規準や MMI，bMMI 規準の目的関数

まく働いていた．しかし DNN の学習では非常に表現力であるとき，正定値である．

の高い，非線形性の高いモデルを調整するため，ラティ

ガウス・ニュートン行列による近似を用いても，上述

ス中に出現しないパターンに偶発的に高い確率が与えらの更新式は（N×N）行列の逆行列を求める必要があるた

れることも多い．上述の目的関数のそうしたパターンにめ，現実的な時間では実行できない．そこで，Hessian

対する値はゼロに近づくことが知られており，これは本Free 法では Conjugate Gradient（ 共役勾配法）を用い

来不正解であるパターンが不正解としてみなされないのて G − 1 F（θ（e））を直接求めることを考える Conjugateと同様であり，最適化が進んでも実際の音声認識器のエ

Gradient 法 の 具 体 的 な ア ル ゴ リ ズ ム に つ い て は 言

ラー率は改善されないということが起こる．こうした問及 し な い が，Conjugate Gradient 法 は G − 1 F（θ（e））

題に対処するため，さまざまなヒューリスティックを用を ∑ kα kGk F（θ（e））として近似するための α kを高速に求∆∆が行われてきた [Su 13, Veselý 13]．

∆

いてラティスによる近似学習を成立させるといったことめる手法である．すなわち，Conjugate Gradient 法を利用することで，逆行列を必要とした計算を行列積の計算の連鎖で近似することができる．

4･2 最 適 化 の 進 展

DNN のようにパラメータ数が多い場合，行列積の計

音声認識への深層学習の応用とは直接関係しないが，算も明示的に行うのは困難である．[Pearlmutter 94] や

上述の系列学習や後述する Recurrent Neural Network[Schraudolph 02] の手法は，ヘッセ行列やガウス・ニュー

では入出力が系列となり，見掛けの学習サンプル数が減トン行列と任意のベクトルとの積を高速に計算する手法

少し，各サンプルの学習にかかる時間が増える．このよを提案しており，これを援用することで，先述した共役

うな場合，高速なアップデートを何回も繰り返すことで勾配法の計算，ニュートン法の更新計算が可能になる．

比較的良い解を高速に得る SGD の計算効率はほかの手

このヘシアン行列やガウス・ニュートン行列の高速積算法と比べて必ずしも良いといえない．また，系列学習に

法は DNN のような非常に大量のパラメータをもつ識別

用いるラティスの扱いなどを GPU 上で実装するのは困器において，パラメータ空間における目的関数の性質を難であり，ネットワークによって接続された複数のマシ

調べる数少ない方法であり，Hessian Free 法以外の意

ンで並列最適化を行う手法が望まれている．こうした背味でも重要であると考えられる．

景から，すべてのトレーニングデータを用いて計算した
正確な勾配ベクトルを用いてモデルを更新していくフルバッチ型の最適化手法が望まれている．

4･3 マルチタスク学習
マルチタスク学習は，目的とする問題以外の問題に対準ニュートン法による MLP の学習は古くから検討

する統計モデルを情報を共有しながら同時に学習するこされてきたトピックの一つであるが，近年，深層学習とで，共有知識を明示的に取り出し，学習されるモデルの登場に従い，再度注目を集めている [Saito 97]．特にの汎化性能を向上させる手法である．音声には本質的にHessian Free 法 [Martens 10] と呼ばれる，Newton-CG

さまざまなラベリングの方法があり，DNN-HMM で用法を DNN に適用した事例は近年多くの研究機関が評価いられているラベルの表現，すなわちフレームごとに対している．Newton-CG 法では，全パラメータを並べた

応する HMM 状態が最適であるとは考え難い．このようベクトル θ ∈ ℝN の最適化に，ニュートン法を用いるこな問題では，本来解くべき問題，すなわち HMM 状態識別とを考え，以下の更新則を考える．

問題以外に，関連する問題を同時にマルチタスク学習のθ（e＋1）＝ θ（e）− η（e）H − 1 F（θ（e））（11）

枠組みで学習し，ラベルの情報を増強することで，より汎∆は最適化の繰返し回数を示す変数，化能力の高い識別器を得ることができる可能性がある．

F は最適化の目的関数，η（e）はステップサイズ，H は目

先述したように現状スタンダードとなっている音声認的関数 F のヘッセ行列である．ニュートン法は，ヘッセ

識における DNN の適用は入力音声特徴ベクトルに対応

ここで，上付きの（e）

行列が正定値でないと正しく収束しない．DNN の最適

する HMM 状態を推定するだけという非常に部分的なも化の目的関数の凸性は保証されないため，Hessian Freeのとなっている．入力音声特徴ベクトルは比較的長い音法ではここで，ガウス・ニュートン行列を代わりに導声区間の音響特徴量で構成されており，その入力には，入する．ガウス・ニュートン行列は，DNN の最終層の前後の文脈に依存する変動と，推定対象である HMM 状

出力をベクトル空間からベクトル空間への関数を N：ℝD → ℝO としたときのヤコビ行列 J ∈ ℝO × D と出力層る．そこで，音素コンテキストを同時に推定することで態に依存する変動の双方が含まれていることが予想され

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence

人 工 知 能68

29 巻 1 号（2014 年 1 月）

その双方の変動を明示的にモデル化するという試みが行われている．[Seltzer 13] では，ラベル上で前後の音素やフレームレベルでの前後の音素や HMM 状態を推定対象として追加することで，結果的に本当の推定対象である HMM 状態の識別精度が向上し，音声認識の精度が向上したと報告している．このように，DNN では出力層のデザインを変更することでさまざまなラベルの情報を取り入れることができる．
音声特有の興味深い問題を解いている事例としては，
多言語問題への適用がある．国際音声記号と呼ばれるア
ルファベットで世界のさまざまな言語の音声を記述できるとされているように，音声信号は，ある程度は言語を

図2

Recurrent Neural Network．
（a）時間遅れ素子を用いた表示 ,（b）時系列
入出力を展開した表示

超えて共有の現象の組合せで記述可能であることが推測される．こうしたことから，DNN の入力信号に近い部

な DNN 表現にしたうえで途中で打ち切って学習をする

分では，言語を超えて，ある程度共通の特徴抽出プロセ

ことが多い（この学習法を Back Propagation Throughスが有効であることが推察される．このアイディアをマTime（BPTT）と呼ぶ）．しかし，DNN の場合と異なルチタスク学習の枠組みに導入し，学習データ中の各訓り，音声認識における RNN の学習では事前学習を使わ

練事例の言語に応じて利用する出力層を取りかえていく

ないことが一般的である．すなわち DNN の場合と異なことによってメインとなる言語の認識率を上げることがり，深層学習技術の登場によって学習法が進展したといできるという報告が複数なされた [Ghoshal 13, Heigold

うことは，ほとんどない＊3．しかし，DNN の流行に伴い，13, Tuske 13]．これらの応用は，多言語に共通の特徴が

RNN が見直される過程において，さまざまな興味深いあるということや，DNN の入力に近い層は主に特徴抽応用や新たな学習方法が登場してきている．

出を行っているという仮説を支持しており，非常に興味深い．

5･1 RNN 言語モデル

5. Recurrent Neural Network の進展

は，N-gram モデルが用いられることが一般的である．

音声認識における言語モデル（式（1）の P（l ））でN-gram 言語モデルでは，各単語の生起確率が直前の数

本章では，深層学習技術の音声認識への応用におけるもう一つの側面，すなわちモデル構造の工夫に関して，特に音声の時系列性を表現するために導入された
Recurrent Neural Network について詳述する．
Recurrent Neural Network は時間遅れ素子を介してユニットの出力が別のユニットの入力となっているよう

単語に依存した確率分布で定まると仮定し，以下の近似を置いたモデルを用いる．
P ( l ) ＝∏ P ( l m l m−1 , l m−2 , l m−3)m≈ ∏ P ( l m l m−1 , l m−2 ,l m−N＋1 )（12）m

なニューラルネットワークの総称である．音声認識のコ

単純な離散分布による実現では，この確率分布は語彙数

ンテキストでは Elman Network と呼ばれる，2 層多層

V に対して V（N）のパラメータを必要とする．実際には，パーセプトロンの隠れ層の出力が時間遅れを介して次のN-gram 言語モデルでゼロ頻度となってしまう単語の連

時刻の隠れ層への入力となっている図 2（a）のようなパー

なりを（N−1）-gram 言語モデルの確率を用いて計算す

セプトロンを用いることが一般的である．

るバックオフの仕組みによってパラメータ数は V（N） よElman Network の学習は DNN と同様 SGD を用いた

り大幅に小さいものとなっているが，基本的に定められ最小クロスエントロピー規準の最適化によって行うが，た N に対してパラメータの個数が決まるという構造と入出力の依存関係を系列データ間の依存関係として表現なっている．

するため，入出力データは各系列ごとに与える必要があ

近年，こうした N-gram 言語モデルの代わるモデルとる．入力の系列データを受け取り，出力の系列データをして，もしくは確率値を補完して同時に使うためのモデ出力するネットワークを図 2（b）に示す．図のとおり，

ルとして RNN 言語モデルが注目を浴びている [Mikolov

系列データを対象にすることで，Deep Neural Network

10]．[Mikolov 10] では RNN 言語モデルを単独で使ったと同様の深い構造を含んでいることがわかる．

場合においても，従来の N-gram 言語モデルの精度を超RNN の学習は DNN の学習と同様に SGD を用いてえることが報告されているほか，N-gram 言語モデルと行われる．隠れユニットの出力変数を決定してしまえ
ば，図 2 の形の RNN は単なる隠れ層が 1 層の MLP として学習できるが，実際には図 2（b）で示されるよう＊3 Hessian Free 法などは RNN においても効果的であると報告されている [Martens 11]．

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence

音声認識のための深層学習

69

確率値を補完することによってより高精度な音声認識がいても RNN 言語モデルは，基本的な実装では，
語彙数 V，

できることが報告されている．

隠れユニット数 H としたとき，V × H の行列の乗算をRNN 言語モデルでは，上式中の単語履歴が与えら含むため，大規模な N-best リストに適用することは難れ た と き の 条 件 付 き 確 率 P（ lm ｜lm−1, lm−2, lm−3…）をしい．[Mikolov 10] ではさまざまなヒューリスティック

RNN によって直接計算することを考える．具体的にはを用いて計算時間を削減しているが，推定精度に与える

入力を直前の単語 lm−1 を 1-of-N 表現によって表現した影響が無視できないと考えられる．こうしたことから，ベクトル δ lm −1として，出力層によって単語の予測分布

計算効率の改善が今後の課題といえる．

を表現する RNN を以下のように計算する．
exp { ∑ i λ lm , i h m , i }P ( l m l m−1 , l m−2 , lm−3 ) ＝∑ l′ exp { ∑ i λ l ′ , i h m , i }（13）における HMM の隠れ状態も RNN で保持される記憶

ここで hm,i は m 番目の単語の予測に用いる隠れ層の状によって表現し，音響モデルと言語モデルの双方を一態であり，以下の式で表される．
h m, i ＝σ

∑v h
i, j

m−1 , j＋wi , l m−1

（14）

j

5･2 Connectionist Temporal Classification
上記の RNN に関する進展を考えると，音響モデルのつの巨大な RNN で表現することで，音響特徴系列を入力とし単語系列を出力とするような RNN を構築することが考えられる．しかし，音響モデルと言語モデルではこのモデルの学習において最適化されるパラメータは系列の単位が違う，すなわち音響データは物理的な時刻入力層から隠れ層への結合重み係数である wi, l′，隠れ層に対応する単位で与えられるのに対し，予測するラベル

れ層から出力層への結合重み係数である λ l ′, i である．

を吸収する仕組みと，そのための学習法が必要となる．

同士の再帰的リンク結合重み係数である vi, j，および隠列は単語の単位で出力しなければならないため，その間

N-gram 言語モデルの場合と異なり，RNN 言語モデ

Connectionist Temporal Classification（CTC）は，単

ルでは隠れ層の素子数を調整することによってモデルの純なアプローチでこの差を吸収することができる可能性

複雑さを制御する．単語の履歴はすべて RNN におけるを示した [Graves 06]．

再帰的リンクによって記憶されていると考えるため，よCTC では出力側のシンボルとして何も出力しない

り長いコンテキストをもつ RNN 言語モデルを作成したことを示す null シンボル（例えば ε と示す）を許容す

い場合は素子数を増やす必要がある．しかし，深層学習ることによってこの系列長の違いを吸収する．すなわ

そのものの問題から素子数を増やしても，再帰的リンク

ち，音響特徴ベクトル xt に対応する RNN 出力 yt のうで時間的に離れた二つの入出力の関係性を適切に表現す

ち，一部の時刻 t のみが実際に単語もしくは音素を出力るのは難しいとされている [Hochreiter 97]．RNN 言語

yt ≠ε とし，それ以外の時刻では yt ＝ε を出力するようモデルの学習においては，事前学習技術を使うことは一な RNN を導入することで，単語数や音素数が入力音声

般的でなく，先述した BPTT を用いて学習することが特徴ベクトルの数に比べて少なく，固定長でないような多い．学習法の進展なしに，RNN 言語モデルが音声認

出力が表現できる．特に音声認識の場合，入力の系列長，識の高精度化に寄与できるようになった理由の一つとしすなわち一発話に含まれるフレームの数に比べて出力のて，近年の計算機の進歩に伴う学習可能なデータ量の増系列，すなわち単語の数が常に少ないということを仮定

大があげられる．音響モデルの深層学習においても，学しても問題が起こりにくく，こうした単純なアプローチ

習データが増加することで，従来事前学習なしでは困難であっても有効に働くことが期待される．

であった DNN の学習が事前学習なしで精度良く行うこモ デ ル 構 造 の 変 更 は 非 常 に 小 さ い が，null シ ン ボとができることが報告されており，データの増大は深層ルを許容することによって，認識時や学習時にどこに学習の困難性を緩和することが示唆されている．
RNN 言語モデルの最大の問題はその計算量である．

null が挿入されるかについての不確定性を考慮する必要がある．まず学習時では，HMM 学習時の Forward-

N-gram モデルは直前数単語のみが予測に影響するとい

Backward アルゴリズムと類似の処理によって，null シ

う点で，マルコフ連鎖で表現可能である．音声認識技術

ンボルを含めた各ラベルの確率を最適化中のモデルを用

は潜在変数がマルコフ連鎖に従っていることを仮定していて計算する．CTC の最適化規準は，このようにしており，そのうえで高速な推定を行うように進歩してきた

求めた各時刻にどのラベルにいるかを示す確率値（HMM

ため，RNN のように連続値を状態変数として用いる一の EM アルゴリズムにおいて得られる占有率と等価）に般的なマルコフ過程の場合は高速に認識結果を推定する

基づいて教師信号を変更した最小クロスエントロピー規手法が存在しない．現在は，従来の音声認識器で有望な準の一種として記述できる．教師信号の変更以外はバッ

単語列の仮説である N-best リストを出力し，そのうえ

クプロパゲーションと同様であり，DNN の学習と同様

でリスコアリングを行うことで RNN 言語モデルを音声に最適化を行うことができる．認識時はすべての null

認識と統合しているが，従来法に比べた際の計算効率のシンボルの取り得るパターンについて考え，それで周辺悪化は著しい．また，リスコアリング処理そのものにお化した系列ラベルを導出しなければならないが，これにNII-Electronic Library Service

The Japanese Society for Artificial Intelligence

人 工 知 能70

29 巻 1 号（2014 年 1 月）

関して厳密に高速に計算する手法はない．[Graves 06]

チューニングを再度行う必要がある．一般的に音声認識

では，最初に null シンボルの取り得るパターンについのモデル学習には非常に多くのデータを用いる必要があて最尤推定を行い，その後に対応するラベルを抽出するることから，こうしたチューニングは本連載第 3 回（Vol.

という処理と，Forward-Backward 処理によって得られ

27, No. 5）にて紹介されたような Random Search を用た統計量を活用して効率的に探索をする手法の 2 通りがいても網羅的に行うことは難しい．新しいタイプの問題

紹介されている．

に新しい手法を応用する場合，その実験的な検討は常に

CTC は現在，
連続音素認識での利用が主となっており，
大語彙連続音声認識に直接適用することは難しい．音素必要となるが，現状の深層学習はその部分のコストがほかの手法と比べても非常に大きいと考えている．

認識器として CTC を用いた RNN というのも可能では

音声認識における深層学習も，画像における深層学習

あるが，その場合，CTC が RNN 言語モデルのように振と同様，性能の大幅な向上があるため，さまざまな研究

る舞うことは期待できない．こうしたことから，深層学機関が一斉に着目し，その実用可能性が短期間で広く議習の音響モデル技術，言語モデル技術をどのように統合論された．今後もさまざまな音声認識関連技術において，

するかについて，決定打が出ているとはまだ言い難い．

深層学習技術の適用が進展していくと考えられるが，そ

6. ま

と

め

れをより一層大きな流れにしていくためには，多層パー
セプトロンの採用によってブラックボックスとなってしまった部分の解明が重要であろうと考えられる．理論と音声認識の諸問題における深層学習の適用事例について紹介するとともに，現在国際会議などの場で活発に議

応用の両面から深層学習がより深みのある技術となることを期待する．

論されている問題について紹介した．
本稿の最初で示したように，従来の音声認識器はメル
周波数ケプストラム係数で表現した音声特徴ベクトルの生成モデルを導入することによって音声認識における音響事象をモデル化しようとしてきた．反面，現在の深層学習に基づく音声認識器では，例えば対数メルフィルタ
バンク特徴ベクトルを用いることで，周波数スペクトルをより高い解像度で表現し，さらに時間的に長いセグメ
ントの情報を入力として音響事象をモデル化している．
このようなリッチな入力情報の利用が，従来のアーキテ
クチャでは深層学習ほど効果的でなかったことから，深層学習によって，ある種の高次特徴抽出プロセスが最適化可能なモデルとして表現され，それが人手でデザインした特徴量より効率的であったため，爆発的な性能向上が実現できたと類推することもできる．また，深く（比較的）細いニューラルネットワーク構造は，その特徴抽出のプロセスにおいて，次元削減を導入していると考えることもでき，浅く太いモデルより有効であることが類推される．
現在のところ，音声認識における深層学習は比較的ス
タンダードな問題設定のもとで利用されている．すなわ
ち，タスクとしては大語彙連続音声認識，学習データが100 時間分くらいあり，音響環境が比較的クリーン（無雑音）に近い設定である．そして，このような問題に対する深層学習の各種ハイパーパラメータ，すなわち隠れユニットの数や層数，確率的勾配降下法における学習率や正則化係数は，この分野に深層学習を導入した研究者らによって比較的よく検討されており，現在ではそうした値をそのままもってくることである程度の精度を誰でも出せるようになってきている．しかし対象とするタスクの変化や，収音環境の悪化などによって問題の性質が変化してくると，モデル選択や各種ハイパーパラメータ◇ 参 考 文 献 ◇[Bourlard 94] Bourlard, H. A. and Morgan, N.: Connectionist
Speech Recognition: A Hybrid Approach,Vol. 247, Springer（1994）[Chen 05] Chen, B. Y., Zhu, Q. and Morgan, N.: Tonotopic multilayered perceptron: A neural network for learning long-term
temporal features for speech recognition, Proc. ICASSP-05（2005）[Ghoshal 13] Ghoshal, A., Swietojanski, P. and Renals, S.: Multilingual training of deep neural networks, Proc. ICASSP-13（2013）[Graves06] Graves, A., Fernández, S., Gomez, F. and Schmidhuber, J.: Connectionist temporal classification: Labelling
unsegmented sequence data with recurrent neural networks,
Proc. 23rd Int. Conf. on Machine Learning, pp. 369-376, ACM（2006）[Haeb-Umbach 92] Haeb-Umbach, R. and Ney, H.: Linear
discriminant analysis for improved large vocabularycontinuous speech recognition, ICASSP-92, 1992 IEEE Int.
Conf., Vol. 1, pp. 13-16（1992）[He 08] He, X., Deng, L. and Chou,W.: Discriminative learning insequential pattern recognition, Signal Processing Magazine,
Vol. 25, No. 5, pp. 14-36, IEEE（2008）[Heigold 13] Heigold, G., Vanhoucke, V., Senior, A., Nguyen, P.,
Ranzato, M., Devin, M. and Dean, J.: Multilingual acoustic
models using distributed deep neural networks, Proc.
ICASSP-13（2013）[Hermansky 00] Hermansky, H., Ellis, D. P. and Sharma, S.:
Tandem connectionist feature extraction for conventional
HMM systems, ICASSP-00, 2000 IEEE Int. Conf.,Vol. 3, pp.
1635-1638（2000）[Hinton 10] Hinton, G.: A pratical guide to training restricted
Boltzmann machines, Technicar Report 2010-003, Machine
Learning Group, University of Tronto（2013）[Hochreiter 97] Hochreiter, S. and Schmidhuber, J.: Long shortterm memory, Neural Computation,Vol. 9, No. 8, pp. 1735-1780（1997）[堀 04] 堀 貴明，塚田 元：重み付き有限状態トランスデューサによる音声認識，IPSJ Magazine, Vol. 45, No. 10, pp. 1020-1026（2004）[Kubo 11] Kubo, Y., Okawa, S., Kurematsu, A. and Shirai, K.:
Temporal AM-FM combination for robust speech recognition,

NII-Electronic Library Service

The Japanese Society for Artificial Intelligence

音声認識のための深層学習
Speech Communication, Vol. 53, No. 5, pp. 716-725（2011）[Martens 10] Martens, J.: Deep learning via Hessian-free
optimization, Proc. 27th Int. Conf. on Machine Learning（ICML-10），pp. 735-742（2010）[Martens 11] Martens, J. and Sutskever, I.: Learning recurrent
neural networks with Hessian-free optimization, Proc. 28th
Int. Conf. on Machine Learning（ICML-11），pp. 1033-1040（2011）[McDonald 10] McDonald, R., Hall, K. and Mann, G.: Distributed
training strategies for the structured perceptron, Human
Language Technologies: 2010 Annual Conf. North American
Chapter of the Association for Computational Linguistics, pp.
456-464, Association for Computational Linguistics（2010）[Mikolov 10] Mikolov, T., Karafiát, M., Burget, L., Cernockỳ, J.
and Khudanpur, S.: Recurrent neural network based language
model, INTERSPEECH, pp. 1045-1048（2010）[Pearlmutter 94] Pearlmutter, B. A.: Fast exact multiplication by
the Hessian, Neural Computation, Vol. 6, No. 1, pp. 147-160（1994）[Povey 02] Povey, D. and Woodland, P. C.: Minimum phoneerror and I-smoothing for improved discriminative training,
ICASSP-02, 2002 IEEE Int. Conf., Vol. 1, pp. I-105（2002）[Povey 05] Povey, D., Kingsbury, B., Mangu, L., Saon, G., Soltau,
H. and Zweig, G.: fMPE: Discriminatively trained features
for speech recognition, Proc. ICASSP-05, Vol. 1, pp. 961-964
Philadelphia（2005）[Povey 08] Povey, D., Kanevsky, D., Kingsbury, B., Ramabhadran,B., Saon, G. and Visweswariah, K.: Boosted MMI for model andfeature-space discriminative training, ICASSP-08, IEEE Int.
Conf., pp. 4057-4060（2008）[Rabiner 93] Rabiner, L. and Juang, B.-H.: Fundamentals of
Speech Recognition, Prentice Hall（1993）[Saito 97] Saito, K. and Nakano, R.: Partial BFGS update
and efficient step-length calculation for three-layer neuralnetworks, Neural Computation, Vol. 9, No. 1, pp. 123-141（1997）[Schraudolph 02] Schraudolph, N. N.: Fast curvature matrixvector products for second-order gradient descent, NeuralComputation, Vol. 14, No. 7, pp. 1723-1738（2002）[Seide 11] Seide, F., Li, G. and Yu, D.: Conversational speechtranscription using context-dependent deep neural networks,
INTERSPEECH, pp. 437-440（2011）[Seltzer 13] Seltzer, M. L. and Droppo, J.: Multi-task learningin deep neural networks for improved phoneme recognition,
ICASSP-13, 2013 IEEE Int. Conf., pp. 6965-6969（2013）71[Su 13] Su, H., Li, G., Yu, D. and Seide, F.: Error back propagation
for sequence training of context-dependent deep networks forconversational speech transcription, Proc. ICASSP（2013）[Tsochantaridis 04] Tsochantaridis, I., Hofmann, T., Joachims,
T. and Altun,Y.: Support vector machine learning forinterdependent and structured output spaces, Proc. 21st Int.
Conf. on Machine Learning, p. 104, ACM（2004）[Tuske 13] Tuske, Z., Pinto, J., Willett, D. and Schluter, R.:
Investigation on cross-and multilingual MLP features undermatched and mismatched acoustical conditions, ICASSP-13，
2013 IEEE Int. Conf., pp. 7349-7353（2013）[Veselỳ 13] Veselỳ, K., Ghoshal, A., Burget, L. and Povey, D.:
Sequence-discriminative training of deep neural networks,
Proc. ICASSP-13（2013）[Waibel 89] Waibel, A., Hanazawa,T., Hinton, G., Shikano, K.
and Lang, K. J.: Phoneme recognition using time-delay neuralnetworks, IEEE Trans. on Acoustics, Speech and Signal
Processing, Vol. 37, No. 3, pp. 328-339（1989）[Woodland 02] Woodland,P. C. and Povey, D.: Large scale
discriminative training of hidden Markov models for speech
recognition, Computer Speech and Language, Vol. 16, No. 1, pp.
25-47（2002）[Young 94] Young, S. J., Odell, J. and Woodland, P. C.: Treebased state tying for high accuracy acoustic modelling, Proc.
Workshop on Human Language Technology, pp. 307-312,
Association for Computational Linguistics（1994）

2013 年 11 月 12 日 受理

著 者 紹 介
久保 陽太郎2010 年早稲田大学大学院理工学研究科博士課程修了，博士（工学）．同年ドイツ RWTH アーヘン大学
客員研究員を経て，日本電信電話株式会社に入社．
音声認識の研究に従事．2010 年日本音響学会より粟屋潔学術奨励賞，2011 年情報処理学会山下記念研究奨励賞，2013 年日本音響学会独創研究奨励賞板倉記
念，同年電子情報通信学会音声研究会奨励賞を受賞．
日本音響学会，IEEE などの各会員．

NII-Electronic Library Service