社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

重みベクトルの適応的正則化に基づく発音推定
慶伍†

久保

サクティ

サクリアニ†グラム

ニュービッグ†

戸田

智基†

中村 哲†

† 奈良先端科学技術大学院大学情報科学研究科 〒 630–0192 奈良県生駒市高山町 8916–5
E-mail: †{keigo-k,ssakti,neubig,tomoki,s-nakamura}@is.naist.jp
あらまし 音声認識や音声合成の重要な課題の一つである発音推定の分野において現在最も高精度な手法として，多値分類のオンライン識別学習法である MIRA（Margin Infused Relaxed Algorithm）に基づく構造学習が提案されている．これは精度良く発音を推定する一方，学習データを過学習する傾向にあり，Web 上の辞書などノイズを多く含んだ学習データでは性能の劣化が著しいと考えられる．そこで，我々は過学習に強い二値分類手法である重みベクトルの適応的正則化手法（AROW：Adaptive Regularization of Weight Vectors）を構造学習に拡張する方法を提案し，学習データにノイズを含む発音推定においてその手法を評価した結果，5.3%の誤り削減率を得ることができた．
キーワード

発音推定，未知語，識別学習，構造学習，重みベクトルの適応的正則化手法

Grapheme-to-phoneme Conversion
based on Adaptive Regularization of Weight Vectors
Keigo KUBO† , Sakriani SAKTI† , Graham NEUBIG† , Tomoki TODA† , and Satoshi NAKAMURA†† Graduate School of Information Science, Nara Institute of Science and Technology
8916–5 Takayama-cho, Ikoma, Nara 630–0192, Japan
E-mail: †{keigo-k,ssakti,neubig,tomoki,s-nakamura}@is.naist.jp
Abstract The current state-of-the-art approach in grapheme-to-phoneme (g2p) conversion is structured learning
based on the Margin Infused Relaxed Algorithm (MIRA). However, it is known that the aggressive weight update
method of MIRA is prone to overfitting, even if the current example is an outlier or noisy. Adaptive Regularizationof Weight Vectors (AROW) has been proposed to resolve this problem for binary classification. In this paper, wefirst apply AROW to g2p conversion which is structured learning problem. In an evaluation, our proposed approachachieves a 5.3% error reduction rate compared to MIRA implemented in DirecTL+ in terms of phoneme error rate.
Key words g2p conversion, out-of-vocabulary word, online discriminative training, structured learning, AROW

1. は じ め にくなるように特徴量の重みを学習する多値分類のオンライン識別学習手法である．MIRA は g2p 変換のようなクラスの候補

文 字 列 の 発 音 推 定 は ，書 記 素 列（Graphemes）か ら 音 素

数が極端に多い構造学習問題にも拡張されており，先行研究で列（Phonemes）へ と 変 換 す る こ と か ら g2p（grapheme-to-は g2p 変換のタスクにおいて結合系列モデルよりも低い単語誤

phoneme）変換と呼ばれる（以後，発音推定を g2p 変換とり率を実現している [10], [11]．しかしながら，MIRA は，もし書く）．この技術は未知語の発音を推定することに使われ，大現在対象としているデータが外れ値または正解ラベルが間違っ

規模音声認識システム [1] やテキスト音声合成システム [2] におているデータ（以後，このようなデータをノイズデータと書く）

いて重要な役割を果たす．現在まで，ルールに基づくアプロー

であっても，それを正確に分類できるように特徴量の重みを大チ [3] や，最大エントロピー法 [4]，決定木 [5]，ニューラルネッ

きく動かしてしまうため，過学習を引き起こす傾向がある．

トワーク [6] といった統計的アプローチが試みられてきた．最近

最近，Web 上に存在する言語の専門家のクロスチェックなし

このタスクで用いられている手法として結合系列モデル [7], [8]で構築された膨大な発音のデータを g2p 変換の学習データとしと Margin Infused Relaxed Algorithm（MIRA）[9] に基づくて用いることが提案されている [12]．このようなデータセット

構造学習手法が挙げられる．結合系列モデルは，書記素列と音は不特定多数のユーザにより構築されているため，ノイズデー

素列の断片を合わせて一つの単位とした結合 N-gram を用いる

タ（g2p 変換においてノイズデータとは誤った発音が付与され生成モデルである．MIRA は，現在対象としているデータの正た単語のことである）が多く含まれていると考えられ，実際に解クラスのスコアが誤りのクラスのスコアよりも十分な差で高文献 [12] において，そのようなデータセットを用いた場合，辞—1—

書構築のコストと時間を削減する代わりに，音声認識システムの性能が減少することが示されている．そのため，このような

3. MIRA によるオンライン構造学習

ノイズデータをトレーニングに用いても，ノイズデータを過学

本報告において，構造学習へと拡張されたオンライン識別学

習せずに頑健に高い性能を保つことができるアプローチが近年習をオンライン構造学習と定義する．g2p 変換における MIRA

必要となっている．

に基づくオンライン構造学習は Jiampojamarn ら [10] により

このようなノイズデータの問題を解決するために，二値分類に提案された．i 番目のデータ (xi , yi ) と wt−1 · Φ(xi , ŷ) によりおいて，重みベクトルの適応的正則化手法（AROW：Adaptive

選ばれた N -best の仮説 ŷ1 , ..., ŷN が与えられた時，現在の重Regularization of Weight Vectors）[13] というオンライン識別

みベクトル wt−1 を以下の制約付き最適化問題を解くことによ学習が提案されている．以後，これを AROW と書く．現在対り更新する．

象としているデータを正しく分類できる特徴量の重みを求めできることを保証しない代わりに，学習データを正しく分類で1
min ∥∆w∥2∆w 2
s.t. ∀n

きる方向へと特徴量の重みを少しずつ動かす．また，他のデー(wt−1 + ∆w) · uin >= d(yi , ŷn )る MIRA とは異なり，AROW は現在のデータを正しく分類タにおいて良く出現する特徴量の重みは，あまり出現しない特徴量の重みよりも動かさない．これにより AROW はノイズ
データを正しく分類するために特徴量の重みを大きく動かすことを防ぎ，ノイズデータの過学習に対して頑健さを持つ．加えて AROW の更新規則は MIRA と比較して単純であり，より短時間で学習することができる．複数の二値分類タスクにおいて，AROW は，MIRA の二値分類手法と見なすことができる

Passive-Aggressive (PA) アルゴリズム [14] を超える性能を示した．
そのため，我々は二値分類手法である AROW を構造学習に拡張し，それを構造学習問題である g2p 変換タスクへと初めて適用する．本報告では，まず第 2 節で従来手法である MIRA
や提案手法である AROW の構造学習において用いられる線形分類器に基づく g2p 変換を説明し，第 3 節で従来手法である MIRA に基づく構造学習を説明する．第 4 節では二値分類手法の AROW とその前身の二値分類手法である Conﬁdence(2)

ここで ∆w は重みの更新量ベクトルであり，更新後の重みベク
トル wt は以下のように定義される．

wt = wt−1 + ∆w

(3)

uin は正解の特徴量ベクトルと仮説の特徴量ベクトルの差ベク
トル (Φ(xi , yi ) − Φ(xi , ŷn )) として定義される．d(yi , ŷn ) は

yi を ŷn と推定した際の損失値である．g2p 変換において，損失値 d(yi , ŷn ) は yi と ŷn 間の音素誤り率が用いられる．式（2）の制約式は正解のスコア wt · Φ(xi , yi ) が仮説のスコア

wt · Φ(xi , ŷn ) よりも損失値以上高くなるよう wt を制約することを意味する．式（2）の最適化問題をラグランジュの未定乗数法で解くと，式（2）の双対問題が以下のように得られる．

1 ∑∑
max
αn αm uin · uim
α1 ,...,αN 2nm∑+αn (d(yi , ŷn ) − wt−1 · uin )(4)nWeighted Algorithm（CW）[15], [16] を説明し，第 5 節で提案手法である構造学習へと拡張した AROW を説明する．第 6 節
では，結合系列モデルと MIRA に基づく構造学習を比較手法として，提案手法である AROW に基づく構造学習を g2p 変換
タスクにより評価した結果を報告する．最後に第 7 節でまとめ

ここで，α1 , ..., αN はラグランジュの未定乗数であり，最適化
されるパラメータである．また，∆w は α1 , ..., αN を用いて以下のように定義できる．

∆w =

∑

αn uin

(5)

n

を述べる．

式（4）は α1 , ..., αN のパラメータを持つ 2 次計画問題である．

2. 線形分類器に基づく g2p 変換

これを 2 次計画問題の解法 [17] を用いて解き，最適な α1 , ..., αN

まず最初に書記素列 x から音素列 y へと変換する g2p 変換を得て，式（3）と式（5）から更新後の重みベクトル wt を求めを定義する．ある書記素列 x から正しい音素列 y を得るため

る．式（3）と式（5）から求まる wt は，現在のデータ (xi , yi )に，以下のように定義される線形分類器を用いる．

の正解のスコアを各仮説 ŷ1 , ..., ŷN のスコアよりもそれぞれのŷ = arg max w · Φ(x, y)(1)y仮説が持つ損失値以上高くし，かつ更新前の重みベクトル wt−1に最も近い重みベクトルである．

ここで w は分類器の特徴量の重みベクトルを意味しており，

もし求めなければならないパラメータが多い場合，2 次計画問Φ(x, y) は，x と y に出現するある結合 N-gram の頻度 [11] と題は計算コストの観点から解くことが非常に難しくなる．MIRA

いった特徴量から構成される特徴量ベクトルを意味している．

に関して，求めなければならないパラメータは α1 , ..., αN であ式（1）において，ŷ は動的計画法を用いることにより効率的にり，これは更新において用いられる仮説の数に等しい．もし，得ることができる．構造学習はこの線形分類器の枠組みにおいバッチ学習を考えた場合，求めなければならないパラメータのて，正しい音素列を推定することができる w を得るために用い数は学習データ数に仮説数を掛けた数であり，パラメータ数がられる．この後の節において，MIRA に基づく構造学習手法と多くなる．それゆえ，MIRA では計算コストを削減するために

AROW に基づく構造学習手法を説明する．

バッチ学習ではなくオンライン学習が用いられる．

—2—

Algorithm 1 Online structured learning based on MIRA
Input:Training dataset D = {(x1 , y1 ), ..., (x|D| , y|D| )}4. 1 CW
i 番目のデータ (xi , yi ) が与えられた時，CW は以下の制約

Output:w

付き最適化問題を解くことにより重みベクトルに関する更新さ

w=0

れた分布 N (µt , Σt ) を得る．

repeatfor i = 1 to |D| do
Predict N -best hypotheses ŷ1 , ..., ŷN by w · Φ(xi , ŷ)Update w by solving the constrained optimization problemof Eq.(2)end foruntil Stop condition is met(µt , Σt ) = min DKL (N (µt , Σt )||N (µt−1 , Σt−1 ))µt ,Σts.t. Prw∼N (µt ,Σt ) [yi (w · xi ) >= 0] >=η(6)

ここで N (µt−1 , Σt−1 ) は現在の重みベクトルに関する分布であり，DKL (N (µt , Σt )||N (µt−1 , Σt−1 )) は更新後の分布と現在の分布間のカルバック・ライブラ擬距離である．η ∈ (0.5, 1] は

µ と Σ に関する更新量を制御するハイパーパラメータである．
MIRA に基づくオンライン構造学習の手続きを Algorithm

また，第 2 節，第 3 節では扱うデータが書記素列 xi と音素列1 に示す．文献 [10] において，N -best 仮説 ŷ1 , ..., ŷN はフレー

yi であったのに対し，ここでは二値分類のため入力ベクトル xi

ズ単位デコーダ [18] に基づくビームサーチにより近似的に推定と正解ラベルのスカラー値 yi ∈ {−1, +1} をデータとして扱っされる．

ていることに注意する．式（6）において CW は，現在のデー

MIRA の欠点として過学習しやすいことが挙げられる．もしタ (xi , yi ) が少なくとも確率 η ∈ (0.5, 1] で正しく分類される

現在対象としているデータが外れ値またはノイズデータであっという制約を満たし，かつ前回の分布に最も近い分布を求める．

ても，MIRA は必ずそれを正解ラベル通りに正しく分類できる

CW の学習は現在のデータを必ず正しく分類するという制約を

wt を求める．その際，それを実現するために他のデータの分類満たすために積極的に重みを動かし，すぐに収束することが実において重要な特徴量の重みを性能が劣化する方向へと大きく験 [16] により知られている．しかしながら MIRA のように，そ動かし過学習する可能性がある．これによりシステムの性能がの積極的な学習は制約を必ず満たすために信頼度が高い重みで劣化する恐れがある．この問題を解決するため，過学習に対しさえ大きく動かすため，過学習を引き起こしやすい．

て頑健性を持つ AROW に基づくオンライン構造学習を提案す

4. 2 AROWる．次の節では，提案手法である AROW に基づくオンライン

MIRA と CW の問題を避けるために，AROW は正則化項

構造学習を説明する前段階として，二値分類手法である AROWとして CW の制約を目的関数に置く．AROW により発見されとその前身となった CW について説明する．

る重みの分布は現在のデータ (xi , yi ) を正確に分類することを

4. 二値分類手法 CW・AROWCW と AROW は二値分類手法に関するオンライン識別学習
アルゴリズムである．AROW は CW の改善手法として提案された．両手法は，平均 µ ∈ Rd と分散共分散行列 Σ ∈ Rd×d をパラメータとしてもつ多次元正規分布 N (µ, Σ) に重みベクト保証しない．しかしながら，学習データは分布が更新されるた
びに正しく分類されるようになる．一方で，外れ値が現れた時でさえ AROW は信頼できる重みをシステムの性能が落ちる方向へと大きく動かさない．

AROW は以下に定義される制約なし最適化問題を解くこと
により重みベクトルに関する更新された分布を得る．

ル w が従うと仮定する．ここで d はモデルにおける特徴量の数である．CW と AROW は重みベクトルの期待値 E[w] = µ
をクラスの推定時に重みベクトルとして用いる．また，分散共(µt , Σt ) = min DKL (N (µt , Σt )||N (µt−1 , Σt−1 ))µt ,Σt1
1+ 2rℓh2 (xi , yi , µt ) + 2r
xT
i Σt xi(7)

分散行列を考慮することにより，CW と AROW は各特徴量の重みの更新量を以下のように制御する．過去において何度も出現し，更新された特徴量の重みは現在の位置が最適である可能性（CW と AROW ではこれを信頼度という言葉を用いて説明している）が高いため，そのような特徴量の重みは各更新におここで r は µ と Σ に関する更新量を制御するハイパーパラ
メータであり，r > 0 と制約する．ℓh2 (xi , yi , µt ) は以下のように定義される損失関数である．

ℓh2 (xi , yi , µt ) = (max{0, 1 − yi (µt · xi )})2

(8)

いて極端に動かさない．その一方で，過去において稀にしか出現せず，あまり更新されなかった特徴量の重みは現在の位置が最適である可能性（信頼度）が低いため，そのような特徴量の重みは更新において大きく動かす．MIRA が持たないこの特性により，CW と AROW は外れ値やノイズデータが出現した際に，他のデータにも頻繁に出現する信頼度の高い特徴量の重みをシステムの性能が劣化する方向へと大きく動かすことを防ぐ

式（7）の最適化問題を解くことは，損失関数の値と出現した各
特徴量の分散を減らしながら可能な限り前の分布に近い分布を求めることと同じである．複数の二値分類問題において AROW
は CW と PA の性能を超えることが示された [13]．我々は次の節において AROW を構造学習へと拡張した手法を提案する．

5. AROW に基づくオンライン構造学習ことができる．この節の残りでは，CW と AROW に関してそれぞれ説明する．

i 番目のデータ (xi , yi ) と n 番目の仮説 ŷn が与えられた時，我々の提案手法である AROW に基づくオンライン構造学習は

—3—

表1

Algorithm 2 AROW に基づくオンライン構造学習
Input:Training dataset D = {(x1 , y1 ), ..., (x|D| , y|D| )}g2p 変換タスクの評価実験で使用するデータセット

Datasetg/p

Vocabulary size
Test

K-foldµ = 0, Σ = I

NETtalk

26/50

Train (Noisy)

17595 (0) 1000 1000

10repeatNoisy NETtalk 26/50

17595 (1760) 1000 1000

10Output:µ as weight vector w

Dev

for i = 1 to |D| do
Predict N -best hypotheses ŷ1 , ..., ŷN by µ · Φ(xi , ŷ)が全ての t において成り立つ．(Σt )p,p = 0 の時，µ の p 番目のfor n = 1 to N do

特徴量の重みは固定される．故に Algorithm 2 の収束は保証

if ℓh2 (xi , yi , ŷn , µ) > 0 thenUpdate µ and Σ by Eq.(11) and Eq.(13) respectively

される．Algorithm 2 において，N -best 仮説 ŷ1 , ..., ŷN は文

end if

献 [10] と同様にフレーズ単位デコーダ [18] に基づくビームサー

end for

チにより近似的に推定される．Algorithm 2 における µ と Σ

end forに関する逐次的な更新処理は多値分類 CW [19] における逐次更until Stop condition is met

新に似ている．その違いは，CW の逐次更新が各仮説に対して制約付き最適化問題を解くことに対し，提案手法は制約なし最以下の目的関数を最小化する分布 N (µt , Σt ) を求める．

L(µt , Σt ) =適化問題を解くことである．また，Algorithm 2 は MIRA と同様にオンライン構造学習であるが，提案手法は 2 次計画問題

DKL (N (µt , Σt )||N (µt−1 , Σt−1 ))11+ 2rℓh2 (xi , yi , ŷn , µt ) + 2r
uT
in Σt uinを解く必要がないため簡単にバッチ学習を行うことができる．

(9)

ここで uin は前述の通り Φ(xi , yi ) − Φ(xi , ŷn ) として定義さ6. 評 価 実 験れ，r もまた前述の通り r > 0 の制約を持つハイパーパラメー

提案手法である AROW に基づくオンライン構造学習を g2p

タである．ℓh2 (xi , yi , ŷn , µt ) は以下のように定義される損失関変換タスクにおいて評価する．表 1 はこの実験において用い数である．

たデータセットのデータ名（Dataset），出現する書記素と音ℓh2 (xi , yi , ŷn , µt ) = (max{0, d(yi , ŷn ) − µt · uin })2 (10)素の種類数（g/p: g が書記素，p が音素の種類数に対応），
学習データ数（Train），開発データ数（Dev），テストデータ

式（9）を µt で偏微分し，0 と置くことで，以下のように定義

数（Test），交差検定の回数（K-fold）を示している．データ

される AROW に基づくオンライン構造学習の µt に関する更セットの NETtalk は，Pascal Letter-to-Phoneme Conversion

新式を得る．

Challenge（注 1） から得た英語の辞書である．我々は，学習デーµt = µt−1 +max{0, d(yi , ŷn ) − µt · uin }Σt−1 uinuT
in Σt−1 uin + r

タから開発データをランダムに選んだことを除いて，書記素列(11)g2p 変換における特徴の数は巨大であるため，それらの共分散関係を扱うことは困難である．そのため，我々は Σt を対角行列であると仮定する．式（9）の目的関数を Σt の p 番目の対角行列の要素で偏微分し，0 と置くと，以下のように Σt に関する更新式を得る．

が 1 文字で構成されるといった例外データの取り除き方，学習データ数（＋開発データ数）とテストデータ数の割合に関して，
文献 [8] の NETtalk に関する実験の再現を試みた．AROW に基づくオンライン構造学習がノイズデータに対して頑健である
ことを確かめるため，我々は学習データの 10%の書記素列に対して辞書内の音素列をランダムに選択し，それに付与すること
でノイズデータを人工的に作り出し，新しく Noisy NETtalk∂
L(µt , Σt ) =∂(Σt )p,p()(uin )2p
1
1
1
−
+
=0
2 (Σt−1 )p,p
(Σt )p,pr

データセットを作成した．Noisy NETtalk において，ノイズ
データに頑健性を持たない手法の推定性能は，ノイズデータを過学習することにより劣化すると考えられる．表 1 内の Noisy(12)は人工的に作りだしたノイズデータの数を示している．Noisy

NETtalk は 17595 個の語彙のうち，1760 個のノイズデータを
ここで (uin )p は uin における p 番目の特徴量を意味する. 上含んでいる．また，開発データ（Dev）は，ハイパーパラメー

記の式を (Σt )p,p に関する式に以下のように変形する．

タなどといった学習により決定できないパラメータを決定する

r(Σt−1 )p,p
(Σt )p,p =r + (uin )2p (Σt−1 )p,p

(13)

ためのデータ数を意味している．
比 較 手 法 の g2p 変 換 ツ ー ル と し て ，Sequitur（注 2） と Di-

p = 1, ..., d の各対角要素 (Σt )p,p は式（13）により更新する.

recTL+（注 3） を用いた．Sequitur は書記素列と音素列に関す

また，ℓh2 (xi , yi , ŷn , µt−1 ) が 0 の時，µt−1 と Σt−1 は更新しる結合 N-gram の生成モデルである結合系列モデルが実装されない.

AROW に基づくオンライン構造学習の手続きを Algorithm（注 1）：http://pascallin.ecs.soton.ac.uk/Challenges/PRONALSYL/

Datasets

2 に示す．µ と Σ は 0 ベクトルと単位行列により各々初期化される．(Σ0 )p,p = 1 と r > 0 ，式（13）から，(Σt−1 )p,p >= (Σt )p,p

（注 2）：http://sequitur.info/（注 3）：http://code.google.com/p/directl-p/

—4—

表4

表 2 各手法において設定が必要なパラメータは開発セットを用いて最Noisy NETtalk における評価実験の結果適化された．太字は 10 回の交差検定中，一度でもパラメータとして用いられた値である．

Sequiturjoint
n-gram

5,6,7,8,9,10

context
windown-besthypotheses
hyperparameter r
beam width

Sequitur
DirecTL+

This work

Follow

Follow

Sequitur

Sequitur

4,5,6

-

1,3,5

-

-

500,1000,1500

-

150

150

WER(%)

Time(hr.)

9.78%±0.23

34.01%±0.85

3.3h±1.0

DirecTL+ 10.33%±0.27 33.52%±0.46 100.5h±12.1This work

Follow-

PER(%)

9.79%±0.45 33.02%±0.95

78.1h±15.9の劣化より少ないことが分かる．提案手法と DirecTL+ の音素

DirecTL+
Follow

誤り率における差は有意水準 0.05 の t-検定において有意な差でDirecTL+

ある．この結果は AROW に基づくオンライン構造学習が，二値分類の場合と同様に，MIRA の過学習問題を解決していることを示している．
また NETtalk と比べて，Noisy NETtalk の識別学習の学
習時間が大幅に長くなっていることが分かる．これは Noisy

表 3 NETtalk における評価実験の結果．PER と WER は各々音素
誤り率と単語誤り率を意味する．Time は各手法の学習時間である．“±” は 90% 信頼区間を示している．

NETtalk において含まれている人工的なノイズデータが書記素列と音素列のアライメントステップにおいて，新しい，誤った書
記素列と音素列の対応付けを生み出すことが原因である．そのPER(%)

WER(%)

Time(hr.)

7.63%±0.24

31.54%±0.80

1.1h±0.3

新しい，誤った対応付けが推定可能な音素列の仮説数を増加さ

DirecTL+ 6.75%±0.22 28.15%±0.76

8.6h±1.5

せ，MIRA と AROW に基づく識別学習の N -best 仮説の推定

This work

4.7h±1.0

時間を大きく長引かせるからである．その対応付けは Sequitur

Sequitur

6.75%±0.20 28.56%±0.62において実装されている結合系列モデルにおけるバックオフスている．DirecTL+ は MIRA に基づくオンライン構造学習が実装されている．提案手法と DirecTL+ は文献 [11] に従い，文脈
特徴量（Context features），連鎖特徴量（Chain features），結合 N-gram 特徴量（Joint n-gram features）を用いている．文献 [11] の遷移特徴量（transition features）は NETtalk において性能の劣化が見られたため用いなかった．書記素列と音素列のムージングの計算時間にも悪影響を与えるが，それは識別学習の問題と比べて深刻な問題ではない．識別学習における計算時間の問題は文献 [16] において提案されているように分散学習により解決するか，ビームサーチのビーム幅を小さくすることによりある程度解決可能である．

7. ま と め（注 4）

最小単位を決めるアライメントに関して，我々は mpalignerに実装されている文献 [20] の制約なし多対多アライメント手法を用いた．提案手法と MIRA の損失関数は音素誤り率を用いた．文脈窓サイズと結合 N-gram サイズ，ハイパーパラメータr ，学習時における N -best 仮説，ビームサーチのビーム幅，学習の繰り返し回数は開発データにおける音素誤り率が最小になるように決定した．表 2 はそれらの詳細を示している．また，
この実験は CPU に Intel Xeon E5649 2.53GHz を持つクラス
ターマシンで行った．
表 3 は NETtalk における評価実験の結果を示している．提案手法は Sequitur の音素誤り率と単語誤り率を十分な差で改善している．DirecTL+ と比較すると，音素誤り率と単語誤り率においては十分な差が見られなかった一方で，学習時間の観点から見ると，提案手法の学習速度は DirecTL+ よりも速かった．これは提案手法の更新は N -best に含まれている各仮説に対してたった一回更新式を解くだけなのに対し，MIRA の更新
は 2 次計画問題を解く手法により式（2）の制約を満たす w を繰り返し探索するからである．この結果は提案手法が MIRA に基づくオンライン構造学習よりも，巨大なデータの学習により適していることを示している．
表 4 は Noisy NETtalk の評価実験の結果を示している．表4 から，ノイズデータによる提案手法の性能劣化は DirecTL+（注 4）：http://sourceforge.jp/projects/mpaligner/

我々は AROW をオンライン構造学習へと拡張し，g2p 変換タスクにおいて評価した．評価実験において，提案手法は音素誤り率と単語誤り率において，DirecTL+ により実装された

MIRA に基づくオンライン構造学習と同等の性能を達成した．
また，ノイズデータを含むデータセットにおいて，提案手法はMIRA の音素誤り率を改善した．加えて，提案手法の学習速度
は DirecTL+ よりも速かった．この結果から提案手法はより大
きなデータセットから学習すること，またノイズデータを含んでいるデータセットから学習することに関して，MIRA に基づ
くオンライン構造学習よりも適していると考えられる．
今後の課題として，より大きな英語のデータセットや他の言語のデータセットを使って，提案手法を評価することが挙げられる．また，提案手法の性能を改善するために，メモリの制限内で Σ における 2 つの特徴量間の共分散関係を近似的に扱う手法を考えることが挙げられる．
謝辞 本研究の一部は，JSPS 科研費 24240032 および（独）情報通信研究機構の委託研究「知識・言語グリッドに基づくア
ジア医療交流支援システムの研究開発」の助成を受けたもので
ある。
文

献

[1] L.R. Bahl, S. Das, P.V. Desouza, M. Epstein, R.L. Mercer, B. Merialdo, D. Nahamoo, M.A. Picheny, and J. Powell, “Automatic phonetic baseform determination,” Proc.
ICASSP, pp.173–176, IEEE, 1991.

—5—

[2] J. Schroeter, A. Conkie, A. Syrdal, M. Beutnagel, M. Jilka,
V. Strom, Y.J. Kim, H.G. Kang, and D. Kapilow, “A perspective on the next challenges for TTS research,” 2002.
[3] R.M. Kaplan and M. Kay, “Regular models of phonological rule systems,” Computational linguistics, vol.20, pp.331–
378, 1994.
[4] S.F. Chen, “Conditional and joint models for grapheme-tophoneme conversion,” Proc. EUROSPEECH, pp.2033–2036,
2003.
[5] W. Daelemans and A. van denBosch, “Languageindependent data-oriented grapheme-to-phoneme conversion,” Progress in Speech Processing, pp.77–89, SpringerVerlag, 1997.
[6] T.J. Sejnowski and C.R. Rosenberg, “Parallel networks thatlearn to pronounce English text,” Complex Syst., vol.1,
pp.145–168, 1987.
[7] S. Deligne and F. Bimbot, “Inference of variable-length linguistic and acoustic units by multigrams,” Speech Communication, vol.23, no.3, pp.223–241, 1997.
[8] M. Bisani and H. Ney, “Joint-sequence models for graphemeto-phoneme conversion,” Speech Communication, vol.50,
no.5, pp.434–451, 2008.
[9] K. Crammer and Y. Singer, “Ultraconservative online algorithms for multiclass problems,” Journal of Machine Learning Research, vol.3, pp.951–991, 2003.
[10] S. Jiampojamarn and G. Kondrak, “Online discriminative
training for grapheme-to-phoneme conversion,” Proc. INTERSPEECH, pp.1303–1306, 2009.
[11] S. Jiampojamarn, C. Cherry, and G. Kondrak, “Integrating
joint n-gram features into a discriminative training framework,” Proc. NAACL-HLT, pp.697–700, 2010.
[12] T. Schlippe, S. Ochs, and T. Schultz, “Grapheme-tophoneme model generation for Indo-European languages,”
Proc. ICASSP, pp.4801–4804, 2012.
[13] K. Crammer, A. Kulesza, and M. Dredze, “Adaptive regularization of weight vectors,” Advances In Neural Information
Processing Systems, vol.23, pp.414–422, 2009.
[14] K. Crammer, O. Dekel, J. Keshet, S. Shalev-Shwartz, and
Y. Singer, “Online passive-aggressive algorithms,” Journalof Machine Learning Research, vol.7, pp.551–585, 2006.
[15] M. Dredze, K. Crammer, and F. Pereira, “Confidenceweighted linear classification,” International Conference On
Machine Learning (ICML), pp.264–271, 2008.
[16] K. Crammer, M. Dredze, and F. Pereira, “Confidenceweighted linear classification for text categorization,” Journal of Machine Learning Research, vol.13, pp.1891–1926,
2012.
[17] R.J. Vanderbei, “Loqo: An interior point code for quadratic
programming,” Optimization methods and software, vol.11,
no.1-4, pp.451–484, 1999.
[18] R. Zens and H. Ney., “Improvements in phrase-based statistical machine translation,” Proc. NAACL HLT, pp.257–264,
2004.
[19] K. Crammer, M. Dredze, and A. Kulesza, “Multi-class confidence weighted algorithms,” Empirical Methods in Natural
Language Processing (EMNLP), vol.2, pp.496–504, 2009.
[20] K. Kubo, H. Kawanami, H. Saruwatari, and K. Shikano,“Unconstrained many-to-many alignment for automatic pronunciation annotation,” 2011.

—6—