情報処理学会研究報告
IPSJ SIG Technical Report

1. ま え が き

文脈を考慮した確率的モデルによる話し言葉の整形

従来の自動音声認識（ASR）は音響信号 X から忠実な発話内容 V を求めるように定式

Graham Neubig †1
森信介†1

秋 田河 原祐
達哉†1化され，統計的モデルを構築して事後確率 P (V |X) が最大となる V̂ を探索する過程により也†1実現される．しかし，忠実な発話 V には言いよどみや冗長な表現，口語的表現，脱落された単語等が多く含まれており，完全に発話内容が復元できても記録文書としてふさわしくない．このため，会議録作成のための音声認識システムでは，発話内容を整形し，文書体に近自動音声認識（ASR）の結果には認識誤りのみならず，言いよどみや口語的表現など，会議録にふさわしくない現象が多く含まれている．これらの現象を整形し，自然な会議録を作成するために，認識結果（または忠実な書き起こし）と会議録を異なる言語とみなし，統計的機械翻訳を用いて認識結果から会議録へと “翻訳” する．本研
究では，この枠組みの中で 2 つの手法を提案する．まず，文脈情報を考慮した翻訳モデルを導入し，システムのさらなる精度向上を目指す．また，翻訳モデルの条件付き確率と同時確率の対数線形補間を行うことで，高頻度の翻訳パターンを優先的に利用することを可能とする．有限状態トランスデューサー（WFST）による実装を行い，国会会議録と音声認識結果を用いた評価実験を行った．

づける必要がある．
これらの現象を自動的に整形する手法はいくつか研究されており，非流暢現象（フィラー・言い直し等）の削除と句読点の挿入を扱う研究は特に多い1)–3) ．しかし，人間の速記者が会議録を作成する場合，非流暢現象の削除と句読点の挿入以外にも，口語的表現の書き言葉への言い換えや脱落された単語の挿入などの訂正も行う．講演会や議会などのフォーマルな場
では，言いよどみや言い直しが比較的少なく，文体の整った会議録が求められるので，このような現象を扱うことは特に重要である．
このような様々な現象を扱う先行研究としては，統計的機械翻訳（SMT）の技術を利用

Context-sensitive Statistical Models
for Speaking-style Transformation

し，忠実な書き起こしと正式の会議録を異なる言語とみなして書き起こしから会議録へと “翻訳” するアプローチが多い．下岡ら4) は雑音のある通信路モデルを用いて，忠実な書き起こしを整形する方法を提案した．我々は，SMT に基づくモデルをさらに拡張し，対数線形

Graham Neubig ,†1 Yuya Akita ,†1 Shinsuke Mori †1and Tatsuya Kawahara†1

モデルに様々な素性を導入し，重み付き有限状態トランスデューサー（WFST）で実装を行った5) ．
本稿では SMT に基づく話し言葉の整形の精度を向上させるために，2 つの手法を提案す

Automatic speech recognition (ASR) results contain not only recognition errors, but also disﬂuencies and colloquial expressions that are not appropriate forinclusion in oﬃcial transcripts. In order to correct these phenomena and create
natural transcripts, we treat ASR results (or faithful transcripts) and oﬃcial
transcripts as diﬀerent languages and use techniques from statistical machinetranslation (SMT) to “translate” between the two. In this paper, we present
two novel methods in this framework. First, we introduce a technique to create
context-sensitive translation models, improving the modeling accuracy. Second,
we use log-linear interpolation to combine the translation model’s joint andconditional probabilities, allowing for frequently observed patterns to be given
higher priority. A system containing these improvements was implemented
using weighted ﬁnite state transducers, and an evaluation was performed ontranscripts from meetings of the Japanese Diet (national congress).

る．まず，以前発表した文脈に依存する同時確率モデル6) を条件付き確率に変換することで，文脈を考慮した翻訳モデルを構築する手法について述べる．これに加えて対数線形モデ
ルを用いて同時確率モデルと条件付き確率モデルを組み合わせることで，頻度の高い翻訳パターンが優先的に利用されるようにする．
国会審議の会議録作成のタスクで評価実験を行い，提案手法の有効性を検証する．具体的には，音声認識結果及び人手による忠実な書き起こしを原言語とし，国会の会議録を目的言†1 京都大学 情報学研究科
Graduate School of Informatics, Kyoto University

1c 2009 Information Processing Society of Japan⃝

情報処理学会研究報告
IPSJ SIG Technical Report

語として，これらの “対訳コーパス” を学習データとする．確率的モデルを重み付き有限状変換するか否かが文脈に依存する現象については，翻訳モデルに直接文脈を取り入れた方が態トランスデューサーで実装し，会議録を正解とみなして評価を行う．

有効であると考えられる．
文脈に依存する翻訳モデルを作成するために，雑音のある通信路モデルでモデルの分解を

2. 話し言葉の整形のモデル化行わずに，対訳コーパスのみを用いて同時確率 P (V, W ) を直接モデル化する方法がある．

2.1 雑音のある通信路モデル

Ŵ = argmaxP (V |W )P (W )SMT に基づいた話し言葉の整形は，認識結果（または忠実な書き起こし）V を会議録

W= argmaxP (V, W )W へ変換する．具体的には P (W |V ) を計算する統計的モデルを構築し，ある V に対してW

P (W |V ) を最大化する Ŵ を探索する．モデルのパラメターを推定するために，V と W の同時確率をモデル化する具体的な方法はいくつか提案されているが，本研究では GIATI7)対訳コーパスを学習データとして利用する．W も V も揃っている対訳コーパスのサイズはと呼ばれる方法を採用する．アライメントされた V と W の組を表す Γ = γ1 , γ2 , ..., γk

W のみの会議録コーパスよりはるかに小さいため，ベイズ則を用いて P (W |V ) を翻訳モデ（γi = ⟨vi , wi ⟩）を用いて，平滑化された n-gram モデルを構築する．

ル確率 Pt (V |W ) と言語モデル確率 Pl (W ) に分解する⋆1 ．

Ŵ = argmaxPt (V |W )Pl (W ).

Pt (V, W ) = Pt (Γ) ≈(1)Wk∏

Pt (γi |γi−n+1 , . . . , γi−1 )(3)i

翻訳モデルの学習に対訳コーパスが必要であるのに対し，言語モデルの推定には V の必要

2.3 文脈に依存する翻訳モデルがなく，W のみが存在する “単言語” コーパスが利用できる．このようなモデルは “雑音の同時確率をモデル化することで文脈を利用することはできるが，言語モデル Pl (W ) との1),3),4)ある通信路” モデルと呼び，従来の話し言葉の整形の研究で主に用いられている．

併用は容易ではなく，単言語のデータを利用することが困難である．本研究では，GIATI

従来の雑音のある通信路モデルでは，文の翻訳確率 Pt (V |W ) をモデル化するために，その同時確率を書き換え，文脈に依存する条件付確率を得る手法を提案する．
まず，翻訳モデル確率 Pt (V |W ) は，一般性を失わずに，単語の条件付確率の積として表れぞれの単語の翻訳確率は独立であると仮定し，文の翻訳確率をそれぞれの単語翻訳確率で近似していた．

Pt (V |W ) ≈∏現できることに着目する．

Pt (vi |wi ).

(2)
Pt (V |W ) =i

ここで単語翻訳確率はそれぞれ最尤推定によって求められる．ただし，挿入と削除を扱うたk∏

Pt (vi |v1 , . . . , vi−1 , w1 , . . . , wk , )i=1
k

めに，空文字列を表す記号 ϵ を語彙に入れ，確率 Pt (v|ϵ) と P (w|ϵ) を推定する．一対多や=多対一の変換（「いろんな」→「いろいろ な」）を扱うために，頻繁に変換される単語列も∏Pt (vi |γ1 , . . . , γi−1 , wi , . . . , wk )i=1

1 つの単語として語彙に含める．このような単語が存在するために，単語分割の境界が曖昧

また，vi の確率は wi 以降の単語に依存しないと仮定する．となる．この問題を解決するために，単語境界確率を 1-gram の分割モデルで推定する．

Pt (V |W ) ≈2.2 同時確率モデル
前節では，単語翻訳確率は独立であるという仮定に基づいて文翻訳確率を推定したが，多k∏

Pt (vi |γ1 , . . . , γi−1 , wi )i=1

さらに，翻訳モデルが依存する単語履歴の長さをオーダ n のマルコフモデルで制限する．

くの場合，この文脈非依存性は必ずしも成り立たない．特に「ですね」や「と」のような，

Pt (V |W ) ≈⋆1 ここで Pt は対訳コーパスを用いて推定される確率，Pl は会議録 W のみが存在するコーパスを用いて推定される確率をさす．

k∏

Pt (vi |γi−n+1 , . . . , γi−1 , wi )

(4)

i=1

2c 2009 Information Processing Society of Japan⃝

情報処理学会研究報告
IPSJ SIG Technical Report表 1 評価用データの詳細，人手による書き起こしと音声認識結果に対する整形パターン数
Table 1 Size of the test set, and number of transformations necessary for faithful transcripts andASR results

式 (4) をさらに変形すると以下が得られる．

Pt (V |W ) ≈k∏
Pt (γi |γi−n+1 , . . . , γi−1 )
i=1

Pt (wi |γi−n+1 , . . . , γi−1 )

(5)

ターン数
単語数
読点数
句点数

式 (5) の分子は式 (3) の n-gram 確率と同一である．また，分母は以下のように確率を周辺化することにより，式 (3) の確率から得ることができる．

Pt (wi |γi−n+1 , . . . , γi−1 ) =∑Pt (γj |γi−n+1 , . . . , γi−1 ).

γj ∈{γ̃:w̃=wi }

削除(6)

置換
挿入

したがって，Pt (V |W ) は GIATI 法によって得られる n-gram 確率から推定することがフィラー
その他

人手22,52024,450
4,954
4,584

1,023
300,059
20,629
7,196
ASR
19,46842,10528,503
11,332可能である．この条件付確率を言語モデル確率 Pl (W ) と組み合わせて式 (1) の雑音のある通信路モデルで利用することができる．これにより，文脈を考慮した翻訳確率を利用しながが，λ2 = 0 にして第 1・第 3 項のみを対数線形補間することは理論的にも実用的にも不適切

ら，大量のテキストを用いた言語モデルも利用することができる．また，n = 1 の場合，式である．理論的な観点からは，Pl (W ) と Pt (W, V ) を組み合わせても，求めたい P (W |V )(5) と式 (2) は同値となる．このため，文脈に依存する翻訳モデルを用いた雑音のある通信の事後確率を得ることは不可能であるため，適切ではないといえる．また，実用的な立場路モデルは，従来の雑音のある通信路モデルの一般化になっている．

からは，このように補間されたモデルは単語を過剰に削除する傾向があり，精度は単純な同2.4 同時確率との対数線形補間時確率モデルを上回ることはない．このため，同時確率モデルと対数線形補間を行う際に，条件付確率によって言語モデル確率 Pl (W ) との併用が可能となる一方，変換パター前節で導入した条件付確率モデルは必要不可欠である．

ンの頻度情報が失われる問題点もある．具体例として，パターン γx の頻度がそれぞれ3. 評 価 実 験

ct (γx ) = 100, ct (wx ) = 1000，パターン γy の頻度がそれぞれ ct (γy ) = 1, ct (wy ) = 10のとき，変換パターンの条件付確率は両方とも 0.1 となる．

3.1 実験の設定提案手法の有効性を検証するために，衆議院審議コーパス9) を用いてシステムを学習し，Pt (vx |wx ) = Pt (vy |wy ) = 0.1

国会の公式な会議録を正解とみなして，人手による忠実な書き起こしと音声認識結果をそれ

しかし，低頻度の γy はスパースなデータに起因する例外的な可能性もあり，高頻度の γx のぞれ入力とする 2 つの実験を行った．句読点は翻訳モデルの中で通常の単語として扱ってい方が信頼性が高いと思われる．特に，認識誤りを含む音声認識結果を対象とする場合，低頻るが，音声認識結果を入力とする場合，200ms 以上のポーズがあった箇所にポーズを表す度の変換パターンは信頼できない場合が多い．

記号が入れられ，句読点挿入の手がかりとして用いた．音声認識は国会審議用の音声認識シ

Pt (vx |wx ) と Pt (vy |wy ) が同値となるのに対し，同時確率の Pt (γx ) は Pt (γy ) の 100 倍ステム9) によって行われ，単語誤り率 (WER) は 17.1%であった．テストセットは 2007 年である．したがって，条件付確率にない頻度情報は，同時確率を用いることで補完できる．

10 月に開かれた衆議院審議から構成されており、詳細は表 1 の通りである．

本研究では，同時確率の導入法として対数線形補間8) を利用し，言語モデル確率・翻訳モデ

言語モデルの学習データとして 1999 年 1 月〜2007 年 8 月の間に開かれた審議の 1.58 億

ル条件付確率・翻訳モデル同時確率をすべて組み合わせたモデル M (W, V ) を構築する．

語を用いた．また 2003 年 1 月〜2006 年 12 月の間に開かれた審議の 232 万語の対訳コーパ

M (W, V ) = λ1 logPl (W ) + λ2 logPt (V |W ) + λ3 logPt (W, V )スを翻訳モデルの学習に用いた．対数線形モデルの重みは 6.63 万語のヘルドアウトデータ(7)で推定した．

ここで λ3 = 0 にすると，M (W, V ) は式 (1) の雑音のある通信路モデルの拡張とみなせる

3c 2009 Information Processing Society of Japan⃝情報処理学会研究報告
IPSJ SIG Technical Report
表 2 各モデルの評価結果．LL は対数線形モデルを指す．右側は n-gram のオーダー．斜字はベースライン（アンダーライン）との有意な差を指す．
Table 2 Each model, whether it is log-linear (LL), and its WER for each TM order. Italics are
statistically signiﬁcantly diﬀerent from the baseline (underlined).

3.2 学習・探索
言語モデルは Kneser-Ney 法で平滑化された 3-gram モデルを使用した．GIATI 法の n-gram も Kneser-Ney 法で平滑化され，1-gram，2-gram，3-gram のそれぞれについて試みた⋆1 ．忠実な書き起こしを入力とするシステムの学習には，忠実な書き起こしと会議録の対人手による書き起こし（整形なしは 18.62%）
1-gram
LL

訳コーパスを翻訳モデルの学習データとした．音声認識結果を入力とするシステムには，認モデル

識結果と会議録の対訳コーパスを利用した⋆2 ．

雑音のある通信路 (Noisy)
雑音のある通信路 (Noisy LL)
同時確率 (Joint)
雑音のある通信路+同時確率 (Noisy+Joint LL)

各モデルを WFST で表現して，それらを合成することで大規模な 1 つのモデルを構築した．最小化・決定化などで，必要な記憶量を削減し，探索が効率的となる．本研究ではこれらのアルゴリズムを実装したライブラリ OpenFst10)を利用した．合成されたモデル上で全モデル⋆3探索を行うことは計算量的に現実的でないため，WFST のビームサーチデコーダ Kyfd をルを利用した

11)．

3.3 翻訳モデルの効果○○

認識結果（整形なしは 36.10%）
LL
1-gram雑音のある通信路 (Noisy)
雑音のある通信路 (Noisy LL)
同時確率 (Joint)
雑音のある通信路+同時確率 (Noisy+Joint LL)

用いる．対数線形モデルの重みの学習には SMT ツールキット Moses に含まれているツー

6.51%
5.99%
9.89%
5.81%

○○

21.83%
21.63%
28.61%
21.32%

2-gram3-gram

5.33%
5.15%
4.70%
4.12%

5.32%
5.13%
4.60%
4.05 %

2-gram3-gram

21.00%
20.97%
22.62%
20.04%

21.09%
21.09%
21.98%
20.03%

表 2 に，式 (5) の雑音のある通信路モデル，対数線形重みのかけられた雑音のある通信路モデル（λ3 = 0 の式 (7)），式 (3) の同時確率モデル，式 (7) の対数線形補間されたモデルて，大量のデータで学習された言語モデルを用いる雑音のある通信路モデルは対訳コーパスを比較する．1-gram の雑音のある通信路モデルは従来の雑音のある通信路モデルと同一でのスパースさに比較的頑健といえる．

あるため，それをベースラインとする．

雑音のある通信路と同時確率の対数線形補間されたモデルではさらに大きな精度の向上

雑音のある通信路と同時確率の線形補間された 3-gram モデルは忠実な書き起こしの入力が見られた．特に，2-gram や 3-gram では，同時確率から与えられる頻度情報は低頻度のに対して 4.05%，音声認識結果の入力に対して 20.03%の単語誤り率となっており，もっと翻訳パターンによる誤った変換を抑えることができた．

も精度が高かった．これは 2 群比率の差検定 (有意確率 P = 0.01) でベースラインの誤り

3.4 コーパスサイズの影響率（それぞれ 6.51%，21.83%）と比べて有意な改善である．本研究で提案した文脈を考慮

モデル学習に必要なデータサイズを調べるべく，対訳コーパスのサイズを変動させて，整した翻訳モデルは音声認識結果の場合にも忠実な書き起こしの場合にもこの改善に大きく形の精度を調べた．その結果は図 1 と図 2 の通りである．

貢献した．

この実験からいくつかの傾向が見られる．まず，雑音のある通信路モデルは対訳コーパス

同時確率のみを用いるモデルは，人手による書き起こしでは雑音のある通信路モデルを上が小さい場合でも言語モデルの情報が利用できるため，小さい対訳コーパスでも比較的頑健回ったものの，音声認識結果ではベースラインも下回って，もっとも低い精度となった⋆4 ．

である．その一方，同時確率を用いたモデルはデータが多くなるとともに精度が向上する傾これは認識結果のばらつきにより，学習データがスパースとなったからである．これに対し向があり，図 1 の人手による書き起こしを入力とする実験では，雑音のある通信路モデルの精度を上回ることもある．雑音のある通信路と同時確率を補間したモデルは両方のモデル⋆1 予備実験で 4-gram の精度は 3-gram の精度を下回ったため，4-gram は用いなかった．
⋆2 予備実験で人手による書き起こしと会議録の対訳コーパスを用いた翻訳モデルも比較したが，単語誤り率は 3％ほど高くなった．これは主に，書き起こしを学習に用いたシステムが句読点を正しく挿入できなかったため，そして認識結果を用いたシステムが頻出する認識誤りを正しく訂正できたためだと考えられる．
⋆3 http://www.phontron.com/kyfd/⋆4 文脈をまったく考慮しない 1-gram モデルを除く．の長所をあわせもつ．小さいデータにも頑健であり，データが増えるほど性能がよくなるた
め，すべてのデータサイズにおいてもっとも高い精度となった．
また，同時確率を用いるモデルでは，232 万語の対訳コーパスを用いても飽和現象が見られず，さらにデータを増やせばまだ改善する余地がある．音声認識結果を入力とするシステ

4c 2009 Information Processing Society of Japan⃝

情報処理学会研究報告
IPSJ SIG Technical Report

図 1 コーパスサイズの影響（人手による書き起こし）
Fig. 1 Eﬀect of corpus size (manual transcripts)

図 2 コーパスサイズの影響（音声認識結果）
Fig. 2 Eﬀect of corpus size (ASR results)

ムでは学習データを増やすのが容易であるので，今後さらに増やしていきたい．

参 考

最後に，ほとんどのモデルで，1.7 万語程度のデータサイズで精度が急激に改善し，それ

文献

1) Honal, M. and Schultz, T.: Correction of Disﬂuencies in Spontaneous Speech usinga Noisy-Channel Approach, Proc. EuroSpeech2003, pp.2781–2784 (2003).
2) Liu, Y., Shriberg, E., Stolcke, A., Hillard, D., Ostendorf, M. and Harper, M.:
Enriching Speech Recognition with Automatic Detection of Sentence Boundaries
and Disﬂuencies, IEEE Transactions on Audio, Speech, and Language Processing,Vol.14, No.5, pp.1526–1540 (2006).
3) Maskey, S., Zhou, B. and Gao, Y.: A phrase-level machine translation approach for
disﬂuency detection using weighted ﬁnite state transducers, Proc. InterSpeech2006,
pp.749–752 (2006).
4) 下岡和也，南條浩輝，河原達也：講演の書き起こしに対する統計的手法を用いた文体の整形，自然言語処理， Vol.11, No.2, pp.67–83 (2004).
5) Neubig, G., Mori, S. and Kawahara, T.: A WFST-based Log-linear Framework for
Speaking-style Transformation, Proc. InterSpeech2009, pp.1495–1498 (2009).
6) Neubig, G.，森 信介，河原達也：重み付き有限状態トランスデューサーと対数線形モデルを用いた話し言葉の整形，情処研報，SLP-77-21 (2009).
7) Casacuberta, F. and Vidal, E.: Machine Translation with Inferred Stochastic
Finite-State Transducers, Computational Linguistics, Vol. 30, No. 2, pp. 205–225

以降では改善幅が緩やかになった．これは頻出するフィラーなどの変換パターンが 1.7 万語までに学習され，それ以降は文脈に依存する変換パターンなどが学習されたためであろう．

4. む す び
本論文では話し言葉の整形のための文脈を考慮した翻訳モデルの構成について述べた．また，翻訳パターンの頻度を反映する方法として，雑音のある通信路モデルと同時確率モデルの対数線形補間する手法を提案した．両方の提案手法を用いたシステムは，雑音のある通信路モデルのベースラインに比べて精度を有意に改善できた．今後の課題として，WFST の音声認識デコーダとの統合を行い，音響特徴量 X から直接最適な W を探索することなどがある．また，本研究で提案したモデルを 5) で導入した特徴量と組み合わせて，それぞれの相乗効果を調べる予定である．

5c 2009 Information Processing Society of Japan⃝情報処理学会研究報告
IPSJ SIG Technical Report(2004).
8) Och, F.J. and Ney, H.: Discriminative training and maximum entropy models forstatistical machine translation, Proc. ACL02, pp.295–302 (2002).
9) 秋田祐哉，三村正人，河原達也：会議録作成支援のための国会審議の音声認識システ
ム，情処研報，SLP-74-21 (2008).
10) Allauzen, C., Riley, M., Schalkwyk, J., Skut, W. and Mohri, M.: OpenFst: a general and eﬃcient weighted ﬁnite-state transducer library, Proc. CIAA ’07, pp.11–23(2007).
11) Koehn, P. et al.: Moses: Open Source Toolkit for Statistical Machine Translation,
Proc. ACL07, pp.177–180 (2007).

6c 2009 Information Processing Society of Japan⃝