3-5-1
PodCastle: 動的トピック混合に基づく教師なし言語モデル適応 ∗○緒方 淳, 後藤 真孝 (産総研)
はじめに1ある．まず 1 つ目は，一般的なニュースアグリゲー

我々は Web 上の代表的な音声コンテンツの 1 つでション Web サイトでは，様々なニュース配信サービあるポッドキャストを対象とした音声情報検索 Web

スからの幅広い内容に関するニュース記事が集約さサービス「PodCastle1)2)3) 」の開発・運用を行ってれており，それらの記事はユーザが閲覧しやすいよいる．ポッドキャスト音声認識では，発話内容や録音

うに複数のトピック，カテゴリごとに分類されてい環境などが多種多様であるため，従来の大語彙連続る．そして 2 つ目は，日常的に記事が更新される仕音声認識システム 4)5)6) のように，タスク，ドメイン組みにより，一般社会における最新のトピック・語に特化した大規模コーパスを事前に構築することは彙がカバーされている点である．本研究では，Web現実的に不可能である．したがって，事前コーパスにニューステキストとして Yahoo!

依存することなく，いかに高精度な音響モデル，言語モデルを構築，学習するかが性能向上への鍵となる．
特に言語モデル (N -gram) は単純なモデル構造であるが故に，音響モデルに比べ，学習データにより強く依存する傾向があり 7) ，ポッドキャスト音声認識性能を劣化させる大きな要因となっている．
本研究では，Yahoo!ニュース，Google ニュースに代表されるニュースアグリゲーション Web サイトにおける膨大なテキスト記事 (Web ニューステキスト) を有効活用し，ポッドキャストの多様なトピックに頑健な言語モデルを構築することを目指す．

動的言語モデリング

2

言語モデル適応については，これまでにも幾つかのタスク (放送ニュース 4)8) ，ミーティング 9)10) ，講義 11)12) ) に対して，様々な研究がなされている．これらの研究では基本的に，各タスクにマッチした大量のテキストデータから学習したメイン言語モデルに対して，ドメイン内 (トピック一致) テキスト 8)9) ，Web ベーステキスト 4)12)13) ，ユーザによるフィードバックや書き起こし 10)11) といった認識対象に関連する付加的なテキストデータを用いて適応する．しかし，本研究で対象とするポッドキャストにおいては，このようなタスクに合致したメイン言語モデル自体を用意することはできない．そこで，本手法では，様々なトピックをカバーする大量の Web ニューステキス
トをベースにしてメイン言語モデルを構築し，さらにその特性を活かして，認識対象ごとのトピックに合致するよう言語モデルのパラメータを最適化することで動的な言語モデル適応 (動的言語モデリング) を行う．
Web ニューステキスト

2.1

Web ニューステキストには，音声認識の言語モデリングにおいて有用となり得る 2 つの大きな特徴が∗Japan ニュース(http://headlines.yahoo.co.jp/hl) の膨大な記事データを利用する．Yahoo! Japan ニュースでは，全てのニュース記事が 6 メイントピック，25 サブトピックからなる階層構造上に分類されている．ここでは，2007
年 2 月〜2010 年 6 月の 40ヶ月間に配信されたニュース記事を言語モデリングに利用する．表 1 に，各トピック，サブトピックにおける名称とデータ量を示す．
本研究では，表中のサブトピックごとに要素言語モデルを構築するため，以降では便宜上，この 25 のサブトピックを単に「トピック」と示すことにする．
2.2

トピック言語モデルの動的混合

Web ニューステキストに基づくトピック言語モデルを利用して，適応言語モデルを動的に生成する．本研究で構築した動的言語モデリング手法を図 1 に示す．本システムは，各トピック言語モデルを用いたモデルレベル混合手法 14) に基づいている．モデルレベ
ル混合では，複数の要素モデルの N -gram 確率を下記のように重み付きで補間する．
∑pmix (w|h) =λi pi (w|h)(1)i∑
ここで λi は， i λi = 1 を満たす混合パラメータ (重み) である．一般的に，各要素モデルの混合重みは，評価セットと同一タスクのヘルドアウトセットを用いて最適化する．最適化手法としては，ヘルドアウトセットのパープレキシティが最小となるように，EMアルゴリズムによる繰り返し推定が用いられる．
本システムにおける静的プロセスとして，まず Web
ニューステキストから表 1 に示す 25 分野のトピック言語モデルを学習する．ここで，ポッドキャスト音声中の話し言葉口調に対処するために，別の要素モデルとして日本語話し言葉コーパス (CSJ)5) から学習した言語モデルを用意し，それぞれのトピック言語モデルと線形補間を行う．この際の補間重みは 0.5 とした．また，各トピック言語モデルの語彙は，各トピッ

PodCastle: Unsupervised Language Model Adaptation Based on Dynamic Topic Mixture
by Jun Ogata, Masataka Goto (AIST)

日本音響学会講演論文集- 69 -

2011年3月

Table 1

Web ニューステキストデータ量 (2007 年 2 月〜2010 年 6 月に配信されたニュース記事)

トピック (サブトピック)
経済 (市況)経済 (株式)経済 (産業)
経済 (その他)
国内 (政治)国内 (社会)
国内 (人)
海外 (中国)海外 (韓国)海外 (その他)
エンターテインメント (音楽)エンターテインメント (映画)
エンターテインメント (ゲーム)

単語数
8.3M
10.4M
23.5M
55.7M
19.3M
65.3M
0.7M
16.6M
9.0M
32.7M
14.0M
10.6M
9.3M

トピック (サブトピック)
エンターテインメント (その他)
スポーツ (野球)スポーツ (サッカー)
スポーツ (モータースポーツ)
スポーツ (競馬)スポーツ (ゴルフ)スポーツ (格闘技)
スポーツ (その他)
テクノロジー (インターネット)
テクノロジー (モバイル)
テクノロジー (セキュリティ)テクノロジー (その他)

単語数
43.1M
23.4M
14.3M
5.6M
5.9M
7.4M
8.8M
50.1M
7.3M
5.9M
2.2M
48.7M

クテキストから頻度順で選択した 60000 単語と CSJ
テキスト中の語彙 20000 単語をマージしたものを用

トピックLM 1

トピックLM 2

トピックLM Nいた．次に，これら 25 のトピック言語モデルをモデルレベルで混合することで，全てのトピックの要素を表現する単一の初期言語モデルを生成する．一般

初期混合重みによるLM混合的に，Web ニューステキストは様々なトピックをカ初期LMバーするが，表 1 の例にも見られるようにトピック音声認識ごとのデータ量にある程度の偏りがある．ここでの初期言語モデルは，ポッドキャスト中の様々なトピッ

初期認識結果クに対して一定の性能を得ることのできるグローバ
ルなモデルとするために，各トピックモデルを同一の最適化混合重みによるLM混合重み (λi = 1/25) でモデル混合を行う．初期言語モデ
ルの語彙サイズは，25 の各トピック言語モデルの語適応化LM

彙 (約 60000 単語) を全てマージした 286345 単語とした．
入力音声 (ポッドキャストエピソード) ごとの動的プロセスとして，まず，上記初期言語モデルを用いて音声認識を行い，初期認識結果を生成する．そして，初期認識結果を用いて各トピック言語モデルの混合重みを動的に算出する．すなわち，初期認識結果のテキストを前述のヘルドアウトセットとして，混合結果のモデルが最小のパープレキシティを示すように EM アルゴリズムにより混合重みを推定する．そして，最適化した混合重みを基にトピック言語モデルを混合し，入力音声のトピックに適応化した最終的な言語モデルを出力する．

2.3

Fig. 1 動的言語モデリング手法 (カジュアルな発話スタイルに対処するために，各トピック言語モデルは事前に話し言葉テキスト (CSJ) と線形補間を行っている．)的特性 (トピック，発話スタイル等) を持っている可能性が高いことが挙げられる．さらに，ポッドキャストを構成する RSS の仕組みにより，認識対象となる各エピソード音声データがどのポッドキャストに属するのか，すなわち，各音声ごとにどの言語モデルを教師なし適応時に適用すべきかが自明であるという利点もある．
拡張システムでは，まず事前にポッドキャスト依存言語モデルを，認識対象エピソード以外の過去のポッドキャスト依存言語モデルの利用エピソードを利用して学習しておく．この際，我々のポッドキャスト音声認識の更なる性能向上につなげるために，ポッドキャストごとのトピック，ドメインに特化した言語モデルの構築を目指す．ここでは，認識対象エピソードと同じポッドキャスト内の他の (過去の) エピソードデータを利用して言語モデルを構築し (ポッドキャスト依存言語モデル)，これを前述の動的言語モデリングに組み込む．この理由としては，同一のポッドキャスト中の各エピソードは，同じ言語

日本音響学会講演論文集

入力エピソード
音声- 70 -PodCastle システムでは，過去のエピソードのテキス
トデータとしてユーザ貢献により訂正された書き起こしを利用することも可能であるが 15) ，本研究では主として教師なしアプローチによる動的言語モデリ
ングを検討するために，音声認識により自動的に書き起こされたテキストを用いる．そして，ポッドキャ
スト依存言語モデルは，図 1 に示す最終的なモデル
レベル混合処理において付加的な要素モデルとして2011年3月追加する．トピック言語モデルとともに混合重みを前プレキシティ最小化基準で可能性のあるトピックを複述の手法で自動推定し，最終的な適応化言語モデル数選択することに相当する．特に大きな改善が得られとして混合する．

たポッドキャスト (B, G) では，本最適化手法によって内容に合致したトピック (B の場合は複数) が選択実験3され，λi の値も全 25 トピックの中で支配的であった．

前章で述べた動的言語モデリング手法に対して，実混合重み自動推定における教師ありと教師なしの比際のポッドキャスト音声データを用いて評価実験を

較では，最終的な単語誤り率は両者において大きな行う．

差はなく，絶対値で 0.1%程度であった．このような利用するポッドキャスト音声データの諸元について

傾向は文献 9) のミーティングタスクにおいても示唆

表 2 にまとめる．ここで，評価セットは実際に音声されており，混合重み自動推定は音声認識誤りにある認識性能を評価するためのデータであり，学習セット程度頑健であるといえる．

は各ポッドキャスト依存言語モデルの学習に利用したデータである．評価セットは 8 ポッドキャスト，合計47 エピソードで構成されており，ドメインとしてはデイリーニュース，政治・経済のコラム，レクチャー形式のトーク，雑談に大きく分類できる．トピックについてもポッドキャストごとに様々であり，ニュース番組 (A,B) においては 1 つのエピソード内でもスポー
ツ，政治，経済といった複数のトピックが存在する．
音声認識には，PodCastle 音声認識システムを用いた 16) . 音響モデルは，CSJ の約 600 時間の講演音声データから学習された，状態数 3000，1 状態あたり混合ガウス分布数 16 の tied-state cross-word triphone
モデルである．特徴量には 39 次元 PLP(12 次元 PLP
ケプストラム係数と正規化パワー，それらの ∆，∆∆)，そして話者，環境の変動に対処するために CMLLRベースの適応化学習 17) を行っている.
3.1

実験結果

表 3 に本研究で構築した動的言語モデリング手法の認識性能を示す．表中，ベースラインは，動的言語モデリングにおける初期言語モデル (初期混合重みでトピック言語モデルを混合したモデル，図 1 中の “初3.1.2

最後に，ポッドキャスト依存言語モデルを利用した動的言語モデリングの性能について述べる．表 3 の“podcast LM なし” より，認識性能がさらに改善され，教師なしの場合で最終的に 32.4%の単語誤り率を得た (ベースラインと比べて絶対値で 2.5%の改善)．こ
こでの傾向としては，ポッドキャスト依存言語モデルの学習データが多いポッドキャストほど，より大きな性能改善が得られている．これにより，学習テキストが誤りを含む音声認識結果であっても，ポッドキャス
トの単位で学習することで言語モデルにおけるトピックをある程度表現することができるといえる．また，ここでの混合重み自動推定においても教師ありと教師なしとで大きな差はなかった．ポッドキャスト依存
言語モデルを用いた動的言語モデリング手法は，全ての処理が教師なしで実行されるため，ポッドキャス
ト音声認識，そして PodCastle Web サービス運用において有用だといえる．PodCastle ではさらに，ユーザ貢献により訂正された書き起こしを学習に利用することができ，本研究で構築した動的言語モデリングをより効果的に行うことも可能になる．

期 LM”) を用いた際の認識性能である．また，音声認
識結果テキストを利用した混合重み自動推定におけポッドキャスト依存言語モデルの効果

4

おわりにる認識誤りの影響を調査するために，混合重み自動推

本稿では，ポッドキャスト音声認識を改善するため定に正解書き起こしを用いた教師あり実験も行った．の言語モデリングについて検討した．ポッドキャス

構築した認識システムは，教師なし音響モデル適応をトのように，幅広いタスク，多様な言語的特性を持つ含めたマルチパスデコーディングに基づくが，本研究音声データに対し，高精度な言語モデルを学習する

では言語モデルにおける純粋な比較評価を行うため，ことは従来困難であった．それに対し，本手法では各実験において共通の音響モデル (図 1 の “初期認識Web ニューステキストを有効活用することで，入力エピソードごとに，動的なトピック混合に基づき言語モデルを教師なし適応していく．実際の日本語ポッド
キャスト音声データにより評価を行ったところ，Webニュースベースのトピック言語モデルのみを用いた動的適応で 3.4%の改善率が得られ，さらにポッドキャスト依存言語モデルを考慮することで 7.2% の改善が得られた．
本研究で着目した Web ニュースは，一般社会にお結果” で MLLR 適応した音響モデル) を用いた．

3.1.1

動的言語モデリングの性能評価

まず，ポッドキャスト依存言語モデルなしのシステ
ムの結果 (podcast LM なし) より，評価セット中の全てのポッドキャストにおいてベースラインに比べての改善がみられた (教師ありの場合に絶対値で 1.3%，教師なしの場合に 1.2%の改善)．本手法での混合重み最適化手法は，ポッドキャストエピソードごとにパー

日本音響学会講演論文集- 71 -2011年3月

Table 2
ID
A
B
C
D
E
F
G
H

ポッドキャスト音声データ (学習セットの単語数は音声認識結果の単語数を示す)
ドメイン
ニュース
ニュース
コラム
コラム
レクチャー
レクチャー
雑談
雑談

トピック
複数
複数
政治
経済
株式
ヘルスケア
野球
芸能

評価セット
エピソード数 (単語数)
4 (11170)
4 (4937)
20 (13876)
5(10763)6(5315)2(3292)2(4439)4(14590)

学習セット
エピソード数 (単語数)383 (1027390)
496 (985273)
2189 (1591478)
215 (743858)
52 (54468)
119 (259457)
15 (37874)
98 (458936)

Table 3 動的言語モデリング手法の認識性能 (単語誤り率 (%)). podcast LM はポッドキャスト依存言語モデルを示す．“教師あり” は混合重み最適化に正解の書き起こしを利用した場合，“教師なし” は音声認識結果を利用した場合を示す．
動的言語モデリング
ID
ベースライン
podcast LM なし
podcast LM あり
教師あり 教師なし 教師あり 教師なし
A
17.9
16.2
16.4
14.0
14.2
B
21.3
19.2
19.3
17.4
17.3
C
28.2
27.4
27.2
26.3
26.3
D
41.1
39.6
39.8
38.1
38.3
E
18.8
17.0
17.0
16.2
16.6
F
29.7
28.8
28.2
25.1
25.1
G
51.0
49.0
49.0
48.9
48.7
56.7
55.6
56.2
54.9
55.1
H
Ave.
34.9
33.6
33.7
32.2
32.4

いて関心の高い様々な最新のトピックを総合的に集約したものであるといえる．したがって，音声認識の言語モデルとしては，ポッドキャストだけでなく様々なタスク，ドメインにおいて有効に働く，汎用性の高いモデルとなっていると考えられる．今後は，ポッドキャスト以外の様々なデータに対して動的言語モデリング手法の効果を検証していく．また，動的言語モデリングの性能を改善させるために，より高度な言語モデル補間手法，未知語を考慮した語彙選択手法なども検討する予定である．

参考文献[1] 緒方 淳，後藤真孝，江渡浩一郎：PodCastle: ポッ
ドキャストをテキストで検索，閲覧，編集できるソー
シャルアノテーションシステム，WISS 2006 論文集，pp. 53–58 (2006).
[2] J. Ogata and M. Goto: PodCastle: Collaborative
Training of Acoustic Models on the Basis of Wisdom of Crowds for Podcast Transcription, Proc. ofInterspeech 2009, pp. 1491–1494 (2009).
[3] 後藤真孝，緒方 淳，江渡浩一郎：PodCastle: ユー
ザ貢献により性能が向上する音声情報検索システム，
人工知能学会論文誌，25, 104–113 (2010).
[4] M. Federico and N. Bertoldi: Broadcast news LM
adaptation over time, Computer Speech & Language, 18, 417–435 (2004).
[5] T. Kawahara, H. Nanjo, T. Shinozaki and S. Furui: Benchmark test for speech recognition using
the corpus of spontaneous japanese, Proc. SSPR
2003 (2003).
[6] Y. Akita, M. Mimura and T. Kawahara: Automatic Transcription System for Meetings of theJapanese National Congress, Proc. of Interspeech2009 (2009).

日本音響学会講演論文集- 72 -[7] F. Lefevre, J.-L. Gauvain and L. F. Lamel: Genericity and portability for task-independent speech
recognition, Computer Speech & Language, Vol. 19,
pp. 345–363 (2005).
[8] X. Lei, W. Wu, W. Wang, A. Mandal and A.
Stolcke: Development of the 2008 SRI mandarin
speech-to-text system for broadcast news and conversation, Proc. of Interspeech 2009 (2009).
[9] G. Tur and A. Stolcke: Unsupervised language
model adaptation for meeting recognition, Proc.
ICASSP2007 (2007).
[10] D. Vergyri, A. Stolcke and G. Tur: Exploiting user
feedback for language model adaptation in meeting
recognition, Proc. of ICASSP 2009 (2009).
[11] B.-J. P. Hsu and J. Glass: Language model parameter estimation using user transcription, Proc. ofICASSP 2009 (2009).
[12] S. Meng, K. Thambiratnam, Y. Lin, L. Wang, G.
Li and F. Seide: Vocabulary and language modeladaptation using just one speech file, Proc. ICASSP
2010 (2010).
[13] 増村 亮，伊藤 仁，伊藤彰則，牧野正三：WWWを利用したトピック関連語推定に基づく言語モデル教
師なし適応の性能評価，情処研報 音声言語情報処理
2010-SLP-79-33 (2009).
[14] F. Jelinek and R. L. Mercer: Interplated estimation of Markov source parameters from sparce data,
Proc. Workshop on Pattern Recognition in Practice(1980).
[15] 緒方 淳，後藤真孝：PodCastle: ポッドキャスト音
声認識のための集合知を活用した言語モデル学習，情処研報音声言語情報処理 2009-SLP-80-10 (2009).
[16] J. Ogata, M. Goto and K. Eto: Automatic Transcription for a Web 2.0 Service to Search Podcasts,
Proc. of Interspeech 2007, pp. 2617–2620 (2007).
[17] M. J. F. Gales: Maximal likelihood linear transformations for HMM-Based speech recognition, Computer Speech & Language, 12, 75–98 (1998).

2011年3月