3-1-9
PodCastle: 集合知に基づく Web キーワードを考慮した言語モデリング ∗○緒方 淳 † , 松原 勇介 ‡ , 後藤 真孝 † († 産総研，‡ 東大)
大きく影響することが報告されている 4) ．すなわち，出現頻度の低い単語，音素数の少ない単語は認識誤り
我々は，日本語のポッドキャストを音声認識によっとなりやすい傾向がある．前述したような，新しい話て自動的にテキスト化することで，それらをユーザ
題において出現した未知語に関しては，基本的に言語が全文検索できるだけではなく，詳細な閲覧，編集もモデルの学習データにおいて出現頻度はそれほど高可能なソーシャルアノテーションシステム「PodCas1)2)3)くないと考えられる．したがって，新たに獲得した未tle」の開発を行っている．ポッドキャストは，幅知語については，他の既知語に比べて認識誤りとな広い話題，タスクの音声データが日々増え続けるといる可能性が高く，いかにして未知語に関連するテキスう特徴を持っているため，言語モデルをいかにして学トを収集するかが重要なポイントとなる．一方，単語習，構築するかが認識性能を左右する大きなポイン分割として音声認識において一般的に用いられていトとなる．本稿では，言語モデリングにおいて「Webる形態素解析では，日本語の解析的な最小単位 (形態キーワード」を活用することで，ポッドキャスト音声素) として分割を行うため，N -gram としてモデル化認識の性能向上をはかる．具体的には，Web キーワー
される単語単位としては，人間が感覚的に捉えているドを考慮した形態素解析による N -gram モデリング，「単語」よりも短いものとなる 5) ．そのため，各単語単語の読み (発音) の自動獲得，各 Web キーワードにを構成する音素数は全体的に少なくなり，認識時に認関連付けされたテキスト (ブログ) を用いた N -gram
識誤りを引き起こしやすくなるといった問題もある．の学習，を行う．

1

はじめに

2

ポッドキャスト音声認識における課題

ポッドキャストは，その発話内容や録音環境などが多種多様であり，従来のタスクを限定した場合の音声認識に比べて多くの問題を含んでいる．特に言語面においては，ニュース，講演，コラム，雑談などあらゆるタスクが認識対象となること，日々新しいエピ
ソード (音声データ，mp3 ファイル) が追加されるため常に最新の話題をカバーする必要があること，などが音声認識を困難にする要因となっている．
そのような問題に対して，我々はこれまでに，Webニューステキストを利用した言語モデリング手法を提案し，ポッドキャスト音声認識において有効性を示した 3) ．しかし，本手法では，日々更新される Webニューステキストを学習に用いることで，ニュース性のある新しい話題に対して有効であったものの， N gram 学習の事前処理として行われる単語分割 (形態素解析) において，未知語 (新出語) に対する分割誤りに対処できない問題があった．これは，単語分割 (形態素解析) 自体が持つ問題であり，単語分割器 (形態素解析器) において学習されていない (辞書にない) 単語は，正しい切れ目で分割することができない (例：“ケータイ” ⇒ “ケー”, “タイ”)．特に，新しい話題のテキストを学習する場合では，多くの未知語が出現する可能性が高いため，このような分割誤りは音声認識性能を劣化させる原因となる．
また，ポッドキャストのように話し言葉を対象とした音声認識においては，個々の単語の認識難易度を表す要因として，言語モデル学習データにおける出現頻度，単語の長さ (単語を構成する音素数) などが∗3Web キーワードを利用した言語モデリ
ング

前節で述べた問題点を解決するために，本研究では「Web キーワード」を活用した，ポッドキャスト音声認識のための言語モデリング手法を提案する．以下，まず Web キーワードについて述べ，提案する言語モデリング手法について説明を行う．

3.1

Web キーワード

本稿では，ブログや Wiki で共有され，ユーザーによって追加，編集されている辞書のことを，「Web キーワード」と呼ぶ．Web キーワードは，単語を手掛かりにして，関連したブログとブログ，記事と記事の間でのアクセスを促進するために用いられている．このような Web キーワードを Web サービスとして運営しているサイトはいくつか存在するが 6)7) ，本研究ではその中でも最も大規模なサービスとなっている「はてなダイアリーキーワード」6) を利用する．
Web キーワード (ここでは，はてなダイアリーキーワード) には，次のような特徴がある．
1. 日々，様々なジャンルのキーワードが追加，編集されている
不特定多数のユーザの協力，すなわち「集合知」によって，様々なジャンルのキーワードとそれらに対する説明文が整備されている．さらに，キーワードとともにそれに対する読み (ふりがな) までも定型のフォーマットにて記述されており，必要なキーワードに対する読みを容易に取得できる．
2. キーワードを含むテキストがハイパーリンクによっ

PodCastle: Language Modeling Based on Web Keywords Maintained Through Wisdom of Crowds
by Jun Ogata (AIST), Yusuke Matsubara (University of Tokyo), Masataka Goto (AIST)

日本音響学会講演論文集- 97 -

2008年9月

事前コーパス

形態素解析

Webキーワード•PodCastle

形態素解析器

ぽっどきゃっする•O-157

登録

形態素辞書

関連ブログ検索

形態素解析

東国原英夫

おーいちごーなな•

ひがしこくばるひでお

WebWebキーワードキーワードN-gram-gram((事前コーパス事前コーパス))

線形補間

Web
Webキーワード
キーワード
NN-gram-gram•Windows Vista

うぃんどうずびすた

・・・・・・・・・・・・・
知事
・・・・・・・・・・・・・の・・・・・・・・・・
次は
O-157
・・・・・・・・・・・・・・・・・・・・・・・・・の・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
PodCastle
は音声認識によって・・・・・・・・・

東国原英夫

Web
Webキーワード
キーワード
NN-gram-gram(関連コーパス関連コーパス))

関連コーパス (ブログ)
Fig. 1Web キーワードを利用した言語モデリングて関連付けられている
Web キーワードを提供するサービスにおいて，ユーザーはキーワードを手がかりにして，他のユーザーのブログ等の記事にアクセスできるようになっている．たとえば，ブログサービス「はてなダイアリー」ではユーザーが書いた日記のテキスト中のキーワードが，そのキーワードを含むブログ記事の一覧へのハイパーリンクとなる．
3. コミュニティによって質と量が維持されている
Web キーワードの質と量は，ユーザー同士のアクセスの利便性を高める目的で維持されている．たとえば，記事同士をつなぐ効果が薄い単語（単語として不完全な文字列や機能語など）は登録されない傾向にある．一方，新しい商品の名前，新しい映画のタイトルなど，ユーザーの共通の関心事項となりやすい単語は，迅速に Web キーワードに追加されていく．

3.2

提案手法

提案する Web キーワードの特徴を活用した言語モ
デリングの概要を図 1 に示す．以下，各ポイントの詳細を順に説明する．

3.2.1

Web キーワードを利用した形態素解析辞書の拡張
まず，はてなダイアリーキーワードを通じて得られる Web キーワードを利用して，形態素解析辞書の拡張を行う．ここでの目的は，学習テキストに対して単語分割 (形態素解析) を行う際に，Web キーワード中に含まれる様々なジャンルのキーワードに対する，分割誤りの発生を抑制することである．すなわち，Webキーワードが，最終的な N -gram の単語単位として登録されるように，学習テキストを正しく分割する．
本研究では，形態素解析器として MeCab8) を利用する．MeCab を含む多くの形態素解析システムの辞

日本音響学会講演論文集- 98 -書に必要な情報は，表記，読み，品詞，コストである．表記と読みはすでに Web キーワードに含まれているため，品詞とコストの決め方が問題となる．Web
キーワードのほとんどは，先に述べた性質により，名詞か固有名詞とみなすことができるので，本研究ではすべてのキーワードの品詞を「名詞, 一般」とする．
コストの推定方法として，代表的なのは学習用の形態素解析済みコーパスを用いる方法である．しかしWeb キーワードを含む形態素解析済みコーパスの入手は困難であるため，本研究ではすべてのキーワードのコストを一定の値 4000 とする．最後に，MeCabの辞書のフォーマットに合うように形式を変換し，既存の辞書と統合することで，Web キーワードベースの形態素解析辞書を作成する．以上の形態素辞書を用いて形態素解析を行うことにより，学習テキスト中に Web キーワードに相当する表記が出現すれば，1つの単語として正しく切り出すことができる．
Web キーワードを N -gram の単語単位として登録することのメリットとしては，Web キーワードに付随する読み情報により，正しい発音 (音素列) を獲得できる点が挙げられる．Web キーワードは様々なジャンルの最新の単語を多く含み，そのような単語に対して正しい発音が付与できることは，日々更新されるポッドキャストを認識する際には特に有効に働くと考えられる．また，Web キーワードは，通常の形態素に比べ，比較的長い単位で構成されるものが多い．
したがって実際に N -gram を構築した際には，音素数の比較的多い単語が語彙として含まれることになるが，音声認識を考えた場合には，各単語間の音響的類似度が小さくなることで，通常の形態素 N -gramに比べて誤認識を削減できる可能性がある．

3.2.2 Web キーワードの関連コーパスの獲得
言語モデルの学習テキスト中で出現頻度の低い単語が，音声認識誤りを引き起こす傾向があること (2 章参照) の理由としては，その単語が現れる周辺文脈のテキストが十分に得られないために，推定される言語的確率値が頑健でないことが挙げられる．特に Web
キーワードは最新の話題に関するキーワードを多く含むため，このような影響が比較的大きいと考えられる．そこで，3.1 節の 2. で述べた Web キーワードの特徴により，Web キーワードに関連付けられている記事 (ブログ) を収集，利用することを考える．Web
キーワードに関連付けられた各ブログから得られるテキストは，キーワードが現れる文脈を保持しているため，各キーワードに関する N -gram の確率推定を有効に行うことができる．
以上のようにして得られたテキストデータを「関連コーパス」と呼ぶ．

2008年9月

Table 1

評価用音声データ

カテゴリ

エピソード数

時間 (sec.)

ニュース
コラム
対談

4
7
3

2087.391434.30
4553.91

3.2.3 Web キーワード N -gram の生成
N -gram の学習データとして，ここでは 2 種類のコーパスを用いる．1 つは，言語モデル学習において一般的に利用される，新聞記事コーパスや日本語話し言葉コーパス (CSJ) を合わせたもので，本研究ではこれを「事前コーパス」と呼ぶ．もう 1 つは，前節で述べた Web キーワードの「関連コーパス」である．これら 2 つのコーパスのテキストデータに対して，Web キーワードベースの形態素解析を行うことで，Web キーワードが語彙として学習された 2 種類の N -gram を生成する．そして，それぞれのコーパスから学習された N -gram を線形補間することで，最終的な「Web キーワード N -gram」を生成する．

4

実験と考察提案する言語モデリングを，実際のポッドキャストを用いた音声認識実験により評価を行った．

4.1

学習データ

Web キーワードとしては，「はてなダイアリーキーワード」の 2007 年 8 月 1 日の時点でのキーワードリストを利用した．これらに対して種々のフィルターを施すことで，最終的に 188036 のキーワードを得た．
言語モデルの学習用データのうち，「事前コーパス」
としては，毎日新聞記事 10 年分 (1991 年〜2001 年)のテキストデータと日本語話し言葉コーパスの 2670講演分の書き起こし，さらに本研究で収集した Web
ニュースサイト (Google ニュース，Yahoo!ニュース)のテキストデータ (2006 年 9 月〜2007 年 12 月) を用いた．一方，「関連コーパス」としては，上記の Web
キーワード 1 つあたり平均 4.5 記事，合計 848816 記
事の「はてなダイアリー」のブログを利用した．
4.2

評価用音声データ

本実験では，「ニュース」，「コラム」，「対談」の 3
つのカテゴリのポッドキャストを評価用音声データとして用いた (表 1)．
「ニュース」はその日の様々な話題が網羅されており，背景には音楽が流れている．したがって，読み上げ音声であるものの，認識が比較的困難なデータとなっている．
「コラム」は，経済に関する内容の独話であり，講演音声に比較的近い．
「対談」
は，全エピソードとも話者 2 人での対話であり，完全な自由発話音声となっている．また背景雑音も多い．

日本音響学会講演論文集- 99 -Fig. 2

4.3

各言語モデルにおける認識性能 (文字正解精度)

音声認識システム

音響モデルには，単語間の調音結合も考慮した状
態共有型 triphone モデルを用いた．雑音対処として，雑音環境下音声認識において幅広く利用されている
ETSI Advanced Front-End9) を音響分析に適用した．
学習データには，日本語話し言葉コーパス (CSJ) を用いた．また，評価用音声データの各エピソードごとに，教師なし MLLR 適応 10) を行った．このときの教師ラベルは，音素認識を行うことで生成した．
本音声認識システムのデコーディングは段階的探索に基づいている．まず，bigram を用いた N -best デコーディングにより単語グラフを生成する 11) ．次に，trigram を用いて，生成された単語グラフを，trigram制約の単語グラフに拡張する．最後に，trigram 制約の単語グラフに対して，consensus デコーディング 12)を行い，confusion network 中の最尤候補を最終の認識結果とした．

4.4

実験結果

ここでは，Web キーワードを N -gram の単語単位とすることの効果，Web キーワードの関連コーパスを学習に用いることの効果について考察を行うために，以下の 4 種類の N -gram(本実験では trigram) を作成した．
• ベースライン
Web キーワードを利用しない通常の形態素解析により作成した N -gram で，学習には事前コーパスのみを使用．
• キーワードWeb キーワードベースの形態素解析により作成した N -gram で，学習には事前コーパスのみを使用．
• ブログ
Web キーワードを利用しない通常の形態素解析で作成した N -gram で，学習には事前コーパスと関連コーパス (ブログ) を使用．

2008年9月

• キーワード+ブログ
Web キーワードベースの形態素解析により作成した N -gram で，学習には事前コーパスと関連コーパス (ブログ) を使用．図 1 中の最終的に生成される Web キーワード N -gram に相当．
N -gram の語彙選択は各単語の学習データ中の頻度により行い，本実験では，固有名詞に関しては頻度が 30 以下，その他の単語に関しては 100 以下の単語をカットオフした．その結果，上記 4 種類の N gram の語彙サイズはそれぞれ，77635(ベースライン)，108439(キーワード)，99714(ブログ)，151468(キーワード+ブログ) となった．
各言語モデルにおける，評価用音声データの各カテゴリごとの認識性能を図 2 に示す☆1 ．結果より，ニュース，コラム，対談すべてのデータにおいて，Webキーワードを用いることで，認識精度の改善がみられた．とくに，ニュースに対する改善が大きいが，これは最新の話題や，Web キーワードに含まれるキーワードが話されることが比較的多いためである．
一方，関連コーパス (ブログ) の利用に関しては，対談においては改善がみられるものの，ニュース，コラムについては，関連コーパスを利用しない場合に比べて認識精度がわずかながら劣化していた．これは，関連コーパスとテストデータ間のタスク，発話スタイルの不一致が原因と考えられる．ただし，「キーワード+ブログ」モデルにおいて，Web キーワードに該当する単語に関しては，「キーワード」モデルと同様に認識することができており，認識精度が劣化したのはキーワード以外の単語に対してであった．関連コーパスの利用に関しては，キーワードごとの関連テキストをさらに増やすこと，他の音声データにおける評価などにより，今後更なる調査が必要である．

5

おわりに

本稿では，ポッドキャスト音声認識を改善するための言語モデリング手法について検討した．ポッドキャ
ストのように，幅広い話題，タスクの音声データが日々増え続けるという特徴を持つ音声データに対し，不特定多数のユーザによって整備，更新されている「Web キーワード」を有効活用した言語モデリング手法を提案した．ニュース，コラム，対談の 3 種類のポッドキャスト音声データを用いた評価実験により，提案手法が認識性能を向上できることを示した．
我々が開発している音声情報検索システム「PodCastle」では，不特定多数のユーザが音声認識誤りを効率的に訂正できる機能 14) を提供している．このような訂正インタフェースにおいては，形態素のような短い単位に対する訂正はユーザにとって煩わしいものとなる可能性があるため，認識結果としては比較的長い単位が望ましいといえる．また，Web キー
ワードのように，ある話題において重要な意味を持つ可能性の高い単語が比較的精度良く認識できることは，認識結果を閲覧，訂正する際に有用なものとなる．したがって，本稿で提案した言語モデリング手法
は，音声認識自体の認識性能を改善するだけでなく，PodCastle におけるユーザインタフェース面にも波及効果があると考えられる．
今後の課題としては，高次 N -gram の利用や他のカテゴリのポッドキャストに対する評価， Web キー
ワードベース形態素解析の改善などが挙げられる．

謝辞
本研究の一部は，科研費 (19300065) の助成を受けた．
参 考 文献[1] 緒方，後藤: “PodCastle: ポッドキャストをテキストで検索，閲覧，編集できるソーシャルアノテーションシステム”, WISS 2006, 論文集, 2006.
[2] 後藤, 緒方, 江渡: “PodCastle の提案: 音声認識研究2.0 を目指して” 情処研報, 2007-SLP-65-7, 2007.
[3] 緒方, 後藤, 江渡: “PodCastle の実現: Web2.0 に基づ
く音声認識性能の向上について” 情処研報, 2007-SLP65-8, 2007.
[4] Shinozaki, Furui: “Error analysis using decision
trees in spontaneous presentation speech recognition”, Proc. of ASRU, 2001.
[5] 西村, 伊東, 山崎, 荻野: “単語を単位とした日本語の大語彙連続音声認識”, 情処研報, 1998-SLP-20-3, pp.1724, 1998.
[6] は て な ダ イ ア リ ー キ ー ワ ー ド:
http://d.hatena.ne.jp/keyword/[7] アットペディア: http://atpedia.jp/[8] 工藤, 山本, 松本: “Conditional Random Fields を用
いた日本語形態素解析” 情処研報, 2004-NL-161-13,pp. 89-96, 2004.
[9] ETSI ES 202 050 v1.1.1 STQ; ”Distributed Speech
Recognition; Advanced Front-End Feature Extraction Algorithm; Compression Algorithms”. 2002.
[10] Leggetter et al.：“Maximum Likelihood Linear Regression for Speaker Adaptation of Continuous
Density Hidden Markov Models”, Computer Speechand Language,Vol.9, pp.171-185, 1995.
[11] 緒方, 有木: “大語彙連続音声認識における最ゆう単語
back-oﬀ 接続を用いた効率的な N -best 探索法”, 信学
論 (D-II), Vol.84-D-II, No.12, pp.2489-2500, 2001.
[12] Mangu et al.: “Finding Consensus in Speech Recognition: Word Error Minimization and Other Applications of Confusion Network” Computer Speechand Language,Vol.14, No.4, pp.373-400, 2000.
[13] 松原，緒方，後藤: “ポッドキャスト音声認識の性能向上手法:集合知によって更新される Web キーワードを活用した言語モデリング” 情処研報, 2008-NL-185-6,pp. 39-44, 2008.
[14] 緒方，後藤: “音声訂正：選択操作による効率的な誤り訂正が可能な音声入力インタフェース”, 情処学論,Vol.48, No.1, pp.375-385, 2007.

☆1
実験条件，モデルのサイズなどの違いにより，同様の実験の以前の報告 13) とは認識結果・傾向に違いがある．

日本音響学会講演論文集- 100 -

2008年9月