# 日本語形態素解析における未知語処理の一手法一既知語から派生した表記と未知オノマトぺの処理一

笹野 遼平 $\dagger \cdot$ 黒橋 禎夫 ${ }^{\dagger}$ ・奥村学†
}

本論文では, 形態素解析で使用する辞書に含まれる語から派生した表記，および，未知オノマトぺを対象とした日本語形態素解析における効率的な未知語処理手法を提案する。提案する手法は既知語からの派生ルールと未知オノマトぺ認識のためのパ ターンを利用し対象とする未知語の処理を行う. Web から収集した 10 万文を対象 とした実験の結果，既存の形態素解析システムに提案手法を導入することにより新 たに約 4,500 個の未知語を正しく認識できるのに対し, 解析が悪化する箇所は 80 箇所程度，速度低下は $6 \%$ のみであることを確認した。

キーワード：形態素解析，未知語処理，オノマトペ
## A Simple Approach to Unknown Word Processing in Japanese Morphological Analysis

\author{
Ryohei Sasano $^{\dagger}$, Sadao Kurohashi ${ }^{\dagger \dagger}$ and Manabu Okumura ${ }^{\dagger}$
}

This paper presents a simple but effective approach to unknown word processing in Japanese morphological analysis, which handles 1) unknown words that are derived from words in a pre-defined lexicon and 2) unknown onomatopoeias. Our approach leverages derivation rules and onomatopoeia patterns, and correctly recognizes certain types of unknown words. Experiments revealed that our approach recognized about 4,500 unknown words in 100,000 Web sentences with only roughly 80 harmful side effects and a $6 \%$ loss in speed.

Key Words: Morphological Analysis, Unknown Word Processing, Onomatopoeias

## 1 はじめに

日本語形態素解析における誤り要因の1つに辞書に含まれない語・表記の存在がある。本論文では形態素解析で使用する辞書に含まれない語・表記をまとめて未知語と呼ぶ．形態素解析における未知語は表 1 に示すようにいくつかのタイプに分類することができる。まず，未知語は既知語から派生したものと, 既知語と直接関連を持たない純粋な未知語の 2 つに大きく分け

表 1 形態素解析における未知語の分類

 &  \\

下線は本論文で扱う対象であることを示す.

られる。従来の日本語形態素解析における未知語処理に関する研究は, 事前に未知語をコーパスから自動獲得する手法 (Mori and Nagao 1996; Murawaki and Kurohashi 2008)と，未知語を形態素解析時に自動認識する手法 (Nagata 1999; Uchimoto, Sekine, and Isahara 2001; Asahara and Matsumoto 2004; 東, 浅原, 松本 2006; Nakagawa and Uchimoto 2007)の 2 つに大きく分けることができるが，いずれの場合も網羅的な未知語処理が目的とされる場合が多く，特定の未知語のタイプに特化した処理が行われることは稀であった.

しかし, 未知語はタイプにより適切な処理方法や解析の難しさは異なっていると考えられる. たとえば既知語から派生した表記であれば，それを純粋な未知語として扱うのではなく既知語と関連付けて解析を行うことで純粁な未知語よりも容易に処理することが可能である。また,一般的に純粋な未知語の処理は, 単独の出現から正確に単語境界を推定するのは容易ではないことから，コーパス中の複数の用例を考慮し判断する手法が適していると考えられるが，オノマトぺのように語の生成に一定のパターンがある語は, 生成パターンを考慮することで形態素解析時に効率的に自動認識することが可能である. さらに， 4.1 節で示すように，解析済みブログコーパス (橋本, 黒橋, 河原, 新里, 永田 2011) で複数回出現した未知語で, 先行手法 (Murawaki and Kurohashi 2008) や Wikipedia から得た語彙知識でカバーされないものを分析した結果, 既知語から派生した未知表記，および，未知オノマトぺに対する処理を行うことで対応できるものは異なり数で 88 個中 27 個, 出現数で 289 個中 129 個存在しており，辞書の拡張などで対応することが難しい未知語の出現数の 4 割程度を占めていることが分かった。そこで本論文では既
知表記から派生した未知表記, および, 未知オノマトぺに焦点を当て, 既知語からの派生ルー ルと未知オノマトぺ認識のためのパターンを形態素解析時に考慮することで, これらの未知語を効率的に解析する手法を提案する.

## 2 日本語形態素解析

## 2.1 日本語形態素解析の一般的な流れ

日本語形態素解析では, 形態素辞書の存在を前提とした手法が一般的に用いられてきた. 以下に一般的な日本語形態素解析の手順を示す.

手順 1 文中の各位置から始まる可能性のある形態素を事前に準備した辞書から検索

手順 2 形態素の候補を列挙した形態素ラティスを作成

手順 3 形態素ラティスから文として最も確からしい形態素の並びを決定

たとえば以下の文が入力された場合, 図 1 に示す形態素ラティスが作られ, 最終的に太線で記されている組合せに決定される.

(1) 父は日本人。

手順 1 において, 文中の各位置から始まる可能性のある形態素を探索する際にはトライ木に基づく高速な探索手法が一般的に用いられる。また，手順 3 における最尤パスの選択は各形態素ごとに定義された生起コスト，および，各連接ごとに定義された連接コストに基づいて行われる，パス全体のコストは，パスに含まれる形態素の生起コスト，および，それらの連接コストを加算することにより計算され，コストが小さいほど確からしい形態素の並びであることを意味する. コストの設定方法としては人手で行う方法 (Kurohashi, Nakamura, Matsumoto, and Nagao 1994) や，機械学習に基づく手法 (Asahara and Matsumoto 2000; Kudo, Yamamoto, and Matsumoto 2004) があるが，最尤パスの探索にはいずれもViterbi アルゴリズムが用いられる.

入カ: "父は日本人。"

図 1 形態素ラティスの例

## 2.2 形態素解析における未知語処理

日本語形態素解析における未知語処理に関する研究は多く行われてきた. 代表的な手法として, 事前に未知語をコーパスから自動獲得する手法 (Mori and Nagao 1996; Murawaki and Kurohashi 2008)と, 未知語を形態素解析時に自動認識する手法 (Nagata 1999; Uchimoto et al. 2001; Asahara and Matsumoto 2004; 東他 2006; Nakagawa and Uchimoto 2007)の 2 つが挙げられる。前者の手法は後者の手法と比べ，ある 1 つの未知語候補に対しコーパス中での複数の用例を考慮することができるため, 単独の用例では判別の難しい未知語にも対処できるという特長がある。一方, 後者の手法は字種や前後の形態素候補を手掛かりとして統計や機械学習に基づく未知語モデルを構築する手法であり，コーパス中に出現しなかった未知語についても認識が可能という特長がある. しかしながら, これらの研究はいずれも基本的に網羅的な未知語処理を目的としており, 未知語タイプごとの特徴はあまり考慮されていない.

特定の未知語, 特にくだけたテキストに出現する未知語に特化した研究としては, 風間ら (風間, 光石, 牧野, 鳥澤, 松田, 辻井 1999), Kacmarcik ら (Kacmarcik, Brockett, and Suzuki 2000),池田ら (池田, 柳原, 松本, 滝嶋 2010), 工藤ら (工藤, 市川, Talbot, 賀沢 2012), 斉藤ら (斉藤, 貞光, 浅野, 松尾 2013,2014$)$ の研究がある.

風間ら (1999)は, Web上のチャットで使用されるようなくだけたテキストの解析を目的とし,品詞 bi-gram モデルに基づく確率的形態素解析器をべースとし, 文字の插入や置換が直前の文字や元の文字に依存していると仮定しそれを考慮に入れるように拡張することで，文字の挿入や置換に対して頑健な形態素解析システムの構築を行っている。しかし, 池田ら (2010)が, 風間らの手法を参考に辞書拡張ルールを作成し, 200 万文のブログ文書に適用して単語区切りに変化が見られた 53,488 文をサンプリングし評価したところ， $37.2 \%$ の文はルール適用前と比べて単語区切りが悪化したと報告していることから, 風間らの手法はオンラインチャット, および，それに類するテキストにのみ有効な手法であると推察される。本研究で提案する既知語から派生した未知語処理手法も, 基本的に風間らと同じくルールに基づくものであるが, 未知語のタイプに応じた効率的な辞書の検索を行うことで, 高い精度を保ちつつ高速な解析を実現している点に特長がある.

Kacmarcik ら (2000) は形態素解析の前処理としてテキスト正規化ルールを適用する手法を提案している．池田ら（2010）はくだけた表現を多く含むブログなどの文書を入力とし，〈だけた表現の少ない新聞などの文書からくだけた表現の修正候補を検索することで修正ルールを自動的に生成し, さらに生成した修正ルールを 3 つの言語的な指標によりスコアリングすることで文脈に適した修正ルールを選択する手法を提案している。これらの研究ではいずれも前処理として入力テキストを正規化・修正しているのに対し, 本研究では形態素解析と並行して未知語処理のためのルール・パターンを適用する. このような設計により, 従来手法では処理が難しかった連濁化現象により初音が濁音化した語の認識も可能となる.
工藤ら (2012) は，ひらがな交じり文が生成される過程を生成モデルでモデル化し，そのパラメータを大規模 Web コーパスおよび EM アルゴリズムで推定することで， Web 上のくだけたテキストに頻出するひらがな交じり文に頑健な形態素解析手法を提案している. 工藤らの手法は必ずしもひらがな交じり文にのみ有効な手法ではなく，本研究で対象とする小書き文字や長音記号を用いた表現に適用することも可能であると考えられるが，本研究ではこれらの表現に対してはコーパスを用いた学習を行わなくても十分に実用的な精度で処理を行うことが可能であることを示す.

斉藤ら $(2013,2014)$ はソーシャルメディア上のテキストから抽出した崩れ表記に対し正規表記を付与した正解データを用いて文字列レベルの表記の崩れパターンを自動抽出する手法を提案している。 これに対し, 本研究では人手でパターンを与える。正解データを用いてパターンを自動抽出する手法の利点としてはパターンを人手で作成する必要がないことが挙げられるが，人が見た場合に明らかなパターンがあった場合でも一定規模の正解デー夕を作成する必要があり, どちらの手法が優れているかは崩れ表記のタイプにより異なると考えられる.

教師なし単語分割 (Goldwater, Griffiths, and Johnson 2006) や形態素解析 (Mochihashi, Yamada, and Ueda 2009) に関する研究もテキストに出現する未知語処理の 1 つのアプローチとみなすことができる。また，〈だけたテキストに出現する表記バリエーションに対処する方法として，形態素解析に使用する辞書にこれらの表記バリエーションを追加するという方法も考えられる. たとえば，連濁による濁音化も含む多くの表記バリエーションに対応した形態素解析用の辞書としてUniDic(伝, 小木曽, 小椋, 山田, 峯松, 内元, 小磯 2007) があり, このような辞書を用いることで未知語の数を減らすことが可能であると考えられる. しかし, 長音記号は任意の数を挿入することが可能であることからも明らかなように，表記バリエーションの種類は無数に考えられ，すべてを辞書に含めることは不可能である。また，連濁により濁音化した形態素を高精度に認識するためには, 直前の形態素の品詞等を考慮する必要があることから, 連濁の認識を辞書の改良だけで行うことは難しいと考えられる。

## 3 提案手法

## 3.1 提案手法の概要

本論文では主に形態素ラティスの生成方法の改良により，形態素解析で使用する辞書に含まれる語から派生した未知表記，および，未知オノマトぺを対象とした日本語形態素解析における効率的な未知語処理手法を提案する。具体的には既存の形態素解析システムに, 既知語から派生した未知表記に相当する形態素ノードを生成するためのルール，および，未知オノマトペに相当する形態素ノードを生成するためのパターンを導入することで，これらのタイプの未知語の自動認識を行う。たとえば, 下記のような文が入力された場合, 図 2 で実線で示したノー

図 2 提案システムの概要

ド・経路に加え，新たに破線で示した未知語に相当するノード，および，それを経由する経路を追加し, 新たに生成された形態素ラティスから最適な経路を探索することで, 下記の文の正しい形態素解析を実現する。

(2) おいしかったでーーす。

本研究では, 比較的単純なルールおよびパターンのみを考慮し, さらに, 辞書を用いた形態素検索の方法を工夫することで, 解析速度を大きく低下させることなく, 高精度に一部の未知語の処理が可能であることを示すことを主な目的とする. このため, 本研究で使用するルールやパターン，および，置換ルールやオノマトペ認識の対象とする文字種の範囲は，現象ごとにコーパスを分析した結果に基づき，解析結果に大きな悪影響が出ない範囲で出来る限り多くの未知語を解析できるよう人手で定めたものを使用する 1 . 同様に，各ルールやパターンを適用するためのコストに関しても，機械学習等により最適な值を求めることは行わず，人手で調整した値を使用し, ベースラインとする形態素解析システムには, 各形態素の生起コストや連接コストの調整を人手で行っている JUMAN²を用いる.

## 3.2 既知形態素から派生した未知語の自動認識

## 3.2.1 対象とする未知語

本研究では既知形態素から派生した未知語として以下の 5 つのタイプの未知語を扱う.

1. 連濁により濁音化した語

2. 長音記号による置換を含む語

3. 小書き文字による置換を含む語


4. 長音記号の挿入を含む語

5. 小書き文字の挿入を含む語

以下では，連濁による濁音化，長音記号および小書き文字による置換，長音記号および小書き文字の挿入の 3 つに分けて，対象とする未知語の詳細，および，それぞれどのようにノードを追加するかについて詳述する。

## 3.2 .2 連濁による濁音化

連濁とは複合語の後部要素の初頭にある清音が濁音に変化する現象のことを指す。連濁現象により濁音化した形態素表記の多くは辞書に登録されていないため，形態素解析において未知語として扱われる場合が多い。たとえば以下のような文が入力された場合，「こたつ」という表記が辞書に含まれていたとしても，「ごたつ」が辞書に登録されていないと「ごたつ」を 1 形態素として正しく認識することができない.

(3) 掘りごたつ。

そこで，初頭が清音である名詞については，初頭の清音が濁音化したものも形態素候補として形態素ラティスに追加する。この際，1つの元となる形態素に対し濁音化した形態素はたかたか 1 つであることから，濁音化した形態素をあらかじめ形態素辞書に追加することにより，通常のトライ木に基づく形態素の探索の枠組みで濁音化した形態素候補をラティスに追加する.

ただし, 連濁は複合語の後部要素にのみ生じる現象であり, さらに，連濁は複合語の後部要素であれば必ず起こるわけではなく表 2 に示すような連濁の発生を抑制する要因が知られていることから以下の制約を課す。
- 直前の形態素が名詞, 動詞の連用形, 名詞性接尾辞の場合のみ濁音化したノードを使用 ${ }^{3}$

・ 代表的な表記がカタカナを含む形態素は濁音化の対象としない 4

・ 形態素がもともと濁音を含んでいる場合は濁音化の対象としない5

表 2 連濁の発生を抑制する要因

・ 連濁を起こすのは原則として和語であり，一部を除き，漢語，外来語は連濁を起こなさい．

・ 複合語の後部要素が濁音を含んでいる場合, 連濁は起こらない (Lyman 1894).

新たに生成された濁音化した形態素の生起コストは, その元となった形態素の生起コストよりも大きく設定した．具体的なコストの設定方法については付録 A に記載した. 本研究では,濁音化した形態素をはじめとする未知語の生起コストを通常の形態素の生起コストよりも意図的に大きめに設定している。これは未知語を含む文が新たに正しく解析できるようになることによるユーザの形態素解析システムへの評価の上昇幅よりも，通常解析できることが期待される文が正しく解析できない場合の評価の下落幅の方が大きいと考えたためである.

## 3.2.3長音記号・小書き文字による置換

くだけたテキストでは, 「おはよー」,「うらやまし〜」や「あなた」などのように形態素辞書中に含まれる語表記の一部が長音記号や小書き文字に置換された表現が出現する。このうち長音記号に置換される文字の多くは，「おはよう」の「う」や，「うらやましい」の「い」などのように直前の文字を伸ばした音に類似していると考えられる。そこで長音記号があった場合，入力文字に対し行う通常の形態素の検索に加え，長音記号をその直前の文字に応じて表 3 に示す母音文字に置き換えた文字列に対しても形態素の検索を行い，検索された形態素を形態素ラティスに追加する. 本研究では長音記号として「ー」と「〜」の2つを扱う. 小書き文字があった場合も同様に対応する通常の文字に置き換えた文字列を作成し形態素の検索を行う．本研究では，「あ」，「い」，「j」，「え」，「お」，「カ」，および「わ」を置換対象とし，それぞれ「あ」，「い」，「う」，「え」，「お」，「か」，「わ」に置換する，たとえば「おいし一。」とい文があった場合「おいしい。」という文字列に対しても形態素の検索を行い，新たに検索された形態素を 「おいしー」から生成された形態素ラティスに追加する.

この際, 長音記号および小書き文字は何らかの文字の置換により出現した場合だけでなく,以下で述べるように挿入された場合もあると考えられる。しかし, 事前の分析の結果, 同一形態素内で置換されたものと挿入されたものが混じって出現することは相対的に少ないことが分かったため ${ }^{6}$, 解析速度への影響を考慮し, これらの未知語は本研究では扱わない。また, 長音

表 3 直前の文字ごとの長音記号を置き換える母音文字

 \\

 のみであった
記号・小書き文字の置換により新たに生成された形態素の生起コストの設定方法は，長音記号・小書き文字の挿入により生成された形態素の生起コストとともに付録 Bに記載した.

## 3.2.4長音記号・小書き文字の挿入

くだけたテキストでは，「冷たーーーい」や「冷たあああい」などのように形態素辞書中に含まれる語に長音記号や小書き文字が挿入された表現が出現する。これらの表記において，挿入される文字数は任意であることからこれらの表現をすべて辞書に登録することは難しい. そこで本研究では, 長音記号・小書き文字の置換に対する処理と同様に, 入力文字列に対し一定の処理を行った文字列に対し形態素の検索を行い，その結果を形態素ラティスに追加することにより，長音記号および小書き文字の挿入に対応する.

具体的には，「一」および「〜」が出現した場合，または，「あ」，「い」，「j」,「え」,「お」が出現し，かつ，その直前の文字が小書き文字と同一の母音をもつ平仮名7であった場合に，それらを削除した文字列を作成する。たとえば「冷たああーーい。」という文があった場合，「冷たい。という文字列に対しても形態素の検索を行い, 新たに検索された形態素を「冷たああーー い。」か生成された形態素ラティスに追加する.

## 3.3 未知オノマトペの自動認識

## 3.3.1 未知オノマトペのタイプ

オノマトペとは「わくわく」,「しっかり」などのような擬音語・擬声語のことである. 日本語では比較的自由にオノマトぺを生成できることから特にくだけたテキストでは「ぐじょぐじょ」 や「ぐっちょり」などのような辞書に含まれないオノマトペが多く出現する. 本研究では多くの未知オノマトぺが一定のパターンに従っていることを利用し, 特定のパターンに従う文字列をオノマトぺの候補とすることで未知オノマトぺの自動認識を行う。ここで，オノマトぺの品詞としては, 副詞, サ変名詞, 形容詞などが考えられるが, 本研究ではオノマトペが必要以上に細かく分割されるのを防ぐことを主な目的とし，すべて副詞として処理する．以下では「ぐじょぐじょ」などのように反復を含むタイプと，「ぐっちょり」などのように反復を含まないものの 2 つに分け，それぞれどのようにノードを追加するか詳述する。

## 3.3.2 反復型オノマトペ

オノマトぺの代表的なパターンの 1 つに「ぐじょぐじょ」や「うはうは」などのように，同じ音が 2 度反復されるパターンがある (筧，田守 1993)，そこで本研究では 2 文字から 4 文字までの平仮名または片仮名が反復されている場合，それらを未知オノマトぺの候補として形態素
 0 \sim 30 \mathrm{FF}$ の範囲を使用する.
}

ラティスに追加する．これらのオノマトぺは入力文の各位置において，そこから始まる平仮名または片仮名 $n$ 文字とその直後の $n$ 文字が一致しているかどうかを調べることで効率的に探索することが可能である.

ただし，「むかしむかし」や「ぜひぜひ」などのように同音が反復された場合でもオノマトペではない表現も存在する。このため, 追加された未知オノマトペノードが必要な場合にのみ選択されるように, 追加したノードのコストを適切に設定する必要がある. 本研究では, 基本的に反復文字数ごとにコストを設定し，さらに濁音・半濁音や開拗音を含む表現はオノマトペである場合が多いこと, また, 平仮名よりも片仮名の場合の方がオノマトぺである場合が多いことを考慮し，コストを人手で設定した。実際に使用したコストは付録 Cに記載した。

## 3.3.3 非反復型オノマトペ

反復を含まない場合もオノマトぺは一定のパターンに従うものが多い (筧, 田守 1993). そこで本研究ではオノマトぺを認識するためのパターンを導入し, 導入したパターンに従う文字列を形態素候補として形態素ラティスに追加する。本研究で使用したパターンを表 4 に示す。パターン中の $\mathrm{H}, \mathrm{K}, \mathrm{H}, \mathrm{K}$ はそれぞれ平仮名, 片仮名 ${ }^{8}$, 平仮名の開拗音字 $(\lceil ゃ 」, 「 ゆ 」,\lceil ょ\rfloor)$, および，片仮名の開拗音字（「ヤ」，「ユ」，「ョ」）を表す。これらは事前にコーパスを分析した結果, 出現頻度が高く, かつ, 悪影響の少ないパターンである. いずれも 2 音節の語基を持ち,先頭の 4 つは 2 音節の間に促音を持ち「り」語尾が付いたもの, 残りの 3 つは 2 音節に促音および「と」が付いたものとなっている．本論文ではパターンを導入することの有効性を確認することを目的とし，実験には表 4 に示した 7 つのパターンのみを使用したが，さらに多くのパターンを導入することで，より多くのオノマトぺを認識できると考えられる．また，コストは本研究で使用する形態素解析システム JUMAN におけるコストであり，一般的な副詞のコスト

表 4 非反復型オノマトペのパターンとコスト



を 100 とした場合の形態素生起コストを表している9.

非反復型オノマトぺを含む形態素ラティスの生成にあたり，入力文の各位置から始まる文字列が表 4 に示すパターンに一致するかどうか検索すると, 形態素ラティスの生成速度が大きく低下する可能性が考えられる。そこで本研究では，表 4 に示す各パターンから生成されうる形態素の数はたかだか 4,761 ないしは 14,283 である 10 ことに着目し，これらの候補をすべて事前に辞書に追加することで，通常のトライ木に基づく辞書検索により未知オノマトペのノードを形態素ラティスに追加できるようにした.

## 3.4 未知語処理の流れ

表 5 に本研究で扱う未知語のタイプと, 各未知語に相当するノードをどのように形態素ラティスに追加するかをまとめる。これらの未知語処理をすべて行った場合の形態素ラティスの作成手順は以下のようになる.

1. 形態素解析に先立ち，連濁により濁音化した形態素，および，非反復型オノマトぺの候補を形態素解析辞書に追加

2. 入力文に対し, 形態素の検索を行い形態素ラティスを作成

3. 入力文中に出現した長音記号・小書き文字を 3.2 節で述べたルールに基づき置換した文字列に対し形態素の検索を行い, 新たに検索された形態素を形態素ラティスに追加

4. 入力文中に出現した長音記号・小書き文字を 3.2 節で述べたルールに基づき削除した文字列に対し形態素の検索を行い, 新たに検索された形態素を形態素ラティスに追加

5. 文字列比較により，入力文に含まれる平仮名または片仮名の 2 文字から 4 文字までの反復を探し，存在した場合は形態素ラティスに追加

表 5 提案手法で扱う未知語のタイプと未知語ノードの形態素ラティスへの追加方法



## 4 実験と考察

## 4.1 提案手法の再現率

提案手法の有効性を確認するため, まず, 再現率, すなわち対象の未知語のうち正しく解析できる語の割合の調査を行った。すべての未知語を夕グ付けした大規模なデータを作成するためには大きなコストが必要となることから, 本研究では未知語のタイプごとに個別に対象の未知語を含むデータを作成し再現率の調査を行った。未知語のタイプを限定することで，正規表現等により対象の未知語を含む可能性のある文を絞り込むことができ，効率的にデータを作成できるようになる。具体的には，検索エンジン基盤 TSUBAKI(Shinzato et al. 2008)で使用されている Webページから，各未知語タイプごとに正規表現を用いて未知語を含む文の候補を収集し，そこから未知語を 100 個含む文集合を作成し，再現率の評価を行った，ただし，ここで使用した文集合には 3 節で説明したルール・パターンの作成の際に参考にした文は含まれていない.結果をUniDic(伝他 2007) によるカバー率とともに表 6 に示す. ここで, UniDic によるカバー 率とは対象の未知語 100 個のうち UniDic に含まれている語の数を表している。実際に UniDic を用いたシステムにおいて対象の未知語を正しく解析できるかどうかは考慮していないため, UniDic によるカバー率は UniDic を用いたシステムが達成できる再現率の上限とみなせる.

表 6 に示した結果から，すべての未知語タイプに対し提案手法は高い再現率を達成できることが確認できる。連濁を除く未知語タイプにおいてはUniDic によるカバー率よりも高い再現率を達成していることから，考えうる多くの未知語を人手で登録するアプローチに比べ，既知語からの派生ルールと未知オノマトペ認識のためのパターンを用いる提案手法のアプローチは,低コストで多くの未知語に対応できると言える。一方，連濁により濁音化した語については正しく認識できた語の数は UniDic でカバーされている語の数よりも少なかった. たとえば以下の文に含まれている「がわら」は正しく認識することができなかった.

(4) 赤がわらの民家です。

表 6 未知語タイプごとの再現率と UniDicによるカバー率

表 7 解析済みブログコーパスにおいて 2 回以上出現した未知語の分類

これは連濁と関係ない表現を連濁により濁音化したものであると認識しないように，連濁により濁音化した形態素のノードに大きなコストを与えているためである。たとえば以下のような文があった場合，連濁により濁音化した形態素のコストを元の形態素のコストと同程度に設定した場合は「でまわり」を「手回り」が濁音化したものと解析してしまうため，濁音化した形態素のノードには大きめのコストを与える必要がある.

（5）笑顔でまわりの人たちを幸せにする。

続いて，実コーパスにおける再現率の評価を行うため, 解析済みブログコーパス (橋本他 2011)11を用いた評価を行った。具体的には解析済みブログコーパスで 1 形態素としてタグ付けされている語のうち, 2 回以上出現し, かつ, JUMAN5.1の辞書に含まれていない 230 語を, 村脇らによりコーパスから自動生成された辞書 (Murawaki and Kurohashi 2008) でカバーされているもの，それ以外でWikipediaにエントリを持つもの，それ以外で提案手法によりカバーされるもの, その他の 4 つに分類した. 結果を表 7 に示す. 村脇らによる辞書, および, Wikipedia のエントリでもカバーされない未知語のうち異なり数でおよそ $30 \%$, 出現数でおよそ $45 \%$ が提案手法により解析できており, 提案手法による未知語処理が実コーパスに対しても有用であることが確認できる。また，提案手法により解析できた未知語には，連濁による濁音化を除くすべての未知語タイプが含まれており, 様々な未知語タイプが実コーパスにおいて出現することが確認できた.

## 4.2 解析精度・速度の評価

本論文で導入したルール・パターンを用いることで新たに認識された未知語の精度, および,解析速度の変化を調べるため, これらのルール・パターンを用いないベースラインモデルと提案手法を用いたモデルを以下の 7 つの観点から比較することにより提案手法の評価を行った.本節の実験では JUMAN5.1をデフォルトのコスト設定のまま使用したものをべースラインモデルとした.

1. 解析結果が変化した 100 箇所中, 解析結果が改善した箇所の数： $P_{100 D}$

2. 解析結果が変化した 100 箇所中, 解析結果が悪化した箇所の数： $N_{100 D}$
3. 10 万文あたりの解析結果が変化した箇所の数： $D_{100 k S}$
4. 10 万文あたりの解析結果が改善した箇所の推定数 : $P_{100 k S}^{*}$
5. 10 万文あたりの解析結果が悪化した箇所の推定数： $N_{100 k S}^{*}$

6. 形態素ラティスにおけるノードの増加率：Node ${ }_{i n c}$.

7. 解析速度の低下率 : $S P_{\text {loss }}$

実験には検索エンジン基盤 TSUBAKI(Shinzato et al. 2008)で使用されている Webページから収集した 10 万文を使用した。これらの文は平仮名を 1 字以上含み，かつ，全体で 20 文字以上で構成される文であり，3節で説明したルール・パターンの作成の際に参考にした文は含まれていない.

まず， $P_{100 D}$ と $N_{100 D}$ を算出するため，各ルール・パターンを用いた場合と用いなかった場合で解析結果が変化した箇所を 100 箇所抽出し，それらを改善，悪化，その他の 3 クラスに分類した。この際, 基本的に分割箇所が変化した場合は分割箇所の優劣を比較し, 分割箇所に優劣がない場合で品詞が変化した場合はその品詞の優劣を比較した. ただし, 形態素区切りが改善した場合であっても，名詞であるべき品詞が副詞となっている場合など，明らかに正しい解析と言えない場合はその他に分類した。たとえば「面白がれる」という表現は，JUMANでは子音動詞の可能形は可能動詞として登録されていることから, JUMAN の辞書登録基準では 1 語となるべきである。しかし, 連濁ルールを用いなかった場合は下記の例 (6)a のように, 連濁ルールを用いた場合は下記の例 (6)bのように, 解析結果は異なるものの, いずれの場合も過分割されてしまうことから, このような場合はその他に分類した.

(6) a. 面/白/が/れ/る

b. 面/白/がれる

また， $P_{100 k S}^{*}$, および, $N_{100 k S}^{*}$ は, 10 万文あたりの解析結果が変化した箇所の数 $D_{100 k S}$ を用いて，それぞれ以下の式により算出した。

$
\begin{aligned}
& P_{100 k S}^{*}=D_{100 k S} \times P_{100 D} / 100 \\
& N_{100 k S}^{*}=D_{100 k S} \times N_{100 D} / 100
\end{aligned}
$

ここで，各未知語タイプごとに推定誤差は異なっていることに注意が必要である．特に解析が悪化した箇所の数は少なことから $N_{100 k S}^{*}$ の推定誤差は大きいと考えられる. しかしながら, 各未知語タイプごとに大規模な評価を行うコストは大きいことから本論文では上記の式から算出された推定数に基づいて考察を行う。
表 8 各ルール・パターンを使用した場合の精度と速度

解析精度の評価に加えて, 最適解の探索時間に影響を与えると考えられることから形態素ラ

の低下率 $S P_{\text {loss }}$ の計測も行った。これらの評価結果を表 8 に示す.

表 8 に示す結果から提案手法を用いることで，ほとんど解析結果を悪化させることなく，また, 解析速度を大きく下げることなく, 多くの未知語を正しく処理できるようになることが確認できる．具体的には，すべてのルール・パターンを用いることで 10 万文あたり 4,500 個以上の未知語処理が改善するのに対し，悪化する解析は 80 個程度であると推定でき，速度の低下率は $6.2 \%$ であった。速度の低下率に関してはべースラインとした形態素解析器の実装に大きく依存するため, 具体的な数値に大きな意味はないと言えるものの, 少なくとも提案手法は大幅な速度低下は引き起こさないと考えられる。また, ノードの増加率に対し解析速度の低下率が大きいことから, 速度低下は最適パスの探索ではなく, 主に形態素ラティスの生成の時間の増加により引き起されていると考えられる。 以下ではルール・パターンごとの解析の変化について詳述する。

## 4.2.1連濁による濁音化

表 8 に示したとおり，連濁パターンを導入した場合，新たに正しく解析できるような表現がある一方で, 解析結果が悪化する表現が長音文字や小書き文字の置換・插ルールと比べ多く存在する。これは，長音文字や小書き文字を含む形態素はもともと非常に少ないのに対し，濁音を含む形態素は多く存在しているため，濁音が含まれているからといって連濁による濁音化であるケースが限定的であるためと考えられる．表 9 に連濁ルールを導入することにより解析結果が変化した例を示す。解析結果の変化を示した表において/’は形態素区切りを，太字は解析結果が正解と一致していることを表す。「はさみ」が濁音化した形態素「ばさみ」や「ためし」が濁音化した形態素「だめし」など正しく認識できるようになった表現がある一方で，本来, 格助詞「が」と形容詞「ない」から構成される「がない」という文字列を「かない」が濁音
化した表現であると誤って解析されてしまうような表現が 8 例存在した。このような例を改善するためには，連濁化に関する静的な情報を活用して連濁処理の対象を制限することが考えられる。たとえば UniDic には連濁によって濁音化する語の情報が登録されておりこれを利用することが考えられる.

## 4.2.2 長音文字の置換

長音文字を置換するルールを導入することで解析結果が変化した例を表 10 に示す。もともと正しく解析できていた表現がルールを導入することにより解析できなくなった例は存在せず，周辺の解析結果が悪化したものが「OK だよ〜ん」の1例のみ存在した。この例ではいずれも形態素区切りは誤っているものの, ベースラインモデルでは「だをを判定詞であると解析できていたものが，提案手法を用いた場合は普通名詞であると解析されたため，解析結果が悪化したと判定した。

## 4.2.3 小書き文字の置換

小書き文字を置換するルールを導入することで解析結果が変化した例を表 11 に示す．長音記号の場合と同様にもともと正しく解析できていた表現がルールを導入することにより解析できなくなった例は存在せず，周辺の解析結果が悪化したものが「ゆみいの布団」の 1 例のみ存在した. この例でベースラインモデルでは格助詞であると正しく解析できていた「の」が，「いの」 という地名の一部であると解析されたため, 解析結果が悪化したと判定した. また，小書き文字を置換するルールを導入することで解析結果が改善した箇所の推定数は 10 万文あたり 1,374

表 9 連濁ルールを導入することで解析結果が変化した例

 &  &  &  \\

表 10 長音文字を置換するルールを導入することで解析結果が変化した例

 &  &  &  \\

箇所であり, 全未知語タイプの中でもっとも多く, ほぼ悪影響もないことから, 非常に有用なルールであると言える。

## 4.2.4 長音文字の挿入

挿入されたと考えられる長音文字を削除するルールを導入することで解析結果が変化した例を表 12 に示す. 長音文字の挿入に対処することで解析が悪化した例は存在せず，「苦〜い」や 「ぜーんぶ」など多くの表現が正しく解析できるようになった. 長音文字を削除するルールを導入することで解析結果が改善した箇所の推定数は 10 万文あたり 1,093 箇所であり，小書き文字の置換ルールに次いで多かった。解析結果が悪化した事例は確認できなかったことから, 非常に有用性の高いルールであると言える.

## 4.2.5 小書き文字の挿入

挿入されたと考えられる小書き文字を削除するルールを導入することで解析結果が変化した例を表 13 に示す。長音文字の挿入の場合と同様に小書き文字に対処することで解析が悪化した例は存在せず，「さあん」や「でしたあああ」など小書き文字の插入を含む表現が正しく解析できるようになった.

表 11 小書き文字を置換するルールを導入することで解析結果が変化した例

 &  &  &  \\

表 12 長音文字を削除するルールを導入することで解析結果が変化した例

 &  &  &  \\

表 13 小書き文字を削除するルールを導入することで解析結果が変化した例

 &  &  &  \\

## 4.2.6 反復型オノマトペ

反復型オノマトぺの認識パターンを導入することで解析結果が変化した例を表 14 に示す. 解析結果に変化があった 100 箇所中, 感動詞の反復である「あらあら」と「うんうん」の 2 例は誤ってオノマトぺであると解析されたものであったが，この 2 例以外には解析が悪化した事例はなかった. 反復型オノマトぺの認識パターンを導入することで解析結果が改善した箇所の推定数は 10 万文あたり 860 箇所であり, 小書き文字の置換ルール, 長音文字の削除ルールに次いで多かった。

## 4.2.7 非反復型オノマトペ

非反復型オノマトぺの認識パターンを導入することで解析結果が変化した例を表 15 に示す.解析結果が悪化した例は存在せず，「のっちょり」などのように本来オノマトぺではない表現を誤ってオノマトペであると解析した例は存在したが, それらはいずれもべースライン手法でも正しく解析できない表現であった。また, 非反復型オノマトぺの処理を行うことによる速度の低下は確認できなかった．生成される形態素ラティスのノード数の増加率が $0.008 \%$ にどまっていることから, 正しいオノマトペ以外にはほとんどパターンに該当する文字列が存在しなかったためであると考えられる.

表 14 反復型オノマトペパターンを導入することで解析結果が変化した例

表 15 非反復型オノマトペパターンを導入することで解析結果が変化した例

## 5 まとめ

本論文では，形態素解析で使用する辞書に含まれる語から派生した未知表記，および，未知オノマトペを対象とした日本語形態素解析における効率的な未知語処理手法を提案した. Web から収集した 10 万文を対象とした実験の結果，既存の形態素解析システムに提案手法を導入することにより，解析が悪化した箇所は 80 箇所程度，速度低下は $6 \%$ みみ゙あったのに対し，新たに約 4,500 個程度の未知語を正しく認識できることを確認した。特に，長音文字・小書き文字の置換・挿入に関するルールのみを導入した場合, 10 万文あたり推定 3,327 個の未知語を新たに解析できるようになるのに対し，悪化する箇所は推定 27 個であり，ほとんど解析結果に悪影響を与えることなく多くの未知語を解析できることが確認できた. 今後の展望としては, 各形態素の生起コストや連接コストを機械学習を用いて推定した形態素解析システムへの応用や,特に連濁現象への対処として UniDic などのように多くの表記バリエーションの情報が付与された辞書と組み合わせることなどが考えられる。

## 参考文献

Asahara, M. and Matsumoto, Y. (2000). "Extended Models and Tools for High-performance Part-of-speech Tagger." In Proceedigs of COLING'00, pp. 21-27.

Asahara, M. and Matsumoto, Y. (2004). "Japanese Unknown Word Identification by Characterbased Chunking." In Proceedigs of COLING'04, pp. 459-465.

東藍, 浅原正幸, 松本裕治 (2006). 条件付確率場による日本語未知語処理. 情報処理学会研究報告, 自然言語処理研究会報告 2006-NL-173, pp. 67-74.

伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵 (2007). コーパス日本語学のための言語資源：形態素解析用電子化辞書の開発とその応用. 日本語科学, $\mathbf{2 2}$, pp. 101-122.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2006). "Contextual Dependencies in Unsupervised Word Segmentation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 673-680.

橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明 (2011). 構文・照応・評判情報つきブログコーパスの構築. 自然言語処理, $18(2)$, pp. 175-201.

池田和史, 柳原正, 松本一則, 滝嶋康弘 (2010). くだけた表現を高精度に解析するための正規化ルール自動生成手法. 情報処理学会論文誌データベース, $\mathbf{3}(3)$, pp. 68-77.

Kacmarcik, G., Brockett, C., and Suzuki, H. (2000). "Robust Segmentation of Japanese Text
into a Lattice for Parsing." In Proceedigs of COLING'00, pp. 390-396.

筧寿雄，田守育啓 (1993). オノマトピア一擬音・擬態語の楽園. 勁草書房.

風間淳一, 光石豊, 牧野貴樹, 鳥澤健太郎, 松田晃一, 辻井潤一 (1999). チャットのための日

本語形態素解析. 言語処理学会第 5 回年次大会発表論文集, pp. 509-512.

工藤拓，市川宙，Talbot, D., 賀沢秀人 (2012). Web 上のひらがな交じり文に頑健な形態素解析.言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedigs of EMNLP'04, pp. 230-237.

Kurohashi, S., Nakamura, T., Matsumoto, Y., and Nagao, M. (1994). "Improvements of Japanese Morphological Analyzer JUMAN." In Proceedigs of The International Workshop on Sharable Natural Language Resources, pp. 22-38.

Lyman, B. S. (1894). The Change from Surd to Sonant in Japanese Compounds. Philadelphia: Oriental Club of Philadelphia.

Mochihashi, D., Yamada, T., and Ueda, N. (2009). "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling." In Proceedigs of ACL-IJCNLP'09, pp. 100-108.

Mori, S. and Nagao, M. (1996). "Word Extraction from Corpora and Its Part-of-Speech Estimation Using Distributional Analysis." In Proceedigs of COLING'96, pp. 1119-1122.

Murawaki, Y. and Kurohashi, S. (2008). "Online Acquisition of Japanese Unknown Morphemes using Morphological Constraints." In Proceedigs of EMNLP'08, pp. 429-437.

Nagata, M. (1999). "A Part of Speech Estimation Method for Japanese Unknown Words using a Statistical Model of Morphology and Context." In Proceedigs of ACL'99, pp. 277-284.

Nakagawa, T. and Uchimoto, K. (2007). "A Hybrid Approach to Word Segmentation and POS Tagging." In Proceedigs of $A C L^{\prime} 07$, pp. 217-220.

岡部浩司, 河原大輔, 黒橋禎夫 (2007). 代表表記による自然言語リソースの整備. 言語処理学会第 13 回年次大会, pp. 606-609.

斉藤いつみ, 貞光九月, 浅野久子, 松尾義博 (2013). 正規-崩れ表記のアライメントに基づく表記崩れパタンの抽出と形態素解析への導入. 情報処理学会研究報告, 自然言語処理研究会報告 2013-NL-214, pp. 1-9.

斉藤いつみ, 貞光九月, 浅野久子, 松尾義博 (2014). 正規-崩れ文字列アライメントと文字種変換を用いた崩れ表記正規化に基づく日本語形態素解析. 言語処理学会第 18 回年次大会発表論文集, pp. 777-780.

Shinzato, K., Shibata, T., Kawahara, D., Hashimoto, C., and Kurohashi, S. (2008). "TSUBAKI: An Open Search Engine Infrastructure for Developing New Information Access Methodol-
ogy." In Proceedigs of IJCNLP'08, pp. 189-196.

Uchimoto, K., Sekine, S., and Isahara, H. (2001). "The Unknown Word Problem: A Morphological Analysis of Japanese using Maximum Entropy Aided by a Dictionary." In Proceedigs of EMNLP'01, pp. 91-99.

## 付録

## A 濁音化した形態素の生起コスト

濁音化した形態素の生起コストは，濁音化する前の形態素に付与されているコストに，次表に示すコストを加算することにより与える.

濁音化する前の形態素のコストは表記ごとに与えられ, JUMAN5.1 では名詞, 動詞などといった内容語の多くは100，または，160のコストが付与されている．たとえば，動詞「座る」の平仮名表記である「すわる」のコストは 100 であるので，その連用形が濁音化した「ずわり」のコストは 170 , 名詞「虫」の平仮名表記である「かいこ」のコストは 160 であるので, 「がいこ」 のコストは 270 となる．ここで，“が”から始まる語に大きな加算コストを与えているのは，格助詞「が」を誤って濁音化した形態素の先頭であると解析されないようにするためである.

## B長音記号・小書き文字が置換・挿入された形態素の生起コスト

長音記号・小書き文字を置換・挿入することにより生成された形態素の生起コストは, 置換・插入前の形態素に付与されている生起コストに, 次表に示すコストを加算することにより与える.

ここで品詞コストとは, 品詞ごとに定義されたコストであり, 対象の品詞に属する形態素の標準的な生起コストを表している. JUMAN5.1 のデフォルトでは判定詞の場合には 11 , 感動詞の場合には 110 , 動詞, 普通名詞, 形容詞, 副詞には 100 , 副詞的名詞には 70 などのコストが

与えられている. たとえば, 普通名詞「あなた」の生起コストが 100 , 普通名詞の品詞コストが 100 であることから, 「あなた」という形態素の生起コストは 160 , 感動詞「もしもし」の生起コストは 110 , 感動詞の品詞コストは 110 であることから, 「もしも〜し」という形態素の生起コストは 176 となる.

## C 反復型オノマトペの生起コスト

反復型オノマトペ $w$ の生起コストは以下の式により与える.

$
\text { cost }=L E N(w) \times 130-f_{v}(w) \times 10-f_{p}(w) \times 40-f_{k}(w) \times 20
$

ただし，

$L E N(w): w$ に含まれる繰り返し文字数（ただし，ここでは「きゃ」などの開拗音は全体で 1 文字として扱う)

$f_{v}(w): w$ の先頭の文字が濁点または半濁点を含むなら 2 ，それ以外の文字が濁点または半濁点を含むなら 1 , それ以外は 0 となる関数

$f_{p}(w): w$ が開拗音を含むなら 1 , それ以外は 0 となる関数 $f_{k}(w): w$ が片仮名であるなら 1 , それ以外は 0 となる関数とする。

すなわち，基本的に繰り返し文字数 1 つにつき 130 のコストを与えるが，先頭の文字が濁点・半濁点を含む場合は 20 , それ以外の文字が濁点・半濁点を含む場合は 10 , 開拗音を含む場合は 40, 片仮名である場合は 20 , それぞれコストを小さくする。これは，オノマトぺは濁点・半濁点, 開拗音を含む場合が多く, また, 片仮名で表記されることが多いためである．たとえば,「ぐちょぐちょ」という形態素であれば, 繰り返し音数は 2 で最初の文字が濁点を含みで，かつ，開拗音を含むので，生起コストは 260 から 20 と 40 を引た 200 となる.

## D 非反復型オノマトペの生成に使用した平仮名, 片仮名の一覧

 \\

## 略歴

笹野遼平 : 2009 年東京大学大学院情報理工学系研究科博士課程修了. 博士 (情報理工学). 京都大学大学院情報学研究科特定研究員を経て 2010 年より東京工業大学精密工学研究所助教. 自然言語処理, 特に照応解析, 述語項構造解析の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

黒橋禎夫: 1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を受賞. 2014 年より日本学術会議連携会員.

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在に至る. 工学博士. 自然言語処理, 知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマイニングに関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会, AAAI, 言語処理学会, ACL, 認知科学会, 計量国語学会各会員.