読み推定のための教師なし単語分割

入力文字列を単語やトークン系列へ分割する単語分割やトークナイズは自然言語処理における基盤技術の1つである．従来はMeCab1）やKyTea[1]をはじめとする形態素解析が用いられてきたが，近年のニューラルネットをベースとした自然言語処理においてはより語彙数を抑えるために単語よりも短い単位であるトークン単位に分割するSentencepiece[2]などのトークナイザが用いられる．特に入出力が共にテキストであるようなシステムでは，内部的に扱うトークンが単語である必要はなく，コーパスから情報理論的に適した単位に分割する方が都合が良い．しかしながら，対話システムやテキスト読み上げでは，単純にトークンのみではなく，その発音や読みの情報が必要となる．こうしたタスクにおいては従来の形態素解析を用いた単語の読み情報が必要となる．例えばOpenJTalk2）では内部的に辞書にアクセント情報を追加したMeCabが用いられており，解析結果の読みを利用している．読みを推定する形態素解析手法は教師あり学習を用いており，学習には単語境界に加えて正しい読みの情報を付与したコーパスが必要となる．しかし1）https://taku910.github.io/mecab/2）https://open-jtalk.sp.nitech.ac.jpながら，人手による読み情報の付与はコストが大きく，日本語においては京大コーパスやBCCWJコーパスのコアデータなどの書き言葉を対象とした一部の言語資源に限られる．正しい読みの付与されたコーパスが入手しにくい一方で，読みの付与された単語辞書は多数存在している．一例として，岩波国語辞典大五版コーパスには約5万6千の辞書項目が含まれており，見出しとして各語のかな表記が与えられている．また，オープンな辞書としてはChaSenやMeCabで利用されているIPA辞書や，それに多数の新語を加えたmecab-ipa-NEologd[3]がある．同様に，各種アノテーションの行われていない生コーパスであれば，有志によってウェブ上の文書を収集しているCommonCrawl3）のスナップショットや，それをベースにクリーニングを行った各種コーパスが公開されており，大規模なコーパスが利用可能である．そこで，本研究では上記の入手可能な言語資源を用いて，教師なしで読みと単語分割の学習を行う手法を提案する．具体的には，生コーパスと読みの付与された単語辞書を用いて，読みを潜在変数とした隠れセミマルコフモデルの教師なし学習を行い，読みと単語分割の同時確率を推定する．