関西方言を対象とした形態素解析用辞書の拡張

自然言語処理タスクの多くがEnd-to-Endの処理で行われるようになった今日でも、形態素解析は言語研究にとって研究対象のデータを分析するための重要な手がかりが得られる手段として重要である。形態素解析済みのコーパスは、言語研究において欠かすことのできないものとなっている。国立国語研究所が公開している各種コーパスは、短単位という統一された基準の下でアノテーションが行われており、現代語の書き言葉、話し言葉から各時代の歴史的な日本語資料までが揃っており、日本語の研究に幅広く使われている。こうしたコーパスの整備のために、各種の日本語のバリエーションのための形態素解析用辞書UniDicシリーズが整備・公開されてきた1）。UniDicはもともと日本語研究を目的に設計されたものであり、斉一な見出し語単位、階層化された見出し語構造や語種情報の付与などの言語研究に適した特徴を持っている。また、『日本語歴史コーパス』（CHJ）の整備に伴って各時代別のUniDicが整備され、概ね各時代の資料の実用的な精度での解析が可能になっている[1]。一方で、各地の方言のテキストを解析することが1）https://clrd.ninjal.ac.jp/unidic/downloadall.htmlできる辞書はなく、その整備が望まれている。こうした背景から、発表者らは現代語用のUniDic[2]をベースとして、関西方言を対象とした形態素解析用の辞書の開発を行ってきた（小木曽ほか2024）[3]。ここで開発した関西弁UniDicを用いることで、関西方言の書き起こしテキストを、既存の話し言葉用のUniDicで解析した場合よりも高い精度で解析することが可能になった。しかし、学習用コーパスのサイズが小さいこと、見出し語（特に方言特有の機能語）の整備が不十分であることから、標準語を対象とした形態素解析の精度と比べると未だ十分とは言えないものであった。そこで、本研究では、新たに整備した「短単位版関西弁コーパス」[4]を学習用のコーパスとして用い、関西方言に見られる助詞・助動詞をはじめとする見出し語を追加整備することで、より高い精度の解析を行うことを目指した。