関西方言を対象とした形態素解析用辞書の開発

今日、自然言語処理タスクの多くがEnd-to-Endの処理で行われるようになり、従来に比べて形態素解析の重要性は低下してきた。しかし、言語研究にとって個々の語に付与された単語情報は極めて重要な手がかりになるものであり、形態素解析済みのコーパスは欠かせないものである。近年では、日本語の歴史研究や方言研究など、多様な日本語のバリエーションを扱うコーパスの整備が課題となっている。歴史的な資料の形態素解析については、『日本語歴史コーパス』（CHJ）1）の整備に伴って各時代別のUniDicが整備され、概ね各時代の資料の実用的な精度での解析が可能になっている[1]2）。一方、方言資料の形態素解析はほとんど手つかずであり、後述する「日本語諸方言コーパス」では方言の書き起こしテキストについては解析を行わず、それに対応する標準語訳テキストに形態素解析を施すにとどまっている。そのため、日本各地の方言の書き起こしテキストを直接解析することのできる辞書の整備が求1）https://clrd.ninjal.ac.jp/chj/2）https://clrd.ninjal.ac.jp/unidic/downloadall.html#unidicchjめられている。そこで、発表者らはUniDicをベースとして日本語諸方言の形態素解析を行うための辞書の開発を開始した。本発表は、日本語諸方言の形態素解析の最初の試みとして、比較的テキストの入手がしやすい関西方言について、UniDic短単位での形態素解析を可能にする辞書の構築を行ったものである。