MonakaによるBCCWJ2における長単位情報の付与支援

2024年度から開始された「信頼できる言語資源としての現代日本語の保存・活用のためのデジタル基盤整備事業」において現代日本語書き言葉均衡コーパス(BCCWJ)の拡張を行っている．この拡張をBCCWJ2と呼ぶ．この拡張の背景としては，これまでのBCCWJが10年以上前のデータであるためより新しいデータが望まれることと，コーパスの規模自体の拡充の必要性がある[1]．BCCWJ2では効率的に短期間で集中してコーパスを整備していく必要から，簡素化やアウトソーシングなどが行われているが，効率的なコアデータの作成と，精度の高い非コアデータの提供の観点から，効率的な形態論情報の付与も望まれる．国立国語研究所(以下，国語研)が定義する形態論情報は，短単位語と長単位語の二種類からなるが，短単位に関してはUniDic辞書[2]を用いたMeCabによって高精度での解析が可能である．BCCWJ2の作成においては，コアデータに対してUniDic辞書のエントリー追加も行われる見込みであり，これにより非コアデータの解析精度向上も期待されるところである．一方，長単位においては，BCCWJ作成り，語数の括弧内はコアデータでの語数)サブコーパスレジスター語数(万)出版書籍(PB)2,855(23)雑誌(PM)444(36)新聞(PN)137(24)図書館書籍(LB)3,038特定目的白書(OW)488(23)教科書(OT)93広報紙(OP)376ベストセラー(OB)374Yahoo!知恵袋(OC)1,026(11)Yahoo!ブログ(OY)1,019(12)韻文(OV)23法律(OL)108国会会議録(OM)510時にはComainuが用いられていたところ，BCCWJ2においては深層学習ベースの長単位解析器であるMonaka1）を用いることとなった．そこで，BCCWJのコアデータを学習・評価データとした詳細なモデルチューニングを行った．モデルチューニングにおいては，特に昨今の日本語で学習された事前学習済み言語モデルの精度等を比較した．本稿では，これらの結果と，BCCWJ2における評価について述べる．