BERTによる辞書推定システムを用いた近代以前の日本語文書の形態素解析の精度向上

日本には数多くの近代以前の日本語文書が存在している．未知の近代以前の日本語文書に対して形態素解析を行う際，専門家であっても文書がどの時代のもので，どのような文体の文書であるかを判断するのが難しい場合がある．このような場合において，通常は中古和文用の辞書を用いることが多い．これは中古，古典文学作品が成立した平安時代の古典文学が代表的なものであり，またその文体を継承して書かれた文献の量が多いためである．だが，このような場合において正しい辞書を用いることが出来れば，より正確な形態素解析が可能になる．本論文ではこのような場合に対し，文書分類システムを使用して適切な辞書を選択する方法を提案する．本研究では，BERTを使用した文書分類システムが文書の時代や文体を正しく特定できることを示し，推定された時代や文体に基づいた適切な辞書を使用することで，形態素解析の性能が大幅に向上することを実証した．