日本語BERTモデルによる近代文の誤り訂正

近代，すなわち明治時代（1868）から昭和初期（1945）までの歴史は日本に対して大きな変化を与えた．近世から現代までのかけ橋として，当時の教育，経済，政治，および文化は現在の日本にも影響している．その当時の紙資料は今でも数多く保管され，重要な価値を持っている．古文書であれば，従来は人手によって手書きの文章を解読し，現代文に書き換えて出版していたが，現在では，紙の資料を画像化し，人工知能に基づく手法を用いて，自動的に文字列に変換する方法が用いられている．しかし残念ながら，現在古文書のテキスト化は手書き字やくずし文字で保存された江戸時代の古典籍を対象とした研究がメインとになっており[1,2,3]，活字体である近代の出版物に対しての研究はほとんど見当たらない．そこで，近代の文書をテキスト化する研究をおこないたいと考えた．画像からテキストを変換するには光学文字認識(OpticalCharacterRecognition;OCR)を利用するのが一般的だが，文書の保存状況やフォントの違いと異ihttps://github.com/ducanh841988/Kindai-OCRiihttps://github.com/ndl-lab/ndlocr_cli体字の使用[4]，および利用したOCRなどによって，識別の精度が大きく変わる一方，現代文のテキスト化と比べ，近代文のテキスト化精度はまだ高くない．正確な文章を得るためには，OCRの識別エラーに対して，校正を行う必要がある．近代文書のテキストにおいて，従来は主に人手より文字入力および校正が行われているが，近年ではOCRを用いての自動テキスト化と人手校正を組み合わせる手法を用いられた．しかし，文字が不鮮明のため脱字が発生する場合や，OCRの学習データ不足のため識別できない文字がある場合が散見される，その一例を図1に示す．それに対して，増田[4]は言語情報および字形情報を同時に考慮したOCR訂正手法を提案した．しかし，近代文書における誤り検出の困難さにより，テキスト全体の訂正率にはあまり寄与しなかった．また近代文コーパスで学習したKindai-OCRi[5]，NDLOCRiiを開発したが，近代資料で実際に検証した結果，識別精度はまだ改善する余地があることが示された．近年OCRの誤り訂正タスクにおいて，BERTiiiモデルを用いる手法を見られる．BERTモデル[6]は，iiihttps://github.com/google-research/bert.Google社が提出した事前学習済み言語モデルであり，ほかの言語モデルと比べ，文脈を考慮した単語の分散表現を獲得する特徴がある．BERTを用いた手法は分類タスク，質問応答などを含む様々なタスクにおいて優れた結果を示した[6]．誤り検出と誤り訂正のタスクにおいても，BERTが有効であることが確認されている．Kanekoら[7]は，文法誤り訂正(GEC)タスクにおいてBERTを組み込むことで，優れた結果を得た．Yamakoshiら[8]はBERTをベースにした分類器を使用し，日本語の法律用語の誤りの検出と訂正タスクにおいて，他のモデルを上回る性能が出せることを示した．近代文の識別誤りにおいても，事前学習済みBERTモデルが有効と予想される．上記のタスクでは代表的な事前学習済みの汎用型日本語BERTモデルである東北大BERTivと京大BERTv[9]を利用した．ほかにNICTviやLaboro社viiによりいくつかの日本語BERTモデルも公開されている．それらのモデルは主に日本語Wikipediaをコーパスとして学習し，ほかに経済新聞やインターネット上のオープンデータから学習しているモデルもあるが，いずれも現代文を用いて訓練したモデルであり安易に近代文に適応しても良い結果は得られないと予想される．近代文用のBERTとしては青空文庫(2020年時点)で事前学習したモデルviiiがある．ただし，青空文庫の多数は，新字新仮名で書かれたものである．その中に同じ文章を新字新仮名と旧字旧仮名２つのバージョンが同時に存在する場合もある．青空文庫BERTはそれらのデータを現代文として学習に利用しているため，近代文に対する性能は高くないと予想される．そこで，本研究は新たな近代文データセットを収集し，近代文用のBERTモデルを構築する．また近代文の誤り訂正データセットで微調整学習(fine-tuning)する．最後に，モデルの誤り訂正性能を検証する．さらに，近代文モデルと既存の現代文モデルをそれぞれ近代文と現代文の誤り訂正データセットを用いて比較実験を行う．ivhttps://github.com/cl-tohoku/bert-japanesevhttps://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanesevihttps://alaginrc.nict.go.jp/nict-bert/viihttps://laboro.ai/activity/column/engineer/laboro-bert/viiihttps://github.com/akirakubo/bert-japanese-aozoraixhttps://www.ninjal.ac.jp/xhttps://www.aozora.gr.jp/