T5を用いた古文から現代文への翻訳

本稿ではT5を用いて，日本語の古文から現代文への翻訳を行う．日本語の古文から現代文への翻訳の先行研究には，統計的機械翻訳[1]とニューラル機械翻訳[2]による研究があるが，このうちのニューラル機械翻訳による研究はLSTM(LongShortTermMemory)を用いており，統計的機械翻訳の結果を超えることはできなかった．ニューラル機械翻訳は小規模なコーパスではよい結果が得られないとされており[3]，古文と現代文のパラレルコーパスは小規模であることが、ニューラル機械翻訳を用いた先行研究の性能の低さの主因であると考えられる．一方で，深層学習はLSTMの後にも大きな進歩を見せており，2018年にGPT[4]やBERT[5]が公開され，これらを受けてT5[6]が2019年に発表された．これらのモデルは大規模なコーパスを用いて事前学習を行っているため，言語的知識を有していると考えられ，これをFine-tuningすることでデータが少ないタスクでも性能の高いモデルが作成可能になった．本稿ではこの事前学習済みモデルであるT5を用いて，古文から現代文への翻訳を行う．古文と現代文のパラレルコーパスは小規模であるため，LSTMを用いた研究においては十分な結果が得られなかったが，事前学習済みモデルを用いることでデータの少なさを補完できる可能性があると考える．本稿では，日本語の古文から現代文への機械翻訳において，T5を用いることにより統計的機械翻訳に迫る結果を得られることを示す．