T5 を用いた古文から現代文への翻訳
臼井久生 1 古宮嘉那子 2
東京農工大学工学部知能情報システム工学科 1
東京農工大学大学院生物システム応用科学府 2s190260u@st.go.tuat.ac.jp1 kkomiya@go.tuat.ac.jp2

概要

本稿ではこの事前学習済みモデルである T5 を用いて，古文から現代文への翻訳を行う．古文と現代

本稿では，日本語の事前学習済み T5 モデルを用

文のパラレルコーパスは小規模であるため，LSTMいて古文から現代文への翻訳を行う．ﬁne-tuning には，奈良時代から江戸時代までの文献の，古文と現を用いた研究においては十分な結果が得られなかったが，事前学習済みモデルを用いることでデータの代語訳のパラレルデータを利用した．また複数の青少なさを補完できる可能性があると考える．本稿で空文庫の作品を利用し，逆翻訳により疑似パラレルは，日本語の古文から現代文への機械翻訳においデータを作成し，これを ﬁne-tuning の学習データとて，T5 を用いることにより統計的機械翻訳に迫るして追加的に利用することで，翻訳の性能に効果が結果を得られることを示す．

あるかを検証した．実験の結果，正規のパラレルデータのみで行った場合は BLEU 値が 27.73 となり，2関連研究古文の現代語への機械翻訳の例は，星野ら [1] の統計的機械翻訳に迫る結果となった．また逆翻訳による疑似パラレルデータも用いた場合は BLEU 値が統計的機械翻訳と，高久ら [2] の LSTM，Transformer23.81 となり，古文の翻訳に逆翻訳による疑似パラで行った例がある．星野らは古文と現代文の 86,684

レルデータの利用は有効でないことが分かった．

文のコーパスを段落ごとに区切ったものを用いて，1はじめに統計的機械翻訳を行った．高久らは LSTM を用いて，同じコーパスを現代から古代に向けて遡りなが本稿では T5 を用いて，日本語の古文から現代文への翻訳を行う．日本語の古文から現代文への翻ら学習を行い，ニューラル機械翻訳を行った．結果
は，統計的機械翻訳では 28.02，LSTM では 19.95 で訳の先行研究には，統計的機械翻訳 [1] とニューラあった．

ル機械翻訳 [2] による研究があるが，このうちのT5 を用いた翻訳の先行研究には Emezue ら [7] のニューラル機械翻訳による研究は LSTM(Long Short

例がある．これは，mt5 を用いてアフリカの言語でTerm Memory) を用いており，統計的機械翻訳の結果あるコサ語，ヨルバ語，イボ語などを英語やフランを超えることはできなかった．ニューラル機械翻訳

ス語に翻訳したものである．これらのアフリカの言は小規模なコーパスではよい結果が得られないとさ語はデータ数が少なく，最も多いコサ語で 158,660れており [3]，古文と現代文のパラレルコーパスは件 で あ り，英 語 と の パ ラ レ ル コ ー パ ス は 137,000

小規模であることが、ニューラル機械翻訳を用いた件ほどであった．コサ語の英語翻訳の BLEU 値は先行研究の性能の低さの主因であると考えられる．

30.25 であった．

一方で，深層学習は LSTM の後にも大きな進歩を3T5 を用いた古文から現代文への見せており，2018 年に GPT[4] や BERT[5] が公開さ翻訳れ，これらを受けて T5[6] が 2019 年に発表された．

T5 とは，Transformer[8] をベースにして，C4 といこれらのモデルは大規模なコーパスを用いて事前学習を行っているため，言語的知識を有しているとうコーパスを用いて事前学習を行ったモデルである．この C4 はウェブクロールしたデータを整形し考えられ，これを Fine-tuning することでデータがたものであり，このように高品質なデータを利用し少ないタスクでも性能の高いモデルが作成可能にたことと事前学習手法，ファインチューニング手法なった．の調整によって T5 は 2019 年当時 26 種のタスクで最高性能を達成した．
本稿では日本語データで作成された T5 である

5.1

古文データを用いた実験

sonoisa/t5-base-japanese を用いて，古文の現代文への古文と現代文のパラレルデータを用いて T5 の翻訳を行った．Fine-tuning の際は，古文を学習デー

ﬁne-tuning を行った．この実験において調整を行っ

タ，現代文を教師データとして学習を行い，古文たパラメータは，学習率とエポック数，repetitionを入力して現代文を出力するようにモデルを作成

penalty である．まず学習率とエポック数の組み合わする．

せについて実験を行ってこれらを決定し，次に学習4

データ
本稿では星野ら [1] が抽出したパラレルコーパス

率と repetititon penalty の組み合わせについて実験を行って repetition penalty を選定した．
学習率，エポック数

学習率とエポック数の設定を用いる．このコーパスは古文作品とそれに対しては，repetition penalty を固定し，最も BLEU 値が高く人手で付与した現代語翻訳文が対になっている．こなる組み合わせを探索した．この際，学習率は対のコーパスは近代，鎌倉，平安の 3 時代の作品デー数スケールでおおよそ均等になるように設定した．

タで構成される通時コーパスであり，時代の内訳は(近代: 鎌倉: 平安)=(4,577:30,075:52,032) 文対である．

penalty は 5 とした．

表 1 に組み合わせの候補を示す．なお，repetition

このコーパスは全 86,684 文対であり, 中には一つの表 1 エポック数と学習率の組み合わせ

古文に対して複数の現代語翻訳が対応しているものも含まれる．データの分割割合は，高久ら [2] にならい，(学習: 開発: テスト)=(82,591:2,000:2,093) 文対に分割をした．分割の偏りを避ける為に分割の際にはランダムに分割を行った．コーパスの単語分割には MeCab v0.9961）を使用し，古文側には中古和文
UniDic v1.32），現代文側には UniDic v2.3.03）を辞書として利用した．

5実験
本稿では，T5 モデルを用いて古文から現代文への翻訳を行う．4 節で示したパラレルデータの古文を入力とし，現代文を出力として学習データをシステムに与え，Fine-tuning を行う．評価の際は学習したモデルに古文データを与え，出力した現代文翻訳データと正解となる現代文データで BLEU値を算出した．T5 のモデルは transformers ライブ
ラリの sonoisa/t5-base-japanese4）を利用し，Automodelで指定した．また，Tokenizer には Autotokenizer でsonoisa/t5-base-japanese を 指 定 し た．BLEU 値 の 算
出には evaluate ライブラリの sacrebleu5）[9] を利用した．

エポック数

学習率

エポック数

学習率

10.00001
0.00010.000150.00020.00030.00040.00050.00070.000890.001
0.0015
0.002
0.003
0.01

5

0.00020.00030.00040.00050.00070.000890.000089
0.00010.000150.00020.00030.0004

repetition penalty

10

repetition penalty は，生成の際の繰り返しに対してペナルティを与えるパラメータである [10]．エポック数と学習率を固定し，repetition penalty について grid search を行った．学習率の候補は 0.0001，0.0002，0.0003，0.0004 とし，repetition penalty の候補は 1 から 10 までの 1 刻み
及び 1.1 から 2.5 まで 0.1 刻みとした．また，これら二つの実験から，学習率，エポック数，repetitionpenalty を決定し，最終的な実験を行った．

5.2

逆翻訳データを用いた実験

5.1 節の小学館コーパスから抽出した正規のパラ
1） https://taku910.github.io/mecab/2） https://clrd.ninjal.ac.jp/unidic/3） https://clrd.ninjal.ac.jp/unidic/4） https://huggingface.co/sonoisa/t5-base-japanese5） https://huggingface.co/spaces/evaluate-metric/sacrebleu

レルデータのみによる学習の実験に加えて，逆翻訳データを学習データに加えた実験を行った．逆翻訳データの作成には，古文から現代文への翻訳同様，sonoisa/japanese-t5-base を用いた．パラメータは，予備実験の結果，学習率を 0.0002, エポック数を 5，件の逆翻訳データとすべての正規のパラレルデータ

repetition penalty を 1.5 に設定した．予備実験の結果を与えて学習する．結果的に，逆翻訳データは 1 エは付録の表 8 に示した．学習データを現代文，正解ポック，正規のパラレルデータは 4 エポック回した

データを古文として現代文からの古文生成モデルを計算となる．

作成し，これに青空文庫から取得した複数の著者による複数の書籍データを入力として与え，古文訳を出力した．このデータは句点区切りで，全 522,801件であった．この出力した古文と現代文をペアと6

結果

6.1

古文データを用いた実験の結果し，疑似パラレルデータとして新たに古文から現代各エポック数でもっとも BLEU 値が高かった際の文への翻訳システムの学習を行った．この際，学習BLEU 値をその際の学習率とともに表 3 に示す．そ率を 0.0001，repetition penalty を 2.3 とした．の他を含むすべての結果は付録の表 7 に示す．

また，逆翻訳による疑似パラレルデータをパラレ
表 3 各エポック数の最良の BLEU 値

ルデータと併用するにあたり，データを与える順番と正規のパラレルデータを与える回数を以下のように変えて実験した．
学習方法 1)すべての逆翻訳データの次にすべての正エポック数

学習率

BLEU 値

15100.0004
0.00030.0001

25.59
28.23
28.50

規のパラレルデータを与え，1 エポック回す．

学習率と repetition penalty の実験における最高の学習方法 2)逆翻訳データを 𝑛 分割し，分割したファ

BLEU 値は表 4 のようになった．すべての結果は付

イルの途中にすべての正規のパラレル録の表 9 に示す．また，その時のグラフを付録の図データを与えて学習する．結果として，1, 図 2 に示す．

逆翻訳データは 1 エポック，正規のパ表 4 各学習率の最良の BLEU 値

ラレルデータは 𝑛 エポック回す計算となる．
学習方法 2 は，正規のパラレルデータを途中途中に挟んで学習することで，翻訳エラーを減らすことを期待して考案したものである．なお，ライブラリの仕様上データは 2 万件の倍数ずつ入力するように学習率

repetition penalty

BLEU 値0.00010.0002
0.00030.0004

2.3
1.9
1.7
2.2

22.80
24.74
25.29
25.41

なっているため，逆翻訳データを 𝑛 分割する際は等

エポック数 10，学習率 0.0001 のパラメータの際分に分割はせず，まず 2 万件の倍数ずつ入力し最後に BLEU 値が最高であることが分かる．また表 4に残りのデータを入力する形で，全件を入力した．の結果から学習率が 0.0002 の際の最高の repetition

そのため，分割数 𝑛 と分割したファイルのデータ件

penalty は 2.3 であることが分かる．そのため，エ数は表 2 のようになる．

ポック数を 10, 学習率を 0.0001，repetition penalty を

表 2 逆翻訳の分割数 𝑛 と，分割後のファイルごとの疑似データ数

2.3 として最終的な学習を行ったところ，BLEU 値は学習手法名

分割数 𝑛

疑似データ数学習手法 2-1
学習手法 2-2学習手法 2-3
学習手法 2-4471327

16 万件
8 万件
4 万件
2 万件

27.38 となった．その際の生成例を表 5 に示す．
表5

而るに、既に講の終る日に成て、道俗男女員不知ず参り集たり。

システムの出力

ところが、講の終る日になり、僧俗・男女が数知れず集ってきた。

正解

さて、いよいよ講の終る日になると、僧俗・男女を問わず、数知れぬほどの人々が参詣してきた。

例えば学習方法 2-1 では，まず逆翻訳データのうち 16 万件を与え，次にすべての正規のパラレルデータを与える．これを三回繰り返す．ここまでで逆翻訳データのうち 48 万件を利用している．逆翻訳データは 522,801 件なので，最後に残りの 42,801

最終実験の翻訳例

入力6.2

逆翻訳データを用いた実験の結果

現代文から古文を生成するモデルの BLEU 値は，能性があると考える．

8まとめ

27.03 であった．また，それぞれのデータの順序と本稿では，事前学習済み日本語 T5 モデルを用い与える回数を変えた学習方法について，結果を表 6て古文から現代文への翻訳を行った．LSTM を利用に示す．

した結果を 7.78 上回る結果となり，事前学習モデ

表 6 逆翻訳データを用いた際のそれぞれの学習方法の最良の BLEU 値

7

学習方法

BLEU 値

12-1
2-2
2-32-4

25.03
20.31
19.95
19.81
19.26

考察
本稿の最良の BLEU 値は 27.38 となった．LSTMの BLEU 値 [2] は 19.95 であるので，これを 7.43 上回っている．このことから，日本語大規模データを用いて事前学習した T5 を用いることによって，データ数の少ない古文の現代文への翻訳に効果があるということが分かる．統計的機械翻訳の BLEU 値[1] は 28.02 であり，残念ながら本研究の結果はこれに 0.64 ポイント及ばなかった．しかし，この差は僅差であり，統計的機械翻訳に迫る結果となった．
逆翻訳データを用いた実験の BLEU 値は，すべて古文データのみを用いた実験の最良の BLEU 値を上回ることはなかった．逆翻訳で生成したデータをチェックしたところ，古文らしいものではなかったため，学習の際にノイズとして働いてしまった可能性があると考えている．また，学習方法２は学習方
法 1 よりも BLEU 値が低くなった．また，分割数を多くすると BLEU 値が下がる結果となった．このことから，逆翻訳データの間に正規のパラレルデータを挟んで学習する手法は有効でないことが分かった．
さらに BLEU 値を上げる為に，エポック数などのパラメータのさらなる調整も考えられるが，本稿で行った調整よりさらに細かいパラメータの調整で BLEU 値が大きく上がることは考え難い．また，データ数を増やすことは，翻訳のプロの人手によるデータの作成に大きな手間がかかる．ただし，日本
語の T5 の large サイズのモデルは筆者らの知る限り公開されていないが，さらに大きな事前学習モデルが公開されれば，統計的機械翻訳の結果を上回る可ルである T5 を用いることでパラレルデータの少なさを補完できることを示した．またこの結果は，関連研究のうちで最も高い BLEU 値を出した統計的機械翻訳のシステム [1] に迫る BLEU 値である．また，青空文庫から逆翻訳データを作成して，これを学習データに追加する実験を行ったが，この手法は古文から現代文への翻訳には有効でないことが分かった．

謝辞
本 研 究 は JSPS 科 研 費 17KK0002， 18K11421，22K12145 の助成を受けたものです．また，国立 国語共同研究プロジェクト 「開かれた共同構築環境による通時コーパスの拡張」「多様な語義資源を統合した研究活用基盤の共創」「アノテーションデー
タを用いた実証的計算心理言語学」の成果です．また，明星大学の横野光先生には先行研究のデータをいただきました．御礼申し上げます．

参考文献[1] 星野翔, 宮尾祐介, 大橋駿介, 相澤彰子, 横野光. 対照
コーパスを用いた古文の現代語機械翻訳. 言語処理学会, 第 20 回年次大会, 2014.
[2] 高久雅史, 平澤寅庄, 小町守, 古宮嘉那子. 通時的な領域適応を行った単語分散表現を利用した古文から現代文へのニューラル機械翻訳. 言語処理学会, 第 26回年次大会, 2020.
[3] Philipp Koehn and Rebecca Knowles. Six challenges forneural machine translation. In Proceedings of the First
Workshop on Neural Machine Translation, pp. 28–39,Vancouver, August 2017. Association for ComputationalLinguistics.
[4] Alec Radford, Karthik Narasimhan, Tim Salimans, andIlya Sutskever. Improving Language Understanding byGenerative Pre-Training.
[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. BERT: Pre-training of Deep Bidirectional
Transformers for Language Understanding, May 2019.
[6] Colin Raﬀel, Noam Shazeer, Adam Roberts, Katherine
Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei
Li, Peter J Liu, et al. Exploring the limits of transfer
learning with a uniﬁed text-to-text transformer. J. Mach.
Learn. Res., Vol. 21, No. 140, pp. 1–67, 2020.
[7] Chris C. Emezue and Bonaventure F. P. Dossou.
MMTAfrica: Multilingual Machine Translation forAfrican Languages, April 2022.
[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser,and Illia Polosukhin. Attention Is All You Need, December
2017.
[9] Matt Post. A call for clarity in reporting BLEU scores.
In Proceedings of the Third Conference on MachineTranslation: Research Papers, pp. 186–191, Belgium,Brussels, October 2018. Association for Computational
Linguistics.
[10] Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney,Caiming Xiong, and Richard Socher. CTRL: A Conditional Transformer Language Model for Controllable Generation, September 2019.

表 7 各学習率とエポック数での BLEU 値(横軸: エポック数，縦軸: 学習率),repetition penalty:5.0
10.00001
0.000089
0.00010.000150.00020.00030.00040.00050.00070.000890.001
0.0015
0.002
0.003
0.01

510

16.31
23.30
24.22
24.58
24.82
25.59
25.01
24.98
24.68
24.71
22.35
16.52
1.92
0.77

27.90
28.50
27.97
28.23
27.87
28.06
27.55
26.81

28.18
28.21
27.74

23.21

表 10 repetition penalty ごとの BLEU 値(縦軸:repetition penalty 横軸: 学習率 エポック数:1)
0.0001 0.0002 0.0003 0.0004
11.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.92
2.1
2.2
2.3
2.4
2.5

24.06
22.92
22.99
22.99
23.02
23.04
23.12
23.12
23.09
23.04
23.05
23.09
23.11
23.19
23.16
23.20

24.41
24.47
24.60
24.71
24.69
24.72
24.72
24.71
24.70
24.74
24.69
24.70
24.65
24.65
24.71
24.67

24.85
24.85
24.91
24.94
24.99
25.02
25.06
25.15
25.13
25.12
25.12
25.06
25.07
25.02
25.00
24.98

25.02
25.13
25.25
25.27
25.29
25.33
25.30
25.36
25.34
25.36
25.35
25.37
25.43
25.37
25.35
25.33

表 8 逆翻訳モデル作成時の BLEU 値(横軸: エポック数，縦軸: 学習率),repetition penalty:5.0

0.00010.00020.00030.00040.00050.00071518.64
19.37
20.42
21.15
20.89
20.54

22.09
22.91
22.53
21.99
21.96
21.65

表 9 repetition penalty ごとの BLEU 値(縦軸:repetition penalty 横軸: 学習率 エポック数:1)
0.0001 0.0002 0.0003 0.0004
1
2
3
4
5
6
7
8
910

24.06
23.05
23.09
22.99
22.87
22.73
22.57
22.46
22.37
22.33

24.41
24.69
24.62
24.56
24.40
24.37
24.32
24.08
24.00
23.92

24.85
25.12
25.01
24.85
24.74
24.64
24.54
24.38
24.25
24.18

25.02
25.35
25.33
25.16
25.03
24.87
24.79
24.69
24.47
24.42

図 1 学習率ごとの repetition penalty の変化による BLEU
値変化（0.1 刻み）

図 2 学習率ごとの repetition penalty の変化による BLEU
値変化（1 刻み）