言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルによる和文英訳問題の自動採点
三浦直己 1,2

舟山弘晃 1,2 松林優一郎 1,2 岩瀬裕哉 1,2 乾健太郎 3,1,2
1 東北大学 2 理化学研究所 3 MBZUAI{miura.naoki.p6, h.funa, yuya.iwase.t8}@dc.tohoku.ac.jp
y.m@tohoku.ac.jp kentaro.inui@mbzuai.ac.ae

概要
本研究では，L2 学習においてよく用いられる和文英訳問題を対象とし，大規模言語モデル (LLM) を用いた記述式答案の自動採点手法を提案する．LLM
による few-shot の文脈内学習を行うことで，既存採点モデルの運用面での課題の解決を試みた．モデルの採点性能を測定するため，実験では，モデルの予測得点と人手の採点結果の一致率を算出した．実験の結果，LLM の採点性能は少量の学習データを用いた教師あり学習に基づく既存手法を下回った．さらにエラー分析によって，LLM が採点タスクを適切に解釈できていない可能性も示唆された．これらの結果は，現行の最先端 LLM が本タスクにおける難易度と挑戦性を有していることを明らかにした．

1

はじめに

図 1 和文英訳問題の具体例（Q11）.”E”,”O”,”G”は各分析
基準のカテゴリーを示し，それぞれ「表現」，「語順」，「文法」を意味する．

文章の翻訳問題は，第二言語 (L2) 学習の初期段階において，特に言語学的に離れた言語間で，教育ツールとしてよく利用される [1, 2]．国内の英語教となる．結果として，言語習得においては反復練習
育では，和文英訳問題として初期段階の英語学習にが重要であるにも関わらず [3]，実施の頻度が限定活用されている．図 1 に，我々が作成したデータされてしまう．
セットにおける和文英訳問題の例を示す．学習者
本研究では，和文英訳問題における添削作業の負は，母国語（L1）の短い文章を学習中の言語（L2） 荷削減を目的として，図 1 に示したような部分採点に翻訳する．その後，この翻訳が E3 や G4 などの採項目の自動採点技術を構築する．本研究で扱うタス
点基準表内の各項目ごとに採点される．各採点項目
クと密接に関連するタスクとして，英文の文法的なは，特定の文法項目や語彙表現に対応しており，答正しさを評価する文法誤り訂正（GEC）や機械翻訳
案は項目ごとに分析的に採点されるため，学習者は （MT）がある．しかしながら和文英訳問題は，実際
詳細なフィードバックを受け取ることができる．
の教育現場において，教師が設定した明確な学習目
この問題形式は，L1・L2 言語間の類似点や相違
標の下で活用され，教育者の意図を学習に反映して点の認識を促し，相応しい表現方法への理解を深めいるという点で，これらのタスクとは大きく異なっることができる．そのため，言語学習の初期段階にている．教育者の意図を反映する必要性は，GEC シ
おいて学習者が基本的な文法や表現を習得するのにステムの純粋な使用だけでは学習者の学習への取り
特に効果的である [1]．しかし，和文英訳はその問組みを効果的に引き出せないという報告によっても題の性質上，記述式回答となるため，答案の採点や支持されている [4, 5]．
フィードバックの返却は教育者にとって大きな負担
本研究と同様の目的のもと行われた先行研究とし― 1209 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

て，[6] が挙げられる．先行研究では，和文英訳問題

れらの課題に対処するため，問題数を拡充した上

データセットを作成し，項目採点モデルを構築し採で，一部の答案について別のアノテーターによる再点を自動化した反面，不正解答案に対する採点性能

採点を行い，２名の採点の一致度を計測した．

の低さやモデル構築コストの高さが課題であった．

問題数の拡充： LLM による採点性能の適切な評

本研究では，和文英訳データセットを拡張しつ価のために，先行研究とおおよそ同様の設計で，新つ，和文英訳問題の自動採点に大規模言語モデル

たに 14 問を作成・追加し，計 21 問のデータセット(LLM) である GPT を用いることで，先行研究 [6] でに拡張した．データ全体の統計値は付録 A に示す．

明らかとなった課題に対応することを目指した．実

採点者間の一致率の測定：

採点の一貫性や信頼験では，LLM の和文英訳問題における採点性能を性を担保するために，拡充した問題を含めた 21 問

導出するため，GPT モデルを使用し，モデルの予測の中からランダムに 10 問を選び，各問題に対して結果と人手による採点結果との一致率を算出した．

20 答案を別の採点者に採点させることで，採点者

実験の結果，GPT-3.5,GPT-4 の両モデルはベース間の一致率を測った．各採点項目に対する採点結果

ラインとして設定した BERT モデルの性能を下回る(2：正解, 1: 部分正解, 0: 不正解) の一致度には Cohen

結果を示し，最先端の LLM を以てしても難しいタスクであることが明らかになった．またエラー分析

カッパ係数 [7] を、採点結果の根拠となる答案内のによって，採点モデルが和文英訳問題の採点タスク

単語列（根拠箇所）の一致率には 𝐹1 値を用いた．
計測の結果，全採点項目に対する採点結果の Cohen

を適切に理解できていないことが示唆された．

カッパ係数は 0.74 であり，採点者間で実質的一致

2[8] を示した．また採点結果の根拠箇所の一致度は F

和文英訳答案の自動採点

値で 0.92 となり，高い一致度 [9, 10] を示した．これ

和文英訳問題の答案評価において重要なことの一らの結果から，採点結果は異なる採点者間でも高い

つは，生徒が教師の設定した学習目標をどの程度達一致率であることがわかるため，このデータセット

成しているのかを判定することである．教員は学習

は評価データとして一定の一貫性や信頼性がある．

目標の達成度を効率よく評価するために，問題文と採点基準を設計する．各問題の採点基準は，設問内で核となる学習目標を問うような採点項目ほか，語彙表現や時制などの基本的な文法に関する採点項目

4

提案手法

4.1

GPT few-shot モデルを持つ．本研究は，先行研究 [6] に従い，和文英訳

提案手法として，GPT-3.5,GPT-4[11] の few-shot 文

問題の採点を複数の採点項目を持った Short Answer

脈内学習 [12] によって採点を行うモデルを構築す

Scoring (SAS) タスクとして定式化する．
採点項目に対する得点予測： 翻訳問題に対する．この方法により，各採点項目ごとに採点モデルを構築するコストと，モデルの微調整に必要な訓練

る 採 点 項 目 の 集 合 を 𝐶 と す る．入 力 さ れ た 答 案

データの大幅な削減が期待できる．さらに，GPT モ(𝑤 1 , 𝑤 2 , ..., 𝑤 𝑛 ) に対し，モデルは与えられた採点項

デルは翻訳や要約のようなタスクで優れた性能を示

目 𝑐 ∈ 𝐶 における得点 𝑠 𝑐 ∈ {2, 1, 0} を出力する．2,

していることから [13, 14], 和文英訳問題の採点に必1, 0 はそれぞれ「正解」，「部分的正解」，「不正解」に要な文法や語彙知識を潜在的に備えていることも期対応している．採点は採点項目ごとに行い，答案に待される．

対する総合評価は行なわない．

3

図 2 に GPT モデルへの入力テンプレートを示す．
入力は大きく 2 つの部分に分けられる．まずは事前

和文英訳問題データセット

入力にあたる部分である. ここでは, 採点タスクに関実験では，[6] で作成された和文英訳データセッ

する指示文, 出力形式の説明, 翻訳される母語の原トを，本タスクの評価データとして使用する．この文, 採点項目と採点基準, その基準に対応する採点例

データセットは全 7 問のデータセットであり，評価が入力される. 採点項目と採点基準は図 1 の採点基データとして小規模であった．またデータ内の答準に記載された部分を 1 行ごとに文字起こししたも

案は，1 名のアノテーターによってアノテーション（採点）されたものであるため，採点の一貫性や信のである. さらに，採点基準とその採点例（出力例）を説明するために, 各得点ごとに 2 つの採点例を提頼性が十分に確保されていない問題が存在した．こ供する.

― 1210 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 採点項目のカテゴリー（E: 表現，O: 語順，G: 文法）ごとの各モデルの 𝐹1 値と標準偏差．語順の採点基準には部分
正解の基準が含まれていないため，対応する値は”nan” とされている．
採点項目
(項目数)

BERT
正解

部分正解

GPT-3.5
不正解

GPT-4

正解

部分正解

不正解

正解

部分正解

不正解

E : (96)

0.92 ± 0.15

0.64 ± 0.36

0.82 ± 0.24

0.83 ± 0.12

0.80 ± 0.23

0.60 ± 0.20

0.91 ± 0.09

0.80 ± 0.15

0.78 ± 0.20

O : (42)0.95 ± 0.05

nan

0.79 ± 0.25

0.78 ± 0.11

nan

0.53 ± 0.21

0.87 ± 0.08

nan

0.65 ± 0.21

G : (45)

0.94 ± 0.11

0.81 ± 0.21

0.88 ± 0.13

0.82 ± 0.13

0.48 ± 0.11

0.64 ± 0.25

0.90 ± 0.08 0.62 ± 0.37 0.77 ± 0.24

全体平均

0.93

0.68

0.83

0.81

0.73

0.59

事前⼊⼒

0.76

0.73

実験

5

[採点タスクの説明]

0.89

和文英訳答案の自動採点におけるモデルの採Your task is to classify … Please refer to theClassification Rubric and Classification Examples
when performing the task.

点性能を評価するため，実験では BERT モデルと[出力形式の指定]行った．得られた予測得点と人間による採点結果とE4: _Your Outputs_
Justification Cue: _Your Outputs_の 𝐹1 スコアを用いて評価した．

GPT-3.5，GPT-4 を使用して答案に対する得点予測を5.1[問題文(和文)]

設定

実験では，和文英訳問題自動採点の先行研究 [6][採点基準: 各得点に対する採点基準とフレーズの例]

に従い，モデルの性能を 𝐹1 スコアで評価した．各問題のデータセットを訓練セット，開発セット，評[採点例:各得点ごとに２例ずつ.答案と得点,
その根拠となった答案内の単語列（根拠箇所）]

価セットに 3:1:1 の比率で分割し，5 分割交差検証を行った．BERT モデルは各訓練セットにおいて 50 エ
ポックでモデルの微調整を行い，開発セットにおいて最も良い性能を示した時のパラメータを用いた．

⼊⼒：⽣徒の答案

GPT モデルについては，訓練セットから各得点ごと
図2にランダムに 2 つの採点例を選定した．

GPT few-shot モデルへの入力テンプレート

また，一部の採点基準は，学習者にとって難易度
次に生徒の答案が入力される．GPT モデルはこれが低く，不正解の答案が非常に少なかった．そのら 2 つの入力を利用して，指定された採点項目に対する得点と，その採点の根拠となった答案内の単語

ため，採点モデルの性能を適切に評価するために，10%以上の不正解の答案事例数を持つ採点項目だけ

列を根拠箇所として出力する．GPT モデルへの詳細を評価に使用した．

な入力例は付録 B に記載する．

4.2

5.2

BERT モデル

結果

表 1 は，評 価 セ ッ ト に お け る BERT，GPT-3.5，

和文英訳答案自動採点のタスクにおけるベース

GPT-4 の性能を、各カテゴリー (E: 表現，O: 語順，

ラインとして，BERT[15] ベースの採点モデルであG: 文法) の 𝐹1 値の平均と標準偏差で示したものでる先行手法 [6] の項目採点モデルを用いた．実験では，モデルのエンコーダーに BERT1）を導入し，教ある．

師あり学習による手法で採点を行う．モデルの微調獲得している言語知識量から，和文英訳問題の採点

整では，最適化関数に Adam [16] を使用し，学習率において GPT モデルが優れた性能を示すという仮本研究では，LLM の他タスクでの性能の高さやは 0.001 に設定した．Bi-LSTM の隠れ状態の次元は説を立てた．しかしながら，BERT モデルが GPT モ

128 に設定し，学習に用いるデータ量が限られていデルを上回る結果となった．全てのモデルにおいるためバッチサイズは 10 とした．

て，正解の答案の採点精度は比較的高い性能を示
し，GPT-4 は BERT モデルに匹敵する精度であった．

1） https://huggingface.co/bert-base-uncased― 1211 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

その一方で，不正解答案に対する採点性能に関して

表 2 GPT-4 の出力エラー例

は，GPT-3.5 の採点性能は顕著に低く、GPT-4 でも入力（概要）BERT モデルに劣る性能であった．ただ興味深いこ

問題文（和文）:私は一昨年にオーストラリアで見るまで
コアラを見たことがなかったとに，部分正解の答案に関しては，GPT モデルが既存手法より高い採点性能を示した．これは，部分正解の答案に対する BERT モデルを微調整するための採点項目: G1 (時制)- Past tense ”saw” is used as a verb

データサイズが限られているためであると推測される．
ていることが明らかになった．これは，各採点項目

生徒の回答:
I had never seen a koala before I have seen it
two years ago in Australia .

における採点性能にかなりのばらつきがあることをGPT の出力 & (人手採点)

意味し，中にはかなり悪い採点精度を示した採点項

GPT の得点予測: 2(人手採点: 0)
予測した根拠箇所: I had never(人手採点の根拠箇所: seen)

また，ほぼすべての結果で標準偏差が 0.10 を超え目があることを示唆する．以上より，いくつかの採
点項目や採点基準が，両モデルにとって困難であったことがわかる．

5.3

問題の採点のようなタスクの経験がなかった．実際

エラー分析の教育現場を考えると，採点基準や数例の採点済み

不正解答案に対する採点精度:

5.2 節で述べたよ

答案のみから採点を自動化することが，既存手法ように, 不正解答案に対する採点性能は, 両モデルともりも望ましい形態であると考えられる．しかしなが正解答案への採点性能に比べて著しく低かった. こら，今回の実験から，LLM の内部パラメータをそのれは, 正答と誤答のパターン数の違うことが原因でまま活用し，和文英訳問題の採点を行わせることはあると推測される. 採点基準では，正解パターンの難しいことが示唆された．

表現は少なくなるように設定されている．その一方で不正解の答案のパターンにはかなりの幅がある．

おわりに

6

そのため，不正解と分類される答案のあらゆるパ本研究では，先行研究の課題を受け，和文英訳問

ターンを包含する必要性がある．しかしながら，訓題の自動採点タスクに LLM の活用を提案した．ま練データは，正解パターンの大部分を網羅している

た LLM の採点性能の評価を充実させるため，先行一方で，潜在的な誤答をすべて網羅することはできなかった．また我々は GPT モデルに，内部の言語研究で作成された和文英訳データセットを拡張し，知識を活用し，不正解答案に対して包括的に対応す点済みデータを入力することで採点を行わせる手法

ることを期待したが，BERT モデルと比べ，良い精は，先行研究のコストや汎用性の課題に対処するも度を示さなかった．

のであり，実際の教育現場での応用が望めるものでその品質を担保した．LLM に採点基準や数例の採表 2 は GPT-4 による採あった．しかしながら，実験では最先端の LLM を

点ミスを示している．GPT モデルが出力した根拠箇もってしても，教師あり学習による手法で構築され所を見ると，採点基準に直接的な関係のない部分をた既存の採点モデルの性能に劣る結果となった．こ

出力していることがわかる．このような採点ミスがGPT-4 の採点ミスの大部分を占めていた．この原因のことから，和文英訳問題の自動採点において，現行最先端の LLM が難易度と挑戦性を有していることして，和文英訳問題の採点タスクについての説明とを明らかになった．

GPT モデルのエラー例：

や独自の採点基準に関する入力を LLM が十分に解

今後の展望として，GPT モデルを和文英訳問題の釈できず，fewshot で入力された採点例を真似る形で採点タスクに合わせて微調整するほか，採点タスク

出力が行われたためでないかと考えられる．そのたを GEC タスク，意味の整合性の確認，採点基準とめ，採点例として入力されなかったパターンの不正解答案が現れた際，表 2 で見られるような採点ミスの整合性確認等に分解し，LLM の優位性を活用でが発生したと推測する．事前にウェブサイト等かられる．

きるようなタスク設計を行っていくことが考えらえ

膨大な量の学習を行っている LLM でも，和文英訳― 1212 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JST 次世代研究者挑戦的研究プログラム[14] Abdulkader Helwan, Danielle Azar, and Dilber Uzun
Ozsahin. Medical reports summarization using text-totext transformer. In 2023 Advances in Science andEngineering Technology International Conferences(ASET), pp. 01–04. IEEE, 2023.

JPMJSP2114 の助成を受けたものです．

参考文献[1] Guy Cook. Translation in Language Teaching: An
Argument for Reassessment. Oxford University Press,
Oxford, March 2010.
[2] Wolfgang Butzkamm and John Caldwell. The Bilingual Reform. A Paradigm shift in Foreign Language
Teaching. Narr Dr. Gunter, 01 2009.

[3] Diane Larsen-Freeman. On the roles of repetition in language teaching and learning. Applied Linguistics Review, Vol. 3, No. 2, pp. 195–210, 2012.
[4] Svetlana Koltovskaia. Student engagement with automated written corrective feedback (AWCF) provided bygrammarly: A multiple case study. Assessing Writing,Vol. 44, p. 100450, April 2020.
[5] Jim Ranalli. L2 student engagement with automated feedback on writing: Potential for learning and issues oftrust. Journal of Second Language Writing, Vol. 52,
p. 100816, June 2021.
[6] 菊地正弥∗ , 尾中大介∗ , 舟山弘晃∗ , 松林優一郎, 乾健太郎. 項目採点技術に基づいた和文英訳答案の自動採点. 言語処理学会 第 27 回年次大会 発表論文集, p.
691, 2021.
[7] Jacob Cohen. A coeﬃcient of agreement for nominal
scales. Educational and Psychological Measurement,
Vol. 20, No. 1, pp. 37–46, 1960.
[8] J. Richard Landis and Gary G. Koch. The measurementof observer agreement for categorical data. Biometrics,
Vol. 33, No. 1, pp. 159–174, 1977.
[9] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justiﬁcation identiﬁcation in automated short answer scoring. In Proceedings of the[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-lis, Minnesota, June 2019. Association for Computational
Linguistics.
[16] Diederik P Kingma and Jimmy Ba. Adam: A method forstochastic optimization. December 2014.

Fourteenth Workshop on Innovative Use of NLP for
Building Educational Applications, pp. 316–325, Flo-

[10]

[11]
[12]

[13]

rence, Italy, August 2019. Association for Computational
Linguistics.
Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, andKentaro Inui. Plausibility and faithfulness of feature
Attribution-Based explanations in automated short answer
scoring. In Artiﬁcial Intelligence in Education, pp. 231–
242. Springer International Publishing, 2022.
OpenAI. Gpt-4 technical report, 2023.
Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell,
et al. Language models are few-shot learners. Advancesin neural information processing systems, Vol. 33,
pp. 1877–1901, 2020.
Serge Gladkoﬀ, Gleb Erofeev, Lifeng Han, and Goran Nenadic. Predicting perfect quality segments in mt output
with ﬁne-tuned openai llm: Is it possible to capture editing distance patterns from historical data?, 2023.

― 1213 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

表 4 GPT モデルへの入力の詳細 (Q11)

拡張後のデータセットの統計値
本研究では問題番号 8 から 21 を追加した．先行

PROMPT(SYSTEM)研究における作成時に 1（部分的正解）に該当するYour task is to classify the labels corresponding to

答案の収集が難しく，評価データとして扱うのが難

the analytic criterion from the input response.

しかったため，追加分からは 2（正解）と 0（不正Please refer to the Classiﬁcation Rubric and

解）の 2 値分類にしている．そのため問題番号 8 以Classiﬁcation Examples when performing the task.

降では 1（部分的正解）に該当する事例数がないた
め，記載されていない．

Your Outputs
E4: Your Outputs

表3
Q1
Q2
Q3
Q4
Q5
Q6
Q7
Q8
Q9
Q10
Q11
Q12
Q13
Q14
Q15
Q16
Q17
Q18
Q19
Q20
Q21

B

和文英訳問題データセットの統計値

Justiﬁcation Cue: Your Outputs

答案数

採点項目数

2

1

0

159
172
77
69
102
79
90
200
200
200
200
200
200
150
200
200
200
200
200
200
200

9
8
8
9
9
12
10
6
10
9
10
8
7
8
11
10
11
9
12
8
12

923
652
357
356
387
701
534
856
1324
1197
1285
1175
850
847
1347
1565
1082
1220
1671
1064
1538

114
98
40
76
161
14
72

235
454
142
120
268
154
204
343
676
612
715
425
550
353
853
435
1118
580
729
536
862

Question” 私は一昨年にオーストラリアで見るまでコアラを見たことがなかった。”
Analytic criterion
E4:Tense of expressions corresponding to ” 見るまで”
E4: 2 -Express ” 見るまで” as ”before I saw one(s)” ,”before I saw some”, ”before I saw them”
E4: 0-Using ”it” instead of ”one(s)”. Otherwise.
Classiﬁcation Examples
Ans：I have not seen koalas before I saw themin Australia 2 years ago .
E4： 2
justiﬁcation cue：before I saw themAns: I had never seen koalas before I saw ones

GPT モデルへの入力の詳細

in Australia two years ago .

表 4 に問題 11 の採点において，GPT モデルに入力されたプロンプトの詳細を示す．和文の「見るまE4: 2
justiﬁcation cue: before I saw ones

で」に対応する採点項目を採点するためのプロンプ
トである．このように，GPT モデルへは，採点基準の各採点項目ごとに入力し，各得点ごとに 2 件ずつの採点例を入力した．

Ans: I never see koala before I saw that at Australia
last year .
E4: 0
justiﬁcation cue: before I saw thatAns: I had never seen a koala until I saw it in Australia
in the year before last .
E4: 0
justiﬁcation cue: until I saw it
Input student response
I had never seen a koala before I saw one in Australia
the year before last.

― 1214 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).