概要

1　はじめに
LLMは優れた言語理解能力と文章生成能力を示し、最近は文生成タスクの自動評価手法としても活用されている[1, 2, 3, 4]。例えば、評価対象の文章の尤度をLLMに計算させ、評価スコアとして使用する方法[2, 5]や、LLMに文章の評価スコアを直接出力させる方法[1, 3]が提案されている。BLEU [6]やROUGE [7]などの従来の自動評価手法と比べ、LLMによる自動評価は多くのタスクで人間の評価とより高い相関を示すことが報告されている。LLMの学習は膨大な事前学習データ[8, 9]と指示学習データ[10, 11]の尤度最大化であり、文章生成も尤度に基づいている。ゆえに、尤度を直接的に評価スコアとする方法だけではなく、評価スコアを生成させる方法においても、評価対象の文章の尤度が評価結果に影響を与えると考えられる。ところが、LLMが計算する尤度は文章の流暢性や文法性、意味などの良し悪しを捉えているとは限らない。例えば、ある文章の語順や構造を変更して言い換えると、LLMの尤度が変動することが報告さ図1:尤度バイアスの例。人間の採点であれば同じスコアをつけられるべき出力のうち、尤度の低い出力（上側）が尤度の高い出力（下側）よりも不当に低く評価されていることを表す。れている[12]。この場合、文章の意味に関する評価を行う際に、尤度の変動がLLMの評価結果に悪影響を及ぼしうる。言い換えると、LLMの尤度と文章の良し悪しのずれが、さまざまな評価項目で評価バイアスを引き起こしている可能性がある。本研究では、LLMが文章の評価スコアを出力する際、尤度の低い文章を（人間の評価よりも）不当に低く評価し、尤度の高い文章を不当に高く評価するという評価バイアスの存在を仮定し、これを尤度バイアスと呼ぶ。尤度バイアスの例を図1に示す。この図ではデータから文を生成するタスク（data-to-text）において、人間の採点であれば同スコアになる出力のうち、尤度の低い出力（上側）が尤度の高い出力（下側）よりも不当に低く評価されていることを表す。この問題に対処するため、我々は尤度バイアスを(1)定量的に測定し、(2)緩和する手法を提案する。本研究はLLM評価器における評価時のバイアスを緩和する初めての試みである。まず、LLMの尤度と、LLMと人手評価のスコアの差の相関に着目し、尤度バイアスの定量的な測定を行う。実験の結果、GPT-3.5とLlama2 13B [13]の2つのLLMがdata-to-textと文法誤り訂正タスク(GEC)の2つのタスクにおいて尤度バイアスを持つ可能性を示した。次に、訓練データから尤度バイアスの強い事例（タスクの入出力のペア）を特定し、それらの事例に人手評価スコアを付与し、Few-shot事例としてLLM評価器に与えることで、評価時の尤度バイアスを緩和する。提案手法により、ほとんどのモデル・タスクにおいてLLMの尤度バイアスが緩和され、評価性能（人手評価スコアとの順位相関係数）も向上することが分かった。
2　提案手法
先行研究[1,4]に倣い、本研究ではLLMに文章の評価を指示するプロンプトを与え、評価スコアを計算する。また、Liuら[1]に倣い、LLMに評価スコアを直接出力させるのではなく、評価スコアの候補值(例: {1,...,n}）を予測させ、その尤度からスコアの期待値を計算し、最終的な評価スコアとする（これをScoremと書く)。先行研究では、タスクの説明・評価項目・評価対象文章の３つでプロンプトを構成していたが、我々はこれに加えてFew-shot事例をモデルに与えることで出力を安定化させ、より正確に尤度バイアスを測定・緩和することを目指すり。
2.1 尤度バイアスの測定
本研究では、人間の評価と比較してLLMが尤度の低い文章を不当に低く評価し、尤度の高い文章を不当に高く評価するという評価のバイアスを尤度バイアスと呼ぶ。まず、その定量的な測定方法を提案する。tを入力文章、t。を出力文章とし、これらをまとめて評価対象の事例t = (t ,t o)と書く。dをタスクの説明、θをモデルのパラメータ、Ｐをモデルによる尤度とすると、LLMの尤度による指標LS (likelihood score)は次式で計算される。 LS(t) = log P(t o | t i , d ; θ) (1)次に、LLMがどれだけ不当な評価をしているかを表す指標US (unfairness score)として、LLMによる評価スコア(Scorem)と人手評価スコア(Scoreh)の差を次式で計算する2)。 US(t) = Scorem(t; θ) – Scoreh(t) (2) LLMによる評価スコアScoremを計算するときは、訓練データからランダムに選んだFew-shot事例をプロンプトに含める。図2:仮想の評価器における尤度バイアスを可視化した図。Ａはバイアスがある、Bはバイアスがなく高性能、Cはバイアスがなく低性能な評価器を表す。 LS、USを用いてLLMの持つ尤度バイアスの強さを示す指標であるBiasScoreを計算する。 BiasScoreは、事例の集合であるデータセットD = {t(1),t(2),...,t(n)}全体におけるLSとUSのスピアマンの順位相関係数ρとして計算する。
BiasScore = ρ(LSD, USD) (5) BiasScoreは[-1, 1]の範囲を取り、1は最も強いバイアスを表し、0はバイアスがないことを表す。
2.2 尤度バイアスの緩和
図2に複数の仮想の評価器による尤度バイアスを可視化した散布図を示す。横軸はLS (式1 )、縦軸はUS (式2)、点は評価事例、点の回帰直線の傾きがBiasScoreを表す。各図は次のように解釈される。 • Aの散布図は尤度バイアスを持つ評価器を表す。評価器は尤度の高い事例に不当に高いスコアを与えており（右上部分）、尤度の低い事例に不当に低いスコアを与えている（左下部分）。バイアスの緩和前のLLM評価器はこの状態であると想定する。 • Bの散布図は尤度バイアスを持たない評価器を表す。USが0に近いため、評価性能は高いと考えられる。 • Cの散布図も尤度バイアスを持たない評価器を表すが、USの値がランダムに分布しているため、評価性能は低いと考えられる。提案手法による尤度バイアスの緩和では、バイアスのある状況(A)から、評価性能が高くバイアスのない状況(B)に変化させることを目指す。その際、評価性能が低くバイアスのない状況(C)にならないように、バイアスが強い事例（Aの図の右上・左下）を特定し、その評価を集中的に是正する。そのため、事例tのバイアスの強さを示す指標として、RSを導入する。
RS(t) = |LS*(t) + US*(t)|
(6)ここで、LS*とUS*はそれぞれ、データセットDに対して平均値が0、値域が[−1,1]になるようにLSとUSを正規化したものである。RS(t)は事例tが図2のAにおいて右上か左下に近づくほど大きな値を取る。評価バイアスの軽減のため、訓練データからRS(t)が大きな事例、つまりバイアスの強い事例を抽出し、人手評価のスコアを付与したうえでFew-shot事例として用いることで、評価における尤度バイアスを緩和する。
3　実験結果
3.1 使用したタスク・データ
実験では、data-to-textとGECの2つのタスクにおける尤度バイアスの測定・緩和を行う。data-to-textタスクでは、WebNLG+ [14]をデータセットとして用いた。2846個の英語の各事例に対して、text structure, relevance, fluency, correctness, data coverageの5つの評価項目に関する人手評価スコアScorehが付与されている。GECでは、TMU-GFM-Dataset [ 15 ]をデータセットとして用いた。4221個の英語の各事例に対して、 grammar, fluencyの2つの評価項目に関して人手評価スコアScorehが付与されている³)。これらのデータはそれぞれ、4:1の割合で訓練・評価データに分割した。また、タスク全体での傾向を調べるために、すべての評価項目のマイクロ平均を新たな評価項目totalとして導入した。
3.2 使用したLLM
実験には、OpenAI社が API として提供するGPT-3.5 ）と、オンプレミスで動作するLlama2 13B (L-13B) [13]をLLMとして用いた。ただし、GPT-3.5はトークンの尤度を出力しないため、代わりにLlama2 13Bで尤度を計算する。まず、これらのLLMの評価器としての性能を確かめるために、人手とLLMによる評価スコアのスピアマンの順位相関係数を計算した。結果を表1, 2の「評価性能」の「緩和前」列にそれぞれ示す。全体的な傾向として、 data-to-textではGPT-3.5がLlama2 13Bよりも高い性能を示し、GECではどちらのモデルも同程度の性能を示した。
3.3 尤度バイアスの測定
2.1節で述べた手法を用い、 data-to-textとGECの評価データにおける尤度バイアスを測定した。 data-to-textでの結果　表1の「BiasScore」の「緩和前」列における数値はほとんどのモデル・評価項目で0.20を超える結果を示している。BiasScoreは相関係数であり、0.20は弱相関を表すため、この結果は尤度バイアスの存在を示唆していると言える。評価項目totalにおいてはGPT-3.5 (0.38)がLlama-2 13B (0.17)よりも大きなBiasScoreを示しており、他の評価項目においても同じ傾向が観察される。また、評価項目relevanceがどちらのモデルにおいても全ての評価項目の中で最も大きな値を示した。 GECでの結果　表2の「BiasScore」・「緩和前」列における数値はすべてのモデル・評価項目で0.20を超える結果になっており、data-to-textと同様に尤度バイアスの存在を示唆している。また、評価項目totalにおいても同様にGPT-3.5 (0.43)がLlama2 13B (0.21)よりも大きなBiasScoreを示しており、他の評価項目についても同じ傾向が観察される。評価項目ごとの尤度バイアスの比較 data-to-textの評価項目ごとの尤度バイアス(表1の「BiasScore」・ 「緩和前」列）に着目すると、どちらのモデルにおいてもfluencyとtext structureが比較的小さなBiasScoreを示している。これらの項目は、入力によるタスク固有の制約は考慮せず、生成された文章に内在する自然さや文構造のような特性のみに基づいて評価する。そして、どちらのモデルにおいてもrelevanceとdata coverageは、 BiasScoreが小さい内在的評価の項目とは対照的に大きなBiasScoreを示している。これらの項目は、生成された文章に対して外在する入力との関連性や情報の有無などのタスク固有の制約を用いて評価する。これらのことから、内在的評価の項目は、外在的評価の項目よりも小さい尤度バイアスを持つといえる。出力の尤もらしさは内在的な特性に強く依存することを鑑みると、文章の尤度と内在的評価による文章の優劣には正の相関があると予想される。よって、内在的評価においては、LLM評価器が尤度に影響を受けていることが、過小または過大評価のように必ずしも悪い結果につながらないと考えられる。一方で、評価に寄与する特性が異表1: data-to-textでの尤度バイアス緩和前後のBiasScoreと評価性能。緩和後の値における太字はバイアスの緩和が狙い通りに作用したことを、*はバイアス緩和前後での並べ替え検定による有意な差（ p < 0.05 )を、 †は有意な傾向の差( p < 0.06 )を表す。
表2: GECでの尤度パイアス緩和前後のBiasScoreと評価性能。太字、 * 、 †は表1と同じ意味で使用した。
なるため、外在的評価では尤度からの影響がLLM評価器に悪影響を及ぼしていると考えられる。
3.4
尤度バイアスの緩和
尤度バイアス緩和のため、2.2節で説明した手法を用いて訓練データからバイアスを持つ事例を8つ取得し、Few-shot事例として用いた。表1,2の「緩和後」列にバイアス緩和後のBiasScoreと評価性能を示す。太字はバイアスの緩和が狙い通りに作用した（BiasScoreの絶対値が減少した・評価性能が向上した）ことを表す。また、R = 10000,α = 0.05として並べ替え検定を行い、バイアス緩和前後で有意な差(p < 0.05)が確認されたものを* 、有意な傾向の差(p < 0.06)が確認されたものを†で表した。 data-to-textでの結果　表1の「BiasScore」と「評価性能ρ」の「緩和後」列における数値から、提案手法によってほとんどのモデル・評価項目でBiasScoreの絶対値が減少し、同時に評価性能が向上したことがわかる。GPT-3.5ではtext structure (- 0.13), relevance (-0.12), data coverage (-0.08)において、 Llama2 13Bではtext structure (-0.15), fluency (-0.20), correctness (-0.20)においてBiasScoreの絶対値が有意に減少している。同時に、GPT-3.5ではfluency (+0.14), total (+0.10)において評価性能が有意に向上している。また、GPT-3.5でtext structure (+0.07), data coverage (+0.10)において、 Llama2 13Bでfluency (+0.19)において評価性能の向上に有意な傾向が確認された。したがって、モデル・タスク全体を通して尤度バイアスの緩和が狙い通り成功し、それによって評価性能が向上していることが確認できた。 GECでの結果　表2の「BiasScore」と「評価性能ρ」の「緩和後」列における数値から、提案手法によってほとんどのモデル・評価項目でBiasScoreの絶対値が減少し、同時に評価性能が向上したことがわかる。有意な傾向のバイアス緩和が確認されたのははGPT-3.5のgrammar (-0.09)のみだったが、少なくとも提案手法がバイアスの緩和を促進し、評価性能を向上させる影響を与えたと考える。以上の結果から、尤度バイアスを緩和する提案手法がdata-to-textとGECにおけるLLM評価器の元度バイアスを緩和し、同時に評価性能を向上させることに成功したと考える。
おわりりに
4
本研究ではLLMが尤度の低い文章を不当に低く、尤度の高い文章を不当に高く評価する傾向を尤度バイアスとして定義し、定量化する方法を提案した。また、我々はバイアスの強い事例を特定し、Few-shot事例として用いることで尤度バイアスを緩和する方法を提案した。実験の結果、data-to-text、 GECの2つのタスクにおいて複数のLLMが尤度バイアスを持つ可能性を示した。さらに、尤度バイアスを緩和し評価性能を向上することに成功した。今後は、他モデルでの尤度バイアスの測定や、バイアスが強い事例を抽出する別手法の検討、ファインチューニングを用いるバイアスの緩和などに取り組みたい。本研究成果は、国立研究開発法人情報通信研究機構（NICT）の委託研究（22501）により得られたものです。また、本研究はJSPS科研費19H01118の助成を受けました。論文執筆にあたっては、ケンプリッジ大学のSimone Teufel先生から助言をいただきました。 [1]  Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, and Chenguang Zhu.  G-eval:  Nlg evaluation using gpt-4 with better human alignment, 2023. Jinlan Fu, See-Kiong Ng, Zhengbao Jiang, and Pengfei Liu. [2] Gptscore: Evaluate as you desire, 2023. Tom Kocmi and Christian Federmann. Large language models are [3] state-of-the-art evaluators of translation quality.  In Mary Nurmi- nen, Judith Brenner, Maarit Koponen, Sirkku Latomaa, Mikhail Mikhailov, Frederike Schierl, Tharindu Ranasinghe, Eva Van- massenhove, Sergi Alvarez Vidal, Nora Aranberri, Mara Nunzi- atini, Carla Parra Escartín, Mikel Forcada, Maja Popovic, Car- olina Scarton, and Helena Moniz, editors, Proceedings of the 24th Annual Conference of the European Association for Machine Translation , pp. 193–203, Tampere, Finland, June 2023. European Association for Machine Translation. Cheng-Han Chiang and Hung-yi Lee.  Can large language mod- [4] to els be an alternative to human evaluations? In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computa- tional Linguistics (Volume 1: Long Papers), pp. 15607–15631, Toronto, Canada, July 2023. Association for Computational Lin- guistics. Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore: Evalu- [5] ating generated text as text generation. In M. Ranzato, A. Beygelz- imer, Y. Dauphin, P.S. Liang, and J. Wortman Vaughan, edi- tors, Advances in Neural Information Processing Systems, Vol. 34, pp. 27263–27277. Curran Associates, Inc., 2021. [6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Pierre Isabelle, Eugene Charniak, and Dekang Lin, editors, Pro- ceedings of the 40th Annual Meeting of the Association for Computational Linguistics , pp. 311–318, Philadelphia, Penn- sylvania, USA, July 2002. Association for Computational Linguis- tics. [7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries.  In Text Summarization Branches Out , pp. 74– 81, Barcelona, Spain, July 2004. Association for Computational Linguistics. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, [8] Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Ben- jamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language mod- els are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Infor- mation Processing Systems , Vol. 33, pp. 1877–1901. Curran Associates, Inc., 2020. OpenAI. Gpt-4 technical report, 2023. [9] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, [10] Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In Interna- tional Conference on Learning Representations, 2022. [11] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wain- wright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Kata- rina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kel- ton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, ed- itors, Advances in Neural Information Processing Systems, Vol. 35, pp. 27730–27744. Curran Associates, Inc., 2022. [12]  Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, and Kentaro Inui. Language models as an alternative evaluator of word order hy- potheses:  A case study in Japanese.  In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computa- tional Linguistics , pp. 488–504, Online, July 2020. Association for Computational Linguistics. [13] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Es- iobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cyn- thia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Vik- tor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, An- drew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subrama- nian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023. [14] Thiago Castro Ferreira, Claire Gardent, Nikolai Ilinykh, Chris van der Lee, Simon Mille, Diego Moussallem, and Anastasia Shi- morina. The 2020 bilingual, bi-directional WebNLG+ shared task: Over view and evaluation results (WebNLG+ 2020). In Thiago Cas- tro Ferreira, Claire Gardent, Nikolai Ilinykh, Chris van der Lee, Si- mon Mille, Diego Moussallem, and Anastasia Shimorina, editors, Proceedings of the 3rd International Workshop on Natural Language Generation from the Semantic Web (WebNLG+), pp. 55–76, Dublin, Ireland (Virtual), 12 2020. Association for Computational Linguistics. [15] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less sub-metrics optimized for manual evaluations of grammatical error correction. In Do- nia Scott, Nuria Bel, and Chengqing Zong, editors, Proceedings of the 28th International Conference on Computational Lin- guistics , pp. 6516–6522, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.尤度の計算 式1に示す通り、我々はモデルの文章に対する尤度を、タスク説明d、タスク入力tiで条件付けしたタスク出力t。の対数尤度として計算する。単純に条件付けを行わずlog P(t o ; θ )を計算するよりも、条件付けを行うことでタスクと入力に関する情報を考慮した尤度が得られることが期待できる。タスク説明は以下の文章を用いた。 • data-to-text: Please generate a description of the fol- lowing xml data. • GEC: Please modify the following English text to make it grammatically correct. Scoremの計算方法 先行研究[1,4]に倣い、我々はタスク説明・評価項目で構成されるプロンプトIと評価対象の事例tをLLMに与えることで、LLMによる評価スコアScoremを計算する。我々はこれに加えてFew-shot事例FをLLMに与えることでモデルの出力を安定させることを狙う。Ｆは、バイアス測定の際はランダムに、バイアス緩和の際はバイアスの強い事例を訓練データから8つ抽出して用いる。また、先行研究[1]に倣い、LLMがスコアを出力する確率を用いてスコアの期待値を計算し、それをScoremとして用いる。LLMに直接スコアを出力させる代わりにスコアの期待値を計算することで、スコアが１つに集中せず、より詳細な値が得られることが期待できる。スコアの候補を{1,2,...,n}、スコアiをLLMが出力する確率をQ(i | t, F, I; θ)とすると、Scoremは以下のように計算される。
また、タスク説明と評価項目を含んだプロンプトの例を以下に示す。 data-to-textでcorrectnessを評価するプロンプトYou will be given an xml data and an English sen- tence that represents xml data.  Your task is to rate the sentence that represents xml data on one metric. Please make sure you read and understand these in- structions carefully. Please keep this document open while reviewing, and refer to it as needed. Evaluation Criteria:  Correctness:  (1-5) - does the text describe predicates with correct objects and does it introduce the subject correctly?  1 is the lowest score, 5 is the highest. You will be given an English sentence that may have grammatical errors and a sentence that is the cor- rected version of the sentence.  Your task is to rate the corrected sentence on one metric. Please make sure you read and understand these instructions carefully. Please keep this document open while reviewing, and refer to it as needed. Evaluation Criteria:  Fluency:  (0-4) - How natural the sentence sounds for native speakers; 4:  Extremely natural, 3:  Somewhat natural, 2:  Somewhat unnatu- ral, and 1: Extremely unnatural, and 0:  Other. data-to-text   data-to-textでは、WebNLG+ [ 14 ] (CC BY-NC-SA 4.0)から人手評価スコアが付与されている事例を抜き出し、データセットとして用いた。 2846個の英語の各事例に対して、以下の5つの評価項目における人手評価スコアScorehが0から100までの1点刻みで付与されている。 • text structure:出力が文法的に正しく構成されているかどうか• relevance:出力が入力データに基づいているかどうか• fluency:出力が自然な文章かどうか• correctness:出力が入力データを正しく説明しているか• data coverage:出力が入力データの情報を全て含んでいるかGEC   GECでは、TMU-GFM-Dataset [ 15 ] (CC BY 4.0)をデータセットとして用いた。4221個の英語の各事例に対して、以下の３つの評価項目における人手評価スコアScorehが0から4までの1点刻みで付与されている。 • grammar:出力が文法的に正しいか• fluency:出力が自然な文章かどうか• meaning:出力が入力と同じ意味を持つか3.1節の脚注で述べたように、データセットを作成した研究[15]でmeaningはタスク全体の評価スコアにほとんど寄与していないことが明らかにされているので、本実験からは除外した。