言語処理学会 第26回年次大会 発表論文集 (2020年3月)

鍐❫‫ؠסذ٭ظ‬ٚ‫ذت‬ٛ٤‫ء‬؅榫ַ‫ג‬鋗鳭䌋璻勅舅Ⳃ䫑憠‫عס״גס‬ٚ٤‫هؔطؠرث‬㰢綗
佐藤俊 1

佐々木翔大 2,1 大内啓樹 2,1 鈴木潤 1,21
東北大学 2 理化学研究所

乾健太郎 1,2\TIVOTBUP，KVOTV[VLJ JOVJ^!FDFJUPIPLVBDKQ\TIPUBTBTBLJZW IJSPLJPVDIJ^!SJLFOKQ
1 ‫מ״׋ע‬記述式答案の採点は一般に人手で行われているため，大規模な試験においては，採点のための人的コストの増大が問題となっているX 近年では記述式答案の自動採点に関する研究は盛んに行われており，深層学習を用いた自動採点システムが小論文や短答記述試験答案の自動採点において高い性能を示している (e- d)X
自動採点を教師あり学習の枠組みとして学習を行う場
合，評価データは完全に未知なデータとして扱われる．
㍲1: 提案手法の概要図

手元に全ての答案がある状況が想定される自動採点において，そうした未知のデータを想定するのは過剰に難易度の高い問題設定となっている．したがって記述式答案の自動採点は，学習の過程で評価データの情報を明示的に利用するトランズダクティブ学習 (R) を用いることが適切であると考えられる．
トランズダクティブ学習の先行研究においては，評価データの情報を元にモデルを評価データ全体に特化させる手法が一般的である (j- 8)X しかしながら，記述式答案は同じ得点を付与される答案でも，その内容が多岐にわたることは容易に想像しうる．このことから，評価データ内の全ての答案にモデルを特化させるよりも，評価データを類似した答案ごとに分割した上で，モデルを特化させる方が予測性能の向上が期待できる．そこで本研
究では，評価データのクラスタリングを行い，各クラスタに特化させたモデルで答案の点数予測を行う手法を提案し，その予測性能について検証を行う．結果として提案手法によって，複数の問題についてモデルの予測性能が平均的に上昇したが，中には予測性能が上がらない問題も存在した．本稿ではそうした提案手法の抱える問題点についての分析も合わせて報告する．

2

価データの答案の情報をモデルの学習の際に使うことができる．トランズダクティブ学習は，ある特定の評価データに対する予測性能を向上させることが目的であり，教師あり学習のように未知のデータに対する予測性能については考慮しない．よってトランズダクティブ学習を用いる際には，評価すべきデータが事前に全て手に入っていることが前提となる．
試験答案の自動採点システムの実際の運用を想定すると，採点すべき答案の情報はすでに手元に全てあると考えられる．また一度回収された試験答案の採点作業には，全データの情報を使い採点システムを訓練するための時間的猶予が十分にある状況が想定されるため，記述式答案の自動採点はトランズダクティブ学習を適用可能な問題であると言える．

3

䬠勅䣆嫎図Rに本論文の提案手法の概要図を示した．提案手法
では先行研究に倣い，評価データと文ベクトルが類似した訓練データを，その評価データに対するモデルの予測性能に関わる重要なデータだと考えた．その上で，それ‫ع‬ٚ٤‫هؔطؠرث‬㰢綗

らを用いてモデルをファインチューニングすることで，トランズダクティブ学習 (R) は，評価データの入力テキストをモデルの学習の際に活用する機械学習の手法である．評価データの正解は既知ではなく，今回の問題設定では，学習データである答案とその点数に加えて，評評価データに関する予測性能が向上することを期待している．また，評価データ全体に対してモデルをファインチューニングさせるのではなく，評価データを意味のまとまりに分割した上でファインチューニングを行うこと― 1001 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

で予測性能が向上することを期待している．
まず，訓練データ D i`BM = {(Xii`BM , Yii`BM )}N
i=1 を用いて，自動採点モデルのパラメータ Θ の学習を行う．

Θ′ = `; KBM L(Θ|Di`BM )URVΘ

次に，評 価デ ータのクラスタリングを行 う．評価 デM
ー タ D i2bi = {Xii2bi }i=1に含まれる各答案 X =w1 , w2 , · · · , wn に対して，単語ベクトル v(w) の平均を取ることで文ベクトル v(X) を作る．
nv(X) =1!
v(wi )n i=1㍲2: aS@aa データセットの設問と答案の例

UkV

この文ベクトルを使い，コサイン類似度を距離尺度とした F@K2/QB/bYY アルゴリズム R を用いて評価データをT 個に分割する．
{Dti2bi }Tt=1 = K2/QB/b (Di2bi , T )UjV

各クラスタ Dti2bi の中心点 +i2biを計算し，この中心点
t㍲3: ベースモデルの概要図とコサイン類似度が大きい訓練データを K 個選択する．

タセットの設問と答案の具体例を示す．モデルの学習に
i2bii`BMDti`BM = {Xki`BM }K)
k=1 = iQTK(+t , DU9V

この Dti`BM を用いて訓練済みの自動採点モデルのファインチューニングを行う．

Θ′′ t = `; KBM L(Θ′ |Dti`BM )
Θ′U8V

パラメータ Θ′′ t を用いて，クラスタ t の評価データの各
i2bi
答案 Xt,j∈ Dti2bi に対して点数 st,j の予測を行う．
i2bist,j = fΘ′′t (Xt,j)

UeVfΘ′′t は点数を返す採点モデルであり，9Xk 節で詳述する．

㲔꽦

4

実験を行うX‫عشجذ٭ظ‬実験では記述式答案のデータセットである F;;H2 のaS@aa k を使用する．aS@aa は，解答者が英語で書かれた長文を読んだ上でそれについての記述式の設問に解答した答案テキストと，それに対して採点者が付けた点数のペアのデータから成る．このデータセット
は Ry 問の異なる試験問題で構成され，各問題は平均でkkke 個の答案テキストを含む．本研究ではこれらを訓練データ U平均 Rjej 個V，開発データ U平均 j9R 個V，評価データ U平均 8kk 個V の j つに分割して使用する．各問題の配点は k 点もしくは j 点である．図kにこのデー;2M2`i2/fbFH2`Mn2ti`X+Hmbi2`XEJ2/QB/bX?iKH
k ?iiTb,ffrrrXF;;H2X+QKf+fbT@bb

4.2‫ظٓت٭ي‬ٜ

本研究では文献 (e) で提案された自動採点モデルをベースモデルとして採用する．図jにベースモデルの概要
図を示す．このモデルでは，はじめに答案中の単語を単語ベクトルで表現した後，"B@GahJ を用いて単語長分の隠れベクトルを得る．次にそれらを単語長に関して平均をとることで文ベクトルとし，最後に R 次元への線形変換を施すことで答案に対する点数を予測する．またテムの予測した点数と正解の点数の間の二乗誤差を用

ンチューニングを行う提案手法の効果を検証するためのR ?iiTb,ffb+BFBi@H2`M@2ti`X`2/i?2/Q+bXBQf2MfHi2bif

アのみを用いる．

学習に用いる損失には，全ての訓練データについてシス

評価データをクラスタリングし，クラスタ毎にファイ4.1

は，問題中の長文の情報は一切用いず，答案とそのスコいる．

4.3

㲔꽦錃㲊

自動採点モデルの予測性能の評価指標には，文献 (ed) に倣い，Zm/`iB+ q2B;?i2/ ETT UZqEV を用いる．ZqE はラベルに答案の点数のような順序関係がある場合の一致率を測るための評価指標であり，@R から Rまでの範囲の値をとる．

‫ظٓت٭ي‬ٜ‫מ‬꞊‫׾׌‬錃㲊

単語ベクトルとして事前学習された jyy 次元の :HQo2 のベクトル (9) を用い，訓練中に単語ベクトルの値の更新も行った．"B@GahJ 層は次元数を k8e，積層数を k とし，層間で yXR の確率でドロップアウトを実行した．k8e 次元から R 次元への線形変換の際に yX8 の確率でドロップアウトを実行した．
損失の最適化には /K (k) を用い，学習率の初期値は

ρ = 0.001 とした．

― 1002 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

問題
ベース
クラスタリングなし

k クラスタ

提案手法
ランダム
提案手法
ランダムR
yXdj9
yXd9k
0.747
0.742
yXd9R

kyXdyj
0.714
yXdyN
0.715
yXdRj

辐1: 実験結果

jyXe980.643
yXe9y0.648yXej89
yX8N90.602
yX8Nj0.600
yX8NR

䬠勅䣆嫎‫מ‬꞊‫׾׌‬錃㲊 ファインチューニングする際には /K の学習率を ρ = 0.0001 とした．ファインチューニングに用いる訓練データの数 K は，Ry 個の問題そ8yXdjd
0.753
yXdjN
0.757
yXd8ye
yXd83
0.755
yXd98
yXd88
0.758

dyX8ed
0.568
yX8e3
yX8dy
yX8dy

3
yX88j
yX8ej
0.570
yX8eR
0.574

N
yXdj8
0.741
yXdjN
yXd9y0.749

RyyXdyR
yXdyk
0.708
0.710
yXdyN

平均

yXedj
0.678
yXede
0.680
yXedN

辐2: ２つのクラスタ内に含まれる評価データの数とファインチューニング前後の性能差．性能差は提案手法の ZqE からランダムに選択した時の ZqE を引いたスコアを表している．

問題 R問題 k問題 j問題 9問題 8問題 e問題 d問題 3問題 N問題 Ryれぞれについて K = 50, 100, 200, 300, 400, 500 の中から開発データでの ZqE がもっとも高かった時の値を用いた．ファインチューニングの回数についても R∼8回の中で，ある１つの E の条件についてもっとも開発データにおける予測性能が高い時の値を採用した．この Eの選択に用いる開発データは各クラスタの中心から訓練データと同様の手法で Ryy 個選択したものを用いた．ク
ラスタリングの分割数は k とし，また全ての計測について異なる 8 つの乱数のシード値を用いた実験結果の平均

クラスタ R89d9ydjR3R93998
9jj
89d8dN83d993

クラスタ kRyRN33R9dR8j
Ree8kky
Rk
N3

比率

性能差

88,R
kR,R9,R
R,Rj,Rj,R
RR,R
kN,R
9N,R
8,R

yXyyRkyXyyk9yXyRj8yXyyNyyXyydj@yXyykk
yXyyyy@yXyRk3@yXyy3N
yXyyy9値を最終的な計測値とした．また，提案手法における評価データのクラスタ分割の効果を検証するため，クラスタリングを行わずにクラスタ数 k の場合と同じ実験を行った．
提案手法による ZqE の変化とファインチューニン
グによる ZqE の変化を区別するため，訓練データをランダムに選択した場合についても同様の実験を行なった．ランダムに選択する場合では，クラスタ毎に Ryy 個ランダムに選択したものを開発データとし，開発データでの予測性能がもっとも高かった時の E の値を評価データに対して用いた．訓練データに関しても提案手法と同様に K = 50, 100, 200, 300, 400, 500 の数の訓練デー㍲4: 問題 N の k つのクラスタの様子．各点は R つの答案の文ベクトルに主成分分析を実行し k 次元に変換したものを表し，青とオレンジの点の集合がそれぞれクラスタになっている．

タをランダムに選択してモデルのファインチューニング

ンダムよりも低くなる問題や，差が微小な問題も存在し，に用いた．

手法自体に改善の余地があることがわかった．

4.45

㲔꽦磵冽

表Rに実験結果を示す．表中の「ベース」はファインチューニング前の訓練済みモデルを表す．クラスタリング

縒㴔

本章ではクラスタ数 k の時の提案手法の ZqE がラなし，クラスタ数 k のいずれの場合でも，ランダムのモンダムに選択した時の ZqE よりも低くなる問題や変デルよりも提案手法のモデルの方が平均的に ZqE が化しない問題が見られた原因について考察する．

上昇した．このことから，記述式答案の自動採点モデル

表kに k つに分割したクラスタに含まれる評価データの学習においてトランズダクティブ学習が有効であるこの数とその問題における提案手法とランダムに選択したとがわかった．また提案手法のクラスタリングなしとク時のモデルの性能差を示す．比較的 ZqE がランダムラスタ数 k の結果を比較すると，クラスタ数 k の ZqEに選択した場合よりも上昇した問題 j，9，8 などは他のがクラスタリングなしの ZqE を平均的に上回った．こ問題に比べて各クラスタ内の評価データの数の偏りが少のことから，クラスタリングによる評価データの分割にないことがわかる．

よって，評価データに対するモデルのより緻密なファインチューニングが可能となり，モデルの予測性能向上につながることがわかった．しかし，提案手法の性能がラ

ここで次にランダムに選択した場合の ZqE スコアよりも提案手法の ZqE スコアが下がった問題の中で，クラスタ間の要素数の差が大きかった問題 N について観― 1003 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

辐3: 問題 e の点数分布とクラスタに関連する点数の分布(R)(k)

訓練データ
評価データ
クラスタ R の訓練データ
クラスタ k の訓練データ
クラスタ R の評価データ
クラスタ k の評価データ

y点
RkRe
9N39999
j9k
R8e

R点
Rjy8e
988R
8k点
89
jykykd
jj点
jd
R8yR
Rjk

察を行ってみる．図9に問題 N における評価データのクラスタの様子を示す．図9では，クラスタ k の評価データの数がクラスタ R の評価データの数に比べて少なくな꞊鵽溿狒6

トランズダクティブ学習を用いた先行研究として，ニューラルネットワークを用いた機械翻訳のタスクに適用したものがある (8)．この論文では，評価データの情報を用いて選択された訓練データを使ってモデルをファインチューニングすることで翻訳性能が向上がみられたと報告されている．文献 (j) では，述語項解析のタスクについて大規模コーパスで訓練済みの言語モデルを評価データについてファインチューニングし，そのモデルで述っていることがわかる．図9のクラスタ k には，右側に語項解析の訓練を行うことで予測性能が向上した．

大きく外れた地点に外れ値があり，クラスタ k 内の要素7数が少ないためにその外れ値の影響を大きく受け，訓練データを選ぶために用いる中心点の位置が実際の評価データがまとまっている地点から離れてしまっていることがわかる．上記の観察から，クラスタ間で要素数に偏りがあることによって評価データの予測に有益な訓練データが取得できず，モデルの予測性能に悪影響を及ぼす可能性があると考えられる．今後の課題として，要素数の偏りを軽減したクラスタリングの方法や外れ値に頑強なデータ選択の手法を考える必要がある．
次に問題 e の結果について考察する．問題 e は表kにおいてクラスタ間の要素数の偏りが小さいにも関わらず，ZqE はベースモデルのスコアよりも下がる結果となった．訓練データと評価データにおける各点数の分布を表j(R) に示す．問題 e は j 点満点の問題であるが，全体に占める y 点の割合が高いことがわかる．提案手法において，問題 e では評価データの評価をクラスタの中心から選択された 8y 個の訓練データを使ってファインチューニングされたモデルで行っており，その選択された8y 個の訓練データおよびクラスタ内の評価データの点数分布は表j(k) のようになっている．選択された訓練データにも点数の偏りが存在し，大半が y 点となっている．
クラスタ R の j 点やクラスタ k の k 点など，クラスタ内ֽ‫מ׽؂‬
本稿では，記述式答案の自動採点を教師あり学習の問題として解くことが過度に難易度の高い問題を解いていると考え，新たにトランズダクティブ学習の問題として捉え直した．その上で，評価データをクラスタリングを用いて分割し，それぞれのクラスタに対して自動採点モデルのファインチューニングを行う新たな手法を提案し，その効果を検証した．評価データへのモデルのファインチューニングおよび評価データの分割には一定の効果があったものの，クラスタリングの手法および訓練データの選択の仕方にはまだ改善の余地があると言えるため，今後の課題としたい．

链鰭本研究は CaSa 科研費 CSRNEkyj8R，CSRN>y9Rek の助成を受けたものです．

⹆縒乃春
(R)
(k)
(j)の評価データには含まれるにも関わらず，ファインチューニングに用いる訓練データには含まれていない点数があることがわかる．実際に，R つのモデルのファインチ(9)ューニング前後の予測を比較すると，ファインチューニング後には全体としてファインチューニング前よりも点(8)数を低く予測する傾向があった．具体的には，ファインチューニング前に評価データの j 点のデータへの予測はeeW 正解していたのに対し，ファインチューニング後には jjW まで低下していた．このように，提案手法では，ファインチューニングに用いる訓練データの選択に文ベ(e)(d)クトルの類似度のみを用いているため，データ全体の点

X :KK2`KM- oX oQpF- M/ oX oTMBFX ǳG2`MBM; #vh`Mb/m+iBQMǴX AM, S`Q+22/BM;b Q7 i?2 6Qm`i22Mi? *QM72`@
2M+2 QM lM+2`iBMiv BM `iB}+BH AMi2HHB;2M+2X RNN3X.B2/2`BF SX EBM;K M/ CBKKv "X ǳ/K,  J2i?Q/ 7Q`
aiQ+?biB+ PTiBKBxiBQMǴX AM, j`/ AMi2`MiBQMH *QM72`2M+2QM G2`MBM; _2T`2b2MiiBQMbX kyR8X>B`QFB Pm+?B- CmM amxmFB- M/ E2Mi`Q AMmBX ǳh`Mb/m+iBp2G2`MBM; Q7 L2m`H GM;m;2 JQ/2Hb 7Q` avMi+iB+ M/ a2@
KMiB+ MHvbBbǴX AM, S`Q+22/BM;b Q7 i?2 kyRN *QM72`2M+2QM 1KTB`B+H J2i?Q/b BM Lim`H GM;m;2 S`Q+2bbBM; M/i?2 Ni? AMi2`MiBQMH CQBMi *QM72`2M+2 QM Lim`H GM@;m;2 S`Q+2bbBM;X kyRNX
C2z`2v S2MMBM;iQM- _B+?`/ aQ+?2`- M/ *?`BbiQT?2` JM@
MBM;X ǳ:HQo2, :HQ#H o2+iQ`b 7Q` qQ`/ _2T`2b2MiiBQMǴX AM,S`Q+22/BM;b Q7 i?2 kyR9 *QM72`2M+2 QM 1KTB`B+H J2i?Q/bBM Lim`H GM;m;2 S`Q+2bbBM;X kyR9X
H#2`iQ SQM+2Hb- :B/2QM JBHH2ii2 /2 "mv q2MMB;2`- M/M/v qvX ǳh`Mb/m+iBp2 .i@a2H2+iBQM H;Q`Bi?Kb 7Q`
6BM2@hmMBM; L2m`H J+?BM2 h`MbHiBQMǴX AM, S`Q+22/BM;b
Q7 h?2 3i? qQ`Fb?QT QM Si2Mi M/ a+B2MiB}+ GBi2`im`2h`MbHiBQMX kyRNX"`BM _BQ`/M 2i HX ǳAMp2biB;iBM; M2m`H `+?Bi2+im`2b 7Q`
b?Q`i Mbr2` b+Q`BM;ǴX AM, S`Q+22/BM;b Q7 i?2 Rki? qQ`Fb?QTQM AMMQpiBp2 lb2 Q7 LGS 7Q` "mBH/BM; 1/m+iBQMH TTHB@+iBQMbX kyRdX
Ep2? h;?BTQm` M/ >r22 hQm L;X ǳ L2m`H TT`Q+? iQ
miQKi2/ 1bbv a+Q`BM;ǴX AM, S`Q+22/BM;b Q7 i?2 kyRe *QM@
72`2M+2 QM 1KTB`B+H J2i?Q/b BM Lim`H GM;m;2 S`Q+2bb@
BM;X kyReX

数分布に偏りがあると，うまく機能しない場合があると考えられる．

― 1004 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.