言語処理学会 第30回年次大会 発表論文集（2024年3月）

確信度と得点の予測精度を両立する論述回答自動採点モデル
高橋 祐斗 1 宇都 雅輝 1
1 電気通信大学大学院{takahashi, uto}@ai.lab.uec.ac.jp

概要
近年，深層学習を用いた論述回答自動採点モデルが高精度を達成し，実用化が期待されている．しかし，高性能な自動採点モデルであっても，得点予測を誤る可能性は依然として残っており，このことがハイステークス試験における自動採点導入の妨げの一つとなっている．この問題を解決する方法の一つとして，得点予測に加えて，予測した得点に対する確信度も出力できる深層学習自動採点モデルを用いて，予測誤りの検出を試みる研究がなされている．
本研究では，確信度を推定可能な従来の深層学習自動採点モデルを拡張することで，確信度推定と得点予測の両面における性能向上を目指す．

1

はじめに

近年，学校教育では思考力・判断力・表現力といった能力が重視されるようになり，これらの能力を評価する方法の一つとして論述式試験の活用 が 注 目 さ れ て い る [1, 2, 3]．一 方 で，論 述 式 試
験には，人手採点に伴うコストや採点の公平性担保の困 難さといった 問題が残る [4, 5]．このよ うな 問 題 を 解 決 す る 手 法 の 一 つ と し て，深 層 学 習を 用 い た 自 動 採 点 手 法 は 多 数 提 案 さ れ，実 用 化が期待され ている (e.g.,[6, 7, 8, 9, 10])．近年では，
特に BERT（Bidirectional Encoder Representations fromTransformers）[11] などの事前学習済み Transformer
モ デ ル [12] を 基 礎 モ デ ル と し た 深 層 学 習 自 動 採点モデルが広く活用され，高精度を達成している（e.g.,[13, 14, 15, 16, 17, 18]）．
他方で，このような高性能な自動採点モデルであっても，得点予測を誤る可能性は依然として残っており，このことが自動採点導入の妨げの一つとなっている．この問題を解決する方法の一つとして，得点予測に加えて，予測した得点に対する確信度も推定できる深層学習自動採点モデルが提案されている [19]．この手法では，確信度が低い，すなわ
ち予測得点が誤っている可能性が高い回答文を検出して，そのような回答文を人間の評価者が採点することで，採点コストの増加を抑えつつ，採点精度の向上を目指している．
確信度を推定できる従来モデル [19] は，BERT に基づく深層学習自動採点モデルを分類器として設計したモデルとなっている．分類器として設計した従来モデルは，交差エントロピー誤差を損失関数とするため，真得点と予測得点が異なる訓練データに対しては，その違いの大小によらず等しく誤りとみなして学習が進められる．他方で，一般的には深層学習自動採点モデルは回帰の枠組みで設計されることが多い．回帰の枠組みで設計したモデルでは，二乗誤差を損失関数とするため，真得点と予測得点の差の大きさを考慮してモデルの学習が進む．そのため，回帰の枠組みで設計した方が，分類に基づく手法よりも高精度な得点予測が期待できる．また，得点予測の精度向上は確信度の推定精度向上にも寄与すると期待できる．
そこで，本研究では回帰として設計した深層学習自動採点モデルに基づいて得点予測と確信度推定を行う手法を提案する．しかし，実データ実験の結果，提案モデルは得点の予測精度では優れる傾向が見られたが，確信度の推定精度は総じて分類器として設計した従来モデルに劣る傾向が確認された．この結果は，得点予測を回帰で行い，確信度推定を分類で行うことで，双方の観点において平均的に優れた性能が得られる可能性を示唆している．
そこで，本研究ではさらに，得点予測を回帰で行い，確信度推定を分類で行うことができる深層学習自動採点モデルを提案する．具体的には，BERTベースの深層学習自動採点モデルを回帰と分類のそれぞれの方法で得点を予測する出力層を加えた二出― 1136 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

力型モデルとして設計し，マルチタスク学習の枠組みで訓練する．実データ実験の結果，分類と回帰のハイブリッド型提案モデルが，得点予測と確信度推定の両面において，分類または回帰として設計したモデルと同等以上の性能を達成できることが確認された．

2

従来手法
従来手法 [19] では，BERT に基づく深層学習自動採点モデルを分類器として設計したモデルにより得点予測と確信度推定を実現している．具体的には，冒頭に特殊タグ [CLS] を加えた単語系列で表される回答文 𝒙 を BERT に入力することで，[CLS]に対応する BERT の出力ベクトルである分散表現ベクトル 𝒉 を取得する．次に，分散表現ベクトル𝒉 を得点段階数と同長のベクトルに 𝒖 = 𝑾 𝑐 𝒉 + 𝒃 𝑐（ここで，𝑾 𝑐 ，𝒃 𝑐 はパラメータ）と変換し，ソフトマックス関数に通すことで，得点 𝑘 に対する分類確∑𝐾 −1率を 𝑃 𝑘 = exp(𝑢 𝑘 )/ 𝑖=0exp(𝑢 𝑖 )（ここで，𝐾 は得点段階数，𝑢 𝑘 はベクトル 𝒖 の 𝑘 番目の要素）と求める．このモデルでは，回答文 𝒙 に対する予測得点を𝑦ˆ = argmax𝑃 𝑘 で求め， 𝑦ˆ に対応する確信度を 𝑃 𝑦ˆ で𝑘評価する．
モデル学習時の損失関数には次式で定義される交差エントロピー誤差を用いる．

L𝐶𝐸 = −𝑁∑

図1

回帰の枠組みで設計した深層学習自動採点モデル図

回帰モデルとして設計した深層学習自動採点モデル

3

そこで本研究では，回帰の枠組みで設計した深層学習自動採点モデルに基づき，予測の確信度を推定するモデルを提案する．概念図を図 1 に示す．なお，基礎モデルには BERT を採用している．
提案モデルでは，出力層を正規線形回帰モデルとして設計する．具体的には，回答文 𝒙 を BERT に入力して得られる分散表現ベクトル 𝒉 を 2 つの線形層に通すことで，正規線形回帰モデルの平均項を 𝜇ˆ = sigmoid(𝑾 𝑚 𝒉 + 𝑏 𝑚 )（𝑾 𝑚 , 𝑏 𝑚 はパラメータ，sigmoid(·) はシグモイド関数を表す）と求め，分散項を 𝜎
ˆ 2 = exp(𝑾 𝑣 𝒉 + 𝑏 𝑣 )（𝑾 𝑣 , 𝑏 𝑣 はパラメータ）とlog 𝑃 𝑦𝑛 (𝒙 𝑛 )(1)𝑛=1求める． 𝜇ˆ は 0 から 1 の値を取るため，(𝐾 − 1) 𝜇ˆ と1 次変換した値を予測得点とする．また，予測得点

ここで，𝑁 は訓練データの数，𝒙 𝑛 は訓練データ集合の 𝑛 番目の回答文，𝑦 𝑛 は 𝒙 𝑛 に対して人間評価者が与えた得点，𝑃 𝑦𝑛 (𝒙 𝑛 ) は回答文 𝒙 𝑛 を入力したときの得点 𝑦 𝑛 に対応する分類確率を表す．

に対する確信度は −𝜎ˆ 2 で評価する．
モデル学習時の損失関数は次式で定義される．
}
𝑁 {∑∥𝑧 𝑛 − 𝜇(𝒙ˆ 𝑛 )∥ 2 12L𝑁 𝐿 =+log
2𝜋𝜎
ˆ
(𝒙)
(2)
𝑛22𝜎
ˆ 2 (𝒙 𝑛 )𝑛=1

このモデルでは，学習時の損失関数として交差エここで，ˆ
𝜇(𝒙 𝑛 ) と 𝜎
ˆ 2 (𝒙 𝑛 ) はそれぞれ，回答文 𝒙 𝑛 を入ントロピー誤差を用いているため，真得点と予測得力して得られる平均項と分散項の予測値であり，𝑧 𝑛は真得点 𝑦 𝑛 を 0 から 1 の尺度に変換した値である．

点が異なる訓練データに対して，その差の大小によらず等しく誤りとみなしてモデルの学習が進められる．一方で，一般的には深層学習自動採点モデルは3.1

評価実験回帰の枠組みで設計されることが多い．回帰では，ここでは，実データ実験により，提案モデルと二乗誤差を損失関数とすることにより，真得点と予測得点の差の大きさもモデル学習に活用することが従来モデルを比較する．本研究では，実データとできる．そのため，回帰に基づくモデルを利用した（Automated Student Assessment Prize）データセットを方が，分類に基づく手法よりも高精度な得点予測が使用した．ASAP は，8 つの異なる論述式問題に対期待できる．また，得点予測の精度向上は確信度のして英語を母語とする米国の学生が記述した回答文推定精度向上にも寄与すると期待できる．と，それらの回答文に対して人間評価者が付与したして，論述回答自動採点の研究で利用される ASAP

― 1137 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

スコアで構成される．ASAP データセットの基礎統計量を付録表 3 に示す．本実験では，5 分割交差検証法で得点予測と確信度推定の性能評価を行った．
得点予測の精度評価では評価指標に 2 次重み付きカッパ係数（Quadratic Weighted Kappa;QWK）と相関係数を用いた．QWK と相関係数はどちらも値が 1に近いほど得点予測の精度が高いと言える．確信度推定の性能評価には，Reversed Pair Proportion（RPP）[20] と Area Under the Receiver Operating Characteristic（ROC-AUC）を用いた．RPP は数値が小さいほど，ROC-AUC は数値が大きいほど確信度の推定性能が高いと言える．評価指標の詳細は付録 B に示す．

図2

回帰と分類のハイブリッド型自動採点モデル図

層は次式となる．
𝑧ˆ = sigmoid(W𝑠 h + 𝑏 𝑠 )

3.1.1

評価結果

(3)

ここで，W𝑠 ，𝑏 𝑠 は学習されるパラメータである．

得点予測精度の評価結果を表 1 に示す．また，確信度推定性能の評価結果を表 2 に示す．表では，従トルに 𝒗 = 𝑾 𝑡 𝒉 + 𝒃 𝑡（ここで，𝑾 𝑡 ，𝒃 𝑡 はパラメータ）

来モデルの結果を「分類モデル」の行，提案モデルとして変換し，ソフトマックス関数を通して得点 𝑘の結果を「回帰モデル」の行に示した．また，全問予測精度の評価では，平均性能に着目すると，提案に対する分類確率を次式で計算する．
exp(𝑣 𝑘 )𝑄 𝑘 = ∑𝐾 −1
𝑖=0 exp(𝑣 𝑖 )モデルは従来モデルより高性能であることがわか

ここで，𝑣 𝑘 はベクトル 𝒗 の 𝑘 番目の要素である題についての平均性能を「平均」列に示した．得点

また，分類層では，𝒉 を得点段階数と同長のベク(4)る．一方で，確信度推定性能の評価では，提案モデハイブリッド型の提案モデルを用いて任意の回答

ルの平均性能は，従来モデルに劣る結果となった．

文 𝒙 に対する予測得点を求める場合には，回帰層か回帰と分類のマルチタスク学習を組み込んだ深層学習自動採点モデル

ら得られる 𝑧ˆ を用いる．ただし，𝑧ˆ は 0 から 1 の値3.1 節の実験結果から，提案モデルにより得点予度には，分類層から得られる分類確率を用いる．具測の精度は向上する傾向がみられた一方で，確信度体的には，𝑧ˆ を元の段階得点尺度に 1 次変換して四推定の性能については従来モデルに基づく手法が高性能を示す傾向があることが明らかとなった．この

捨五入した値を 𝑠ˆ とすると，その得点に対する分類4として得られるため，𝑧ˆ を元の 𝐾 段階尺度に 1 次変換した値を予測得点とする．予測得点に対する確信確率 𝑄 𝑠ˆ が確信度となる．

結果は，得点を回帰で予測し，確信度を分類器の分類確率により推定できれば，双方の観点で平均的に4.2モデル学習優れた性能が期待できることを示唆している．そこ

本モデルはマルチタスク学習の枠組みで訓練を行で，本研究ではさらに，回帰と分類の二つの出力層う．マルチタスク学習とは複数のタスクを一つの機を有し，得点を回帰で予測し，確信度を分類確率に械学習モデルで同時に学習することで，双方のタスより推定する深層学習自動採点モデルを提案する．

クの精度を高めることを目指した手法である [21]．

4.1

マルチタスク学習では，一般に複数タスクの損失関

モデル設計

数の重み付き線形和を全体の損失関数として設計す回帰と分類のハイブリッド型自動採点モデルの概る [22, 23]．提案モデルの学習においても，回帰の念図を図 2 に示す．本モデルは，BERT によって得得点予測に基づく二乗平均誤差 L𝑟 𝑒𝑔 と分類の得点予測に基づく交差エントロピー誤差 L𝑐𝑙𝑎𝑠𝑠 の重み付られる分散表現ベクトル 𝒉 を，シグモイド関数を活性化関数とする回帰層と，ソフトマックス関数を介して分類確率を計算する分類層の二種類の出力層に入力する構造となっている．本モデルにおける回帰き線形和として全体の損失関数を定義する．なお，
L𝑟 𝑒𝑔 と L𝑐𝑙𝑎𝑠𝑠 は次式で定義される．

― 1138 ―1 ∑(𝑧 𝑛 − 𝑧ˆ (𝒙 𝑛 )) 2
𝑁 𝑛=1
𝑁

L𝑟 𝑒𝑔 =

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(5)

表 1 得点予測精度の評価結果

QWK

相関係数モデル問題 1

問題 2

問題 3

問題 4

問題 5

問題 6

問題 7

問題 8

平均

分類モデル

0.737

0.650

0.696

0.802

0.802

0.777

0.757

0.543

0.720

回帰モデル

0.790

0.655

0.662

0.811

0.789

0.794

0.829

0.696

0.753

ハイブリッド

0.812

0.645

0.683

0.812

0.804

0.806

0.822

0.724

0.764

分類モデル

0.759

0.667

0.698

0.807

0.810

0.797

0.771

0.609

0.740

回帰モデル

0.809

0.667

0.680

0.815

0.802

0.808

0.841

0.746

0.771

ハイブリッド

0.817

0.659

0.694

0.815

0.809

0.809

0.841

0.746

0.774

モデル

問題 1問題 2問題 3

問題 4

問題 5

問題 6

問題 7

問題 8

平均

分類モデル

0.084

0.081

0.078

0.074

0.082

0.082

0.061

0.062

0.076

表 2 確信度推定性能の評価結果

RPP

回帰モデル

0.107

0.101

0.104

0.094

0.104

0.098

0.071

0.051

0.091

ハイブリッド

0.079

0.082

0.076

0.070

0.085

0.085

0.062

0.033

0.072

分類モデル

0.664

0.632

0.637

0.640

0.625

0.639

0.625

0.660

0.640

回帰モデル

0.571

0.544

0.537

0.543

0.519

0.558

0.491

0.482

0.531

ハイブリッド

0.682

0.635

0.656

0.669

0.610

0.621

0.550

0.671

0.637

ROC-AUC

L𝑐𝑙𝑎𝑠𝑠 = −𝑁∑

log 𝑄 𝑦𝑛 (𝒙 𝑛 )(6)𝑛=1

ここで，𝑧ˆ (𝒙 𝑛 ) は回答文 𝒙 𝑛 を入力して回帰層から得られる値であり，𝑄 𝑦𝑛 (𝒙 𝑛 ) は回答文 𝒙 𝑛 に対して分類層で計算される得点 𝑦 𝑛 に対応する分類確率を表す．

L𝑟 𝑒𝑔 と L𝑐𝑙𝑎𝑠𝑠 の重み付き線形和における重みの調整では，学習中に逐次的に重みの値を決定するアルゴリズムである Loss Scale Balancing（LSB）[23]を用いる．LSB では，各タスクの損失関数のスケールを近づけるための重み 𝑎 と，各タスクの難しさに応じて値が決定される重み 𝑑 の二つの調整パラメータが定義される．これらの重みの値は，学習中，逐次的に調整される．具体的には，𝑡 エポック目にお𝑡は次の式で与えられる．
ける全体の損失 L𝑀𝑡𝑡𝑡
L𝑀
L𝑐𝑙𝑎𝑠𝑠= 𝜆𝑡 (𝑎𝑟𝑡 𝑒𝑔 𝑑𝑟𝑡 𝑒𝑔 L𝑟𝑡 𝑒𝑔 + 𝑎 𝑡𝑐𝑙𝑎𝑠𝑠 𝑑 𝑐𝑙𝑎𝑠𝑠)(7)𝑡
ここで，L𝑟𝑡 𝑒𝑔 と L𝑐𝑙𝑎𝑠𝑠は 𝑡 エポック目の L𝑟 𝑒𝑔 と型モデルに対して行った．
得点予測の精度評価結果を表 1 の「ハイブリッド」行に示す．平均性能に着目すると，QWK と相関係数の双方においてハイブリッド型の提案モデルが最も高い得点予測精度を示したことがわかる．
また，確信度推定の性能評価結果では，表 2 から，RPP においてはハイブリッド型の提案モデルの平均性能が最も高く，ROC-AUC においても 2 番目に良い結果を示している．また，ROC-AUC では，最高性能の手法との差は 0.003 と微小であった．
以上から，回帰と分類のハイブリッド型モデルは，回帰か分類のいずれかのモデルを利用する場合と比べて，得点予測と確信度推定の双方において，平均的に同等以上の性能を示すことが確認できた．

まとめ

5

本研究では，分類器として設計された従来モデル

L𝑐𝑙𝑎𝑠𝑠 の値を表す．また，𝑎𝑟𝑡 𝑒𝑔 と 𝑑𝑟𝑡 𝑒𝑔 は 𝑡 エポッ
ク目における 𝐿 𝑟 𝑒𝑔 に対する二種の重み，𝑎 𝑡𝑐𝑙𝑎𝑠𝑠 と𝑡
𝑑 𝑐𝑙𝑎𝑠𝑠
は 𝑡 エポック目における L𝑐𝑙𝑎𝑠𝑠 に対する二種の重み，𝜆𝑡 は全体の損失関数のスケールを調整するを，回帰の枠組みに拡張したモデルを提案した．し値である．重みの詳細な計算方法は付録 C に示す．

を踏まえ，本研究ではさらに，回帰に基づいて得点

4.3

評価実験

かし，実験から，このモデルは得点予測の精度については改善の傾向がみられたものの，確信度推定の性能は従来手法に劣ることが確認された．この知見を予測し，分類に基づいて確信度を推定する深層学習自動採点モデルを提案した．実験から，回帰と分

ここでは，回帰と分類のハイブリッド型の提案モ類のハイブリッド型の深層学習自動採点モデルは，デルの性能を，従来モデルおよび 3 章で提案した回回帰か分類のいずれかのモデルを利用する場合と比帰モデルとして設計したモデルと比較する．具体的

べて，得点予測と確信度推定の双方において，平均には，3.1 節と同様の実データ実験をハイブリッド的に同等以上の性能を示すことが確認できた．

― 1139 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本 研 究 は JSPS 科 研 費 23K17585，21H00898，

formation Processing Systems, 2017.
[13] Jianwei Li and Jiahui Wu. Automated essay scoring incorporating multi-level semantic features. In Proceedingsof International Conference on Artiﬁcial Intelligencein Education, pp. 206–211. Springer, 2023.

19H05663 の助成を受けたものです．

参考文献[1] Yousef Abosalem. Assessment techniques and students
higher-order thinking skills. Journal of Secondary Education, Vol. 4, No. 1, pp. 1–11, 2016.
[2] H John Bernardin, Stephanie Thomason, M Ronald Buckley, and Jeﬀrey S Kane. Rater rating-level bias and accuracy in performance appraisals: The impact of rater personality, performance management competence, and rateraccountability. Journal of Human Resource Management, Vol. 55, No. 2, pp. 321–340, 2016.
[3] Mohamed Abdellatif Hussein, Hesham Hassan, and Mohammad Nassef. Automated language essay scoring systems: A literature review. Journal of PeerJ ComputerScience, Vol. 5, , 2019.
[4] Zixuan Ke and Vincent Ng. Automated essay scoring:
A survey of the state of the art. In Proceedings ofAAAI Conference on Artiﬁcial Intelligence, Vol. 19,pp. 6300–6308, 2019.
[5] Masaki Uto. A Bayesian many-facet Rasch model with
Markov modeling for rater severity drift. Journal of Behavior research methods, Vol. 55, No. 7, pp. 3910–3928, 2023.
[6] Masaki Uto. A review of deep-neural automated essay
scoring models. Journal of Behaviormetrika, Vol. 48,
No. 2, pp. 459–484, 2021.
[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach toautomated essay scoring. In Proceedings of EmpiricalMethods in Natural Language Processing, pp. 1882–1891, 2016.
[8] Fei Dong and Yue Zhang. Automatic features for essay
scoring–an empirical study. In Proceedings of Conference on Empirical Methods in Natural Language
Processing, pp. 1072–1077, 2016.

[9] Mohsen Mesgar and Michael Strube. A neural local coherence model for text quality assessment. In Proceedingsof Conference on Empirical Methods in Natural Language Processing, pp. 4328–4339, 2018.

[10] Takumi Shibata and Masaki Uto. Analytic automated essay
scoring based on deep neural networks integrating multidimensional item response theory. In Proceedings ofInternational Conference on Computational Linguistics, pp. 2917–2926, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional
Transformers for language understanding. In Proceedings of North American Chapter of the Association
for Computational Linguistics: Human Language
Technologies, pp. 4171–4186, 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser,and Illia Polosukhin. Attention is all you need. In Pro-[14] Haruki Oka, Hung Tuan Nguyen, Cuong Tuan Nguyen,
Masaki Nakagawa, and Tsunenori Ishioka. Fully automated short answer scoring of the trial tests for common
entrance examinations for Japanese university. In Proceedings of International Conference on Artiﬁcial Intelligence in Education, pp. 180–192. Springer, 2022.

[15] Masaki Uto, Itsuki Aomi, Emiko Tsutsumi, and Maomi
Ueno. Integration of prediction scores from various automated essay scoring models using item tersponse theory.
Journal of IEEE Transactions on Learning Technologies, pp. 1–18, 2023.

[16] Yongjie Wang, Chuan Wang, Ruobing Li, and Hui Lin. On
the use of BERT for automated essay scoring: Joint learning of multi-scale essay representation. In Proceedingsof Conference of the North American Chapter of theAssociation for Computational Linguistics, pp. 3416–3425, 2022.
[17] Misato Yamaura, Itsuki Fukuda, and Masaki Uto. Neural automated essay scoring considering logical structure.
In Proceedings of International Conference on Artiﬁcial Intelligence in Education, pp. 267–278. Springer,2023.
[18] Ruosong Yang, Jiannong Cao, Zhiyuan Wen, Youzheng
Wu, and Xiaodong He. Enhancing automated essay
scoring performance via ﬁne-tuning pre-trained language
models with combination of regression and ranking. InProceedings of Conference on Empirical Methods in
Natural Language Processing, pp. 1560–1569, 2020.

[19] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi,
Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: an exploration of human-in-the-loop
frameworks for automated short answer scoring. In Proceedings of International Conference on Artiﬁcial Intelligence in Education, pp. 465–476. Springer, 2022.

[20] Ji Xin, Raphael Tang, Yaoliang Yu, and Jimmy Lin. The artof abstention: Selective prediction and error regularization
for natural language processing. In Proceedings of Annual Meeting of Association for Computational Linguistics and International Joint Conference on Natural Language Processing, pp. 1040–1051, 2021.

[21] Richard A. Caruana. Multitask learning: A knowledgebased source of inductive bias. In Proceedings of International Conference on Machine learning, pp. 41–48.
1993.
[22] David Eigen and Rob Fergus. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture. In Proceedings of IEEE International Conference on Computer Vision, pp. 2650–2658, 2015.
[23] Jae-Han Lee, Chul Lee, and Chang-Su Kim. Learning
multiple pixelwise tasks based on loss scale balancing. Inceedings of International Conference on Neural In-― 1140 ―Proceedings of IEEE/CVF International Conference
on Computer Vision, pp. 5107–5116, 2021.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

実験設定
3.1 節の実験で使用した ASAP データの基礎統計量を表 3 に示す．また，本実験では，全てのモデルをPyTorch で実装した．また，BERT モデルは Huggingface で公開されている英語テキストで事前学習されたモデルである bert-base-uncased を利用した．学習アルゴリズムは AdamW（学習率 0.00005）を利用し，最大エポック数は 30，バッチサイズは 8 とし，検証データに対する損失関数の値に基づいてアーリーストッピングを行った．
表 3 ASAP データセットの基礎統計量問題１B問題２問題３問題４問題５問題６問題７問題８受検者数

1783

1800

1726

1771

1805

1800

1569723

回答文の平均単語数

365.7

380.7

108.6

94.4

122.1

153.3

168.1

604.9

得点段階数

11644553161

評価指標
3.1 節における実験で利用した評価指標について説明する．
得点予測の精度評価で利用した QWK は予測得点と真得点のずれの大きさを考慮した一致度を示すカッパ係数の一つであり，自動採点モデルの性能評価に広く利用されている．
確信度推定の性能評価で利用した RPP は，「確信度が高いデータは予測得点と真得点の誤差が小さいはずである」という前提を反映した指標であり，次式で定義される．
𝐵 𝐵1 ∑∑
𝕀[ 𝑐ˆ𝑖 < 𝑐ˆ 𝑗 , 𝑒 𝑖 < 𝑒 𝑗 ]𝑅𝑃𝑃 = 2
𝐵 𝑖=1 𝑗=1(8)

ここで，𝐵 は評価データのデータ数，𝑐ˆ𝑖 は 𝑖 番目の評価データに対する確信度，𝑒 𝑖 は 𝑖 番目の評価データにおける予測得点と真得点の二乗誤差，𝕀[·, ·] は 2 つの条件式が満たされるときに 1，そうでないときに 0 を返す関数である．RPP は数値が小さいほど確信度の推定性能が高いことを意味する．
確信度推定の性能評価で利用した ROC-AUC は，確信度に閾値を定めて各評価データに対する予測の正誤を判定した際の True Positive Rate（TPR) と False Positive Rate（FPR）に基づいて計算される指標である．ここで，TPR は「予測得点が実際に正しい評価データのうち，確信度に基づいて予測が正しいと判定できた割合」を意味し，FPR は「予測得点が誤っていた評価データのうち，確信度に基づいて予測が正しいと誤判定してしまった割合」を意味する．ROC は，予測が誤っているか否かを区別する確信度の閾値を，評価データ中の確信度の最大値から最小値まで変えながら TPR と FPR を求め，横軸が FPR，縦軸が TPR となるように描画することで得られる．ROC-AUC はこのようにして描いた ROC の曲線下面積に対応している．ROC-AUC は数値が大きいほど確信度の推定性能が高いといえる．

C

ハイブリッド型提案モデルの損失関数における重みの計算式 (7) で表されたハイブリッド型提案モデルの損失関数における，重みの具体的な計算方法について説明

𝑡𝑡する．式 (7) における L𝑟𝑡 𝑒𝑔 に対する 2 種類の重み 𝑎𝑟𝑡 𝑒𝑔 ，𝑑𝑟𝑡 𝑒𝑔 と L𝑐𝑙𝑎𝑠𝑠に対する 2 種類の重み 𝑎 𝑡𝑐𝑙𝑎𝑠𝑠 ，𝑑 𝑐𝑙𝑎𝑠𝑠はそれぞれ以下のように計算される．
L𝑡 −1
𝑎𝑟𝑡 𝑒𝑔 = 𝑀𝑡 −12L𝑟 𝑒𝑔
𝑎 𝑡𝑐𝑙𝑎𝑠𝑠 =𝑑𝑟𝑡 𝑒𝑔 =𝑡 −1
L𝑀

𝑡𝑑 𝑐𝑙𝑎𝑠𝑠=𝑡 −12L𝑐𝑙𝑎𝑠𝑠−1 /L𝑡 −2L𝑟𝑡 𝑒𝑔
𝑟 𝑒𝑔
𝑡 −1𝑡 −2L𝑀/L𝑀

𝑡 −1𝑡 −2/L𝑐𝑙𝑎𝑠𝑠
L𝑐𝑙𝑎𝑠𝑠𝑡 −1𝑡 −2/L𝑀
L𝑀

(9)
(10)

また，式 (7) における 𝜆𝑡 は全体の損失関数のスケールを調整する値であり，次式で計算される．
𝑡𝜆𝑡 = 0.5(𝑑𝑟𝑡 𝑒𝑔 + 𝑑 𝑐𝑙𝑎𝑠𝑠)― 1141 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(11)