本研究では，テキストの答案データと同時に画像の答案データを入力として利用した場合の自動採点システムの効果について議論する．テキスト特徴量と画像特徴量を直接分類層に入力するモデルとLLaVAモデルの二つのモデルを作成し，BERTのみを利用したモデルとの比較実験を行った．その結果，文法能力について評価を行っている文書力については画像を取り込むことで一部の課題において評価精度が向上した．また画像データによるモデルの性能向上の原因として答案の長さの影響が示唆される実験結果を得た．

小論文試験は論理的な思考力や自分の考えを表現する力を測定する方法として様々な試験で取り入れられている．その一方で複数の採点者間による細かな採点基準の違いや，採点を長時間行う上での疲労の蓄積，心境の変化などの要因から人間が小論文を一律な基準で採点することは難しい．加えて，人的労力や時間的なコストがかかることから小論文試験を実施するためのハードルが存在する．このような背景から現在多数の小論文自動採点システムが提案されている．事前学習済み言語モデルであるBERT[1]を用いたモデルとしては英語小論文データセットであるASAP1）を利用してYongjieらのR2BERTモデルを採用した自動採点システムが高い精度を出したことが報告されている[2]．模範解答との共通形態素を利用したモデル[3]や文法特徴を取り入れたモデル[4,5]のような小論文の特徴に即したモデルも構築されている．また，生成系言語モデルであるGPT-4[6]を用いた自動採点システムも構築されており[7,8]，採点根拠をフィードバックさせるなど，教育分野への貢献についても模索されている[9]．これらの自動採点システムでは，モデルに入力す1）https://paperswithcode.com/dataset/asapるデータとして電子化されたデータを使用している．ただし，試験の場合，一般には紙の解答用紙に手書きで解答する．そこで，まず近年発展してきているVision＆LanguageモデルであるLLaVAを利用して言語生成モデルで採点させたが高い精度が得られなかった．そこで本研究では，画像の答案データに採点に有効な情報があるかを明らかにするために，テキストの答案と共に解答者が記述した答案を画像データと同時に利用した場合の自動採点モデルへの効果について実験的に明らかにする．