複数文章からの表生成における生成AIの利用と評価手法の比較

村田ら[1],野田ら[2]は情報整理の一環としてWeb上の複数の関連した文章から表を生成していた.これらの研究での表の評価として,予め用意した正解の表との類似性で自動評価を行っていたが,出力された表の構造が正解のものと異なる場合,実際の表生成の性能を正しく評価できないと考えられた.本稿の研究では,より信頼性のある評価を目指し,人手で評価をした.村田らと野田らの単語ベクトルとChatGPTを使用した手法をそれぞれ評価したところ,自動評価では単語ベクトルの手法のほうが性能が高かったが,人手での評価ではChatGPTの手法のほうが高くなった.人手評価の単語ベクトル,ChatGPTの手法の性能はそれぞれ0.79,0.90であった.また自動評価の問題である,正解と出力の表の構造が異なる点について,調査をしたところ,実際に評価に影響を及ぼしていることがわかった.