複数文章からの表生成における生成AIの利用と評価手法の比較

近年,Web上のテキストデータの構造化や,情報抽出に関する様々な手法[3][4]が提案されている.情報整理の一環として,村田ら[1],野田ら[2]はWeb上の関連した複数の文章から表を生成していた.これらの研究では,図1の文章を,表1のように重要情報を自動で抽出し表の形で整理していた.また,この表生成の応用として,村田ら[5][6][7]の研究では,ChatGPTと表生成技術を用いて,株価記事に対する分析を行っている.村田ら[1],野田ら[2]の研究では,表の評価方法として,正解をあらかじめ用意し正解との類似性で自動評価をしていた.しかし,この自動評価では正解との類似性を評価しているため,出力された表の構造が正解のものと異なる場合,実際の表の性能を反映していないと想定され,自動評価の信頼性に疑問があった.本稿では,自動評価ではなく出力された表を人手で評価することによって,より信頼性のある評価をすることを目指した.身長最高位文章1身長183cm,体重191kg最高位は東十両12枚目文章2身長175cm,体重130kg,血液型はO型最高位は西幕下2枚目文章3現役時代の体格は身長179cm,体重149kg,血液型はAB型最高位は東幕下4枚目