村田ら[1],野田ら[2]は情報整理の一環としてWeb上の複数の関連した文章から表を生成していた.これらの研究での表の評価として,予め用意した正解の表との類似性で自動評価を行っていたが,出力された表の構造が正解のものと異なる場合,実際の表生成の性能を正しく評価できないと考えられた.本稿の研究では,より信頼性のある評価を目指し,人手で評価をした.村田らと野田らの単語ベクトルとChatGPTを使用した手法をそれぞれ評価したところ,自動評価では単語ベクトルの手法のほうが性能が高かったが,人手での評価ではChatGPTの手法のほうが高くなった.人手評価の単語ベクトル,ChatGPTの手法の性能はそれぞれ0.79,0.90であった.また自動評価の問題である,正解と出力の表の構造が異なる点について,調査をしたところ,実際に評価に影響を及ぼしていることがわかった.

近年,Web上のテキストデータの構造化や,情報抽出に関する様々な手法[3][4]が提案されている.情報整理の一環として,村田ら[1],野田ら[2]はWeb上の関連した複数の文章から表を生成していた.これらの研究では,図1の文章を,表1のように重要情報を自動で抽出し表の形で整理していた.また,この表生成の応用として,村田ら[5][6][7]の研究では,ChatGPTと表生成技術を用いて,株価記事に対する分析を行っている.村田ら[1],野田ら[2]の研究では,表の評価方法として,正解をあらかじめ用意し正解との類似性で自動評価をしていた.しかし,この自動評価では正解との類似性を評価しているため,出力された表の構造が正解のものと異なる場合,実際の表の性能を反映していないと想定され,自動評価の信頼性に疑問があった.本稿では,自動評価ではなく出力された表を人手で評価することによって,より信頼性のある評価をすることを目指した.身長最高位文章1身長183cm,体重191kg最高位は東十両12枚目文章2身長175cm,体重130kg,血液型はO型最高位は西幕下2枚目文章3現役時代の体格は身長179cm,体重149kg,血液型はAB型最高位は東幕下4枚目