FrameBench:意味フレームに基づく意味理解ベンチマーク

大規模言語モデル(LLM)は高い下流タスク性能を示す一方で、人間と類似した意味解釈を行っているか評価することは難しい。そこで本研究では、LLMの意味理解を評価することを目的とした、フレーム意味論に基づくベンチマーク、FrameBenchの構築方法を提案する。FrameBenchは同一の動詞が喚起する意味フレームの違いを正しく区別できるかを問う多肢選択式問題で構成され、LLMが表層的な単語の一致だけでなく、人間と類似した意味解釈によって文脈を理解しているかどうか評価する。また、実際に日本語のFrameBenchを構築し1）、様々なモデルを評価した結果を報告する。小規模なモデルはランダムに近い性能を示す一方で、いくつかの大規模なモデルは人間に迫る性能を達成することが確認された。