大規模言語モデル(LLM)は高い下流タスク性能を示す一方で、人間と類似した意味解釈を行っているか評価することは難しい。そこで本研究では、LLMの意味理解を評価することを目的とした、フレーム意味論に基づくベンチマーク、FrameBenchの構築方法を提案する。FrameBenchは同一の動詞が喚起する意味フレームの違いを正しく区別できるかを問う多肢選択式問題で構成され、LLMが表層的な単語の一致だけでなく、人間と類似した意味解釈によって文脈を理解しているかどうか評価する。また、実際に日本語のFrameBenchを構築し1）、様々なモデルを評価した結果を報告する。小規模なモデルはランダムに近い性能を示す一方で、いくつかの大規模なモデルは人間に迫る性能を達成することが確認された。

近年、大規模言語モデル(LLM)は急速な発展を遂げており、質問応答や常識推論といった高度な言語理解を要するタスクにおいても高い性能を示している[1]。LLMは人間のように言葉を操る一方で、内部での推論過程はブラックボックスであり、人間と類似した枠組みで意味を解釈している保証はない。LLMの推論過程の不透明性は、一見自然な出力に潜む誤りや矛盾の制御を困難にし、ユーザーとの信頼構築において大きな障壁となる。このような課題を克服するためには、LLMが文章の意味を人間と同じように捉えているかを多角的に評価する必要がある。本研究では、そのような評価に必要となるベンチマークの１つとして、フレーム意味論[2]に基づきLLMの意味理解を評価するベンチマークであるFrameBenchを構築する。フレーム意味論とは、言語1）実装および構築された日本語FrameBenchはhttps://github.com/SasanoLab/Framebenchから利用可能である。「二人以上一緒にいる」と言える文をすべて選んでください。文A:会場から駅まで田中さんを送った。…Bringing文B:会場から駅までの案内を田中さんに送った。Sending…1:文A2：文B3:文Aと文B4:該当なし人間1✔LLMA3✗LLMB1✔が表現する出来事や概念をその背景知識である意味フレームと結びつけることで文の意味を分析する枠組みである。LLMの意味理解を評価する既存のベンチマークは下流タスクに基づくものが一般的であり[3,4,5]、LLMの評価にフレーム知識を活用する取り組みは限定的である。本研究では特に日本語のフレーム知識である日本語フレームネット[6]を基盤として日本語FrameBenchを構築し、評価を行う。す。ここでは、動詞「送る」が文脈に応じて異なるフレームを喚起する点に着目している。例えば、[Bringing]フレームにおいての主体(Agent)は「対象の移動を制御し、同伴する存在」と定義されるが、[Sending]フレームでの主体(Sender)は「対象の移動を開始させるが、同伴しない人物」と定義される。FrameBenchは、こうした同一の動詞が喚起するフレームの違いを正しく区別できるかを問う多肢選択式問題で構成される。これにより、LLMが表層的な単語の一致だけでなく、人間と類似した意味理解能力を獲得しているかの検証が可能となる。