言語記述・比較研究のためのLLMベンチマークの自動生成

LLMは多様なタスクをこなせる一方で、利用者の目的に即した性能は必ずしも明らかではない。本稿では、言語記述・比較研究の支援・自動化を目的として、適切なLLMを選定するためのベンチマークを自動生成する手法を示す。具体的にはGrambankを例に、言語の類型論的な分類と、その根拠となる文献からの抜粋を組み合わせたデータセットを構築する。閉本・開本設定の性能比較により、根拠文献の言語学的記述の理解能力が評価できる。