LLMは多様なタスクをこなせる一方で、利用者の目的に即した性能は必ずしも明らかではない。本稿では、言語記述・比較研究の支援・自動化を目的として、適切なLLMを選定するためのベンチマークを自動生成する手法を示す。具体的にはGrambankを例に、言語の類型論的な分類と、その根拠となる文献からの抜粋を組み合わせたデータセットを構築する。閉本・開本設定の性能比較により、根拠文献の言語学的記述の理解能力が評価できる。

言語記述・比較研究(フィールド言語学、記述言語学、比較言語学、言語類型論等を総称する)や、考古学や遺伝学などの他分野の知見との統合による人類史研究のためには、データや分析結果を構造化し、再利用可能な形で共有する基盤が重要である。近年は、機械可読なデータ形式としてのCLDF(Cross-LinguisticDataFormats)[1]や、Web閲覧ツールキットであるCLLD[2]のようなソフトウェア的基盤の整備とともに、WALS[3]やGlottolog[4]に代表される数多くの言語資源の公開が進んでいる。しかし、構造化の諸段階には大きな課題が残る。エクセル形式のデータ(言語学者が採用しがち)のCLDFへの変換に限らず、手書きフィールドノートのデジタル化、古い紙文献のOCR処理、音声の書き起こし、グロス付与、転写方式の統一、語彙リストの編纂、個別言語の類型論的分類など、多種多様な作業が必要となる。こうした作業は専門知識に基づく判断を要しつつも反復的であり、また、言語学において業績として評価されにくい作業になりがちであるため、継続的な資源整備の阻害要因となる。大規模言語モデル(LLM)は多様なタスクをこなせるため、こうした作業を支援・自動化しうる。しかし、利用可能なLLMの選択肢は商用APIからオープンウェイトモデルまで急速に増えている一方で、どのモデルが利用者の目的に適するか(あるいはいずれも適さないか)は必ずしも明らかではない。既存の総合ベンチマークはLLM開発者が全般的な性能を競う用途に寄っており、個別の利用目的に関する適合性の判断には使いにくい。例えばHumanity’sLastExam[5]は広範な分野を対象とする高難度のベンチマークであり、言語学に関する問題も含むが、その比重は限定的である。かといって、利用者が目的特化型ベンチマークを自前で用意することは、設問設計や正解付与などの点で負担が大きい。本稿では、既存の言語資源を利用してベンチマークを自動生成する方針を提案し、言語類型論データセットGrambank[6]を例に具体化する。Grambankは、言語学的判断としてのコーディング値に加え、その根拠となる文献情報が付与されている点に特徴がある。本稿では、(i)特徴定義と対象言語のみからコーディング値を予測する閉本(closedbook)設定と、(ii)根拠文献の抜粋を追加で提示する開本(openbook)設定を対にした評価データを、オープンアクセス(OA)文献を利用して構築する。両設定の性能差は、根拠文献に含まれる言語学的記述の理解能力を評価する指標として利用できる。