大規模言語モデルによるコーパスアノテーション精度の検証

認知言語学における用法基盤モデルの理念を体現するbehavioralprofiles[1]の手法を用いたコーパス分析では、用例ごとに形式的・意味的な複数の変数を付与する必要がある。しかし、これらのアノテーションは手作業に依存することが多く、処理可能なデータ量や一貫性・客観性の確保に限界がある。その結果、大規模データを用いた分析はサンプル調査にとどまらざるを得ない場合が多い。近年、LLMの発展によりアノテーション作業を自動化・省力化できる可能性が指摘されている。一方で、LLMの出力を研究データとして利用するためには、その精度や安定性を検証し、どのような条件下で信頼可能であるかを明らかにする必要がある。本研究では、英語およびスペイン語のコーパスデータを対象に、手作業によるアノテーションを基準として、LLMによるタグ付け精度を体系的に検証する。特に、タグごとの差異、プロンプト設計（zero-shot/few-shot）の影響、および言語間での傾向の違いに焦点を当て、LLMを言語学研究に導入する際の方法論的含意を明らかにすることを目的とする。本稿の構成は以下の通りである。第2節では先行研究を整理し、第3節では分析対象のデータおよびコーパスを概観する。第4節ではタグ付けおよび分析手法を示し、第5節でLLMによるタグ付け結果を示した上で考察を行う。最後に第6節でまとめと今後の課題を述べる。