大規模言語モデルによるコーパスアノテーション精度の検証

本研究は、behavioralprofiles[1]に基づくコーパス分析において必要となる形式的・意味的アノテーションを対象に、大規模言語モデル（LLM）の実用性を検証した。英語とスペイン語のコーパスから抽出した前置詞句の用例に対し、手作業とLLMによるアノテーションを比較し、正解率および一致度指標に基づく統計分析を用いて評価を行った。さらに、zero-shot/few-shotプロンプト設計の違いが精度に与える影響、言語間差についても検討した。結果、LLMのモデル、プロンプト設計、タグ項目や言語によってタグ付け精度には大きな差が見られ、LLMを研究利用する際はプロンプト設計と人手検証を組み合わせたハイブリッド運用が不可欠であることを示した。