大規模言語モデルによる固有表現理解の粒度に関する検討

近年，大規模言語モデル（LargeLanguageModel;LLM）は質問応答や文章生成など多様な自然言語処理タスクにおいて高い性能を示しており，人間に近い言語運用能力を獲得しつつあると評価されている[1,2]．一方で，LLMは人間のように概念体系や意味構造を明示的に学習するのではなく，大量のテキストデータから統計的な関連性を通じて言語表現を獲得している．このため，LLMが言語表現をどのような単位で捉え，どの程度概念的に理解しているのかは必ずしも明らかではない．人間の言語理解では，対象を粗い分類から細かな分類へと整理する階層的な概念構造が重要な役割を果たす．固有表現もその一例であり，人名，地名，製品名といった分類は，意味の粒度を持つ階層構造として整理することができる．拡張固有表現（ExtendedNamedEntities;ENE）は，このような人間の概念的整理を反映した体系として，固有表現を階層的に分類する枠組みを提供している[3]．しかし，LLMはこのような階層的な概念体系を明示的に与えられて学習しているわけではなく，固有表現についても，それらがどの粒度の概念として捉えられているのかは十分に検証されていない．す入力：文脈（context）私は愛知県の豊橋市に住んでいます．質問（question）文中に含まれる○○を答えてください．質問形式：名前のみ○○：地名定義のみ○○：場所に関する名前．名前＋定義○○：地名（場所に関する名前．）出力：抽出された固有表現：愛知県，豊橋市なわち，LLMが固有表現を表層的な語として扱っているのか，あるいは概念的な位置づけまで含めて理解しているのかは不明である．本研究では，人間が設計した概念体系であるENEの階層構造をLLMの固有表現理解を観察するための評価軸として用いる．ENEは意味の粒度を段階的に表現しており，この構造に基づいてLLMの応答を分析することで，固有表現がどの粒度まで概念的に扱われているのかを捉えることができると考えられる．本研究では，「理解」をENE階層上で一貫したカテゴリ選択が行われるという操作的な振る舞いとして定義し，LLMの固有表現理解のあり方を探索的に観察することを目的とする．