生成AIは含意関係認識ができるのか

大規模言語モデル（LLM）で実装された生成AIの登場によって、AIによるコーディングや文章生成など業務の効率化が期待されている。中でもOpenAI社の提供するGPT-4は、大量の学習データとパラメータを用いて訓練され、その能力が高く評価されているモデルの一つである。しかし、生成結果に「ハルシネーション」（事実に反する出力）[1]を含むことが問題となっている。さらに、機械学習全般にその推論過程を説明することは困難で、生成AIに説明を生成させたとしてもその説明が実際の推論過程と一致するという舗保証はない。こうしたことは、LLMが自然言語の論理的側面をどの程度理解しているかという疑問を引き起こしている。本研究では、論理的過程の基盤である含意関係認識タスクを通じてLLMの論理的推論能力を調査する。含意関係認識とは、前提文と仮定文のペアに対し、前提文が真の場合に仮定文の真偽を判断するもので、含意、中立、矛盾の3値に分類することが多い。たとえば、前提文を「事実」とし、仮定文を「SNSなどに投稿された文章」とすれば、ファクトチェックに応用できる。既存の含意関係認識タスクの評価スコアは高いが、ファインチューンやfewshotpromptingにより表層的パターンを学んでいるだけで、含意関係そのものを扱えていない可能性がある。本研究では分類器のファインチューンとLLMのfewshotpromptingにより既存のLLMの性能を検証したうえで、LLMのzeroshotpromptingでさまざまな含意関係認識データのどのような場合に間違うのか分析を行い、現在のLLMの性能の限界を推測する。