含意関係認識は論理的過程の基盤であり、たとえばファクトチェックなど様々な重要タスクの下敷きとなる。ファインチューン等で表層的なパターンを学ばせれば含意関係認識の評価スコアは向上するが、必ずしも含意関係認識そのものが解けて論理的な演算一般ができることにはならない。本研究では、ファインチューンやfewshotprompting抜きにGPT-4がどのような場合に含意関係認識に失敗するかを詳細に分析し、特に時制、数量詞・数詞の認識に課題があること、またわずかな単語や語順の違いで結果が大きく変動することを示した。現在の大規模言語モデルの限界を示すとともに、今後の言語モデル改良に向けた手がかりになると期待される。

大規模言語モデル（LLM）で実装された生成AIの登場によって、AIによるコーディングや文章生成など業務の効率化が期待されている。中でもOpenAI社の提供するGPT-4は、大量の学習データとパラメータを用いて訓練され、その能力が高く評価されているモデルの一つである。しかし、生成結果に「ハルシネーション」（事実に反する出力）[1]を含むことが問題となっている。さらに、機械学習全般にその推論過程を説明することは困難で、生成AIに説明を生成させたとしてもその説明が実際の推論過程と一致するという舗保証はない。こうしたことは、LLMが自然言語の論理的側面をどの程度理解しているかという疑問を引き起こしている。本研究では、論理的過程の基盤である含意関係認識タスクを通じてLLMの論理的推論能力を調査する。含意関係認識とは、前提文と仮定文のペアに対し、前提文が真の場合に仮定文の真偽を判断するもので、含意、中立、矛盾の3値に分類することが多い。たとえば、前提文を「事実」とし、仮定文を「SNSなどに投稿された文章」とすれば、ファクトチェックに応用できる。既存の含意関係認識タスクの評価スコアは高いが、ファインチューンやfewshotpromptingにより表層的パターンを学んでいるだけで、含意関係そのものを扱えていない可能性がある。本研究では分類器のファインチューンとLLMのfewshotpromptingにより既存のLLMの性能を検証したうえで、LLMのzeroshotpromptingでさまざまな含意関係認識データのどのような場合に間違うのか分析を行い、現在のLLMの性能の限界を推測する。