語の意味的関係性に基づく大規模言語モデルの逆方向推論挙動の分析

人間は，「PならばQ」という関係性が与えられたときに，「QならばP」という逆方向の関係を自発的に推論してしまう傾向が知られている．近年，大規模言語モデル（LLM）を対象とした論理推論ベンチマークが多数提案されているが，推論方向や語の意味的関係性が推論の挙動に与える影響については十分に分析されていない．本稿では，「PならばQ」という前提文に対する順方向および逆方向の推論に着目し，語の意味的関係性がLLMの回答傾向に与える影響を分析する．具体的には，PおよびQに該当する語の意味的関係性として，無関係・類義・対義の三条件を設定し，日本語で記述したZero-shotプロンプティングを用いて二種類のLLMを評価する．実験の結果，順方向の推論では語の意味的関係性にかかわらず，高い割合で肯定的な回答が得られた．一方，逆方向の推論では，語の意味的関係性およびモデルの違いによって回答分布が大きく異なり，語の意味的近接性が逆方向推論の肯定に影響を与える可能性が示唆された．