LLMの語用論的推論能力を選択的に阻害できるか

本研究では語用論的推論を関連性理論に基づく6つの推論カテゴリに分解し，LLMに対して直接選好最適化(DPO)を用いた逆学習による介入とFew-shotプロンプトによる介入を行い，特定カテゴリの推論能力を選択的に阻害できるかを検証した．さらに，阻害効果の他カテゴリへの波及について分析した．その結果，DPO介入では，モデルサイズが7Bの場合にターゲットカテゴリの推論精度が16–52ポイント低下し，他のカテゴリにも阻害効果が波及した一方，32Bモデルでは阻害がほぼ生じなかった．Few-shot介入の場合，7Bモデルでは4–40ポイントの低下に留まるが，32Bモデルでは38–84ポイント低下し，阻害が広範に波及することが分かった．