LLMの語用論的推論能力を選択的に阻害できるか

人間が言葉の字義的意味を越えて解釈に至る仕組みは，語用論の分野で研究が進められている．例えば，比喩と皮肉はいずれも字義的解釈からの逸脱を伴う点で共通するが，関連性理論（RelevanceTheory）では，比喩は文脈にあわせて語句の意味を緩めたり，広げたりして理解するのに対し，皮肉は話し手の態度を読み取って理解すると区別する[1,2]．このような区別は発達研究からも示唆されている．自閉スペクトラム症（ASD）では，言葉の字義通りの理解に偏りやすいことが指摘されている[3]．比喩と皮肉の理解を同一形式で問う比喩・皮肉文テスト（MSST）を用いた研究では，AS（ASD）群において比喩に比べ皮肉の成績が特異的に低いことが報告されており[4]，人間における字義的意味を越えた理解が1つの推論モジュールに支えられているものではないことを示唆している．一方，大規模言語モデル(LLM)の語用論タスクに対する性能を評価する研究が近年行われている．Huら[5]は，専門家が整備した7種の語用論タスクに関してLLMの正答率をモデル別に比較した．Satoら[6]は，LLMに対して関連性理論などの概要をプロンプトで提示し，段階的推論を誘導することで語用論タスクの成績が向上することを示した．しかし，先行研究の多くは「課題が解けるか否か」という性能比較に留まり，LLMの語用論的推論を支える内部構造の検証は十分ではない．本研究では，関連性理論に基づき分類した6種の語用論的推論タスクそれぞれに対して意図的な介入を加えることで，LLM内の推論モジュールの構造を探ることを試みる．具体的には，6種の語用論タスクを対象に，（i）誤った推論を選好させる直接選好最適化(DPO)によるチューニングと，（ii）誤った推論を誘導するFew-shotプロンプトという2種類の介入を行い，特定カテゴリの推論が成立しにくい状態（阻害）を作り出す．そのうえで，介入が狙いのカテゴリに与える阻害効果に加え，他カテゴリのタスク性能への波及（干渉）を体系的に測定する．さらに，各層の表現が推論に関わる情報をどのように保持しているかを，プロービングにより解析する．