思考連鎖指示における大規模言語モデルの否定表現理解

近年，大規模言語モデルに少数事例を提示することで様々な言語タスクを解く，少数事例指示（few-shotprompting）[1]が注目を集めている．特に最近では，推論過程を生成するようモデルに指示する思考連鎖指示（chainofthoughtprompting）[2]の有効性が示された．例えば，「大谷翔平選手が硬式ボールを投げた可能性はあるか」といった質問に対して，思考連鎖指示に基づく推論では，モデルはまず「大谷選手は野球選手であり，硬式ボールは野球で投げるので...」といった推論過程を生成し，続いて「はい」といった結論を導く．既存研究では，思考連鎖指示のもと最終的に得られる結論の質が向上することは示されたものの，モデルが妥当な過推論程を生成しているのか，モデルの結論が過程と一貫しているのかといった推論過程の妥当性については十分に分析されていない．本研究では，一連の思考指示を(i)推論仮定を生成する段階と(ii)与えられた過程から結論を出す段階に分解し，評価の容易さから，まずは後者の与え問題：「大谷翔平選手が硬式ボールを投げた」はあり得そうか？推論過程を明示して答えよ。推論過程：大谷選手は野球選手であり，硬式ボールは野球のみで投げるので，推論過程から適切に結論を下せるか？はいいいえ結論：結論：（否定的表現「のみ」には「いいえ」が続きやすい）（論理的な帰結として）人間言語モデル否定表現が含まれる推論過程から論理的に適切な結論を導くことができるかを調査するられた過程から結論を導く能力について統制的に調査を行う．特に，言語モデルが苦手としてきた否定表現の処理に焦点を当て，onlyやnotといった否定表現が含まれる推論過程から論理的に適切な結論を導くことができるかを調査する（図1）．GPT-3（text-davinci-002，パラメータサイズ175B）[3,1]とOPT-66B（OpenPre-trainedTransformerLan-guageModels）[4]を含む大規模言語モデルを対象とした実験の結果，only，not，implausibleといった表現に誤誘導（mispriming）され，否定的な表現が推論過程に含まれるだけで，論理的な帰結に反してモデルの下す結果は大きくnoに偏ることが観察された．この結果から，依然として深い言語理解に基づく論理的な推論が行われていないことが示唆された．