思考連鎖指示における大規模言語モデルの否定表現理解

近年，推論過程の出力を指示することで大規模言語モデルの性能が向上することが示された．しかし既存研究では，推論過程を経て生成された結論のみが評価されており，モデルがどのような推論過程を生成し，また過程から導かれる妥当な結論を下しているのかといった推論内容の大規模な分析は行われていない．本研究では，言語モデルについて，推論過程を踏まえて結論を生成する能力を評価し，特に言語モデルが苦手としてきた否定表現の扱いに焦点を当てる．実験を通して，最先端の175B言語モデルですら，推論過程にnotが存在する場合，結論としてnoを生成するといった浅い理解に基づいた処理が行われている可能性を示す．