敵対的発言を取り入れた議論による言語モデルの学習強化と推論力の向上

大規模言語モデル（LargeLanguageModel;LLM）は他モデルや人間との議論を通じて問題に対する理解を深めることができる。議論はモデルの学習段階においても論理的・批判的思考力や説明力の向上に寄与すると考えられるが、従来研究では議論を推論時にのみ活用していた。本研究では、学習段階において学習モデルの出力が不正解の場合には正解に、正解の場合には不正解に誘導する敵対的議論を行う「反論モデル」によるフレームワークを提案する。提案手法では議論を用いた追加学習を行い、学習モデルのパラメータを更新する。議論を行わない手法、推論段階に議論を適用する手法、推論過程を言語化するChain-of-Thought(CoT)と比較して、提案手法は算術、常識推論、質問応答タスクにおいて高い性能を示した。