敵対的発言を取り入れた議論による言語モデルの学習強化と推論力の向上

LLMは様々なタスクにおいて優れた言語理解・生成能力を発揮している[1,2]。LLMの大きな進展の一つとして、他モデルや人間との議論を通じて、複雑な問題解決や柔軟な思考が可能となったことが挙げられる。例えば、LLMは対話を通じて、相手の反論に対して予測の理由を説明し、相手を説得することや自分の間違いを正すことができる[3]。この議論能力は、特に複雑な推論や批判的思考を必要とするタスクにおいて、LLMの性能を向上させる[4]。最新の研究では、推論時における議論がLLMの性能を大幅に向上させることが報告されている[5,6,7,8,9]。これらの推論段階での議論は、問題に対するモデルの予測を直接的に洗練させることを可能にし、様々なタスクの性能を向上させた。一方で、その効果は主に、議論を伴わない通常の学習にTotalforbedrooms:3×4=12hours.Kitchen:sameasabedroom.Livingroom:doubleabedroom.Total=12+4+8=24hours学習モデル✗補助Thekitchenactuallytakestwicethebedroom,andlivingroomistwotimesofeverythingelse.解答Kitchentime:4+50%=4+4/2=6hours.Bedroomsandkitchen=18hours.Livingroom:2×18=36hours.Total=18+36=54.✓発言Butthinkagainaboutthelivingroom.Isitreallytwicethetotalofthebedroomsandkitchen,orcoulditbemore?敵対Bedroom:4.Kitchen:4+4/2=6.Totalbeforeliving=3x4+6=18.Living=18x2=36hours.Total=18+36=54.反論モデル✓ラメータを更新する提案手法の概要図。よって身につけられたLLMの能力を引き出すことで得られている。つまり、LLMは議論をしながら学習（パラメータ更新）をした訳ではないので、LLMの学習と推論の状況に乖離があり、「推論段階の議論だけでは説明力や批判的思考力を最大限に高めきれていないのではないか？」という疑問が生じる。学習段階で議論を能動的に取り入れることはまだ開拓されておらず、研究が少ない。例えば、学習モデルと評価モデルが学習段階に導入され、評価モデルが学習モデルの出力を評価し正解に誘導する手法が提案されている[10,11]。しかし、この手法では議論の対象が学習モデルの誤った予測へのフィードバックや修正に限定されている。学習モデルが正しい理解や論理に基づいて正答しているかを試す批判的検証が行われていないため、正解やフィードバックの丸暗記に基づいた応答を行っている可能性がある。教育学における敵対的指導法では、人間は批判的な過程を通じて理解を深めると報告されてい.る[12,13]。同様に、正解時に間違えさせる誘導に対して学習モデルが批判的に対処し、不正解時は間違いに対する批判を受容する過程がLLMの問題解決力の向上に繋がるのではないかと考える。本研究では、予測の正解と不正解に応じて補助的な発言または敵対的な発言をする「反論モデル」と議論し、タスクの習得を目指す「学習モデル」のパラメータを更新することで、学習モデルの議論能力を直接的に鍛える枠組みを提案する。図1は提案手法の概要を示している。反論モデルは学習モデルの予測に対して一貫した反論を行い、問題への理解を試す。学習モデルは反論モデルを説得する必要があり、学習負荷が高いため、問題解決への理解がより深まり、推論時のタスク性能が改善する。さらに、推論段階において議論やCoTなどの手法を適用すると、学習段階の議論により予測過程の説明力が磨かれているため、議論学習を行っていないモデルよりもさらにタスク性能が向上すると考えられる。実験では、Flan-T5とGPT-3.5をそれぞれ、学習モデルと反論モデルとして採用した。算術問題(GSM8K)、常識推論(CommonsenseQA)、知識に関する質問応答(MMLU)タスクにおいて、提案手法は議論を行わない学習手法、CoT、正解のみを使う既存手法よりも高い性能を示した。さらに、提案手法がCoTの言語化を顕著に改善することが自動評価と人手評価の両方から明らかになった。ゆえに、提案手法は議論に特化した能力だけでなく、汎用的な論理的思考力や説明力を高めると考えている。