Rationaleの自動生成によるCoTデータセット構築

Chain-of-Thought(CoT)は，大規模言語モデルにおいて問題を回答する過程にその思考過程を含めることで推論タスクの性能を改善できるプロンプトエンジニアリングの一種である[1]．しかし，その効果は大規模なモデルにおいて限られており，小規模なモデルではCoTによる性能改善が現れないということも示されている[2]．モデルのCoTによる推論性能を向上させるために，CoTの事例を用いてモデルの追加学習をさせるという方法が考えられる．そのためには大量の事例が必要となるが，CoTデータの構築において重要となるrationale(思考過程)の作成は，推論の過程を言語化する必要がある，同じ問題であっても回答に至る過程は一意とは限らない，といった理由からアノテーションの品質の管理が難しく，人手での構築は非常にコストがかかる．これに対して，LLMに問題とその回答からrationaleを生成させ，それを人手で判定するということでデータ構築の効率化を図るという方法が考えられる．本論文では，LLMを用いたrationale生成によるCoTデータ構築手法と，ベンチマークを用いた構築したデータセットの評価について述べる．