誤りを経験して修正する：誤りデータの正例扱いによる対照学習

深層学習技術の急速な発展と大規模データの活用により，言語モデルは従来の手法では困難だった多種多様な自然言語処理タスクにおいて顕著な成果を上げている[1,2]．一方で，モデル出力が完全に正しいとは限らず，しばしば文脈不整合や知識エラーなどの誤生成を起こすことが問題視されている．誤生成を低減するために，モデル構造の改良や大規模事後学習といった手法が検討されてきたが，近年は対照学習（contrastivelearning）の枠組みが自然言語処理の分野でも注目を集めつつある[3]．対照学習では，正例と負例を対比させることで，正例の生成確率を高めると同時に，負例の生成確率を抑制する学習を行う．しかし，人間の学習プロセスに着目すると，「誤りを一度経験してから修正する」ほうが記憶の定着や再発防止に有効である場合が多い．たとえば誤った解法を実際に試してから，その誤りを理解することで，類似の誤りが繰り返しにくくなる．本研究では，このような「失敗をあえて経験し，その後で修正する」という学習プロセスがモデルの精度向上にも寄与すると考え，負例を一時的に増幅させてから抑制する新しい対照学習手法を提案する．言い換えれば，負例を「いったん高いところに持ち上げてから落とす」ことで，誤りの修正効果をより強くすることを狙っている．本論文の構成は以下のとおりである．まず関連研究として，対照学習と失敗学習に関する先行研究を概説する（§2）．次に，提案手法の詳細を示し，正例データ・負例データ・誤りデータの三種類の損失を組み合わせる学習方法を説明する（§3）．その後，OpenDialKGデータセットを用いた対話生成タスクでの実験を行い，提案手法が既存の対照学習より優れた性能を示すことを検証する（§4）．最後に，本研究を総括し，今後の展望を述べる（§5）．