Mixture-of-Expertsの悲観的な統合による頑健な自然言語理解

自然言語理解タスクのデータでは，ショートカットと呼ばれる，ラベルと擬似相関をもつ単純な特徴量が存在することがある．擬似相関はデータ分布の変動に対して頑健でないため，ショートカットへの依存は分布外データでの性能低下につながる．先行研究ではショートカットに依存しないモデルの学習が目標とされてきたが，この学習には実用上大きな困難が伴う．本研究ではこの学習を直接の目標とせず，それぞれ異なる潜在特徴量に基づいて予測するmixture-of-expertsモデルをルールにより悲観的に統合することで，頑健に予測する手法を提案する．実験により，実用的な設定において先行研究を上回る分布外性能を示すことを確認した．