Mixture-of-Expertsの悲観的な統合による頑健な自然言語理解

含意関係認識，言い換え同定，事実検証などの自然言語理解タスクのデータセットでは，ラベルと相関する単純な特徴量が存在することが知られている[1,2,3,4]．これらはデータ作成者が用いた経験則や選好，あるいは自然言語の構成的な性質などによって意図せず生じるとされ，様々なデータセットで確認されている[1,5,6]．しかし，例えばデータ作成者やデータ作成時の指示が変われば，これらの特徴量とラベルとの相関は容易に変化しうる．図1のように，学習データでは含意ラベルの事例で単語一致率が高かったとしても，テストデータの作成者が単語の入れ替えを好んで使った場合には，この単語一致率とラベルとの相関は変化してしまう．このように，学習データにおいてはラベルに対して予測力を持つが，テスト時のデータ分布の変動によって容易にその予測力を失うような単純な特徴量のことを，ショートカットという[7,8]．言い換えれば，ラベルと擬似相関する単純な特徴量を指す．ショートカットは単純な特徴量でありながらラベルを予測可能であるため，モデルにとって捉えやすデータ特徴量a1単語一致率:高前提文学習a2否定表現:無子猫が犬を追いかけている含意仮説文a*含意関係:有猫が犬を追いかけているa1単語一致率:高前提文テストa2否定表現:無子どもが犬をなでている非含意仮説文a*含意関係:無犬が子どもをなでている学習データにおいては単語一致率や否定表現の有無がラベルと相関するが，分布外のテストデータではこの相関が変化してしまう．𝑎∗は理想的な，どの分布でも正しくラベルを予測できる特徴量だが，この学習は困難である．く，依存しやすい．しかし，データ分布の変動に対して頑健でないため，これに依存したモデルは分布外データにおいて性能が低下する可能性が高い．そこで，先行研究ではショートカットへの依存を抑制する手法が提案されてきた[9,10,11,12,13,i.a.]．これらの手法では，学習時にショートカットへの依存を抑制することで，どの分布でも正しくラベルを予測可能なモデルを学習することを目標にしている．しかし，学習データとその分布内データでは正しくラベルを予測できる特徴量の利用をあえて抑制することになるため，実際には分布内外のデータにおいて性能のトレードオフが生じてしまう．このトレードオフは分布外データでのハイパーパラメータ調整の必要性など，実用上深刻な問題をもたらす．本研究では，このように困難な学習を直接の目的とせず，別のアプローチを検討する．ショートカットにおける分布外データでの問題は，いずれかの特徴量についてラベルとの相関が変化するが，分布外データは通常未知であるので，どの特徴量について変化するかはわからないということである．我々はこれを，どの特徴量に基づいて予測するべきかわからない不確実性のもとでの意思決定の問題として考える．悲観的な想定のもとで最小のリ.スクを達成するようにラベルを選択することで，未知の分布外データでも頑健に予測させる．学習時はmixture-of-expertsモデルを，各エキスパートが異なる潜在特徴量に基づいて予測するよう促進して学習し，推論時はどのエキスパートを用いればよいかわからない状況でのリスクを最小化するようにエキスパートの予測を統合する．3つの自然言語理解タスクで実験を行い，分布内データのみで学習とハイパーパラメータ調整を行う現実的な実験設定において，既存手法を上回る分布外性能を確認した．