日本語の分類タスクにおけるカリキュラム学習とマルチタスク学習の効果検証

機械学習に基づく自然言語処理においてよく用いられる手法の一つに転移学習がある．転移学習の一手法として，事前学習をしてから対象のタスクごとにファインチューニングをするという2段階で行うことが多い．転移学習のモデルとしてはBERT[1]など様々なモデルが開発されている．BERTは，言語理解ベンチマークGLUE[2]において当時の最高スコアを達成しており，広く利用されている．事前学習やファインチューニングを行う際に，それぞれにおいてどのようなタスクをどのような順番で解くかが重要である．この点に着目した手法にカリキュラム学習があり一定の成果が出ている[3,4,5,6,7]．人間が学習する際，まず難しいことから学ぶのではなく簡単なことから学んだ方が良い．それと同様に，学ぶ順番が大切なことは機械学習にも同じことが言える．機械学習におけるカリキュラム学習は，学習データを最も効果的な順番に並び替え段階的に学習する手法で，簡単な学習データから学習して徐々に難易度を上げていくことが多い．また，近年はマルチタスク学習も注目されている[8,9,10,11]．マルチタスク学習は一度に2つ以上のタスクで学習する手法であり，あるタスクから得られた知識を他のタスクにも適用することで精度が向上する場合がある．ただし，タスク同士に親和性がない場合は精度が低下する可能性があるため，親和性のあるタスク同士でマルチタスク学習を行うことが重要である[12]．このような研究は英語などで活発に行われている一方，これまで日本語では包括的な調査が行われていない．本研究では，日本語におけるタスク同士の親和性や効果的な学習方法を調査することを目的とし，日本語データセットを用いてカリキュラム学習およびマルチタスク学習を行う。事前学習モデルには日本語BERTを用い，タスクには日本語言語理解ベンチマークJGLUE[13]に含まれる自然言語推論(JNLI)，意味的類似度計算(JSTS)，評価極性分類(MARC-ja)の3種類の分類タスクを用いる．カリキュラム学習では，あるタスクでファインチューニングした後，さらに対象タスクでファインチューニングすることで対象タスクの精度が向上するかを評価する．マルチタスク学習では，上記3種類のタスクから2つを選び同時に学習し，有効性を評価する．