時間関係タスクを対象にしたマルチタスク学習におけるデータの親和性の解析

文章中に表現される時間に関するイベントに対して，常識的な時間関係を捉えることは，自然言語理解においてとても重要な課題である．しかしながら，近年，幅広い自然言語処理（NLP）タスクで大きな成果を上げているBERT[1]などの事前学習済み言語モデルは，時間推論においてはまだ性能が低いと言われている[2]．特に困難な課題として，時間的常識を扱う推論が挙げられる．例えば，「旅行に行く」と「散歩に行く」という2つのイベントが与えられたとき，多くの人間は「休暇は散歩よりも長く，発生頻度も少ない」という時間的常識を持っているが，コンピュータにはこのような時間的常識を用いて推論することが困難である．先行研究[3]では，時間的常識推論に対するモデルの開発に焦点を当て，対象タスクを解くのに必要な常識的知識を付加したモデルを提案した．本研究では，汎用性という点にも目を向け，マルチタスク学習を導入し，時間に関する複数のタスクの精度を同時に向上させつつそれらのタスクに汎用な言語モデルの構築を目指す．また，マルチタスク学習を通じて得られた複数のタスクに共有する潜在空間において，使用した各データセットの文章ベクトルの分布を可視化することによって分析し，マルチタスク学習に使用するデータセットの親和性と精度の関係について考察を行う．