日本語の時間的常識を理解する言語モデルの構築を目的としたマルチタスク学習における検証

自然言語の文章を理解するうえで，イベントが意味する時間の理解は重要である．しかし，イベントの時間を意味する直接的な表現は文章内では省略されやすく，時間の理解のためには，自然言語で表現されるイベントのさまざまな時間的側面について常識的な知識を持っている必要がある．例えば，「いつの間にか眠っていて夢を見たんだ」という文章を読んで，我々は「眠る」と「夢を見る」というイベントが過去のことで，「眠る」の方が「夢を見る」よりも長い時間がかかることやこの二つのイベントが同時に起こることを理解できる．このような常識を踏まえた理解や推論をコンピュータにさせることは挑戦的な課題となっている．近年，BERT[1]などの事前学習済み言語モデルが幅広い自然言語処理タスクで大きな成果を上げているが，これらのモデルは時間推論においては未だ性能が低いと言われており[2]，汎用言語モデルを改善し時間的な常識におけるタスクの精度を上げる試みがなされている[3][4]．しかし，日本語に関する時間的な常識を捉えた研究は未だ少ない．そこで，我々は日本語における時間的常識に基づく理解に焦点を当てて研究を進めており，本研究では時間的常識に関するタスクを用いたマルチタスク学習を行なう．具体的には，文章のイベントの時制・時間幅・時間順序・事実性を推定するタスクを組み合わせて学習させ，より効果的な学習方法を検討する．