# 日本語の時間的常識を理解する言語モデルの構築を目的とした マルチタスク学習における検証

船史 日佳里 ${ }^{1}$ Lis Kanashiro Pereira $^{1} \quad$ 木村 麻友子 ${ }^{1} \quad$ 浅原 正幸 ${ }^{2}$
Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1820534,g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，日本語での時間的常識の推論に対する言語モデルの開発を目的として，マルチタスク学習における検証を行った。複数の時間的常識を問うタスクを用いて，テキストエンコーダを変更して実験を行なった．実験の結果，対象タスクの組み合わせによって，時間的常識を問うタスクにおいて， $3 \% \sim 10 \%$ 程度の精度の向上を確認できた. また，使用するテキストエンコーダも大きく影響を与えることが確認できた。

## 1 はじめに

自然言語の文章を理解するうえで，イベントが意味する時間の理解は重要である. しかし，イベントの時間を意味する直接的な表現は文章内では省略されやすく，時間の理解のためには，自然言語で表現されるイベントのさまざまな時間的側面について常識的な知識を持っている必要がある。例えば，「いつの間にか眠っていて夢を見たんだ」という文章を読んで，我々は「眠る」と「夢を見る」というイベントが過去のことで，「眠る」の方が「夢を見る」よりも長い時間がかかることやこの二つのイベントが同時に起こることを理解できる. このような常識を踏まえた理解や推論をコンピュータにさせることは挑戦的な課題となっている。近年，BERT[1] などの事前学習済み言語モデルが幅広い自然言語処理タスクで大きな成果を上げているが，これらのモデルは時間推論においては未だ性能が低いと言われており [2], 汎用言語モデルを改善し時間的な常識におけるタスクの精度を上げる試みがなされている [3][4]. しかし，日本語に関する時間的な常識を捉えた研究は未だ少ない.
そこで，我々は日本語における時間的常識に基づく理解に焦点を当てて研究を進めており，本研究では時間的常識に関するタスクを用いたマルチタスク学習を行なう. 具体的には, 文章のイベントの時制・時間幅・時間順序・事実性を推定するタスクを組み合わせて学習させ，より効果的な学習方法を検討する.

## 2 提案手法

本研究では，時間的常識に関するタスクを用いたマルチタスク学習を行なって, 時間的常識のタスクに関して更に適応した言語モデルを構築し，モデルの推定精度向上を目指す。

時間的常識のタスクとして，イベントの時制・時間幅・時間順序・事実性の四つを設定する．時制の推定は，イベントが発話時と比べて過去・現在・未来のいずれであるかを推定する. 時間幅の推定は, イベントがどのくらいの時間を要するのかを推定する. 時間順序の推定は, 二つのイベントの時間的順序関係もしくは重なりについて推定する。事実性の推定は，表現が実際に起きたイベントなのか，条件節などの仮想的なイベントなのかを推定する.

マルチタスク学習は，関連する複数のタスクを同時に学習することで，モデルの汎化性能を向上させることを目的としている。関連するタスクの共通性と差異を利用することで性能を向上させることができるため，自然言語処理において普及が進んでいる [5]. 本研究では, 対象データセットのデータサイズが限られているため、学習時に補助的なデータセットを利用することによって、この問題を緩和できるマルチタスク学習が有効なアプローチであると考え，この手法を採用した.

また，複数の事前学習済み日本語言語モデルを使
表 1 DVD データセットの例

文章：悪いやつらに追われてるって話すんだ

表 2 日本語話し言葉コーパスの例文章: 一番今まで人生の中でつらかったことについてお話ししたいと思います

用して実験を行ない，日本語の時間的常識の推論夕スクに最も適したものについて検証する。

## 3 実験

マルチタスク学習を行なった際の各タスクにおける精度を求める. さらに，タスクの組み合わせを変更した際の違いを分析する。また，言語モデルにおける差異に関しても検証する。

## 3.1 使用データ

本研究では，DVDデータセットを対象データセットとして使用し，日本語話し言葉コーパスをマルチタスク学習の補助データセットとして使用している. 二つのデータセットからはそれぞれ三つずつの時間に関連する分類タスクを採用している．DVD データセットと日本語話し言葉コーパスはどちらも書き言葉ではないという点で，似ているデータセットとして本研究で採用した.

DVD データセットDD データセットは，DVD の音声データの書き起こし文に対して時間に関するラベルを付与したデータセットである．DVD は海外の映画やドラマの日本語吹替版や日本のアニメなどを使用している. タスクは，時制と時間幅と時間順序の三つの分類タスクを使用した. 例文を表 1 に示す。それぞれのタスクの分布を付録の表 6 に示す.

日本語話し言葉コーパス日本語話し言葉コーパスは，本人の体験談を語っている様子を録音したデータの書き起こし文に対して時間に関するラベルを付与したデータセットである.表 3 実験に使用したテキストエンコーダの概要

表 4 学習の際のハイパーパラメータ

batch size learning rate \# epochs

$16 \quad 1$ e-5 10

タスクは，時制と時間幅と事実性の三つの分類夕スクを使用している。例文を表 2 に示す。それぞれのタスクの分布を付録の表 6 に示す.

## 3.2 テキストエンコーダ

我々は，四つの事前学習済み日本語対応言語モデルのテキストエンコーダを用いて実験を行なった. 日本語 BERT モデル cl-tohoku/bert-base-japanese (BERT ${ }_{\text {BASE }}$ ), 日本語 ALBERT モデル ALINEAR/albertjapanese-v2 (ALBERT ${ }_{\text {BASE }}$ ), 日本語 RoBERTa モデル megagonlabs/roberta-long-japanese (RoBERTa ${ }_{B A S E}$ ), 多言語 RoBERTa モデル xlm-roberta-base (XLM-R BASE ), xlm-roberta-large (XLM-R LARGE ) を使用した。これらは全て Hugging Face で公開されている ${ }^{1)}$.

BERT $_{\text {BASE }}$ 2.6GB の日本語 Wikipedia コーパスを用いて訓練された BERT モデルである．事前学習には Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) が採用されている [1].

ALBERT $_{\text {BASE }}$ BERT よりもパラメータが大幅に削減されて軽量化されているが，事前学習で NSP の代わりに Sentence Order Prediction (SOP) を用いることで性能を上げている [6].

RoBERTa $_{\text {BASE }}$ Common Crawl 多言語コーパスから抽出された日本語テキストの約 $200 \mathrm{M}$ 文を用いて訓練された RoBERTa モデルである．BERT の事前学習を見直してNSPを排除し，訓練データのサイズを大幅に大きくすることで性能を上げている [7].

を含む 100 言語を 2.5TB の Common Crawl 多言語コーパスで事前学習されている [8].

やしたモデルである.

表 5 マルチタスク学習による実験結果

## 3.3 実験設定

本研究では，Multi-Task Deep Neural Networks (MTDNN)[9] を用いてマルチタスク学習を実行し，複数の時間関連タスクに対するモデルの性能を評価した. MT-DNN はマルチタスク学習フレームワー クであり，BERT などの言語モデルのテキストエンコーディング層をすべてのタスクで共有して組み込むことができ，上位層はタスクに特化したものとなっている，我々は，事前学習済みの言語モデルを用いて共有する層を初期化し, マルチタスク学習によって複数の時間関連タスクで改良した。 ハイパーパラメータの設定は表 4 に示す. Optimizer には Adam [10] を使用し，評価指標としては Accuracy (ACC) と F1 スコアを採用した. F1 スコアは適合率
と再現率の調和平均である.

## 3.4 実験結果

マルチタスク学習をした実験結果を，表 5 に示す. Model の列は，マルチタスク学習で使用したタスクを記している。 STDは standard fine-tuning，ALL は六つの全てのタスクでマルチタスク学習を行なった結果である。今回は精度が大きく上がった組み合わせを中心に記載し，他の組み合わせの結果を省く．結果は全て 5 分割交差検証をした値である.

結果として，マルチタスク学習を行なった方が STD に比べて精度が上がる場合が多かった. 特に時間幅や時間順序のタスクに関してはXLM-R LARGE において STD と比較して $15 \%$ 程度 F1 スコアの值を上げている。また， ALBERT ${ }_{\text {BASE }}$ に関しては，

デルであるにもかかわらず、時間順序のタスクなどで精度を上回ることができた. RoBERTaBASE よりも XLM-R BASE の方が少し精度を上回ることも確認できた.

## 4 解析

マルチタスク学習を行なう前と行なった後のモデルの最終層の隠れ状態を低次元空間に可視化して解析を行なった． BERT BASE では [CLS]トークン，

視化には UMAP ${ }^{2}$ )を使用した. 本実験で一番よい精

用いて，DVD データセットの三つの全てのタスクと日本語話し言葉コーパスの時間幅タスクでマルチ

と BERT $_{\text {BASE }}$ のマルチタスク学習前が比較できるよう可視化をした. 時間順序のタスクにおける可視化の結果を図 1 に示す.

XLM-R RARGE のマルチタスク学習後のモデルはばらつきが少なくなっていて，時間的特徵に基づくイベントのクラスタリングをより良く行うことができることがわかる. さらに BERT ${ }_{\mathrm{BASE}}$ のマルチタスク学習前のモデルと比べるとその違いが顕著に確認できる.

## 5 考察

時間的常識に関するタスクにおいて，マルチタスク学習は通常のファインチューニングよりも効果があることが確認できた。また，単純に様々なタスクを増やすよりもタスクを組み合わせた方が効果が高かったため, 補助タスクの組み合わせが重要だと考えられる. 結果から, 違うデータセットの同じタスクを増やすことでそのタスクの精度を上げられることが確認できた。しかし，それが最も精度を上げる組み合わせではないため，他にも要因があると考えられる。また，時制のタスクに関しては $\mathrm{BERT}_{\mathrm{BASE}}$ 以外のテキストエンコーダを使用した際の効果が薄く, マルチタスク学習に適したタスクではない，または他の種類のタスクを使用した実験が必要だと考えられる. テキストエンコーダに関しては，XLM-R RARGE が一番精度を上げる結果となっ

のサイズが大きいだけでなく，多言語モデルである

$\mathrm{A}<\mathrm{B}: \mathrm{A}$ が Bより前

図 1 時間順序タスクにおける最終層の隠れ状態の可視化. BERT $_{\mathrm{BASE}}$ (上) と XLM-R $\mathrm{R}_{\text {LARGE }}$ のマルチタスク学習前 (中央) と後 (下)

ことも精度を上げる要因になると考えられる。

## 6 おわりに

本研究では，自然言語で表現されたイベントの時間的常識を理解するタスクにおいて，マルチタスク学習を行なうことの効果を検証した. 実験の結果, タスクの組み合わせや使用するテキストエンコーダによって精度の向上が確認された。今後はマルチタスク学習の補助データセットの種類を増やし，さらに効果的な組み合わせの傾向などを検証していきたいと考えている。

2) https://umap-learn.readthedocs.io/en/latest/

## 謝辞

本研究は，科研費（18H05521，20H05054）の支援

を受けた。ここに謝意を表す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACLHLT2019, pp. 4171-4186, June 2019.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal Common Sense Acquisition with Minimal Supervision. In Proc. of the Annual Meeting of the Association for Computational Linguistics (ACL), 2020.

[4] Mayuko Kimura, Lis Kanashiro Pereira, and Ichiro Kobayashi. Toward building a language model for understanding temporal commonsense. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 17-24, Online, November 2022. Association for Computational Linguistics.

[5] Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, and Meng Jiang. A survey of multi-task learning in natural language processing: Regarding task relatedness and training methods, 2022.

[6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116, 2019 .

[9] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learn- ing Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 付録

表 6 データセットの分布

 &  & 1,942 \\

データセットの各タスクにおける分布情報を表 6 に示す.

DVD データセットの時間幅の TIME は $\{1$ 秒以上 1 分未満, 1 分以上 1 時間未満, 1 時間以上 1 日未満 $\}$,

\{わからない\}のように，ラベルをまとめたものである.