# 言語の背後にある普遍性 :
人工言語とエンティティの研究を通じて

李凌寒 ${ }^{\dagger, \dagger \dagger}$
## 1 はじめに

本稿では, ACL 2022 採録論文 "Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models" (Ri and Tsuruoka 2022) 及び "mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models”(Ri et al. 2022)を紹介する.

これら 2 稿の論文はいずれもマルチリンガルな自然言語処理に関する研究であり，異なる言語に共通する「何か」を探求または活用するというテーマが根底にある。論文の詳細な内容はそれぞれの論文に譲り，ここでは研究にまつわる紆余曲折や，研究結果の示唆するところなど，一歩引いた視点からの話をしたい.

## 2 Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models

## $2.1 \mathrm{CV$ 研究からの着想}

本研究 (Ri and Tsuruoka 2022) のきっかけとなったのは実は CV 分野の研究である. 片岡らの "Pre-training without Natural Images" (Kataoka et al. 2020) は，数式からフラクタル画像を生成し，それを使い事前訓練されたモデルが，自然画像の分類についても有効であることを示した. 当時の筆者はこの結果を非常に興味深く思い，似たようなことが言語についても示せないかと考えた，例えば，純粋に統計的規則から生成される人工言語で訓練した BERT が自然言語タスクでも有効になり得ないか？ということである.

ただし，このアイディアを言語で実現するのは難しい。純粋に統計的規則から生成された言語は実世界の概念に紐づいておらず，英語といった自然言語との単語の対応が何もないということを意味する。一方で, 自然言語タスクを解くためには単語の意味を捉える必要がある． BERT といった事前学習モデルが大きな成功を収めているのも，大規模コーパスから学習した単語の知識が大きな要因としてあるだう。自然言語と似ても似つかない人工言語から単語の知識を


図 1 実験で用いた人工言語の 1 つ Dependency Language. 係り受け関係を模して, 文中に必ず対応するトークンが存在する。

学習するのはほぼ不可能だ。とはいえ, それでも単語列の有用なエンコードの仕方の学習ができるという可能性がある。 それでは, 自然言語の役に立つ人工言語とはどのようなものか？

## 2.2 役に立つ人工言語とは

事前訓練に使うのであれば，なるべく自然言語に似ている性質を持った人工言語がよい．そう考えて, 自然言語にはどのような統計的な性質があるのかを調べた。その際に大変参考になったのが「言語とフラクタル」(田中 2021)である，当書は言語を記号列としてみたときに成り立つ統計則を探求している。ここで紹介されている数理モデルそのものは本論文では採用していないものの, 単語分布が Zipf 則に従うという話や言語の系列がランダムウォークとみなせる話は，人工言語をデザインする際の発想の起点となっている，結果的に本研究では，文内の単語共起をモデリングした言語（Log-linear Language と呼んでいる）や，依存関係をモデリングした言語（Dependency Language; 図 1）をデザインし，これらを元に実験を行った.

## 2.3 ネガティブリザルトからの方向転換

当初は人工言語での事前訓練による自然言語タスクの性能向上を狙っていた．行った実験の 1 つの概略を説明すると，訓練データとして Dependency Language を使い Transformer エンコー ダをマスク付き言語モデリングで事前学習, そのエンコーダを英語の係り受け解析の夕スクに使い, ベースラインのエンコーダと性能を比較した。結果としては, Transformer をスクラッチから係り受け解析タスクで訓練するのに比べたら，人工言語で訓練したエンコーダを使った方がスコアが良くなる。しかし，スコアそのものはLSTM を使ったべースラインを超えることはなかった. 正則化や学習率の調整など小手先のテクニックをあれこれ試したが結果は同じであった.これでは人工言語が自然言語タスクの役に立つとは言い難い.

とはいえ, Transformer に限ってみると, 人工言語で訓練することで何かを学習しているようである。そこで性能向上を追い求めるのではなく，人工言語から何を学習してるかを明らかにする方向に舵をきって論文を書き上げた.

## 2.4 論文の概要

本研究では様々な人工言語，自然言語で訓練したエンコーダの転移学習における性能を，言語モデリングと係り受け解析のタスクで調べ分析をしている。明らかになったことの 1 つは,訓練データとなる文内には何かしらの統計的共起パターンがないと, 事前訓練しても意味がない，ということである。共起パターンが存在しなければ，そもそも隠された単語を予測するようなタスクは原理的に解くことができない，後から考えると当たり前の話だが，訓練データとして意味を持つには何かしらの統計的共起パターンが必要となる.

それでは文内に統計的な依存関係を持つ人工言語で事前訓練したエンコーダはどのくらい役に立つのか. 本論文の結果では，自然言語で事前訓練したエンコーダと中々近い性能を出している．ただし，ここでの自然言語で事前訓練したエンコーダは，単語埋め込みを捨ててエンコー ダのみを転移しているので，学習した単語の情報は転移していないことに注意されたい。人間の感覚からすると, 見た目や文法が全く異なる人工言語を学習して一体なぜ自然言語のタスクが解けるのか，と思うところであるが，結局，本実験中のタスクにおいてエンコーダは文法といった高次な概念は使用しておらず，単純に文脈の情報をまとめる役割を担っているに過ぎない，ということであろう．とはいえ今回は小規模のモデルと比較的シンプルなタスクでの実験であったため，今後はより大きなモデルと複雑なタスクで今回の考察がどの範囲まで成立するのかを確かめたい.

## 3 mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models

## 3.1 マルチリンガル言語モデルにおけるエンティティ

本研究 (Ri et al. 2022) は著者が研究インターンとして所属している Studio Ousia との共同研究である。当社の山田育矢が開発した LUKE (Yamada et al. 2020) のモデルを多言語に拡張するというのがテーマとなる. LUKE は BERT と同様, 双方向 Transformer の事前学習モデルであり，エンティテイ表現を持っていることが特徴である.

エンティティとマルチリンガル言語モデルは非常に相性がいい. ここで言うエンティティとは，現実世界に存在する物や概念を指すが，これは異なる言語間で共有することができる．例えば「東京」は日本語の世界にも英語の世界にも存在し, このエンティティを“東京” や “Tokyo” のように異なる言語で指し示すことができる。したがって，マルチリンガルな言語表現を学習するときに, エンティティが各言語のデータと紐づいていれば, 異なる言語の表現のアラインメントをとるための訓練信号として役立つ。一方でエンティティ側には, 複数の言語データが使えるため学習に使える情報が増え, 良い表現の獲得が期待できるという恩恵がある. マルチリンガルな設定において，エンティティと言語は互いに互いを高めあうシナジーがある.

## 3.2 実装について

本研究における大半の労力は実装にまつわるものである．事前訓練は既存の実装を利用することができたので大きな問題にはならなかったが，下流タスクでの評価が一苦労であった。事前学習タスクは汎用的であるがゆえに評価の方法が多岐にわたる。今回，論文に掲載されている実験だけでも，関係抽出，固有認識表現，質問応答，知識穴埋め問題と様々な夕スクで評価している．このとき，様々なタスク，データセットやモデルを統一的なフレームワークで扱う方法として, allennlp 1 ライブラリが非常に役に立ったので，NLP 実装に携わる方達におすすめしたい.

また，訓練済みモデルは Transformers ${ }^{2}$ ライブラリに収録されており，コード 1 行で簡単に呼び出せるようになっている。上述の下流夕スクの実装と合わせて，容易に実験の再現ができるよう心がけている，本プロジェクトではコードの整備に時間をかけた方だが, 後続の研究がより良いモデルを開発するための道を整備するのも非常に重要な貢献であると思う.

## 3.3 論文の概要

本研究では，エンティティ情報をマルチリンガル言語モデルの訓練に取り入れると，より良い言語表現が獲得できることに加え, 学習したエンティティ表現自体が言語間転移学習に有用であることを示している。エエテテティ表現を活用したモデルの探求は，今後も有望な方向の 1 つだろう.

またこのようなモデルの訓練は Wikipedia という貴重な言語資源があってのものである．近年は大規模な生テキストから巨大なモデルを学習する手法が注目を浴びているが, 半構造化されたテキストデータの（生テキストと合わせた）活用も有用な方向性であるように思う．

## 4 おわりに

世界に異なる言語は数あれど, 系列としての統計的性質（e.g., 統計的依存関係）や言語表現のグラウンド対象（e.g., エンティティ）にはある程度の普遍性が存在する. 多言語 NLP モデルに関する研究は, そのモデルの実用性もさることながら, 個別言語の背後にある抽象的な“本質”に迫ることのできる魅力的な研究テーマであると思う．今後も実用的なモデルの開発, 多言語モデルの理解の両輪で研究を進めていきたい.
^{1}$ https://github.com/allenai/allennlp

2 https://github.com/huggingface/transformers
}

## 参考文献

Kataoka, H., Okayasu, K., Matsumoto, A., Yamagata, E., Yamada, R., Inoue, N., Nakamura, A., and Satoh, Y. (2020). "Pre-training without Natural Images." In $A C C V$.

Ri, R. and Tsuruoka, Y. (2022). "Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7302-7315, Dublin, Ireland. Association for Computational Linguistics.

Ri, R., Yamada, I., and Tsuruoka, Y. (2022). "mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7316-7330, Dublin, Ireland. Association for Computational Linguistics.

田中久美子 (2021). 言語とフラクタル. 東京大学出版会. [K. Tanaka-Ishii (2021). Statistical Universals of Language. University of Tokyo Press.].

Yamada, I., Asai, A., Shindo, H., Takeda, H., and Matsumoto, Y. (2020). "LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online. Association for Computational Linguistics.

## 略歴

李凌寒：2018 年東京大学教養学部教養学科学際言語科学コース卒業. 2020 年東京大学情報理工学系研究科修士課程修了. 2020 年 4 月より東京大学情報理工学系研究科博士後期課程学生.