\label{sec:intro}複数の言語のテキストで学習したマルチリンガル事前学習モデルは，\pagebreak言語横断転移学習のタスクなどで高い性能を発揮しており\cite{conneau-etal-2020-unsupervised}，これはモデルが異なる言語にわたって共有できる知識を学習していることを示している．タスクを解くために役立つ言語の知識には，単語などの語彙に関する知識もあれば，文法に関する知識もある．ここで言う文法とは，外国語学習に見られるような具体的な文法事項というよりは，ニューラルネットワークが，トークンの系列から情報を集約して，タスクを解くために必要な「意味」を導き出す内部処理のことを指す．このニューラルネットワークの「文法」に，異なる言語にわたって共有できる部分が存在することが示唆されている．\citeA{artetxe-etal-2020-cross}は，英語のデータのみで重みを学習したTransformerエンコーダを，異なる言語にも転用できることを示した．つまり，英語のデータから学習した「文法」に言語非依存なものが存在するということである．言語間で共有できる文法事項のうち，マルチリンガル事前学習モデルが実際に捉えているものとして，UniversalDependencies\footnote{\url{https://universaldependencies.org/}}で定義されている係り受け関係\cite{chi-etal-2020-finding}や，主格の概念\cite{papadimitriou-etal-2021-deep}が存在することが今まで示されている．これらは，我々にとっても直感的な文法であるが，ニューラルネットワークはより抽象度が高い概念や処理を，異なる言語にわたって共有できることが示唆されている．たとえば\citeA{papadimitriou-jurafsky-2020-learning}は，楽譜やプログラミングコードといった非自然言語データでLSTM言語モデルを訓練し，そのモデルが自然言語の言語モデリングのタスクに転用できることを示した．つまり，自然言語間に限らず，外見の全く異なる系列データ間にも共通の構造があり，それに関して学習した知識をモデルが転用できることを示している．しかしながら，具体的にどのような構造的知識が転用されるのかに関しては，十分に明らかになっていない．この点について理解を深めることは，ニューラルネットワークの言語処理に関する洞察を与え，かつ，言語共通の知識を効率的に捉えるモデルの考案にも役立つ．本研究は，転移可能な知識を人工言語からの転移学習（\cref{fig:artificial_pretraining}）により分析する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{30-2ia14f1.pdf}\end{center}\hangcaption{人工言語を用いた事前学習の概要．人工言語は何かしらの構造的特徴を持ち，そのデータから学習した知識が，自然言語のタスクへ転用できるかどうかを調べる．}\label{fig:artificial_pretraining}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本実験手法はTestforInductiveBiasviaLanguageModelTransfer\cite{papadimitriou-jurafsky-2020-learning}の実験手法から着想を得ており，転移元データで学習したモジュールを，異なる種類のデータへと転用した場合のタスク性能を評価することによって，転移元と転移先データで共有可能な知識が存在するかどうかを調べる．本研究では，系列データの持つ抽象的な構造に関する知識の転移可能性を調べるために，転移元データとして抽象的な構造以外の要素を捨象した人工言語を設計する．人工言語が持つ構造の転移可能性の評価として，事前学習した\Transformer{}を自然言語の言語モデリングへの転移した際の性能を測定した．本研究で着目する自然言語の構造的な性質は，単語の分布，単語の係り受け関係，ランダム性である．これらの構造について，自然言語に近いものを持つ人工言語，自然言語とは異なるものを持つ人工言語を設計し，比較実験を行った．得られた知見を以下にまとめる．\begin{itemize}\itemコーパス全体における単語分布そのものは転移可能な有用な知識になり得ず，自然言語へ転移できる\Transformer{}のパラメータを学習するためには，事前学習データの系列内の統計的依存関係が必要となる．この統計的依存関係から，\Transformer{}は入力中の文脈情報を集約するような学習をし，自然言語タスクに有用なものとなる．\item事前学習データとして，係り受け構造を持った人工言語を設計し，係り受け関係が入れ子状になる制約を持った言語と，そうでない言語を比較すると，入れ子制約を持っている方が高い自然言語への転移性能を示した．これは，トークン予測のタスクにおいて，入れ子構造が，自然言語の文法に見られるような，一貫した位置に依存する規則性を持っているからだと考えられる．\item人工言語にランダム性がなく，生成されたデータの系列の並びが決定的であったとしても，事前学習された\Transformer{}は自然言語に転移可能なものとなる．また，転移元の人工言語と転移先の自然言語の語彙サイズが近しいことそのものの有効性は確認されなかった．これら実験結果を踏まえると，転移学習の性能に影響を与える主たる要因は，系列データの統計的依存性であると考えられる．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%