\section{はじめに}
近年，言語モデルの言語間転移能力に高い関心が寄せられている．例えば，英語の大規模言語モデルは，学習データに少量しか存在しない英語以外の言語に対しても，一定の翻訳性能を示しており\cite{Brown2020-zt,shi2023language}，英語から他の言語への効率的な言語間転移が示唆されている．このような言語間転移能力について，既存研究では，パープレキシティや下流タスクでの性能などの抽象的・全体的な尺度によって評価されてきた\cite{Papadimitriou2020-kp,Deshpande2022,Blevins2022-ta}．その一方で，言語学的な観点からの調査，例えば言語の類型的な特徴などに起因する文法能力や転移能力の差異についての調査はほとんど実施されてこなかった．本研究では，言語モデルの言語間転移能力について，第一言語獲得の第二言語の言語的汎化の効率への影響を言語横断的に調査する．具体的には，まず言語モデルを特定の言語で事前学習し（第一言語話者と想定），第二言語として英語を使用して追加で学習した後に（第二言語話者と想定），第二言語の言語的汎化の評価とその分析を行うという手順を設計する（\ref{sec:exp_procedure}\nobreak節）．第一言語として，英語への転移の難易度が異なる4つの言語（フランス語，ドイツ語，ロシア語，日本語）を選択する．学習データの量は，人間の第二言語獲得シナリオに一致するように制限することで，人間の第二言語獲得の傾向との比較が容易になり，計算言語学的な観点から第二言語獲得に関する洞察が得られることが期待される．事前実験では，第二言語の学習方法における帰納バイアスを調査する（\ref{sec:pre_exp}\nobreak節）．第二言語のテキストのみでの学習や，第一言語と第二言語の対訳での学習など，様々なデータの入力設定を比較する．言語モデルの第二言語の学習時に，第一言語と第二言語の対訳を提示する設定では，対訳関係を崩した文対を提示する設定よりも，第二言語の言語的汎化が遅くなることが示された．本実験では，第一言語の学習が第二言語の文法獲得に与える影響を探索的に分析する（\ref{sec:experiments}\nobreak節）．第一言語の知識は第二言語のより良い言語的汎化を促進する傾向が見られたが（\ref{sec:l1-promote}\nobreak節），第一言語の特徴によって第二言語で異なる言語的汎化を引き起こすことが示された（\ref{sec:diff-l1}\nobreak節）．例えば，日本語またはロシア語を第一言語として学習したバイリンガル言語モデルはフランス語とドイツ語と比較して言語的汎化の性能が著しく低かった．これは人間について定義された言語学習の難易度\cite{Chiswick2004-zz}と一致している．また，第一言語の事前学習は対象とする言語現象によっても異なる効果を与えることがわかった（\ref{sec:diff-grammar}\nobreak節）．特に，第一言語による事前学習は，意味的現象や統語/意味的現象よりも，形態的現象や統語的な現象で大きな効果が観察された．最後に，より詳細な調査として，第二言語獲得の過程を分析する（\ref{sec:analysis}\nobreak節）．まず，第一言語の違いにより，第二言語の言語的汎化の過程がどのように変化するかを調査した．言語モデルの言語的汎化は，データセット全体を50--100回程度見るまであまり進まず，学習の非効率性を示唆する結果となった．次に，第二言語の学習中に，第一言語の知識に与える影響の過程も調査した．第二言語の学習中に第一言語の言語的汎化が抑制される傾向にあることが観察され，言語転移の間に，第一言語と第二言語の言語学的知識のバランスを取ることは容易でないことが示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{31-2ia5f1.pdf}\end{center}\hangcaption{実験手順の概要．はじめに，第一言語を用いて単言語の穴埋め言語モデリングを行う（第一言語獲得）．次に第一言語と第二言語（英語）を両方用いて，既存研究に従い\protect\cite{conneau_xlm}穴埋め言語モデリングを行う（第二言語獲得）．最後に，英語の文法性判断ベンチマークであるBLiMPを用いてモデルの第二言語の文法能力を評価し，第一言語が第二言語の獲得にどのように影響するか分析する．}\label{fig:exp_procedure}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{言語モデルの第二言語獲得}
\label{sec:exp_procedure}本研究では，言語モデルの第一言語の言語知識が第二言語の言語的汎化にどのように影響するかについて言語横断的に調査する．実験手順の概要を図~\ref{fig:exp_procedure}に示す．まず，第一言語獲得のシナリオを想定し，当該言語の単言語コーパスで言語モデルを事前学習する．次に，第二言語獲得のシナリオを想定し，第二言語（英語）のテキストを含むコーパスを使用し，事前学習した言語モデルを追加で学習する．最後に，文法性判断ベンチマークであるBLiMP\cite{blimp}を使用し，言語モデルの第二言語（英語）の言語的汎化について評価する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{言語接触}\label{sec:language_exposure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{使用言語}第一言語にはフランス語，ドイツ語，ロシア語，日本語を使用し，第二言語には英語を使用する（表~\ref{tab:langs}）．英語から他の4言語という逆向きの転移も，多数言語から少数言語への転移への応用が見込めるという意味で関心の対象ではあるが，言語を対照的に評価がしやすいことから本研究では英語への転移に取り掛かった．言語間距離\cite{grimes2002ethnologue,Chiswick2004-zz}と学習難易度\footnote{\url{https://www.state.gov/foreign-language-training/}\\なお，これらの難易度は，英語から特定の言語への転移の難易度を示すものであることに注意されたい．本研究では，学習難易度の観点から，ソース言語とターゲット言語の対称性を暫定的に仮定した．}の観点から，フランス語，ドイツ語，ロシア語，日本語の順に英語への転移が難しくなることが予想される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{05table01.tex}%\hangcaption{実験で用いた4つの言語の性質．英語は第二言語，それ以外は第一言語である．転移難易度は，言語的距離と学習難易度に基づいた当該言語から英語への転移の難易度を示す．値が大きいほど，言語習得の観点から英語とのギャップが大きいことを示す．語族はインド・ヨーロッパ語(IE)かそれ以外(N-IE)を示す．語順は当該言語の典型的な語順を示す．}\label{tab:langs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{第一言語獲得}当該言語のCC-100\cite{xlmr,ccnet}を文書単位でシャッフルし，頭から約1億単語分を抽出した単言語コーパスを使用して言語モデルを学習する．コーパスの大きさは，言語獲得の過程で人間が接触する単語数と揃えている．モデルは100エポックで学習した\footnote{人間が同じ事例に100回接触する状況は想定されにくいため，人間との対照という視点ではエポック数が100であることの妥当性に疑義が生じるかもしれないが，特定の言語経験の記憶が学習に複数回影響を与え続けていることも議論されている\cite{Bybee2013-dc}．}．単語分割には，フランス語，ドイツ語，ロシア語にMosesツールキット\cite{mosesdecoder}に含まれるトークナイザ，日本語にkytea\footnote{\url{http://www.phontron.com/kytea/}}\cite{neubig-etal-kytea,neubig-mori-kytea}を用いた．その後，fastBPE\footnote{\url{https://github.com/glample/fastBPE}}\cite{sennrich-etal-2016}を分割したテキストに用いて，語彙数を各言語14,000に設定したサブワード分割器を学習し，テキストをサブワード分割した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{第二言語獲得}第一言語獲得の段階で事前学習した言語モデルを，第二言語のテキストも用いて追加で100エポック学習する（\ref{sec:pre_exp}\nobreak節）．なお，学習過程におけるチェックポイントも保存し，\ref{sec:analysis}\nobreak節で第二言語獲得の過程を追跡する．第二言語獲得の段階では，学習データとしてTatoeba\cite{tatoeba}\footnote{\url{https://opus.nlpl.eu/Tatoeba.php}}を用いた．Tatoebaは，人間の外国語学習者向けに収集された例文とその翻訳から構成された多言語の対訳コーパスである．英語と対象の第一言語の対を約21万文対ずつ使用した．トークン数の詳細は付録\ref{sec:appendix_corpus}に記載する．第二言語獲得の観点からは，このコーパスの大きさは人間の学習者が頻度上位95\%の英単語を学習するのに十分な量\cite{Nation2020-ov}と同等である．サブワード分割のためのトークナイザは，英語はMosesツールキット\cite{mosesdecoder}に含まれるトークナイザを用いており，他の言語は第一言語獲得と同じ設定である．語彙は，単言語コーパスで使用したBPEの学習コードと語彙に，対訳コーパスの第二言語（英語）側から作成した語彙数を6,000に設定した学習コードと語彙を追加する方法で作成した．追加したことにより単言語コーパスの学習コードと語彙と重複したトークンや語彙は取り除いた．語彙を追加したことに伴い，埋め込み層，最終層の重みとバイアスを語彙数方向に増やした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{モデル}言語モデルの学習設定は，多言語モデリングで一般的に使用されるXLM\cite{conneau_xlm}の設定に従った．XLMはTransformerベースの双方向言語モデルであり，入力は2言語の文対で構成されている．モデルは第一言語と第二言語の両側でマスクされたトークンを予測する．第一言語獲得の段階では，第一言語側の文のみを入力する．なお，本研究で用いるモデルは，超多言語で学習した既存の事前学習済みモデルXLM\cite{conneau_xlm,xlmr}を使用するのではなく，初期状態から学習している．人間の多言語獲得のシナリオでは，数十の言語に接触することはほとんどないため，既存のXLMのような数十言語で学習を行う設定は人間との対照という観点では非現実的である．むしろ，人間の第二言語獲得の機序を探究する教育学や認知科学のような隣接分野から，本研究のような2言語間での転移が多くの注目を集めることを期待している．XLMのパラメータ(18M)はランダムに初期化し，第一言語と第二言語の組み合わせごとに，異なるランダムシードを用いてそれぞれ3つのモデルを学習した．\ref{sec:experiments}\nobreak節および\ref{sec:analysis}\nobreak節で報告する結果は，ランダムシードが異なる3つのモデルの評価データでの正答率の平均値である．その他のハイパーパラメータは表~\ref{tab:hyperparameters}に記載した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[t]\input{05table02.tex}%\caption{言語モデル(XLM)に使用したハイパーパラメータ}\label{tab:hyperparameters}\vspace{-1\Cvs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{評価}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}英語の文法性判断テストのベンチマークであるBLiMP\cite{blimp}を用いて，モデルの第二言語の言語的汎化を評価した．BLiMPは，言語現象ごとに1,000文対ずつのミニマルペア（分析したい観点が分析できる最小の差をもつ文対）から成る．各対は，以下のように文法的に容認可能な文(1a)と可能でない文(1b)から構成され，言語モデルがどちらを好むかを調査する．\eenumsentence{\itemManyteenagerswerehelpingthemselves.\item*Manyteenagerswerehelping\textbf{herself}.}BLiMPデータセットで扱っている67の言語現象はそれぞれ12の中分類に属し，さらにこれらは，形態的，統語的，意味的，統語/意味的の4つの大分類に属する．各実験では必要に応じて，67の小分類，中分類，大分類ごとに正答率を平均して報告する．各言語現象の詳細や例は，\citeA{blimp}を参照されたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{文法性判断}各対から1つの文を選択するために，言語モデルの振る舞いを調査するための標準的な指標である疑似パープレキシティ(PPPL)\cite{salazar-etal}を利用した．言語モデルにより，文対の各文に対してPPPLを算出する．文対のうち，低いPPPLを割り当てられた方の文を予測結果とする．その予測結果が文法的に正しい文と一致していれば正解とする．正解の割合をBLiMPの各言語現象における正答率として報告する．BLiMPの文対は長さが異なる場合があるため，長さで正規化した疑似パープレキシティの値を使用している．なお，本論文の図や表で報告する全ての正答率は，可読性のために100倍されていることに注意されたい．\citeA{salazar-etal}に従い，文$\bms=[w_1,w_2,\cdots,w_n]$の疑似パープレキシティ($\mathrm{PPPL}$)は，双方向言語モデル$\theta$を使用して式\eqref{eq:pppl}で計算される．\begin{equation}\label{eq:pppl}\mathrm{PPPL}(\bms)=\prod_{t=1}^{n}p_{\theta}(w_t|\bms_{\setminusw_t})^{-\frac{1}{|\bms|}}\;\;,\end{equation}$w_t$は文中の$t$番目のトークンを表し，$\bms_{\setminusw_t}$は文中の$w_t$を除く全てのトークンの系列を示すため$[w_1,\cdots,w_{t-1},w_{t+1},\cdots,w_n]$と同一である．$p_{\theta}(w_t|\bms_{\setminusw_t})$は，文脈$\bms_{\setminusw_t}$が与えられたときに言語モデル$\theta$が$w_t$を予測する確率である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{事前実験：第二言語の学習設定}
\label{sec:pre_exp}本実験（\ref{sec:experiments}\nobreak節）に先立ち，第二言語の学習設定における帰納バイアスを調査する．既存研究では，言語間学習\cite{conneau_xlm}の入力として対訳データを使用している．本節では，第二言語の言語的汎化の観点からこの設定が与える影響を調査する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[b]\begin{center}\includegraphics{31-2ia5f2.pdf}\end{center}\caption{\ref{sec:pre_exp}\nobreak節での事前実験にて比較する第二言語学習時の入力設定}\label{fig:l2_settings}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{学習設定}データの入力方法として，(a)第一言語と第二言語の対訳関係のない文対(TLM-nopara)，(b)第一言語と第二言語の対訳対(TLM-para)，(c)対訳対を入力するか，第二言語の文のみを入力するかを交互に切り替える設定(TLM-drop)\footnote{つまり，各エポックごとに2言語と単言語の設定を交互に切り替える．}の3つの設定を比較する\footnote{対訳関係の有無に関して，現実世界では言語習得のための教授法のひとつである文法訳読法の想定ができる可能性がある．外国語教育学分野では，第一言語への翻訳を参照して第二言語を学習するべきかについては古くから議論されている\cite{Zhou2015ApproachesTL}．また，第二言語学習時に第一言語と第二言語の接触のバランスをどのようにすると効果的かを検証する第一歩として，実装上容易なことから1エポックずつ交互に学習するというパターンを用意した．第一言語の忘却をより防ぐためにバランスを変化させたり，外国語の教授法を参考にしてモデルの学習方法について新たに試したりなど他の検証も可能であり，今後の課題となる．}．各入力設定の概要は図~\ref{fig:l2_settings}に示す．元のXLM\cite{conneau_xlm}はTLM-dropと同様の設定を採用していることに注意されたい．モデルの詳細は付録\ref{sec:appendix_model}に記載する．本実験では，第一言語が異なる言語モデルを対象とし，BLiMPの中分類ごとの正答率のマクロ平均を報告する．結果を表~\ref{tab:settings}に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{対訳対は第二言語の文法性判断能力の促進を弱める}表~\ref{tab:settings}より，TLM-noparaの正答率はTLM-paraよりも優れていることがわかった\footnote{設定による結果の差について，Mann-WhitneyのUテストを用いて5\%の有意水準で有意であることを示した．TLM-paraとTLM-noparaの場合は$p=4.6\mathrm{e}-2$，TLM-noparaとTLM-dropの場合は$p=1.0\mathrm{e}-2$であった．\label{fot:stat_diff}}．この結果は，対訳関係のある文対の入力は，第二言語獲得を促進しないことを示唆している．この理由として，TLM-paraの入力設定は，言語モデルが文法の知識を学ぶには簡単すぎた可能性がある．TLM-paraは，語彙の知識，すなわち第一言語の文と第二言語の文のトークン間の語彙対応を捉え，語彙対応の片側にのみ見られる単語を予測することのみにより部分的に解くことが可能であったと推測できる\footnote{例えば，第一言語：「私はりんごを食べた．」第二言語：``Iateanapple.''という文対のとき，第二言語に``I<MASK>anapple.''のようにマスクされている場合を想定する．対訳関係のある文対だと，``I<MASK>anapple.''を参照して<MASK>が何か当てるのではなく，第一言語には存在して第二言語には欠けている意味内容や語彙（「食べた」など）を翻訳して当てられる可能性があるため，第二言語自体の文法性判断能力の学習が促進しない可能性がある．}．TLM-noparaの入力設定はこれとは対照的に，言語的汎化の観点からは言語モデルにより困難な問題を課すことになるので，言語知識の効果的な学習を促進した可能性がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\input{05table03.tex}%\hangcaption{異なる学習設定でのBLiMP上のバイリンガル言語モデルの正答率．対訳列は対訳コーパスが使用されたかどうかを示す．切替列は，第一言語側の文を入力する/しないを1エポックごとに交互に切り替えていることを示す．}\label{tab:settings}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{入力設定の対訳と単言語の切り替えにより第二言語獲得が促進される}表~\ref{tab:settings}より，言語モデルの第二言語の言語的汎化には，%%%%TLM-dropの設定が最も効果的であることがわかった\footref{fot:stat_diff}．TLM-dropの設定が最も効果的であることがわかった$^\ref{fot:stat_diff}$．TLM-dropの設定では，入力に使用するテキストが単言語か2言語の文対かを各エポックで切り替えるため，単言語での学習と2言語での学習が相補的に言語的汎化に作用した可能性がある．また，BLiMPでの評価時は第二言語の単文が入力されるため，学習時に一部のエポックで第二言語のみを使用する設定により，学習時と推論時における入力形式のミスマッチを軽減した可能性がある．これ以降の実験では，第二言語の言語的汎化に最も効果的な学習設定であったTLM-dropを使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験：第一言語が第二言語の言語的汎化に及ぼす影響}
\label{sec:experiments}本節では，第一言語での事前学習の有無による第二言語の言語的汎化への影響について，\pagebreak第一言語の種類や多様な言語現象への汎化能力の観点から探索的に調査する．第二言語を用いた追加での学習後に，文法性判断能力を評価した結果を表~\ref{tab:pretrain}に示す．$\Delta$行は，事前学習したモデルの正答率から事前学習していないモデルの正答率を引いた値を示している．ここでは，事前学習を行わないモデルは，第一言語の単言語コーパスを用いた事前学習の段階を踏まず，2言語コーパスでのみ学習したモデルを指す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{05table04.tex}%\hangcaption{事前学習した第一言語が異なるバイリンガル言語モデルの第二言語（英語）の言語的汎化．マクロ平均列は中分類ごとの正答率のマクロ平均を示している．L1列に\checkmarkが付いている行は，事前学習ありのバイリンガル言語モデルのBLiMPにおける正答率を示す．$\Delta$は，モデルの事前学習の有無による正答率の差を示す．値が大きいほど，第一言語での事前学習が言語的汎化により良い影響を与えたことを意味する．}\label{tab:pretrain}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{第一言語は第二言語の言語的汎化を促進する}\label{sec:l1-promote}表~\ref{tab:pretrain}に第一言語での事前学習が第二言語の言語的汎化に与える効果を示す．表~\ref{tab:pretrain}より，言語現象ごとの汎化能力の差分$\Delta$の多くや，$\Delta$の中分類マクロ平均は正であることから，第一言語で事前学習されたモデルは，事前学習なしのモデルよりも言語的汎化に良い影響を与えていることがわかる．この結果は，当該言語での事前学習が英語の言語的汎化を促すことをを示している\footnote{異なるランダムシードに対して表~\ref{tab:pretrain}の正答率（0--100スケール）の標準偏差は1.2であり，ランダムシードの違いによる正答率の揺れは小さかった．}．この正の効果は，異なる言語がいくつかの文法的普遍性を共有しており，学習者は言語の転移でこのような普遍的な性質を使用可能であるという仮説\cite{cook1985chomsky}と対応している．また，\citeA{ri-language-transfer}は，英語以外の自然言語で事前学習を適用すると英語の構文解析の性能が向上すると報告しており，本研究の結果はこの知見と部分的に一致している．本研究はさらに，形態論や統語論，意味論といった分類による異なりや，より細かい言語現象について分析し知見を提示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{05table05.tex}%\hangcaption{大分類（形態論，統語論，意味論，統語/意味論）ごとの，第一言語での事前学習の有無によBLiMPにおける正答率の差．}\label{tab:category}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{第一言語の異なり}\label{sec:diff-l1}表~\ref{tab:pretrain}のマクロ平均列の$\Delta$の値は，第一言語によって異なりを示している．フランス語が最も高く，ドイツ語が僅差で続き，日本語，ロシア語はこれら2言語とは大きく差が開いている．フランス語とドイツ語での事前学習は，日本語とロシア語よりもはるかに英語の言語的汎化に効果的であることが示唆される．事前学習の効果の大きさ（フランス語$\succ$ドイツ語$\succ$日本語$\succ$ロシア語）は，第二言語の学習のしやすさ（フランス語$\succ$ドイツ語$\succ$ロシア語$\succ$日本語;表~\ref{tab:langs}に記載の転移難易度を参照）と概ね一致しており，第二言語の言語的汎化の難しさは，言語モデルと人間である程度同様であることが示唆される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{言語現象の異なり}\label{sec:diff-grammar}表~\ref{tab:pretrain}の$\Delta$より，事前学習による正答率の差が言語現象ごとに異なることがわかった．表~\ref{tab:category}は，大分類ごとの$\Delta$正答率の平均を示している．形態的，または統語的な現象は，\textsc{Irregular}などの特定の設定を除いて，意味論や統語/意味論の項目よりも第一言語の事前学習により大きな効果が得られる傾向があった．\citeA{blimp}では，\textsc{NPI}（否定極性項目）や\textsc{Quantifier}（量化）のような意味論に関連する言語現象は，英語の単言語モデルにとって比較的獲得が難しいと結論づけられている．よって，意味論に関する言語知識が他の言語への転移が難しいという結果は，言語モデルが第一言語の学習時点で意味論に関する言語知識を十分に獲得できなかったことに起因すると示唆される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{第一言語$\times$言語現象の異なり}事前学習に用いた第一言語と評価対象の言語現象の組み合わせによっては，第一言語での事前学習は第二言語の言語的汎化に負の影響を与えた．例えば，\textsc{Irregular}（不規則動詞活用）は，第一言語での事前学習により正答率が向上しないどころか低下することもあった．\textsc{Irregular}は，英語固有の不規則動詞の活用を対象としている．第一言語の事前学習の効果の小ささは，不規則動詞の活用が第一言語の知識からは予測が難しいことに起因する可能性がある．また，同じ言語現象でも第一言語によって影響が異なることがわかった．例えば，表~\ref{tab:pretrain}の\textsc{Filler-gap}（空所と埋語の依存関係）の$\Delta$の値は第一言語間で異なり，フランス語，ドイツ語，ロシア語では+4.0以上，日本語では+1.1である.少なくともこの言語現象では，本実験の結果とこの現象に関する言語学的な知見との間に興味深い類似点がある.英語，フランス語，ドイツ語，ロシア語は，wh-構文において埋語が空所に先行するが，日本語は，空所が埋語に先行する.このような，言語現象依存の第一言語と第二言語の類似性が，事前学習の効果の大きさに反映されている可能性がある.ただし，第一言語$\times$言語現象の結果（表~\ref{tab:pretrain}）と，第一言語と第二言語の文法的な類似性の正確な一貫性を結論付けるには，さらなる学際的な研究が必要である．なお，各言語現象（小分類）ごとの詳細な結果は，表~\ref{tab:full_results_l2}に記載している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[p]\input{05table06.tex}%\caption{BLiMPの言語現象（小分類）ごとの正答率．}\label{tab:full_results_l2}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析：獲得過程}
\label{sec:analysis}本節では，第二言語獲得の過程について分析を行う．具体的には，第二言語の学習段階において，第二言語の言語的汎化がどのように進むか（\ref{subsec:l2_process}\nobreak節），予め学習していた第一言語の言語的汎化がどのように変化するか（\ref{subsec:l1-knowledge}\nobreak節）に関して調査する．後者については，例えば第一言語の知識について破壊的な忘却\cite{FRENCH1999128}が起こることが懸念される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{第一言語が第二言語獲得へ及ぼす影響}\label{subsec:l2_process}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{設定}言語モデルの中間チェックポイントごとに第二言語の文法性判断能力を評価する（図~\ref{fig:l1_all_trajectories}）．具体的には，\ref{sec:experiments}\nobreak節で用いたモデルを対象とし，\{1,2,3,4,5,10,20,30,40,50,100\}エポックにおける言語モデルの文法能力を評価する．100エポック目の結果は，\ref{sec:experiments}\nobreak節で報告した正答率と同一である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[t]\begin{center}\includegraphics{31-2ia5f3.pdf}\end{center}\hangcaption{BLiMP（第二言語側）の各テストセットにおける学習の過程．x軸は第二言語獲得中のエポック数を示し，y軸は対応するテストセットの正答率を示す．マクロ平均の図は，各中分類ごとの正答率のマクロ平均値を示す．}\label{fig:l1_all_trajectories}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{言語的汎化効率}図~\ref{fig:l1_all_trajectories}中のマクロ平均値の軌跡は，学習を重ねることにより言語モデルの言語的汎化が促されることを示している．一方で，数十エポックを経た後に大きな改善が現れることから，言語モデルでは同じ例を何度も見た後に第二言語の言語的汎化が創発することが示唆される．一方で，人間の場合は，約12回同じ単語に接触した後に語彙を習得するという報告がある\cite{Nation2020-ov}．語彙と構文の獲得の直接的な比較は難しいが，同じ例を50回から100回繰り返した後に第二言語の言語的汎化が促されるという観察を踏まえると，言語モデルは人間よりも新しい言語の文法を習得するのに非効率的である可能性が示唆される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{言語現象の違い}各言語現象における大まかな学習の軌跡の形状に注目すると，少なくとも以下の4つの分類が存在する:(i)学習後半での創発(\textsc{D-Nagr.},\textsc{Irregular},\textsc{S-Vagr.})，(ii)平坦(\textsc{Arg.str.},\textsc{Ctrl.Rais.},\textsc{Island})，(iii)凸凹(\textsc{Ana.agr.},\textsc{Ellipsis}，\textsc{NPI},\textsc{Quantifiers}),(iv)混合(\textsc{Filler-gap}，\textsc{Binding})．また，これらの分類は，現象の大分類（形態論，統語論，意味論，統語/意味論）を大まかに反映している．例えば，学習後半での創発グループのすべての言語現象は形態論カテゴリに対応しており，全ての意味論カテゴリ(\textsc{NPI}，\textsc{Quantifiers})では凸凹のパターンに属する．既存研究では，形態論などの低レベルの言語知識は早期に獲得でき，高レベルの言語スキルは獲得が遅いことが報告されている\cite{liu2021probing,Blevins2022-ta}．一方で，少なくとも本研究で実施した第二言語獲得のシナリオにおける実験では，そのような明確な傾向は観察されなかった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{第一言語による差}各言語現象における軌跡の傾向には，第一言語にどの言語を利用するかによって(i)収束(\textsc{Irregular},\textsc{Island})，(ii)発散(\textsc{Arg.str.},\textsc{Binding},\textsc{D-Nagr.},\textsc{S-Vagr.})，(iii)どちらでもないという3つの異なる分類が観察される．収束グループの例として\textsc{Irregular}を考えると，学習の初期段階では第一言語ごとに正答率が大きく異なっているが，これらの差異は学習エポックを経るにつれて縮小した．一方で，発散グループの例として\textsc{S-Vagr.}に着目した場合，学習の後期になるにつれて言語モデルごとの正答率の差が拡大した．どちらでもないグループでは，第二言語学習中に第一言語による正答率の差が同じままであるか，不安定なままである(\textsc{Ana.agr.},\textsc{Ctrl.Rais.},\textsc{Ellipsis},\textsc{Filler-gap},\textsc{NPI},\textsc{Quantifiers})．少なくとも前者2つのグループは，第一言語が異なる事前学習は第二言語獲得の効率に異なる影響を与えることを示唆している．\vspace{\baselineskip}以上の分析により，事前学習に用いる第一言語や評価対象の言語現象が異なる場合には，第二言語の獲得過程における軌跡が異なる傾向を示すことが明らかになった．これらの分類や傾向の認知的・言語学的な妥当性の調査は，今後の課題とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{第二言語獲得が第一言語の文法能力へ及ぼす影響}\label{subsec:l1-knowledge}本節では前節の第一言語$\rightarrow$第二言語方向の影響に関する分析とは異なり，第二言語$\rightarrow$第一言語方向の影響を調査する．応用言語学では，第一言語$\rightarrow$第二言語，第二言語$\rightarrow$第一言語の両方向への影響が議論されている．例えば，幼少期に第二言語環境へ移り，第二言語への接触が相対的に増えることで，第一言語の言語能力が損なわれることがあるという報告\cite{kecskes2008effect,Haman2017-gm}がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{実験設定}評価対象を第一言語の言語的汎化として，\ref{subsec:l2_process}\nobreak節と同様に第二言語の学習過程における言語モデルの言語的汎化を評価する．第一言語の評価には，文法性判断ベンチマークとしてCLAMS\cite{mueller-etal}を使用した．CLAMSは，多言語のベンチマークであり，言語ごとに7つの言語現象が含まれている．各言語現象はBLiMPと同様に，文法的に容認可能な文と可能でない文のミニマルペアから構成されている．評価もBLiMPと同様に，言語モデルが文法的に正しい文に低い疑似パープレキシティを割り当てる割合を正答率として報告する．CLAMSが対象とする言語のうち，\ref{sec:pre_exp}\nobreak節より用いてきた言語は，フランス語，ドイツ語，ロシア語である．本節では，これら3言語をそれぞれ第一言語としたモデルを対象に，第二言語（英語）の学習過程における第一言語の言語的汎化について分析する．ベースラインとして，第一言語を用いて事前学習した後に，対訳コーパス(Tatoeba)の当該言語対の第一言語側の文のみで追加で学習した第一言語のみの言語モデルも評価する．つまり，バイリンガル言語モデルと第一言語のみのベースラインモデルの違いは，第二言語獲得の段階における入力の第二言語の有無のみである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{第一言語への影響は，第二言語獲得の初期段階で大きくなり，やがて小さくなる}図~\ref{fig:l1_trajectories}に，結果を示す（正答率の詳細は表~\ref{tab:full_results_l1}を参照）．x軸は対数軸である．2言語で学習された言語モデルと第一言語のみで学習された言語モデルの学習軌跡の形状を比較すると（図~\ref{fig:l1_trajectories}上下方向），第二言語学習の初期段階では，第二言語の知識は第一言語に影響を与えることが観察された．例えば，フランス語とドイツ語では，第二言語（英語）での学習が良い影響を与え，ロシア語の言語モデルでは逆に悪い影響を与えていた（図~\ref{fig:l1_trajectories}の上の行）．また，2言語で学習された言語モデルの軌跡に着目すると，学習後期には，第一言語の知識に対する第二言語の正または負の影響が徐々に小さくなり，第一言語の言語的汎化能力は最終的に第二言語獲得開始時の程度へ向かう傾向が観察された．例えば，フランス語とドイツ語が第一言語の言語モデルは，2言語でのモデリングの際に，10エポック程度で一度より良い正答率を示したが，さらに学習を重ねると正答率は下がった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[t]\begin{center}\includegraphics{31-2ia5f4.pdf}\end{center}\hangcaption{CLAM（第一言語側）の各テストセットにおける学習の過程．x軸は第二言語の学習中のエポック数を示し，y軸は対応するテストセット上での正答率を示す．上段はバイリンガル言語モデル（第一言語での事前学習の後に2言語での学習）の正答率．下部には，第一言語のみの言語モデル（第一言語での事前学習の後に対訳コーパスの第一言語側の文を用いて追加の学習）を示す．}\label{fig:l1_trajectories}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\input{05table07.tex}%\caption{CLAMSにおける各言語現象・エポック（5,50,100）ごとの正答率}\label{tab:full_results_l1}\vspace{1\Cvs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{第二言語は第一言語の知識に悪影響を及ぼす}図~\ref{fig:l1_trajectories}において，学習終盤に達成された汎化正答率を第二言語あり・なしで比較すると，ドイツ語は例外的であるが，全体的にはバイリンガル言語モデルの第一言語の知識は，第一言語のみの言語モデルと同程度か，それよりも劣っていた．例えば，フランス語が第一言語のバイリンガル言語モデルでは，第二言語学習後の第一言語の構文に対するCLAMの正答率は0.7ポイント以下に収束したが，第一言語のみのベースラインモデルは一般に0.7ポイント以上を達成した（表~\ref{tab:full_results_l1}）．第一言語の結果と第二言語の結果（\ref{subsec:l2_process}\nobreak節）を比較すると，第一言語と第二言語の間に非対称的な効果がある．より優れた言語学的な能力を持つ多言語モデルの開発を目指す観点からは，モデルが第二言語の学習中にも第一言語に接触したとしても，言語転移中に言語の言語知識のバランス，特に第一言語の言語的汎化を促進することは容易でないことが示唆される．これらの課題に対処するには，例えば工学的観点からは，何らかの正則化が有望な方向性となるだろう．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{ニューラル言語モデルの分析の認知科学的動機}言語獲得におけるニューラルモデルの能力の調査は1980年代に始まり，言語が生得的な知識なしに獲得できるかどうかという問いやコネクショニズムの可能性や限界の観点から議論が繰り広げられてきた\cite{Rumelhart1985-xj,Pinker1988-zb}．当初は簡易的なニューラルモデルを用いて議論が広げられたが，近年ニューラルモデルを用いた自然言語処理が目覚ましい進展を遂げ\cite{Manning2015-mm}，ニューラルネットワーク黎明期に認知科学分野が掲げた古典的な問いへ再訪する動きが高まっている\cite{Kirov2018-yf,McCoy_undated-px}．近年盛んに行われているニューラルモデルの言語知識の分析（プロービング）は，そのような一連の議論の延長線上にある\cite{lizen-2016,Warstadt-BERT}．これまでは第一言語の獲得に注目が集められてきたが，昨今はニューラル言語モデルの第二言語獲得の傾向の分析も進められており，多言語モデリングという工学的道具立ての性質の理解と共に，人間の言語転移・第二言語獲得における母語干渉などへの計算機シミレーション的なアプローチを見据えている．\citeA{mueller-etal}は単言語モデルと多言語モデルの多言語への汎化能力について分析している．本研究では，バイリンガル言語モデルの言語間転移について，人間の第二言語獲得により近づけた設定で調査するために，第一言語と第二言語を同時ではなく段階的に学習させる方法を取る．また，第二言語の学習過程での言語的汎化の軌跡について，既に学習した第一言語と新たに学習する第二言語の双方向から分析している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{計算モデルにおける言語転移}自然言語処理モデルの言語転移は，工学と科学の両面から活発に研究されている．工学の文脈では，自然言語処理技術の英語への偏重を緩和するために，より多くの言語を処理できるモデルが開発されている\cite{Dong2015,conneau_xlm,xlmr}．科学的な観点では，言語モデルの言語転移のメカニズムと言語特性について\cite{noauthor_undated-ut,Chang2022-hb,Blevins2022-ta}，時には転移の対象が自然言語を超えて\cite{ri-language-transfer,Papadimitriou2020-kp}探求されてきた．このような分析の動機の一つは，言語の背後にある譲渡可能な普遍性を定量化することである．また，第二言語獲得のシミュレーションは，教育学的動機\cite{settles-etal-2018}からも探求されている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{人間における言語転移}人間の第二言語の獲得や学習については，応用言語学，心理言語学，および教育学の分野で古くから研究が進められてきた\cite{krashen1981second,hatch1983psycholinguistics,ellis2010second}．これらの分野では，例えば入力仮説\cite{krashen1977some}のように，人間の言語学習に関するいくつかの仮説や理論が立てられてきた．これらの仮説を用いて言語モデルの第二言語獲得をより直接的に分析することは，今後の研究として期待される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
本研究では，言語モデルの言語転移について，第二言語における文法獲得への影響という観点から調査を行った．具体的には，人間の第二言語獲得と同様のシナリオでバイリンガル言語モデルを訓練し，その言語間転移を分析した．実験により，第一言語は第二言語の文法獲得に対し全体的には良い影響を与えるが，第一言語の選択や第二言語の学習設定，言語現象に関して，その事前学習による効果に興味深い異なりがあることが実証された．これらの結果により，言語モデルの言語間転移について，人間の第二言語獲得との類似点や相違点が多角的な観点から明らかになった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究はJSPS科研費番号JP19K20351の支援を受けて行われた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{05refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\appendix
\section{コーパス}
\label{sec:appendix_corpus}第二言語獲得で使用したコーパスTatoebaは，対象の第一言語と第二言語（英語）の各文対数を211,714文対に揃えている．訓練データのトークン数は，仏英文対は仏語1,587,788トークン・英語1,852,434トークン，独英文対は独語1,554,541トークン・英語1,827,351トークン，露英は露語1,394,229トークン・英語1,879,072トークン，日英文対は日本語2,502,355トークン・英語2,119,883トークンである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{モデル}
\label{sec:appendix_model}文対を入力する際は文対単位で，単一の文を入力する際はテキストストリームで入力した．モデルは，Conneuauら\cite{conneau_xlm}と同様の実装をしており，言語埋め込みや位置埋め込みは図~\ref{fig:embeddings}のように対で独立して使用しているが，注意機構は文対全体に渡って作用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[b]\begin{center}\includegraphics{31-2ia5f5.pdf}\end{center}\caption{モデルの埋め込みの詳細}\label{fig:embeddings}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{大羽未悠}{%2022年南山大学外国語学部フランス学科卒業．2024年奈良先端科学技術大学院大学情報科学領域博士前期課程修了．同年，同博士後期課程に進学．言語処理学会各会員．}\bioauthor{栗林樹生}{MohamedbinZayedUniversityofArtificialIntelligence(MBZUAI),NLPdepartment博士研究員．2020年東北大学大学院情報科学研究科博士前期課程修了．2022年同博士後期課程修了．博士（情報科学）．2022年から2023年まで東北大学大学院情報科学研究科特任研究員．また，2018年よりLangsmith株式会社の共同創業者として，自然言語処理技術を活用した執筆支援ツールの開発等に従事．2023年より現職．言語処理学会会員．%}\bioauthor{大内啓樹}{奈良先端科学技術大学院大学先端科学技術研究科助教．2015年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2018年同博士後期課程修了．博士（工学）．2018年から2021年まで理化学研究所AIPセンター特別研究員．2021年より現職，および，理化学研究所AIPセンター客員研究員．2023年より国立国語研究所共同研究員．情報処理学会，言語処理学会，地理情報システム学会各会員．}\bioauthor{渡辺太郎}{1994年京都大学工学部情報工学科卒業．1997年京都大学大学院工学研究科情報工学専攻修士課程修了．2000年LanguageandInformationTechnologies,SchoolofComputerScience,CarnegieMellonUniversity,MasterofScience取得．2004年京都大学博士（情報学）．ATRおよびNTT，NICTにて研究員，また，グーグルでソフトウェアエンジニアとして勤めた後，2020年より奈良先端科学技術大学院大学教授．自然言語処理や機械学習，機械翻訳の研究に従事．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}