近年，言語モデルの言語間転移能力に高い関心が寄せられている．例えば，英語の大規模言語モデルは，学習データに少量しか存在しない英語以外の言語に対しても，一定の翻訳性能を示しており\cite{Brown2020-zt,shi2023language}，英語から他の言語への効率的な言語間転移が示唆されている．このような言語間転移能力について，既存研究では，パープレキシティや下流タスクでの性能などの抽象的・全体的な尺度によって評価されてきた\cite{Papadimitriou2020-kp,Deshpande2022,Blevins2022-ta}．その一方で，言語学的な観点からの調査，例えば言語の類型的な特徴などに起因する文法能力や転移能力の差異についての調査はほとんど実施されてこなかった．本研究では，言語モデルの言語間転移能力について，第一言語獲得の第二言語の言語的汎化の効率への影響を言語横断的に調査する．具体的には，まず言語モデルを特定の言語で事前学習し（第一言語話者と想定），第二言語として英語を使用して追加で学習した後に（第二言語話者と想定），第二言語の言語的汎化の評価とその分析を行うという手順を設計する（\ref{sec:exp_procedure}\nobreak節）．第一言語として，英語への転移の難易度が異なる4つの言語（フランス語，ドイツ語，ロシア語，日本語）を選択する．学習データの量は，人間の第二言語獲得シナリオに一致するように制限することで，人間の第二言語獲得の傾向との比較が容易になり，計算言語学的な観点から第二言語獲得に関する洞察が得られることが期待される．事前実験では，第二言語の学習方法における帰納バイアスを調査する（\ref{sec:pre_exp}\nobreak節）．第二言語のテキストのみでの学習や，第一言語と第二言語の対訳での学習など，様々なデータの入力設定を比較する．言語モデルの第二言語の学習時に，第一言語と第二言語の対訳を提示する設定では，対訳関係を崩した文対を提示する設定よりも，第二言語の言語的汎化が遅くなることが示された．本実験では，第一言語の学習が第二言語の文法獲得に与える影響を探索的に分析する（\ref{sec:experiments}\nobreak節）．第一言語の知識は第二言語のより良い言語的汎化を促進する傾向が見られたが（\ref{sec:l1-promote}\nobreak節），第一言語の特徴によって第二言語で異なる言語的汎化を引き起こすことが示された（\ref{sec:diff-l1}\nobreak節）．例えば，日本語またはロシア語を第一言語として学習したバイリンガル言語モデルはフランス語とドイツ語と比較して言語的汎化の性能が著しく低かった．これは人間について定義された言語学習の難易度\cite{Chiswick2004-zz}と一致している．また，第一言語の事前学習は対象とする言語現象によっても異なる効果を与えることがわかった（\ref{sec:diff-grammar}\nobreak節）．特に，第一言語による事前学習は，意味的現象や統語/意味的現象よりも，形態的現象や統語的な現象で大きな効果が観察された．最後に，より詳細な調査として，第二言語獲得の過程を分析する（\ref{sec:analysis}\nobreak節）．まず，第一言語の違いにより，第二言語の言語的汎化の過程がどのように変化するかを調査した．言語モデルの言語的汎化は，データセット全体を50--100回程度見るまであまり進まず，学習の非効率性を示唆する結果となった．次に，第二言語の学習中に，第一言語の知識に与える影響の過程も調査した．第二言語の学習中に第一言語の言語的汎化が抑制される傾向にあることが観察され，言語転移の間に，第一言語と第二言語の言語学的知識のバランスを取ることは容易でないことが示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{31-2ia5f1.pdf}\end{center}\hangcaption{実験手順の概要．はじめに，第一言語を用いて単言語の穴埋め言語モデリングを行う（第一言語獲得）．次に第一言語と第二言語（英語）を両方用いて，既存研究に従い\protect\cite{conneau_xlm}穴埋め言語モデリングを行う（第二言語獲得）．最後に，英語の文法性判断ベンチマークであるBLiMPを用いてモデルの第二言語の文法能力を評価し，第一言語が第二言語の獲得にどのように影響するか分析する．}\label{fig:exp_procedure}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%