言語処理学会 第30回年次大会 発表論文集（2024年3月）

英語中心の大規模言語モデルの言語横断汎化能力
謝 素春 1

佐々木 翔大 3 Yunmeng Li1 坂田 将樹 1,2
赤間 怜奈 1,2 鈴木 潤 1,2
1 東北大学 2 理化学研究所 3 株式会社サイバーエージェント{xie.suchun.p7, li.yunmeng.r1, sakata.masaki.s5}@dc.tohoku.ac.jp
sasaki shota@cyberagent.co.jp {akama, jun.suzuki}@tohoku.ac.jp

概要
LLaMA などに代表される大規模言語モデルは，事前学習データの大半が英語で構成されているにも関わらず，英語以外の言語についても文章の生成が可能であることが観察されている．本研究では，英語を中心に学習された大規模言語モデルに対して，英語データのみを用いて微調整学習 (ﬁne-tuning) を実施した場合でも，英語以外の言語におけるタスク性能が向上する言語横断汎化能力に関して分析を行う．具体的には，英語の微調整学習前後でモデルの異言語間の内部表現に対する分析の結果，英語の微調整学習は言語非依存のタスクの解き方を学習していること，また，事前学習した言語間の類似度より性能汎化を実現していること示す．

1

はじめに言語横断汎化 (cross-lingual generalization) とは，モデルがあるソース言語でのタスク学習を通じて，ソース言語と異なる言語でも同じタスクをこなせるようになることである．言語横断汎化能力の実現は特にデータの少ない低資源言語のタスク性能の改善を期待できるため，重要視されている [16, 15, 12]．
昨今，大規模言語モデル（LLM）は顕著な性能向上を遂げており [3]，BLOOM [21] を始めとする多言語 LLM の言語横断汎化に関する研究も盛んである [8, 12]．．一方で，LLaMA [18] のような事前学習データの大半が英語で構成される大規模言語モデル（以下，「英語中心の LLM」と言う）においても，英語以外の言語，例えば中国語なども生成可能なことが観察されている [23]．また，事前学習に明示的に含まれない言語に対する言語横断汎化能力を示唆する結果も報告されている [26]．しかしながら，英語中心の LLM の有する言語横断汎化能力に関して分析した研究はまだ限られている．英語のみでの微調整学習による言語横断汎化性能の解明はより効率的，かつ強力な LLM の構築につながる重要な知見と考えられる．
本研究では，まず事前実験として英語中心の LLMの言語横断汎化性能を多様なタスクにおいて観察した上で，（1）英語中心の LLM の言語横断汎化能力はどこから来たのか，（2）言語横断汎化性能の言語間のばらつきをもたらす要因は何か，という 2 つの研究課題に関して分析を行う．課題（1）に関しては，英語のみを使用した対照学習によって多言語モデルの多言語表現の質が向上したという先行研究
での報告 [19] に基づき，「英語中心の LLM においても，英語で微調整学習することが，多言語タスクをうまく解くためのより良い多言語表現を獲得することに繋がる」という仮説を立て検証する．具体的には，英語での微調整学習実験で汎化性能を確認した
後，微調整学習がモデルの多言語表現能力にどのような影響を与えるかを焦点に当て，この過程で生じる言語間の類似度変化を分析する．さらに課題（2）に関して，言語間の類似度と性能汎化の関係性を調査するために，二者の相関性に対して分析を行う．
分析の結果，モデルは事前学習で得られた言語間のアラインメントを手がかりに英語データによる微調整学習ではタスクそのものの解き方を学習することで言語横断汎化能力を獲得していると推測できる．

2

関連研究

英語中心の LLM に対する言語横断汎化に関する研究は，言語横断汎化能力に対する調査と分析に分けられる．
言語横断汎化能力調査 言語横断汎化能力に対する調査において，Bandarkar ら [2] は英語中心の LLMと従来の事前学習されたモデルとの比較を中心に，LLM に対して文脈内学習（in-context learning）手法― 2653 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

を用いて性能評価を行った．そのほか，Ye ら [26]は英語を含む単言語での微調整学習を用いて，推論

表 1 微調整学習前の事前学習済みモデル (LLaMA-7B) と微調整学習後のモデル (FT) の性能評価結果

タスクにおいて多言語 LLM と英語中心の LLM の言

enfrdeeszhja

語横断汎化能力を検証した．

PAWS-XAcc.

言語横断汎化性能分析

言語横断汎化能力に対す

LLaMA-7B

0.54

0.54

0.51

0.54

0.55

0.56

0.95 0.87

0.87

0.86

0.75

0.71

る分析において，Xu ら [22] と Zhu ら [28] はモデルPAWS-X FTの言語横断汎化性能を向上するために，言語間のアXNLIAcc.

ライメントを強化する手法を提案した．また，Zhao

LLaMA-7B

0.33

0.33

0.33

0.33

0.33

0.15

ら [27] は微調整学習前後のパラメータに対して分XNLI FT

0.88 0.80

0.790.770.600.56

析する手法を用いた．性能汎化調査の部分では，YeXL-Sum

ROUGE-L

ら [26] の研究においても分類タスクで英語での微調

LLaMA-7B

0.08

0.12-0.13

0.190.18

整学習による汎化性能を検証したが，彼らの研究とXL-Sum FT

0.32 0.27-0.22

0.18

0.21

違い，本研究では分類タスクに加えて，英語中心のLLM が生成タスクにおける言語横断汎化能力の調査しする．さらに，モデルの言語横断汎化能力はど言語を対象とした．XNLI に日本語のデータは存在こから来たのかという本質的な問題に対して重点に評価を行った．評価時は統一的に英語のプロンプト分析を行う．

を使用した．
結果 評価結果を表 1に示す．微調整学習前のモ

3

英語中心の LLM の言語横断汎化

しないため，本研究では JNLI [11] の検証データでデル（LLaMA-7B）の結果から，微調整学習前のモ

事前実験として，英語中心の LLM の言語横断汎デルは 3 つのタスクにおいてもランダム回答に近い化性能を複数の言語と多様なタスクを用いて調査ことがわかる1）．一方，微調整学習を行った場合，し，研究課題の全体像を把握する．具体的には，英分類タスク（PAWS-X，XNLI）において，英語を含語中心の LLM を英語データのみで微調整学習したむ全言語での性能が顕著に向上していることが観測際に，英語以外の言語における汎化性能を測る．

できた．分類タスクにおけるこのような観測は Ye

英 語 中 心 の LLM と し て LLaMA-7B モ

ら [26] の報告と一貫している．さらに，微調整学習

デル [18] を使用し，指示文微調整学習 (instruction

後の XL-Sum の結果は，ROUGE-L スコアが中国語tuning) [20] を行った．LLM の効率的な微調整学習以外の全言語に渡って向上した．これらの結果か手法が多く提案されているが [9, 6, 14]，本研究ではら，英語のみで微調整された英語中心の LLM であLoRA [9] を採用した．
データセット 分類タスクと生成タスクの 2 種類

る LLaMA が分類タスクだけでなく，生成タスクにのタスクを用いた．分類タスクのデータセットは二値分類の言い換え判定タスクである PAWS-X [25] とかった．
LLaMA の事前学習では英語中心に，ラテン文字三値分類のテキスト含意判定タスクの XNLI [4] を用（en，fr，de，es）及びキリル文字（ru）を使用する言いた．生成タスクのデータセットは要約データセッ

語を用いており [18]，日本語と中国語は事前学習，

ト XL-Sum [7] を用いた．いずれのデータセットも，微調整学習のデータに明示的には含まれていないにモデルおいても言語横断的な汎化能力を有することがわ

英語を含む多言語で構成されている．PAWS-X にも関わらず，日本語と中国語でも性能の向上が見らおいては学習データ全件で学習を行い，XNLI とれた．同時に，他の言語での性能は英語と比較してXL-Sum ではそれぞれ学習データセットの 10 万およばらつきがあることが観察され，フランス語とドイ

び 5 万件を用いた．プロンプトおよびパラメーター

ツ語は一貫して中国語と日本語より高い性能を達成

設定の詳細は表 4に記載した．

している．そこで，英語中心の LLM の言語横断汎英語の学習データで微調整学習したモデル

化能力はどこから来たのか，汎化能力のばらつきはを用いて，各言語ごとにテストデータで 0-shot 性能どの要素に影響されるのかという疑問が残される．

評価の評価を行った．詳細設定は表5に示した． 本研究
では英語（en），フランス語（fr），ドイツ語（de），ス
ペイン語（es），中国語（zh），日本語（ja）の 6 つの1） 例外として，要約タスクの XL-Sum では中国語と日本語のROUGE スコアは比較的に高かったものの，出力結果に対する定性分析を行ったところ，その 2 つの言語の予測は単に入力文の最初の文を抜き出していることがわかった．

― 2654 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 PAWS-X データセットにおける事前学習済みモデルとファインチューニング済みモデルの Mean-pooling およびLast-token 埋め込みに対するコサイン類似度．”-P”は対訳文ペア，”-R”はランダム文ペアを表す．
Mean-pooling Embedding
微調整学習前分類タスク

Last-token Embedding

生成タスク

微調整学習前

分類タスク

生成タスク

Before-P Before-R Pawsx-P Pawsx-R Xlsum-P Xlsum-R Before-P Before-R Pawsx-P Pawsx-R Xlsum-P Xlsum-RPAWS-X Sentence 1
en-fr
en-deen-es
en-zh
en-ja

0.54
0.50
0.49
0.26
0.22

0.34
0.32
0.29
0.17
0.15

0.55
0.51
0.51
0.26
0.23

0.36
0.34
0.32
0.18
0.16

4

分析と考察

4.1

言語間埋め込み類似度の変化

0.55
0.51
0.50
0.28
0.24

0.36
0.34
0.32
0.20
0.17

0.50
0.37
0.38
0.31
0.31

0.39
0.28
0.28
0.25
0.27

0.48
0.34
0.36
0.32
0.33

0.36
0.25
0.25
0.25
0.270.47
0.31
0.33
0.33
0.33

0.36
0.23
0.23
0.27
0.28

入力文の全トークンの隠れ表現の平均 (Mean-poolingembedding)[17]，または入力最後尾のトークンに対応する隠れ表現 (Last token embedding) を文埋め込み[10] とするのが一般的であるが，Decoder-only のモ

本節では，英語のみで微調整学習する際，英語中デルにおいて，どちらの手法がより適切な表現を獲

心の LLM の言語横断汎化能力がどのような要因に得できるかは自明ではないため，本研究では両方のよって引き起こされているかについて分析と考察を文埋め込みを用いる．

行う．§3の実験では，微調整学習によって英語以外モデル事前学習済みモデル（LLaMA-7B）と微の言語での性能向上が見られ，モデルの言語横断汎調整学習した 2 つのモデル（PAWS-X FT，XL-Sum化能力は微調整学習によるものであると推測されFT）を用いた．

る．また，多言語モデルの場合，英語のみを使用しデータセット

対訳文データとして PAWS-X のテた対照学習によって多言語の埋め込み表現の質をストデータを用いた．PAWS-X の各サンプルは 2 つ向上させることが先行研究で報告されている [19]．の文を含むが，１文目を用いた．各言語対のデータ

これらを踏まえ，英語中心の LLM が言語横断汎化数はそれぞれ 2000 件である．
結果 文ペアに対する類似度の平均値の結果をを実現する要因は，英語で微調整学習することを通じて，多言語タスクをうまく解くためのより良い表

表 2に示す．表 2より，対訳文ペアのコサイン類似現を獲得できたことにある，つまり，異言語で同じ度はランダム文ペアより高く，対訳文ペアに対して意味を持つ対訳文の埋め込み表現の類似性が向上

内部でアラインメントが高く取れていることが示唆したことにある，と仮説を立てる．この仮説を検証される．微調整学習前後の対訳文における類似度のするために，英語のみでの微調整学習がモデルの内変化は，我々の予想に反して小さい（0 から 3 ポイ部の各言語表現に，どのような影響を与えるかを定ントの範囲内）ことがわかった．この観察と，微調量的に分析を行う．具体的には，微調整学習前後の整学習によって言語横断汎化が起きていることを踏

対訳文の言語間類似度の変化を比較し，英語のみのまえると，モデルは微調整学習を通じて多言語表現微調整学習が他の言語への影響を調査する．なお，の質を向上させたわけではなく，事前学習時に既に本研究では言語間の意味的類似度に焦点を当て，Li獲得していた多言語表現に基づき，言語横断的なタら [13] の研究に従い，コサイン類似度を用いた言語スクを解く能力を学習したことが推察される．

間類似度を計算する．また，モデルが対訳文の意味また，対訳文データセットにおいて，分類と生成を正しく理解できることを検証するため，対訳文ペタスクで微調整学習したモデルは異なる傾向が観察される．Mean-pooling 文埋め込みからでは，微調整アとランダム文ベアの類似度をそれぞれ計算する．
手順 ソース言語（英語）と各ターゲット言語したモデルの言語間類似度は 2 つの分類データセッ（英語以外の言語）の対訳文ペアとランダム文ペア

トで 1 から 3 ポイントを変化した．Last-token 埋めそれぞれに対して，微調整前と後のモデルを用いて込みでは，Mean-pooling 文埋め込みの類似度変化よ

文の埋め込み表現を獲得し，文ペアのコサイン類似り大きく (1〜7 ポイント)，傾向が見られなかった．

度を計算する．LLM の文埋め込みを分析する際は，これは，微調整プロセスが文の末尾の処理において― 2655 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 英語中心の LLM を英語データのみで微調整学習をした際の性能と，微調整学習前の各言語間の埋め込みのコサイン類似度の Spearman 相関 (𝜌)．分類タスクで微調整学習したモデルは Mean-pooling 文埋め込みとの相関係数が高く，生成タスクで学習したモデルは Last-token 文埋め込みとの相関係数が高いことを表す．
Mean-pooling
Spearman’s 𝜌𝑝値

Spearman’s 𝜌

モデルでは，Mean-pooling 文埋め込みの相関より，Last-token 文埋め込みの相関が高い傾向が見られる．
以上の結果から，モデルの多言語汎化性能は事前学習によって獲得した表現に対する言語間の類似度と強く関連していることが明らかとなった．

0.70
0.75
0.97

0.19
0.14
0.03

PUD
PAWS-XNLI
XL-Sum

0.01
0.07
0.19

0.88
0.81
0.94

0.05
0.19
0.06

特定の言語表現の偏りをもたらしている可能性を示唆している．

すなわち，多言語汎化性能のばらつきは，言語間類似度のばらつきの影響を受けてることが示唆される．また，前節で観察された言語間の類似度変化より，英語で学習したタスクの解き方は，事前学習で学習した英語と各言語間のアラインメントにより，他の言語にも適用されることが考えられる．そのほか，Mean-pooling 文埋め込み類似度と Last-token の文埋め込み類似度をそれぞれいつ使うかを明らかにした．分類タスクで微調整学習したモデルでは，ソース言語との Mean-pooling 文埋め込み類似度が性言語間類似度と汎化能力の関係能汎化の鍵となり，生成タスクで微調整したモデル

表 2に基づくと，微調整学習前の英語とフランス語（en-fr），やスペイン語（en-es）間のコサイン類似度は英語と中国語（en-zh），日本語のコサイン類似度（en-ja）よりも一貫して高くなり，汎化性能のばらつきと同じ傾向を示している．LLaMA のような英語中心のモデルでは，他言語の学習データの割合は極めて不均衡という問題があるが，これまでの多言語モデルの研究では，言語間のアラインメントがモデルの言語横断能力に寄与してると主張されている [5, 24]．そこで，英語のみで学習したタスクの解き方は，事前学習の段階で構築した言語間表現の類似度を通じて，汎化したのではないかを推測される．
言語間表現の類似度はモデルの言語横断汎化能力との関係を分析するために，表 1で得られた英語以外の 5 つ言語でのモデル性能と，前節で観察された事前学習済みモデルから取得した文埋め込みの言語間類似度との Spearman の順位相関係数を計算した．
結果る．その一方で，生成タスク（XL-Sum）で学習した考察
𝑝値

0.01
0.01
0.20

4.2の言語横断汎化能力に重要であることを示唆して

Last-token

PAWS-X Sentence 1
PAWS-X
0.99
XNLI
0.97
XL-Sum
0.80
0.97
0.93
0.81

微調整したモデルでは，平均的な文脈情報がモデル結果を表 3に示す． 表3より，Spearman の相関係数はいずれも 0.7 より高く，言語間の類似度

では，Last-token の文埋め込み類似度が言語横断汎化能力に重要であると分かった．ただし，事前学習の言語間類似度から言語横断汎化能力を完全に解釈するのは不可能であり，言語間の構造など他の要素からの影響を今後の課題としたい．

おわりに

5

本研究では，英語中心の LLM に対して英語のみでの微調整学習を行うことで，同一タスクにおける言語横断汎化性能を有することを示した．それに基づいて，微調整学習前後でモデルの異言語間の内部表現の類似度比較より，微調整学習は言語非依存のタスクの解き方を学習している可能性を示した．さらに，相関分析により，言語間の類似度と言語横断汎化能力の間には強い相関関係が存在し，事前学習で得られた言語間の類似度が微調整学習による多言語性能の向上に重要な役割を果たしていることが示唆された．この一連の知見は，英語中心の LLM の微調整学習と言語横断汎化能力に関する新たな洞察を提供する．と言語横断汎化能力との間に強い相関関係が存在することを示している．また，PAWS-X のような分類タスクで微調整学習したモデルでは，Last-token 文埋め込みの相関と比べて (相関係数 0.70，p 値: 0.19)，
Mean-pooling 文埋め込みの相関は高い値を示している (相関係数 0.99; p 値: 0.01)．これは分類タスクで― 2656 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は，JST ムーンショット型研究開発事業
JPMJMS2011-35（fundamental research），JST 次世代研究者挑戦的研究プログラム JPMJSP2114，JST 科学
技術イノベーション創出に向けた大学フェローシッ
プ創 設事 業 JPMJFS2102，JSPS 科研 費 JP22K17943の支援を受けたものです．また，本研究に助言を下さった栗田宙人氏，小林悟郎氏，横井祥氏に感謝致します．

(LREC), 2022.
[12]J. Li, H. Zhou, S. Huang, S. Cheng, and J. Chen. Eliciting the translation ability of large language models via multilingual ﬁnetuning withtranslation instructions. In arXiv.2305.15083, 2023.
[13]T. Li and K. Murray. Why does zero-shot cross-lingual generation
fail? an explanation and a solution. In Findings of the Association
for Computational Linguistics (ACL), 2023.
[14]Y. Li, Y. Yu, C. Liang, P. He, N. Karampatziakis, W. Chen, andT. Zhao. Loftq: Lora-ﬁne-tuning-aware quantization for large language models, 2023.
[15]X. V. Lin, T. Mihaylov, M. Artetxe, T. Wang, S. Chen, D. Simig,
M. Ott, N. Goyal, S. Bhosale, J. Du, R. Pasunuru, S. Shleifer,P. S. Koura, V. Chaudhary, B. O’Horo, J. Wang, L. Zettlemoyer,
Z. Kozareva, M. Diab, V. Stoyanov, and X. Li. Few-shot learning with multilingual generative language models. In Proceedings

参考文献

of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

[1]S. H. Bach, V. Sanh, Z.-X. Yong, A. Webson, C. Raﬀel, N. V. Nayak,A. Sharma, T. Kim, M. S. Bari, T. Fevry, Z. Alyafeai, M. Dey,A. Santilli, Z. Sun, S. Ben-David, C. Xu, G. Chhablani, H. Wang,
J. A. Fries, M. S. Al-shaibani, S. Sharma, U. Thakker, K. Almubarak,
X. Tang, X. Tang, M. T.-J. Jiang, and A. M. Rush. Promptsource:
An integrated development environment and repository for natural
language prompts. In arXiv:2202.01279, 2022.
[2]L. Bandarkar, D. Liang, B. Muller, M. Artetxe, S. N. Shukla, D. Husa,
N. Goyal, A. Krishnan, L. Zettlemoyer, and M. Khabsa. The belebele
benchmark: a parallel reading comprehension dataset in 122 language
variants. In arXiv:2308.16884, 2023.
[3]H. W. Chung, L. Hou, S. Longpre, B. Zoph, Y. Tay, W. Fedus,
Y. Li, X. Wang, M. Dehghani, S. Brahma, A. Webson, S. S. Gu,Z. Dai, M. Suzgun, X. Chen, A. Chowdhery, A. Castro-Ros, M. Pellat,
K. Robinson, D. Valter, S. Narang, G. Mishra, A. Yu, V. Zhao,
Y. Huang, A. Dai, H. Yu, S. Petrov, E. H. Chi, J. Dean, J. Devlin,A. Roberts, D. Zhou, Q. V. Le, and J. Wei. Scaling instructionﬁnetuned language models. In arXiv:2210.11416, 2022.
[4]A. Conneau, R. Rinott, G. Lample, A. Williams, S. Bowman,H. Schwenk, and V. Stoyanov. XNLI: Evaluating cross-lingual sentence representations. In E. Riloﬀ, D. Chiang, J. Hockenmaier, andJ. Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2018.
[5]A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek,F. Guzmán, E. Grave, M. Ott, L. Zettlemoyer, and V. Stoyanov. Unsupervised cross-lingual representation learning at scale. In D. Jurafsky, J. Chai, N. Schluter, and J. Tetreault, editors, Proceedings ofthe 58th Annual Meeting of the Association for Computational
Linguistics (ACL), 2020.

[6]T. Dettmers, A. Pagnoni, A. Holtzman, and L. Zettlemoyer. Qlora:Eﬃcient ﬁnetuning of quantized llms, 2023.
[7]T. Hasan, A. Bhattacharjee, M. S. Islam, K. Mubasshir, Y.-F. Li,Y.-B. Kang, M. S. Rahman, and R. Shahriyar. XL-sum: Large-scale
multilingual abstractive summarization for 44 languages. In C. Zong,F. Xia, W. Li, and R. Navigli, editors, Findings of the Association
for Computational Linguistics (ACL-IJCNLP), 2021.
[8]E. Hlavnova and S. Ruder. Empowering cross-lingual behavioral
testing of NLP models with typological features. In Proceedings ofthe 61st Annual Meeting of the Association for Computational
Linguistics (Volume 1: Long Papers), 2023.

[9]E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang,
and W. Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations(ICLR), 2022.
[10]T. Jiang, S. Huang, Z. Luan, D. Wang, and F. Zhuang. Scaling
sentence embeddings with large language models, 2023.
[11]K. Kurihara, D. Kawahara, and T. Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the[16]N. Muennighoﬀ, T. Wang, L. Sutawika, A. Roberts, S. Biderman,
T. Le Scao, M. S. Bari, S. Shen, Z. X. Yong, H. Schoelkopf, X. Tang,D. Radev, A. F. Aji, K. Almubarak, S. Albanie, Z. Alyafeai, A. Webson, E. Raﬀ, and C. Raﬀel. Crosslingual generalization throughmultitask ﬁnetuning. In Proceedings of the 61st Annual Meetingof the Association for Computational Linguistics, 2023.
[17]D. Nikolaev and S. Padó. Investigating semantic subspaces of transformer sentence embeddings through linear structural probing. In
Proceedings of the 6th BlackboxNLP Workshop: Analyzingand Interpreting Neural Networks for NLP, 2023.

[18]H. Touvron, T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux,T. Lacroix, B. Rozière, N. Goyal, E. Hambro, F. Azhar, A. Rodriguez, A. Joulin, E. Grave, and G. Lample. Llama: Open andeﬃcient foundation language models. In arXiv:2302.13971, 2023.
[19]Y. Wang, A. Wu, and G. Neubig. English contrastive learning canlearn universal cross-lingual sentence embeddings. In Proceedingsof the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

[20]J. Wei, M. Bosma, V. Y. Zhao, K. Guu, A. W. Yu, B. Lester, N. Du,A. M. Dai, and Q. V. Le. Finetuned language models are zero-shotlearners. In arXiv:2109.01652, 2022.
[21]B. Workshop and et al. Bloom: A 176b-parameter open-access
multilingual language model. In arXiv.2211.05100, 2023.
[22]N. Xu, Q. Zhang, J. Ye, M. Zhang, and X. Huang. Are structuralconcepts universal in transformer language models? towards interpretable cross-lingual generalization. In Findings of the 2023
Conference on Empirical Methods in Natural Language Processing (EMNLP2023 Findings), 2023.

[23]N. Xuanfan and L. Piji. A systematic evaluation of large language
models for natural. In Proceedings of the 22nd Chinese National
Conference on Computational Linguistics, 2023.
[24]H. Yang, H. Chen, H. Zhou, and L. Li. Enhancing cross-lingual transfer by manifold mixup. In The Tenth International Conference on
Learning Representations (ICLR), 2022.
[25]Y. Yang, Y. Zhang, C. Tar, and J. Baldridge. PAWS-X: A cross-lingual
adversarial dataset for paraphrase identiﬁcation. In Proceedingsof the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference
on Natural Language Processing (EMNLP-IJCNLP), 2019.

[26]J. Ye, X. Tao, and L. Kong. Language versatilists vs. specialists: An empirical revisiting on multilingual transfer ability. In
arXiv:2306.06688, 2023.
[27]J. Zhao, Z. Zhang, Y. Ma, Q. Zhang, T. Gui, L. Gao, and X. Huang.
Unveiling a core linguistic region in large language models. In
arXiv:2310.14928, 2023.
[28]W. Zhu, Y. Lv, Q. Dong, F. Yuan, J. Xu, S. Huang, L. Kong, J. Chen,and L. Li. Extrapolating large language models to non-english byaligning languages. In arXiv:2308.04948, 2023.

Thirteenth Language Resources and Evaluation Conference― 2657 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

パラメータ設定

A.1

学習時のパラーメータ

学習時のパラーメータ設定を表 4に示す．
表 4 英語のデータのみを用いた微調整学習時のハイパーパラメータ設定

ハイパーパラメータ

設定値

ModelLLaMa-7B

Epoch

6

Learning rate

2e-5

Learning rate scheduler
LoRA rank

Cosine8

LoRA alpha

A.2

32

評価時のパラーメータ

評価時のパラーメータ設定を表 5に示す．
表5

微調整学習したモデルを用いた性能評価時のパラーメータ設定

パラメータB

設定値

Temperature0.1Top p0.75

Top k

1

Num beams (XL-Sum)

4

Max new tokens (PAWS-X &XNLI)

1

Max new tokens (XL-Sum)100

プロンプト設定
本研究で用いたプロンプト設定は PromptSource [1] のテンプレートに基づいたものである．詳細を表 6に示す．
表6

Datasets

Prompt

PAWS-X

Sentence 1: {sentence 1}

プロンプト設定

Sentence 2: {sentence 2}
Question: Do Sentence 1 and Sentence 2 express the same meaning? Only answer with Yesor No. The answer isXNLISuppose {premise} Can we infer that {hypothesis}? Yes, no, or maybe?

XL-SumWrite one sentence to summarize the given document. Document is: {Input paragraph}
Summarize:― 2658 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).