言語処理学会 第29回年次大会 発表論文集 (2023年3月)

計算資源が限られた複数組織での出力選択による協働の検討
伊藤郁海 1 伊藤拓海 1,2 鈴木潤 1,3 乾健太郎 1,31 東北大学 2 Langsmith 株式会社 3 理化学研究所
ikumi.ito.p8@dc.tohoku.ac.jp {t-ito,jun.suzuki,kentaro.inui}@tohoku.ac.jp
本稿では，計算資源で劣る複数の小組織が力を合わせた場合に，大組織が作るモデルに匹敵する性能を達成できるかどうかを検証する．具体的には，独立潤沢な計算資源を持たない組織一つでは，高性能に訓練された少訓練データかつ小サイズの小モデルな大規模ニューラルモデルの開発は困難である．本群と多訓練データかつ大サイズの単独大モデルの性稿では，そのような組織がそれぞれ開発したモデル能比較を行う．本稿では，小モデル群の活用方法とを集結させて組み合わせた場合の性能は，潤沢な計して，各小モデルの出力の中から最適であると推定
算資源を使い一箇所で訓練されたモデルの性能に匹される出力を小モデル群全体の出力として採用する敵するのかどうか検証する．実験では，独立に訓練された少訓練データかつ小サイズの小モデル群と， という戦略をとる．訓練済みモデルを多数集め，それらのモデルの出力の中から最適であると推定され多訓練データかつ大サイズの単独大モデルの英日翻る出力を選択するという戦略は，各モデルの訓練は訳の性能比較を行った．実験の結果，小モデル群が独立に行うことができるという点で有用である．モ
生成する複数の出力の中から適切な出力を選択した
デルの訓練を独立に実行できることには二つの利
場合，小モデル単体と比較して 10 倍の訓練データ点がある．一つ目は，訓練データの共有が不要な点
量かつ 3 倍のモデルサイズの大モデルの能力に匹敵である．これによりプライバシー保護が必要な組織する性能を達成した．
（例：医療機関，金融機関など）が持つデータを活用
1 はじめにできる．二つ目は，他の組織の開発やモデル共有後の工程に対する考慮が不要な点である．個々の組織
近年，自然言語処理分野において大規模ニューラは，既存のモデル開発ノウハウをそれぞれの状況にルモデルが様々なタスクで高い性能を達成してい合わせて自由に適用することができる．
る．その背景には，より多くの訓練データを用い本稿では，英日翻訳タスクを題材として小組織群て，より大きなモデルを訓練することで，モデルのと大組織間の比較を行った．模擬実験としての簡易性能がべき乗則に従って向上し続けることが期待で化のために，以下の制約のもとに実験を行った．
きるという実験的知見がある [1]．今後も高性能モデルの実現を目的とした訓練データやモデルサイズ• 各小組織は，大組織用の訓練データを等分割しのさらなる大規模化が進む可能性は十分考えられたものの一部を訓練データとして用いる．
る．こうした大規模モデルの開発には多くの計算資• 訓練，推論の独立性は保った上で，小組織間で源が必須となるため，潤沢な計算資源を持つ一部の同一の実験設定を用いる．
企業や研究機関（大組織）のみがモデル開発を行っ実験の結果，複数の小モデルの出力集合に対して，ているというのが実情である．しかし，大学の研究参照なし評価指標を用いた出力選択を行ったとこ
室など計算資源が潤沢ではない組織（小組織）が高ろ，大モデル（小モデル単体と比較して 10 倍の訓性能なモデルの開発に関与できないという状況は望練データ量かつ 3 倍のモデルサイズ）の性能に匹敵ましくない [2]．限られた計算資源を最大限に活用する結果となった．
する方法を模索し，より広く多くの研究者や開発者がモデルの性能向上において競争力を持つことは重2 関連研究要である．
計算資源が限られている場合でも，高精度なモデでは，どのようにすれば計算資源で劣る組織が性ルを構築するため，さまざまな研究が行われてい能の高いモデルを開発することができるだろうか．

概要― 27 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

モデルの訓練る．例えば，モデル性能を保ちながら効果的な訓練データを選択することで，訓練データ量の削減を試みた研究がある [2, 3]．また，量子化などによりパラメータサイズを削減した上でモデルを訓練するという方法も提案されている [4, 5]．
他にも，本研究と類似した取り組みとして，独立モデルの推論
入力

少データ1

少データ2

少データ3

小モデル1

小モデル2

小モデル3

I like you.

小モデル2

小モデル1
小モデル1

小モデル3

小モデル2

した複数の計算機の協働による分散的なモデル訓練？

方法も研究されている．例えば，連合学習は，モデ大モデルあなたが好きです。

出力選択器

多データ

出力

ルの更新情報を集約することにより，全体として一つの大きなモデルを訓練する手法である [6]．また，訓練の独立性を保ちながら複数モデルの合成を繰り返し，性能向上を試みる新たな事前訓練手法も提案されている [7]．

図1

20XX/XX/XX

あなたに会いたい。

寒いですね。

ルの訓練データが分散して存在する場合に，それぞれの場所で独立にモデルの訓練を行った後，各モデ小モデル3

あなたが好きです。

実験設定の概要

Conference

Eval(·) により評価する．大組織のモデルのスコアは次の式で表される．

また，本研究と同様に，複数のモデルを推論時にscoreLarge =用いることで良い出力を得る方法も研究されてい1 ∑| 𝑋 |Eval(𝑀 (𝑥 𝑛 ))𝑛=1|𝑋 |
𝑥𝑛 ∈𝑋(2)る．例えば，アンサンブル [8] は，複数のモデルの各 小 組 織 は，訓 練 デ ー タ 𝑑𝑖 を 用 い て モ デ ル

予測確率を共有し，その平均から最終的な出力を得

𝑚 𝑖 の 訓 練 を 独 立 に 行 う．そ の 後，評 価 デ ー タる手法である．そのため，複数の組織間でアンサン𝑥 𝑗 ∈ 𝑋 (1 ≤ 𝑗 ≤ |𝑋 |) に対する小モデルたちの候補文

ブルを適用するためには事前にモデルの辞書を共有集合 𝑌 𝑗 を得る．

することが必要である．

𝑌 𝑗 = {𝑦 1 = 𝑚 1 (𝑥 𝑗 ), 𝑦 2 = 𝑚 2 (𝑥 𝑗 ), ..., 𝑦 𝑖 = 𝑚 𝑖 (𝑥 𝑗 )}モデルの推論時ではく，推論後の出力集合をリランキングやその集合から最も良い出力を選択するという方法も研究されている [9]．

3出力選択関数を 𝑓sel (·) とすると，評価文 𝑥 𝑗 に対して最終的な出力 ℎ 𝑗 は以下のようになる．

タスク定義ℎ 𝑗 = arg max 𝑓sel (𝑦)𝑦 ∈𝑌 𝑗

本稿では，モデルの訓練に使用するデータ量とモデルサイズを制御することにより，使える計算資源が少ない小組織と，豊富な計算資源を使える大組織式で表される．
scoresmall =小組織の総数を 𝑛 とし，大組織，小組織が使用する訓練データをそれぞれ 𝐷，𝑑𝑖 (1 ≤ 𝑖 ≤ 𝑛) とすると，
本実験における 𝐷 と 𝑑𝑖 の関係は以下のように表される1）．

(4)

評価データ 𝑋 に対する小モデル群のスコアは次のを再現する．本実験の概要を図 1 に示す．

𝐷 = 𝑑1 ∪ 𝑑2 ∪ ... ∪ 𝑑 𝑛 ,(3)1 ∑| 𝑋 |Eval(ℎ 𝑛 )𝑛=1|𝑋 |

(5)

実験にて使用する具体的な Eval および 𝑓sel は， 4.3
節にて述べる．
本稿では，scoreSmall が scoreLarge に匹敵する値と𝑑𝑖 ∩ 𝑑 𝑗 = ∅ (𝑖 ≠ 𝑗)

(1)

また，大組織，小組織が使用するモデルをそれぞなるかどうかを検証する．

本稿では，英日翻訳タスクにて実験を行う．

が成り立つ．実験にて使用する具体的なデータセッ
トおよびモデルは， 4.2 節， 4.1 節にて述べる．

実験

4れ 𝑀，𝑚 𝑖 とすると，モデルサイズに関して，𝑀 > 𝑚

4.1

大組織は，訓練データ 𝐷 を用いてモデル 𝑀 の訓練を行い，評価データ 𝑋 に対する出力を評価指標
1） 組織間において共通の訓練データが存在し，かつ訓練データの一部のみが各組織独自のデータであるような状況も想定され得るが，本実験の対象外とする．

モデル翻訳モデルとして，Transformer [10] を使用した．
モデルパラメータが約 100M のモデルを小組織が扱う小モデル，約 300M のモデルを大組織が扱う大モデルとみなした．

― 28 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

4.2

表 1 訓 練 デ ー タ を 10 等 分 割 し た 場 合 の 結 果（newstest2022）．

訓練用/評価用データセット

COMET
0.76050.77170.7455BLEURT
0.59260.60550.5801sacreBLEU
18.4
19.8
17.7

Large
Est
PostCosE

0.80260.81300.77960.64390.64740.6140

22.3
20.7
20.1

MaxRef0.83330.6683

23.2

訓練データとして JParaCrawlv3.0 [11]（約 25M）をSmall使用した．小モデルは，25M の訓練データを等分割(Mean)(Max)(Min)したもの2）の一部を用いてモデルの訓練を行う．大モデルは，25M の訓練データを全て用いてモデルの訓練を行う．また，評価用データとして WMT2022の newstest2022 [12] を使用した．サブワード分割器
およびモデルの辞書の作成は，分割前の全訓練デー
タをもとに行い，小組織，大組織含め全モデルで• PostCosE：小モデルの候補文集合に含まれる各同 一 の も の を 使 用 し た．ま た、評 価 指 標 と し て，文を単語分散表現を用いてベクトル化し，他のCOMET[13]3）と BLEURT [14, 15]4），sacreBLEU [16]

文とのコサイン類似度が最も高い翻訳文を選択を使用する．

4.3

する方法 [9]．単語分散表現は，fastText[19] に出力選択方法

より，JParaCrawlv3.0 の日本語データを用いて作成．

本実験では，式 4 の出力選択関数 𝑓sel (·) として，

• MaxRef：小モデルの候補文集合から COMET で参照あり評価指標である COMET と参照なし評価

最大スコアとなる翻訳文を選択する方法．

指標である COMETKIWI [17]5）を使用する．参照あり手法は評価時に参照テキストを使用し出力選択

個々の小モデルのハイパーパラメータ等の設定は全をしているため，実際の設定では使用することがて揃えて実験を行った．なお，ハイパーパラメータ等の詳細な設定は付録 A に示す．

できない．また，COMET は評価指標として使用したものと同じモデルを使用した．つまり，COMETによる出力選択はオラクル設定である．一方で，

4.5

実験結果・考察COMETKIWI は出力選択時に，翻訳モデルへの原文表 1 に，訓練データを 10 等分割し，小モデルが 10と翻訳モデルの出力のみが必要であり，現実の設定個存在する状態における WMT2022 の newstest2022

でも利用可能な方法である．6）

7）に対する各手法の評価結果を示す．

4.4

Small は，い ず れ も Large に 劣 る 性 能 を 示 し比較設定た．8）Est は，COMET と BLEURT において Large を超える性能を示し，MaxRef は全ての評価指標にお

本稿では，以下の設定の翻訳性能を比較する．
• Small：小モデル．それぞれ小モデル群の平均値（Mean），最大値（Max），最小値（Min）を報告する．
• Large：大モデル単体．
• Est：小モデルの候補文集合から COMETKIWIで最大スコアとなる翻訳文を選択する方法．

いて Large を超える性能を示した．これらの結果より，モデルを複数用意した上で，それぞれの出力の中から最適な選択ができた場合，個々のモデルの性能から大きな性能向上が期待できる．また，Est とMaxRef の性能差は COMET と COMETKIWI の性能差でもある．
他方，PostCosE は Est と比較して小さな性能向上

2） 本実験では，分割においてドメインやトークン数など各データ集合の性質に関する考慮は行わない．
3） https://unbabel-experimental-models.s3.amazonaws.
com/comet/wmt22/wmt22-comet-da.tar.gz（11 月 22 日 時 点で公開されていたモデル）
4） https://storage.googleapis.com/bleurt-oss-21/
BLEURT-20.zip
5） https://unbabel-experimental-models.s3.amazonaws.
com/comet/wmt22/wmt22-cometkiwi-da.tar.gz（11 月 23 日
時点で公開されていたモデル）
6） wmt22-comet-da の訓練データは，2017 年から 2020 年のWMT News Translation Task における人手評価データである．
また，wmt22-cometkiwi-da の訓練データは，wmt22-comet-daの訓練データと MLQE-PE データ [18] である．に留まった．その要因として，それぞれの手法の出力選択戦略の違いが考えられる．PostCosE は，モデル群の中央値的な出力を採用する手法である．この手法は，モデル群の中で及第点となる性能を持つモデルが多数派となるような状況において有効である
7） WMT2022 の newsdev2022，WMT2020 の newsdev2020 に対する評価も行い，結果を付録 C に示した．
8） 付録 B に，全訓練データで訓練した Small モデルの性能と10 分割データで訓練した Large モデルの性能を示す．Large
が Small を超える性能を示した要因は，訓練データの量とモデルサイズの両方の影響であると示唆される．
．

― 29 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 訓 練 デ ー タ を 4 等 分 割 し た 場 合 の 結 果（newstest2022）．

デルの ID を示す．また，0 + 1 は Small-0 と Small-1

Small-0
Small-1
Small-2
Small-3

COMET BLEURT sacreBLEU
0.78460.620020.0
0.7916
0.628920.9
0.77220.610020.7
0.78220.6163
20.2

Small-0+1
Small-0+2
Small-0+3
Small-1+2
Small-1+3
Small-2+3

0.79190.78530.79150.78690.79440.78470.62960.62530.62810.6266
0.63130.6208

21.1
21.2
21.2
21.8
21.4
21.2

での 15 モデルで候補文集合を得て出力選択を行っ

Small-0+1+2
Small-0+1+3
Small-0+2+3
Small-1+2+3

0.78980.79420.7896
0.79100.6292
0.63250.62780.6308

21.5
21.5
21.5
21.7

で，候補文集合内により良い出力を得られたことをSmall-0+1+2+3

0.79330.6315

21.6

Large
Est(4)
Est(15)
PostCosE(4)PostCosE(15)0.80260.81380.81970.79430.79340.64390.65230.6586
0.63150.6315

22.3
21.8
22.3
21.4
21.7

デルと比較して低く，Small-2 がアンサンブルに関

MaxRef(4)MaxRef(15)0.82830.83550.66490.673423.7
24.7

Small-0+1：0.7919, Small-0+1+2：0.7898 ）．

を ア ン サ ン ブ ル し た 場 合 の 結 果 で あ る．***(4)，***(15) は出力選択の対象となるモデル数の違いを示す．つまり，Est(4) は Small-0 から Small-3 の 4モデル、Est(15) は Small-0 から Small-0+1+2+3 また設定である．
全ての評価指標において，Est(4) よりも Est(15)，MaxRef(4) よりも MaxRef(15) の方が高い性能を示した．これは，モデルアンサンブルを適用すること意味する．
また，アンサンブルに参加するモデル内に，性能が低いモデルが含まれる場合は，性能が向上しない場合もあることがわかった．4 つの小モデル単体の性能に着目すると，Small-2 の COMET が他のモわる場合の COMET の値に注目すると，Small-2 が参加しない場合の方が高い性能を示している（例：と考えられる．一方で，Est は，モデル群の中で最良と推定される出力を採用する手法である．この手法は，モデル群の中で性能の低いモデルが多数派であっても，高性能なモデルが一つでも存在すればそのモデルの出力が選択される．訓練データが全く異なるなど，本実験のように各モデルの性能にばらつきが生じる得る状況の場合は，Est の方が PostCosEよりも好相性であることが示唆される．

4.6

法の評価結果を示す．Small-*のハイフン以下はモ

5

おわりに
本稿では，独立に訓練された少訓練データかつ小サイズの小モデル群は，多訓練データかつ大サイズの単独大モデルと同等の性能を達成できるのか，という研究課題の検証を英日翻訳の性能比較により行った．複数の小モデルの出力集合に対して，参照なし評価指標を用いた出力選択を行った場合の性能は，大モデルの性能に匹敵することを示した．本実験結果は，計算資源の制約により単独組織が構築で発展：アンサンブルきるモデルの性能に限界があったとしても，複数の使用できるモデルが複数ある場合に，それらのモデルを活用する方法の一つとして推論時のアンサンブル [8] が挙げられる．しかし，一般的なアンサン
ブルではモデル間でモデルの辞書を共有する必要がある．本稿では各小モデルが独立に訓練される場面を想定しているため，アンサンブルは比較設定に含まなかった．しかしながら，実験前に全ての小組織間で調整を行い，アンサンブルの実施が可能な場合は有効な手法である．そこで，本章では追加でアンサンブルを含む実験を行い，その結果を報告する．
なお，章 4.5 とは異なり，訓練データを４等分割し，小モデルが 4 個存在する状態にて実験する．
表 2 に，WMT2022 の newstest2022 に対する各手組織が協働することで，潤沢な計算資源を持つ単独組織が作成する大規模モデルに匹敵する性能を達成できる可能性があることを示唆するものである．
候補文集合から出力選択を行う戦略においては，出力選択器の性能が鍵となるため，出力選択器のさらなる性能向上が望まれる．今後の展望として，翻訳タスク以外でも実験を行うことを計画している．
また，GPT-3 [20] のような汎用言語モデルによる複数タスクの性能比較においても本実験と同様の結果が得られるのかも検証する予定である．本実験では各小組織の訓練データが全て異なる設定を用いたが，訓練データの一部を共有するなど，より現実に即した設定での実験を検討する．

― 30 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本 研 究 は，JST ム ー ン シ ョ ッ ト 型 研 究 開 発 事[13] Ricardo Rei, José GC de Souza, Duarte Alves, Chrysoula Zerva,
Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, andAndré FT Martins. COMET-22: Unbabel-IST 2022 Submission forthe Metrics Shared Task. In Proceedings of the Seventh Conference on Machine Translation, Abu Dhabi. Association for
Computational Linguistics, 2022.

業 JPMJMS2011 （fundamental research)，JSPS 科研費
JP21J14152 の助成を受けて実施されたものです．また，本研究を進めるにあたり，有益な助言を頂きました東北大学

tion for Computational Linguistics.
[15] Amy Pu, Hyung Won Chung, Ankur Parikh, Sebastian Gehrmann,and Thibault Sellam. Learning Compact Metrics for MT. In Pro-

参考文献
[1] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown,Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling Laws for Neural Language
Models, 2020.
[2] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的な学習に向けた代表データ集合の獲得. 言語処理学会第 28回年次大会, 2022.
[3] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A.
Efros. Dataset Distillation, 2018.
[4] Itay Hubara, Matthieu Courbariaux, Daniel Soudry, Ran El-Yaniv,and Yoshua Bengio. Quantized Neural Networks: Training NeuralNetworks with Low Precision Weights and Activations. J. Mach.
Learn. Res., Vol. 18, No. 1, p. 6869–6898, jan 2017.
[5] Ron Banner, Itay Hubara, Elad Hoﬀer, and Daniel Soudry. Scalable
Methods for 8-Bit Training of Neural Networks. In Proceedingsof the 32nd International Conference on Neural Information
Processing Systems, NIPS’18, p. 5151–5159, Red Hook, NY,

[7]

[8]
[9]

of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881–7892, Online, July 2020. Associa-

乾・坂口・徳久研究室の仲村祐希氏へ感謝いたします．

[6][14] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT:
Learning Robust Metrics for Text Generation. In Proceedings

USA, 2018. Curran Associates Inc.
Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson,and Blaise Aguera y Arcas. Communication-Eﬃcient Learningof Deep Networks from Decentralized Data. In Aarti Singh andJerry Zhu, editors, Proceedings of the 20th International Conference on Artiﬁcial Intelligence and Statistics, Vol. 54 ofProceedings of Machine Learning Research, pp. 1273–1282.
PMLR, 2017.
Margaret Li, Suchin Gururangan, Tim Dettmers, Mike Lewis, TimAlthoﬀ, Noah A. Smith, and Luke Zettlemoyer. Branch-TrainMerge: Embarrassingly Parallel Training of Expert Language
Models, 2022.
Lior Rokach. Ensemble-based classiﬁers. Artiﬁcial intelligence
review, Vol. 33, No. 1, pp. 1–39, 2010.
Hayato Kobayashi. Frustratingly Easy Model Ensemble for Abstractive Summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4165–4176, Brussels, Belgium, October-November 2018.

Association for Computational Linguistics.
[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin.
Attention is All you Need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems,Vol. 30. Curran Associates, Inc., 2017.
[11] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki
Nagata. JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus. In Proceedings of the Thirteenth Language
Resources and Evaluation Conference, pp. 6704–6710, Marseille, France, June 2022. European Language Resources Association.
[12] Tom Kocmi, Rachel Bawden, Ondrej Bojar, Anton Dvorkovich,
Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, et al. Findings of the2022 Conference on Machine Translation (WMT22).

ceedings of the 2021 Conference on Empirical Methods in
Natural Language Processing, pp. 751–762, Online and Punta

Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[16] Matt Post. A Call for Clarity in Reporting BLEU Scores. In
Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186–191, Brussels, Belgium, Octo-ber 2018. Association for Computational Linguistics.
[17] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva,
Ana C Farinha, Christine Maroti, José GC de Souza, Taisiya
Glushkova, Duarte M Alves, Alon Lavie, et al. CometKiwi: ISTUnbabel 2022 Submission for the Quality Estimation Shared Task.
arXiv preprint arXiv:2209.06243, 2022.
[18] Marina Fomicheva, Shuo Sun, Erick Fonseca, Chrysoula Zerva,
Frédéric Blain, Vishrav Chaudhary, Francisco Guzmán, Nina
Lopatina, Lucia Specia, and André F. T. Martins. MLQE-PE: A
Multilingual Quality Estimation and Post-Editing Dataset. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4963–4974, Marseille, France, June 2022.

European Language Resources Association.
[19] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas
Mikolov. Enriching Word Vectors with Subword Information.
Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135–146, 2017.

[20] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah,
Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav
Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel
Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child,Aditya Ramesh, Daniel Ziegler, Jeﬀrey Wu, Clemens Winter, ChrisHesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish,
Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell,
M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877–1901. CurranAssociates, Inc., 2020.
[21] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross,Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the― 31 ―2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations),

pp. 48–53, Minneapolis, Minnesota, June 2019. Association forComputational Linguistics.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Aと Large-div10 の比較より，モデルサイズの違い

実験設定の詳細（Small：100M，Large：300M）もモデルの性能に影翻訳モデルの構築には fairseq [21] を使 用し た．

響していることが示唆される．Est（Small）と Est

どのモデルでも共通して，最適化手法には Adam， （Large）の比較より，出力選択は個々のモデルの性Label-Smoothing は 𝜖𝑙𝑠 = 0.1，Warmup Steps は更新回数の三分の一とした．また，推論時のビーム探索幅は 5 とした．付録 B で使用する 2B モデルは，大モ能が向上した場合でも有効であることがわかる．
表 6 訓練データ量とモデルサイズを変化させた場合の各評価指標の値（newstest2022）．

デルのアーキテクチャに対して、隠れ層と順伝播層
Small-div10の次元増やしたモデルである．表 3，表 4，表 5 に(Mean)
(Max)
(Min)

Small，Large，2B でのハイパーパラメータで異なる
Est（Small）
MaxRef（Small）

設定を示す．
表 3 Small モデルのハイパーパラメーターの一覧．

Large-div10

設定名
翻訳モデル
学習率
ミニバッチサイズ
エポック数
モデル平均化

値
transformer
5e-4
512,000200
20 エポック毎にモデルを保存
最終 5 モデルの平均

表 4 Large モデルのハイパーパラメーターの一覧．
設定名
翻訳モデル
学習率
ミニバッチサイズ
エポック数
モデル平均化表5

学習率
ミニバッチサイズ
更新回数モデル平均化

CEst（Large）
MaxRef（Large）

0.78230.7916
0.76270.82580.84550.61680.6266
0.59810.66400.6842

20.1
21.3
19.5
22.3
25.3

Small-fullLarge-full
2B

0.79010.8026
0.79810.62730.64390.6371

20.9
22.3
22.5

(Mean)(Max)(Min)

10 分割設定における性能評価
表 1 の 実 験 と 同 様 の 実 験 を，newsdev2022 とnewsdev2020 を 評 価 デ ー タ と し て 行 っ た．表 7 に
newsdev2022 に対する結果を，表 8 に newsdev2020
に対する結果を示す．いずれの評価データにおいても，全ての評価指標で Est が Large を上回ることは２ B モデルのハイパーパラメーターの一覧

設定名
翻訳モデル

B値
transformer-wmt-en-de-big
5e-4
512,00050
5 エポック毎にモデルを保存
最終 5 モデルで平均化

COMET BLEURT sacreBLEU
0.76050.592618.4
0.77170.605519.8
0.74550.580117.7
0.80480.639220.2
0.81710.6530
22.1

なかった．しかし，Est と Small の比較から出力選値
transformer-wmt-en-de-big（embedding を含む隠れ層の次元：2048，順
伝播層の次元：32,768）
1e-04
512,000
30,000500 回パラメータ更新単位で保存し最終 10 モデルの平均択が性能向上に寄与していることがわかる．
表 7 訓練データを 10 等分割した場合の各評価指標の値（newsdev2022）
Small

データ量とモデルサイズの影響
表 6 に訓練データ量とモデルサイズを変化させ(Mean)(Max)(Min)

COMET BLEURT sacreBLEU
0.73420.514617.9
0.75680.538519.7
0.70520.4843
16.5

Large
Est
PostCosE

0.81010.80140.75800.60420.58730.5394

23.9
20.7
20.0

MaxRef0.82250.599322.0

た場合のモデル性能の変化を示す．***-full は，25M の訓練データで訓練したモデルの性能を示す．
***-div10 は，25M の訓練データを 10 分割したも

表 8 訓練データを 10 等分割した場合の各評価指標の値（newsdev2020）のの一部を用いて訓練したモデルの性能を示す．まSmall

た，比較対象として新たに 2B のモデルを加えた．9）***-div10 と***-full の比較より，訓練データ量の違い（***-div10：2.5M，***-full：25M）がモデルの性能に影響していることがわかる．Small-div109） Large の性能を超えられなかったため，今回の訓練データに対しては訓練がうまくいかなかった．

― 32 ―(Mean)
(Max)
(Min)

COMET BLEURT sacreBLEU
0.75170.540015.2
0.76760.560816.0
0.73360.5181
13.6

Large
Est
PostCosE

0.81430.81060.77270.61800.60260.5641

20.3
16.9
16.3

MaxRef0.83050.6177

18.9

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).