言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルに対する語彙置換継続事前学習の有効性の検証
野崎雄太 1 中島大 1 佐藤諒 1 伊藤真也 1 近藤宏 1 麻場直喜 1 川村晋太郎 11 株式会社リコー デジタル戦略部 デジタル技術開発センター 言語 AI 開発室{yuta.nozaki1,dai.nakashima,ryo.sato4,shinya.itoh,hiroshi.xx.kondoh,naoki.asaba,shintaro.kawamura}@jp.ricoh.com

概要
英語モデルに日本語データを継続事前学習することによって日本語性能を高めるというアプ
ローチにおいて，最も重要な課題の１つに日本語に最適化されていないトークナイザーによる学習効率の低下が挙げられる．トークナイザーの語彙拡張など様々な対策手法があるが，モデルパラメータの増大という副作用もある．そこで本研究ではトークナイザーの語彙拡張をせずに，既存モデルの埋め込みを活用することによって学習効率と精度を高める手法，語彙置換継続事前学習を提案する．検証の結果，語彙拡張と同等の精度が確認された．

1

はじめに近年 Transformer [1] ベースの大規模言語モデルの研究が加速し，様々な LLM が公開されている．しかし，その大部分 [2, 3] は大量の英語テキストによって学習された英語特化モデル (英語モデル) であり，日本語に特化したモデル (日本語モデル) は少ないのが現状である．主な理由として，日本語の良質な大規模コーパスは英語と比較して少量であり，学習データ量を増やすことで言語モデルとしての性能が向上するという法則 [4] の上で制約となっていることが考えられる．
いわゆる低リソース言語に特化したモデルを構築する場合，十分なデータ量で学習された英語モデルにその言語データを継続事前学習させるというアプローチがある [5, 6]．日本語の事例
でも英語モデルに日本語データを継続事前学習することで日本語モデルを構築したという報告がある [7]．しかしこの場合，既存のモデルはトークナイザーの語彙の大半が英語であるため，このまま日本語データを継続事前学習すると同一バッチ内で学習できる文字列長が英語と比較して少なくなってしまい，学習効率が非常に悪い．そのため日本語の語彙が多く含まれるトークナイザーを構築して学習を行うことが求められる．
トークナイザーに変更を加えて継続事前学習を行う手法には以下のようなものが挙げられる．
• Scratch: 新規トークナイザーで継続事前学習• Extend: トークナイザー語彙を拡張して継続事前学習
Scratch はトークナイザーの語彙と既存モデルの語彙の埋め込みベクトルの一致率が著しく低くなり，既存の重みを活用できず，精度が低くなってしまう可能性がある．一方で Extend は拡張された語彙の埋め込みベクトルの初期値を工夫することによって既存モデルの重みを活用しながら日本語に特化したトークナイザーで継続事前学習ができる．BERT [8] などのエンコーダモデルに対する低リソース言語の継続事前学
習 [6, 9] やドメイン適応の分野でもこの手法は一般的である [10, 11, 12, 13]．しかし，トークナイザーの語彙を拡張すると，同時にモデルサイズが語彙数に応じて増加し，最終的に GPU メモリや学習時間などコストが増大する．また，語彙数を一定以上増やしても性能は飽和するという報告もある [14]．これらの問題を解決するために，本研究では既存トークナイザーの語彙の一部を置換することで，既存の埋め込みを活用しながら語彙数を拡張せずに継続事前学習を行う手法，語彙置換継続事前学習を提案する．具体的には，新しくトークナイザーを構築し，既存トークナイザーのみに含まれる語彙を新規トークナイザーのみに含まれる語彙に置換する．また，置換した語彙に対応するモデルの埋めこみベクトルはその語彙を構成するトークン列の埋め込みベクトルの平均に置換する．これによっ― 320 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

て語彙数を増やさずに既存モデルの埋め込みを活用しながら継続事前学習を行うことができる．

埋め込みの置換

3.1 で置換したトークナイザーの語彙は既存関連研究

2

3.2

モデルの埋め込みベクトルとは意味的な対応関[15] はトークナイザーの効率を評価する指標係がない．そのため先行事例 [11] と同様に，既として，トークンあたりの文字列長 (length per

存モデルのトークン列の平均ベクトルで埋め込token) を挙げており，多言語トークナイザーをみベクトルも置換する．具体的には，語彙を辞構築する場合，一定の語彙数の水準で length per

書としてテキストをトークン分割しトークンtoken が飽和することを確認した．本研究ではこ列 𝐿 を返す関数 𝑇 𝑜𝑘𝑒𝑛𝑖𝑧𝑒(𝑉, 𝑡𝑒𝑥𝑡) を定義し，既の事例をベースに英語語彙数が減少したことに存トークナイザー 𝑇𝐴 の語彙 𝑉 𝐴 を辞書として，よる英語タスク精度げの影響の検証も行う．

𝑣 𝑖𝐵 ∈ 𝑉uniB をトークン分割し，トークン分割され語彙置換継続事前学習

3

語彙置換継続事前学習は語彙の置換と埋め込
みの置換の 2 つの手法を組み合わせている．図 1に概略を示す．

3.1

語彙の置換

トークナイザー 𝑇 を語彙 𝑉 と語彙から語彙 IDをマッピングする関数 𝑓 の組 (𝑇, 𝑓 ) と定義し，既存のトークナイザー 𝑇𝐴 と新規トークナイザー𝑇𝐵 とする．それぞれのトークナイザーは語彙𝑉 𝐴，𝑉𝐵 で同じ語彙数を持つ．
𝑉 𝐴 = {𝑣 1𝐴, 𝑣 2𝐴, . . . , 𝑣 𝑛𝐴 }𝑉𝐵 = {𝑣 1𝐵 , 𝑣 2𝐵 , . . . , 𝑣 𝑛𝐵 }(1)

𝑇𝐴 の各語彙 𝑣 𝑖𝐴 に対する語彙 ID 𝑘 𝑖𝐴 をマッピングする関数 𝑓 𝐴，同様に 𝑇𝐵 の各語彙 𝑣 1𝐵 に対する語
彙 ID 𝑘 𝑖𝐵 をマッピングする関数 𝑓 𝐵 を定義する．
𝑓 𝐴 (𝑣 1𝐴) = 𝑘 𝑖𝐴,

𝑓 𝐵 (𝑣 𝑖𝐵 ) = 𝑘 𝑖𝐵

(2)

𝑉 𝐴 と 𝑉𝐵 の共通語彙を 𝑉com ，𝑉 𝐴 の独自語彙を
𝑉uniA ，𝑉𝐵 の独自語彙を 𝑉uniB とする．
𝑉com = 𝑉 𝐴 ∩ 𝑉𝐵 ,𝑉uniA =𝑉 𝐴 − 𝑉𝐵 ,𝑉uniB = 𝑉𝐵 − 𝑉 𝐴

たトークンを 𝑆 𝑣𝑖𝐵 とする．𝑆 𝑣𝑖𝐵 の各トークンに−−→対する既存モデルの埋め込みベクトル 𝑆 𝑣𝑖𝐵 を取得し，平均埋め込みベクトルを計算する．この

平均埋め込みベクトルは 𝑣 𝑖𝐵 の意味を表すベクト−→ル 𝑣 𝑖𝐵 となる．
−→
1 ∑ −−→𝑣 𝑖𝐵 =𝑆 𝑣𝑖𝐵(5)|𝑆 𝑣𝑖𝐵 |−→既存モデルの埋め込みベクトル集合 𝑉 𝐴 において，𝑣 𝑖𝐵 ∈ 𝑉uniB の各トークンに対応する埋め込み−→
ベクトルは語彙 𝑣 𝑖𝐴 の意味を持つベクトル 𝑣 𝑖𝐴 で−→ある．そのため 𝑉 𝐴 のうち，𝑣 𝑖𝐴 ∈ 𝑉uniA となる全−→−→ての 𝑣 𝑖𝐴 を，𝑣 𝑖𝐵 に置換し，置換済み埋め込みベク−−→−−→
トル集合 𝑉 𝐴′ とする．この 𝑉 𝐴′ は語彙置換トーク
ナイザー 𝑇𝐴′ の語彙 𝑉 𝐴′ の意味がより正確に表現されているベクトルであると考えられ，学習がより効率的になると考えられる．

検証実験

4

語彙置換のみを適用して継続事前学習した
手 法 (Replace) と 埋 め 込 み 置 換 も 行 っ た 手 法(Embedding-Replace) の有効性を検証する．

(3)

𝑉uniA の全ての語彙 𝑣 𝑖𝐴 を 𝑉uniB の語彙 𝑣 𝑖𝐵 に置換し，置換済み語彙集合を 𝑉 𝐴′ とする．また，新しいマッピング関数 𝑓 𝐴′ を定義する． 𝑓 𝐴′ は 𝑇𝐵 の各語彙 𝑣 𝑖𝐵 に対して，𝑇𝐴 の対応する語彙 ID 𝑘 𝑖𝐴 を割り当てる．

4.1

実験設定

実験で使用するベースとなる既存トークナイ
ザーおよびモデルは Llama 2 7B Chat [3] とした．
新規トークナイザーは日本語データ（Wikipedia・CC-100）と英語データ（Wikipedia）を 7 : 10 の割合でサンプリングしたデータから構築し，提案(4)手法を用いて語彙置換トークナイザー 𝑇𝐴′ を構

𝑉 𝐴′ と 𝑓 𝐴′ を持つトークナイザーを語彙置換トー

𝑇𝐴 を使った手法 (Keep)，新規トークナイザー 𝑇𝐵

𝑓 𝐴′ (𝑣 𝑖𝐵 ) = 𝑘 𝑖𝐴

クナイザー 𝑇𝐴′ とする．𝑇𝐴′ は 𝑇𝐴 をベースとし築した．比較手法として，既存トークナイザーを使って継続事前学習した手法 (Scratch)，語彙ていることから， 𝑓 𝐴 (𝑉com ) = 𝑓 (𝑉com ) となる．

拡張トークナイザー 𝑇𝐸 を使った手法 (Extend) を

つまり 𝑇𝐴 で学習したモデルの埋め込みベクトル設定する．Extend は先行研究 [11] の手法に準拠との対応関係も維持される．

した． 𝑉 𝐴 ∪ 𝑉𝐵 で得られる語彙集合を 𝑉𝐸 とし

𝐴′― 321 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

᪤Ꮡ䝖䞊䜽䝘䜲䝄䞊 䞉ᇙ䜑㎸䜏䞉䞉䞉䛾䜏䛻Ꮡᅾ䛩䜛ㄒᙡ ௨௡௜஺㼙㼍㼕㼘㻞㻡㻠㻥䄲䄤䄺㻝㻟㻢㻜㻟ㄒᙡ⨨᥮䝖䞊䜽䝘䜲䝄䞊 䞉ᇙ䜑㎸䜏
ඹ㏻䛾ㄒᙡ௖௢௠ 䛿⥔ᣢ䞉䞉䞉㼙㼍㼕㼘㻞㻡㻠㻥ዪ⋤㻝㻟㻢㻜㻟䞉䞉䞉䞉䞉䞉᪂つ䝖䞊䜽䝘䜲䝄䞊௨௡௜஺ 䜢 ௨௡௜஻ 䛻⨨᥮௩೔ಲ䜢 ಳ䛻⨨᥮௩೔䞉䞉䞉㼙㼍㼕㼘䛾䜏䛻Ꮡᅾ䛩䜛ㄒᙡ ௨௡௜஻㻝㻠㻤㻠㻞ዪ⋤㻝㻥㻣㻡㻞䞉䞉䞉ዪ㻟㻜㻢㻠㻣㻌

⋤㻟㻜㻠㻢㻞ዪ⋤ܸ஺ Ν࢘ͮͱܸ௨௡௜஻ Νφʖέϱ෾ܸׄ஺ ܸ௨௡௜஻

図1ฑ‫ۋ‬ϗέφϩ

語彙置換継続事前学習の概略図て，|𝑉𝐸 | まで埋め込みベクトルの数を増加させ率を確認した．一致率が高いほど既存のモデルた．トークナイザー A によって 𝑉𝐸 をトークナの埋め込みを直接活用できることを表す．結果

イズし，その埋め込みベクトルの平均を埋め込−→
みベクトル 𝑉𝐸 として設定した．

を表 1 に示す．一致率は 35.6 ％，拡張は 60.82 ％であった．

これらの設定でモデルを学習した．また，継続事前学習データは日本語データ（Wikipedia）を利用した．

4.2

トークナイザー評価

既存・新規・語彙置換・語彙拡張トークナイ
ザー のそ れぞ れ の 日 本 語 及び 英 語 語 彙 数と 1トークンあたりの平均文字数 (length per token) を検証した．日本語の検証データは CC-100 データセット，英語は mC4 データセットを使用した．
結果を表 1 に示す．既存と比較すると語彙置換や語彙拡張は日本語では約 2 倍となっており，

図2

語彙拡張が最も length per token の値が高かったが，語彙置換と比較して大きな差はなかった．
また，英語では語彙置換は英語語彙数が少なく4.3

埋め込みベクトルの変化率の平均値

モデル評価なるため，length per token の値は低くなることが続いて，日本語および英語タスクによる精度予想されるが，大きく低下していないことが確評価，共通語彙の埋めこみ及び独自語彙の埋め認された．これは [15] と同様の結果と同じこと込みの変化率 (学習前後のベクトルの L2 ノルムを示している．これによって語彙拡張でなくても，同水準に推論効率を向上できることが確認の平均) を比較する．

された．また，語彙と埋め込みベクトルの一致比較を行う．表 2 に各タスクにおける精度を最初にモデル学習後の日本語タスクの精度示す．結果は Keep が一部のタスクを除き，最― 322 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 トークナイザーの統計

語彙数

既存 𝑇𝐴

日本語 英語

32000

語彙per

語彙率

token tokenper(%)

JPEN

100

0.85

4.01

32000 17030 13839

266

0.83

2.01

3.99

語彙置換 𝑇 32000 17030 13839
語彙拡張 𝑇𝐸 52618 31311 17165

11382
32000

35.6
60.82

2.01
2.08

3.99
4.20

日本語タスク，英語タスクの精度評価結果：タスク名 (ショット数, 評価指標)

言語
タスク

語彙数

一致

32000𝐴′表2一致

埋め込み length length27667

新規 𝑇𝐵

834

語彙埋め込み日本語

英語

JSQ JAQ JaQ JEM XL-SumuAD KET uAD HopQA-ja

JCommonsenseQA(3,acc norm) (3,F1) (3,F1) (3,F1) (3,F1)

ARC

Hella
SWAG

WinoMMLU(25,Grande(5,acc)(3,R-2) acc norm) (10,acc norm)(5,EM)

Llama-2

36.55

81.76 49.37 70.49 40.09

6.07

72.55

76.68

45.25

66.46

Keep34.85

84.34 58.89 77.74 43.34

6.77

69.81

75.41

45.65

67.17

Scratch29.22

66.52 51.66 64.35 21.21

7.36

26.44

27.83

25.98

47.91

Replace

36.91

81.87 72.03 74.88 39.78

8.47

56.4

62.45

41.44

64.09

Embed-Rep

38.7

83.81 74.50 76.79

39.9

9.75

61.39

68.6

43.33

65.98

Extend39.77

82.11 74.99 75.90 39.41

11.31

62.68

69.59

43.58

66.93

も精度が良いことが確認された．また，同時にう．図 2 に結果を示す．Keep の埋め込み変化

Embedding-Replace と Extend が同水準の精度であることが確認され，語彙置換継続事前学習の有率に比べて，その他の手法は共通語彙，独自語
彙共に変化率が高いことが確認された．Scratch

効性が確認された．一方で Scratch は他の手法

では 266 件の共通語彙のほとんどが意味を持と比較してタスクの精度が大幅に落ちているこたないトークンであったため，独自語彙と同程とが確認された．これは埋め込みとトークナイ度の変化率となったと推察される．Replace やザーの語彙が対応していないことが原因と考

Embedding-Replace，Extend では概ね独自語彙のえられる．この結果により，語彙置換手法の有変化率が高く，共通語彙の変化率が低いことが効性が確認された．また，Embedding-Replace と確認された．一方で Embedding-Replace の独自語

Replace を比較すると，Embedding-Replace の精度

彙の変化率が他の手法と比較して非常に高いこが良いことから，埋め込み置換手法の有効性もとが確認されている．

確認された．
次に英語タスクの精度比較を行う．本実験でおわりに5は日本語データのみで継続事前学習を行った

本論文では語彙数を増加させず，語彙や埋めため，英語を忘却し，英語タスクの精度低下が想定される．また，語彙置換トークナイザーは込みの置換を行って継続事前学習を行う手法を英語語彙数を減少させているので，Embedding-提案した．検証実験の結果，語彙置換継続事前学習の有効性が確認され，語彙拡張手法と同水

Replace や Replace で破滅的な忘却が発生する可準の性能であることが確認された．また，共通能性がある．英語の各タスクを用いて Extend と語彙および独自語彙間で埋め込みベクトルの変比較した精度の低下を検証した．検証の結果，化率に一定の差があることが確認された．

Embedding-Replace は Extend と同等の水準の精度

今後の展望として，語彙と埋め込みベクトルであることが確認された．このため，語彙数をの一致率と精度の相関関係について調査を行う減少したことによる大幅な精度の低下は見られことが挙げられる．
本研究の成果を用いて，より大規模に継続学ないことが確認された．
続いて埋め込みベクトルの変化率の評価を行習を行い，日英モデルを構築した [16]．

― 323 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献

[10]

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz
Kaiser, and Illia Polosukhin. Attention is all you need.

Conference on Language, Information and Computation, pp. 356–361, Manila, Philippines, October

Advances in neural information processing systems, Vol. 30, , 2017.

[2] OpenAI, :, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, et al. Gpt-4 technical report, 2023.
[3] Hugo Touvron, Louis Martin, Kevin Stone, PeterAlbert, Amjad Almahairi, Yasmine Babaei, Nikolay
Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti
Bhosale, et al. Llama 2: Open foundation and ﬁnetuned chat models, 2023.
[4] Jared Kaplan, Sam McCandlish, Tom Henighan,
Tom B. Brown, Benjamin Chess, Rewon Child, ScottGray, Alec Radford, Jeﬀrey Wu, and Dario Amodei.
Scaling laws for neural language models, 2020.
[5] Zheng Xin Yong, Hailey Schoelkopf, Niklas Muennighoﬀ, Alham Fikri Aji, David Ifeoluwa Adelani,
Khalid Almubarak, M Saiful Bari, Lintang Sutawika,
Jungo Kasai, Ahmed Baruwa, , et al. BLOOM+1:
Adding language support to BLOOM for zero-shot
prompting. In Anna Rogers, Jordan Boyd-Graber, andNaoaki Okazaki, editors, Proceedings of the 61st

[11]

2022. Association for Computational Linguistics.
Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong,and Furu Wei. Adapt-and-Distill: Developing Small,Fast and Eﬀective Pretrained Language Models for Domains. In Chengqing Zong, Fei Xia, Wenjie Li, andRoberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP
2021, pp. 460–470, Online, August 2021. Association[12]

for Computational Linguistics.
Hirotaka Tanaka and Hiroyuki Shinnou. Vocabulary
expansion of compound words for domain adaptationof bert. In Proceedings of the 36th Paciﬁc Asia
Conference on Language, Information and Computation, pp. 379–387, 2022.

[13]

[14]

Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.

11682–11703, Toronto, Canada, July 2023. Association for Computational Linguistics.
[6] Zihan Wang, Karthikeyan K, Stephen Mayhew, andDan Roth. Extending multilingual BERT to lowresource languages. In Trevor Cohn, Yulan He, andYang Liu, editors, Findings of the Association
for Computational Linguistics: EMNLP 2020, pp.
2649–2656, Online, November 2020. Association for
Computational Linguistics.
[7] elyza. elyza/elyza-japanese-llama-2-7b · hugging
face, 2023.
https://huggingface.co/elyza/
ELYZA-japanese-Llama-2-7b.
[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep
bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar
Solorio, editors, Proceedings of the 2019 Con-2021. Association for Computational Linguistics.
Arata Suganami and Hiroyuki Shinnou. Constructionof Japanese BERT with ﬁxed token embeddings. InShirley Dita, Arlene Trillanes, and Rochelle Irene Lucas, editors, Proceedings of the 36th Paciﬁc Asia

照乃梶浦, 美唯佐藤, 菜生相馬, 舞衣高橋, 百々雅
小原, 君郎倉光. 多言語事前学習済みモデル mt5への python 言語モデルの追加学習. 情報処理学会論文誌プログラミング（PRO）, Vol. 16, No. 2,pp. 29–29, 06 2023.
Wenlin Chen, David Grangier, and Michael Auli.
Strategies for Training Large Vocabulary Neural Language Models. In Katrin Erk and Noah A. Smith,editors, Proceedings of the 54th Annual Meetingof the Association for Computational Linguistics(Volume 1: Long Papers), pp. 1975–1985, Berlin,

[15]

[16]

Germany, August 2016. Association for Computational Linguistics.
中島大, 野崎雄太, 佐藤諒, 麻場直喜, 川村晋太郎,(in press). BPE を用いたトークナイザーの性能に対する, 言語・語彙数・データセットの影響. 言語処理学会 第 30 回年次大会 発表論文, 2024.
麻場直喜, 野崎雄太, 中島大, 佐藤諒, 池田純一, 伊藤真也, 近藤宏, 小川武士, 坂井昭一朗, 川村晋太郎 press). 語彙置換継続事前学習による日英バイリンガルモデルの構築と評価. 言語処理学会 第30 回年次大会 発表論文, 2024.

ference of the North American Chapter of theAssociation for Computational Linguistics: Human Language Technologies, Volume 1 (Longand Short Papers), pp. 4171–4186, Minneapolis,Minnesota, June 2019. Association for ComputationalLinguistics.
[9] Jonas Pfeiﬀer, Ivan Vulić, Iryna Gurevych, and Sebastian Ruder. UNKs everywhere: Adapting multilingual language models to new scripts. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, andScott Wen-tau Yih, editors, Proceedings of the2021 Conference on Empirical Methods in Natural Language Processing, pp. 10186–10203, On-line and Punta Cana, Dominican Republic, November― 324 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).