言語処理学会 第30回年次大会 発表論文集（2024年3月）

低頻度語彙埋め込みの縮約による事前学習済みモデルの圧縮
田村 鴻希 1
吉永 直樹 2
根石 将人 1
1 東京大学大学院情報理工学系研究科
2 東京大学 生産技術研究所
1 {tamura-k, neishi}@tkl.iis.u-tokyo.ac.jp
2 ynaga@iis.u-tokyo.ac.jp
目的タスクの学習データ

概要

1

📄

事前学習済みモデル

既存の事前学習済みモデルの軽量化手法は中間層の圧縮を行うもので，さらなる圧縮には埋め込み層の圧縮が必要となる．本研究では，低頻度語彙の埋め込みを高頻度語彙を用いて縮約表現することで微調整後の事前学習済みモデルの埋め込み層を圧縮する手法を提案する．JNLI，JSTS，JCoLA のJGLUE の各タスクで微調整した事前学習済みモデ
ル DistillBERT に提案手法を適用した結果，それぞれ 3 割程度のパラメタの削減を達成した．

中間層

fine-tuning

埋め込み層

頻度フィルタリング出版
書籍

埋め込み層出版
書籍販売

中間層出版

自然言語処理で標準的に用いられる事前学習済み
モデルは，モデルサイズ（パラメタ数）およびその学習（データサイズ）を大規模化することで単調に性能が改善する [1] ことから，近年，肥大化の一途を辿っている．これらのモデルをスマートフォンのような計算資源の限られる環境でも扱うためには，計算量，メモリ使用量の両面でモデルを軽量化することが重要になる．
これに対して，量子化，枝刈り，知識蒸留など，様々なモデル圧縮手法 [2] が研究されているが，これらの多くはモデルの中間層を軽量化するものであり，圧縮されたモデルをさらに小さくするためには入出力層（語彙埋め込み）の軽量化が重要となる．
事前学習済みモデルの語彙 [3, 4, 5] は，事前学習時の学習データに対して最適化されているため，単語分布の異なる下流タスクのドメインには出現しない語彙や低頻度となる語彙が含まれる．これらの低頻度語彙の下流タスクの推論への影響は少ないと予想され，単純に削除することも可能ではあるが，一定以上語彙を圧縮しようとすると，単純な削除では性能低下を避けることが難しい．
本研究では，下流タスクの学習データで微調整済
みの事前学習済みモデルを対象に，推論への影響が少ないと期待できる，下流タスクの学習データで低中間層

販売

販売

はじめに微調整済みモデル

書籍

埋め込みを近似する
重みの探索

出版
重みでの縮約表現による埋め込みの構成

埋め込み層

埋め込み層が縮約されたモデル

図 1 事前学習済みモデルの低頻度語彙を対象とした縮約表現 (k=2)．モデルは縮約表現された語彙自体は保存せず，埋め込みを再構成するための重みと対応する語彙のID を保存する．

頻度となる語彙の埋め込みを高頻度語彙の埋め込で縮約表現することで，推論への影響を抑えて語彙埋め込みを圧縮する．具体的にはまず，下流タスクの学習データを圧縮対象の事前学習済みモデルのトークナイザでトークン化し，各語彙の頻度を数える．次に，圧縮の目標とする語彙サイズを超える頻度順位を縮約対象とする低頻度語彙とし，事前学習済みモデルの埋め込み空間内で 𝑘 近傍となる高頻度語彙を検索し，その埋め込みの線形和により，低頻度語彙の埋め込みを縮約表現する（図 1)．
実験では，DistilBERT[6] を対象に，日本語言語理解データセット JGLUE[7] に含まれる下流タスクのデータセット（JNLI, JSTS, JCoLA[8]）を用いて提案手法の有効性を評価した．具体的には，各下流タスクで微調整した DistilBERT に対し，下流タスクの学習データに出現する語彙サイズを超える頻度順位の語彙を縮約表現したときの性能低下を評価した．

― 2698 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

みを計算する手法を提案している．Sato ら [16] は，関連研究

2

Sakuma らの手法を機械翻訳のドメイン適応に応用

本節では，言語モデルを一から学習する際の語彙し，目的ドメインでの微調整前に学習済みモデルの獲得手法，および学習済みモデルの語彙を目的ドメ

語彙を目的ドメインの語彙に切り替える手法を提案

インに適応させる手法について説明する．

している．Kajiura ら [17] は，事前学習済みモデル

2.1の語彙の一部を，下流タスクでの微調整前にそのタ語彙獲得

スクに頻出する語彙と入れ替える手法を提案していByte-Pair Encoding (BPE) [4] やユニグラム言語モる．Dobler ら [18] は多言語モデルを単言語用に追加

デル [3] など既存のサブワード語彙の獲得手法では，学習する際に，下流タスクの学習データから語彙埋予め定めた語彙サイズ1）となるように大規模な学習め込みを再構成する手法を提案している．これらのデータからトークナイザを学習し，学習データを分研究もやはり，語彙の最適化に主眼があり，学習済割することで語彙集合を得る．これに対して，Xu

みモデルの語彙埋め込みの圧縮は行なっていない．

ら [9] は決定的に定めた語彙サイズが必ずしも最適提案手法とはならないことを指摘し，最適輸送を用いること

3で，BPE で生成された語彙候補からモデルに最適な語彙サイズと，サイズに合った語彙を選択する手法

本研究では，下流タスクで微調整した事前学習済
みモデルを圧縮するため，語彙埋め込みを縮約表現を提案した．これらの手法はモデルの学習前に語彙する手法を提案する．具体的には，事前学習済みモ集合を獲得するための手法であり，事前学習済みモデルの語彙 𝑉 を縮約対象とする語彙 𝑉𝐿 とその他のデルの語彙を変更する用途には使えない．Hiraoka

語彙 𝑉𝐻 = 𝑉 − 𝑉𝐿 に分け，前者の埋め込みを後者のら [10] は最適な語彙が個別のタスクに依存しうるこ

埋め込みの重み付き線形和で縮約表現することで代とを指摘し，下流タスクでの学習 (微調整) 時にタス替とし，𝑉𝐿 の埋め込みをモデルから破棄することクの損失を考慮して語彙を最適化する手法を提案しでモデルのパラメタ数を削減する．ているが，これは語彙の圧縮を目的とするものではない．

本研究では，埋め込みの近似にあたって 𝑘 語の語彙の重み付き線形和を用いるため，モデルが直接埋一方で，サブワードより短い文字 [11, 12] やバイめ込みを保持する語彙は 𝑉𝐻 のみである．𝑉𝐿 につト [13, 14] を入力単位とするモデルも提案されておいては線形和を構成する語彙の ID と重みのペア 𝑘

り，バイトを入出力単位とする事前学習済みモデル対を保存する．そのため，モデルの語彙埋め込みに[13] も存在する．このように極端に短いトークンに必要となるパラメタ数は，𝑉𝐿 の埋め込みの次元数を基づくモデルは入力のトークン長が長くなるため，推論速度の低下に繋がることから実用性を欠く．ま𝑑 として, 𝑑 > 2𝑘 のとき，(𝑑 − 2𝑘)|𝑉𝐿 | 削減される．

た，語彙が持つ情報量の低下を補うため，中間層を深くする必要があることが報告 [13] されており，中間層の軽量化が難しいと予想される．

2.2

3.1

縮約対象とする語彙の選別

縮約表現は近似であるため，縮約による影響を小さくする2）ためには，縮約対象とする語彙を適切に選択する必要がある．本研究では，下流タスクの学

語彙適応習データにおける出現頻度に基づき縮約対象とす

また，本研究と関連する分野として，学習済みる語彙を決定する．具体的には，𝑉 の全ての語彙 𝑡 𝑖

モデルを他の言語やドメインに適応するために，について，トークン化された下流タスクの学習デー

語 彙 に 注 目 し て そ の 埋 め 込 み を 再 構 成す る 研 究タでの出現頻度 𝑓𝑖 を記録する．その後，頻度降順[15, 16, 17, 18] が存在する．Sakuma ら [15] は，多言で並べ替えたのち，モデルが定める特殊トークンの語モデルにおいて，原言語の下流タスクのデータ集合 𝑉𝑠 𝑝 = {<mask>, <sep>, <unk>, ...} を除いたものをを用いて学習したモデルを目的言語で活用するた

𝑉 ′ から，頻度順位で上位 𝑟 語を，縮約に用いる語彙

め，多言語埋め込み空間で近接する原言語の単語埋

𝑉𝐻 = {𝑡𝑖′ ∈ 𝑉 ′ |𝑖 < 𝑟 }(|𝑉𝐻 | = 𝑟) とし，その他の低頻度め込みとの位置関係に基づき，原言語のタスク特化
単語埋め込み空間における目的言語の単語埋め込
1） BPE では厳密にはトークンのマージ回数

語彙 𝑉𝐿 = {𝑡𝑖′ ∈ 𝑉 ′ |𝑖 ≥ 𝑟 } を縮約対象とする．

2） 単純に，全語彙を縮約表現により再構成した場合，下流タスクでの性能低下が大きいことが報告 [19] されている．

― 2699 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

モデルでの埋め込み 𝑋𝑖tuned と求めた重み 𝛼𝑖 との重み付け平均3）を用いて算出された 𝑌ˆ tuned として再構

低頻度語彙埋め込みの縮約

3.2𝑖

埋め込みの縮約によるモデルの圧縮効果を最大限成される．また，元の埋め込み空間 𝑌 tuned は不要と発揮するには，埋め込みの次元数 𝑑 に対して，縮約なるため，これの破棄によりパラメタを削減する．に用いるパラメタ数 2𝑘 を十分小さく取ることが望ましい．また，縮約対象となる低頻度語の多くは，実験

4

下流タスクの学習データで一度も観測されないゼ提案手法による微調整済みモデルの推論性能へのロ頻度の語彙である．そこで，これらの語彙に対し影響を確かめるため，提案手法を適用したモデルて，よりよい埋め込みを縮約表現で与えることをと，語彙圧縮前のモデルとの性能差を比較する．語

狙って，本研究では Sakuma ら [15] が提案する局所

彙圧縮のベースラインとしては，縮約対象の語彙線型写像 (LLM) を用いて低頻度語彙 𝑉𝐿 の各埋め込を<unk>に置換する手法を用いる．また，提案手法

みの構成を行う．

は低頻度語彙を対象とすることから，評価データの𝑉𝐿 ，𝑉𝐻 中の各語彙の事前学習済みモデルでの埋中には縮約対象の語彙が出現しない事例も多いた

め込み集合を 𝑌 pre ，𝑋 pre ，微調整済みモデルでの埋め，全評価データを用いた評価に加えて，縮約対象の語彙が出現する事例のみでも実験を行う．

め込み集合を 𝑌 tuned ，𝑋 tuned と定義する．微調整タス
クの訓練データに直接分割として出現する語彙を𝑉train として，𝑉 ′ 中の語彙の頻度順位が 𝑟 (𝑡𝑖′ ) > |𝑉train |を満たすゼロ頻度語彙では，定義した 𝑌 pre の各埋め

pre込み 𝑌𝑖 について，𝑋 pre のうちコサイン類似度でのprepre
上位 𝑘 個の最近傍語彙の集合 N𝑖 ，および 𝑋𝑖 から
pre
𝑌𝑖 を近似するための重み 𝜶𝑖 を求める．近似構成によって得られる埋め込み集合 𝑌ˆ tuned の各埋め込み

4.1

実験設定

データセット

提案手法によって縮約された語彙

埋め込みがモデルの推論性能に与える影響を確かめるため，日本語言語理解データセット JGLUE から，JNLI，JSTS，JCoLA の 3 タスクのデータセットを用いる．それぞれ，JNLI は 2 文の間の含意関係を，𝑌ˆ𝑖tuned は，微調整済みモデルでの埋め込み集合 𝑋 tunedÍによっての 𝜶𝑖 による重み付け計算 𝑗 ∈ 𝑁 pre 𝜶𝑖 𝑗 𝑋 tuned
𝑗𝑖′構成される．また，頻度順位が 𝑟 (𝑡𝑖 ) ≤ |𝑉train | を満たす低頻度語彙では，𝑋 pre ではなく 𝑋 tuned から同様のJSTS は 2 つの文の意味的な類似度を，JCoLA は文手順で 𝑌𝑖tuned を近似する．

LINE-distilbert4）を 用 い，こ れ を 前 述 の 3 タ ス ク での容認性の可否を推定するタスクである．
事前学習済みモデル

実験では，事前学習済みモデルには LINE ヤフー社により提供されている埋め込みの構成に用いる重み 𝜶𝑖 の微調整したモデルを対象として提案手法，およびpre計算手法を述べる．LLM では，𝑋𝑖 との重み付け平pre
均で 𝑌𝑖 を最もよく近似するときのベースライン手法で語彙埋め込みの縮約を行い，元の語彙埋め込みを持つモデルと各タスクでの推重みの計算

𝛼ˆ 𝑖 = arg min𝜶𝑖preを，𝑌𝑖preと 𝑋𝑖pre𝑌𝑖 −Õpre𝑗 ∈ N𝑖論性能を比較する．モデルのパラメタ数は 68M で2あり，また語彙サイズは |𝑉 | = 32768 で，語彙埋め

pre𝜶𝑖 𝑗 𝑋 𝑗

込みのパラメタは 25M であり全体の 36.6%を占めを用いたラグランジュの未定乗数法

によって

Í

サブワード単位のトークンに分割する．なお，各タスクでのモデルの微調整では，学習率を 5e-5 としてをpre

prepre− 𝑋 𝑗 ) · (𝑌𝑖4 エポックの訓練を行った．

pre− 𝑋𝑙 )ハイパーパラメタ

preの 下 で 求 め る こ と で 解 く（𝑙 ∈ N𝑖 ）．そ の 他 の𝑟 (𝑡𝑖′ ) ≤ |𝑉train | の語彙では，𝑋 pre の代わりに 𝑋 tuned を用いて近似の重みを得る．
推論への適応た文章を unidic-lite 辞書を用いた MeCab で分割後，SentencePiece を用いてユニグラム言語モデルによる−1𝑙 (𝐶 ) 𝑗𝑙
𝛼ˆ 𝑖 𝑗 = Í Í 𝑖 −1𝑗 𝑙 (𝐶𝑖 ) 𝑗𝑙

𝐶𝑖 𝑗𝑙 = (𝑌𝑖る．モデルのトークナイザは，モデルに入力され推論時には微調整済みモデルの𝑉𝐿 の各語彙の埋め込みは，𝑘 近傍語彙の微調整済み

低頻度語彙の基準順位 𝑟 には，各タスクの訓練データに分割として直接出現|する語彙の大きさ |𝑉train |，および |𝑉trainの 2 通りを2設定した．前者では訓練データに分割として出現Í
3） 𝛼ˆ 𝑖 は， 𝑗 𝛼𝑖 = 1 を満たす
4） https://huggingface.co/line-corporation/line-distilbert-base-japanese― 2700 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1LINE-distilbert での提案手法の実験結果 (𝑟 = |𝑉𝑡𝑟 𝑎𝑖𝑛 |)．
全データセット
JNLI

JSTS

JCoLA

JNLI

JSTS

JCoLA

(4427)(4687)(3558)(4427)(4687)(3558)

<unk>
𝑘=1
𝑘=2
𝑘=3

87.55
87.63
87.66
87.63

83.62
83.60
83.61
83.64

76.50
76.88
77.34
77.67

87.58
88.39
88.75
88.39

85.58
85.48
85.39
85.75

75.05
75.97
77.10
77.88

original (|𝑉 | = 32768)

87.67

83.70

77.90

88.93

86.41

78.49

|
表 3 𝑟 = |𝑉train
での，全データセットでの実験結果．
2

表 2 提案手法適用時のモデルのパラメタ数．

𝑟JNLI|𝑉train ||𝑉train |2

置換トークンあり

JSTS

JCoLA

47M (69%)

47M (70%)

47M (68%)

46M (67%)

46M (67%)

45M (66%)

しない語彙が，後者では学習文書に出現する語彙|𝑉train |
2JNLI

JSTS

JCoLA(2213)(2343)(1779)

<unk>
𝑘=1
𝑘=2
𝑘=3

73.87
85.03
84.84
85.07

76.21
80.42
79.92
80.43

69.38
73.11
73.81
73.95のうち下位 50%が 𝑉𝐿 として扱われる．本実験の設場合の性能差が 𝑟 = |𝑉train | に比べて大きいことから，

定では，JNLI，JSTS，JCoLA の |𝑉train | は，それぞれ提案手法は学習時に出現したトークンに対しても有4427，4687，3558 であった．また，𝑟 = |𝑉train | とする効な近似埋め込みを構成しているといえる．

設定では，トークンの構成に用いる埋め込みの数 𝑘は {1,2,3} のそれぞれで実験を行った．

4.2

用いる埋め込みの数による影響

実験では，用いる近傍埋め込みの数 𝑘 を 1 から 3 まで変化させたが，𝑘 が大きいほど近傍トークンは置き換えるトー結果と考察
表 1 に，𝑟 = |𝑉train | の設定での推クンをよく近似する．しかし，𝑟 = |𝑉train | の JNLI では 𝑘 = 3 ではなく 𝑘 = 2 の方が性能が高いように，𝑘論精度を示す．提案手法は JSTS での 𝑘 = 1, 2 を除が大きいほどよい埋め込みを構成するとは限らな

き，𝑉𝐿 の全てのトークンを <unk> トークンに置き換え流手法を精度で上回った．このことから，提案手過程で近い語彙埋め込みの間の意味の違いを判別法によって構成される語彙埋め込みの有効性が確認し，出力埋め込みでは離れた表現とすることが考えできた．ただし，提案手法によって構成した語彙埋られる．

縮約表現の効果‌‌

め込みを用いることで元のモデルを精度で上回ることはなく，提案手法は元の埋め込みに学習された表現を完全に代替するものとはなっていない．

い．この原因としては，モデルが中間層での計算のまとめ

5

本研究では，微調整済み言語モデルの語彙圧縮を𝑘 = 3 で提案手法を適用した，目的として，高頻度語彙の埋め込みを用いて低頻度各タスクのモデルのパラメタ数と元のモデルから語彙埋め込みを縮約表現する手法を提案した．提案の割合を表 2 に示す．表より，本実験の設定では，手法では，低頻度語彙の埋め込みを，事前学習済み

𝑟 = |𝑉train | の条件下で，3 つのタスクのそれぞれで 3モデルの語彙空間における近傍の高頻度語彙の埋割程度のパラメタを削減する．

め込みの重み付け線形和によって近似する．実験では，本手法で埋め込みを置き換えたモデルを用いて語彙削減の効果|
で，近傍に用いる語彙の数による影響 𝑟 = |𝑉train
2𝑟 = |𝑉train | と同様に推論を行った結果を表 3 に示す．

JGLUE データセット上で推論を行い，事前学習済み

表より，全ての設定において推論性能は 𝑟 = |𝑉train |の <unk> トークンによる置き換えを下回っており，モデル DistilBERT に対して 3 割程度のパラメタの削減，および <unk> トークンと比較して性能の高い埋学習時に直接出現したトークンの埋め込みが各タスめ込みを近似した．

‌‌

クに与える影響はその他のトークンの表現が及ぼす影響に比べて強いことを確認した．また，近傍トー‌‌

今後の課題として，下流タスクでの微調整時に同時に語彙を縮約する手法を検討する．

クンを利用する場合と <unk> トークンに置き換える‌‌― 2701 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は東京大学生産技術研究所特別研究経費[11] Jonathan H. Clark, Dan Garrette, Iulia Turc, and John Wieting. Canine : Pre-training an Eﬃcient TokenizationFree Encoder for Language Representation. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 73–91, January 2022.

および JSPS 科研費 JP21H03494 の助成を受けています．

参考文献[1] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B.
Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec
Radford, Jeﬀrey Wu, and Dario Amodei. Scaling laws forneural language models, 2020.
[2] Yu Cheng, Duo Wang, Pan Zhou, and Tao Zhang. Modelcompression and acceleration for deep neural networks:The principles, progress, and challenges. IEEE Signal
Processing Magazine, Vol. 35, No. 1, pp. 126–136,2018.
[3] Taku Kudo. Subword Regularization: Improving NeuralNetwork Translation Models with Multiple Subword Candidates. In Proceedings of the 56th Annual Meeting of
the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66–75, Melbourne, Australia,July 2018. Association for Computational Linguistics.
[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword
Units. In Proceedings of the 54th Annual Meeting of
the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715–1725, Berlin, Germany,August 2016. Association for Computational Linguistics.
[5] Mike Schuster and Kaisuke Nakajima. Japanese and Korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), pp. 5149–5152, March 2012.

[6] Victor Sanh, Lysandre Debut, Julien Chaumond, andThomas Wolf. DistilBERT, a distilled version of BERT:Smaller, faster, cheaper and lighter, February 2020.
[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.
2957–2966, Marseille, France, June 2022. European Language Resources Association.
[8] Taiga Someya, Yushi Sugimoto, and Yohei Oseki. Jcola:Japanese corpus of linguistic acceptability. 2023.
[9] Jingjing Xu, Hao Zhou, Chun Gan, Zaixiang Zheng, andLei Li. Vocabulary Learning via Optimal Transport for
Neural Machine Translation. In Proceedings of the59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint
Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7361–7373, Online, August2021. Association for Computational Linguistics.
[10] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi
Keyaki, and Naoaki Okazaki. Optimizing Word Segmentation for Downstream Task. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp.
1341–1351, Online, January 2020. Association for Computational Linguistics.

[12] Yi Tay, Vinh Q. Tran, Sebastian Ruder, Jai Gupta,Hyung Won Chung, Dara Bahri, Zhen Qin, Simon Baumgartner, Cong Yu, and Donald Metzler. Charformer: Fast
Character Transformers via Gradient-based Subword Tokenization, February 2022.
[13] Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou,Sharan Narang, Mihir Kale, Adam Roberts, and Colin Raffel. ByT5: Towards a Token-Free Future with Pre-trained
Byte-to-Byte Models. Transactions of the Association
for Computational Linguistics, Vol. 10, pp. 291–306,2022.
[14] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. Neural Machine Translation with Byte-Level Subwords. Proceedings of the AAAI Conference on Artiﬁcial Intelligence, Vol. 34, No. 05, pp. 9154–9160, April 2020.

[15] Jin Sakuma and Naoki Yoshinaga. Multilingual ModelUsing Cross-Task Embedding Projection. In Mohit
Bansal and Aline Villavicencio, editors, Proceedingsof the 23rd Conference on Computational NaturalLanguage Learning (CoNLL), pp. 22–32, Hong Kong,China, January 2019. Association for Computational Linguistics.
[16] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary adaptation fordomain adaptation in neural machine translation. In Trevor
Cohn, Yulan He, and Yang Liu, editors, Findings of theAssociation for Computational Linguistics: EMNLP
2020, pp. 4269–4279, Online, November 2020. Associa-tion for Computational Linguistics.
[17] Teruno Kajiura, Shiho Takano, Tatsuya Hiraoka, andKimio Kuramitsu. Vocabulary replacement in sentencepiece for domain adaptation. In Proceedings of the 37th
Paciﬁc Asia Conference on Language, Informationand Computation, 2023.

[18] Konstantin Dobler and Gerard de Melo. FOCUS: Eﬀective Embedding Initialization for Monolingual Specialization of Multilingual Models. In Houda Bouamor, Juan
Pino, and Kalika Bali, editors, Proceedings of the 2023
Conference on Empirical Methods in Natural Language Processing, pp. 13440–13454, Singapore, Febru-ary 2023. Association for Computational Linguistics.
[19] Nobukazu Fukuda, Naoki Yoshinaga, and Masaru Kitsuregawa. Robust Backed-oﬀ Estimation of Out-of-Vocabulary
Embeddings. In Trevor Cohn, Yulan He, and Yang Liu,editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4827–4838, Online, November 2020. Association for Computational Linguistics.

― 2702 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).