言語処理学会 第30回年次大会 発表論文集（2024年3月）

多言語モデルを用いた日英対訳文集合のフィルタリング手法の分析
酒井大樹 1

宇津呂武仁 1

永田昌明 2

1 筑波大学大学院 システム情報工学研究群 2 NTT コミュニケーション科学基礎研究所

s2220746 @u.tsukuba.ac.jp

utsuro @iit.tsukuba.ac.jp

概要
本 論 文 で は，ウ ェ ブ ク ロ ー ル コ ー パ ス で あ る
JParaCrawl-v3 に含まれる不適切な文対を，多言語モデルによるスコアを用いてフィルタリングすることを目指した．事前に異なる文の断片を含む文対応誤りデータを擬似的に作成し，その誤りの検出する様子を 4 つの言語モデルの間で調査した．その結果，Bicleaner-AI と marian-scorer の方が LEALLA，GPT-2よりも正しく誤りを検出する度合いが大きかった．
その後，各モデルを用いて JParaCrawl-v3 のフィルタリングを実行した結果，Bicleaner-AI と marian-scorer
は，フィルタリングにおいても英日方向に有意差を出すことがわかった．

1

はじめにニューラルモデルによる機械翻訳において，モデルの訓練に使用されるデータの品質はモデルが出力する翻訳文の品質に大きな影響を与える．しかしながら，訓練に使用する対訳文集合はウェブクロー
ルによって収集された対訳文集合を使用する場合が多く，これは自動収集という性質上，ノイズとなるデータを一定割合含むために，事前に処理を行うことでその品質を向上させることが必要である．
この問題を解決することを目的として，WMT2018
から WMT2020 までの Parallel Corpus Filtering Task，
WMT2023 の Parallel Data Curation Task が開催されるなど，対訳文集合の品質保証は課題となっている．
対訳文集合のフィルタリングにおいて，最も用いられるスコア付け手法の一つは，多言語文埋め込みモデル LASER [1] であり，これは，WMT2020，2023のベースラインとしても使用されている．
本論文では，WAT2022 で実施された Parallel Corpus
Filtering Task 1）の条件に沿って，日英間で最大規模
1） https://sites.google.com/view/wat-filtering/
previous-task-wat-2022?authuser=0

masaaki.nagata @ntt.comの対訳文集合である JParaCrawl-v3 をフィルタリングすることを目指す．これは多様なドメインデータを含む対訳文集合であるので，ドメイン非依存のモデルを用いて JParaCrawl-v3 をフィルタリングすることを最終目的とする．まず文対応に関する擬似的な誤りデータを作成し，それに対する反応の様子から Bicleaner-AI，marian-scorer，LEALLA，GPT-2スコアの性能を評価した．その結果，Bicleaner-AI，marian-scorer の 2 手 法 が 正 し く 誤 り を 検 出 す る
度 合 い が 大 き か っ た．そ の 後，前 処 理 を 行 っ た
JParaCrawl-v3 の各文に 4 種スコアを与え，それに基づくフィルタリングを行い，フィルタリング後対訳文集合を獲得した．これを用いて評価用機械翻訳モデルを訓練し，テストデータに対する BLEU 値をもとにフィルタリング手法を評価すると，日英方向において Bicleaner-AI と marian-scorer は有意差を示した．4 種スコアを組み合わせた合成スコアに関しても，類似した傾向を示した．

JParaCrawl-v3: ウ ェ ブ か ら 収 集

2された日英対訳文対集合

Morishita ら [2] は，CommonCrawl を 分 析 し て 収
集 し た 対 訳 Web サ イ ト 候 補 と，ク ラ ウ ド ソ ー シ
ングを使って収集した対訳 Web サイト候補からJParaCrawl-v3 を構築した．この文集合は次の 3 段階に分けて構築され，対訳文集合として公開されている．
1. CommonCrawl 内のデータのうち，CLD 2）を用いて日本語，英語が同程度含まれるドメインを特定し，対訳文抽出の候補サイトとする．
2. HTTrack 3）を用いてさらにウェブサイトを収集し，候補サイトに追加した．
3. Bitextor toolkit 4）を用いて，対訳文対を抽出する．
2） https://github.com/CLD2Owners/cld23） http://www.httrack.com/
4） https://github.com/bitextor/bitextor― 53 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

本論文では，上記の方法で構成された，2,500 万文からなる JParaCrawl-v3 に対し，複数の前処理を施

3.3

し 1,600 万文まで削減した JParaCrawl-v3 を用いる．
前処理の詳細は付録に記載する．

3

言語モデルを用いたスコア付け

3.1

Bicleaner-AI

本論文では，最大 2,000 万文対に対してスコア付けを行うにあたり，より短時間で実験を行うために多言語文埋め込みモデル LaBSE [1] の軽量実装版である setu4993/LEALLA-large 7）を用いて文埋め込みベクトルを取得した．このベクトルを 𝐿2 正規化して余弦類似度を計算し、対訳スコアとする．

Bicleaner-AI 5）は公開されている日英翻訳モデルであり，原言語文 𝑥 から目的言語文 𝑦 に翻訳される確

3.4

GPT-2

GPT-2 に よ る 文 ス コ ア と し て，言 語 モ デ ル か率を与えるモデルである．この確率をもとに日英文ら 得 ら れ る Perplexity を 用 い た．日 本 語 モ デ ル と対にスコアを与える．

3.2

LEALLAし て は rinna/japanese-gpt-1b 8），英 語 モ デ ル と し てmarian-scorer

gpt2-large 9）を用いた．

本 論 文 で は Marian [3] を 用 い て ニ ュ ー ラ ル 翻訳モデル 6）を構築し，JParaCrawl-v3 のデータを用

3.5

合成スコア

い て モ デ ル の 訓 練 を 行 っ た．訓 練 デ ー タ と し て

原言語文 𝑥，目的言語文 𝑦 がある時， 3.1 節， 3.2

JParaCrawl-v3 より無作為に抽出した日英 100 万文

節， 3.3 節， 3.4 節のモデルを通して得られるスコ対を利用する．Junczys-Dowmunt [4] の方法に従い，アの和を用いる．すなわち，モデル 𝑥 のスコアを日英と英日の双方向で Transformer ベースの翻訳モ𝑠𝑐𝑜𝑟𝑒(𝑥)，モデル 𝑦 のスコアを 𝑠𝑐𝑜𝑟𝑒(𝑦) としたとき，デルを訓練し，このモデルを用いて文対のスコア

その合成スコアを 𝑆 = 𝑠𝑐𝑜𝑟𝑒(𝑥) + 𝑠𝑐𝑜𝑟𝑒(𝑦) と計算し、付けを行った．具体的には，言語対 (𝑥, 𝑦) があると𝑆 をもとにフィルタリングする．ただし，GPT-2 のき，次の式により dual conditional cross-entropy を計

スコアは値域が異なるため，標準化を行い，平均値算する．

0，分散 1 としてある．

|𝐻 𝐴 (𝑦|𝑥) − 𝐻 𝐵 (𝑥|𝑦)|1+ (𝐻 𝐴 (𝑦|𝑥) + 𝐻 𝐵 (𝑥|𝑦))2

誤訳を混入した擬似データに対する言語モデルの特性の分析

4

ただし，𝐴，𝐵 はそれぞれ日英とその逆方向の翻訳モデルであることを示している．𝐻 𝑀 (·|·) はモデル
M に関する確率分布 𝑃 𝑀 (·|·) による正規化済みの単語の conditional cross-entropy であり，次の式のように表される．𝑥, 𝑦 が逆の場合も同様である．
1𝐻 𝑀 (𝑦|𝑥) = − log 𝑃 𝑀 (𝑦|𝑥)|𝑦||𝑦|
1 ∑= −log 𝑃 𝑀 (𝑦 𝑡 |𝑦 <𝑡 , 𝑥)|𝑦| 𝑡=1

し，それらに対する各言語モデルの反応を分析す
る．正しい対訳では文 𝑥1 ，文 𝑥2 が翻訳として対応していることが期待されるが，自動的に対訳データを収集する際，𝑥1 ，𝑥2 のいずれかの前方または後方に無関係な文の一部が混入してしまうことがある．
この誤りを本論文では文対応誤りと呼び，これを持このスコアは，cross-entropy の絶対値の差を調べる部分 |𝐻 𝐴 (𝑦|𝑥) − 𝐻 𝐵 (𝑥|𝑦)| と，低い cross-entropy に
1
対 す る ペ ナ ル テ ィ 部 分 (𝐻 𝐴 (𝑦|𝑥) + 𝐻 𝐵 (𝑥|𝑦)) の 2
2つからなる．さらに以下の式変形を施してスコアadq(x,y) を得る．これにより値域が [0，1] に収まる．
(adq(x,y) = exp − (|𝐻 𝐴 (𝑦|𝑥) − 𝐻 𝐵 (𝑥|𝑦)|)1+ (𝐻 𝐴 (𝑦|𝑥) + 𝐻 𝐵 (𝑥|𝑦)))25） https://huggingface.co/bitextor/
bicleaner-ai-full-en-ja6） https://marian-nmt.github.io/docs/cmd/marian/

本節では，誤訳のうち文の対応が誤っている例を想定して擬似的に誤訳データを作成する方法を示

つ擬似データを作成する．

4.1

擬似データ作成手順

翻訳として対応する言語 𝐴，言語 𝐵 の文対 𝑥 = (𝑥 𝐴，𝑥 𝐵 )，𝑦 = (𝑦 𝐴，𝑦 𝐵 ) を定義する．続いて，文 𝑦 𝐴，文𝑦 𝐵 から誤り混入用断片 𝑦ℎ𝑒𝑎𝑑 𝐴，𝑦𝑡𝑎𝑖𝑙 𝐴，𝑦ℎ𝑒𝑎𝑑 𝐵 ，𝑦𝑡𝑎𝑖𝑙 𝐵 を作成する．この時，誤り混入用断片は全て
7） https://huggingface.co/setu4993/LEALLA-large8） https://huggingface.co/rinna/japanese-gpt-1b9） https://huggingface.co/gpt2-large― 54 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(a) 言語モデルのスコア (marian-scorer) 差・Perplexity のスコア (GPT-2) 差の分布

図1(b) 言語モデルのスコア (Bicleaner-AI，LEALLA) 差の分布

言語モデルのスコア (GPT2 以外) 差・Perplexity のスコア (GPT-2) 差の分布

表 1 各言語モデルによるフィルタリング性能の比較 (すべて前処理適用済みの 1,600 万文に対するフィルタリング．
*は，無作為抽出 100 万文で訓練したベースライン翻訳モデルとの間で BLEU 値の有意差 ( 𝑝 < 0.05) があることを示す．)
フィルタリング手法

英日

テストデータの種類

ASPEC
13.8

17.1

16.7

14.8

Bicleaner-AI 上位 100 万文

14.6*

17.9*

16.2

15.1

marian-scorer 上位 100 万文

15.5*

18.4*

16.5

14.8

LEALLA 上位 100 万文

13.7

16.3

17.4

14.5

GPT-2 上位 100 万文

12.0

14.2

12.0

9.7

Bicleaner-AI + GPT-2 上位 100 万文

14.4

16.9

15.6

14.3

LEALLA + marian-scorer 上位 100 万文

15.4*

18.1*

17.2

15.2

4.2

言語モデルの適用手順および分析結果

文字長 10 で固定されていて，文 𝑦 𝐴，文 𝑦 𝐵 の文頭お1. 文 𝑥 𝐴 の文頭に 𝑦𝑡𝑎𝑖𝑙 𝐴 を付加し文 𝑥 ℎ𝑒𝑎𝑑𝑒𝑟𝑟𝑜𝑟 𝐴を作成．同様に文 𝑥 𝐵 の文頭に 𝑦𝑡𝑎𝑖𝑙 𝐵 を付加し
文 𝑥 ℎ𝑒𝑎𝑑𝑒𝑟𝑟𝑜𝑟 𝐵 を作成する．
2. 文 𝑥 𝐴 の末尾に 𝑦ℎ𝑒𝑎𝑑 𝐴 を付加し文 𝑥 𝑡𝑎𝑖𝑙𝑒𝑟𝑟𝑜𝑟 𝐴を作成，同様に文 𝑥 𝐵 の末尾に 𝑦ℎ𝑒𝑎𝑑 𝐵 を付加し
文 𝑥 𝑡𝑎𝑖𝑙𝑒𝑟𝑟𝑜𝑟 𝐵 を作成する．

𝑥 𝑡𝑎𝑖𝑙𝑒𝑟𝑟𝑜𝑟=

3 節で示した 4 つの言語モデルが， 4.1 節で作成された擬似データに対し与えるスコアを調べた．誤りを作成する元となった文対 𝑥 = (𝑥 𝐴，𝑥 𝐵 ) に対し，擬似データは 200 文対作成される．この 200 文対のスコアが文対 𝑥 のスコアに対しどれほど変化したのかを調べ，結果を図 1 に記載した．
これによると Bicleaner-AI，marian-scorer は，元の文のスコアが高い場合の文対応誤りに対して反応

以上より，誤りを含む文対=ASPEC WMT22

無作為抽出 100 万文

よび末尾から切り取ったものである．この時，文対応誤りを含む擬似データの作成手順は以下である．

𝑥 ℎ𝑒𝑎𝑑𝑒𝑟𝑟𝑜𝑟

日英WMT22

し，スコアが下落している様子が見られる．一方で，GPT-2 では，元の文の Perplexity が高い場合に(𝑥 ℎ𝑒𝑎𝑑𝑒𝑟𝑟𝑜𝑟 𝐴, 𝑥 ℎ𝑒𝑎𝑑𝑒𝑟𝑟𝑜𝑟 𝐵 )文対応誤りに対して反応し，Perplexity が上昇して(𝑥 𝑡𝑎𝑖𝑙𝑒𝑟𝑟𝑜𝑟 𝐴, 𝑥 𝑡𝑎𝑖𝑙𝑒𝑟𝑟𝑜𝑟 𝐵 )いる様子が見られる．また，GPT-2 の日本語，英語の 2 例を作成した．本論文では，JParaCrawl-v3 からを比較すると，全体的に英語の方が Perplexity の上無作為抽出し人手で適切と判定した文対を使用する．𝑥 を 100 文対，𝑦 を 100 文対用意し，合計 20,000

昇幅が大きく，英語の方が日本語より誤りへの反応がやや鋭いと言える．LEALLA はいずれの傾向も強文対の擬似データを作成した．

く現れることがなかった．スコアが低い文対は元々― 55 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

フィルタリングによる除去対象であるため，スコり，明確な結論を述べることができない．今後 4 種

アが高い場合に対して反応が見られる Bicleaner-AI，類のスコアの内の 2 種類の組み合わせ全 6 通りの内，marian-scorer の 2 手法は，文対応誤りの観点から適残りの Bicleaner-AI と marian-scorer，Bicleaner-AI と切なフィルタリングができていると言える．

LEALLA，LEALLA と GPT-2，marian-scorer と GPT-2

5フィルタリング評価

5.1

評価方法の組を実験する必要がある．

6

関連研究
Bane ら [7] は，Wikipedia から収集した CCMatrix

JParaCrawl-v3 の各文に各言語モデルのスコア付け

データセットを対象として，対訳文のエラーを 10を行い，上位 100 万文を取り出すことでフィルタリ種類に分類することで各種フィルタリングモデル

ング済み対訳文集合を獲得する．このフィルタリンによるフィルタリング効果を調査した．この調査でグの評価のために，同集合を用いて評価用翻訳モデ

は，marian-scorer[3] ツールを用いた Dual conditional

ルを訓練し，テストデータに対する BLEU 値で評

cross-entropy[4] による手法が最も優れていると指摘価する．また，ベースライン翻訳モデルとして，無作為抽出した 100 万文で訓練した翻訳モデルによされている．一方で，この手法は訳抜けの誤訳に対応することができず，そのような誤訳を許容してしる機械翻訳文との間で翻訳精度の有意差検定を行まうフィルタリングをするとも指摘されている．同なった．この検定においては mteval ツール 10）を用時に，多言語モデルによるフィルタリングでは訳抜いブートストラップ法によって行った．

けが防がれているという指摘もなされた．本論文で評価のため，Fairseq ライブラリを用いて Trans-は，これらフィルタリングモデルを組み合わせるこ

former ベースのニューラル機械翻訳モデルを作成しとの有意性を示しており，日英言語対において各手た．パラメータは WAT2022 に従うが，訓練時間の法の欠点を相補できたといえる．

都合上，一部調整している．詳細は付録に記載す

また，WAT2022 の Parallel Corpus Filtering Task でる．フィルタリング済みの 100 万対訳文対を用いては，Feature Decay Algorithm が日英間でベスト [8] でこのモデルの訓練を行い，ASPEC [5] テストデータ，あったが，本論文ではドメイン非依存手法を用いる

WMT22 テストデータを対象として，BLEU 値を算目的があり，同論文の手法は比較しなかった．

出して日英・英日翻訳の翻訳精度の評価を行った．

5.2

7

評価結果

おわりに
本論文では JParaCrawl-v3 に対して，翻訳モデル，表 1 より，全体としてフィルタリングにより有意差が現れるのが英日方向の場合に限定されている言語モデルを用いることで品質の悪い文対をフィルタリングすることを提案した．擬似誤り分析によっのは，JParaCrawl-v3 に元々含まれる日本語文の品質て良い傾向が発見された手法は，後のフィルタリンが低く，無作為抽出した文集合を用いて訓練した翻グでも，無作為抽出した場合と比べて BLEU 値によ訳モデルが生成する日本語文の品質が低いためだる評価で有意差が観測された．また，擬似誤り分析と考えられる．WMT-2023 の oﬃcial results におけるで良い傾向であった手法同士の合成スコアによるSKIM チームの日英翻訳 (2 位) と英日翻訳 (5 位) のフィルタリングでも有意差が観測された．今後は，順位の差も JParaCrawl-v3 から作成した翻訳モデル

擬似誤りデータによる分析範囲を数値誤り，固有名は日本語を生成する能力が低いことを示唆してい詞誤りなどに拡大して，フィルタリング結果との相る [6]．従って，英日翻訳では，本論文で有意差があ関を調べていくことになると思われる．

ると示された Bicleaner-AI や marian-scorer を用いてJParaCrawl-v3 をフィルタリングすることによって，翻訳精度が改善する可能性がある．
また，英日方向で単独でも有意差が現れるのはBicleaner-AI，marian-scorer であった．合成スコアに関しては，有意差が現れる場合と現れない場合があ10） https://github.com/odashi/mteval― 56 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] F. Feng, Y. Yang, D. Cer, N. Arivazhagan, and W. Wang.
Language-agnostic BERT sentence embedding. In Proc.
60th ACL, pp. 878–891, 2022.
[2] M. Morishita, J. Suzuki, and M. Nagata. JParaCrawl: Alarge scale web-based English-Japanese parallel corpus. InProc. 12th LREC, pp. 3603–3609, 2020.
[3] M. Junczys-Dowmunt, R. Grundkiewicz, T. Dwojak,
H. Hoang, K. Heaﬁeld, T. Neckermann, F. Seide, U. Germann, A. F. Aji, N. Bogoychev, A. F. T. Martins, andA. Birch. Marian: Fast neural machine translation in C++.
In Proc. 56th ACL, System Demonstrations, pp. 116–121, 2018.
[4] M. Junczys-Dowmunt. Dual conditional cross-entropy ﬁltering of noisy parallel corpora. In Proc. 3rd WMT, pp.
888–895, 2018.
[5] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama,
E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian
scientiﬁc paper excerpt corpus. In Proc. 10th LREC, pp.
2204–2208, 2016.
[6] Tom Kocmi, Eleftherios Avramidis, Rachel Bawden, OndřejBojar, Anton Dvorkovich, Christian Federmann, MarkFishel, Markus Freitag, Thamme Gowda, Roman Grundkiewicz, Barry Haddow, Philipp Koehn, Benjamin Marie,Christof Monz, Makoto Morishita, Kenton Murray, Makoto
Nagata, Toshiaki Nakazawa, Martin Popel, Maja Popović,and Mariya Shmatova. Findings of the 2023 conferenceon machine translation (WMT23): LLMs are here but notquite there yet. In Philipp Koehn, Barry Haddow, TomKocmi, and Christof Monz, editors, Proceedings of theEighth Conference on Machine Translation, pp. 1–42,
Singapore, December 2023. Association for Computational
Linguistics.
[7] F. Bane, C. S. Uguet, W. Stribiżew, and A. Zaretskaya. A
comparison of data ﬁltering methods for neural machinetranslation. In Proc. 15th AMTA (Vol. 2: Users andProviders Track and Government Track), pp. 313–325,2022.
[8] A. Poncelas, J. Eﬀendi, O. Htun, S. Yadav, D. Wang, andS. Jain. Rakuten’s participation in WAT 2022: Parallel
dataset ﬁltering by leveraging vocabulary heterogeneity. InProc. 9th WAT, pp. 68–72, Gyeongju, Republic of Korea,
2022.

― 57 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

前処理A

The cones are covered withthyroid ﬂakesthat

英語

本付録では，JParaCrawl-v3 に対し，取り除く理由

hide plant seeds.

が明らかな文対をフィルタリングする方法について述べる．JParaCrawl-v3 を母集団 𝐴 とした時，文対コーンは植物の種を隠す甲状腺日本語𝑛(𝑛 ∈ 𝐴) は全て日本語文 𝑗 𝑎，英語文 𝑒𝑛 の日英文対フレークで覆われています。
がある時，誤り断片を追加した文対応誤り文は以下からなり，次のように表現される．

が作成される．まずベース文対の前方に誤りが付加された 𝑥 ℎ𝑒𝑎𝑑𝑒𝑟𝑟𝑜𝑟 𝐵 の例として，
apid pace. The cones are
英語covered with thyroid ﬂakes

𝑛 ∈ 𝐴, 𝑛 = (𝑒𝑛, 𝑗 𝑎)

A.1

that hide plant seeds.

言語 ID

高を増加させました。コーンは言語 ID とは，fasttext 11）の言語判定モデル 12）を用いて推定される文の言語の種類によるフィルタリン
グを言う．JParaCrawl-v3 は英語文，日本語文の順序で配置されているので，この構造を利用して英日それぞれの言語 ID が合っていない文対を取り除く．

A.2

トークン数の上限

日本語

植物の種を隠す甲状腺フレークで覆われています。
次 に，ベ ー ス 文 対 の 後 方 に 誤 り が 付 加 さ れ た
𝑥 𝑡𝑎𝑖𝑙𝑒𝑟𝑟𝑜𝑟 𝐵 の例として，
The cones are covered with
英語
thyroid ﬂakes thathide plant seeds. Foreign re
コーンは植物の種を隠す

語彙サイズを 32,000，JParaCrawl-v3 全体を学習
日本語データとして訓練を行った sentencepiece 13）により，ています。その上で、速いペースこの様に作成され，1 つのベース文対から 2 種類日本語文、英語文のトークン分割を行う．この時、集合 𝐴 の各要素 𝑛 に対し，各文を sentencepiece でトークン分割した時，𝑒𝑛，𝑗 𝑎 いずれかに含まれるトークン数が 150 以上である文対を取り除く．

A.3の文対応誤りを含む日英文対を作成される．

C

数字の不一致ある文対 𝑛 = (𝑒𝑛，𝑗 𝑎) それぞれからアラビア数字

甲状腺フレークで覆われ評価用モデルのパラメータ

基本的には WAT2022 の設定 14）に従うが，warm-upupdates，max-update を変更しているを抽出し，ソートしたものを比較し，それが一致す

表2

評価用モデルのパラメータ

る文対のみを採用する．一致条件として，Python プ

パラメータ名値

ログラム上で同じ数字として扱われることで判定をする．

warmup-updates

800

max-update

10000

A.4

重複文対

集合 𝐴 の各要素 𝑛 に対し，𝑛1 = (𝑒𝑛1 ，𝑗 𝑎 1 )，𝑛2 = (𝑒𝑛2，𝑗 𝑎 2 )(𝑛1 , 𝑛2 ∈ 𝐴) な る 文 対 を 2 組 取 り 出 し た 時，
𝑗 𝑎 1 = 𝑗 𝑎 2 となるような文対であれば 𝑛2 を取り除く．

B擬似データの具体例
誤りを含まないベース文対として，

11） https://github.com/facebookresearch/fastText12） https://fasttext.cc/docs/en/
language-identification.html
13） https://github.com/google/sentencepiece14） https://github.com/MorinoseiMorizo/
wat2022-filtering/blob/main/train model big enja.sh― 58 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).