2024/03/22 若手翻訳研究会

Document Alignment based on Overlapping FixedLength Segmentation using Optimal Transport〇王 小天1 宇津呂 武仁1 永田 昌明2
1. 筑波大学 システム情報工学研究群 自然言語処理研究室
2. NTTコミュニケーション科学基礎研究所
1

目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ2目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ3

研究背景◆ウェブクロールデータ• 機械翻訳に関する研究では、ウェブクローリングした多言語データを利用して、パラレルコーパスを構築することが非常に重要• 代表的には、ParaCrawl Dataset (Bañón et al., ACL 2020)、JParaCrawl Dataset(Morishita et al., LREC 2022)など• ウェブクロールデータの作成手順：クローリング、テキスト抽出、
二言語間の文書対応付け、二言語間の文対応付け、文ペアのフィルタリング

4

研究背景
◆二言語間の文書対応付け◼ 定義
異なる文書集合の中でお互いに対訳になっている文書を結びつけること◼ 目的
ウェブクロールから取得した多言語の文書に対して、対訳コーパスを作るために、文書の二言語間対応関係を作る

5

目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ6

先行研究|機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◆機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)
◼ 手順
…
原言語文書

NMTモデル…

…

翻訳文書

目的言語文書

原言語文書の文単位分割された文を対象
として、目的言語に機械翻訳する

7

先行研究|機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◆機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)
◼ 手順
…

…

…

翻訳文書

目的言語文書NMTモデル

原言語文書

n-gram の tf-idf ベクトルを計算

翻訳文書と目的言語文書のngramを対象としてtf-idfを計算し、各文書に対してtf-idfベ
クトルを生成する…

Cos-simを計算…

8

先行研究|機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◆機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)
◼ 手順
…
原言語文書

…

…

翻訳文書

目的言語文書NMTモデルn-gram の tf-idf ベクトルを計算…

cos-simを計算…

翻訳文書と目的言語文書のtf-idfベクトル間のcosine類似度に基づいて、対応関係を作る

9

先行研究|機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◆機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◼ 対応関係の作成ルール (1-1ルール)• 二言語間文書対の全候補を類似度の高い順に並べ替え、対応先が決まった文書対は削除• 各文書が最大で一つの対応文書しか持たないようにする

並べ替え後の二言語間文書対
日本語文書-342

英語文書-101

日本語文書-12

英語文書-101

日本語文書-5

英語文書-42

日本語文書-342

英語文書-910

先行研究|機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◆機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◼ 対応関係の作成ルール (1-1ルール)• 二言語間文書対の全候補を類似度の高い順に並べ替え、対応先が決まった文書対は削除• 各文書が最大で一つの対応文書しか持たないようにする

並べ替え後の二言語間文書対
日本語文書-342

英語文書-101

日本語文書-12

英語文書-101

日本語文書-5

英語文書-42

日本語文書-342

英語文書-9

対応先が決まった文書対は削除

11

先行研究|機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◆機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)◼ 対応関係の作成ルール (1-1ルール)• 二言語間文書対の全候補を類似度の高い順に並べ替え、対応先が決まった文書対は削除• 各文書が最大で一つの対応文書しか持たないようにする

並べ替え後の二言語間文書対
日本語文書-342

英語文書-101

日本語文書-12

英語文書-101

日本語文書-342

英語文書-101

日本語文書-5

英語文書-42

日本語文書-5

英語文書-42

日本語文書-342

英語文書-9

最終結果

12

先行研究| Sentence Embeddingに基づく二言語間の文書対応付け (Mean Pooling)◆Sentence Embeddingに基づく二言語間の文書対応付け (Mean Pooling)
◼ 手順

…

…
原言語文書

目的言語文書原言語
Sentence Embeddings

目的言語
Sentence Embeddings

原言語文書と目的言語文書の分割された文を対象として、
翻訳文書と目的言語文書のtf-idfのCosine類似度に基づ
事前訓練済み多言語Sentence Embeddingモデルにより、
いて、対応関係を作る
それぞれに文埋め込みに変換
13

先行研究| Sentence Embeddingに基づく二言語間の文書対応付け (Mean Pooling)◆Sentence Embeddingに基づく二言語間の文書対応付け (Mean Pooling)◼ 手順
Mean Pooling

Mean Pooling

正規化

正規化

…
原言語文書

原言語
Sentence Embeddings

原言語
特徴ベクトル

目的言語
特徴ベクトル…
目的言語文書目的言語
Sentence Embeddings

各文書の系列ベクトルをMean
Poolingし、次に正規化
翻訳文書と目的言語文書のtf-idfのCosine類似度に基づして、文書の特徴ベクトルを取得する
いて、対応関係を作る
14

先行研究| Sentence Embeddingに基づく二言語間の文書対応付け (Mean Pooling)◆Sentence Embeddingに基づく二言語間の文書対応付け (Mean Pooling)◼ 手順
Mean Pooling

Mean Pooling

正規化

正規化

…
原言語文書

原言語
Sentence Embeddings

原言語
特徴ベクトル

目的言語
特徴ベクトル…
目的言語文書目的言語
Sentence Embeddings

cos-simを計算

原言語文書と目的言語文書間の特徴ベクトルのcosine類似度に基づいて、対応関係を作る (1-1ルールに従う)
15

先行研究| Sentence Embeddingに基づく二言語間の文書対応付け (Optimal Transport)◆Sentence Embeddingに基づく二言語間の文書対応付け (Optimal Transport)(Clark et al., ACL 2019; El-Kishky and Guzmán, AACL 2020)◼手順
1. 原言語文書と目的言語文書に対して、事前訓練済み多言語Sentence

Embeddingモデルで、それぞれの系列ベクトルを生成する
2. Sentence-Levelの文書間の最適輸送距離 (Optimal Transport Distance)、
Sentence Mover’s Distance (SMD)を計算する(最適輸送距離 (OT)の計算方式は次スライド)16

先行研究| Sentence Embeddingに基づく二言語間の文書対応付け (Optimal Transport)◆Sentence Embeddingに基づく二言語間の文書対応付け (Optimal Transport)(Clark et al., ACL 2019; El-Kishky and Guzmán, AACL 2020)◼ OTの計算方式𝑛min ෍ ෍ 𝑇𝑖𝑗 𝑐(𝑖, 𝑗)
𝑇≥0• あるドキュメントDoc A, Doc B• Doc A の 𝑠𝑖 の重みは 𝑑𝐴,𝑖 とする

𝑚

𝑖=1 𝑗=1𝑚

目標関数：• Doc B の 𝑠′𝑗 の重みは 𝑑𝐵,𝑗 とする

෍ 𝑇𝑖𝑗 = 𝑑𝐴,𝑖Subject to:𝑗=1𝑛• 𝒄(𝒊, 𝒋)は 𝒔𝒊 のEmbeddingと 𝒔′𝒋 の Embedding の距離෍ 𝑇𝑖𝑗 = 𝑑𝐵,𝑗

• 𝑇𝑖𝑗 の i 行目の和は𝑑𝐴,𝑖 、j 列目の和は𝑑𝐵,𝑗 が条件として、最小のσ𝑛𝑖,𝑗=1 𝑇𝑖𝑗 𝑐(𝑖, 𝑗) を見つけるのが目的

i=1•見つかった minimum σ𝑛𝑖,𝑗=1 𝑇𝑖𝑗 𝑐(𝑖, 𝑗) が最終の文間の最適
輸送距離• 重み付け方式の候補は右記

重み付け方式•

文頻度による重み•

文長による重み•

IDFによる重み•

文長、IDFによる重み

17

目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ18

提案手法| Sentence Embeddingに基づく二言語間の文書対応付け◆提案手法：Sentence Embeddingに基づく二言語間の文書対応付け
1. ２特徴ベクトルによる文書対応➢ Mean Poolingベクトルを利用するだけではなく、文書の系列ベクトルの中の第１文ベクトルも使用➢ 文書間の類似度を計算する際に、第１文ベクトルとMean Poolingベクトルの間の類似度をそれぞれに計算して、それらに重みを与えて合計する

2. Overlapping Fixed-Length Segmentation (OFLS)による文書対応➢ 文単位分割ではなく、固定長 L の Sliding Window で、
ウェブクロールされた文書を重複ありの Segments に分割する➢ OFLSをもとに、言語の影響を考慮して、原言語文書と目的言語文書を異なる固定長(言語間で一定の比率)で分割する (Language-Pair Dependent OFLS, LD-OFLS)➢ 従来手法・提案手法において、「文単位分割」と「OFLS」の性能を比較する

19

提案手法| Sentence Embeddingに基づく二言語間の文書対応付け◆提案手法：Sentence Embeddingに基づく二言語間の文書対応付け
1. ２特徴ベクトルによる文書対応➢ Mean Poolingベクトルを利用するだけではなく、文書の系列ベクトルの中の第１文ベクトルも使用➢ 文書間の類似度を計算する際に、第１文ベクトルとMean Poolingベクトルの間の類似度をそれぞれに計算して、それらに重みを与えて合計する

2. Overlapping Fixed-Length Segmentation (OFLS)による文書対応➢ 文単位分割ではなく、固定長 L の Sliding Window で、
ウェブクロールされた文書を重複ありの Segments に分割する➢ OFLSをもとに、言語の影響を考慮して、原言語文書と目的言語文書を異なる固定長(言語間で一定の比率)で分割する (Language-Pair Dependent OFLS, LD-OFLS)➢ 従来手法・提案手法において、「文単位分割」と「OFLS」の性能を比較する

20

提案手法| Sentence Embeddingに基づく二言語間の文書対応付け (2特徴ベクトル)◆Sentence Embeddingに基づく二言語間の文書対応付け (２特徴ベクトル)
◼ 手順

…

…
原言語文書

目的言語文書原言語
Sentence Embeddings

目的言語
Sentence Embeddings

翻訳文書と目的言語文書のtf-idfのCosine類似度に基づ
原言語文書と目的言語文書に対して、
いて、対応関係を作る
それぞれの系列ベクトルを生成する

21

提案手法| Sentence Embeddingに基づく二言語間の文書対応付け (2特徴ベクトル)◆Sentence Embeddingに基づく二言語間の文書対応付け (２特徴ベクトル)◼ 手順

第１文ベクトル

第１文ベクトル

Mean Pooling

Mean Pooling

正規化

正規化

…
原言語文書

原言語
Sentence Embeddings

原言語
２特徴ベクトル

目的言語
２特徴ベクトル…
目的言語文書目的言語
Sentence Embeddings

各文書の系列ベクトルのMean Poolingベクトルと第１文ベクトルを取得する
22

提案手法| Sentence Embeddingに基づく二言語間の文書対応付け (2特徴ベクトル)◆Sentence Embeddingに基づく二言語間の文書対応付け (２特徴ベクトル)◼ 手順

第１文ベクトルの間のcosine類似度を計算
cos-simを計算：𝑆𝑖𝑚𝑓𝑖𝑟𝑠𝑡
第１文ベクトル

第１文ベクトル

Mean Pooling

Mean Pooling

正規化

正規化

…
原言語文書

原言語
Sentence Embeddings

原言語
２特徴ベクトル

目的言語
２特徴ベクトルcos-simを計算：𝑆𝑖𝑚𝑚𝑒𝑎𝑛…
目的言語文書目的言語
Sentence Embeddings

Mean Poolingベクトルの間のcosine類似度を計算
23

提案手法| Sentence Embeddingに基づく二言語間の文書対応付け (2特徴ベクトル)◆Sentence Embeddingに基づく二言語間の文書対応付け (２特徴ベクトル)◼ 手順

cos-simを計算：𝑆𝑖𝑚𝑓𝑖𝑟𝑠𝑡
第１文ベクトル

第１文ベクトル

Mean Pooling

Mean Pooling

正規化

正規化

…
原言語文書

原言語
Sentence Embeddings

原言語
２特徴ベクトル

目的言語
２特徴ベクトルcos-simを計算：𝑆𝑖𝑚𝑚𝑒𝑎𝑛…
目的言語文書目的言語
Sentence Embeddings

類似度の重み付き和を計算：𝑆𝑖𝑚𝑓𝑖𝑛𝑎𝑙 = λ𝑆𝑖𝑚𝑓𝑖𝑟𝑠𝑡 + (1 − λ)𝑆𝑖𝑚𝑚𝑒𝑎𝑛

24提案手法| Sentence Embeddingに基づく二言語間の文書対応付け◆提案手法：Sentence Embeddingに基づく二言語間の文書対応付け
1. ２特徴ベクトルによる文書対応➢ Mean Poolingベクトルを利用するだけではなく、文書の系列ベクトルの中の第１文ベクトルも使用➢ 文書間の類似度を計算する際に、第１文ベクトルとMean Poolingベクトルの間の類似度をそれぞれに計算して、それらに重みを与えて合計する

2. Overlapping Fixed-Length Segmentation (OFLS)による文書対応➢ 文単位分割ではなく、固定長 L の Sliding Window で、
ウェブクロールされた文書を重複ありの Segments に分割する➢ OFLSをもとに、言語の影響を考慮して、原言語文書と目的言語文書を異なる固定長(言語間で一定の比率)で分割する (Language-Pair Dependent OFLS, LD-OFLS)➢ 従来手法・提案手法において、「文単位分割」と「OFLS」の性能を比較する

25

提案手法| Overlapping Fixed-Length Segmentation (OFLS)による文書対応◆Overlapping Fixed-Length Segmentation (OFLS)による文書対応◼ 定義
・固定長 L の Sliding Window を利用して Segments に分割
・隣接するSegmentsの間では、指定された割合が重複◼ OFLSの例
今日 は 晴れ て いて 、 気温 は 25 度 ほど で 、 風 も 穏やか です 。 公園 で 友達 と ピク
ニック を 楽しむ 予定 です 。 お弁当 に は おにぎり 、 サンドイッチ 、 フルーツ 、 そして 冷たい ジュース が 入っ て い ます 。 みんな で 楽しい 時間 を 過ごし 、 笑顔 が 絶えない こと を 願っ て います 。
𝐿 = 20
重複割合: 0.5

Seg1: 今日 は 晴れ て いて 、 気温 は 25 度 ほど で 、 風 も 穏やか です 。 公園 で
Seg2: ほど で 、 風 も 穏やか です 。 公園 で 友達 と ピクニック を 楽しむ 予定 です 。 お弁当
Seg3: 友達 と ピクニック を 楽しむ 予定 です 。 お弁当 に は おにぎり 、 サンドイッチ 、 フルー
ツ 、 そして 冷たい
Seg4: に は おにぎり 、 サンドイッチ 、 フルーツ 、 そして 冷たい ジュース が 入っ て い ます 。
みんな で 楽しい 時間
Seg5: ジュース が 入っ て い ます 。 みんな で 楽しい 時間 を 過ごし 、 笑顔 が 絶え ない こと を願っ て います 。
26

提案手法| Language-Pair Dependent OFLS (LD-OFLS)による文書対応◆Language-Pair Dependent OFLS (LD-OFLS)による文書対応◼ 考慮点
一般的に、異なる言語で同じ意味を表現するために必要なトークン数は異なる
例：「私 は 犬 が 好き だ」と「I like dogs」
日本語：６トークン、英語：３トークン⇒ 固定長分割において、原言語文書・目的言語文書で異なる固定長を使用◼ 手法• ρ (language-pair dependent proportion)：言語間の文書長(トークン数)の比率• 目的言語文書を分割する固定長＝原言語文書を分割する固定長＊ρ
27

提案手法| Language-Pair Dependent OFLS (LD-OFLS)による文書対応◆Language-Pair Dependent OFLS (LD-OFLS)による二言語間文書対応付け◼ 具体例
The expected annual power generation will be 87,000,000kWh, corresponding to theannual electricity consumption of 30,000 ordinary houses.

「setu4993/LaBSE」でtokenize
The

expected

annualpower

generation

will

be

87 , 000 , 000

##kw

##h

…

総トークン数：28

総トークン数：42
年

間

予

想

発

電

量

は

##8 , 700

万

キ

##ロ

##ワ

##ット

時

で

、

一

般

「setu4993/LaBSE」でtokenize
年間予想発電量は8,700万キロワット時で、一般家庭約3万世帯分の年間消費電力量に相当します。
28

家 …

目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ29

デートセット◆テストデータ◼ デートセットの構築• 4つのweb-domain 丸紅、西新宿、楽天、NTT CS研究に対して、各ドメインからランダムに100 件ずつ日本語文書をサンプリングし、4つの手法で対訳となる英語文書を検索する
4つのweb-domain• www.marubeni.com• nishishinjuku.co.jp• corp.rakuten.co.jp___global.rakuten.com• www.kecl.ntt.co.jp➢ 機械翻訳＋BM25➢ 機械翻訳＋tf-idf➢ URL Matching➢ CC-Aligned (El-Kishky et al., EMNLP 2020)• 人手で参照用日英対訳文書対を作成• 検索結果の英語文書集合を、対応目的言語(英語)文書の候補集合として利用
丸紅

西新宿

楽天

NTT CS研究

ALL

対象：
対訳あり日本語文書数

73

16

75

68

232

検索結果の
候補英語文書数

251

42

319

319

931
30

デートセット◆テストデータ◼ デートセットの情報• 丸紅、西新宿、楽天、NTT、これらの4つのドメイン、およびそれらの混合データ(4つのドメインの混合データ)• 各文書の長さはHugging Faceの「setu4993/LaBSE」でtokenizeした後のトークン数• ρ = 正解の英語文書の平均トークン数/対訳あり日本語文書の平均トークン数（Ja-En方向）
丸紅

西新宿

楽天

NTT CS研究

ALL

対象：
対訳あり日本語文書数

73

16

75

68

232

検索結果の
候補英語文書数

251

42

319

319

931

対訳あり日本語文書の平均トークン数

2447.36340.563541.55

726.372151.35

正解の英語文書の平均トークン数

1598.51217.692174.49441.881350.47

ρ

0.65

0.64

0.61

0.61

0.63
31

目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ

32

実験設定
◆実験設定
◼ Baseline: 機械翻訳に基づく二言語間の文書対応付け (Buck and Koehn, WMT2016)• 翻訳機：JParaCrawl v3.0 ja-en model• 翻訳方向：日本語から英語• tf-idf で文書対応：Bitextorの「Docalign」ツールを使用 (bigramベースで実行)◼ Sentence Embeddingに基づく二言語間の文書対応付け• 文埋め込みモデルとtokenizer：Hugging Face の「setu4993/LaBSE」• 対訳候補の検索：OTの計算において計算時間を要する ⇒Mean Pooling ベクトルのcosine類似度による「Faiss」で20個の対訳候補を検索• OTの重み付け方式：文頻度◼ GPU：NVIDIA RTX A6000一枚 を使用
33

実験設定
◆実験設定
◼ 検索方向と範囲• 方向：日英方向 (日本語文書に対応する英語文書を検索)• 範囲：4つのweb-domainを混合して、全範囲で検索する◼ 評価指標• 適合率 (Precision)• 再現率 (Recall)
2∗𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∗𝑅𝑒𝑐𝑎𝑙𝑙• F1_score： 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙◼ 計算時間の評価• 機械翻訳に基づく二言語間の文書対応付け➢ 機械翻訳時間➢ 「Docalign」による二言語間文書対応付け時間• Sentence Embeddingに基づく二言語間の文書対応付け➢ 系列ベクトルの生成時間、またはそれに加えて特徴ベクトルの生成時間➢ 二言語間文書対応付け時間 (類似度の計算と候補文書の検索時間が含まれる)34

目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ35

実験結果
F1 score:
Docalign◆実験結果(F1_score)
0.9500Time:

Docalign

各手法の結果：検索方向Ja-En

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
36

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00実験結果
F1 score:
Docalign◆実験結果(F1_score)
0.9500Time:

Docalign

各手法の結果：検索方向Ja-En

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

実線はF1スコアを表し、点線は時間を表示
0.9000350.00300.00F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
37

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00実験結果
提案手法である「重複あり固定長分割方式 (OFLS)」は、各手各手法の結果：検索方向Ja-En
法において、「文単位分割」(Baseline)より高い性能を示す
F1 score:
Docalign
Mean Pooling
OT
2特徴(λ=0.4)◆実験結果(F1_score)
0.9500Time:

Docalign

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
38

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00

実験結果
各SentenceF1 score:EmbeddingにDocalign◆実験結果(F1_score)Time:
Docalign
基づく手法は「Docalign」
0.9500の tf-idf 手法より高い F1ス
コアを達成

各手法の結果：検索方向Ja-En

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
39

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00実験結果
F1 score:
Docalign◆実験結果(F1_score)
0.9500Time:

Docalign

各手法の結果：検索方向Ja-En

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000F1 score

0.8500200.00「固定長分割」で、重複なしの場合には「文単位分割」とほぼ同等の性能

0.80000.75000.7000150.00100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
40

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00実験結果
F1 score:
Docalign◆実験結果(F1_score)
0.9500Time:

Docalign

F1スコア最大は、「OT ＋ 日英間の文書長比率ρ付
各手法の結果：検索方向Ja-En
Mean Pooling
OT
2特徴(λ=0.4)
き固定長分割(LD-OFLS)」
Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
41

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00実験結果
F1 score:
Docalign◆実験結果(F1_score)
0.9500Time:

Docalign

各手法の結果：検索方向Ja-En

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT「文単位分割」においては、Baseline(機械翻訳によるDocalign)は、Sentence Embeddingよりはるかに高速

0.9000350.00300.00F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
42

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00実験結果
F1 score:
Docalign◆実験結果(F1_score)
0.9500Time:

Docalign

各手法の結果：検索方向Ja-En

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000「固定長分割」は「文単位分割」より高速
200.00F1 score

0.85000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
43

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

250.00実験結果
F1 score:
Docalign◆実験結果(F1_score)Time:

Docalign

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000・「２特徴ベクトル」は低速
250.00・アルゴリズムにおいて速度面の改善の余地あり

F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
44

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

0.9500

各手法の結果：検索方向Ja-En

実験結果
F1 score:
Docalign◆実験結果(F1_score)Time:

Docalign

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000・Mean Poolingが最も高速
・候補対訳文書の生成方法として適切

F1 score

0.8500250.00200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
45

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

0.9500

各手法の結果：検索方向Ja-En

実験結果
F1 score:
Docalign◆実験結果(F1_score)Time:

Docalign

Mean Pooling

2特徴(λ=0.4)

OT

Mean Pooling

2特徴(λ=0.4)

OT

350.00300.000.9000・OTの計算はot関数の制約受ける
250.00・forループにおいてot関数の繰り返し計算必須
・文書数増では、計算時間が弊害

F1 score

0.8500200.000.8000150.000.75000.7000100.00Baseline
文単位分割

提案手法
固定長分割(重複なし)

固定長分割(重複0.5)

50.00
46

ρ(0.63)付き固定長分割(重複0.5)Time (sec.)

0.9500

各手法の結果：検索方向Ja-En

目次
1. 研究背景
2. 先行研究3. 提案手法
4. デートセット
5. 実験設定

6. 実験結果と分析
7. まとめ

47

まとめ
◆まとめ
◼ 提案
1. 「２特徴ベクトル」の文書対応手法：Mean Poolingベクトルだけではなく、文書の系列
ベクトルの中の第１文ベクトルも使用
2. 分割方式：重複あり固定長分割 (OFLS)と言語間の文書長(トークン数)の比率ρ付き重複あり固定長分割 (LD-OFLS)◼ 実験結果➢ 重複あり「固定長分割」は「文単位分割」の性能を上回る➢ 「固定長分割」は「文単位分割」より計算速度が速い➢ 重複あり「固定長分割」でSentence Embeddingに基づく文書対応手法は、Baseline (機械翻訳によるDocalign) の性能を上回る◆今後の展望• 既存の公開データセットを用いた評価
48