日本データベース学会 データドリブンスタディーズ
一般論文

Vol. 1, Article No. 4, 2023 年 3 月

データの量と性質を変化させた際の入力としてこれらが同一のエンティティを参照するか否かを識

エンティティマッチングモデルの類似度などの文字列の類似度関数を二値分類器の特徴量として別する二値分類問題を解くこととして定式化され，Levenshtein
学習を行う手法 [1, 5] や深層学習を用いた手法など様々なエン評価

ティティマッチング手法が提案されてきた [3, 6, 9]．特に最近では BERT など事前学習済み言語モデルを用いた手法が著しい成

山岡 大輝 1

林 勝悟 2

果をあげており注目されているが，学習データの量や性質によっ

草野 元紀 3てどの手法が優れているのか自明ではなくこれまでに調査を行っ岡留 剛 4

た研究はない．そこで本研究では代表的なエンティティマッチン
グ手法をデータの量や性質など条件を変えて評価することで各手

エンティティマッチングとは異なるデータ集合間で同一のエン法の利点と欠点を考察する．また，検証用データの予測結果を分ティティを参照するレコードペアを識別するタスクのことであ析することで特に顕著な成果を上げている事前学習済み言語モデる．一般的に機械学習によるアプローチでは Levenshtein 類似度

ルを用いた手法の改善点を考察する．

などの類似度関数によりレコードペアの類似度ベクトルを用いて

2

二値分類器を学習する手法や深層学習によるアプローチがある．

関連研究

特に BERT など事前学習済み言語モデルを用いた手法はそれ以エンティティマッチングとは，レコードの集合からなるデー前の手法を大きく凌駕する分類精度を達成しており盛んに研究がタセット 𝐿 = 𝑙 1 , . . . , 𝑙 | 𝐿 | と 𝑅 = 𝑟 1 , . . . , 𝑟 | 𝑅 | が与えられたと行われている．しかし，類似度関数を用いた手法より深層学習にき，直積集合 𝐿 × 𝑅 のレコードペアが同一のエンティティを参照

よる手法がどのデータにおいても最も有効かは定かではなくデー

するか否かで分類する問題である．

{

}

{

}

タの量や性質によってどの手法が適しているかは異なることが考えられる．本研究ではこれを複数の代表的なエンティティマッチ
ングモデルをデータの量と性質から評価することで手法の利点と欠点を明らかにした．また，事前学習済み言語モデルを用いた手法がマッチングの予測を行うためにレコードペアのどの単語に着目しているか分析し改善点を考察する．

1 はじめに

図 1: エンティティマッチングの概念図．直積集合 𝐿 × 𝑅 の要素であるレコードペアのエンティティが一致するか否かを予測す

あらゆる企業や組織は日々大量のデータを扱い，生み出している．

る一方で，これらのデータは組織内でさえも統一された形式で管理されているとは限らず，さらに異なる組織間で管理されるデー
タは同じエンティティを指すものであっても表記上は全く異なる

教師あり二値分類問題としてのエンティティマッチングは，レ場合がある．この問題はデータ管理の非効率性やデータ分析の弊

コードペアの文字列の類似性に基づく特徴量を入力としランダ害に繋がり，このようなデータの統合を行うエンティティマッチ

ムフォレストなどの二値分類器の学習を行うアプローチや，レングは重要なタスクである．例えば自社の商品データと外部の商

コードペアを Glove [10] や fastText [2] による単語埋め込みや品データが得られている場合にこれらのデータ集合間で同一の商

BERT [4] による文脈化単語埋め込みを利用して深層学習による品を特定することが可能となれば，その同一商品データを紐づけ

二値分類を行うアプローチが一般的である．Blienko ら [1] は適ることで自社の持つデータをより情報量の多いデータへと拡張

応的な文字列の類似性に基づく手法を提案しており，学習可能なすることができ，分析やアプリケーション開発がより行いやすく

文字列の拡張編集距離による類似度と，サポートベクトルマシン

なる. しかし，一般的には異なるデータ集合間の同一のエンティによる学習可能な類似度ベクトルを利用した．Konda ら [5] は複ティを参照するデータのペアは表記揺れにより商品名が異なって数の文字列の類似度関数によって得られる特徴ベクトルを入力いる場合があり，このようなペアを同一とみなすことが困難であとする分類モデルを用いてエンティティマッチングを行う一連

る．機械学習を用いたエンティティマッチングはレコードペアをのシステムを提案している．文字列の表記に基づく類似度指標である Levenshtein 類似度，Jaro-Winkler 類似度，Jaccard 係数など

1 学生会員はエンティティマッチングによく用いられ誤字脱字にも有用で

関西学院大学 大学院 理工学研究科ある一方で，略称や別称といった表記上に現れない類似性を測

izu14587@kwansei.ac.jp
2 正会員

日本電気株式会社 データサイエンス研究所

ることは困難である．Mudgal ら [9] は深層学習をエンティティ

shogo-hayashi@nec.com
3 正会員

マッチングに適用するためのフレームワークを提案し，Glove

日本電気株式会社 データサイエンス研究所

や fastText による単語埋め込みベクトルを用いたモデル，双方

g-kusano@nec.com
4 正会員

関西学院大学 大学院 理工学研究科

向 RNN，Attention を利用したモデル，これらを組み合わせた

tokadome@acm.org

1

日本データベース学会 データドリブンスタディーズ
一般論文

Vol. 1, Article No. 4, 2023 年 3 月

Hybrid モデルを提案し比較検討を行ない，深層学習アプローチの利点を示した．Brunner ら [3] は Transformer ベースの事前学
習済み言語モデルである DistilBERT [11]，BERT，XLNet [12]，RoBERTa [7] をエンティティマッチングタスクで評価を行い既存の深層学習ベースの手法を大幅に上回る結果を報告した．また，Li ら [6] は RoBERTa をベースとしてデータ拡張やドメイン知識の追加を入力データに行う DITTO を提案し既存手法を上回る分類精度を達成している．

比較手法

3

本研究では複数の代表的なエンティティマッチング手法をデー
タの量と性質を変化させた際の評価実験を行い各手法を比較する．本節では評価実験に用いる各手法の概略を説明する．表 1 に各手法の比較の表を示す．

図 2: DeepMatcher で提案されたアーキテクチャ，Deep Learning

3.1 Magellan

for Entity Matching: A Design Space Exploration [9] より引用

Magellan [5] は文字列の類似度関数を用いたエンティティマッ
チング手法であり，レコードペアの同じ属性の属性値同士を複数の類似度関数を用いて類似度ベクトルを計算し二値分類モデルのスの中でマッチングに有用であると思われる単語の前後にトーク

特徴量とする．使用されている類似度には Levenshtein 類似度やンを挿入するドメイン知識の追加，学習データにデータ拡張を適Jaro–Winkler 類似度があり，これらの類似度関数から得られた特用する工夫をおこなっている．

徴量を用いて複数の二値分類器で学習を行い検証用データの評価値が最も高い分類器が予測に採用される．用意されている分類
器は線形回帰，ロジスティック回帰，決定木，サポートベクトル
マシン，ランダムフォレストがあり，本実験でもこれらを用いている．

3.2 DeepMatcher

DeepMatcher [9] は図 2 に示すようにエンティティマッチングに深層学習を適用するためフレームワークを提案した手法である．レコードペアの同一属性ごとに属性値のペアを fastText などの学習済みの単語埋め込みモデルで埋め込みベクトルに変換し(1.Attribute Embedding)，埋め込みベクトルのペアを属性ごとに用意される RNN などのディープニューラルネットワークによっ

図 3: DITTO のモデルアーキテクチャ，Deep entity matching withて得られる類似度ベクトル (2.Attribute Similarity Representation)

pre-trained language models [6] より引用

を全結合層の入力とすることで二値分類を行う (3.Classiﬁcation)．

DeepMatcher では類似度ベクトルを獲得する機構を複数提案し3.4 RoBERTaているが本実験では論文内で最も分類精度が良いと報告されていBrunner ら [3] は事前学習済み言語モデル（DistilBERT [11]，る Hybrid モデルを使用する．

3.3

BERT，XLNet [12]，RoBERTa [7]）をエンティティマッチング

DITTOに適用できるように，レコードペアの属性値をシリアライズする

BERT が登場して以降，事前学習済み言語モデルは自然言語手法を提案している．本実験では RoBERTa を比較手法として採処理の様々なタスクで高い分類精度を達成することが報告され用し，以後この手法を RoBERTa と称する．

ており，エンティティマッチングにおいても言語モデルを用いた手法がそれ以前の手法を上回る成果を報告されている．特に

表 1: 手法の比較

DITTO [6] はエンティティマッチングにおいて最も分類精度が高い手法の 1 つであり，言語モデルに RoBERTa [7] を用いている．

深層学習

古典的な機械学習

DeepMatcher

Magellan

左右のテーブルの言語モデル以前の手法ではレコードペアの同一属性間の比較を陽

属性名集合がに行って類似度ベクトルを得る必要があったのに対し，言語モデ一致する必要性あり

ルを用いた手法ではレコードペアを単純に繋げてシリアライズ処

左右のテーブルの理を行なったシーケンスを入力とする特徴がある．DITTO では

属性名集合が

特に入力データに加工を施しており，レコードペアをシリアライ

不一致でも可能ズする際に属性名と属性値を区別するトークンを挿入，シーケン

2

DITTO，RoBERTa

日本データベース学会 データドリブンスタディーズ
一般論文

Vol. 1, Article No. 4, 2023 年 3 月

程度の学習データ数が必要である．したがって，DeepMatcher と4 実験

同じ深層学習ベースの手法であり，事前学習済み言語モデルを利本実験では特に商品データにおいて実世界で起こりうるデータ

用する DITTO と RoBERTa はデータ数が少ない場合においてもの性質について各手法の評価を行うため，データの量 (4.3 節)，

DeepMatcher より優れた分類性能を持つことが分かった．

欠損値の割合 (4.4 節)，レコード間の属性の不一致度 (4.5 節) を4.4

変化させた際の各エンティティマッチング手法の評価を行う．

4.4.1

4.1 評価指標

欠損値の割合に関する評価
実験設定

実際に得られる商品データテーブルは記入漏れなど様々な理

一般的なエンティティマッチングのデータは負例の数が正例の由で属性値が欠損している場合がある．本実験では Walmart-

数より大幅に多い不均衡データであるため，評価指標には精度

Amazon データセットに対して属性値を一定の確率で欠損させた(accuracy) ではなく適合率 (precision) と再現率 (recall) の両方を

データを作成し，各手法の学習及び評価を行う．ただし，title 属考慮する 𝐹1 ∈ [0, 1] （式 (1)）を用い，以下の式で計算される．

性は商品名が格納される属性であり欠損するとは考えにくいた

𝐹1 =め，title 属性を除く属性値を欠損の対象とする．欠損する確率は

2 × precision × recall
precision + recall(1)

0，0.1，0.3，0.5 で変化させ評価を行う．

4.2 使用するデータセット
本実験では表 2 に示す ER-Magellan データセット *1 の商品に関するデータを使用する．これらのデータセットは各 EC サイト間の商品レコードをペアとしてそのペアが同一のエンティティを参照するか否かのラベルが与えられている．
表 2: ER-Magellan データセット
データセットレコードペア数

正例の数

Walmart-Amazon

10242

962

Amazon-Google

11460

1167

Abt-Buy

9575

1028

属性

title,category,brand,modelno,
pricetitle,price,
manufacturer
name,price,description

図 5: Walmart-Amazon データセットの欠損値の割合を変化させた際の各手法の 𝐹1 （random seed を 10 回変えて学習を行なった
平均値）

4.3 学習データ数に関する評価
4.3.1

実験設定

学習データ，検証用データ，テストデータのそれぞれの割合
は 3:1:1 となっており，Walmart-Amazon，Amazon-Google，Abt-

欠損確率

RoBERTaDITTO

DeepMatcher

0

0.859

0.840

0.652

0.775

0.1

0.838 (-0.021)

0.804 (-0.036)

0.601 (-0.051)

0.728 (-0.047)

0.3

0.779 (-0.080)

0.769 (-0.071)

0.471 (-0.181)

0.616 (-0.159)

0.5

0.723 (-0.136)

0.693 (-0.147)

0.397 (-0.255)

0.559 (-0.216)

Magellan

表 3: 欠損の割合に対する各手法の 𝐹1 の値．カッコ内は欠損確率

Buy の各データセットは学習データ数が 6144，6874，5743 であが 0 である時の 𝐹1 の値からの減少量である．

る．データ数に関する実験では学習データ数を 100，500，1000，

3000，全ての 5 パターンで各手法の学習を行い評価を行なう．
4.3.2

4.4.2

実験結果

実験結果

結果を図 5 に示す．欠損値の割合が増えるにつれて各手法の図 4 は横軸を学習データ数，縦軸をテストデータの 𝐹1 とする各手法の実験結果である．各データセットにおいて 500 か

𝐹1 が減少しており，また，表 3 から DeepMatcher と Magellan がら 3000 以上の数の学習データを使用して学習を行った場合，

DITTO や RoBERTa と比べて 𝐹1 の減少値の絶対値が大きいこと

DITTO と RoBERTa が Magellan と DeepMatcher を上回る 𝐹1 をが分かる．この違いは欠損値の扱いが異なることが一つの要因と達成しており，商品の説明文が属性値となる属性 description が考えられる．Magellan と DeepMatcher は左右のテーブルの同一存在する Abt-Buy データセットではその差が顕著であること

属性間の属性値から算出される類似度からマッチングの学習を行が分かる．しかし，Amazon-Google と Abt-Buy データセットでうため，属性値が欠損している場合は欠損値の補間を行う必要がは 100 と学習データ数がごく少数である場合，Walmart-Amazon

ある．本実験での欠損値補間に関して，Magellan では欠損してデータセットでは 100 から 1000 程度の学習データ数においている属性値間の類似度を平均値で補間しており，DeepMatcher でMagellan が他の手法を上回る 𝐹1 を達成している．また，図 4 かは属性値のベクトル化に fastText を使用しているため欠損していら DeepMatcher が Magellan より高い 𝐹1 を達成するには 3000

る属性値を unknown トークンのベクトルに置換することにより欠損値の補完を行っている．これにより，これら 2 つの手法は欠損値を特定の値で補間しているため推定されたパラメータにはバ*1 https://github.com/anhaidgroup/deepmatcher/blob/master/Datasets.md

3

日本データベース学会 データドリブンスタディーズ
一般論文

Vol. 1, Article No. 4, 2023 年 3 月(a) Walmart-Amazon(b) Amazon-Google(c) Abt-Buy

図 4: 学習データ数を変化させた際の各手法の 𝐹1 ．（random seed を 10 回変えて学習を行なった平均値）

イアスが生じる．しかし，DITTO と RoBERTa は入力となるレ
コードペアをシリアライズしていることにより，属性値が欠損していたとしても補間の必要なく学習可能であり，補間によるバイ
アスは生じない．以上の理由から，レコードペアのシリアライズ
により欠損値の補間が必要ない DITTO と RoBERTa がより欠損値の増加に対して頑健であると考えられる．

4.5 属性の一致数に関する評価
4.5.1

実験設定

Walmart-Amazon データセットなど一般的に用いられるデー
タセットは左右のテーブルで属性名が一致しており，対応する属性間の比較が容易である．しかし，現実的には左右のテーブ
ルで異なる属性が存在する場合がほとんどである．そこで本実
験では，Walmart-Amazon データセットのテーブル間の属性の一致数を変化させたデータを作成し各手法の学習と評価を行う．

Walmart-Amazon は Walmart と Amazon の両方に title，category，brand，modelno，price が存在し一致する属性数は 5 であるため
表 4 に示すように 3 つのパターンで評価を行う．Magellan と
図 6: Walmart-Amazon データセットの左右の属性の一致数を変DeepMatcher は原則としてレコードペア間で対応する属性が必化させた際の各手法の 𝐹1 （random seed を 10 回変えて学習を行要となるため，本実験では全ての属性を一つの属性に結合することでテーブル間の不一致をなくす方法と，一致する属性のみを学なった平均値）．上の図は DeepMatcher と Magellan に関して一習に使用する方法の 2 通りに対して評価を行なった．

つの属性に結合したデータで学習した結果，下の図は一致する属性のみ使用したデータで学習した結果を示している．

属性を一つの属性に結合することを表 4 の「一致する属性
数」が 1 の場合を用いて説明する．左テーブルでは title，brand，model no，右テーブルには title，category，price が存在し，それ4.5.2

ぞれのテーブルは 3 つの属性を持つが title 属性以外は対応しない属性である．そこで左右のテーブルにおいてこれら 3 つの属性

ellan に関して一つの属性に結合したデータで学習した結果，下を結合し，1 つの新しい属性 new-title を作成することで対応するの図は一致する属性のみ使用したデータで学習した結果を示し

属性として扱うことが可能となる．

ている．この結果から DITTO と RoBERTa は Magellan や Deep-

Matcher と比較して左右のテーブルで属性の一致する数が減少
しても分類精度の減少が低いことが分かる．Magellan と Deep-

表 4: 属性の一致数を変化させる
左テーブル

右テーブル

title,category,brand,
modelno,pricetitle,brand,
modelno,pricetitle,brand,
modelnotitle,category,brand,
modelno,pricetitle,category,brand,pricetitle,category,
price

実験結果

結果は図 6 で示す通りであり，上の図は DeepMatcher と Mag-

Matcher はレコードペア間で属性の対応が陽に与えられており同一致する属性数

一属性の属性値間の比較が容易であるが，DITTO と RoBERTa は5

属性間の対応が与えられておらず学習時にデータから対応付けを学習する必要があると思われる．このため DITTO と RoBERTa

3はレコードペア間で対応しない属性の数が増えるほど学習が困難となり分類精度の低下が大きいと思われたが，本実験結果から

1

学習による対応付けの獲得は困難ではないということが考えられる．

4

日本データベース学会 データドリブンスタディーズ
一般論文

Vol. 1, Article No. 4, 2023 年 3 月

予測のうち False Positive であり model no 属性間の Levenshtein

5 予測結果の分析

距離が 1 であるレコードペアを SHAP により可視化したもので

DITTO や RoBERTa など事前学習済み言語モデルをベースとある．赤くハイライトされているトークンはレコードペアがマッしたエンティティマッチング手法はレコードペアをシーケンスチしているという予測に対し貢献しているものを表しており，青にするためテーブル間で属性が対応付けられなくても学習にそは負の方向に寄与していることを表す．また，ハイライトの濃淡のまま利用でき，データの量や質の変化に対しても他のモデルにより各トークンの貢献度の大きさを表している．先述の通り，

以上の分類精度を達成している．DITTO のモデル構造自体はRoBERTa は学習により製品番号である model no の値に着目しRoBERTa と同一であるため，本節では RoBERTa の予測結果のて予測していることが図 7 からも考えられる．しかし，このサン分析を行う．ブラックボックスモデルの予測の説明を行う手法

プルは上の表の製品番号を示す model no 属性が僅かに異なってである SHAP [8] を利用して Walmart-Amazon データセットの検いることからも分かるようにレコードペアは本来マッチしない．

証用データに対する予測結果を分析することでレコードペアのこのように属性値間で完全に一致しているか否かがマッチングのどの単語が RoBERTa によるエンティティマッチング判定の予測予測に重要である場合 RoBERTa はそれを考慮できていない．こに重要であるのか，また，予測結果が正解ラベルと異なっていれは製品番号などの ID は数字とアルファベットを並べたものがるレコードペアを分析することで事前学習済み言語モデルベー

多く，これらの僅かな違いは埋め込みベクトル空間上でもかなりスの手法の改善点を述べる．SHAP [8] は予測結果に対して特徴近い距離に存在していることが考えられ，これらの僅かな違いを量がどの程度寄与しているかを貢献度とよばれる値を各特徴量

学習モデルが認識して予測することが困難であると思われる．しについて計算し予測結果の判断根拠を可視化できる手法である．

たがって文字列の完全一致が重要である単語の完全一致性を考慮

RoBERTa における特徴量は入力であるテキストデータの各トーする機構を追加することでさらなる分類精度の向上が可能になるクンのことであり，テキストの内どのトークンが予測結果に貢献と考えられる．

しているかを算出し可視化する．

5.1 可視化と考察

title
belkin pro series
6 usb 2.0 5-pin
mini-b cablebelkin f3u138-06 proseries usb 5-pin
mini-b cable 6-feet

検証用データ 2049 個の内，RoBERTa の予測が正解ラベルと異なったのは 48 個であり，その内訳は False Negative であるレ
コードペアが 31 個，False Positive が 17 個であった．

False Negative のレコードペアを分析したところ，False Negative の半数以上の 19 個がレコードペアのどちらかの製品番号である model no 属性の値が欠損していることが分かった．商品

category

brandmodel nopriceelectronics- generalbelkinf3u138b06

7.88

usb cables

belkinf3u138-06

5.05

データにおいて製品番号など主キーにあたる属性値はエンティ
ティマッチングにおいて特に重要であり，Walmart-Amazon デー
タセットにおいて model no 属性の値がレコードペア間で完全一致している全てのレコードペアは一致を表すラベルが割り当てられている．そのため，RoBERTa でも特に製品番号にあたる

model no 属性を予測のために重要視していると思われる．しか図 7: False Positive サンプルの SHAP による可視化．上の表は対し，重要な model no 属性の値が欠損しているとレコードペア間応するレコードペアを属性別に表記したものであり一行目が左で model no の比較ができないため，本来一致しているレコード

テーブル，二行目が右テーブルのデータに対応する．

ペアの一致度が減る．これにより他の属性値からレコードペアが一致すると判定できなかった場合に False Negative になってしまうと考えられる．

6

また，False Positive の約半数の 9 個のレコードペアには表 5

結論に示すような model no 属性間の Levenshtein 距離が 3 以下と極本研究ではデータ量と性質の観点から複数の代表的なエンティ

端に近いという特徴が見られた．図 7 は検証用データに対するティマッチング手法の比較を行った．この評価実験の結果により，学習データ数の観点からは 100 から 1000 程度と少ない場合
を除き，事前学習済み言語モデルベースの手法が他の手法よりもleft model noright model noLevenshtein 距離

良い分類精度を達成し，さらに欠損値に対しても頑健であること

f3u138b06

f3u138-06

1が分かった．また，予測結果の分析と可視化により RoBERTa はgbu421w6

gbu421

2

商品データにおいてマッチングに重要な製品番号に注目して予測

ide3510u2

uni3510u2

3を行なっているがその完全一致まで考慮できていないことが観測された．このため，事前学習済言語モデルが不得意と考えられる

表 5: False Negative であるレコードペアの中で model no 属性値

文字列の完全一致性を考慮する機構を追加することでエンティが僅かに異なる例

ティマッチングの判定性能の向上が可能であると見込まれる．

5

日本データベース学会 データドリブンスタディーズ
一般論文

Vol. 1, Article No. 4, 2023 年 3 月

参考文献[1] Mikhail Bilenko and Raymond J Mooney. Adaptive duplicate detection using learnable string similarity measures. In Proceedingsof the ninth ACM SIGKDD international conference on Knowledge
discovery and data mining, pages 39–48, 2003.
[2] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas
Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 5:135–146,
2017.
[3] Ursin Brunner and Kurt Stockinger. Entity matching with transformer
architectures - a step forward in data integration. In EDBT, 2020.
[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova.
Bert: Pre-training of deep bidirectional transformers for language
understanding. arXiv preprint arXiv:1810.04805, 2018.
[5] Pradap Konda, Sanjib Das, C. PaulSuganthanG., AnHai Doan,
A. Ardalan, Jeﬀrey R. Ballard, Han Li, Fatemah Panahi, Haojun
Zhang, Jeﬀrey F. Naughton, Shishir Prasad, Ganesh Krishnan, Rohit Deep, and Vĳay Raghavendra. Magellan: Toward building entity
matching management systems. Proc. VLDB Endow., 9:1197–1208,
2016.
[6] Yuliang Li, Jinfeng Li, Yoshihiko Suhara, AnHai Doan, andWang Chiew Tan. Deep entity matching with pre-trained language
models. Proceedings of the VLDB Endowment, 14:50 – 60, 2020.
[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi
Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv
preprint arXiv:1907.11692, 2019.
[8] Scott M Lundberg and Su-In Lee. A uniﬁed approach to interpretingmodel predictions. In Proceedings of the 31st international conferenceon neural information processing systems, pages 4768–4777, 2017.
[9] Sidharth Mudgal, Han Li, Theodoros Rekatsinas, AnHai Doan,
Youngchoon Park, Ganesh Krishnan, Rohit Deep, Esteban Arcaute,and Vĳay Raghavendra. Deep learning for entity matching: A design
space exploration. Proceedings of the 2018 International Conference
on Management of Data, 2018.
[10] Jeﬀrey Pennington, Richard Socher, and Christopher D Manning.
Glove: Global vectors for word representation. In Proceedings ofthe 2014 conference on empirical methods in natural language processing (EMNLP), pages 1532–1543, 2014.
[11] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf.
Distilbert, a distilled version of bert: smaller, faster, cheaper andlighter. arXiv preprint arXiv:1910.01108, 2019.
[12] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R
Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive
pretraining for language understanding. Advances in neural information processing systems, 32, 2019.

6