ファインチューニング技術を用いた名寄せタスクの実装検証

名寄せタスク（エンティティマッチング）は、商品情報や会社名などのデータに含まれるレコード同士が同一の実体かどうかを判定するタスクである。従来はルールベースの手法が多く研究されていました[1]が、近年ではTransformerベースのモデルを用いたエンティティマッチングが盛んに行われている。本タスクに関する研究の多くはSentence-BERTを利用しており、参考文献[2]、[3]、[4]では、意味が類似するデータペア（PositivePair）と意味が異なるデータペア（NegativePair）を教師信号としてSentence-BERTを学習させ、類似関係を検出している。しかし、データ数が増えるとペアの総数は入力データ数の二乗に近いオーダー𝑂(𝑛2)となり、学習顧客名グループ名株）レゾナック山崎事業所レゾナック昭和電工ガスプロダクツ株式会社レゾナックResonacCorporationレゾナック日産自動車日産自動車トヨタ自動車トヨタ自動車......コストが非常に大きくなる。例えば、レゾナックでは月に一度、顧客名の名寄せ作業を行い、各顧客名に所属するグループ会社名を付与している。これまでの作業で得られた、所属グループ名が付与された顧客名の辞書（表1）には、顧客名が113,000件、グループ名が46,808件含まれている。もしすべての同一ラベルの組をPositivePair、異なるラベルの組をNegativePairとして総当たりで作成すると、教師データの件数はおおよそ𝑛(𝑛－1)