ファインチューニング技術を用いた名寄せタスクの実装検証

本研究は、大規模顧客名辞書を対象とした名寄せ（エンティティマッチング）タスクにおいて、BERT系モデルのファインチューニング手法を比較し、性能と計算コストのバランスを検証したものである。従来広く用いられてきた多クラス分類モデル（BertForSequenceClassiﬁcation）は、分類クラス数が非常に多い場合に精度低下が生じることが知られている。そこで本研究では、分類モデルによる直接予測に加え、Sentence-BERTを用いたベクトル類似度ベースの名寄せ手法を検討した。顧客名辞書から同一ラベルのペア（PositivePair）と、ランダムまたは類似度上位から抽出した異なるラベルのペア（NegativePair）を作成し、複数のファインチューニング方式を比較した。特に、類似度が高いがラベルが異なるHardNegativePairを用いたSentence-BERTは、全手法の中で最高精度を達成した。一方、分類モデルを用いたベクトル類似度方式は精度はやや劣るものの、学習コストを大幅に削減できることが確認された。