RengaBlock:Q-gramsBlockingを用いた高速名寄せ・高速テキストクラスタリングの実装

名寄せ（EntityResolution）のサブタスクとして，大量の表記集合のうち確実に同一エンティティを指さない表記ペアを比較対象から除外するEntityBlockingが広く研究されている[1]．本研究はQ-gramsBlockingに着目し，Zipf則[2]と分布仮説[3]を考慮したシンプルなアルゴリズムを構築することで，高速かつ高精度な名寄せが実現できることを確認した．また，同アルゴリズムを文書集合に対して適用することで，高速かつ高精度なテキストクラスタリングが実現できることを確認した．