文埋め込みに対するグラフベースクラスタリング：適応的局所スケーリングと共有近傍の統合

大規模なテキストデータセットから教師なしに意味的な構造を抽出するトピック分析は，計算社会科学，実務的なデータ分析において不可欠な技術である．近年では，Transformerベースの事前学習済みモデルによる高品質な文埋め込み（sentenceembedding）[1]が利用可能となり，これらをクラスタリングするアプローチが標準化している．代表的なフレームワークであるBERTopic[2]では，UMAP[3]による次元削減とHDBSCAN[4]による密度ベースクラスタリングが採用されている．しかし，これらの既存手法は，トピックが離散的な「島」として存在することを暗黙に仮定しており，実際のデータ構造と乖離する場合がある．現実のテキストの文脈はグラデーションのように連続的に移り変わることも多く，球状クラスタを仮定するK-meansや，密度差による明確な分離を前提とするHDBSCANを適用すると，本来は連続している文脈が過度に分断されたり，話題が移り変わる領域がノイズとして大量に棄却されたりする問題が生じる．加えて，高次元ベクトル空間では特定のデータ点が多数の近傍となるハブ現象[5]が生じやすく，距離に基づく単純な構造把握を困難にしている．この「高次元空間における連続的な構造の抽出」という課題に対し，本研究ではバイオインフォマティクス分野の知見に着目する．同分野のシングルセル解析[6]では，細胞の分化過程のような連続的な多様体構造を捉えるため，次元削減後の空間で密度クラスタリングを行うのではなく，高次元データから直接構築した近傍グラフに対してコミュニティ検出を行うアプローチが標準的である．本研究はこの「グラフ構築とコミュニティ検出に基づく枠組み」をテキスト分析へ導入し，適応的局所スケーリングと共有近傍（SharedNearestNeighbor,SNN）を統合することで，密度の不均一性とハブ現象にロバストなトピック抽出を実現する．本研究では，公開ベンチマーク（MTEB）および数千万件規模の実データ（Amazonの商品説明）による実験を行った．その結果，提案手法は，連続性の高いデータセットにおいてK-meansやBERTopicアプローチよりも高いクラスタ品質を達成し，かつ大規模データに対しても実用的なスケーラビリティを持つことを実証した．