TopiCLEAR：文埋め込み表現のクラスタリングに基づくトピック抽出技術

近年，X(旧Twitter)，Facebook，Redditなどのソーシャルメディアの普及により，人々はニュースや事件に対する意見や感想をリアルタイムに発信できるようになった．ソーシャルメディアの投稿（ポストやツイートなど）を分析することで，社会問題や政治・時事的話題に関する人々の関心の内容やその時間推移を把握することが可能となっている[1,2]．特に，ソーシャルメディア上から大量に得られる短文テキストから主要な話題（トピック）を自動的に抽出することは，データ駆動的に社会の動向を把握する上で重要な分析技術の1つである．LatentDirichletAllocation(LDA)[3]に代表されるトピックモデルは，単語分布に基づき文書の潜在構造を推定することによってトピックを抽出する手法である．しかし，短文テキストでは共起統計が乏しいことに加え，つづりの不統一やくだけた表現も多いため，単語頻度に基づく手法の性能低下が指摘されている[4]．近年，事前学習言語モデルの登場により，テキスト分析の方法論は大きく進化した．特に，Sentence-BERT(SBERT)[5]は，文の意味的類似性を定量化できる点で画期的である．SBERTは文章を高次元ベクトルに変換し，コサイン類似度に基づいて比較することで，質問応答や検索といったタスクにおいて高い性能を示している．このように文の意味情報を捉える応用事例における有用性は，SBERTがトピック抽出の課題に対しても有効である可能性を示唆している．本研究では，SBERTにより得た埋め込みベクトルをクラスタリングすることによってトピック抽出を行う手法TopiCLEARを提案する．提案手法TopiCLEARおよび実験結果の詳細は文献[6]を参照されたい．ソースコードはGitHubにて公開している1）．本研究の貢献は以下の3点である．1.文埋め込みのクラスタリングに基づくトピック抽出手法TopiCLEARを提案する．