ニュース記事埋め込みによる意味空間の比較研究

近年，大規模言語モデルの発展に伴い，文章を高次元ベクトルとして表現する文埋め込みは，テキスト分析，情報検索，RAG（Retrieval-AugmentedGeneration）など多様な応用において重要な役割を果たしている。特に，Sentence-BERT[1]に代表される文単位の意味表現手法の登場以降，文埋め込みはトピック分析や意味的類似度計算の基盤技術として広く利用されている。近年では，意味的近接性の学習を重視したE5[2]や，大規模言語モデルに基づき文脈的情報を広く保持するQwen系埋め込みモデル[3]など，設計思想の異なる文埋め込みモデルが提案されている。そのような文埋め込みモデルの評価を目的とした大規模ベンチマークとして，MTEB（MassiveTextEmbeddingBenchmark）[4]が提案されており，検索や分類など多様な下流タスクにおける性能比較が行われている。しかし，これらの評価は主として下流タスクにおける性能指標に基づくものであり，モデルごとに文書集合全体に対して構築される意味空間の構造的特性や，社会トピックに対する反応様式の差異を直接的に分析する枠組みとはなっていない。特に、ニュース記事は社会的出来事や価値観の変化を反映するため，埋め込み空間の構造的特性は，社会トピック分析や時系列分析の解釈に直接的な影響を与える。本研究では，2012～2016年のHuﬀPostニュース記事を対象に，E5およびQwenの二つの文埋め込みモデルが形成する意味空間を比較し，その構造的・動的特性を明らかにすることを目的とする。本論文の貢献は以下の三点である。•大規模ニュース集合に対する文埋め込み空間の凝集構造を定量的に比較した。•クラスタ重心の階層構造に基づき，意味空間の大域的構造差を明らかにした。•社会トピックに対する時系列的反応様式の違いを分析した。