大規模言語モデルによる少数かつ短文の文書に対するトピックモデリング

トピックモデリングは文書の集合から潜在的なトピックを発見するタスクである1）[1,2].近年ではニューラルモデルが活用され,従来の統計的確率モデルより高い性能を示している[3,4,5]．しかしニューラルモデルは少数データに対しては性能が劣化する傾向があり，さらに短文に対するトピックモデリングは挑戦的であるといわれている[6,7]．近年では，InstructGPT[8]やGPT-4[9]のような大規模言語モデル(largelanguagemodels;LLM)が,適切なプロンプトを与えることで,様々なタスクで優れた性能を示している[10,11,12,13].そこで，LLMは少数かつ短文の文書集合に対するトピックモデリングにおいても,優れた性能を示すことが期待できる．本研究では，LLMとしてGPT-3.5,GPT-4を想定し，少数かつ短文の文書集合をプロンプトで与えたときのトピックモデリングの性能を調査する.LLMに由来する懸念点として,出力されたトピックが文1）本研究では，各文書のトピック分布の推定は考慮しない．た,大規模言語モデルによるトピックモデリング．全ての文書は1つのユーザプロンプト内で与えられる.書のごく一部のみを反映してしまう可能性や,与えた文書集合に含まれないトピックを出力してしまうhallucinationが想定される.そこで,トピックモデリングの評価で標準的な指標に加え,トピックが文書をどれだけカバーしているかを評価する指標と，トピックがどれだけ文書中の語で構成されているかを評価する指標を新たに導入する.また，出力の安定性として，適切なトピックモデリングの出力がどの程度得られるかについても，併せて評価する．