多角的な評価から大規模言語モデルにおける事実知識の想起の要因分析

大規模言語モデル(LLM)は膨大なテキストから学習され，実世界の知識を内包する一方で，幻覚など知識の運用に問題があることが知られている．そのため，LLMの知識評価を行うことが重要である．本研究では，多様なプロンプトを持つデータセットMyriadLAMAを構築し，それを用いた知識評価フレームワークBELIEFを提案する．In-contextlearning(ICL)を用いて，LLMが有する知識を精度，一貫性，信頼性の観点から多角的な評価を可能にする．実験では，パラメタ数，事前学習コーパス，指示学習の有無などが異なる複数のLLMを対象に知識評価を行い，LLMにおける事実知識の想起において重要な要素を明らかにする．