大規模言語モデル(LLM)は膨大なテキストから学習され，実世界の知識を内包する一方で，幻覚など知識の運用に問題があることが知られている．そのため，LLMの知識評価を行うことが重要である．本研究では，多様なプロンプトを持つデータセットMyriadLAMAを構築し，それを用いた知識評価フレームワークBELIEFを提案する．In-contextlearning(ICL)を用いて，LLMが有する知識を精度，一貫性，信頼性の観点から多角的な評価を可能にする．実験では，パラメタ数，事前学習コーパス，指示学習の有無などが異なる複数のLLMを対象に知識評価を行い，LLMにおける事実知識の想起において重要な要素を明らかにする．

大規模テキストから学習した事前学習済み言語モデル(PLM)は，学習過程でテキストに含まれる関係知識を，暗黙のうちに獲得，保持することから，知識ベースとしての活用が期待されており，PLMが有する関係知識を評価する研究が行われるようになっている．PLMの保持する知識を評価する手法としては，関係知識を表現する穴埋め文（プロンプト，例:JohnLennonの出身国は[MASK]である）の空欄([MASK])のエンティティを言語モデルで予測するLAMAprobe[1]が用いられる．LAMAprobeでは，PLMの予測精度をもとに，モデルが有する知識の量を評価する．一方で，単一のプロンプトのみで関係知識の有無を評価すると，その結果はプロンプトの言語表現の些細な違いに予測精度が大きく変動することが報告されており[2,3]，言語モデルの知識ベースとしての有用性をより適切に評価する手法を確立することが期待されている．∗2024年4月より株式会社ELYZAに所属!"#$"%&'()*+,-./456789!:;<=<>?"@<=AB<C?"DEFGEH@ABCD%&EF6GH6+H6/6I.3G3!"#!$%&!"'()*+,%-.%/01%234-/35%67%83439!"#)*+,-./0!"#!$%:!'()*+,%-.%/01%3;<-9-./=3/->1%219/1=%67%83439?#$%&"#$'(@ABCD%:EF6GH6+H6/6I.3G3!"#$%123456789!:IJ<>@K?"@<=AB<C?"L<JAMH!"#!$!&!'()*+,%-.%/01%234-/35%67%J=3921*+&,)!"#$WX3%"NGJA<OPQNQ!"RST8UV86!"#$%&'()ベンチマークは，多様な事実プロンプトを活用して，LLMが持つ知識を精度，一貫性，信頼性の観点から評価する．本研究では，単一プロンプトに依存した関係知識評価ではPLMが有する知識を適切に評価することが困難であることを踏まえ，多様なプロンプトを用いたPLMの関係知識評価手法BELIEFと，その評価のためのデータセットMyriadLAMAを構築する．MyriadLAMAは，関係知識のタイプごとに人手で用意した少数の構文的・意味的に多様なプロンプトをもとに，大規模言語モデル（LLM,具体的にはGPT-4）を用いて大量のプロンプトを自動生成することで，半自動で多様なプロンプトを構築する．BELIEFは，精度，一貫性，信頼性の多角的な観点から知識評価を行い，PLMの知識想起能力をより包括的に分析することができる．本研究はLLMの評価に着目し，穴埋め文をLLMに適応できるように，in-contextlearning(ICL)を用いて評価を行う．実験では，Llama2[4]，Llama3[5]，およびPhi3[6]など，複数のLLMを対象として，異なるICL設定で知識評価を行った．評価結果に基づいて，LLMが事実知識の想起に対して，精度，一貫性，信頼性などの観点から事前学習における重要な要素を分析して，モデルサイズ，事前学習データの質と量，指示学習，使用する指示などが知識想起に与える影響とその傾向を明らかにした．.