多角的な評価から大規模言語モデルにおける事実知識の想起の要因分析

大規模テキストから学習した事前学習済み言語モデル(PLM)は，学習過程でテキストに含まれる関係知識を，暗黙のうちに獲得，保持することから，知識ベースとしての活用が期待されており，PLMが有する関係知識を評価する研究が行われるようになっている．PLMの保持する知識を評価する手法としては，関係知識を表現する穴埋め文（プロンプト，例:JohnLennonの出身国は[MASK]である）の空欄([MASK])のエンティティを言語モデルで予測するLAMAprobe[1]が用いられる．LAMAprobeでは，PLMの予測精度をもとに，モデルが有する知識の量を評価する．一方で，単一のプロンプトのみで関係知識の有無を評価すると，その結果はプロンプトの言語表現の些細な違いに予測精度が大きく変動することが報告されており[2,3]，言語モデルの知識ベースとしての有用性をより適切に評価する手法を確立することが期待されている．∗2024年4月より株式会社ELYZAに所属!"#$"%&'()*+,-./456789!:;<=<>?"@<=AB<C?"DEFGEH@ABCD%&EF6GH6+H6/6I.3G3!"#!$%&!"'()*+,%-.%/01%234-/35%67%83439!"#)*+,-./0!"#!$%:!'()*+,%-.%/01%3;<-9-./=3/->1%219/1=%67%83439?#$%&"#$'(@ABCD%:EF6GH6+H6/6I.3G3!"#$%123456789!:IJ<>@K?"@<=AB<C?"L<JAMH!"#!$!&!'()*+,%-.%/01%234-/35%67%J=3921*+&,)!"#$WX3%"NGJA<OPQNQ!"RST8UV86!"#$%&'()ベンチマークは，多様な事実プロンプトを活用して，LLMが持つ知識を精度，一貫性，信頼性の観点から評価する．本研究では，単一プロンプトに依存した関係知識評価ではPLMが有する知識を適切に評価することが困難であることを踏まえ，多様なプロンプトを用いたPLMの関係知識評価手法BELIEFと，その評価のためのデータセットMyriadLAMAを構築する．MyriadLAMAは，関係知識のタイプごとに人手で用意した少数の構文的・意味的に多様なプロンプトをもとに，大規模言語モデル（LLM,具体的にはGPT-4）を用いて大量のプロンプトを自動生成することで，半自動で多様なプロンプトを構築する．BELIEFは，精度，一貫性，信頼性の多角的な観点から知識評価を行い，PLMの知識想起能力をより包括的に分析することができる．本研究はLLMの評価に着目し，穴埋め文をLLMに適応できるように，in-contextlearning(ICL)を用いて評価を行う．実験では，Llama2[4]，Llama3[5]，およびPhi3[6]など，複数のLLMを対象として，異なるICL設定で知識評価を行った．評価結果に基づいて，LLMが事実知識の想起に対して，精度，一貫性，信頼性などの観点から事前学習における重要な要素を分析して，モデルサイズ，事前学習データの質と量，指示学習，使用する指示などが知識想起に与える影響とその傾向を明らかにした．.