心理測定テストに関するLLMのメタ知識の検証

大規模言語モデル(LLM)に対する心理測定テストにおいて、LLMに内在するメタ知識が測定結果に与える影響を検証するため、ビッグファイブ理論に基づくIPIP-NEOに関するケーススタディを行う。本論文では、LLMに対するIPIP-NEOテストの実施、LLMの訓練時におけるIPIP-NEOデータセットの混入の検証、LLMのIPIP-NEOに関するメタ知識の理解度の検証を行う。検証した3種のモデルに関して、性格の指示に対する敏感さが明らかになり、データセットの混入も確認された。また、3種のモデルのメタ知識への理解度の傾向が確認された。