心理測定テストに関するLLMのメタ知識の検証

大規模言語モデル(LargeLanguageModel;LLM)はさまざまな文脈で人間に似た振る舞いを示す。特に、特定の振る舞いや性格を模倣するようにLLMにプロンプトで指示を与えることで、ユーザーが意図した特性をLLMに与えることができる。このような特性を利用して、LLMをエージェントとして扱うことで、被験者実験における人間の参加者をLLMで代替できる可能性に注目が集まっている[1,2]。LLMがユーザーが指示した性格特性を反映しているかを確認する簡便な手段として、LLMに人間向けの心理測定テストを受けさせるという手法が採用されてきた[3,4,5]1）。LLMは、事前学習時に様々な性格特性を示す人々が書いたテキストを読むことで、多様な性格特性を反映させる能力を獲得することが期待される。しかし、事前学習に使用されるテキストには、心理測定テスト自体に関する議論が含まれている可能性が高く、そうしたテキストを通じてLLMが心理測定テストに関するメタ知識を獲得する可能性も高い。このメタ知識がLLMの心1）LLMに対する心理測定テストの有効性を疑問視する報告もある[6]。理測定テストの結果にどのように影響するかは不明である。本論文では、LLMに内在する心理測定テストのメタ知識がテストの結果に与える影響を検証するため、IPIP-NEO[7,8]に関するケーススタディを行う。IPIP-NEOとは、ビッグファイブ理論という人間の性格を5つの主要な特性で説明する心理学の理論に基づいた心理測定テストである。まず準備として、3種類のモデルに対してIPIP-NEOテストを行い、指示に基づく性格特性の模倣の様子を観察する。次に、2種類の検証を行う。第一に訓練時におけるIPIP-NEOデータセットの混入の有無を3種類のモデルで検証する。第二に、IPIP-NEOとビッグファイブ理論の対応関係をLLMに答えさせ、両者に対するLLMの理解度を測る。実験の結果、検証した3モデルすべてが性格に関する指示に敏感に反応すること、そしてIPIP-NEOデータセットを訓練時に読んだことが確認された。また、各モデルのビッグファイブ理論およびIPIP-NEOに対する理解度の現状を把握することができた。今後は、IPIP-NEOとビッグファイブ理論に対するLLMの理解度を下げた状態を実現し、その状態でのテストの結果をもとの結果と比較することで、メタ知識の影響をより直接的に検証したい。