大規模言語モデルはデータ漏洩を隠蔽できるのか

特定の文章が機械学習モデルの学習に漏洩しているかを推論する手法として，メンバーシップ推論攻撃（MIA）がある．大規模言語モデル（LLM）に対するMIAでは，文字の並びなどの表層情報を利用するが，LLMはテキストをそのまま記憶しているとは限らない．本稿では，テキストの忘却と質問応答タスクの学習を同時に行うことで，LLMにテキストの文字の並びを忘却させながら，その知識を保持できることを報告する．すなわち，MIAの成功率を低減しながら，関連知識についての質問応答の性能を維持できる．この知見は，たとえテキストがMIAで推論されなくても，その知識をLLMが隠蔽できている可能性があると警鐘を鳴らすものである．