大規模言語モデルはデータ漏洩を隠蔽できるのか

大規模言語モデル（LargeLanguageModel;LLM）の学習データは膨大で，その中身を全て確認することは困難である．しかし，学習データのフィルタリングが不十分であると，個人情報や著作物，ベンチマークデータなど，公にしたくないテキストが学習データに混ざり，データ漏洩のリスクが高まる．データ漏洩により，LLMによる個人情報や著作物の再生成[1,2]，LLMの性能の過大評価[3,4]などの問題が引き起こされる．与えられたテキストがLLMの学習データに含まれているかどうかを推定する手段として，メンバーシップ推論攻撃（MembershipInferenceAttacks;MIA）[5]がある．MIAは典型的に，検出対象となるテキストが漏洩している可能性を定量化したスコアを計算し，そのスコアを閾値と比較することで，学習データに含まれているか否か分類する[6]．MIAの従来手法は，文字の並びなどテキストの表層的な一致度に依存している[7,8]．ところが，LLMはテキストをその文字の並びの通りに記憶しているとは限を表す．らない[9]．そのため，表層的にはモデルが対象テキストを「忘却」していても，そのテキストの情報を「保持」できる可能性がある．本稿では，図1のようにMIAを回避しながら，LLMが対象テキストの知識を必要とするタスクに正解できてしまうことを報告する．本研究では，対象タスクを質問応答タスク（以降QAタスクと呼ぶ）とし，表層テキストをLLMに忘却させるアンラーニング手法[10]とQAタスクの性能維持のための対数尤度最大化を組み合わせたマルチタスク学習を提案する．提案手法の有効性を検証するために，背景情報付き質問応答データセットHotpotQA[11]を用い，背景情報内にある質問の根拠文をMIAから隠蔽しつつ，その根拠文に関するQAタスクの性能を維持できるか，実験を行う．その結果，提案手法は全ての実験設定において，根拠文をMIAで推論されないようにしつつ，ベースモデルよりも高い正解率で根拠文に関する質問を回答できた．ゆえに，従来のデータ漏洩検出手法はテキストおける文字の並びなどの表層情報の検出に留まっており，テキストで記述されている知識など，より抽象化・一般化された情報を検出するには，新しい手法が必要である．.