大規模言語モデルに対するサンプリングを活用したメンバーシップ推論攻撃

大規模言語モデル（LargeLanguageModels;LLM）の学習コーパスの規模が拡大するにつれ，GPT-4[1]やPaLM2[2]などの開発者は，組織の競争力を維持するため，学習データの準備や出典などの詳細の公表を控えるようになった．その結果，事前学習に用いた文書が分からないため，LLMが生成したテキストが剽窃にあたるか判断できず，著作権者および利用者の双方にリスクが生じうる[3]．更に，評価用のベンチマークがLLMの学習データに含まれる場合，モデルの性能を適切に評価できない[4,5,6]．本稿が取り組むタスクは，メンバーシップ推論攻撃（MembershipInferenceAttacks;MIA）[7]である．MIAタスクは，検出対象のテキストとモデルが与えられた際に，対象テキストがモデルの学習データに含まれていたかを判定するものである．一般に，モデルはデータに適合するように学習されるため，学習データに含まれるテキストは含まれないテキスト検出対象テキストThe2014G20BrisbanesummitwastheninthmeetingoftheG20headsofgovernment/headsofstate.ItwasheldinBrisbane,thecapitalcityofQueensland,Australia,on15–16November2014.The2014G20BrisbanesummitwastheninthmeetingoftheG20headsofgovernment/headsofstate.ItwasheldinBrisbane,thecapitalcityofQueensland,Australia,on15–16November2014.!statethatwasheldattheSummitGroundsinBrisbane,Queensland,Australia,fromNovember16–17,2014.Primeministersandpresidentsof20countriesattendingthesummit,一致度＞閾値✅学習済⁝参照テキスト候補テキストプレフィックスよりも高い尤度を示す[8,9]．MIAの既存研究はこのアイディアに基づくため，モデルの尤度が計算できることを前提としており[8,10,11,12,13]，尤度を提供しないモデルには適用できない．一方，尤度を出力できるモデルの多くは学習データが公開されており[14,15,16]，MIAを使わずとも対象テキストが含まれるかを直接確認できる．そのため，MIAを適用したい対象は学習データが非公開のモデルであるにも関わらず，そのようなLLMの多くは尤度を出力しないため[1,2,17,18]，MIAを実際に利用できる場面が限られている．本稿では，尤度に依存しないMIAとしてサンプリングベース・メンバーシップ推論攻撃（Sampling-basedMembershipInferenceAttacks;SaMIA）を提案する．学習データが検出対象を含む場合，LLMは学習した正解テキストをそのまま出力すれば良いため，対象テキストと生成されたテキストは表層の一致率が高い[10,19]．図1はSaMIAの具体的な検出手順を示している．対象テキストの冒頭部分をLLMに与え，その続きをサンプリングにより複数生成する．そして，生成された系列を候補テキス.ト，対象テキストの先頭以降の系列を参照テキストとみなし，それらのテキストの単語の一致度合を計算する．一致度合が閾値以上であれば対象テキストがLLMに学習されたと判定する．SaMIAの有効性を検証するため，事前学習済みモデルに対し，本手法の検出性能を既存手法と比較した．その結果，ROUGE-1[20]とzlib圧縮エントロピー[21]を併用した提案手法は尤度を利用していないが，既存手法と肩を並べる性能を発揮し，特に長いテキストを対象とした検出で高い性能を示した．分析では，グラム長，候補テキストの数，検出対象のテキスト長がSaMIAの性能に与える影響を調査した．SaMIAの性能は単語ユニグラムのときに高く，候補テキスト数の増加に伴い改善され，テキストが長いほど効果的であるという知見が得られた．