トークン分割に起因する分散に基づくトークンベースのメンバーシップ推論の解釈

大規模言語モデルの実用化が進むにつれ，訓練データのメンバーシップ推論（MembershipInferenceAttack;MIA）への注目度が高まっている[1]．古典的な手法として「モデルが訓練データに対して低い損失（高い予測値）を示す」ことに注目したLOSS[2]があり，損失をもとに特定のサンプルが訓練セットに含まれるかを予測する．その後より強力な手法として，トークン単位の予測値のうち下位𝐾%を抽出して用いるMin-K%Prob[3]が登場し，𝐾=10で高いMIA性能を示すと報告された．このトークン絞り込みは「訓練データでは予測値が低いトークンはほとんど含まれず，訓練データ以外では一定数含まれる」という仮定に基づき，2群の違いを強調する．この流れは発展を続け，派生手法も複数提案されている[4,5]．既存の取り組みは実証研究が中心で，理論的説明は十分に与えられていない．英語での実証的知見としては，MIAの性能といった大規模言語モデルの暗記が文字列の重複・モデルサイズ・文脈長に関連すると報告されている[6,7]．これらの知見は日本語∗株式会社日本経済新聞社での業務委託で必ずしも再現していないが，その理由を考察するための枠組みは存在しない．特にMin-K%Probについては，𝐾が小さいほど，または文脈長が小さいほど性能が劣化するといった英語と異なる現象が確認されている[8,9,10]．本研究では，MIAにおける代表的な性能指標であるAUCが，サンプル集合に対するスコアの分散に依存するという古典的な知見を再検討する（§3.1）．一般に平均値の差が同一であっても，分散が増大するとAUCは低下することが知られている[11,12]1）．更に本研究では，この分散が言語ごとに異なるトークン分割の細かさに起因すると仮定し（§3.2），実験的に検証する（§4）．加えて，本研究で提示した理論的枠組みに基づき，既存研究を再解釈する（§5）．我々の知る限り，トークンベースのMIAに対して，言語間の性能差を含めた理論的説明を与える試みは本研究が初めてである．