機械生成文検出とメンバーシップ推論は相互に転移可能

大規模言語モデル(LLM)は，人間に匹敵する文生成能力と文理解能力を示し，幅広い分野での利用が進んでいる．一方で，LLMが訓練データの記憶によって個人情報や機密情報[1]，著作物[2]を漏洩するリスク[3]があり，またLLMを用いたプロパガンダ生成[4]や学術分野での剽窃[5]など，文の真正性にも課題が生じている．これらの問題に対処するため，さまざまな研究が進められている．MIAは，ある文が言語モデルの訓練データに含まれるかどうかを判定するタスク[6]であり，LLMによる個人情報や著作物の漏洩の可能性を精査する．一方で，機械文検出は，人間が書いた文と機械が生成した文を識別するタスク[7]であり，誤情報の拡散や学術的不正の抑止に寄与する．両タスクは目的が異なるものの，いずれも言語モデルの確率分布に基づく指標で判定を行う．MIAで∗二人の著者は本稿に等しく貢献した．本稿は第一著者がペンシルバニア大学滞在中に実施した．1）https://github．com/ryuryukke/MINT先端の検出手法）による，両タスクでの予測スコア分布．網掛け部分はcross-task設定を指す．両手法は別々のタスクで提案されたにもかかわらず，そのスコア分布はきわめて類似しており，高い転移性を示唆する．は学習データ中の文ほど高い尤度を示し，機械文検出でも機械文が高い尤度を示す傾向があり，尤度やエントロピーが共通のベースライン指標として用いられる．さらに，NeighborhoodAttack[8]（MIA手法）とDetectGPT[9]（検出手法）は本質的に同一であることが指摘[10]されており，どちらも文への摂動を通して文群の確率曲線を推定する．図1でも，両タスクにおける両手法の予測スコア分布に顕著な類似性が確認できる．しかし，両タスクは独立に研究されており，一方で得られた強力な手法や知見が他方で十分活用されていない可能性がある．これを踏まえ，本稿では，MIAと機械文検出の間の「転移性」，つまり一方のタスクで提案された手法が他方でもどの程度有効に機能するかを，理論的および実験的に検証する．理論的には，両タスクにおいて漸近的に最適な性能を達成する指標が「対象モデル分布と真の母集団分布との尤度比検定」で同一であることを示す（§2）．さらに，多くの既存手法がこの最適指標の近似として統一的に捉えられ，効果的に近似する手法は高い転移性を持ち，両タスクで高い性能を発揮する，という仮説を提示する．実験では，7つのMIA手法および5つの検出手法を対象に，13のドメインおよび10の生成モデルにわたる大規模評価を実施した（§3）．両タスクにおける各手法の性能順位の相関を分析した結果，一方のタスクで高性能な手法は他方においても高性能とThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).