大規模言語モデル(LLM)の生成文に透かしトークンを埋め込むWatermarkは，LLMによって生成された文を高い精度で検出できる．しかし，LLMが計算するトークンの予測確率分布を操作するため，検出性能とタスク性能とのトレードオフが問題視されてきた．本研究では，LLMの被検出性能とタスク性能を同時に最適化する学習フレームワークD-PUPPETを提案する．評価実験の結果，D-PUPPETを適用したLLMはLong-FormQA，要約，エッセイ生成において被検出性能とタスク性能が共に向上し，その向上はタスクを超えて汎化しうることを確認した．本結果は，被検出性能とタスク性能のトレードオフが十分な最適化によって緩和できることを示唆する．さらに，トレードオフが報告されていた既存のWatermark手法についても適切な設定下においてはタスク性能を維持可能であることがわかった．

LLMが生成する文は，人間が読んだだけでは人間が書いた文と見分けが付かないほど高品質なものになりつつある[1]．これを踏まえ，LLMの悪用防止やデータの出自追跡のため，LLMが生成する文を検出することの需要が高まっている．機械文検出は人間が書いた文（人間文）とLLMが生成した文（機械文）を分類するタスクであり，両者の出力分布の違いに基づいて識別を行う[2]．Watermark[3,4]は，LLMの文生成時にトークンの予測確率分布にバイアスを加え，検出の手掛かりとなる透かしトークンを混ぜることで，高精度な検出を実現する．一方，そうした手法はLLMのトークン出力分布を操作するため，検出性能と生成文の品質（タスク性能）の間でトレードオフが生じる点が問題視されている[5,6,7,8]．しかし，既存手法は検出性能を重視した生成規則に基づいており，両性能を同時に最学習セットQ検出器スコア（機械文らしいか）S検出器=p(機械文|tj)j③採点検出器クエリq評価器スコア（よく解けているか）①入力S評価器=metric(tj)j評価器④標準化和学習対象のLLMπSj=z(S検出器)+z(S評価器)jj⑤ペアリング⑥DPO②生成選好学習セットD両性能を改善生成文t1,…,tk選好ペアd適化する設計にはなっていない．そのため，報告されているトレードオフが不可避なものかは検証されていない．本研究では，LLMのタスク性能を維持したまま，その生成文を機械文として検出されやすくする学習フレームワークD-PUPPETを提案する．具体的には，検出器とタスク評価器を用い，生成文に対する機械文クラスの尤度とタスク評価値の二つを報酬としてLLMに強化学習を行う．評価実験の結果，D-PUPPETを適用したLlama-3-8B-Instruct[9]とQwen-3-8B[10]では，Long-formQA，要約，エッセイ生成において，従来問題視されていたトレードオフが緩和されるだけでなく，検出性能とタスク性能の両方が向上した．また，これらの性能向上はタスクを超えて汎化する可能性があることも確認した．さらに，分析では，既存のWatermark手法(KGW[3]，SynthID[4])についても，適切な生成設定を選択することで，トレードオフを緩和できることを示した．本結果は，これまで報告されていたWatermark手法のトレードオフが探索の不十分さに起因していたことを示しており，十分な探索によって高い検出性能とタスク性能が両立する可能性を示唆する．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).される．最後に，これら二つのスコアをそれぞれ𝑘個内で標準化𝑧(·)したのちに足し合わせたものを生成文𝑡𝑗に対する最終的なスコアとする.𝑆𝑗=𝑧(𝑆検出器𝑗)+𝑧(𝑆評価器𝑗).こうして得られたスコア𝑆𝑗に基づいて，クエリ𝑞に対する選好ペア𝑑=(𝑞,𝑡𝑗+,𝑡𝑗−)を構築する．ここのペアリングは様々な設計が可能であるが，本研究では最大の報酬を持つ生成文を正例，最小の報酬を持つ生成文を負例とした．𝑗+=argmax𝑗∈{1,...,𝑘}𝑆𝑗,𝑗−=argmin𝑗∈{1,...,𝑘}𝑆𝑗.D-PUPPETでは，以上のように構築した選好学習セット𝐷:={𝑑|𝑞∈𝑄}を用いて，モデル𝜋に対してDPO(DirectPreferenceOptimization[19])を行い，検出性能とタスク性能を同時に最適化する．4実験設定本章では，D-PUPPETの有効性検証に用いた「データセット」「学習対象LLM」「検出器」「評価器」を紹介する．さらに詳細な学習や評価の設定については付録Aを参照されたい．データセット𝑄データセットには次の3つを採用した．1.ELI5[20](Long-FormQA)，2.Multi-News[21]（複数記事要約），3.OUTFOX[22]（エッセイ生成）．全てのデータセットについて，学習セットから5,000件，評価セットから200件を乱択し，それぞれ学習と評価に用いた．学習対象LLM𝜋学習対象のLLMによる影響を調べるため，モデルのアーキテクチャや学習データの構成などといった設計思想の異なる二つのLLM，Llama-3-8B-InstructとQwen-3-8Bを採用した．検出器先行研究[16,17]で高い検出性能が報告されているOpenAIDetector[12]を採用する．検出性能の評価指標としてはAUROCを用いる．評価器タスク評価値の特徴による影響を調べるため，ELI5とMulti-Newsについては記号的情報により計算されるROUGE-L([0,1])，OUTFOXについては意味的情報が考慮されるLLM-as-a-Judge([0,5]，0.5刻み）を用いる．5結果能およびタスク性能の変化を示した．この結果から次の二つのことがわかる．Llama-3-8B-Instruct1.00final=0.998SynthID=0.9910.99KGW=0.9810.98AUC0.970.96D-PUPPETKGWSynthID0.95init=0.947LLM-as-a-Judge4.05final=4.0354.00init=3.9703.95KGW=3.9453.903.85SynthID=3.842010002000300040005000た学習時の検出性能とタスク性能の推移．まず，学習したタスクと同じタスクで評価をした結果から，検出性能とタスク性能の両方が概ね全てのケースで改善しており，学習前に比べてそれぞれ最大で21%，13%の向上が確認できた．本結果はD-PUPPETが先行研究で問題視していた両性能間のトレードオフを効果的に緩和したことを表す．次に，学習したタスクと異なるタスクで評価をした結果から，学習していないタスクについても両性能の向上が見られ，学習前に比べてそれぞれ最大で21%，9%の向上が確認できた．本結果はD-PUPPETがタスク間で汎化する可能性を示唆する．6分析6.1D-PUPPETに必要な学習サンプル数本分析では，D-PUPPETの実用性を検証することを目的として，本手法でLLMの被検出性能とタスク性能を十分に高めるために必要な学習サンプル数を調査する．8B-InstructをD-PUPPETで学習させたときの，500サンプルごとの両性能の推移を示す．まず被検出性能の推移は，1,000サンプルで既存のWatermark手法の検出性能をいずれも超え，2,000サンプルあたりで値が飽和していることがわかる．次にタスク性能の推移は，未学習の点から緩やかに上昇をしており，特に1,000サンプル目以降は伸びは僅かであることがわかる．この観察から，D-PUPPETの学習には多くとも2,000件程度の学習サンプルがあれば被検出性能とorg/licenses/by/4.0/).Llama-3-8B-InstructQwen3-8BELI5Multi-NewsOUTFOX平均ELI5Multi-NewsOUTFOX平均WatermarkCTR-LAUCR-LAUCJdg.AUCPerf.AUCR-LAUCR-LAUCJdg.AUCPerf.AUC–w/0.229–0.265–3.970–0.429–0.245–0.240–4.360–0.452–KGWw/o0.235†0.9980.251‡0.9953.685‡0.9890.4080.9940.2480.9950.230‡0.9973.788‡1.0000.4120.997SynthIDw/o0.239†0.9750.2600.9843.695‡0.9970.4100.9850.251†0.9480.226‡0.9763.928‡0.9960.4240.973KGWw/0.233†0.9950.2680.9723.9450.9810.4300.9830.2450.9950.2390.9984.3730.9880.4530.994SynthIDw/0.235†0.9480.2650.9653.843‡0.9910.4230.9680.2460.9450.2420.9804.3400.9760.4520.967LLM-as-a-Judge，Perf.：タスク性能．太字：各モデル・各指標の最良値．平均算出時には各指標を0–1に正規化．†，‡：Watermarkなしの設定（–）に比べた優位な改善／劣化（平均以外のタスク性能について𝛼=0.05のPairedT検定を実施）．タスク性能を十分に向上できることが示唆された．一般的にDPOが数十万件オーダーの学習サンプルを要する[23,24]ことを考慮すると，2,000件は非常に小さい規模であり，D-PUPPETが実用的な手法であることが示唆された．6.2WatermarkのトレードオフWatermarkを適用すると文の品質が低下する，というトレードオフを主張する既存研究では，多くの場合，その品質を測る指標として尤度のみが用いられている[3,6,4]．さらに，ROUGE-Lなどのタスク指標を用いている場合であっても，評価対象のモデルが古い（例：T5[25]，Llama2[26]），あるいは事後学習済みモデルにチャットテンプレートが付与されず，学習時と異なる設定で評価されている[8,5,7]．そこで本分析では，比較的新しいLlama-3-8B-InstructおよびQwen3-8Bを対象に，チャットテンプレートを正しく付与した設定で，トレードオフが存在すると報告されているWatermark手法を再検証する．調査対象のWatermark手法としては，検出アルゴリズムの異なる2手法，KGWとSynthID，を採用した．なお，Watermarkの実装にはMarkLLM[27]を利用し，チャットテンプレートの適用に関する部分のみを改変した．ク性能の変化を，チャットテンプレートの有無ごとに示した．まず，既存研究で使われていたチャットテンプレートを付与しない設定に着目すると．検出性能は0.948から最大で1.000と非常に高いことが分かる．一方，タスク性能はWatermarkを適用していない時と比べてほとんどのケースで優位に劣化していることが分かり，最大で13%劣化している．ここで，チャットテンプレートを正しく付与した設定に着目する．平均の検出性能はチャットテンプレートを付与していないときにわずかに劣る．しかし，タスク性能はWatermarkを適用していない時に比べて優位な劣化が概して見られないことがわかる．以上から，従来の研究で問題視されていたKGWとSynthIDにおける検出性能とタスク性能のトレードオフは，最新のモデルにチャットテンプレートを正しく付与させた上で生成させることによって効果的に緩和できることがわかった．ここで，D-PUPPETはタスク性能を学習の対象に含めていることから，トレードオフが緩和されたKGWとSynthIDと比べても平均タスク性能が高いことは留意されたい．7結論本研究では，検出性能とタスク性能を同時に最適化するような探索を行うことにより，既存研究で問題視されていた両者間のトレードオフを解消することを目標とし，検出器報酬と評価器報酬を用いた学習フレームワークD-PUPPETの有用性を検証した．評価実験から，D-PUPPETを適用することによって，品質を保持させたまま機械文として検出されやすい生成文を書くように，LLMを学習できることを確認した．さらに，この学習の効果がタスクを超えて汎化する可能性があることを確かめた．また，検出性能とタスク性能の間でトレードオフがあると報告されていた既存のWatermark手法について，チャットテンプレートが正しく付与された最新のモデルについてはタスク性能が劣化しないことを発見した．これらの知見はこれまでトレードオフの関係にあるとされてきた検出性能とタスク性能を同時に最適化できる可能性を示唆するものであり，実用的な機械文検出の開発に大きく寄与すると期待している．org/licenses/by/4.0/).