機械文としての検出されやすさと文章の品質は両立する

大規模言語モデル(LLM)の生成文に透かしトークンを埋め込むWatermarkは，LLMによって生成された文を高い精度で検出できる．しかし，LLMが計算するトークンの予測確率分布を操作するため，検出性能とタスク性能とのトレードオフが問題視されてきた．本研究では，LLMの被検出性能とタスク性能を同時に最適化する学習フレームワークD-PUPPETを提案する．評価実験の結果，D-PUPPETを適用したLLMはLong-FormQA，要約，エッセイ生成において被検出性能とタスク性能が共に向上し，その向上はタスクを超えて汎化しうることを確認した．本結果は，被検出性能とタスク性能のトレードオフが十分な最適化によって緩和できることを示唆する．さらに，トレードオフが報告されていた既存のWatermark手法についても適切な設定下においてはタスク性能を維持可能であることがわかった．