存手法はロバスト性や検出性能に違いはあるものの昨今，大規模言語モデル（LargeLanguageModels;[6]，検出対象の文が短い場合や[7]，人間が書く文LLM）が生成する文を検出する需要が高まっておと内容的に近い場合[8]に検出が困難になるというり，代表的な手法の一つに透かし（Watermark）が共通の課題がある．ある．生成文に埋め込まれた透かしトークンを調べ二つ目の生成文の検出されやすさを高める既存研ることで高性能な検出が可能な一方で，そのトーク究として，透かし（Watermark）[9]が代表的である．ンはランダムに選択されるため，その生成文の品質これは文生成過程において，ハッシュ関数によりラやタスク性能に課題がある．そこで，本研究ではンダムに選択された透かしトークンの生成確率を意LLMのタスク性能を維持したまま，そのLLMの生図的に増加させ，その生成文に多く出現させる手法成文を検出しやすくするフレームワークPUPPETをである．この手法は仕組み上，従来の教師あり検出提案する．具体的には，生成文に対して検出器とタ器や統計的な特徴量の違いに基づく検出器よりも検スク評価器の二つから報酬関数を設計し，LLMの出性能が高く，注目されている一方で，ハッシュ関強化学習を行う．評価実験の結果，我々のフレーム数によりランダムに選択されるトークンが文脈に合ワークで学習したLLMは文書要約タスクにおいて致しないと，文章の流暢性や下流タスクでの性能劣タスク性能を維持したまま，その検出が容易（再現化を引き起こすことが課題となっている[9,10]．透率6pt向上）となったことを確認した．かしは，一つ目の方向性で説明した短文や人間文と類似する機械文に対して検出率が低くなるという課

題に加えて，透かしの手法に生成器の学習が含まれLLMの普及に伴い，学生が課題への回答をLLMていないため，生成文の流暢性やタスク性能の劣化に生成させる，悪意を持った人物がLLMを用いてを抑えることができなかった．Wikipediaに虚偽の記事を投稿する[1]等の問題が見そこで本研究では，検出器が推定する各クラスられるようになった．こうしたLLMの不正利用を（機械文または人間文）の尤度を用いた検出器報酬防ぐ一つの手段として，人間が書いた文章（人間と，劣化を防ぎたい観点の評価メトリクス（評価器文）とLLMなどの生成器による文章（機械文）を報酬）を組み合わせた報酬を定義し，LLMの強化学識別する機械文検出タスクの重要性が増している．習を行うことで，タスク性能を維持したままLLM機械文検出には，１）機械文検出器の性能向上，の生成文を検出されやすくする，柔軟で強力なフ２）生成文の検出されやすさ向上，の二つの大きなレームワークPUPPETを提案する．評価実験の結方向性がある．一つ目の検出器の検出性能を高める果，機械文検出が難しいとされるタスクの一つであ既存研究として，様々なタスクに対するLLMの回る要約タスクにおいて，要約性能と文章の流暢性を答と人間による回答を学習データとして，RoBERTa維持しながら，検出されやすさ（再現率）を6ptほ[2]などの事前学習済みエンコーダを微調整する教ど向上させる学習に成功した．師あり検出器がある[3]．その他，人間文と機械文における尤度[4]やエントロピー[5]などの統計的―2791―.クエリLLM：𝜋𝜃Pleasesummarize[…]生成文①②Title:"GreatNorthSnowdogsraise£259,000forhospice”入力£259,000hasbeenraisedfrom[…]生成Content:Atotalof64snowdogs,[…]③入力⑥パラメータ更新：argmax𝔼𝑅𝑒𝑤𝑎𝑟𝑑−𝛾𝔻"#𝜋$|𝜋%&'!(