言語処理学会 第30回年次大会 発表論文集（2024年3月）

検出器の判断に基づく大規模言語モデルの生成テキストの特徴分析
三浦 東子 1 谷口 雅弥 2 坂口 慶祐 1,2 乾 健太郎 1,2,3
1 東北大学2 理化学研究所
3 Mohamed bin Zayed University of Artiﬁcial Intelligence
miura.toko.r8@dc.tohoku.ac.jp, masaya.taniguchi@riken.jp{keisuke.sakaguchi, kentaro.inui}@tohoku.ac.jp

概要
本研究では，大規模言語モデル (LLM) が生成するテキスト (LLM-text) の特徴をヒトが書いたテキスト(human-text) との比較から明らかにする．エッセイを対象に 2 つの実験を行った. 1 つ目は human-text とLLM-text から LLM-text を分類する実験，2 つ目は，LLM-text に改変を加えることで LLM-text の検出を妨害する実験である．1 つ目の実験から LLM-textに固有の特徴があることを示した．さらに 2 つ目の実験から，その特徴が「単語の連なりの滑らかさ」であることを示した．そして，この他の特徴をLLM-text が備え得ることや， LLM-text の特徴の軽減と human-text の特徴の付加について今後の課題として議論する.

1

はじめにするためには，生成テキストから LLM らしさを除去する必要がある.
以上で挙げた，検出器の頑健性向上および生成テキストの違和感の軽減は，互いに対立する課題である．なぜなら，検出器は LLM らしさを捉えることで生成テキストを検出するため，生成テキス
トから LLM らしさを除去することは検出器に対する攻撃となるからである．ヒトが書くテキスト(human-text) と LLM が生成するテキスト (LLM-text)の違いを明らかにすることは，この対立する 2 つの課題の両者への貢献となる.
したがって本研究では human-text と LLM-text の違いの解明を最終的な目的とし，この達成のために，human-text と比較して得られる LLM の特徴の解明に取り組む．

2

近年の大規模言語モデル（LLM）の性能が向上したことで，日常の多くの場面で LLM が利用されるようになった．一方で LLM を制限すべき状況でのLLM の利用や，ユーザーが生成テキストに対して感じる違和感の解消が課題となっている．
教育現場は LLM を制限すべき状況の一つである．
試験問題や課題に対する正確な回答や流暢なエッセ
イ，および正常に動作するコードを簡単に生成できるため，回答にかかる時間を大幅に削減することが可能になった．しかしこの利点が学生の学習過程の簡略化に繋がり，得られる経験や知識が減少することが懸念された．この例をはじめとした LLM 乱用を抑制するために，生成テキスト検出器の開発が進められた．一方，攻撃に対する検出器の脆弱性も確認されており，今後の攻撃手法や LLM の発展に合わせて検出器の頑健性向上に努める必要がある.
LLM は対話モデルとしても利用される．企業の自動応答やロボットの発話内容をより自然なものに関連研究

現在，LLM-text と human-text の区別は人にとって難しいタスクであることが報告されている [1].
人 の 感 覚 に 頼 ら ず に LLM-text を 判 別 す る こ と の必 要 性 か ら，様 々 な 検 出 手 法 が 研 究・開 発 さ れた．代表的な検出手法として，LLM の出力に埋め込んだ透かし (Watermark) を検出する Watermarking
Technology [2]，LLM の 統 計 的 特 徴 を も と に 検 出
す る Zero-shot Detectors [3]，human-text と LLM-textを学習する Fine-tuned LM Detectors [4]，human-text，LLM-text，および検出器の評価をもとに Attacker が生成したテキストを学習する Adversarial Learning
methods [5]，誘 導 す る た め の プ ロ ン プ ト を 使 い，LLM を検出器として利用する LLMs as Detectors，人と機械のそれぞれによる分類結果を統合して検出す
る Human-assisted methods [6] が挙げられる．
また LLM-text と human-text の統計的な特徴の違いについての研究も行われた．その結果，特定の品詞を含む割合の違いや，LLM-text と比べた human-text― 3280 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

の語彙の豊富さ，単語同士の依存関係の距離が長さして下記の検証を行う．の違い，などの知見が集まった [7][8]．このような• word-level paraphrase に対する脆弱性を調べ， 同コーパスおよび長文を対象とした分析が進む一方義語置換により単語の滑らかな連なりを崩すこで，比較的短い文章に現れる特徴の分析は未だ不十とが検出の妨げになることを示す．

分である．語彙や品詞の統計的な特徴の計算には大• 文脈内学習により生成した敵対的テキストに対量の文書が必要となるため，検出器が検出時に利用する頑健性を調べる．攻撃による精度低下が見することが難しい．したがって，本研究では比較的られない場合，LLM は不自然な単語の連なり短い文章から得られる特徴を対象に研究を行う．

を生成できないことが言える．

3
3.1

実験

• sentence-level paraphrase に対する脆弱性を調べ，仮説: 単語の連なりの滑らかさ出器に与える影響を明らかにする．検出精度が複数の LLM が生成した文が混ざった文章が検低下しない場合，検出器は文の連続の滑らかLLM-text の特徴の候補として，「単語の連なりのさ，および意味的な滑らかさを考慮しないこと滑らかさ」を挙げる. この特徴を挙げる理由は 2 つある. 1 つは，DetectGPT [3] の提案手法が有効なことである．DetectGPT は生成テキストを検出する手法の一つであり，human-text を書き換えた場合，元の文に比べて対数確率が増加することも減少することもあるが，ほとんどの LLM-text では，書き換えによって対数確率の低下のみが起こるという現象を利用している．つまり，LLM-text が対数確率が最も高くなるような単語の連なりであることを利用した手法であると言える．DetectGPT は高精度で LLM-textを検出できることから，連続する単語の並び方の滑らかさが LLM-text の特徴となっていることが示唆される．
も う 1 つ は，単 語 レ ベ ル の 言 い 換 え に 対 す る
検出器の脆弱性である．ここで，単語レベルの言い換え (word-level paraphrase) は文中の一部の単語を 同 義 語 で 置 換 す る こ と を，文 レ ベ ル の 言 い 換
え (sentence-level paraphrase) は文章中の一部の文を意 味 の 似 た 文 で 置 換 す る こ と を 指 す．検 出 器 はが言える．

3.3

実験対象: エッセイコーパス

イギリスの大学生 (学士課程及び修士課程）が書いた 4 分野（AH: 人文科学，LS: 生命科学，PS: 物
理科学，SS: 社会科学）のエッセイを集めたコー
パス: BAWE (British Academic Written English Corpus[10]) を用いる. 検出器は与えられたエッセイを，人が書いたもの (human) か LLM が生成したもの (LLM)
かの 2 値に分類した．以降，LLM に分類した場合を「検出した」と言う．学習したドメイン (In-domain)と未知のドメイン (OoD: Out-of domain) を比較する
ため，学習には AH を使い，その他の分野 (LS，PS，SS) を OoD として検出器のテストに用いる．データの分割は，学習 : 検証 : テスト = 8 : 1 : 1 とし，さらに，文脈内学習のため，AH のテストデータから10 エッセイ (human:5，LLM:5) を除く．したがってデータの構成は表 1となる.

word-level paraphrase に対して脆弱であることが確認

表 1 データセットの構成

されている [9]. これは，単語が置換された部分で，ドメイン単語の滑らかな連なりが切断されたことが原因で検出が困難になったものと考えられる．
以上の推測を元に，「単語の連なりの滑らかさ」がLLM-text の特徴の 1 つであるという仮説を立てた．

3.2

学習

検証テスト

In-domain 1130

138

132

OoD-418-LLM-text の 生 成 に は GPT-3 (gpt-3.5-turbo1106 [11]，temperature=0.7) を 利 用 し，以 下 の 手 法

実験方針: LLM-text の特徴の同定「単語の連なりの滑らかさ」が LLM-text の特徴の1 つであるという仮説を確かめる.
はじめに，実験 1 において非敵対的テキストに対して高精度な検出が可能なモデルを構築する．その後，実験 2 において，実験 1 で構築したモデルに対で生成する.
まず，BAWE 内のエッセイの冒頭 250 単語を元に題目を生成する（プロンプトは付録 A.1）．その後，生成した題目を元にエッセイを生成する．これにより，BAWE 内の 1 エッセイ (human-essay) に対して 1つの生成エッセイ (LLM-essay) が存在することにな― 3281 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

る（プロンプトは付録 A.2）．

3.4

文脈内学習による検出性能の低下は見られなかった. この結果から，LLM は敵対的なテキストを生成実験設計: LLM-text の検出と攻撃するように誘導するプロンプトを用いた場合であっ検出器として BERT (bert-base-uncased) [12] を利用し，以下の実験を行う．ても不自然な単語の並びを生成することはできないということが言える．つまり単語の並びの滑らかさ

実験 1 では，検出器を In-domain (AH) で訓練し，は，現状における LLM が自ら変えることのできなOoD (LS，PS，SS) でテストを行う (ハイパーパラい特徴であることが考えられる. さらに，生成モデ

メータは付録 B)．

ルが認識する「LLM らしさ」と，本研究において実 験 2 で は，訓 練 し た 検 出 器 に 対 し て 各 種 攻

BERT が学習した「LLM らしさ」の間に違いが存在

撃 を 行 い，攻 撃 に よ る 検 出 精 度 の 変 化 を 観 察 すすることも示唆された．ここで用いた手法は LLMsる．攻撃手法は，(1) Parrot [13] による LLM-text のas Detectors の 1 例の OUTFOX [15] を参考にしたもsentence-level paraphrase，(2) NLTK [14] による LLM-のであり， OUTFOX は攻撃者と検出器の両者をプ

text の word-level paraphrase，(3) GPT-3 による文脈内ロンプトにより実現する．論文中ではこの攻撃が，学習，の 3 パターンである. Parrot は T5 ベースのモデルであるため，(1) は文章に異なる LLM が生成しプロンプトベースの検出器に対して十分な効果を発揮したことから，プロンプトベースの検出器とファた文を混ぜること同義である．言い換えによる攻撃

インチューニングによる検出器の間で LLM-text のは，各エッセイに対し，(1) は語彙の 40%を，(2) は特徴の認識に違いがあると捉えることができる.

文の 50%を対象に行った．(3) では，非敵対的生成時に利用した題目と，検出器が human と予測したエッセイを利用する（プロンプトは付録 A.3）．

4

結果・考察

4.1

実験 1: LLM-text の検出

5

分析

5.1

語彙の影響と文章の構成の影響

実験により，OoD では検出精度が In-domain に比べて低いことがわかった．OoD での性能低下には，分野特有の語彙や，特定の単語の並び・文の構成が結果を表 2に示す．正解率 (accuracy) は In-domain，影響した可能性がある．この影響について論じるた

OoD ともに 90%を超え，OoD では In-domain に比べめに，エッセイ中の単語・文をランダムに並べ替えて 0.0518 point 低い値となった. 予測の誤りは全て偽た場合の検出精度を調べた．

陽性 (FP) であり，偽陰性 (FN) は 0 であったことか

表 4より，単語を並べ替えた場合には，全てのサら，検出器は人が書いたエッセイを誤検出する傾向があること，そして OoD ではこの傾向が顕著になンプルが LLM ではないテキストであると予測された. In-domain と OoD で共に正しい検出が不可能にることが予想される.

なったことから，検出器は特定の単語ではなく単語の並びを手がかりに判断していると考えられる.

表 2 In-domain と OoD に対する検出精度

FP

文を並べ替えた場合には FP (誤検出) が減少した

test domain

accuracy

FN

In-domain

0.984820が検出精度を下げることは無かったものの，精度へOoD

0.933080の影響自体は存在したことから，OoD における検出が，FN (見逃し) の数に変化はなかった．並び替え

精度低下には LLM-text における分野特有の文の構

4.2

実験 2: LLM-text 検出器への攻撃成が存在することが考えられる．しかし単語の場合結果を表 3に示す．word-level paraphrase は偽陰性の 数 を 大 き く 増 加 さ せ た の に 対 し，sentence-level
paraphrase の検出精度への影響は僅かであった. これは，同義語置換により単語の滑らかな連なりを崩すことが検出の妨げになること，そして検出器は文の連続の滑らかさ，および文同士の意味的な繋がりをあまり考慮しないことを意味する．に比べて誤検出・見逃しの大きな増減が無かったことから，文の並びの滑らかさが与える検出への影響は比較的小さいことがわかった．
また両結果における誤検出の減少と見逃しの増加から，単語や文の並びが不自然になった文章を，LLM が生成したものでは無いものと判断する傾向にあることが考えられる．特定の単語の並びについ― 3282 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 攻撃に対する検出精度

test domain

attack method

accuracy

FP FN

In-domain
OoD

5-shot learning
5-shot learning

0.9848 (–)
0.9330 (–)

22800In-domain

sentence-level paraphrase

0.9848

(–)

20

OoD

sentence-level paraphrase

0.9430(↑ 0.0100)

270In-domain

word-level paraphrase

0.7535 (↓ 0.2313)

233

OoD

word-level paraphrase

0.7799 (↓ 0.1531)

28

64ては今後調査する．
表 4 word/sentence level のシャッフルに対する検出精度
level

test domain

accuracy

FPFN

word
word

In-domain
OoD

0.50000.50000066209sentence
sentence

In-domain
OoD

1.0000.9833

06005.2(↑ 0.0152)(↑ 0.0503)

図2

入力単語数と検出精度

図 1に入力単語数と正解率の関係を示す．正解率は 1〜20 単語にかけて急激に上昇したが，20 単語以降は伸びが緩やかになった．In-domain と OoD において共に 90%を超えるためには 120 単語の入力を必要とした．

単語レベルの言い換えの割合と検出精度の関係るための方法の一つであることを示した．しかしこの方法の中には，文章中の単語をただランダムに並べ替えるなど，同時に人らしさをも失う崩し方が含まれる．また並びを崩すということは文章の完成度・正確性を下げることであり，LLM の進歩に逆行する．LLM らしい特徴の解明は，検出器が生成テキストを見逃す可能性を減らすことや，生成テキス
トの不気味さの軽減に寄与する．一方で人らしさについては調べられていない．本研究の長期的な目標は，ヒトが書いたテキストと LLM が生成するテキストの違いの明確化を通じて，検出器の頑健性の向上や，生成テキストの違和感の軽減に貢献することであった．人が書いたテキストの誤検出を抑制し，生成テキストに対する人らしさの導入のためには，人らしさに関する知見を得ることも必要である．したがって今後は，人らしさを残した崩し方や，単語

図 1 入力単語数と検出精度の関係

5.3の並び以外に注目して LLM らしさの除去または人単語レベルの言い換えの影響らしさを増す方法を明らかにする．

単語レベルの言い換えの影響について調べた．同

本研究では human-text と比較して得られる LLM義語置換する語彙の割合と検出精度の関係を図 2にの特徴を調べた. 実験の結果，「単語の連なりの滑ら示す．In-domain，OoD 共に 20%までは影響が小さかさ」が，現在の生成モデルが生成するテキストのいが，30%を超えると精度が徐々に低下した．

持つ特徴の一つであるという知見が得られた．今後

5.4の課題として，単語の並び以外に着目した LLM ら議論しさや，人らしさの解明が残されている．

実験を通じて，滑らかに連続する単語の並びを崩すことが，生成テキストから LLM らしさを除去す― 3283 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は理化学研究所の基礎科学特別研究員制度，JSPS 科研費 JP21K21343 の支援を受けています。

参考文献[1] Elizabeth Clark, Tal August, Soﬁa Serrano, Nikita
Haduong, Suchin Gururangan, and Noah A. Smith. All
that’s ‘human’ is not gold: Evaluating human evaluationof generated text. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint
Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7282–7296, Online, August2021. Association for Computational Linguistics.
[2] Evan Lucas and Timothy Havens. GPTs don’t keep secrets:
Searching for backdoor watermark triggers in autoregressive language models. In Anaelia Ovalle, Kai-Wei Chang,Ninareh Mehrabi, Yada Pruksachatkun, Aram Galystan,Jwala Dhamala, Apurv Verma, Trista Cao, Anoop Kumar,and Rahul Gupta, editors, Proceedings of the 3rd Work-url:https://platform.openai.com/, accessed:
2023-1231.
[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein,
Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-lis, Minnesota, June 2019. Association for ComputationalLinguistics.
[13] Prithiviraj Damodaran. Parrot: Paraphrase generation fornlu., 2021.
[14] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python: analyzing text with
the natural language toolkit. " O’Reilly Media, Inc.",

2009.
[15] Ryuto Koike, Masahiro Kaneko, and Naoaki Okazaki.
Outfox: Llm-generated essay detection through in-context
learning with adversarially generated examples. In Proceedings of the 38th AAAI Conference on Artiﬁcial
Intelligence, Vancouver, Canada, February 2024.

shop on Trustworthy Natural Language Processing(TrustNLP 2023), pp. 242–248, Toronto, Canada, July2023. Association for Computational Linguistics.
[3] Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, and Chelsea Finn. Detectgpt: Zero-shotmachine-generated text detection using probability curvature. In Proceedings of the 40th International Conference on Machine Learning, ICML’23. JMLR.org, 2023.
[4] Yafu Li, Qintong Li, Leyang Cui, Wei Bi, Longyue Wang,Linyi Yang, Shuming Shi, and Yue Zhang. Deepfake text
detection in the wild, 2023.
[5] Xiaomeng Hu, Pin-Yu Chen, and Tsung-Yi Ho. Radar:
Robust ai-text detection via adversarial learning, 2023.
[6] Luoxuan Weng, Minfeng Zhu, Kam Kwai Wong, Shi Liu,Jiashun Sun, Hang Zhu, Dongming Han, and Wei Chen.
Towards an understanding and explanation for mixedinitiative artiﬁcial scientiﬁc text detection, 2023.
[7] Wenxiong Liao, Zhengliang Liu, Haixing Dai, ShaochenXu, Zihao Wu, Yiyang Zhang, Xiaoke Huang, DajiangZhu, Hongmin Cai, Quanzheng Li, Tianming Liu, andXiang Li. Diﬀerentiating chatgpt-generated and humanwritten medical texts: Quantitative study. JMIR MedEduc, Vol. 9, p. e48904, Dec 2023.
[8] Biyang Guo, Xin Zhang, Ziyuan Wang, Minqi Jiang, JinranNie, Yuxuan Ding, Jianwei Yue, and Yupeng Wu. Howclose is chatgpt to human experts? comparison corpus,evaluation, and detection, 2023.
[9] Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, and Soheil Feizi. Can aigenerated text be reliably detected?, 2023.
[10] Sian Alsop and Hilary Nesi. Issues in the developmentof the british academic written english (BAWE) corpus.
Corpora, Vol. 4, No. 1, pp. 71–83, August 2009. Correspondence to: Hilary Nesi, email: h.nesi@coventry.ac.uk.
[11] OpenAI.
gpt-3.5-turbo-1106.

― 3284 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

生成プロンプトB

実験設定詳細A.1

エッセイ題目の生成

B.1

ハイパーパラメータ

エッセイの冒頭 250 単語 [essay] を元にした題目

表5

ハイパーパラメータの設定の生成には以下のプロンプトを用いた.

パラメータ

設定した値

Please write the most appropriate problem statement for an

エポック数
バッチサイズ

808

学習率

5e-5

essay assignment that would have you write the followingessay．
Essay: [essey]
Problem Statement:

A.2

非敵対的 LLM-essay の生成

生 成 し た 題 目 [problem statement] を 元 に し た
LLM-essay の生成には以下のプロンプトを用いた．
Given the following problem statement，please write an
essay expressing a clear opinion with a minimum of
250 words．
Problem statement: [problem statement]
Essay:

A.3

敵対的 LLM-essay の生成

文脈内学習による敵対的テキスト生成には以下のプロンプトを用いた．但し [human problem statement]
は検出器が human と予測したエッセイの題目を，[human pred essay] はそのエッセイの冒頭 250 単語を，[target problem statement] は敵対的エッセイ生成
対象の題目を指す.
Here are the results of detecting whether each essay fromeach problem statement is generated by a Human or a Language Model(LM).
Problem statement: [human problem statement]
Answer: Human
Essay: [human pred essay]
Problem statement: [human problem statement]
Answer: Human
Essay: [human pred essay]...
Problem statement: [target problem statement]
Answer: Human
Essay:― 3285 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).