制約が異なる指示で生成された文章に対するLLM生成検出の頑健性

LLMは様々な指示に従って人間と同程度に尤もらしい文を生成することが可能となった[1,2]．一方でそのようなLLMの優れた生成能力を利用して，学生が宿題の回答にLLMの返答をそのままコピペしてしまったり，フェイクニュースを生成するといったLLMの悪用の懸念も明るみになっている[3,4]．このようなLLMの悪用を防ぐため，LLMによる生成文と人間が書いた文を分類するLLM検出器が最近多く提案され，一定の有効性が示されている[5,6,7,8,9]．ユーザがLLMに指示を与えて文を生成する場面に注目すると，その指示文に含める制約（例:生成文のフォーマット，文長など）はユーザごとに異なる[10]．そのような指示文の書き方の違いは，LLMが生成する文の質に加え，様々な下流NLPタスク性能にも大きな影響を与えることが報告されている[11,12,13]．一方で，LLM検出に関する研究は検出対象の文そのものに着目（例えば，LLM文の言語的特徴の調査[14,15,7,16]）することが多く，その文がどのように生成されたかについては，注目されてこなかった．さらに，多くのLLM検出ベンチマークでは，この文生成時の指示文の多様性は考慮されず，一つの決まった書き方の指示文で生成文が構成される[15,7,16]．これらを踏まえると，LLM文生成時の指示文の書き方は生成文の検出難易度に影響を与えるか？という疑問が生じる．本研究では，LLM文生成時の指示文に含まれる制約がその生成文に対する検出難易度に大きな影響を与えることを報告する．LLM検出の需要があるドメインの1つとして学生によるエッセイ執筆を想定し，Koikeら[8]が作成した問題文に対してLLMを使いエッセイを生成する．LLMに与える指示文中の制約として，Keら[17]が定義したエッセイの質に寄与する各項目に対応させ，制約文を人手で作成する（表1）．そして，指示文中の制約がLLM検出に与える影響として，各制約文を加えた指示文による各LLM文セットに対し，検出性能の標準偏差を測定する（図1右）．この時，検出性能への影響を与えうる他要素である，LLM文の複数回生成（図1左）と指示文の複数回言い換え（図1中央）による検出性能の標準偏差との比較を行う．評価実験の結果，指示文の言い換えやLLM文を複数回生成する場合に比べ，指示文中の制約が検出性能の標準偏差を著しく増加させ（F1値で最大14.4ポイント），その影響は大きいことがわかった．また制約を含む指示文から生成されたLLM文に対する分析から，指示文中の制約に従うというLLMの高い能力が，LLM検出性能へ大きな影響力を与えることが示唆された．