制約が異なる指示で生成された文章に対するLLM生成検出の頑健性

大規模言語モデル(LargeLanguageModel;LLM)は，剽窃や誤情報の流布など様々な場面での悪用が懸念されており，LLMの生成文と人間が書いた文を頑健に分類するLLM生成検出の実現は急務である．LLMの出力は生成指示に大きく依存するが，どのような指示でLLMにテキストを生成させると検出性能が変動するかは検証されていない．本研究では，文体や構造などの項目に着目し，指示によるLLMの制約項目を変えることで検出器の頑健性の評価を行う．提案手法はサンプリングや言い換えによる頑健性評価と比較して，検出性能の標準偏差を最大14.4ポイントに増加させた．