不可視文字を用いた敵対的攻撃の最適化

入力に微小な摂動を加えて機械学習モデルの出力を操作する攻撃は敵対的攻撃と呼ばれる．特にテキストに対しては不可視文字を用いた攻撃が知られており，不可視文字が挿入されていることを知らずにユーザがモデルに入力し，ユーザの意図しない挙動を引き起こす恐れがある．本研究では，不可視文字攻撃の限界を検証するため，不可視文字の挿入方法，決定方法，種類を最適化したときの攻撃成功率を測定した．感情分類タスクでの実験の結果，ランダムに挿入する場合よりも最適化によって最大で48.4%程度攻撃成功率が向上し，最大値は99.2%となった．一方で，長文における成功率低下や処理時間増加など，不可視文字攻撃の限界も確認された．