大規模言語モデルを医療や教育などに導入する際，有害な文章が生成されるリスクが課題となる．既存の逆学習では特定の有害な知識・表現を忘却できるものの，有害な知識・表現は多様であり，網羅的な除去は困難である．本研究では，忘却対象を個別に列挙する代わりに，「保持したい知識・表現」以外を広く忘却させることで広範な有害性の除去を目指す排他的逆学習を提案する．排他的逆学習により，医療や数学など特定の知識に関する多様な指示への応答能力を維持しつつ，Jailbreakを含む幅広い入力に対する安全性が担保されたモデルが得られることを示す．

大規模言語モデル（LLM）は，プライバシー情報の漏洩，著作権侵害といったリスクを内包している．LLMは膨大なコーパスで学習されるため，学習データから有害な内容を事前にすべて除去することは現実的でない．このため，学習済みLLMから特定の知識を選択的に削除する逆学習[1–5]が低コストな対策として注目されてきた．しかし，従来の逆学習研究は「何を忘却するか」という問題設定に基づいており，忘却するべき有害な表現を網羅的に列挙する必要がある．実際にはあらゆる攻撃パターンを想定して多様な忘却データを用意することは困難であり，学習時に含まれない未見の有害質問への汎化は依然として不十分である[3,6]．特に，近年ではJailbreak攻撃の手法[7–13]が多様化しており，忘却データの指定により有害な生成を促すあらゆる入力に対して防御することをますます難しくしている．本研究では，逆学習の問題設定を転換することで，この問題の解決を試みる．すなわち，「何を忘却するか」を指定する代わりに，「何を保持するか」の既存の逆学習排他的逆学習逆学習前逆学習後逆学習前逆学習後定し，それ以外を排他的に忘却するため，忘却データに含まれない未見の有害領域への汎化が難しいという従来の逆学習の限界を回避できる．みを指定し，それ以外のすべてを忘却する排他的逆学習（ExclusiveUnlearning;EU）に取り組む（図1）．具体的なアプローチとして，モデル自身から多様な文章をサンプリングし，それらの生成確率を一様分布に近づけると同時に，保持対象データセットに対する標準的なファインチューニングを行う方法を提案する．これにより，モデルが保持する知識・能力全体を忘却させつつ，対象能力を保持することが可能になる．従来の逆学習は忘却データを必要とする一方，排他的逆学習は忘却すべき有害な入力を逐一列挙する必要がないため，忘却データ依存という従来の逆学習の限界を原理的に回避できる．この問題設定は，医療診断支援や教育支援など，保持すべき能力が明確に定まるドメイン特化型LLMの応用シナリオにおいて適用可能である．例えば医療応用では，「医療知識と医療質問に関する指示追従能力のみを保持し，それ以外は必要ない」といったように，保持対象が明確に定義できる．実験では，医療，教育分野への応用を見据え，医療および数学のInstructionTuningデータセットを用いた実験により，本手法の有効性を実証した．排他的逆学習後のモデルは，保持対象能力を元のモデルと同等以上に維持しつつ，Jailbreakを含む幅広い有害入力に対して高い防御性能を示した．特に，防御性能において，未見のJailbreakにも有効性を示してThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).(a)保持性能（医療）(b)保持性能（数学）MedInstruct-testiCliniq医療ベンチマーク平均件の医療指示を含む．第二のデータセットであるiCliniqは，ChatDoctor[18]で使用された実際の患者-医師会話の書き起こし1000件からなる．評価では，GPT-4oをジャッジモデルとして採用し，各テストケースについて評価対象モデルの応答と外部LLMAPIによる参照応答をペアワイズに比較する．包括的な評価のため，Text-davinci-003，GPT-3.5-Turbo，GPT-4，Claude-2の4つの異なるAPIが生成した参照応答を用い，AlpacaEval[19]に従い勝率を計算し，その平均をとることでモデル性能をスコアリングする．ベンチマーク評価では，四つの医療多肢選択QA（MedQA[20]，HeadQA[21]，PubmedQA[22]，MEDMCQA[23]）と要約データセットであるMeQSUM[24]を用いて，多様な形式で評価する．lm-evaluation-harness[25]に従い，多肢選択QAは正解率，要約タスクはROUGE-Lを計算する．数学ドメインでは，MetaMath[17]と同様のGSM8K[26]，MATH[27]と，選択式QAのMathQA[28]による評価を行う．lm-evaluation-harnessに従い，生成タスクのGSM8K,MATHはEM（ExactMatch）を，多肢選択式のMathQAは正解率を計算する．忘却能力の評価では，有害データとJailbreak攻撃に対する防御性能を評価する．ベースの有害質問の評価には，GPTFuzzer[9]由来の100件の有害質問とWildAttack[8]由来の217件の有害質問を用いる．Jailbreakに対する防御性能の評価として，ベースの有害質問データセットに既存研究[6]で公開さ(c)忘却性能（上：医療，下：数学）れている20種類のJailbreakプロンプトを組み合わせた，それぞれ2000，4340件のデータセットを用いる．これらは当然モデルの学習過程で未見である．Jailbreakプロンプトの詳細は§A.1で示す．モデル出力の安全性を測るため，既存研究[6]に倣い，ShieldLM-14B-qwen[29]をジャッジに用いて各データごとにAttackSuccessRate(ASR)を計算する．ASRは安全でないと判断されたモデル応答の割合として定義される．4結果保持，忘却性能の評価結果を図2に示す．ベースラインとして，元のモデル，保持対象データで通常のファインチューニングのみを行ったモデル（RetainOnlyFT）を用意し，これらのモデルと保持，忘却性能を比較する．また，既存の逆学習手法で未見の有害攻撃にも高い防御性能を示すことを報告しているSKU[14]，SafeUnlearning[6]とも比較を行う．保持性能の評価では元のモデルのスコアに対する対象設定のスコアの比率を図2に可視化している．医療，数学ベンチマークはそれぞれの評価データでその比率の平均を計算している．また，排他的逆学習では，式4のλでスケールし，0.01，0.05，0.1，1.0の時の結果を記録している．実験の結果，排他的逆学習（ExclusiveUnlearning;EU）は医療，数学両方でベースモデルと同等以上の性能を保持し，データによってはRetainOnlyFTとも同等以上の性能を記録した．保持評価データにはorg/licenses/by/4.0/).MedInstruct-test数学ベンチ平均ablation_ga_med.pdf数学ベンチマーク平均設定と勾配上昇法による損失を用いる既存の設定（GA）の保持性能の比較．§3.2に示した通り，選択式タスク生成タスク両方の多様な形式を含んでおり，この結果は排他的学習後のモデルが保持領域内の広範な指示に答える能力を保持できていることを示す．また，忘却性能の評価では，有害データやJailbreakに対して，排他的逆学習後のモデルが既存の逆学習手法（SKUやSafeUnlearning）よりも強力な防御性能を持つことが示された．5議論事前学習済みモデルから学習を行う妥当性保持対象では有用な能力を保持した上で，対象外を排他的に忘却する目標を達成するために，事前学習済みモデルから出発することの必然性を示すため，保持データでランダム初期化モデルを事前学習する場合を検証した．その結果，ランダムパラメータからの出発では，§A.2のように言語生成能力が獲得できないため，評価結果はほとんど0%になった．すなわち，本研究の目標を達成するためには，事前学習済みモデルから出発し，保持対象能力と言語生成能力を保持することが重要であることが示された．忘却に一様損失を用いる妥当性§2で述べた通り，既存研究[15]では，一様損失により忘却時に損失が有限値に収束することになるため，忘却学習が安定することが指摘されており，本研究ではより広範囲を忘却することになるため，この手法が必須であると考えた．この妥当性を示すため，忘却項に既存のGradientAscent（GA）を用いた場合と比較を忘却性能（上：医療，下：数学）ablation_ga_med.pdf大規模コーパス（Wiki,Pile）からサンプルする場合の攻撃成功率の比較．行った．その結果を図3に示す．医療，数学両設定において，GAでは学習前のモデルと比べ大きく保持性能が落ちることが確認でき，排他的逆学習に一様損失を使う妥当性が示された．忘却にモデルの自己生成文章を使う妥当性保持対象外の知識・能力を排他的に忘却するためにモデル自身が生成した文章を用いることの妥当性を示すため，Dolmaコーパス[30]のWikipediaサブセットからサンプルする設定（Wiki）や大規模コーパスであるPile[31]全体からサンプルする設定（Pile）を比較ベースラインに設定し，学習設定を統一して比較した．図4から，忘却性能はモデル自身が生成した文章を用いる設定が最も高いことがわかる．さらに，巨大なコーパスからのランダムサンプリングは実務上困難であるという点を考慮しても，忘却にモデルの自己生成文章を使う妥当性が示される．6結論既存の逆学習では，忘却すべき有害入力を網羅したデータを用意すること自体が難しく，忘却データに含まれない未見の有害質問への汎化が不足しがちである．本研究では，この課題に対し，保持すべき能力だけを残して他の能力を排他的に忘却する排他的逆学習を提案した．実験の結果，保持領域の性能を維持しながら，有害質問およびJailbreakに対する防御性能を示し，特に未見のJailbreakに対する防御性能で既存手法を大きく上回ることを確認した．org/licenses/by/4.0/).