本研究は、ConstitutionalAI(CAI)の教師あり学習段階(SL-CAI)における原則選択と応答安全性の関係を分析する。特に、批評・改訂の反復過程で本来無害であった応答が有害化する「有害転化」現象に着目し、原則の抽象度と適用順序が与える影響を定量的に評価した。HarmBenchを用いた実験の結果、抽象度の高い原則を先行して適用するTOP-DOWN手法が安全率を向上させる一方、抽象的原則の後段適用は有害転化を誘発しやすいことを明らかにした。

大規模言語モデル(LargeLanguageModel,LLM)はその能力の進化に伴い、実社会での活用が進んでいる。しかし、違法行為の助長や差別的・有害な内容の生成といった安全性上の問題が依然として課題となっている。このような、モデルの出力を人間の価値観や社会規範、特に安全性の観点から整合させる学習は「アライメント[1]」の一側面である。アライメントの代表的な手法として、SFT(SupervisedFine-Tuning)とRLHF(ReinforcementLearningfromHumanFeedback)[2]による二段階学習が挙げられる。しかし、この手法は、大量の人手によるラベルデータを必要とする点が課題である。ConstitutionalAI(CAI)[3]はこの課題に対するアプローチとして提案された枠組みであり、あらかじめ定義された原則群に基づいて、モデル自身が応答を批評・改訂することでSFTで用いるための安全な応答を生成する。特に、教師あり学習段階であるSL-CAIでは、原則に従った批評・改訂によって学習データを自動生成できる点が特徴である。しかし、SL-CAIにおいては、批評・改訂を繰り返す過程で、応答の品質や安全性が劣化してしまう事例が報告されている[4]。また、従来のSL-CAIでは、複数存在する原則の中からどれを適用するかが無作為に決定されており、原則の内容や抽象度、適用順序が批評・改訂による安全性向上にどのような影響を与えるかについては十分に検討されていない。本研究では、SL-CAIプロセスにおける原則選択に着目し、原則の抽象度および適用順序が応答の安全性に与える影響を分析する。特に、批評・改訂の過程で本来無害であった応答が改訂後に有害と判断される現象を「有害転化」と定義し、その発生傾向を明らかにすることを目的とする。