ConstitutionalAIにおける原則適用順序と有害転化現象の分析

大規模言語モデル(LargeLanguageModel,LLM)はその能力の進化に伴い、実社会での活用が進んでいる。しかし、違法行為の助長や差別的・有害な内容の生成といった安全性上の問題が依然として課題となっている。このような、モデルの出力を人間の価値観や社会規範、特に安全性の観点から整合させる学習は「アライメント[1]」の一側面である。アライメントの代表的な手法として、SFT(SupervisedFine-Tuning)とRLHF(ReinforcementLearningfromHumanFeedback)[2]による二段階学習が挙げられる。しかし、この手法は、大量の人手によるラベルデータを必要とする点が課題である。ConstitutionalAI(CAI)[3]はこの課題に対するアプローチとして提案された枠組みであり、あらかじめ定義された原則群に基づいて、モデル自身が応答を批評・改訂することでSFTで用いるための安全な応答を生成する。特に、教師あり学習段階であるSL-CAIでは、原則に従った批評・改訂によって学習データを自動生成できる点が特徴である。しかし、SL-CAIにおいては、批評・改訂を繰り返す過程で、応答の品質や安全性が劣化してしまう事例が報告されている[4]。また、従来のSL-CAIでは、複数存在する原則の中からどれを適用するかが無作為に決定されており、原則の内容や抽象度、適用順序が批評・改訂による安全性向上にどのような影響を与えるかについては十分に検討されていない。本研究では、SL-CAIプロセスにおける原則選択に着目し、原則の抽象度および適用順序が応答の安全性に与える影響を分析する。特に、批評・改訂の過程で本来無害であった応答が改訂後に有害と判断される現象を「有害転化」と定義し、その発生傾向を明らかにすることを目的とする。