ConstitutionalAIにおけるセーフティアラインメントの改善

大規模言語モデル(LLM)を人の倫理観に準拠させるセーフティアラインメントの多くは，人手による高コストなアノテーション作業を要する.これを緩和するため，LLM自身に出力文の批評と改訂を繰り返させることで，アラインメント用のデータセットを作成するConstitutionalAI等の手法が提案されている.しかし，ConstitutionalAIによる批評と改訂を繰り返す過程では，文の自然さや倫理観の遵守の度合いが劣化してしまうことがある.そこで，批評と改訂の過程を評価し，得られた改訂の中から最も高品質な改訂を選定する戦略を導入する.実験の結果，有害な回答が22%減少することを確認した.