ConstitutionalAIにおけるセーフティアラインメントの改善

大規模言語モデル(LLM)を人の倫理観に準拠させるための訓練(セーフティアラインメント)には,時間的,経済的にコストの高い人手による大規模なアノテーション作業を要する[1,2,3].これを緩和するため，人手のアノテーション作業なしに，LLMにアラインメント用のデータセットを作成させる手法が提案されている[4,5,6].ConstitutionalAI[4]というアラインメント手法では，LLM自身に出力文の批評と改訂を繰り返させることで,アラインメント用のデータセットを作成する.ConstitutionalAIは，批判と改訂を繰り返していくことで，よりよい改訂文が得られるという仮定に基づいて，所定の回数の繰り返し後に得られた改訂文をアラインメントに利用する．しかしながら，LLM自身が批評と改訂を繰り返す過程で，文の自然さや倫理観の遵守の度合いが劣化してしまうことがある．これはLLMが複雑なタスクに対応できていないことに依拠すると報告されている[4].本研究では,ConstitutionalAIの批判と改訂の過程で得られたすべての改訂文を評価することで,得ら1）Equalcontribution.れた改訂文の中から最も高品質な改訂を選定する戦略を導入する.この戦略によって，改訂文の品質を従来より改善し，安定させることが期待される．日本語言語モデルであるjapanese-large-lm-3.6b-sft[7]を用いた実験により,選定を実施したデータセットは,そうでない場合に比べて,有害な回答を22%減少させられるを確認した.