アドオン型のLLMアライメント

大規模言語モデル（LargeLanguageModel，LLM）はその卓越した言語理解能力をにより，社会に大きな影響をもたらしており，自然言語処理の分野において不可欠な存在となっている[1]．しかし，LLMには，人間の倫理観や価値観に反するようなテキストを生成する可能性があるという問題が指摘されている[1,2]．この問題に対し，LLMの生成テキストが人間の価値観に合わせる“アライメント”の研究が注目されている[2,3]．アライメントの方法として広く知られているのは再学習ベースのアプローチである．例えば，ReinforcementLearningfromHumanFeedback(RLHF[4]）やDirectPreferenceOptimization（DPO[5]）は広く知られた手法である．この他にも再学習ベースの手法は広く研究されている[6,7,8,9]．これらの方法では，逐次取得する人の価値観を含む訓練データをもとに，LLM内部のパラメータを更新する．再学習ベースのアプローチには高い有用性があることが認められているものの，説明可能性の課題も残されている．例えば，再学習後のLLMにおいて，アライメントがどのように行われたのか説明することは困難である．説明可能性の高いアプローチとして，LLM内部のパラメータは更新せず，外付けの制御器を用いてテキスト生成過程に直接介入するものが挙げられる．これは，テキスト生成の過程に直接介入し，より説明可能性の高いアライメントを提供するアプローチである[10,11,12,13,14]．この方法では，LLMのパラメータの更新は行わない代わりに，介入を行うための制御器を訓練することでアライメントを行う．本稿では，テキスト生成過程に直接介入するアライメントを考え，制御器の新しい設計方法を提案する．この方法では，“制御フィルタ”と呼ばれる機構を新たに導入する．制御フィルタのコンセプトを図1に示す．図の左側にあるのは，生成テキストの評価に用いるモデルであり，アライメントの目的に応じて使い分ける．評価用モデルの具体例としては，感情推定モデルやテキストの倫理問題を検出するモデル，プロンプトやその応答文からJailbreakを検出するモデルが挙げられる．図1の右側にあるのは，アライメントを適用する先のLLMであり，要求する基礎能力や使用言語，マシンスペックに応じて様々なモデルが考えられる．制御フィルタは，評価用モデルを利用してLLMの生成テキストを評価し，必要に応じて生成過程に介入することで，アライメントを実現する．この汎用的なアプローチにより，任意の評価モデルをLLMのアライメントに利用できるようになる．フィルタの設計には制御バリア関数（Control感情推定モデルLLM1制御フィルタ倫理問題検出モデルLLM2利用介入Jailbreak検出モデルLLM3アライメント適用先のLLM評価用モデル.BarrierFunction，CBF[15,16]）と呼ばれる制御理論を導入している．CBFは，制御システムの安全化に用いられる理論で，本研究ではこれを制御フィルタの設計に応用する．3章で述べる実験では，MetaLlama38b[17]に対し本提案を適用する．評価モデルとしては感情推定RoBERTaを使用し，肯定的な内容のテキストを生成するようアライメントを行う．表記：𝐴[𝑖]はベクトル𝐴∈ℝ𝑁の第𝑖成分である．