アドオン型のLLMアライメント

本稿では，大規模言語モデル（LargeLanguageModel，LLM）の生成テキストを人の倫理観や価値観に沿うものにするアライメントに取り組む．本稿のアプローチでは，アライメントの対象となるLLM内部のパラメータを更新するのではなく，テキスト生成過程におけるトークンの確率分布に介入する．トークンの確率分布への介入は外付けの“制御フィルタ”によって行われる．この手法では，アライメントが外部の機構によって行われるが故に，高い柔軟性と透明性を提供するものである．実験では，Llama38bに対するアライメントを行い，提案手法の有効性を示している．