有害性評価と巻き戻しによるLLMの有害コンテンツ生成回避

Transformerの登場とともに大規模なテキストデータの処理が可能となり，大規模言語モデル(LLM)は性能を大きく向上した[1]．その結果，LLMの普及は急速に進み，適用先は多岐に渡っている．LLMの普及が進むとともに，安全性の高いLLMに対する注目が集まっている[2,3,4]．本稿では安全なLLMに求められる要素のひとつとして，LLMが有害コンテンツを出力しないことに着目する．本稿では，トークン列の生成を行う生成LLMとトークン列の有害性を評価する評価LLMを用いて，適宜生成されたトークン列に対する有害性評価とトークン列の巻き戻しを行うことで，有害コンテンツの生成を回避する手法を提案する．有害性評価と巻き戻しは，トークンの出力確率を見てLLMが『息継ぎ』をするタイミングに実施することで，生成トークン列のクオリティの劣化を低減する．提案手法は，追加学習を必要とせず，さらに推論コストの増加も軽微であるため，実施が簡便な手法である．評価実験により，提案手法が有害コンテンツの回避に有効であること，トークン列のクオリティを大きく劣化させないこと，さらに提案手法がベースラインと比較して軽量に動作することを確認コンテンツを回避しつつトークン列の生成を行う。する．