有害性評価と巻き戻しによるLLMの有害コンテンツ生成回避

大規模言語モデル(LLM)の普及に伴い，安全性の高いLLMへの要望が高まっている．本稿ではLLMの安全性の1要素であるLLMが有害コンテンツを出力しないことに着目し，有害コンテンツを軽量かつ効果的に回避する手法を提案する．提案手法ではトークン列生成を行う生成LLMと，トークン列の有害性を評価する評価LLMを用いて，適宜トークン列の有害性を評価しつつ推論を行うことで，有害コンテンツを含まないトークン列の生成を目指す．