嗜好データセットの学習に基づく応答文のアライメント

移動型のモビリティへの導入を目指した,対話型日本語大規模言語モデルを構築し,応答文の安全性を評価した.対話システムの社会実装を進める上で,有害な入力文に応じた,有害な応答文の生成の抑制が課題として挙げられる.本稿では,一般ユーザーの大規模言語モデルのユースケースの一例として自由対話を選択し,構築したモデルから有害な応答文の生成事例を確認した.上記応答を抑制するため,応答文のアライメントと呼ばれる手法を適用した.アライメントの有無の比較から,応答文のアライメントは,大規模言語モデルにおける応答文の安全性を全ての評価基準で増加させることを確認した.