嗜好データセットの学習に基づく応答文のアライメント

大規模言語モデル(LargeLanguageModel:LLM)の急速な発展に伴い,移動型のモビリティにおける対話型インターフェースの需要が増加している.需要に対して,LLMに優位性を持つ企業が提供するAPIの活用が考えられる.しかし,入出力のトークン長に依存した従量課金システムは運用コストが不安定である点,通信環境に依存して動作が不安定である点,モデルの内部動作の理解はブラックボックスのままである点から,ローカル環境で動作するLLMの開発が求められる.上記のLLMを利用する上で最も懸念すべき問題の一つに,一般ユーザーの有害な入力文に応じた,有害な応答文の生成が挙げられる.企業の実証実験時や製品のサービス導入後に,有害な応答文の生成が発生した場合,一般ユーザーの受容の低下を招き,サービスの継続利用の停止が懸念される.また,システムが意図せず,学習データ内に残存した有害なデータに基づいて応答文を生iGPT-4での評価は,OpenAIAPIのgpt-4-0613を利用(青:微調整前,橙:対話データセットによる微調整後,緑:嗜好データセットによる微調整後)成した場合,LLMを導入したサービスだけの問題ではなく,企業のブランドイメージを低下させる恐れがある.上記より,LLMを社会実装する上で,生成する応答文を開発者が柔軟に制御できる機構の開発および実用性を満たす実装が求められる.本稿では,LLMの応答文を,人に害が無いように整えることを,応答文のアライメントと呼び,LLMの社会実装で取り組むべき課題の一つと位置付ける.本稿では以降,応答文のアライメントのことを単にアライメントと呼ぶ.上記の課題を解決するため,本稿ではまず,非開発者である一般ユーザーのLLMのユースケースとして,自由対話を選択し,対話型の日本語LLMを構築した.さらに,一般ユーザーが,有害な内容を含む文章をLLMに入力した場合を想定して,アライメントを適用したLLMを構築した.構築したモデルに対して,応答文の安全性を評価するデータセットを用いてアライメントの効果を評価した.本稿では,GPT-4iを用いた条件付きではあるが,生成された応答文を自動評価した.評価用データセットで定義される5.つの安全性の全ての項目において,アライメントの効果を定量的に確認した.