尤度を用いた進化戦略によるLLMの最適化

進化戦略（ES）は，勾配情報を直接必要としないブラックボックス最適化手法であり，近年，大規模言語モデル（LLM）のファインチューニングやアライメントにおいて研究が進んでいる[1,2,3,4]．LLMに適用したESの一般的な手順をAlgorithm1に示す．具体的には，パラメータにノイズを加えた多数のモデルを作成し，それぞれのモデルで実際にタスクを実行して得られた報酬に基づいて，パラメータの更新方向を推定する．ESは報酬関数が微分不可能であっても適用可能であり，また並列化が容易であるという利点を持つ．しかし，LLMに対してESを適用する場合，計算コストが大きな障壁となる．従来のESでは，上述の通りノイズを加えたモデル全てにおいて，自己回帰的なトークン生成を行う必要がある．LLMの推論コストは非常に高く，学習時間の大部分がこの生成プロセスに費やされる．本論文は，ノイズを加えたモデルでの生成を行わず，現在のモデルで生成された良質なサンプルの「尤度」を用いてパラメータ更新方向を推定するLikelihood-BasedEvolutionStrategies（LBES）を提案し，その有効性を検証する．