大規模言語モデル（LLM）のアライメントにおいて，進化戦略（ES）は勾配ベースの手法の有力な代替手段として注目されている．しかし，従来のESはパラメータにノイズを加えた多数のモデルそれぞれでテキスト生成を行う必要があり，計算コストが高いという課題がある．本論文は，生成プロセスを現在のモデルのみに限定し，ノイズ付加モデルでは生成されたサンプルの尤度のみを計算することで最適化を行うLikelihood-BasedEvolutionStrategies（LBES）を提案する．実験の結果，LBESは従来のESと比較して，一定の精度に到達するまでの時間を大幅に短縮できることを確認した．一方で，到達可能な最高精度に関しては，特に難易度の高いタスクにおいて従来のESを下回る傾向も見られた．実装コードはhttps://github.com/nlp-waseda/lbesにて公開している．

進化戦略（ES）は，勾配情報を直接必要としないブラックボックス最適化手法であり，近年，大規模言語モデル（LLM）のファインチューニングやアライメントにおいて研究が進んでいる[1,2,3,4]．LLMに適用したESの一般的な手順をAlgorithm1に示す．具体的には，パラメータにノイズを加えた多数のモデルを作成し，それぞれのモデルで実際にタスクを実行して得られた報酬に基づいて，パラメータの更新方向を推定する．ESは報酬関数が微分不可能であっても適用可能であり，また並列化が容易であるという利点を持つ．しかし，LLMに対してESを適用する場合，計算コストが大きな障壁となる．従来のESでは，上述の通りノイズを加えたモデル全てにおいて，自己回帰的なトークン生成を行う必要がある．LLMの推論コストは非常に高く，学習時間の大部分がこの生成プロセスに費やされる．本論文は，ノイズを加えたモデルでの生成を行わず，現在のモデルで生成された良質なサンプルの「尤度」を用いてパラメータ更新方向を推定するLikelihood-BasedEvolutionStrategies（LBES）を提案し，その有効性を検証する．