尤度を用いた進化戦略によるLLMの最適化

大規模言語モデル（LLM）のアライメントにおいて，進化戦略（ES）は勾配ベースの手法の有力な代替手段として注目されている．しかし，従来のESはパラメータにノイズを加えた多数のモデルそれぞれでテキスト生成を行う必要があり，計算コストが高いという課題がある．本論文は，生成プロセスを現在のモデルのみに限定し，ノイズ付加モデルでは生成されたサンプルの尤度のみを計算することで最適化を行うLikelihood-BasedEvolutionStrategies（LBES）を提案する．実験の結果，LBESは従来のESと比較して，一定の精度に到達するまでの時間を大幅に短縮できることを確認した．一方で，到達可能な最高精度に関しては，特に難易度の高いタスクにおいて従来のESを下回る傾向も見られた．実装コードはhttps://github.com/nlp-waseda/lbesにて公開している．