CMA-ES
ES は進化戦略(evolution strategy)の事で、確率を使用したメタヒューリスティックスの乱択アルゴリズム。多変量正規分布に基づいて新しいサンプルが選ばれる。分布は同じ平均値になるように設定され、突然変異は平均値を変えないように導入される。変数間の依存関係は共分散行列によって扱われる。
CMA は共分散行列適応(covariance matrix adaptation)の事で、分布に基づいて共分散行列を更新する。関数にノイズが多い時にこの手法は有効である。CMAは準ニュートン法の逆ヘッセ行列を使用する方法に似ていて、目的関数を二次関数で近似する。古典的な手法と比べると、目的関数に対する仮定がより少ない。