数理最適化
函数 f は、目的函数(objective function)や損失函数(loss function)、費用函数(cost function)、効用函数(utility function)、適合函数(fitness function)、エネルギー函数(energy function)あるいはエネルギー汎函数(energy functional)と呼ばれる。目的函数を最小化(あるいは最大化)する可能解は、最適解と呼ばれる。
数学においてよくある最適化問題は、最小化に関するものである。最小化問題においては,「可能領域が凸領域でかつ目的函数がそこに於ける凸関数」となっていない場合には,一般に複数の局所最小解が存在しうる。ここで x が局所最小解であるとは、ある定数 δ > 0 が存在して、
‖ x − x ∗ ‖ ≤ δ ; {\displaystyle \|\mathbf {x} -\mathbf {x} ^{*}\|\leq \delta ;\,}
を満たすような任意の x に対して次が成立することをいう。
f ( x ∗ ) ≤ f ( x ) . {\displaystyle f(\mathbf {x} ^{*})\leq f(\mathbf {x} ).}
すなわち、点 x はその(十分小さな)近傍内での最小点である。局所最大解も同様に定義される。
対比して問題の可能領域A全体における最小点のことを大域(的な)最小点ということがある。