个目标函数通常为一个损失函数的本身或者为其负值。当一个目标函数为损失函数的负值时，目标函数的值寻求最大化。在统计学中，损失函数的作用是估计参数。
例子.
平方损失函数.平方损失函数十分常见，比如用在最小二乘法中。它在数学上通常比其他损失函数更容易进行处理，这是因为它具有方差的性质，以及对称性：高于目标值的误差产生的损失与低于目标值同样大小的误差产生的损失相等。假设目标值为"t"，那么平方损失函数为其中"C"为某个常数，它的值与决定无关，并且可以通过设为1