增廣拉格朗日懲罰函數法 增广拉格朗日惩罚函数法Augmented Lagrangian methods是一类用来求解带约束优化问题的算法与一般的惩罚函数法相比相同处在于这类方法也会通过将限制条件化为目标函数的惩罚项使原问题转变为一无约束优化问题不同处在于这类方法还会在目标函数中额外添加用来模仿拉格朗日乘子的一项这一项与拉格朗日乘子不完全一样 从另一个角度看无约束目标函数是带约束问题的拉格朗日對偶再加上一个额外的惩罚项或者称为增广量 这种方法曾被人们称为乘子法在世纪到年代曾被作为惩罚函数法的替代方法被大量研究过这类方法首次由Magnus Hestenes麦克尔詹姆斯大卫鲍威尔在年提出R Tyrrell Rockafellar深入研究了其与Fenchel 对偶尤其是与邻近点方法MoreauYosida 正则化和单调算子之间的联系这些方法被应用在结构工程领域德梅萃P 博赛卡斯也对该方法做过研究尤其是在他年的书中对涉及到非二次正则化函数的扩展如熵正则方法为后续的用来处理二阶可微增广拉格朗日惩罚函数的指数乘子方法奠定了基础 自世纪年代起逐步二次规划SQP与内点法逐渐兴盛这种兴盛很难说与这两种方法能巧妙利用当时数值计算软件库中的稀疏矩阵库函数不无关系而内点法还有通过同伦函数理论被证明的复杂度分析LANCELOT和AMPL的出现使得增广拉格朗日惩罚函数法能被用于求解看似稠密但却部分可分的优化问题为该方法注入了新的活力 年前后全变分降噪压缩感知等领域中该方法也再次被活跃运用其中一类运用了分部更新技巧与求解线性方程组的GaussSeidel法类似的算法变种交替方向乘子法ADMM获得了较大的关注