system: [SYSTEM]

user: 2. Lagrange对偶规划问题的驱动化教学 约束优化问题的对偶问题源自对策论中的零和对策。它最早应用于线性规划，后被推广到非线性规划。现已成为包括组合优化问题在内的最优化理论研究的重要工具。利用对偶可将一个约束优化问题转化成另一个约束优化问题并建立两问题解之间的某种联系，进而揭示原规划问题最优解的存在性等理论性质，如对偶规划不但可以给出原规划问题最优值的一个下界，而且在特殊情况下可得到原规划问题的最优值。同时，基于对偶规划还可建立原规划问题的对偶类算法。可以说，原规划问题及其对偶如同太极图中的阴和阳，它们之间既互相对立又相互依赖，构成一个和谐、对称的辩证统一体。因此，掌握好约束优化问题的Lagrange对偶对《最优化方法》的课程学习至关重要。遗憾的是，多数《最优化方法》教材在引入Lagrange对偶时都是从线性规划问题的对偶规划简单推广而来，这使得很多初学者在初次接触Lagrange对偶时有摸不着头绪的感觉。在此，我们通过对约束优化问题的最优性理论和Lagrange对偶理论进行深刻剖析，抛开线性规划问题的对偶，利用约束优化问题的K-T条件引出约束优化问题Lagrange函数鞍点的定义，再借助定义中的两个不等式引出两个双层极值优化问题，最后通过证明其中一个为原问题引出约束优化问题的Lagrange对偶。这样就驱动性地引出了约束优化问题的Lagrange对偶规划。 定理1. 设x * 为等式约束优化问题 min                                 f ( x ) s .   t .                                         c i ( x ) = 0 ，                     i ∈ E 的最优解，若向量组 ∇ c i ( x * ) ， i ∈ E 线性无关，则存在向量 λ * ∈ R | E | 使得 ∇ f ( x * ) = ∑ i ∈ E λ   i * ∇ c i ( x * ) . 引入Lagrange函数 L ( x ， λ ) = f ( x ) − ∑ i ∈ E λ i c i ( x ) . 则上述结论中的最优性条件可表示为 ∇ x L ( x * ， λ * ) = 0. 则根据上述结论，在正则性条件下，约束优化问题的最优解 x * 连同最优Lagrange乘子 λ * 构成Lagrange函数的稳定点，即 { ∇ x L ( x * ， λ * ) = 0 ， ∇ λ L ( x * ， λ * ) = c ( x * ) = 0. 结合无约束优化问题的最优性条件，人们自然会想到如下问题：这些稳定点构成Lagrange函数关于 ( x ， λ ) 怎样的极值点？通过对带线性等式约束的凸规划问题分析发现， x * 为Lagrange函数在 λ = λ * 时关于x的极小值点，而 λ * 为Lagrange函数在 x = x * 时关于 λ 的极大值点。由函数鞍点的定义，并结合下述不等式约束优化问题的最优性条件，可建立Lagrange函数鞍点的定义。 定理2 设约束优化问题 min                 f ( x ) s .t .                             c i ( x ) = 0 ，           i ∈ E                                                 c i ( x ) ≥ 0 ，           i ∈ I 在其最优解 x * 点满足 ∇ c i ( x * ) ， i ∈ E 线性无关，且存在非零向量 s ∈ R n 使得 s T ∇ c i ( x * ) = 0 ，         i ∈ E ，                               s T ∇ c i ( x * ) > 0 ，             i ∈ I ( x * ) . 则存在Lagrange乘子 λ * 使得 { ∇ f ( x * ) = ∑ i ∈ E ∪ I λ   i * ∇ c i ( x * ) ， c i ( x * ) ≥ 0 ，               λ   i * ≥ 0 ，       λ   i * c i ( x * ) = 0 ，         i ∈ I . 定义1 对约束优化问题 min { f ( x ) | c i ( x ) = 0 ， i ∈ E ; c i ( x ) ≥ 0 ， i ∈ I } ， 定义Lagrange函数 ( x ， λ * ) = f ( x ) − ∑ i ∈ E ∪ I λ   i * c i ( x ) . 若存在 x * ∈ R n 和 λ * ( λ   i * ≥ 0 ，   i ∈ I ) 使得 L ( x * ， λ ) ≤ L ( x * ， λ * ) ≤ L ( x ， λ * ) ，   ∀ λ   i ≥ 0 ，   i ∈ I ，   x ∈ R n ， 则 ( x * ， λ * ) 称为该约束优化问题Lagrange函数的鞍点。 容易证明，鞍点是约束优化问题的众多“最优”点中条件最强的点，如鞍点是约束优化问题的全局最优值点，鞍点是约束优化问题的K-T点等。尽管如此，鞍点不一定存在，而且即使存在也很难求。为此，我们从另一角度进行研究，由此引出了约束优化问题的对偶规划问题。 对约束优化问题 min { f ( x ) | c i ( x ) = 0 ， i ∈ E ; c i ( x ) ≥ 0 ， i ∈ I } ， 记由不等式约束组成的向量值函数为 G ( x ) ，由等式约束组成的向量值函数记为 H ( x ) 。定义Lagrange函数 L ( x ， u ， v ) = f ( x ) − G ( x ) T u − H ( x ) T v ，   x ∈ R n ，   u ∈ R + | I | ，   v ∈ R | E | . 根据定义，若 ( x * ， u * ， v * ) 为Lagrange函数的鞍点，其中 u * ≥ 0 ，则对任意的 x ∈ R n ，   u ≥ 0 和v，有 L ( x * ， u ， v ) ≤ L ( x * ， u * ， v * ) ≤ L ( x ， u * ， v * ) . 也就是说，鞍点是Lagrange函数在 ( u ， v ) = ( u * ， v * ) 时关于 x ∈ R n 的全局极小值点，又是其在 x = x * 时关于 u ≥ 0 和v的全局极大值点。由此得到如下两双层极值问题 max u ≥ 0 ， v min x ∈ R n L ( x ， u ， v )     min x ∈ R n max u ≥ 0 ， v L ( x ， u ， v ) 对于后者，容易验证 sup u ≥ 0 ， v L ( x ， u ， v ) = { ∞ ，             若 x ∉ Ω ， f ( x ) ，   若 x ∈ Ω ， 故后一个极值问题就是原优化问题，即 min x ∈ R n max u ≥ 0 ， v L ( x ， u ， v ) = min { f ( x ) | G ( x ) ≥ 0 ， H ( x ) = 0 } . 对于前者，引入极值函数 θ ( u ， v ) = min { L ( x ， u ， v ) | x ∈ R n } 得到下面的优化问题 max   θ ( u ， v ) s .t .   u ∈ R + | I | ，   v ∈ R | E | 这就是约束优化问题的Lagrange对偶问题。 与原规划问题相比，对偶问题的可行域结构简单，而且在原规划问题约束个数较少时，问题规模也较小。 对原规划问题及其对偶，它们最优值之间的关系是建立对偶规划问题的关键所在。对此，有如下两个常识性的结论。 定理3 (弱对偶定理) 设 x 0 ， ( u 0 ， v 0 ) 分别是约束优化问题和其对偶问题的可行解，则 f ( x 0 ) ≥ θ ( u 0 ， v 0 ) 。 原规划问题和对偶规划问题的最优值之间的差称为对偶间隙。若对偶间隙为零，则称完全对偶定理成立。若两规划问题的最优解都存在，且对偶间隙为零，则称强对偶定理成立。下面的结论说明Lagrange函数存在鞍点和零对偶间隙是等价的，也就是说，Lagrange函数存在鞍点恰好保证对偶规划问题中对Lagrange函数的min和max两个极值过程可以交换。 定理4 (强对偶定理) 约束优化问题的Lagrange函数存在鞍点，记为 ( x * ， u * ， v * ) ，的充分必要条件是 x * 和 ( u * ， v * ) 分别是原规划问题及其对偶规划问题的最优解且对偶间隙为零。