system: [SYSTEM]

user: 4. 有效集算法 在本节中，首先给出搜索方向的定义和一些相关性质，然后介绍一种有效集Barzilar-Borwein算法来求解问题(2)，并分析了该算法的全局收敛性。 4.1. 搜索方向的一些性质 令 x k ∈ Ω 是第k个迭代点，为了简化表述，令 A k = A ( x k ) ， F k = { i ∈ F ( x k ) : x i > 0 } . 为了定义搜索方向，进一步将 A k 分成两个部分： A 1 k = { i ∈ A k : x i k g i ( x k ) ≥ 0 } ， A 2 k = { i ∈ A k : x i k g i ( x k ) < 0 } . 搜索方向 d k = ( d A 1 k k ， d A 2 k k ， d F k k ) ，定义 d F k k 为： d i k = − λ k g i k ， i ∈ F k . (6) 其中 0 < λ min ≤ λ k < λ max 是Barzilar-Borwein算法的步长，其精确的定义将在4.2节中给出。集合 A 1 k 表示零分量的下标集合，且包含满足条件(5)的变量的下标集合。集合 A 2 k 包含不满足条件(5)的变量的下标集合。因此，给出定义： d i k = − x i k ， i ∈ A 1 k . (7) d i k = − g i k ， i ∈ A 2 k . (8) 下面的定理表明 d k = 0 当且仅当 x k 是问题(2)的一个严格L-稳定点。 定理4.1 假设 d k 由上述定义式(6)~(8)所表示。 d k = 0 当且仅当 x k 是问题(2)的一个严格L-稳定点。 证明：令 d k = 0 ，由 A 2 k 的定义和搜索方向 d i k = − g i k = 0 ，可得 A 2 k = ∅ 。如果 i ∈ A i k ，由 A 1 k 的定义和 d i k = − x i k = 0 可得： x i k = 0 且 g i ( x k ) ≤ 2 μ L . 如果 i ∈ F k ，由 F k 的定义可知： x i k > 2 μ L 且 g i ( x k ) = 0. 反过来，假设 x k 是问题(2)的严格L-稳定点。如果 i ∈ A k ，我们称 x i k = 0 ， d i k = − x i k = 0 且 A 2 k = ∅ 。事实上，如果 x i k ≠ 0 ，由式(5)可得： g i ( x k ) = 0 且 x i k ≤ 2 μ L ⇒ x i k = 0. 这与假设条件矛盾。因此，对 ∀ i ∈ F k 有： g i ( x k ) = 0 且 d i k = 0. 证毕。 定理4.2 假设 x k → x * 且 d k → 0 ，其中 d k 由式(6)~(8)所表示，则 x * 是问题(2)的一个L-稳定点。 证明：对于 ∀ i ∈ A 1 k ，当 x k → x * 时，由于 d i k = − x i k → 0 ，可得 x i * = 0 。再由 A 1 k 的定义，我们可得： x i * = 0 且 g i ( x * ) ≤ 2 μ L ， 对于 ∀ i ∈ A 2 k ，由 d i k = − g i k → 0 ，可得： g i ( x * ) = 0. 对于 ∀ i ∈ F k ，由于 g ( x ) 的连续性和 d k → 0 ，有 x i * ≥ 2 μ L 且 g i ( x * ) = 0. 证毕。 下面的定理表明，如果 x k 是问题(2)的强基本稳定点，由(6)~(8)定义的 d k 是f在 x k 处的下降方向。 定理4.3 假设 d k 由(6)~(8)式定义，可得 ( g k ) T d k ≤ 0. (9) 此外，等号成立当且仅当 x k 是问题(2)的强基本稳定点。 证明：由 A 1 k 的定义可知： g i k d i k = − g i k x i k ≤ 0 ， ∀ i ∈ A i k . 再由 A 2 k 的定义可知： g i k d i k = − ( g i k ) 2 < 0. 对于任意的 i ∈ F k ，我们有： ( g i k ) T d i k ≤ − λ min ‖ ( g i k ) T ‖ 2 ≤ 0. 综上所述，我们可以得到 ( g k ) T d k ≤ 0 。 假设 x k 是问题(2)的强基本稳定点。对于任意的 i = 1 ， 2 ， ⋯ ， n ，有 x i k g i ( x k ) = 0 。由此，对于任意的 i ∈ A 1 k ，有 d i k = − x i k ，则有 ( g k ) T d k = 0 。由 A 2 k 的定义可知 A 2 k = ∅ 。对于任意的 i ∈ F k ，我们有 g i k = 0 。相反地，假设不等式(9)的左边等于0，我们有： g i ( x k ) = 0 且 x i k > 2 μ L ， ∀ i ∈ F k . 由 A 2 k 的定义可知 A 2 k = ∅ 。由 的定义可得： x i k = 0 ， 0 ≤ g i k ≤ 2 μ L 或 0 < x i k ≤ 2 μ L ， g i k = 0. 由此可知， x k 是问题 的强基本稳定点，证毕。 4.2. 算法 基于上述讨论和非单调线性搜索 [ 13 ]，类似于文献 [ 10 ]，我们提出了一种有效集Barzilar-Borwein算法来求解问题(2)。但不同于文献 [ 10 ] 的是我们在加入非负约束后，重新定义了有效集和有效集部分的搜索方向，产生了不同的迭代点，加快了算法的收敛速度。 算法4.1 (有效集Barzilar-Borwein算法，简记ABB算法) 步0 初始化 x 0 ∈ R + n ，取 η ， δ ∈ ( 0 ， 1 ) ， λ 0 = 1 且 λ max > λ min > 0 ，正整数M，取 k = 0 。 步1 进行收敛性检验，如果满足停止条件，则用近似解 x k 终止。 步2 计算 λ k : λ min ≤ λ k ≤ λ max 且 d k 由式(6)~(8)确定。 步3 如果 ，满足不等式 ϕ ( x k + α k d k ) ≤ ϕ ( x k ) − δ ( α k ‖ d k ‖ ) 2 . (10) 执行步5，否则执行步4。 步4 确定 α k : = max { η j ， j = 0 ， 1 ， ⋯ } 满足不等式 f ( x k + α k d k ) ≤ max 0 ≤ j ≤ m ( k ) f ( x k − j ) − δ ( α k ‖ d k ‖ ) 2 . (11) 其中 m ( 0 ) = 0 ， 0 ≤ m ( k ) ≤ min [ m ( k − 1 ) + 1 ， M ] ，执行步5。 步5 计算 x k + 1 : = x k + α k d k ，取 k : = k + 1 ，返回步1。 接下来，将给出 λ k 的显性形式，运用了Barzilar-Borwein (BB)算法 [ 14 ] 的基本思想。类似于Barzilar-Borwein步的思想，通过求解下面的优化问题： min λ ∈ R ‖ D ( λ ) s F k k − 1 − y F k k − 1 ‖ 2 . 其中 s F k k − 1 = x F k k − x F k k − 1 且 y F k k − 1 = g F k k − g F k k − 1 ，我们得到Barzilar-Borwein步长如下： λ B B k = ‖ s F k k − 1 ‖ 2 ( s F k k − 1 ) T y F k k − 1 . 为了控制 λ B B k 的大小值，我们用区间 [ λ min ， λ max ] 来限制，其中 λ min < λ max 是给定的正常数。因此，我们设 λ k = max { λ min ， min { λ max ， λ B B k } } (12) 为了简单起见，我们将步长(12)代入式(6)，简化了算法4.1。 4.3. 全局收敛性分析 下面将分析算法4.1的全局收敛性。类似于文献 [ 13 ] 中的分析，可以得到了如下的引理。 引理4.1 假设序列 是由算法4.1产生。如果存在一个正整数 k 1 ，对于所有 k > k 1 ，满足线性搜索(11)，我们有： lim k → ∞ α k d k = 0. (13) 下面的定理和定理4.2表明序列 { x k } 的任意聚点都是问题(2)的L-稳定点和强基本稳定点。 定理4.4 假设序列 { x k } 是由算法4.1产生。如果对于所有的k都有 d k ≠ 0 ，则序列 { x k } 的任意聚点 x * 都是问题(2)的L-稳定点或强基本稳定点。 证明：假设对于所有的k都有 d k ≠ 0 ，且 x * 为序列 { x k } 的任意聚点。则存在一个无限指标集合K，满足 k ∈ K 使得： lim k → ∞ x k = x * . 考虑到不同集合 A 1 k ， A 2 k ， F k 的数量是有限的，对于任意的 k ∈ K ，我们考虑两种情况。情形(1)：如果存在一个无限指标集合 K 1 ⊆ K ，对于所有的 k ∈ K 1 ，线搜索(11)都满足。通过对不等式(10)求和，可得 则由定理4.2可知结论成立。情形(2)：如果存在一个正整数 k 1 ，对于所有的 k > k 1 ，线搜索(11)都满 足。如果序列 { α k } k ∈ K 有一个非零的极限值，我们由(13)式可知 lim k → ∞ d k = 0. 则由定理4.2可得知结论成立。否则，如果我们有 lim k → ∞ α k = 0 ，对于所有的 k ≥ 1 ，由线搜索(11)规则可得 f ( x k + α k η d k ) − f ( x k ) ≥ f ( x k + α k η d k ) − max 0 ≤ j ≤ m ( k ) f ( x k − j ) > − δ ( α k η ‖ d k ‖ ) 2 . (14) 另一方面，对于充分大的 k ∈ K ，由中值定理可得 f ( x k + α k η d k ) − f ( x k ) = α k η ( g ( x k + θ k α k η d k ) − g ( x k ) ) T d k + α k η g ( x k ) T d k . 其中 θ k ∈ ( 0 ， 1 ) 。将上述等式带入(14)，可得 ( g ( x k + θ k α k η d k ) − g ( x k ) ) T d k + g ( x k ) T d k > − δ α k η ‖ d k ‖ 2 . 由于序列 是有界的，不失一般性地，存在 d * 使得 lim k → ∞ d k = d * ，结合引理4.1可知， lim k → ∞ α k = 0 。再由最后一个不等式取极限得 g ( x * ) T d * > 0 。由定理4.3得出矛盾，故结论成立，证毕。