system: [SYSTEM]

user: 2. 预备知识 2.1. 欧式空间上的投影的性质 设向量x为 R n 空间的任意向量，内积定义为 〈   ，   〉 ，x的范数定义为 ‖ x ‖ = 〈 x ， x 〉 。向量x向C集上的投影用 P C 表示，定义式为 P C x = arg min y ∈ C ‖ y − x ‖ ，     ∀ y ∈ C (2.1) 定理2.1 [ 17 ] P C 与 I − P C 是非扩张映射，有以下结论成立： ‖ P C x − P C y ‖ ≤ ‖ x − y ‖ (2.2) ‖ ( I − P C ) ( x − y ) ‖ ≤ ‖ x − y ‖ (2.3) 其中 x ， y ∈ C 。 若算子T满足 F i x T = { x ∈ D : x = T x } ，则T是一非扩张算子，称作不动点映射。我们定义 与 T Q ： T C : = { x ∈ C : x = P C x } ， T Q : = { H ( x ) = y ∈ Q : y = P Q y } (2.4) 引理2.1 若迭代点 x k 满足 x k ∈ T C ∩ T Q (2.5) 则说明 x k 为最优解。 证明：若 x = x k ∈ T C ∩ T Q ，则 x k = P C x k 且 y k = F ( x k ) = P Q ( x k ) ，所以 f ( x k ) = 1 2 ‖ x k − P C ( x k ) ‖ 2 + 1 2 ‖ F ( x k ) − P Q ( F ( x k ) ) ‖ 2 = 0 显然 f ( x ) ≥ 0 ，所以当 x = x k 时，目标函数达到最小值0。根据投影定理，当向量与其投影之间的差为0时，我们可以得出结论：向量 x k 在集合C的内部或边界上，并且 F ( x k ) 也同时位于集合Q的内部或边界上，即上述两向量满足非线性分裂可行性问题的约束，因此获得了一个解，这意味着向量 x k 为问题的最优解。 引理2.2 设C是Rn上的闭凸集，则存在 ( v − P C ( v ) ) T ( u − P C ( v ) ) ≤ 0 (2.6) 此不等式关系以二维为例如图1所示如下： 图1. 引理2.2投影不等式示意图 向范数球 N D = z ∈ H : ‖ z − z 0 ‖ ≤ r 上投影的解析表达式为 P C x = { x ，                                         x ∈ C z 0 + r ( x − z 0 ) ‖ x − z 0 ‖ ，         x ∉ C 推论1：假设K是空间X中的闭凸子集。定义任何满足 x ∈ X 的唯一元素为 π K ( x ) ∈ K ，有 x − π K ( x ) = min y ∈ K ‖ x − y ‖ (2.7) 其性质为如下变分不等式 〈 π K ( x ) − x ， π K ( x ) − y 〉 ≤ 0 ，     ∀ y ∈ K (2.8) 命题1：假设K是一个非空闭凸集，而 d K 2 是在X上由 d K 2 ( x ) inf = ‖ x − y ‖ 2 | y ∈ K 定义的函数。 d K 2 是连续可微的，其梯度为 ∇ d K 2 ( x ) = 2 ( x − π K ( x ) ) (2.9) 定义等式约束集： E = { x ∈ R n : ( α 1 ， α 2 ， ⋯ ， α r ) T x = ( β 1 ， β 2 ， ⋯ ， β r ) } → { x ∈ R n : α i T x = β i } 与不等式约束集： J = { x ∈ R n : ( α 1 ， α 2 ， ⋯ ， α r ) T x ≤ ( β 1 ， β 2 ， ⋯ ， β r ) } → { x ∈ R n : α i T x ≤ β i } 向量x向集合 E 与集合 J 的投影解析表达式为： P E ( x ) = x + ( b i − a i T x ) a i ‖ a i ‖ 2 P J ( x ) = x + min { 0 ， b i − a i T x } a i ‖ a i ‖ 2 在本文中，我们还将考虑稀疏约束下的非线性分裂可行问题 [ 18 ] S r : = { x ∈ R t | ‖ x ‖ 0 ≤ r ， 0 ≤ r ≤ t } 定义向量x的指标集 I ( x ) = { i 1 ， i 2 ， ⋯ ， i r } ⊆ { 1 ， 2 ， ⋯ ， n } ，例如 x = { x I 1 ， x I 2 ， ⋯ ， x I n } ，则其指标集为 I ( x ) = { I 2 ， I 4 ， ⋯ ， I 2 n } ， x = { x I 2 ， x I 4 ， ⋯ ， x I 2 n } ，且有 max i ∉ I ( x ) ‖ x i ‖ ≤ min i ∈ I ( x ) ‖ x i ‖ 定义x在稀疏集 S r 上的投影为 P S r ( x ) ，根据投影的性质，记 M s ( ‖ x ‖ ) 为向量x中最大的分量，我们有： P C S ( x ) = { x i                 x i > M s ( | x | ) 0 或 x i       x i = M s ( | x | ) 0                   x i < M s ( | x | ) 由于0范数约束问题是一个NP难问题，我们使用范数和范数的最优凸近似 [ 19 ] 在问题(1.1)中，如果集合C是一稀疏集合 C s = { x ∈ R n | ‖ x ‖ 0 ≤ r } ，则其可以与下述问题等价 min x f ( x ) s .t .     ‖ x ‖ 1 ≤ μ 2.2. 条件梯度法 Marguerite Frank和Philip Wolfe [ 20 ] 在1956年首次提出条件梯度法，方法的思想是在每一次迭代中通过求解一个线性的子问题得到最优的下降方向，在更新步时与上一步的迭代点凸组合得到下一步的迭代点。条件梯度法由于其非常好的稀疏性与低秩性，在大数据与机器学习热门的近几年里收货了极大的关注 [ 21 ] [ 22 ]，其算法描述如下： max λ h ( λ ) s .t .     λ ∈ Q 在当前迭代点 x k 处，该算法考虑目标函数的线性化，并求解出该线性函数的最小值(定义域相同)。通过LO oracle解决线性子问题，也可根据不同的问题适当调整子问题的处理方法，从而大大提高了整个算法的灵活性。 以下两个图是条件梯度法的迭代过程的示意图。图2左边表示集合C中的迭代过程。每个迭代方向都来自当前迭代向量，沿着C集合的边界向量的方向。步长可以控制每个迭代向量与边界向量之间的距离以实现更合适的下降。图2右侧图是在分裂可行问题下的，我们的解集是图中的集C和集Q的交集。使用FW方法解决分裂可行问题是非常行之有效的。 图2. 条件梯度法迭代示意图 2.3. 对偶间隙 定义目标函数的对偶间隙 [ 23 ] [ 24 ] G ( x ) = max 〈 x − s ， ∇ f ( x ) 〉 ，     s ∈ C (2.10) 对偶间隙是作为算法每次迭代的副产品，无需进行额外的计算。同时我们记在 x k 处的下降方向为 d k F W = s k − x k 。 定义2.1 (下降方向)若目标函数在集合C上是连续可微的，则 d k F W 为下降方向的充要条件是 G ( x k ) < 0 ，并且当 G ( x k ) = 0 时，目标函数达到最小值， x k 为最优解。 证明：由于 s ( k ) : = arg max 〈 s ， ∇ f ( x ( k ) ) 〉 有 s k 与 x k 处梯度内积最小，所以 〈 s k ， ∇ f ( x k ) 〉 ≤ 〈 x k ， ∇ f ( x k ) 〉 〈 s k ， ∇ f ( x k ) 〉 − 〈 x k ， ∇ f ( x k ) 〉 ≤ 0 〈 s k − x k ， ∇ f ( x k ) 〉 ≤ 0 ∇ f ( x k ) T d k F W ≤ 0 因此，可以看出， d k F W 是下降方向，当且仅当 x k 是最优解时，等号成立。 引理2.4 为一收敛序列，并且有 lim i → ∞ G ( x i ) = 0 。 证明略。