system: [SYSTEM]

user: 2. 基于截断核范数的矩阵回归 首先给出了基于截断核范数的矩阵回归，然后利用了交替方向乘子算法进行模型求解。 2.1. 模型建立 给定一组n个图像矩阵 A 1 ， ⋯ ， A n ∈ R p × q 和一个测试图像矩阵 B ∈ R p × q ，测试图像B可以用矩阵 A 1 ， ⋯ ， A n 线性表示为 B = x 1 A 1 + x 2 A 2 + ⋯ + x n A n + E (1) 其中， x 1 ， x 1 ， ⋯ ， x n 是表示系数， E 表示误差图像矩阵。定义 A ( x ) = x 1 A 1 + x 2 A 2 + ⋯ + x n A n (2) 则公式(1)可表示为 B = A ( x ) + E (3) (3)式给出了线性矩阵回归模型的一般形式，误差图像 E 的最优解在许多情况下通常是低秩的，因此直观的想法可以通过秩最小化来计算回归系数 min x rank ( A ( x ) − B ) (6) 然而，采用秩函数来描述矩阵的低秩结构会使模型求解困难，candés [ 7 ] 提出采用矩阵的核范数作为矩阵秩函数的替代。 定义1 给定一个矩阵 Y ∈ R m × n ，截断核范数 ‖ Y ‖ r 被定义为 min ( m ， n ) − r 个最小奇异值的和，即 ‖ Y ‖ r = ∑ i = r + 1 min ( m ， n ) σ i ( Y ) 。 由于截断核范数能够更准确的近似秩函数，上述秩最小化问题可转化为截断核范数最小化问题: min x ‖ A ( x ) − B ‖ r (7) 为防止过拟合，加入正则项，得到正则化的截断核范数的矩阵回归模型 min x ‖ A ( x ) − B ‖ r + 1 2 λ ‖ x ‖ 2 2 (8) 下面求解这个模型。 2.2. 模型求解 本文采用交替方向乘子算法(ADMM)求解截断核范数的矩阵回归问题 [ 8 ] [ 9 ] [ 10 ]。关于ADMM的更多知识，可以参考文献 [ 8 ]。根据A. Hansson等人的研究成果 [ 10 ]，(8)式中的模型可以重写为 min x ‖ E ‖ r + 1 2 λ ‖ x ‖ 2 2 s .t .     A ( x ) − B = E (9) 增广拉格朗日函数定义为 L μ ( E ， x ， Z ) = ‖ E ‖ r + 1 2 λ ‖ x ‖ 2 2 + T r ( Z T ( A ( x ) − E − B ) ) + μ 2 ‖ A ( x ) − E − B ‖ F 2 (10) μ > 0 是惩罚参数， Z 是拉格朗日乘数法， Tr ( ⋅ ) 表示迹算子。如果 μ = 0 ，(10)表示标准的拉格朗日函数。 ADMM算法由以下迭代组成 1) 令 E = E k 且 Z = Z k ，更新 x ： x k + 1 = arg min x L μ ( E ， x ， Z ) (11) 2) 令 x = x k + 1 且 Z = Z k ，更新 E ： E k + 1 = arg min E L μ ( E ， x ， Z ) (12) 3) 令 x = x k + 1 且 E = E k + 1 ，更新 Z : Z k + 1 = Z k + μ ( E k + 1 − E k + 1 ) (13) 算法的关键是解决上述步骤中的优化问题(11)和(12)。因为 T r ( Z T ( A ( x ) − E − B ) ) + μ 2 ‖ A ( x ) − E − B ‖ F 2 = μ 2 ‖ A ( x ) − ( B + E − 1 μ Z ) ‖ F 2 − 1 2 μ ‖ Z ‖ F 2 (14) 得到 L μ = ( E ， x ， Z ) = ‖ E ‖ r + 1 2 λ ‖ x ‖ 2 2 + μ 2 ‖ A ( x ) − ( B + E − 1 μ Z ) ‖ F 2 − 1 2 μ ‖ Z ‖ F 2 (15) x 的解可以通过下式求： x k + 1 = arg min x L μ ( E ， x ， Z ) = arg min x ( ‖ A ( x ) − ( B + E − 1 μ Z ) ‖ F 2 + λ μ ‖ x ‖ 2 2 ) (16) 令 H = { Vec ( A 1 ) ， ⋯ ， Vec ( A n ) } ，则 A ( x ) = ∑ i = 1 n x i A i 可以写成矩阵形式 H x .令 g = Vec ( B + E − 1 μ Z ) (17) 因此(16)等同于 x k + 1 = arg min x ( ‖ H x − g ‖ 2 2 + λ μ ‖ x ‖ 2 2 ) (18) (18)式为标准的岭回归模型，可以得到精确解为： x k + 1 = ( H T H + λ μ I ) − 1 H T g (19) 下面考虑问题(12)的解，由于 ‖ E ‖ r 是矩阵奇异值的非凸函数，直接求解并不容易。由文献 [ 8 ]，可知 ‖ E ‖ r = ∑ i = 1 min ( m ， n ) σ i ( E ) − ∑ i = 1 r σ i ( E ) = ‖ E ‖ * − max A A T = I ， B B T = I T r ( A E B T ) (20) 因此，求解优化问题 min E ‖ E ‖ r 可转化为： min E ‖ E ‖ * − max A A T = I ， B B T = I T r ( A E B T ) (21) 这里 A ∈ R r × m ， B ∈ R r × n 。 定义2 关于矩阵 Y ∈ R m × n ，秩为r的奇异值分解(SVD)， Y = U ∑ V T ， ∑ = diag ( { σ i } 1 ≤ i ≤ r ) (22) 定义奇异值阈值算子 D τ 如下： D τ ( Y ) = U D τ ( ∑ ) V T D τ ( ∑ ) = diag ( { σ i − τ } + ) (23) 定理1 对于每个 τ ≥ 0 和 X ∈ R m × n ，有 D τ ( X ) = arg min X 1 2 ‖ Y − X ‖ F 2 + τ ‖ Y ‖ * (24) 因此，问题(12)可转化为 E k + 1 = arg min E ‖ E ‖ * − Tr ( A l T k B l T ) + μ 2 ‖ E − T k ‖ F 2 − Tr ( Z k T ( E − T k ) ) (25) 其中 T k 为求解 E 而引进的辅助变量。 忽略常量项，可得 E k + 1 = arg min E ‖ E ‖ * + μ 2 ‖ E − ( T k + 1 μ Z k T ) ‖ F 2 (26) 由定理1可得 E k + 1 = D 1 μ ( T k + 1 μ Z k T ) (27) 计算 E k + 1 通过修正 T k 和 Z k 设置 E 1 = T 1 作为初始化，在第l次迭代中，首先基于 E l 奇异值分解确定了 E l 并计算 A l 和 B l 。 这里 A = ( u 1 ， ⋯ ， u r ) T ， B = ( v 1 ， ⋯ ， v r ) T max A A T = I ， B B T = I Tr ( A E B T ) = ∑ i = 1 r σ i ( E ) T k 的更新过程为 T k + 1 = arg min T L ( E k + 1 ， Z k ， T k ， μ ) (28) 它是T的二次函数，容易求得 T k + 1 = E k + 1 + 1 μ ( A l T B l − Z k ) (29) 最后计算 Z k + 1 ，通过修正 E k + 1 和 T k + 1 Z k + 1 = Z k + μ ( E k + 1 − T k + 1 ) (30) S. Boyd [ 9 ] 给出了ADMM算法的最优条件和停止准则。 max ( ‖ x k + 1 − x k ‖ F ， ‖ E k + 1 − E k ‖ F ) ≤ ε (32) 在本算法中，由(19)式可知， ( H T H + λ μ I ) − 1 H T 在每次迭代中都是固定的，因而可以提前计算并保存。令 M = ( H T H + λ μ I ) H T (33) 然后，在每个迭代中更新 x 、 g 和矩 M g 。另一方面，更新 E 时，主要计算用于执行矩阵 Q = T k + 1 μ Z k T 的奇异值分解。 TNMR算法步骤： 1) 输入图像矩阵 Y 和训练图像 A 1 ， A 2 ， ⋯ ， A n ，模型中的参数 λ ， μ ，及终止条件 ε 。计算 H = [ Vec ( A 1 ) ， ⋯ ， Vec ( A n ) ] ， M = ( H T H + λ μ I ) H T 2) while not converged do a) 更新 x k + 1 ， g = Vec ( B + E − 1 μ Z k ) ， x k + 1 = M g b) 更新 E k + 1 ， E k + 1 = D 1 μ ( T k + 1 μ Z k ) 通过对 E k + 1 的奇异值分解得到 A k + 1 ， B k + 1 ， T k + 1 = E k + 1 + 1 μ ( A k + 1 T B k + 1 − Z k ) c) 更新 Z k + 1 ， Z k + 1 = Z k + μ ( E k + 1 − T k + 1 ) d) 判断收敛条件 end while 输出：最优回归系数向量 x * 算法可以在两步迭代策略中进行解释，以获得稳健人脸识别策略。更新 x 实际上是用于确定表示系数，更新 E 实际上是一个误差检测步骤，用于确定真正损坏的部分。因此，TNMR方法提供了一个统一的框架，将误差检测和误差校正集成到一个简单的模型中。本文的算法收敛性证明类似于文献 [ 11 ] 中所提供的核范数的ADMM算法收敛性证明。 2.3. 算法的复杂度 给定n个训练样本和图像大小 p × q ，令 m = p × q ，由矩阵乘法决定的计算复杂度为 O ( m n ) 。更新 E 的计算复杂度是 O ( min ( p 2 q ， p q 2 ) ) ，主要由 p × q 矩阵 Q = T k + 1 μ Z k T 的奇异值分解决定的。因此，算法总的计算复杂度是 O ( k ( min ( m p ， m q ) + m n ) ) ，其中k是迭代次数。