system: [SYSTEM]

user: 1. 引言 在机器学习理论中，最小二乘回归问题可以陈述如下： 设 X 为一个紧子集， Y = R 。 ρ 为 Z : X × Y 上未知的概率测度， z = { ( x i ， y i ) } i = 1 m ∈ Z m 为服从 ρ 的一组独立同分布的取样。在回归学习中定义关于函数 f : X → Y 的推广误差， ε ( f ) = ∫ Z ( f ( x ) − y ) 2 d ρ 回归函数定义为 f ρ ( x ) = E ( y | x ) = ∫ Y y d ρ ( y | x ) ， x ∈ X 记 ρ ( y | x ) 为 ρ 在 X = x 时的条件分布。实际上，由于 ρ 是未知的， f ρ 是不能直接求出来的，于是我们的目标是利用样本 z 产生关于 f ρ 的一个最佳逼近。 传统的学习算法所选取的假设空间通常为与Mercer核相关的再生核Hilbert空间。基于核的学习算法具有良好的运算性质，这得益于再生核Hilbert空间所特有的再生性。核函数最初用于模式识别，现在已经广泛成功应用于机器学习的很多领域。在基于核函数的学习中，核函数 K : X × X → R 扮演着基函数的角色。 下面给出Mercer核和再生核Hilbert空间的定义： 定义1.1 (Mercer核)设函数 K : X × X → R 为连续的，对称的，半正定的，则称 K 为Mercer核。 定义1.2 (再生核Hilbert空间)由 K x = K ( x ， ⋅ ) ， x ∈ X 的有限线性组合成的线性函数空间， { ∑ i = 1 m a i K x i : a i ∈ R ， x i ∈ X ， i = 1 ， 2 ， ⋯ ， m ; m ∈ N } 在该函数空间中定义内积 〈 ∑ i = 1 n a i K x i ， ∑ j = 1 m b j K x j 〉 K = ∑ i = 1 n ∑ j = 1 m a i b j K ( x i ， y j ) 则该函数空间成为内积空间。其完备化的Hilbert空间称由核函数 K 所生成的再生核Hilbert空间(RKHS)，记为 H K 。 H K 的再生性指 f ( x ) = 〈 f ， K x 〉 K 对任意 f ∈ H K ， x ∈ X 大量的文献都有对Mercer核的研究学习，可以见参考文献 [ 1 ] [ 2 ] [ 3 ] [ 4 ] 。 为了防止过拟合，一般采用正则化方法 [ 5 ] 。常用的回归学习算法有正则化最小二乘算法与系数正则化算法。 正则化最小二乘算法形式： f Z ， K = arg min f ∈ H K 1 m ∑ i = 1 m ( y i − f ( x i ) ) 2 + λ ‖ f ‖ K 2 (1.1) 关于这个算法的学习可以看文献 [ 6 ] [ 7 ] [ 8 ] 。 接下来给出系数正则化算法(CRKN) [ 9 ] [ 10 ] [ 11 ] ： f Z ， λ = f α Z 其中 α Z = arg min α ∈ R m { 1 m ∑ i = 1 m ( f α ( x i ) − y i ) 2 + λ Ω Z ( f ) } ， λ > 0 这里 f α = ∑ i = 1 m α i K ( ⋅ ， x i ) 是与Mercer核有关的。在系数正则化算法中的假设空间取为： H K ， x = f α ( x ) = ∑ i = 1 m α i K ( x ， x i ) : α = ( α 1 ， α 2 ， ⋅ ⋅ ⋅ ， α m ) ∈ R m ， m ∈ N 注：假设空间依赖输入数据 x = { x i : i = 1 ， 2 ， ⋯ ， m } 。系数正则化被Vapnik在文献 [ 5 ] 中为了设计线性规划支持向量机而首次引用。系数正则化是有一些优点的，我们可以见参考文献 [ 10 ] 。 本文中，我们考虑不定核而不再考虑Mercer核，所谓一般核 K 是指 K 只满足有界性和连续性，不再满足对称性或者半正定性。对于非正定核通常通过以下定义来处理。 定义1.3 K ˜ ( u ， v ) = E u K ( x ， u ) K ( t ， v ) ， (1.2) 即 K ˜ 是一个Mercer核。 更多的关于不定核的学习，有：文献 [ 12 ] Qu和Sun学习了对于不定核核 l q 范数正则化学习算法的渐进性能，并且得到了满意的学习率；通过奇异值分解的方法，文献 [ 13 ] Q考虑不定核的情况下，得出了与容量无关的误差界。 在这篇文章里，记 k = sup x ， t ∈ X | K ( x ， t ) | < ∞ ，我们学习 l 2 系数正则化算法： f Z ， λ = f α Z 其中 α Z = arg min α ∈ R m { 1 m ∑ i = 1 m ( f α ( x i ) − y i ) 2 + λ m ∑ i = 1 m α i 2 } ， λ > 0 (1.3) 这里 f α = ∑ i = 1 m α i K ˜ ( ⋅ ， x i ) 。由(1.2)，有 k 2 = sup u ， v | K ( u ， v ) | 。 本文我们研究non-iid抽样下的系数正则化学习算法的性能。考虑基于 Z 上的概率分布序列 { ρ i } ，因此对于任意的 i ≥ 1 ， ρ i 在 x 处的条件分布为 ρ ( ⋅ | x ) 。第 i 个样本 z i = ( x i ， y i ) 的选取依赖于 ρ ( i ) 。我们假设样本序列 z i = ( x i ， y i ) ， i ≥ 1 来自于强平稳过程并且样本的相关性满足强混合条件。 关于强混合条件的定义： 定义1.4对于两个 σ 域 Γ 和 D ，定义a-数为 α ( Γ ， D ) = sup A ∈ Γ ， B ∈ D | P ( A ∩ B ) − P ( A ) P ( B ) | 。给定一系列样 本 { z i } i = 1 m ，定义 M a b 为由随机变量 z a ， z a + 1 ， ⋯ ， z b 生成的 σ 域。当 i → 0 时， α i = sup k ≥ 1 α ( M 1 k ， M k + i ∞ ) → 0 ，称随机过程 z i ， i ≥ 1 满足强混合条件(或 α 混合条件)。 对于正则化学习算法的误差分析，已经有很多研究工作，其中绝大多数假设输出数据是一致有界的，即存在某一常数 M > 0 ，使得几乎处处有 | y | ≤ M ，也即条件分布 ρ ( ⋅ | x ) 的支撑集几乎处处包含在 [ − M ， M ] 中，见文献 [ 3 ] [ 4 ] [ 6 ] [ 10 ] 。文献 [ 14 ] [ 15 ] 在输出数据满足以下矩假设条件下得出算法(1.3)的误差界： 定义1.5 (矩有界假设)存在常数 M ^ > 0 及 C 1 > 0 使得 ∫ Y | y | l d ρ ( y / x ) ≤ C 1 l ! M ^ l ， ∀ l ∈ N ， x ∈ X (1.4) 文献 [ 1 ] 和 [ 2 ] ，在以下弱化的矩有界假设下分别研究了回归学习算法(1.1)和(1.3)。 本文给出的有关输出数据的假设： 定义1.6 (弱化的矩有界假设)存在两个常数 M > 0 及 p ≥ 2 使得 ∫ Z | y | p d ρ ≤ M (1.5) 注：矩假设(1.4)要求输出数据 y 的所有矩皆有界，而本文对矩假设进一步弱化，只要求 y 的某个 p ( p ≥ 2 ) 阶矩有界。 本文研究对输出变量满足弱化的矩有界条件(1.5)下基于非正定核的惩罚项为l 2 -范数的系数正则化算法的误差分析。下一节，我们将给出一些假设条件和本文主要结论。