system: [SYSTEM]

user: 3. 多重积分与Lasso的数学原理 多重积分是高等数学中的重要教学内容，在现在的教学中，三重积分的极坐标换元法讲完后，这部分内容的教学就结束了。本文通过将多重积分推广到高维，来加深学生对这部分内容的掌握。在教学中，讲述完三重积分求单位球体积的极坐标方法后，诱导学生从换元公式 { x = r cos φ y = r sin φ cos θ z = r sin φ sin θ ， 其中 0 ≤ r ≤ 1 ， 0 ≤ θ ≤ 2 π ， 0 ≤ φ ≤ π ，推导出求高维单位球 S n = { ( x 1 ， x 2 ， ⋯ ， x n ) | x 1 2 + x 2 2 + ⋯ + x n 2 ≤ 1 } 体积 V ( n ) 的换元公式 { x 1 = r cos θ 1 x 2 = r sin θ 1 cos θ 2                       ⋮ x n − 1 = r sin θ 1 ⋯ sin θ n − 1 cos θ n x n = r sin θ 1 ⋯ sin θ n − 1 sin θ n ， 其中 0 ≤ r ≤ 1 ， 0 ≤ θ n ≤ 2 π ， 0 ≤ θ i ≤ π ， 1 ≤ i ≤ n − 1 。在此处可以通过长度，面积，体积的高维推广，适当引导学生接触测度的概念。注意到此换元公式的Jacobi行列式为 | J ( n ) | = | ∂ x 1 ∂ r ∂ x 1 ∂ θ 1 ⋯ ∂ x 1 ∂ θ n − 1 ∂ x 1 ∂ r ∂ x 1 ∂ θ 1 ⋯ ∂ x 1 ∂ θ n − 1 ⋮ ⋮ ⋱ ⋮ ∂ x 1 ∂ r ∂ x 1 ∂ θ 1 ⋯ ∂ x 1 ∂ θ n − 1 | = r n − 1 f ( θ 1 ， θ 2 ， ⋯ ， θ n − 1 ) ， 也就是说这个Jacobi行列式关于变量r和变量集合 { θ 1 ， θ 2 ， ⋯ ， θ n − 1 } 是变量可分离的。这个行列式的计算时线性代数的经典题目，通过这个行列式的计算，让学生意识到各个学科之间的联系。进而，通过定积分，二重积分，三重积分下长度，面积，体积的计算，引导学生推导出在直角坐标系下，单位球的体积可表示为 V ( n ) = ∫ x 1 = − 1 x 1 = 1 ∫ x 2 = − 1 − x 1 2 x 2 = 1 − x 1 2 ⋯ ∫ x n = − 1 − x 1 2 − ⋯ − x n − 1 2 x n = 1 − x 1 2 − ⋯ − x n − 1 2 d x n d x n − 1 ⋯ d x 1 . 经过上面的极坐标换元公式，单位球的体积可表示为 V ( n ) = ∫ 0 π d θ 1 ∫ 0 π d θ 2 ⋯ ∫ 0 π d θ n − 2 ∫ 0 2 π f ( θ 1 ， θ 2 ， ⋯ ， θ n − 1 ) d θ n − 1 ∫ 0 1 r n − 1 d r . 我们记 A ( n ) = ∫ 0 π d θ 1 ∫ 0 π d θ 2 ⋯ ∫ 0 π d θ n − 2 ∫ 0 2 π f ( θ 1 ， θ 2 ， ⋯ ， θ n − 1 ) d θ n − 1 ， 则 V ( n ) = 1 n A ( n ) . 为了计算 A ( n ) ，我们考虑下面的积分 I ( n ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ ⋯ ∫ − ∞ + ∞ e − ( x 1 2 + x 2 2 + ⋯ + x n 2 ) d x n d x n − 1 ⋯ d x 1 首先，由二重积分中的技巧，我们知道 ∫ − ∞ + ∞ e − x 2 d x = π 。又根据矩形区域上变量可分离函数的多重积分公式，我们知道 I ( n ) = ∏ i = 1 n ( ∫ − ∞ + ∞ e − x i 2 d x i ) ，从而可得 I ( n ) = π n 2 。另一方面，利用极坐标换元法将 I ( n ) 转换为 极坐标下的多重积分 { x 1 = r cos θ 1 x 2 = r sin θ 1 cos θ 2                       ⋮ x n − 1 = r sin θ 1 ⋯ sin θ n − 1 cos θ n x n = r sin θ 1 ⋯ sin θ n − 1 sin θ n ， 其中 0 ≤ r ≤ + ∞ ， 0 ≤ θ n ≤ 2 π ， 0 ≤ θ i ≤ π ，这里 1 ≤ θ i ≤ n − 1 。从而我们有 I ( n ) = ∫ 0 π d θ 1 ∫ 0 π d θ 2 ⋯ ∫ 0 π d θ n − 2 ∫ 0 2 π f ( θ 1 ， θ 2 ， ⋯ ， θ n − 1 ) d θ n − 1 ∫ 0 + ∞ r n − 1 d r = A ( n ) ∫ 0 + ∞ e − r 2 r n − 1 d r . 注意到经过换元 t = r 2 ，我们有 ∫ 0 + ∞ e − r 2 r n − 1 d r = 1 2 ∫ 0 + ∞ e − t t n 2 − 1 d t = 1 2 Γ ( n 2 ) ， 这里 Γ ( n 2 ) 为Gamma函数，满足 Γ ( x ) = ( x − 1 ) Γ ( x − 1 ) ， Γ ( 1 2 ) = π ， Γ ( 1 ) = Γ ( 2 ) = 1 。 这样我们有 π n 2 = 1 2 Γ ( n 2 ) A ( n ) ，即 2 π n 2 Γ ( n 2 ) = A ( n ) 。从而 V ( n ) = 2 π n 2 n Γ ( n 2 ) ， 由于 Γ ( n 2 ) 以阶乘增长，故 lim n → + ∞ 2 π n 2 n Γ ( n 2 ) = 0 . 这表明 lim n → + ∞ V ( n ) = 0 . 也就是说随着n的增加，单位球的体积趋近于0。这时候我们来看高维正立方体 C n = { ( x 1 ， x 2 ， ⋯ ， x n ) | | x 1 | + | x 2 | + ⋯ + | x n | ≤ 1 } . 它的体积为 2 n 2 。另一方面，单位球 S n 为正立方体 C n 的内接球。由前面的分析，单位球的体积随着维度 增加，体积趋近于0。这表明高维立方体 C n 的体积集中在内切球外面的部分。 由拉格朗日对偶定理，优化问题 min w [ ∑ i = 1 n ( y i − ∑ j = 1 d w j x i j ) 2 + α | w | ] 等价于下面的带不等约束的优化问题 min w ∑ i = 1 n ( y i − ∑ j = 1 d w j x i j ) 2 ， | w | ≤ λ 其中 λ 为一个大于0的常数。令 h ( w 1 ， w 2 ， ⋯ ， w n ) = ∑ i = 1 n ( y i − ∑ j = 1 d w j x i j ) 2 ，显然 h ( w 1 ， w 2 ， ⋯ ， w n ) 是一个高维空间的椭圆族。当对某个 λ 0 ≤ λ ，使得以 h ( w 1 ， w 2 ， ⋯ ， w n ) = ∑ i = 1 n ( y i − ∑ j = 1 d w j x i j ) 2 为方程的椭圆与高维立方体 | w | ≤ λ 0 相切时，此时对应的 ( w 1 ， w 2 ， ⋯ ， w d ) 即为满足不等约束的最优值点。以 d = 2 为例，我们用下面的图来表示这一过程 由于高维立方体的体积集中在内接球外面的部分，故最优值点大概率落在该区域。该区域的特点是除了少数特征外，大部分特征都很小，接近于0。通过将接近于0的特征置0，我们就得到了稀疏的特征向量。这就是用Lasso来正则化目标函数可以使得特征向量具有稀疏性背后的数学原理。