奇异值分解

title: 理论描述.
content: 假设"M"是一个"m×n"阶矩阵,其中的元素全部属于域"K",也就是实数域或复数域。如此则存在一个分解使得 其中"U"是"m×m"阶酉矩阵;Σ是"m×n"阶非负实数对角矩阵;而"V*",即"V"的共轭转置,是"n×n"阶酉矩阵。这样的分解就称作"M"的奇异值分解。Σ对角线上的元素Σ即为"M"的奇异值。  常见的做法是将奇异值由大而小排列。如此Σ便能由"M"唯一确定了。(虽然"U"和"V"仍然不能确定。)
title: 直观的解释.
content: 在矩阵"M"的奇异值分解中
title: 奇异值和奇异向量,以及他们与奇异值分解的关系.
content: 一个非负实数σ是"M"的一个奇异值仅当存在"K"的单位向量"u"和"K"的单位向量"v"如下: 其中向量"u"和"v"分别为σ的左奇异向量和右奇异向量。  对于任意的奇异值分解 矩阵Σ的对角线上的元素等于"M"的奇异值. "U"和"V"的列分别是奇异值中的左、右奇异向量。因此,上述定理表明:  如果对于一个奇异值,可以找到两组线性无关的左(右)奇异向量,则该奇异值称为简并的(或退化的)。  非退化的奇异值在最多相差一个相位因子formula_11(若讨论限定在实数域内,则最多相差一个正负号)的意义下具有唯一的左、右奇异向量。因此,如果"M"的所有奇异值都是非退化且非零,则除去一个可以同时乘在formula_12上的任意的相位因子外,formula_13的奇异值分解唯一。  根据定义,退化的奇异值具有不唯一的奇异向量。因为,如果"u"和"u"为奇异值σ的两个左奇异向量,则它们的任意归一化线性组合也是奇异值σ一个左奇异向量,右奇异向量也具有类似的性质。因此,如果"M"具有退化的奇异值,则它的奇异值分解是不唯一的。
title: 例子.
content: 观察一个4×5的矩阵  M矩阵的奇异值分解如下formula_15  注意矩阵formula_17的所有非对角元为0。矩阵formula_18和formula_19都是酉矩阵,它们乘上各自的共轭转置都得到单位矩阵。如下所示。在这个例子中,由于formula_18和formula_19都是实矩阵,故它们都是正交矩阵。  由于formula_17有一个对角元是零,故这个奇异值分解值不是唯一的。例如,选择formula_25使得 能得到formula_13的另一个奇异值分解。
title: 与特征值分解的联系.
content: 奇异值分解能够用于任意formula_28矩阵,而特征分解只能适用于特定类型的方阵,故奇异值分解的适用范围更广。不过,这两个分解之间是有关联的。给定一个"M"的奇异值分解,根据上面的论述,两者的关系式如下:  关系式的右边描述了关系式左边的特征值分解。于是:  特殊情况下,当"M"是一个正规矩阵(因而必须是方阵)根据谱定理,"M"可以被一组特征向量酉对角化,所以它可以表为: 其中"U"为一个酉矩阵,"D"为一个对角阵。如果"M"是半正定的,formula_38的分解也是一个奇异值分解。  然而,一般矩阵的特征分解跟奇异值分解不同。特征分解如下: 其中"U"是不需要是酉的,"D"也不需要是半正定的。而奇异值分解如下: 其中formula_17是对角半正定矩阵,"U"和"V"是酉矩阵,两者除了通过矩阵"M"没有必然的联系。
title: 几何意义.
content: 因为"U"和"V"都是酉的,我们知道"U"的列向量"u"...,"u"组成了"K"空间的一组标准正交基。同样,"V"的列向量"v"...,"v"也组成了"K"空间的一组标准正交基(根据向量空间的标准点积法则)。  矩阵formula_13代表从formula_44到formula_45的一个线性映射formula_46:formula_47。通过这些标准正交基,这个变换可以用很简单的方式进行描述:formula_48,其中formula_49是formula_17中的第"i"个对角元。当formula_51时,formula_52。  这样,SVD分解的几何意义就可以做如下的归纳:对于每一个线性映射formula_53,formula_46的奇异值分解在原空间与像空间中分别找到一组标准正交基,使得formula_46把formula_44的第formula_57个基向量映射为formula_45的第formula_57个基向量的非负倍数,并将formula_44中余下的基向量映射为零向量。换句话说,线性变换formula_46在这两组选定的基上的矩阵表示为所有对角元均为非负数的对角矩阵。
title: 应用.
title: 求广义逆阵(伪逆).
content: 奇异值分解可以被用来计算矩阵的广义逆阵(伪逆)。若矩阵"M"的奇异值分解为formula_62,那么"M"的伪逆为  其中formula_64是formula_17的伪逆,是将formula_17主对角线上每个非零元素都求倒数之后再转置得到的。求伪逆通常可以用来求解最小二乘法问题。
title: 列空间、零空间和秩.
content: 奇异值分解的另一个应用是给出矩阵的列空间、零空间和秩的表示。对角矩阵formula_17的非零对角元素的个数对应于矩阵formula_13的秩。与零奇异值对应的右奇异向量生成矩阵formula_13的零空间,与非零奇异值对应的左奇异向量则生成矩阵formula_13的列空间。在线性代数数值计算中奇异值分解一般用于确定矩阵的有效秩,这是因为,由于舍入误差,秩亏矩阵的零奇异值可能会表现为很接近零的非零值。
title: 矩阵近似值.
content: 奇异值分解在统计中的主要应用为主成分分析(PCA)。数据集的特征值(在SVD中用奇异值表征)按照重要性排列,降维的过程就是舍弃不重要的特征向量的过程,而剩下的特征向量张成空间为降维后的空间。

Summary: 奇异值分解(singular value decomposition)是线性代数中一种重要的矩阵分解,在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或厄米矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性,但还是有明显的不同。对称阵特征向量分解的基础是谱分析,而奇异值分解则是谱分析理论在任意矩阵上的推广。

Singulární rozklad: Singulární rozklad (zkratkou SVD podle anglického názvu Singular Value Decomposition) matice je rozklad komplexní nebo reálné matice formula_1 na maticový součin formula_2. Přitom formula_3 je reálná nebo komplexní unitární matice o rozměrech formula_4, formula_5 je reálná nebo komplexní unitární matice formula_6 a formula_7 je matice formula_8 nulová až na případná nezáporná čísla na hlavní diagonále; čísla na její hlavní diagonále se označují jako singulární hodnoty matice formula_1. Hvězdička označuje konjugovanou matici, tedy transponovanou matici komplexně sdružených prvků. Požadujeme-li, jak je obvyklé, aby singulární hodnoty byly seřazeny sestupně, je matice formula_7 určena jednoznačně, naopak matice formula_3 a formula_5 jednoznačné být nemusejí. Singulární rozklad vždy existuje a používá se k řadě teoretických i praktických účelů. Lze ho chápat také jako zobecnění Schurova rozkladu na matice obecného tvaru. Nevýhodou je, že výpočetní náročnost konstrukce singulárního rozkladu roste se třetí mocninou rozměru matic. O vypracování teorie singulárních hodnot se zasloužili matematici Eugenio Beltrami (1873), Camille Jordan (1874), James Joseph Sylvester (1889), Erhard Schmidt (1907), Émile Picard (1910) a Eckart a Young (1936). První algoritmus SVD rozkladu publikovali Gene H. Golub a William Kahan (1965), jeho vylepšenou a dodnes často používanou variantu uveřejnili Golub a Christian Reinsch (1970).