正定矩阵

在线性代数裡，正定矩阵（英語：positive-definite matrix）是埃尔米特矩阵的一种，有时会简称为正定阵。在线性代数中，正定矩阵的性质類似复数中的正实数。与正定矩阵相对应的线性算子是对称正定双线性形式（複域中则对应埃尔米特正定双线性形式）。 一个 n × n {\displaystyle n\times n} 的实对称矩阵 M {\displaystyle M} 是正定的，当且仅当对于所有的非零实系数向量 z {\displaystyle \mathbf {z} } ，都有 z T M z > 0 {\displaystyle \mathbf {z} ^{T}M\mathbf {z} >0} 。其中 z T {\displaystyle \mathbf {z} ^{T}} 表示 z {\displaystyle \mathbf {z} } 的转置。对于复数的情况，定义则为：一个 n × n {\displaystyle n\times n} 的埃尔米特矩阵 M {\displaystyle M} 是正定的若且唯若对于每个非零的複向量 z {\displaystyle \mathbf {z} } ，都有 z ∗ M z > 0 {\displaystyle \mathbf {z} ^{*}M\mathbf {z} >0} 。其中 z ∗ {\displaystyle \mathbf {z} ^{*}} 表示 z {\displaystyle \mathbf {z} } 的共轭转置。 這樣的定義仰賴一個事實：对于任意的埃爾米特矩陣 M {\displaystyle M} 及複向量 z {\displaystyle \mathbf {z} } ， z ∗ M z {\displaystyle \mathbf {z} ^{*}M\mathbf {z} } 必定是实数。 首先，因為 M {\displaystyle M} 是埃爾米特矩陣，所以我們有 M ∗ = M {\displaystyle M^{*}=M} 。接下來我們計算所求的共轭转置： ( z ∗ M z ) ∗ = z ∗ M ∗ ( z ∗ ) ∗ = z ∗ M z {\displaystyle (\mathbf {z} ^{*}M\mathbf {z} )^{*}=\mathbf {z} ^{*}M^{*}(\mathbf {z} ^{*})^{*}=\mathbf {z} ^{*}M\mathbf {z} } 。因為 z ∗ M z {\displaystyle \mathbf {z} ^{*}M\mathbf {z} } 是純量且其共軛複數等於自身，所以根據複數的性質，我們得出 z ∗ M z {\displaystyle \mathbf {z} ^{*}M\mathbf {z} } 是實數。 对於 n × n {\displaystyle n\times n} 的埃尔米特矩阵 M {\displaystyle M} ，下列性质与「 M {\displaystyle M} 为正定矩阵」等价： M {\displaystyle M} 的所有的特征值 λ i {\displaystyle \lambda _{i}} 都是正的。 根据谱定理， M {\displaystyle M} 与一个实对角矩阵 D {\displaystyle D} 相似（也就是说 M = U − 1 D U {\displaystyle M=U^{-1}DU} ，其中 U {\displaystyle U} 是酉矩阵，或者说 M {\displaystyle M} 在某个正交基可以表示为一个实对角矩阵）。因此， M {\displaystyle M} 是正定阵当且仅当相应的 D {\displaystyle D} 的对角线上元素都是正的。 另外，也可以假設 λ i {\displaystyle \lambda _{i}} 和 v i {\displaystyle \mathbf {v} _{i}} 是 M {\displaystyle M} 的一組特徵值與特徵向量，根據定義 M v i = λ i v i {\displaystyle M\mathbf {v} _{i}=\lambda _{i}\mathbf {v} _{i}} ，從左側同乘以 v i ∗ {\displaystyle \mathbf {v} _{i}^{*}} 得到： v i ∗ M v i = λ i v i ∗ v i = λ i ‖ v i ‖ 2 {\displaystyle \mathbf {v} _{i}^{*}M\mathbf {v} _{i}=\lambda _{i}\mathbf {v} _{i}^{*}\mathbf {v} _{i}=\lambda _{i}\Vert \mathbf {v} _{i}\Vert ^{2}} 。因為 M {\displaystyle M} 是正定矩陣，根據定義我們有 v i ∗ M v > 0 {\displaystyle \mathbf {v} _{i}^{*}M\mathbf {v} >0} 。移項整理後可以得到 λ i = v ∗ M v ‖ v i ‖ 2 > 0 {\displaystyle \lambda _{i}={\frac {\mathbf {v} ^{*}M\mathbf {v} }{\Vert \mathbf {v} _{i}\Vert ^{2}}}>0} 。注意因為特徵向量 v i ≠ 0 {\displaystyle \mathbf {v} _{i}\neq \mathbf {0} } ，所以前述 λ i {\displaystyle \lambda _{i}} 不會有無解的情形。 半双线性形式 ⟨ x , y ⟩ = x ∗ M y {\displaystyle \langle {\textbf {x}},{\textbf {y}}\rangle ={\textbf {x}}^{*}M{\textbf {y}}} 定义了一个 C n {\displaystyle \mathbb {C} ^{n}} 上的内积。实际上，所有 C n {\displaystyle \mathbb {C} ^{n}} 上的内积都可視為由某个正定矩阵通过此种方式得到。 M {\displaystyle M} 是向量 x 1 , … , x n ∈ C k {\displaystyle {\textbf {x}}_{1},\ldots ,{\textbf {x}}_{n}\in \mathbb {C} ^{k}} 構成的格拉姆矩阵，其中 k ∈ Z + {\displaystyle k\in \mathbb {Z} ^{+}} 。更精确地说， M = [ m i j ] {\displaystyle M=[m_{ij}]} 定义为： m i j = ⟨ x i , x j ⟩ = x i ∗ x j {\displaystyle m_{ij}=\langle {\textbf {x}}_{i},{\textbf {x}}_{j}\rangle ={\textbf {x}}_{i}^{*}{\textbf {x}}_{j}} 。换句话说， M {\displaystyle M} 具有 A ∗ A {\displaystyle A^{*}A} 的形式，其中 A {\displaystyle A} 不一定是方阵，但必須是单射的。 M {\displaystyle M} 的所有顺序主子式，也就是顺序主子阵的行列式都是正的（西尔维斯特准则（英语：Sylvester's criterion））。明确地说，就是考察 M {\displaystyle M} 左上角大小 1 × 1 , … , n × n {\displaystyle 1\times 1,\ldots ,n\times n} 的子矩阵的行列式。对于半正定矩阵而言，相应的条件应改为所有的主子式非负。但顺序主子式非负并不能推出矩阵是半正定的。比如以下例子： [ 1 1 1 1 1 1 1 1 0 ] {\displaystyle {\begin{bmatrix}1&1&1\\1&1&1\\1&1&0\end{bmatrix}}} 存在唯一的下三角矩阵 L {\displaystyle L} ，其主对角线上的元素全是正的，使得 M = L L ∗ {\displaystyle M=LL^{*}} 。其中 L ∗ {\displaystyle L^{*}} 是 L {\displaystyle L} 的共轭转置。这一分解被称为科列斯基分解。 对于实对称矩阵，只需将上述性质中的 C n {\displaystyle \mathbb {C} ^{n}} 改为 R n {\displaystyle \mathbb {R} ^{n}} ，並将「共轭转置」改为「转置」即可。 由以上的第二个等价条件，可以得到二次型形式下正定矩阵的等价条件：用 K {\displaystyle \mathbb {K} } 代表 C {\displaystyle \mathbb {C} } 或 R {\displaystyle \mathbb {R} } ，设 V {\displaystyle \mathbb {V} } 是 K {\displaystyle \mathbb {K} } 上的一个向量空间。一个埃尔米特型： B : V × V → K {\displaystyle B:V\times V\rightarrow K} 是一个双线性映射，使得 B ( x , y ) {\displaystyle B(\mathbf {x} ,\mathbf {y} )} 总是 B ( y , x ) {\displaystyle B(\mathbf {y} ,\mathbf {x} )} 的共轭。这样的一个映射 B {\displaystyle B} 是正定的若且唯若對於 V {\displaystyle \mathbb {V} } 中所有的非零向量 x {\displaystyle \mathbf {x} } ，都有 B ( x , x ) > 0 {\displaystyle B(\mathbf {x} ,\mathbf {x} )>0} 。 与正定矩阵对应，一个 n × n {\displaystyle n\times n} 的埃尔米特矩阵 M {\displaystyle M} 是负定矩阵（英語：negative-definite matrix）若且唯若对所有非零向量 z ∈ R n {\displaystyle \mathbf {z} \in \mathbb {R} ^{n}} （或 z ∈ C n {\displaystyle \mathbf {z} \in \mathbb {C} ^{n}} ），都有 z ∗ M z < 0 {\displaystyle z^{*}Mz<0\,} 。 M {\displaystyle M} 是半正定矩阵（英語：positive semi-definite matrix）若且唯若對於所有非零向量 z ∈ R n {\displaystyle \mathbf {z} \in \mathbb {R} ^{n}} （或 z ∈ C n {\displaystyle \mathbf {z} \in \mathbb {C} ^{n}} ），都有 z ∗ M z ≥ 0 {\displaystyle z^{*}Mz\geq 0} 。 M {\displaystyle M} 是半负定矩阵（英語：negative semi-definite matrix）若且唯若對於所有非零向量 z ∈ R n {\displaystyle \mathbf {z} \in \mathbb {R} ^{n}} （或 z ∈ C n {\displaystyle \mathbf {z} \in \mathbb {C} ^{n}} ），都有 z ∗ M z ≤ 0 {\displaystyle z^{*}Mz\leq 0} 。 如果一个埃尔米特矩阵既不是半正定也不是半负定的，那么称其为不定矩阵（英語：indefinite matrix）。 可以看出，上一节中正定矩陣的第一個等价性质只需作出相应改动，就可以变为判别负定矩阵、半正定矩阵和半负定矩阵的准则。注意当 M {\displaystyle M} 是半正定时，相应的格拉姆矩阵不必由线性獨立的向量组成。对於任意矩阵 A {\displaystyle A} ， A ∗ A {\displaystyle A^{*}A} 必是半正定的，并有 r a n k ( A ) = r a n k ( A ∗ A ) {\displaystyle \mathrm {rank} (A)=\mathrm {rank} (A^{*}A)} （两者的秩相等）。反过来，任意的半正定矩阵都可以写作 M = A ∗ A {\displaystyle M=A^{*}A} ，这就是科列斯基分解。 对於任意矩阵 A {\displaystyle A} ，因為 ( A ∗ A ) ∗ = A ∗ ( A ∗ ) ∗ = A ∗ A {\displaystyle (A^{*}A)^{*}=A^{*}(A^{*})^{*}=A^{*}A} ，因此 A ∗ A {\displaystyle A^{*}A} 是埃爾米特矩陣。令 v ∈ C n {\displaystyle \mathbf {v} \in \mathbb {C} ^{n}} ，則 v ∗ ( A ∗ A ) v = ( v ∗ A ∗ ) ( A v ) = ( A v ) ∗ ( A v ) = ‖ A v ‖ 2 ≥ 0 {\displaystyle \mathbf {v} ^{*}(A^{*}A)\mathbf {v} =(\mathbf {v} ^{*}A^{*})(A\mathbf {v} )=(A\mathbf {v} )^{*}(A\mathbf {v} )=\Vert A\mathbf {v} \Vert ^{2}\geq 0} ，因此 A ∗ A {\displaystyle A^{*}A} 是半正定的。另外，我們很容易證明 A {\displaystyle A} 與 A ∗ A {\displaystyle A^{*}A} 有相同的零空間，根據秩 – 零化度定理，我們可以得到它們有相同的秩。 一个埃尔米特矩阵 M {\displaystyle M} 是负定矩阵若且唯若 M {\displaystyle M} 的所有奇数阶顺序主子式小于 0 {\displaystyle 0} ，所有偶数阶顺序主子式大于 0 {\displaystyle 0} 。当 M {\displaystyle M} 是负定矩阵时， M {\displaystyle M} 的逆矩阵也是负定的。 若 M {\displaystyle M} 为半正定矩阵，可以記作 M ≥ 0 {\displaystyle M\geq 0} 。如果 M {\displaystyle M} 是正定矩阵，可以記作 M > 0 {\displaystyle M>0} 。这个记法来自泛函分析，其中的正定矩阵定义了正算子。 对于一般的埃尔米特矩阵， M {\displaystyle M} 、 N {\displaystyle N} ， M ≥ N {\displaystyle M\geq N} 若且唯若 M − N ≥ 0 {\displaystyle M-N\geq 0} 。这样可以定义一个在埃尔米特矩阵集合上的偏序关系。类似地，可以定义 M > N {\displaystyle M>N} 。 一个实矩阵 M {\displaystyle M} 可能满足對於所有的非零实向量 x {\displaystyle \mathbf {x} } ， x T M x > 0 {\displaystyle \mathbf {x} ^{T}M\mathbf {x} >0} ，卻不是对称矩阵。举例来说，矩阵 [ 1 1 − 1 1 ] {\displaystyle {\begin{bmatrix}1&1\\-1&1\end{bmatrix}}} 就满足这个条件。对於 x = [ x 1 x 2 ] {\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}} 并且 x ≠ 0 {\displaystyle \mathbf {x} \neq \mathbf {0} } ， [ x 1 x 2 ] [ 1 1 − 1 1 ] [ x 1 x 2 ] = x 1 2 + x 2 2 > 0 {\displaystyle {\begin{bmatrix}x_{1}&x_{2}\end{bmatrix}}{\begin{bmatrix}1&1\\-1&1\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=x_{1}^{2}+x_{2}^{2}>0} 。 一般来说，一个实系数矩阵 M {\displaystyle M} 满足对所有非零实向量 x {\displaystyle \mathbf {x} } ， x T M x > 0 {\displaystyle \mathbf {x} ^{T}M\mathbf {x} >0} ，若且唯若对称矩阵 ( M + M T ) / 2 {\displaystyle (M+M^{T})/2} 是正定矩阵。 对于复系数矩阵，情况可能會不太一样。主要考慮如何扩展 z ∗ M z > 0 {\displaystyle \mathbf {z} ^{*}M\mathbf {z} >0} 这一性质。要使得 z ∗ M z {\displaystyle \mathbf {z} ^{*}M\mathbf {z} } 总为实数，矩阵 M {\displaystyle M} 必须是埃尔米特矩阵。因此，若 z ∗ M z {\displaystyle \mathbf {z} ^{*}M\mathbf {z} } 总是正实数， M {\displaystyle M} 必然是正定的埃尔米特矩阵。如果将 z ∗ M z > 0 {\displaystyle \mathbf {z} ^{*}M\mathbf {z} >0} 扩展为 ℜ ( z ∗ M z ) > 0 {\displaystyle \Re (\mathbf {z} ^{*}M\mathbf {z} )>0} ，则等价于 ( M + M ∗ ) / 2 {\displaystyle (M+M^{*})/2} 为正定矩阵。 确定双线性形式 矩阵的平方根 舒尔补 正定核（英语：Positive-definite kernel） 正定函数 科列斯基分解 线性矩阵不等式 合同矩阵 Roger A. Horn and Charles R. Johnson. Matrix Analysis, Chapter 7. Cambridge University Press, 1985. ISBN 0-521-30586-1 (hardback), ISBN 0-521-38632-2 (paperback). Rajendra Bhatia. Positive definite matrices,. Princeton Series in Applied Mathematics, 2007. ISBN 978-0691129181. 正定矩阵 关于对称矩阵的一些讨论