正交(orthogonal)是“垂直”在线性代数中的推广概念。对于两个向量 $ \boldsymbol{v},\ \boldsymbol{w} $,当这两个向量满足 $ \boldsymbol{v} \cdot \boldsymbol{w} = \boldsymbol{v}^T \boldsymbol{w} = 0 $ 时是正交的。
这时它们满足 $ \Vert \boldsymbol{v} \Vert ^2 + \Vert \boldsymbol{w} \Vert ^2 = \Vert \boldsymbol{v} + \boldsymbol{w} \Vert ^2 $,看起来很像勾股定理 $ a^2 + b^2 = c^2 $,只是两直角边换成了 $ \boldsymbol{v},\ \boldsymbol{w} $。具体的证明是:
$ \Vert \boldsymbol{v} + \boldsymbol{w} \Vert ^2 = (\boldsymbol{v} + \boldsymbol{w})^T(\boldsymbol{v} + \boldsymbol{w}) = \boldsymbol{v}^T \boldsymbol{v} + \boldsymbol{w}^T \boldsymbol{w} $,因为 $ \boldsymbol{v}^T \boldsymbol{w} = \boldsymbol{w}^T \boldsymbol{v} = 0 $。
这一章我们将从向量之间的正交延伸至
正交的子空间(orthogonal subspaces)正交的基(orthogonal bases)正交的矩阵(orthogonal matrices)
要怎么让空间变得正交?
两个子空间的向量满足任意一对向量都正交,得,又落回向量正交。类似的,任一对基向量两两正交是正交基;正交矩阵 $ Q $ 的任一对列向量也正交。
四个子空间的正交性
空间 $ V $ 和空间 $ W $ 的正交是指,所有在$V$内的向量 $ \boldsymbol{v} $ 和所有$ W $ 中的向量 $ \boldsymbol{w} $ 都垂直,即满足 $ \boldsymbol{v}^T \boldsymbol{w} = 0 $ 。
左图,一