正交变换

在線性代數中，正交轉換是線性轉換的一種。如果对于任意向量 u {\displaystyle \mathbf {u} } 和 v {\displaystyle \mathbf {v} } 其內積等於正交轉換後之向量 T ( u ) {\displaystyle T({\displaystyle \mathbf {u} })} 和 T ( v ) {\displaystyle T({\displaystyle \mathbf {v} })} 之內積，则称之为正交变换。 ⟨ u , v ⟩ = ⟨ T ( u ) , T ( v ) ⟩ {\displaystyle \langle {\mathbf {u} ,\mathbf {v} }\rangle =\langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle } 按照长度的定义，可知正交轉換後的向量長度與轉換前的長度相同。 ‖ T ( x ) ‖ = ‖ x ‖ {\displaystyle \|T(\mathbf {x} )\|=\|\mathbf {x} \|} 其中 ‖ x ‖ {\displaystyle \|\mathbf {x} \|} 在空間 R n {\displaystyle R^{n}} 內， n {\displaystyle n} 表示維度。 ⟨ u , v ⟩ = ⟨ T ( u ) , T ( v ) ⟩ = ∑ n = 0 N − 1 u [ n ] v [ n ] {\displaystyle \langle {\mathbf {u} ,\mathbf {v} }\rangle =\langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle =\textstyle \sum _{n=0}^{N-1}u[n]v[n]\displaystyle } 其中 N {\displaystyle N} 為向量長度， u [ n ] {\displaystyle u[n]} 和 v [ n ] {\displaystyle v[n]} 分別為 u {\displaystyle \mathbf {u} } 和 v {\displaystyle \mathbf {v} } 之元素，正交變換不會影響轉換前後向量間的夾角和內積長度。 在矩陣表示形式上，如果 T ( x ) = A x {\displaystyle T(\mathbf {x} )=\mathbf {A} \mathbf {x} } 為正交變換，則為 A {\displaystyle \mathbf {A} } 正交矩陣，對於正交變換之正交矩陣 A {\displaystyle \mathbf {A} } ，其每個列互為正交，令 A {\displaystyle \mathbf {A} } 為 M × N {\displaystyle M\times N} 之矩陣，取兩個不相同的列 ϕ k {\displaystyle \phi _{k}} 和 ϕ h {\displaystyle \phi _{h}} ( k ≠ h {\displaystyle k\neq h} )遵守下列關係。 ⟨ ϕ k , ϕ h ⟩ = 0 {\displaystyle \langle \phi _{k},\phi _{h}\rangle =0} 1. 正交變換 T {\displaystyle T} 不會改變向量間的正交性，如果 u {\displaystyle \mathbf {u} } 和 v {\displaystyle \mathbf {v} } 正交，則 T ( u ) {\displaystyle T({\displaystyle \mathbf {u} })} 和 T ( v ) {\displaystyle T({\displaystyle \mathbf {v} })} 亦為正交。 P r o o f : {\displaystyle Proof:} 根據畢氏定理，正交變換後的向量會符合下式： ‖ T ( u ) + T ( v ) ‖ 2 = ‖ T ( u ) ‖ 2 + ‖ T ( v ) ‖ 2 {\displaystyle \|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}=\|T(\mathbf {u} )\|^{2}+\|T(\mathbf {v} )\|^{2}} 因為正交變換屬於線性轉換： ‖ T ( u ) + T ( v ) ‖ 2 = ‖ T ( u + v ) ‖ 2 {\displaystyle \|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}=\|T(\mathbf {u} +\mathbf {v} )\|^{2}} 正交變換前後向量的長度相同： ‖ T ( u ) + T ( v ) ‖ 2 = ‖ u + v ‖ 2 {\displaystyle \|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}=\|\mathbf {u} +\mathbf {v} \|^{2}} 再根據畢氏定理，且和正交： ‖ u + v ‖ 2 = ‖ u ‖ 2 + ‖ v ‖ 2 {\displaystyle \|\mathbf {u} +\mathbf {v} \|^{2}=\|\mathbf {u} \|^{2}+\|\mathbf {v} \|^{2}} 再根據正交變換的性質，正交變換前後向量的長度相同： ‖ u ‖ 2 + ‖ v ‖ 2 = ‖ T ( u ) ‖ 2 + ‖ T ( v ) ‖ 2 {\displaystyle \|\mathbf {u} \|^{2}+\|\mathbf {v} \|^{2}=\|T(\mathbf {u} )\|^{2}+\|T(\mathbf {v} )\|^{2}} 2. 如果 A {\displaystyle \mathbf {A} } 和 B {\displaystyle \mathbf {B} } 皆為正交矩陣，則 A B {\displaystyle \mathbf {AB} } 亦為正交矩陣。 P r o o f : {\displaystyle Proof:} 令一正交變換為： T ( x ) = A B x {\displaystyle T(\mathbf {x} )=\mathbf {ABx} } 正交變換後長度不變： ‖ T ( x ) ‖ = ‖ A B x ‖ = ‖ A ( B x ) ‖ = ‖ B x ‖ = ‖ x ‖ {\displaystyle \|T(\mathbf {x} )\|=\|\mathbf {ABx} \|=\|\mathbf {A(Bx)} \|=\|\mathbf {Bx} \|=\|\mathbf {x} \|} 3. 如果 A {\displaystyle \mathbf {A} } 為正交矩陣， A {\displaystyle \mathbf {A} } 的反矩陣 A − 1 {\displaystyle \mathbf {A} ^{-1}} 亦為正交矩陣。 P r o o f : {\displaystyle Proof:} 令一正交變換為： T ( x ) = A x {\displaystyle T(\mathbf {x} )=\mathbf {Ax} } 單位矩陣 I {\displaystyle \mathbf {I} } 和 x {\displaystyle \mathbf {x} } 相乘為 x {\displaystyle \mathbf {x} } 自己，且矩陣和反矩陣相乘為單位矩陣： I x = A A − 1 x = x {\displaystyle \mathbf {Ix} =\mathbf {AA^{-1}x} =\mathbf {x} } 正交變換後長度不變： ‖ A A − 1 x ‖ = ‖ A ( A − 1 x ) ‖ = ‖ x ‖ {\displaystyle \|\mathbf {AA^{-1}x} \|=\|\mathbf {A(A^{-1}x)} \|=\|\mathbf {x} \|} 4. 正交變換容易做反運算 P r o o f : {\displaystyle Proof:} 令ㄧ正交矩陣 A {\displaystyle \mathbf {A} } ， A {\displaystyle \mathbf {A} } 和 A H {\displaystyle \mathbf {A} ^{H}} 相乘為一對角矩陣 D {\displaystyle \mathbf {D} } ，其中上標 H {\displaystyle H} 表示Hermitain運算。 A A H = D {\displaystyle \mathbf {A} \mathbf {A} ^{H}=\mathbf {D} } 將 D {\displaystyle \mathbf {D} } 乘上自己的反矩陣 D − 1 {\displaystyle \mathbf {D} ^{-1}} 可得一單為矩陣 I {\displaystyle \mathbf {I} } 。 D D − 1 = I {\displaystyle \mathbf {D} \mathbf {D} ^{-1}=\mathbf {I} } 又 D {\displaystyle \mathbf {D} } 可分解為 A {\displaystyle \mathbf {A} } 和 A H {\displaystyle \mathbf {A} ^{H}} A A H D − 1 = I {\displaystyle \mathbf {A} \mathbf {A} ^{H}\mathbf {D} ^{-1}=\mathbf {I} } 根據上式，將兩側乘上 A {\displaystyle \mathbf {A} } 的反矩陣 A − 1 {\displaystyle \mathbf {A} ^{-1}} 即可得知的反矩陣知公式。 A − 1 = A H D − 1 {\displaystyle \mathbf {A} ^{-1}=\mathbf {A} ^{H}\mathbf {D} ^{-1}} 計算 D {\displaystyle \mathbf {D} } 的反矩陣 D − 1 {\displaystyle \mathbf {D} ^{-1}} 比直接求反矩陣容易，只要相對角線之值做倒數即可。如果 A T {\displaystyle \mathbf {A} ^{T}} 的每一行皆為單位向量，則： A − 1 = A H {\displaystyle \mathbf {A} ^{-1}=\mathbf {A} ^{H}} 5. 對於正交變換 T {\displaystyle T} ，如果 u {\displaystyle \mathbf {u} } 和 v {\displaystyle \mathbf {v} } 可以做內積， T ( u ) {\displaystyle T({\displaystyle \mathbf {u} })} 和 T ( v ) {\displaystyle T({\displaystyle \mathbf {v} })} 做內積之值等於 u {\displaystyle \mathbf {u} } 和 v {\displaystyle \mathbf {v} } 做內積之值。 P r o o f : {\displaystyle Proof:} 根據極化恆等式： ⟨ x , y ⟩ = 1 4 ( ‖ x + y ‖ 2 − ‖ x − y ‖ 2 ) {\displaystyle \langle {\mathbf {x} ,\mathbf {y} }\rangle ={\frac {1}{4}}(\|\mathbf {x} +\mathbf {y} \|^{2}-\|\mathbf {x} -\mathbf {y} \|^{2})} 將上式代入 T ( u ) {\displaystyle T({\displaystyle \mathbf {u} })} 和 T ( v ) {\displaystyle T({\displaystyle \mathbf {v} })} ： ⟨ T ( u ) , T ( v ) ⟩ = 1 4 ( ‖ T ( u ) + T ( v ) ‖ 2 − ‖ T ( u ) − T ( v ) ‖ 2 ) {\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle ={\frac {1}{4}}(\|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}-\|T(\mathbf {u} )-T(\mathbf {v} )\|^{2})} 因為 T {\displaystyle T} 為線性轉換，轉換前做加減法和轉換後做加減法之值應相同： ⟨ T ( u ) , T ( v ) ⟩ = 1 4 ( ‖ T ( u + v ) ‖ 2 − ‖ T ( u − v ) ‖ 2 ) {\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle ={\frac {1}{4}}(\|T(\mathbf {u} +\mathbf {v} )\|^{2}-\|T(\mathbf {u} -\mathbf {v} )\|^{2})} 正交變換前後向量的長度相同： ⟨ T ( u ) , T ( v ) ⟩ = 1 4 ( ‖ u + v ‖ 2 − ‖ u − v ‖ 2 ) {\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle ={\frac {1}{4}}(\|\mathbf {u} +\mathbf {v} \|^{2}-\|\mathbf {u} -\mathbf {v} \|^{2})} 再根代入 u {\displaystyle \mathbf {u} } 和 v {\displaystyle \mathbf {v} } 之據極化恆等式： ⟨ T ( u ) , T ( v ) ⟩ = ⟨ u , v ⟩ {\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle =\langle {\mathbf {u} ,\mathbf {v} }\rangle } 正交變換的種類非常的廣，像是discrete Fourier transform、discrete cosine, sine, Hartley transforms、Walsh Transform, Haar Transform等都屬於正交變換。對矩陣做旋轉或是鏡射也屬於正交變換。這裡會舉出一些簡單的正交變換例子。 1. 對於 r e f l e c t V ( ) {\displaystyle reflect_{V}()} 以subspace V {\displaystyle V} 為基準做鏡射( V {\displaystyle V} in R n {\displaystyle R^{n}} )，令 x ∥ {\displaystyle \mathbf {x} ^{\shortparallel }} 為平行之向量， x ⊥ {\displaystyle \mathbf {x} ^{\perp }} 為正交之向量： ‖ r e f l e c t V ( x ) ‖ 2 = ‖ x ∥ − x ⊥ ‖ 2 {\displaystyle \|reflect_{V}(\mathbf {x} )\|^{2}=\|\mathbf {x} ^{\shortparallel }-\mathbf {x} ^{\perp }\|^{2}} 因為 x ∥ {\displaystyle \mathbf {x} ^{\shortparallel }} 和 x ⊥ {\displaystyle \mathbf {x} ^{\perp }} 互為正交，可以根據畢氏定理做分解： ‖ r e f l e c t V ( x ) ‖ 2 = ‖ x ∥ ‖ 2 + ‖ − x ⊥ ‖ 2 = ‖ x ∥ ‖ 2 + ‖ x ⊥ ‖ 2 = ‖ x ‖ 2 {\displaystyle \|reflect_{V}(\mathbf {x} )\|^{2}=\|\mathbf {x} ^{\shortparallel }\|^{2}+\|-\mathbf {x} ^{\perp }\|^{2}=\|\mathbf {x} ^{\shortparallel }\|^{2}+\|\mathbf {x} ^{\perp }\|^{2}=\|\mathbf {x} \|^{2}} 2. 這裡以DFT為例證明DFT矩陣為正交矩陣，對於 N {\displaystyle N} 點DFT，可得一個 N × N {\displaystyle N\times N} 矩陣，且 ω n = e j 2 π n / N {\displaystyle \omega ^{n}=e^{j2\pi n/N}} ： W = 1 N [ 1 1 1 ⋯ 1 1 ω ω 2 ⋯ ω N − 1 1 ω 2 ω 4 ⋯ ω 2 ( N − 1 ) ⋯ ⋯ ⋯ ⋯ ⋯ 1 ω N − 1 ω 2 ( N − 1 ) ⋯ ω ( N − 1 ) ( N − 1 ) ] {\displaystyle \mathbf {W} ={\frac {1}{\sqrt {N}}}{\begin{bmatrix}1&1&1&\cdots &1\\1&\omega &\omega ^{2}&\cdots &\omega ^{N-1}\\1&\omega ^{2}&\omega ^{4}&\cdots &\omega ^{2(N-1)}\\\cdots &\cdots &\cdots &\cdots &\cdots \\1&\omega ^{N-1}&\omega ^{2(N-1)}&\cdots &\omega ^{(N-1)(N-1)}\end{bmatrix}}} W {\displaystyle \mathbf {W} } 為symmetric矩陣，令的 W {\displaystyle \mathbf {W} } 每個列為： w n = [ 1 ω n ω 2 n ⋯ ω ( N − 1 ) n ] {\displaystyle \mathbf {w} _{n}={\begin{bmatrix}1&\omega ^{n}&\omega ^{2}n&\cdots &\omega ^{(N-1)n}\end{bmatrix}}} 令任意二列做內積： ⟨ w m , w n ⟩ = w m ⋅ w n H = 1 N ∑ k = 0 N − 1 e j 2 π k m / N e − j 2 π k n / N = 1 N ∑ k = 0 N − 1 e j ( 2 π k m / N ) ( m − n ) {\displaystyle \langle {\mathbf {w} _{m},\mathbf {w} _{n}}\rangle =\mathbf {w} _{m}\centerdot \mathbf {w} _{n}^{H}={\frac {1}{N}}\textstyle \sum _{k=0}^{N-1}e^{j2\pi km/N}e^{-j2\pi kn/N}\displaystyle ={\frac {1}{N}}\textstyle \sum _{k=0}^{N-1}e^{j(2\pi km/N)(m-n)}\displaystyle } 上式可以化成pulse function，只有列和自己做內積才為 1 {\displaystyle 1} ，即： ⟨ w m , w n ⟩ = { 1 , if  m = n 0 , if  m ≠ n {\displaystyle \langle {\mathbf {w} _{m},\mathbf {w} _{n}}\rangle ={\begin{cases}1,&{\text{if }}m=n\\0,&{\text{if }}m\neq n\end{cases}}} 3. 正交變換可以參數計算變得容易，令 ϕ n {\displaystyle \phi _{n}} 為正交矩陣的列，列彼此互相正交， c n {\displaystyle c_{n}} 而為 ϕ n {\displaystyle \phi _{n}} 對應之參數，即給定下式中的 y {\displaystyle y} 和 ϕ n {\displaystyle \phi _{n}} ，參數 c n {\displaystyle c_{n}} 之值可以很容易的計算出來。 y = ∑ n = 0 N − 1 c n ϕ n {\displaystyle y=\textstyle \sum _{n=0}^{N-1}c_{n}\phi _{n}\displaystyle } 如果要求出 c m {\displaystyle c_{m}} ，則將上式與 ϕ m {\displaystyle \phi _{m}} 做內積： ⟨ y , ϕ m ⟩ = ∑ n = 0 N − 1 c n ⟨ ϕ n , ϕ m ⟩ {\displaystyle \langle y,\phi _{m}\rangle =\textstyle \sum _{n=0}^{N-1}c_{n}\langle \phi _{n},\phi _{m}\rangle \displaystyle } 因為在 n ≠ m {\displaystyle n\neq m} 時， ϕ n {\displaystyle \phi _{n}} 和 ϕ m {\displaystyle \phi _{m}} 做內積為0，可得下式： ⟨ y , ϕ m ⟩ = c m ⟨ ϕ m , ϕ m ⟩ {\displaystyle \langle y,\phi _{m}\rangle =c_{m}\langle \phi _{m},\phi _{m}\rangle } 最後同除 ⟨ ϕ m , ϕ m ⟩ {\displaystyle \langle \phi _{m},\phi _{m}\rangle } 即可得到對應之參數： c m = ⟨ y , ϕ m ⟩ ⟨ ϕ m , ϕ m ⟩ {\displaystyle c_{m}={\frac {\langle y,\phi _{m}\rangle }{\langle \phi _{m},\phi _{m}\rangle }}} 4. 在訊號壓縮上，對於原始訊號： y = ∑ n = 0 N − 1 c n ϕ n {\displaystyle y=\textstyle \sum _{n=0}^{N-1}c_{n}\phi _{n}\displaystyle } 假設進行壓縮，要壓縮成： y ^ = ∑ n = 0 K − 1 c n ϕ n {\displaystyle {\hat {y}}=\textstyle \sum _{n=0}^{K-1}c_{n}\phi _{n}\displaystyle } 當 K ≤ N {\displaystyle K\leq N} 時， K {\displaystyle K} 越大， | y − y ^ | {\displaystyle |y-{\hat {y}}|} 越小 5. 在通訊應用上，會利用正交基來和訊號做調變，正交的特性會使通道間不會互相干擾。 瑕旋转 内积空间 线性变换 正交矩阵 酉变换 ORTHOGONAL TRANSFORMATIONS AND ORTHOGONAL MATRICES (PDF). [2017-06-29]. （原始内容存档 (PDF)于2018-05-17）.  Orthogonal Transformations and Orthogonal Matrices (PDF). [2017-06-29].  3. Ding, J. J. (2017). Advanced Digital Signal Processing [Powerpoint slides] http://djj.ee.ntu.edu.tw/ADSP15.pdf （页面存档备份，存于互联网档案馆） 4. Chang, C.H. (2004). Linear Algebra [PDF slides] http://staff.csie.ncu.edu.tw/chia/Course/LinearAlgebra/sec5-3.pdf （页面存档备份，存于互联网档案馆） 5. (2007). [PDF slides] http://isites.harvard.edu/fs/docs/icb.topic138287.files/Lesson15_-_Orthogonal_Transformations_and_Orthogonal_Matrices_slides.pdf