무어-펜로즈 유사역행렬

선형대수학에서 무어-펜로즈 유사역행렬(Moore-Penrose疑似逆行列, 영어: Moore–Penrose pseudoinverse matrix)은 모든 모양의 행렬에 대하여 정의되는 연산이며, 가역 행렬의 역행렬 연산을 일반화한다.:제8장:제13장:제6장 특잇값 분해를 통해 계산할 수 있다. 체 K {\displaystyle K} 가 주어졌다고 하고, 그 위의 체의 대합 a ¯ : K → K {\displaystyle {\bar {\color {White}a}}\colon K\to K} a ¯ ∘ a ¯ = id K {\displaystyle {\bar {\color {White}a}}\circ {\bar {\color {White}a}}=\operatorname {id} _{K}} 이 주어졌다고 하자. (예를 들어, 복소수체의 복소켤레 등이 있다. 이를 항등 함수로 놓을 수도 있다.) 그렇다면, K {\displaystyle K} 계수 행렬의 에르미트 수반 ( − ) ∗ : Mat ⁡ ( m , n ; K ) → Mat ⁡ ( n , m ; K ) {\displaystyle (-)^{*}\colon \operatorname {Mat} (m,n;K)\to \operatorname {Mat} (n,m;K)} 의 개념이 정의된다. 임의의 K {\displaystyle K} 계수 m × n {\displaystyle m\times n} 행렬 A ∈ Mat ⁡ ( m , n ; K ) {\displaystyle A\in \operatorname {Mat} (m,n;K)} 의 무어-펜로즈 유사역행렬 A + ∈ Mat ⁡ ( n , m ; K ) {\displaystyle A^{+}\in \operatorname {Mat} (n,m;K)} 은 다음 네 조건들을 모두 만족시키는 행렬이다. A A + A = A {\displaystyle AA^{+}A=A} 즉, AA+는 일반적인 단위행렬일 필요는 없으나, A의 모든 열벡터를 보존하는 행렬이어야 한다. A + A A + = A + {\displaystyle A^{+}AA^{+}=A^{+}} 즉, A+는 반군에서의 약한 역이다. ( A A + ) ∗ = A A + {\displaystyle (AA^{+})^{*}=AA^{+}} 즉, AA+는 에르미트 행렬이다. ( A + A ) ∗ = A + A {\displaystyle (A^{+}A)^{*}=A^{+}A} 즉, A+A도 에르미트 행렬이다. 무어-펜로즈 유사역행렬은 항상 존재하며, 유일하다. 즉, 임의의 행렬 A {\displaystyle A} 에 대하여, 무어-펜로즈 유사역행렬 정의의 네 가지 조건을 만족하는 행렬 A + {\displaystyle A^{+}} 는 반드시 정확히 한 개 존재한다. 반면, 이 네 조건 가운데 하나를 제거하면 이는 더 이상 유일하지 않다. 무어-펜로즈 유사역행렬 연산은 전치 행렬 연산 · 성분별 켤레 · 켤레전치와 교환 법칙을 따른다. ( A ⊤ ) + = ( A + ) ⊤ {\displaystyle (A^{\top })^{+}=(A^{+})^{\top }} ( A ¯ ) + = A + ¯ {\displaystyle ({\bar {A}})^{+}={\overline {A^{+}}}} ( A ∗ ) + = ( A + ) ∗ {\displaystyle (A^{*})^{+}=(A^{+})^{*}} 행렬 A {\displaystyle A} 에 스칼라를 곱한 행렬의 무어-펜로즈 유사역행렬은 A + {\displaystyle A^{+}} 를 그 스칼라로 나눈 것과 같다. ( α A ) + = α − 1 A + ∀ A ∈ Mat ⁡ ( m , n ; K ) , α ∈ K × {\displaystyle (\alpha A)^{+}=\alpha ^{-1}A^{+}\qquad \forall A\in \operatorname {Mat} (m,n;K),\;\alpha \in K^{\times }} 무어-펜로즈 유사역행렬은 스스로의 역함수이다. ( A + ) + = A ∀ A ∈ Mat ⁡ ( m , n ; K ) {\displaystyle (A^{+})^{+}=A\qquad \forall A\in \operatorname {Mat} (m,n;K)} 무어-펜로즈 유사역행렬은 (역행렬 연산과 달리) 일반적으로 행렬 곱셈과 호환되지 못한다. 다만, 호환을 보장하는 충분 조건들이 존재한다. 구체적으로, 임의의 두 행렬 A ∈ Mat ⁡ ( m , n ; K ) {\displaystyle A\in \operatorname {Mat} (m,n;K)} B ∈ Mat ⁡ ( n , p ; K ) {\displaystyle B\in \operatorname {Mat} (n,p;K)} 이 주어졌으며, 다음 네 조건 가운데 적어도 하나 이상이 성립한다고 하자. A ∗ A = 1 n × n {\displaystyle A^{*}A=1_{n\times n}} 이다. B B ∗ = 1 n × n {\displaystyle BB^{*}=1_{n\times n}} 이다. A {\displaystyle A} 의 열벡터들은 모두 서로 선형 독립이며, 또한 B {\displaystyle B} 의 행벡터들도 모두 서로 선형 독립이다. A = B ∗ {\displaystyle A=B^{*}} 이다. 그렇다면, 다음과 같이 무어-펜로즈 유사역행렬은 행렬 곱셈과 호환된다. ( A B ) + = B + A + {\displaystyle (AB)^{+}=B^{+}A^{+}} 그러나 이는 임의의 행렬에 대하여 성립하지 않는다. A + {\displaystyle A^{+}} 는 모든 행렬 A {\displaystyle A} 에 대하여 항상 유일하게 존재하지만, 일부 경우 이는 간단한 대수적 공식을 갖는다. 구체적으로, 만약 A ∈ Mat ⁡ ( m , n ; K ) {\displaystyle A\in \operatorname {Mat} (m,n;K)} 의 열벡터가 모두 K {\displaystyle K} -선형 독립이라면, A ∗ A ∈ Mat ⁡ ( n , n ; K ) {\displaystyle A^{*}A\in \operatorname {Mat} (n,n;K)} 는 가역 행렬이며, 이 경우 무어-펜로즈 유사역행렬은 다음과 같다. A + = ( A ∗ A ) − 1 A ∗ {\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}} 이러한 무어-펜로즈 유사역행렬을 좌측 역행렬이라고 하는데, A + A = I {\displaystyle A^{+}A=I} 가 성립하기 때문이다. 반대로, A ∈ Mat ⁡ ( m , n ; K ) {\displaystyle A\in \operatorname {Mat} (m,n;K)} 의 행벡터가 모두 K {\displaystyle K} -선형 독립인 경우, A A ∗ ∈ Mat ⁡ ( m , m ; K ) {\displaystyle AA^{*}\in \operatorname {Mat} (m,m;K)} 는 가역 행렬이며, 이 경우 무어-펜로즈 유사역행렬은 다음과 같다. A + = A ∗ ( A A ∗ ) − 1 {\displaystyle A^{+}=A^{*}(AA^{*})^{-1}} 이러한 경우에는 A A + = I {\displaystyle AA^{+}=I} 가 성립하므로, A + {\displaystyle A^{+}} 를 우측 역행렬이라고 부른다. 물론, A {\displaystyle A} 의 열벡터와 행벡터 모두 K {\displaystyle K} -선형 독립인 경우는 A {\displaystyle A} 및 A ∗ {\displaystyle A^{*}} 가 가역 행렬이며, 이 경우 A + = ( A ∗ A ) − 1 A ∗ = A ∗ ( A A ∗ ) − 1 = A − 1 {\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}=A^{*}(AA^{*})^{-1}=A^{-1}} 이다. 행렬 A ∈ Mat ⁡ ( m , n ; K ) {\displaystyle A\in \operatorname {Mat} (m,n;K)} 가 다음과 같은 특잇값 분해를 갖는다고 하자. A = U Σ V ∗ {\displaystyle A=U\Sigma V^{*}} U ∈ U ⁡ ( m ; K ) {\displaystyle U\in \operatorname {U} (m;K)} V ∈ U ⁡ ( n ; K ) {\displaystyle V\in \operatorname {U} (n;K)} Σ = diag m , n ⁡ ( λ 1 , … , λ min { m , n } ) ∈ Mat ⁡ ( m , n ; K ) {\displaystyle \Sigma =\operatorname {diag} _{m,n}(\lambda _{1},\dotsc ,\lambda _{\min\{m,n\}})\in \operatorname {Mat} (m,n;K)} 그렇다면, A {\displaystyle A} 의 무어-펜로즈 유사역행렬은 다음과 같다. A + = V Σ + U ∗ = V diag n , m ⁡ ( λ 1 + , … , λ min { m , n } + ) U ∗ {\displaystyle A^{+}=V\Sigma ^{+}U^{*}=V\operatorname {diag} _{n,m}(\lambda _{1}^{+},\dotsc ,\lambda _{\min\{m,n\}}^{+})U^{*}} 여기서, λ ∈ K {\displaystyle \lambda \in K} 에 대하여 λ + = { λ − 1 λ ≠ 0 0 λ = 0 {\displaystyle \lambda ^{+}={\begin{cases}\lambda ^{-1}&\lambda \neq 0\\0&\lambda =0\end{cases}}} 이다. 가역 행렬의 무어-펜로즈 유사역행렬은 역행렬이다. ∃ A − 1 ⟹ A + = A − 1 {\displaystyle \exists A^{-1}\implies A^{+}=A^{-1}} 1 × 1 {\displaystyle 1\times 1} 행렬의 무어-펜로즈 유사역행렬은 다음과 같다. ( λ ) + = { ( λ − 1 ) λ ≠ 0 ( 0 ) λ = 0 {\displaystyle {\begin{pmatrix}\lambda \end{pmatrix}}^{+}={\begin{cases}{\begin{pmatrix}\lambda ^{-1}\end{pmatrix}}&\lambda \neq 0\\{\begin{pmatrix}0\end{pmatrix}}&\lambda =0\end{cases}}} 직사각형 대각 행렬 diag m , n ⁡ ( λ 1 , λ 2 , … , λ min { m , n } ) ∈ Mat ⁡ ( m , n ; K ) {\displaystyle \operatorname {diag} _{m,n}(\lambda _{1},\lambda _{2},\dotsc ,\lambda _{\min\{m,n\}})\in \operatorname {Mat} (m,n;K)} 의 경우, 무어-펜로즈 유사역행렬은 다음과 같다. diag m , n ⁡ ( λ 1 , λ 2 , … , λ min { m , n } ) + = diag n , m ⁡ ( λ 1 + , λ 2 + , … , λ min { m , n } + ) ∈ Mat ⁡ ( n , m ; K ) {\displaystyle \operatorname {diag} _{m,n}(\lambda _{1},\lambda _{2},\dotsc ,\lambda _{\min\{m,n\}})^{+}=\operatorname {diag} _{n,m}(\lambda _{1}^{+},\lambda _{2}^{+},\dotsc ,\lambda _{\min\{m,n\}}^{+})\in \operatorname {Mat} (n,m;K)} 여기서 λ i + {\displaystyle \lambda _{i}^{+}} 는 1×1 행렬의 무어-펜로즈 유사역행렬(즉, 가역원일 경우 역원, 0일 경우 0)이다. 특히, 영행렬의 무어-펜로즈 유사역행렬은 그 행렬의 전치 행렬인 영행렬이다. 0 m , n + = 0 m , n {\displaystyle 0_{m,n}^{+}=0_{m,n}} 무어-펜로즈 유사역행렬은 유일한 해가 존재하지 않는 선형연립방정식에서 최소제곱법에 따른 최적해를 구하기 위해 흔히 사용된다. 혹은 해가 여러 개 존재하는 선형연립방정식에서 유클리드 노름을 최소화하는 해를 찾는 데에 사용되기도 한다. 또한 무어-펜로즈 유사역행렬을 사용하면 선형대수학의 많은 부분을 보다 쉽게 서술하고 증명할 수 있다. 1920년에 일라이어킴 헤이스팅스 무어가 최초로 발견하였다. 이후 아르네 볘르함마르(스웨덴어: Arne Bjerhammar, 1917〜2011)와 로저 펜로즈가 이 개념을 1950년대에 재발견하였다. 역원 절대평탄환 김병천 (2001). 《통계학을 위한 행렬대수학》 2판. 자유아카데미. ISBN 978-89-7338255-2.  김종덕 (1998). 《통계학을 위한 행렬대수》 2판. 자유아카데미. ISBN 978-89-7338135-7.  김주성; 류제복 (1997). 《통계학을 위한 선형대수학》 2판. 청문각. ISBN 978-89-7088012-9.  Moore, Eliakim Hastings (1920). “On the reciprocal of the general algebraic matrix”. 《Bulletin of the American Mathematical Society》 (영어) 26 (9): 394–395. doi:10.1090/S0002-9904-1920-03322-7.  Bjerhammar, Arne (1951). 《Application of calculus of matrices to method of least squares with special references to geodetic calculations》. Kungliga Tekniska högskolans handlingar (영어) 49. Lindståhl. Zbl 0043.12203.  Penrose, Roger (1955). “A generalized inverse for matrices”. 《Proceedings of the Cambridge Philosophical Society》 (영어) 51: 406–413. doi:10.1017/S0305004100030401.  Weisstein, Eric Wolfgang. “Moore-Penrose matrix inverse”. 《Wolfram MathWorld》 (영어). Wolfram Research.