특잇값

함수해석학에서 특잇값(特異값, 영어: singular value)은 콤팩트 작용소와 그 에르미트 수반의 합성의 고윳값의 제곱근이다. 항상 양의 실수이다. 이를 통해, 임의의 콤팩트 작용소를 특잇값 분해(特異값分解, 영어: singular value decomposition, 약자 SVD)라는 특별한 꼴로 표현할 수 있다. 고윳값과 달리, 특잇값은 서로 다른 (특히, 서로 다른 차원의) 힐베르트 공간 사이의 작용소(예를 들어, 정사각이 아닌 행렬)에 대해서도 정의된다. 고윳값에 고유 벡터가 대응되는 것과 마찬가지로, 각 특잇값에는 왼쪽 특이 벡터(왼쪽特異vector, 영어: left singular vector) 및 오른쪽 특이 벡터(오른쪽特異vector, 영어: right singular vector)가 대응된다. 그러나 고유 벡터의 경우와 달리 특이 벡터는 좌우를 구별해야 한다. K ∈ { R , C } {\displaystyle \mathbb {K} \in \{\mathbb {R} ,\mathbb {C} \}} 가 실수체 또는 복소수체라고 하자. 두 K {\displaystyle \mathbb {K} } -힐베르트 공간 V {\displaystyle V} , W {\displaystyle W} 사이의 콤팩트 작용소 T : V → W {\displaystyle T\colon V\to W} 의 특잇값 및 왼쪽·오른쪽 특이 벡터의 개념은 다양한 방법으로 정의될 수 있다. 두 K {\displaystyle \mathbb {K} } -힐베르트 공간 V {\displaystyle V} , W {\displaystyle W} 사이의 콤팩트 작용소 T : V → W {\displaystyle T\colon V\to W} 가 주어졌다고 하자. 그렇다면, 그 에르미트 수반 T ∗ : W → V {\displaystyle T^{*}\colon W\to V} 을 사용하여, 작용소 T ∗ T : V → V {\displaystyle T^{*}T\colon V\to V} 및 T T ∗ : W → W {\displaystyle TT^{*}\colon W\to W} 를 정의할 수 있다. 이들은 자기 수반 작용소를 이루며, 따라서 이 둘의 실수 고윳값들을 정의할 수 있다. 이들은 항상 음이 아닌 실수이다. T T ∗ {\displaystyle TT^{*}} 와 T ∗ T {\displaystyle T^{*}T} 의 고윳값들 가운데, 0이 아닌 것들은 서로 일치하며, 그 중복수 또한 일치한다. 0의 경우, 다음과 같은 세 가지가 가능하다. 경우 1: T T ∗ {\displaystyle TT^{*}} 와 T ∗ T {\displaystyle T^{*}T} 둘 다 0을 고윳값으로 갖거나 둘 다 0을 고윳값으로 갖지 않는다. 전자의 경우, 0의 중복수 역시 같다. 경우 2: T T ∗ {\displaystyle TT^{*}} 와 T ∗ T {\displaystyle T^{*}T} 둘 다 0을 고윳값으로 갖지만, 그 중복수가 서로 다르다. 경우 3: T T ∗ {\displaystyle TT^{*}} 와 T ∗ T {\displaystyle T^{*}T} 가운데 하나는 0을 고윳값으로 갖지만 다른 하나는 0을 고윳값으로 갖지 않는다. 이 경우, 특잇값들과 그 중복수는 각각 다음과 같다. 경우 1: T {\displaystyle T} 의 특잇값은 T ∗ T {\displaystyle T^{*}T} 또는 T T ∗ {\displaystyle TT^{*}} 의 고윳값들의 제곱근들이며, 그 중복수는 고윳값들의 중복수와 같다. 경우 2: T {\displaystyle T} 의 특잇값은 (0을 포함하여) T ∗ T {\displaystyle T^{*}T} 또는 T T ∗ {\displaystyle TT^{*}} 의 고윳값들의 제곱근들이다. 0이 아닌 고윳값의 경우, 그 중복수는 대응하는 고윳값의 중복수와 같다. 0의 경우, 그 중복수는 T ∗ T {\displaystyle T^{*}T} 에서의 중복수와 T T ∗ {\displaystyle TT^{*}} 에서의 중복수 가운데 더 작은 것과 같다. 경우 3: T {\displaystyle T} 의 특잇값은 T ∗ T {\displaystyle T^{*}T} 또는 T T ∗ {\displaystyle TT^{*}} 의 고윳값들 가운데 0이 아닌 것들의 제곱근이며, 그 중복수는 고윳값들의 중복수와 같다. 이 경우, 주어진 특잇값에 대응하는 왼쪽 특이 벡터는 T ∗ T {\displaystyle T^{*}T} 에서의 고유 벡터이며, 주어진 특잇값에 대응하는 오른쪽 특이 벡터는 T T ∗ {\displaystyle TT^{*}} 에서의 고유 벡터이다. K ∈ { R , C } {\displaystyle \mathbb {K} \in \{\mathbb {R} ,\mathbb {C} \}} 라고 하자. 두 K {\displaystyle \mathbb {K} } -힐베르트 공간 V {\displaystyle V} , W {\displaystyle W} 사이의 콤팩트 작용소 T : V → W {\displaystyle T\colon V\to W} 는 항상 다음과 같은 꼴로 표현될 수 있으며, 이를 슈미트 표현(Schmidt表現, 영어: Schmidt representation):232, §1 또는 특잇값 분해라고 한다. T = ∑ 0 ≤ i < N s i ⟨ v i , − ⟩ w i {\displaystyle T=\sum _{0\leq i<N}s_{i}\langle v_{i},-\rangle w_{i}} 여기서 N ∈ { 0 , 1 , … , ∞ } {\displaystyle N\in \{0,1,\dotsc ,\infty \}} 이다. ( s ) 0 ≤ i < N {\displaystyle (s)_{0\leq i<N}} 는 양의 실수들의 수열이며, 감소수열이다. 즉, λ 0 ≥ λ 1 ≥ λ 2 ≥ ⋯ {\displaystyle \lambda _{0}\geq \lambda _{1}\geq \lambda _{2}\geq \cdots } 이다. ( v i ) 0 ≤ i < N {\displaystyle (v_{i})_{0\leq i<N}} 은 V {\displaystyle V} 속의 정규 직교 벡터열이다. (그러나 정규 직교 기저가 될 필요는 없다.) ( w i ) 0 ≤ i < N {\displaystyle (w_{i})_{0\leq i<N}} 은 W {\displaystyle W} 속의 정규 직교 벡터열이다. (그러나 정규 직교 기저가 될 필요는 없다.) 이 경우, s i {\displaystyle s_{i}} 를 T {\displaystyle T} 의 특잇값이라고 하며, v i {\displaystyle v_{i}} 를 s i {\displaystyle s_{i}} 의 왼쪽 특이 벡터, w i {\displaystyle w_{i}} 를 s i {\displaystyle s_{i}} 의 오른쪽 특이 벡터라고 한다. 이에 따라, ( v i ) 0 ≤ i < N {\displaystyle (v_{i})_{0\leq i<N}} 및 ( w i ) 0 ≤ i < N {\displaystyle (w_{i})_{0\leq i<N}} 에 다른 벡터들을 추가하여 각각 V {\displaystyle V} 및 W {\displaystyle W} 의 정규 직교 기저로 만들 수 있다. 그러나 이는 물론 일반적으로 유일하지 않다. 특히, 만약 V = K m {\displaystyle V=\mathbb {K} ^{m}} , W = K n {\displaystyle W=\mathbb {K} ^{n}} 가 유한 차원 힐베르트 공간일 경우, 임의의 K {\displaystyle \mathbb {K} } 성분 n × m {\displaystyle n\times m} 행렬 T ∈ Mat ⁡ ( n , m ; K ) {\displaystyle T\in \operatorname {Mat} (n,m;\mathbb {K} )} 는 K {\displaystyle \mathbb {K} } -선형 변환 T : K m → K n {\displaystyle T\colon \mathbb {K} ^{m}\to \mathbb {K} ^{n}} 을 정의한다. 유한 차원에서는 모든 작용소가 콤팩트 작용소이다. 이 경우, 만약 벡터 v ∈ K m {\displaystyle v\in \mathbb {K} ^{m}} 과 w ∈ K n {\displaystyle w\in \mathbb {K} ^{n}} 과 음이 아닌 실수 s ∈ R ≥ 0 {\displaystyle s\in \mathbb {R} _{\geq 0}} 에 대하여 T v = s w {\displaystyle Tv=sw} T ∗ w = s v {\displaystyle T^{*}w=sv} 가 성립한다면, s {\displaystyle s} 를 T {\displaystyle T} 의 특잇값이라고 하며, v {\displaystyle v} 를 s {\displaystyle s} 에 대응하는 왼쪽 특이 벡터, u {\displaystyle u} 를 s {\displaystyle s} 에 대응하는 오른쪽 특이 벡터라고 한다. 유한 차원의 경우, 특잇값 분해는 다음과 같은 행렬 분해를 정의한다. T = U Σ V ∗ {\displaystyle T=U\Sigma V^{*}} 여기서 U {\displaystyle U} 는 m × m {\displaystyle m\times m} 크기의 유니터리 행렬이다. ( K = R {\displaystyle \mathbb {K} =\mathbb {R} } 일 경우 이는 직교 행렬과 같다.) Σ {\displaystyle \Sigma } 는 m × n {\displaystyle m\times n} 크기의 대각 행렬이며, 그 성분들은 모두 음이 아닌 실수이다. 즉, 예를 들어 m < n {\displaystyle m<n} 이라면 다음과 같은 꼴이다. Σ = ( s 1 0 0 ⋯ 0 0 ⋯ 0 0 s 2 0 ⋯ 0 0 ⋯ 0 0 0 s 3 0 ⋯ 0 ⋮ ⋮ ⋱ ⋮ ⋮ 0 0 s m 0 ⋯ 0 ) {\displaystyle \Sigma ={\begin{pmatrix}s_{1}&0&0&\dotsm &0&0&\dotsm &0\\0&s_{2}&0&\dotsm &0&0&\dotsm &0\\0&0&s_{3}&&&0&\cdots &0\\\vdots &\vdots &&\ddots &&\vdots &&\vdots \\0&0&&&s_{m}&0&\dotsm &0\end{pmatrix}}} V ∗ {\displaystyle V^{*}} 는 n × n {\displaystyle n\times n} 크기의 유니터리 행렬이다. ( K = R {\displaystyle \mathbb {K} =\mathbb {R} } 일 경우 이는 직교 행렬과 같다.) 이 경우, Σ {\displaystyle \Sigma } 의 대각 성분들이 T {\displaystyle T} 의 특잇값들이며, V ∗ {\displaystyle V^{*}} 의 열벡터(= V {\displaystyle V} 의 행벡터)들이 T {\displaystyle T} 의 왼쪽 특이 벡터들이며, U {\displaystyle U} 의 행벡터들이 T {\displaystyle T} 의 오른쪽 특이 벡터들이다. 특잇값 분해에서, Σ {\displaystyle \Sigma } 는 (특잇값들의 순열을 무시하면) 유일하게 결정되지만, U {\displaystyle U} 와 V ∗ {\displaystyle V^{*}} 는 일반적으로 그렇지 않다. 같은 유한 차원의 두 실수 힐베르트 공간(=유클리드 공간) 사이의 실수 선형 변환의 특잇값들은 기하학적으로 해석될 수 있다. 구체적으로, 임의의 실수 선형 변환 T : R n → R n {\displaystyle T\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}} 은 (자명하게) 콤팩트 작용소이며, 이 경우 T {\displaystyle T} 는 단위 공을 타원체로 대응시킨다. 이 경우, T {\displaystyle T} 의 특잇값들은 이 타원체의 주축 반지름들과 같다. 두 힐베르트 공간 사이의 콤팩트 작용소 T {\displaystyle T} 의 특잇값 가운데 최대인 것은 T {\displaystyle T} 의 작용소 노름과 같다. m × n {\displaystyle m\times n} 행렬은 (중복수를 포함하여) min { m , n } {\displaystyle \min\{m,n\}} 개의 특잇값들을 갖는다. 여기서, 특잇값들은 중복될 수 있다. 즉, 모든 min { m , n } {\displaystyle \min\{m,n\}} 개의 특잇값들이 죄다 같을 수 있다. 만약 T : V → V {\displaystyle T\colon V\to V} 가 K {\displaystyle \mathbb {K} } -힐베르트 공간 V {\displaystyle V} 전체에 정의된 콤팩트 자기 수반 작용소일 경우, T {\displaystyle T} 특잇값들은 T {\displaystyle T} 의 고윳값들의 절댓값들이며, 각 특잇값에 대응하는 특이 벡터는 고유 벡터이다. 다음과 같은 실수 4×5 행렬을 생각하자. T = ( 1 0 0 0 2 0 0 3 0 0 0 0 0 0 0 0 4 0 0 0 ) {\displaystyle T={\begin{pmatrix}1&0&0&0&2\\0&0&3&0&0\\0&0&0&0&0\\0&4&0&0&0\end{pmatrix}}} 이 행렬의 특잇값 분해 T = U Σ V ∗ {\displaystyle T=U\Sigma V^{*}} 는 다음과 같다. T = ( 0 0 1 0 0 1 0 0 0 0 0 − 1 1 0 0 0 ) ( 4 0 0 0 0 0 3 0 0 0 0 0 5 0 0 0 0 0 0 0 ) ( 0 1 0 0 0 0 0 1 0 0 1 / 5 0 0 0 2 / 5 0 0 0 1 0 − 2 / 5 0 0 0 1 / 5 ) {\displaystyle T={\begin{pmatrix}0&0&1&0\\0&1&0&0\\0&0&0&-1\\1&0&0&0\end{pmatrix}}{\begin{pmatrix}\color {Red}{4}&0&0&0&0\\0&\color {Red}{3}&0&0&0\\0&0&\color {Red}{\sqrt {5}}&0&0\\0&0&0&\color {Red}{0}&0\end{pmatrix}}{\begin{pmatrix}0&1&0&0&0\\0&0&1&0&0\\1/{\sqrt {5}}&0&0&0&2/{\sqrt {5}}\\0&0&0&1&0\\-2/{\sqrt {5}}&0&0&0&1/{\sqrt {5}}\end{pmatrix}}} 즉, T {\displaystyle T} 의 특잇값들은 가운데 행렬에서 붉게 표시된 성분들인 4 , 3 , 5 , 0 {\displaystyle 4,3,{\sqrt {5}},0} 이다. 특잇값 분해는 유일하지 않다. 예를 들어, 위와 같은 분해에서, 마지막 인자 V ∗ {\displaystyle V^{*}} 를 V ∗ = ( 0 1 0 0 0 0 0 1 0 0 1 / 5 0 0 0 2 / 5 2 / 5 0 0 1 / 2 − 1 / 10 − 2 / 5 0 0 1 / 2 1 / 10 ) {\displaystyle V^{*}={\begin{pmatrix}0&1&0&0&0\\0&0&1&0&0\\1/{\sqrt {5}}&0&0&0&2/{\sqrt {5}}\\{\sqrt {2/5}}&0&0&1/{\sqrt {2}}&-1/{\sqrt {10}}\\-{\sqrt {2/5}}&0&0&1/{\sqrt {2}}&1/{\sqrt {10}}\end{pmatrix}}} 로 교체할 수도 있다. 특잇값의 개념은 에르하르트 슈미트가 1907년에 도입하였다. 슈미트는 특잇값을 "고윳값"(독일어: Eigenwert)이라고 일컬었으나, 이후 1937년에 프랭크 스미디스(영어: Frank Smithies, 1912~2002)가 "특잇값"(영어: singular value)이라는 용어를 도입하였다. 행렬의 특잇값 분해는 신호 처리와 통계학 등의 분야에서 자주 사용된다. 특히, 통계학에서 특잇값 분해를 통한 분석은 주성분 분석이라고 불린다. 조건수 슈어-혼 정리 특잇값 분해 Hinrichs, Aicke; Pietsch, Albrecht (2010년 2월). “p-nuclear operators in the sense of Grothendieck”. 《Mathematische Nachrichten》 (영어) 283 (2): 232–261. doi:10.1002/mana.200910128.  Schmidt, Erhard (1907). 《Zur Theorie der linearen und nichtlinearen Integralgleichungen. I. Teil: Entwicklung willkürlicher Funktionen nach Systemen vorgeschriebener》. 《Mathematische Annalen》 (독일어) 63. 433–476쪽. ISSN 0025-5831. 2016년 12월 31일에 원본 문서에서 보존된 문서. 2017년 1월 18일에 확인함.  Smithies, Frank (1937). “The eigenvalues and singular values of integral equations”. 《Proceedings of the London Mathematical Society》 (영어) 43: 255–279. doi:10.1112/plms/s2-43.4.255.  Weisstein, Eric Wolfgang. “Singular value”. 《Wolfram MathWorld》 (영어). Wolfram Research.  Weisstein, Eric Wolfgang. “Singular value decomposition”. 《Wolfram MathWorld》 (영어). Wolfram Research.  Austin, David (2009년 8월). “We recommend a singular value decomposition”. 《Feature Column: Monthly Essays on Mathematical Topics》 (영어). American Mathematical Society.