화이트닝 변환

화이트닝 변환() 또는 스피어링 변환()은 알려진 공분산 행렬을 가진 확률 변수 벡터를 단위 행렬을 공분산으로 하는 새로운 변수 집합으로 변환하는 선형 변환을 말한다. 이는 변수들이 상관관계가 없으며 각각 1의 분산을 가진다는 것을 의미한다. 이 변환은 입력 벡터를 백색 잡음 벡터로 바꾸기 때문에 "화이트닝(whitening)"이라고 불린다.

다른 몇 가지 변환은 화이트닝과 밀접하게 관련되어 있다.

 비상관 변환(decorrelation transform)은 상관관계만 제거하고 분산은 그대로 둔다.
 표준화 변환(standardization transform)은 분산을 1로 설정하지만 상관관계는 그대로 둔다.
 컬러링 변환(coloring transformation)은 백색 확률 변수 벡터를 지정된 공분산 행렬을 가진 확률 벡터로 변환한다.

 정의 
비특이 공분산 행렬 와 평균 을 가진 확률 (열) 벡터 가 있다고 가정한다. 그러면  조건을 만족하는 화이트닝 행렬 를 이용한 변환 는 단위 대각 공분산을 가진 화이트닝된 확률 벡터 를 산출한다.

가 영이 아닌 평균 를 가지면, 로 화이트닝을 수행할 수 있다.

위 조건을 만족하는 가능한 화이트닝 행렬 는 무한히 많다. 일반적으로 사용되는 선택은  (마할라노비스 또는 ZCA 화이트닝),  (여기서 은 의 숄레스키 분해임) (숄레스키 화이트닝), 또는 의 고유 시스템 (PCA 화이트닝)이다.

최적의 화이트닝 변환은 와 의 교차 공분산과 교차 상관관계를 조사하여 선별할 수 있다. 예를 들어, 원래 와 화이트닝된  사이의 최대 성분별 상관관계를 달성하는 유일한 최적 화이트닝 변환은 화이트닝 행렬 에 의해 생성되며, 여기서 는 상관 행렬이고 는 대각 분산 행렬이다.

 데이터 행렬 화이트닝 
데이터 행렬을 화이트닝하는 것은 확률 변수에 대한 변환과 동일하게 따른다. 경험적 화이트닝 변환은 공분산을 추정하고 (예: 최대 우도에 의해) 그 다음 해당 추정된 화이트닝 행렬을 구성하여 (예: 숄레스키 분해에 의해) 얻어진다.

 고차원 화이트닝 
이 방식은 가 일반적으로 힐베르트 공간 의 확률 함수 또는 기타 확률 객체로 가정되는 보다 일반적인 공간으로 확장된 사전 화이트닝 절차의 일반화이다. 화이트닝을 무한 차원으로 확장하는 주요 문제 중 하나는 공분산 연산자가 에서 무한한 역수를 가지므로 무한 차원에서는 부분적인 표준화만 가능하다는 것이다. 화이트닝 연산자는 퇴화된 공분산 연산자의 인수분해로부터 정의될 수 있다. 데이터의 고차원 특성은 커널 회귀자 또는 기저 함수 시스템을 통해 활용할 수 있다.

 R 구현 
ZCA-화이트닝과 PCA 화이트닝뿐만 아니라 CCA 화이트닝을 포함한 여러 화이트닝 절차의 R 구현은 CRAN에 게시된 "whitening" R 패키지에서 사용할 수 있다. R 패키지 "pfica"는 기저 함수 시스템(B-스플라인, 푸리에 기저 등)을 사용하여 고차원 화이트닝 표현을 계산할 수 있게 한다.

 같이 보기 
 비상관화
 주성분 분석
 가중 최소 제곱법
 정준상관분석
 마할라노비스 거리 (W. 변환 후 유클리드 거리임)

 각주 

 외부 링크 
 http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf
 The ZCA whitening transformation. Appendix A of Learning Multiple Layers of Features from Tiny Images by A. Krizhevsky.

분류:분류 알고리즘