위상 상관

**위상 상관**(Phase correlation)은 두 개의 유사한 영상이나 다른 데이터 세트 간의 상대적인 평행 이동 오프셋을 추정하는 접근 방식이다. 이는 일반적으로 영상 정합에 사용되며, 고속 푸리에 변환으로 계산되는 데이터의 주파수 영역 표현에 의존한다. 이 용어는 특히 교차 상관도의 푸리에 공간 표현에서 위상 정보를 분리하는 교차상관 기술의 하위 집합에 적용된다.
# 예시
다음 이미지는 독립적인 가우시안 노이즈에 의해 손상된 두 이미지 간의 상대적인 평행 이동을 결정하기 위해 위상 상관을 사용하는 것을 보여준다. 이미지는 (20,23) 픽셀만큼 이동되었다. 따라서 위상 상관 표현에서 대략 (20,23)에 피크가 명확하게 나타나는 것을 볼 수 있다. 파일:Phase
# 방법
두 입력 이미지 \ g_a와 \ g_b가 주어졌을 때: 두 이미지 모두에 창 함수 (예: 하밍 창)를 적용하여 가장자리 효과를 줄인다 (이는 이미지 특성에 따라 선택 사항일 수 있다). 그런 다음 두 이미지의 이산 2D 이산 푸리에 변환을 계산한다. :\ \mathbf{G}_a = \mathcal{F}\\{g_a\\}, \; \mathbf{G}_b = \mathcal{F}\\{g_b\\} 두 번째 결과의 켤레 복소수를 취하고, 푸리에 변환을 요소별로 곱한 다음, 이 곱을 요소별로 정규화하여 교차 스펙트럼을 계산한다. :\ R = \frac{ \mathbf{G}_a \circ \mathbf{G}_b^*}{|\mathbf{G}_a \circ \mathbf{G}_b^*|} 여기서 \circ는 아다마르 곱 (요소별 곱)이며 절대값 또한 요소별로 취한다. 요소 인덱스 (j,k)에 대해 요소별로 작성하면 다음과 같다. :\ R_{jk} = \frac{ G_{a,jk} \cdot G_{b,jk}^*}{|G_{a,jk} \cdot G_{b,jk}^* |} 역 푸리에 변환을 적용하여 정규화된 교차 상관을 얻는다. :\ r = \mathcal{F}^{-1}\\{R\\} \ r에서 피크의 위치를 결정한다. :\ (\Delta x, \Delta y) = \arg \max_{(x, y)}\\{r\\} 일반적으로 보간법은 정수가 아닌 값으로 교차 상관도에서 피크 위치를 추정하는 데 사용되며, 데이터가 이산적임에도 불구하고 이 절차는 종종 '서브픽셀 정합'이라고 불린다. 기술 문헌에는 다양한 서브픽셀 보간법이 제공된다. 포물선 보간법과 같은 일반적인 피크 보간법이 사용되었으며, OpenCV 컴퓨터 비전 패키지는 무게 중심 (기하학) 기반 방법을 사용하지만, 이러한 방법들은 일반적으로 더 정교한 방법에 비해 정확도가 떨어진다. 데이터의 푸리에 표현이 이미 계산되었기 때문에, 이 목적을 위해 실수 값 (서브 정수) 이동과 함께 푸리에 시프트 정리를 사용하는 것이 특히 편리하며, 이는 본질적으로 푸리에 변환의 기저 함수의 사인파를 사용하여 보간한다. 특히 인기 있는 FT 기반 추정기는 Foroosh 외 연구팀이 제시했다.H. Foroosh (Shekarforoush), J.B. Zerubia, and M. Berthod, "Extension of Phase Correlation to Subpixel Registration," IEEE Transactions on Image Processing, V. 11, No. 3, Mar. 2002, pp. 188-200. 이 방법에서 서브픽셀 피크 위치는 피크 픽셀 값과 가장 가까운 이웃 픽셀 값(대부분의 접근 방식과 마찬가지로 정수 이동이 이미 발견되었고 비교 이미지들이 서브픽셀 이동만으로 차이가 난다고 가정할 때)을 포함하는 간단한 공식으로 근사화된다. 여기서 r_{(0,0)}는 피크 값이고 r_{(1,0)}는 x 방향에서 가장 가까운 이웃이다. :\ \Delta x = \frac{ r_{(1,0)} }{r_{(1,0)} \plusmn r_{(0,0) Foroosh 외 연구팀의 방법은 대부분의 방법에 비해 상당히 빠르지만, 항상 가장 정확한 것은 아니다. 일부 방법은 푸리에 공간에서 피크를 이동하고 수학적 최적화를 적용하여 상관도 피크를 최대화하지만, 이러한 방법은 역 푸리에 변환 또는 그에 상응하는 것을 목적 함수에 적용해야 하므로 매우 느린 경향이 있다.E.g. M. Sjödahl and L.R. Benckert, "Electronic speckle photography: analysis of an algorithm giving the displacement with subpixel accuracy," Appl Opt. 1993 May 1;32(13):2278-84. 10.1364/AO.32.002278 Stone이 언급했듯이 역변환 없이 푸리에 공간의 위상 특성에서 피크 위치를 추론하는 것도 가능하다.Harold S. Stone, "A Fast Direct Fourier-Based Algorithm for Subpixel Registration of Images", IEEE Transactions on Geoscience and Remote Sensing, V. 39, No. 10, Oct. 2001, pp.2235-2242 이러한 방법은 일반적으로 선형 최소 제곱법을 사용하여 위상각을 평면 모델에 맞춘다. 이러한 방법에서 위상각 계산의 긴 지연 시간은 단점이지만, 이미지 크기에 따라 속도가 Foroosh 외 연구팀의 방법과 비슷할 수도 있다. 반복적인 비선형 방법에서 매우 느린 목적 함수의 여러 반복과 비교하여 속도면에서 종종 우위를 보인다. 모든 서브픽셀 이동 계산 방법은 근본적으로 보간적이므로, 특정 방법의 성능은 기본 데이터가 보간기의 가정에 얼마나 잘 부합하는지에 따라 달라진다. 이 사실은 또한 알고리즘에서 높은 수치 정확도의 유용성을 제한할 수 있는데, 이는 보간 방법 선택으로 인한 불확실성이 특정 방법의 수치 또는 근사 오류보다 클 수 있기 때문이다. 서브픽셀 방법은 또한 이미지의 노이즈에 특히 민감하며, 특정 알고리즘의 유용성은 속도와 정확성뿐만 아니라 응용 분야의 특정 노이즈 유형에 대한 복원력으로도 구별된다.
# 원리
이 방법은 푸리에 시프트 정리에 기반을 둔다. 두 이미지 \ g_a와 \ g_b가 서로 순환적으로 이동된 버전이라고 하자. :\ g_b(x,y) \ \stackrel{\mathrm{def{=}\ g_a((x - \Delta x) \bmod M, (y - \Delta y) \bmod N) (여기서 이미지 크기는 \ M \times N이다). 그러면 이미지의 이산 푸리에 변환은 위상에서 상대적으로 이동된다. :\mathbf{G}_b(u,v) = \mathbf{G}_a(u,v) e^{-2 \pi i (\frac{u \Delta x}{M} + \frac{v \Delta y}{N}) } 그러면 위상차를 제외하기 위해 정규화된 교차 전력 스펙트럼을 계산할 수 있다. : \begin{align} R(u,v) &= \frac{ \mathbf{G}_a \mathbf{G}_b^*}{|\mathbf{G}_a \mathbf{G}_b^* |} \\\ &= \frac{ \mathbf{G}_a \mathbf{G}_a^* e^{2 \pi i (\frac{u \Delta x}{M} + \frac{v \Delta y}{N}) {|\mathbf{G}_a \mathbf{G}_a^* e^{2 \pi i (\frac{u \Delta x}{M} + \frac{v \Delta y}{N}) }|} \\\ &= \frac{ \mathbf{G}_a \mathbf{G}_a^* e^{2 \pi i (\frac{u \Delta x}{M} + \frac{v \Delta y}{N}) {|\mathbf{G}_a \mathbf{G}_a^*|} \\\ &= e^{2 \pi i (\frac{u \Delta x}{M} + \frac{v \Delta y}{N}) } \end{align} 오일러 공식에 의해 허수 지수 함수의 크기는 항상 1이고, \ \mathbf{G}_a \mathbf{G}_a^*의 위상은 항상 0이기 때문이다. 복소수 지수 함수의 역 푸리에 변환은 디랙 델타 함수, 즉 단일 피크이다. :\ r(x,y) = \delta(x + \Delta x, y + \Delta y) 이 결과는 교차상관을 직접 계산하여 얻을 수도 있었다. 이 방법의 장점은 이산 푸리에 변환과 그 역변환을 고속 푸리에 변환을 사용하여 수행할 수 있어, 큰 이미지의 경우 상관보다 훨씬 빠르다는 점이다.
## 장점
많은 공간 영역 알고리즘과 달리 위상 상관 방법은 의료 또는 위성 이미지에 일반적으로 나타나는 노이즈, 폐색 및 기타 결함에 강하다.S. Nithyanadam, S. Amaresan and N. Mohamed Haris "An Innovative Normalization Process by Phase Correlation Method of Iris Images for the block size of 32*32" 이 방법은 이미지를 먼저 로그 극좌표로 변환하여 두 이미지 간의 회전 및 스케일링 차이를 결정하는 데 확장될 수 있다. 푸리에 변환의 속성 덕분에 회전 및 스케일링 매개변수는 평행 이동에 불변하는 방식으로 결정될 수 있다.E. De Castro and C. Morandi "Registration of Translated and Rotated Images Using Finite Fourier Transforms", IEEE Transactions on Pattern Analysis and Machine Intelligence, Sept. 1987B. S Reddy and B. N. Chatterji, “An FFT-based technique for translation, rotation, and scale-invariant image registration”, IEEE Transactions on Image Processing 5, no. 8 (1996): 1266–1271.
## 한계
실제로 \ g_b는 위 설명에서 요구하는 순환 이동보다는 \ g_a의 단순한 선형 이동일 가능성이 더 높다. 이러한 경우 \ r은 단순한 델타 함수가 아니므로 방법의 성능이 저하된다. 이러한 경우에는 푸리에 변환 동안 창 함수 (가우시안 또는 투키 창과 같은)를 사용하여 가장자리 효과를 줄이거나, 가장자리 효과를 무시할 수 있도록 이미지를 제로 패딩해야 한다. 이미지가 평평한 배경으로 구성되어 있고 모든 세부 사항이 가장자리에서 멀리 떨어져 있다면, 선형 이동은 순환 이동과 동일하며 위의 유도는 정확하게 유지된다. 가장자리 또는 벡터 상관을 사용하여 피크를 선명하게 할 수 있다.citeseerx=10.1.1.730.9105 주기함수 이미지 (체스판 또는 울타리 등)의 경우 위상 상관은 결과 출력에 여러 피크를 포함하여 모호한 결과를 초래할 수 있다.
# 응용
위상 상관은 텔레비전 표준 변환에 선호되는 방법인데, 이는 가장 적은 아티팩트를 남기기 때문이다.