교차상관

합성곱, 교차상관 및 [[자기상관의 시각적 비교. 함수 f를 포함하는 연산의 경우, f의 높이가 1.0이라고 가정하면, 5개의 다른 지점에서의 결과 값은 각 지점 아래의 음영 처리된 영역으로 표시된다. 또한, f의 수직 대칭성은 이 예제에서 f*g와 f \star g가 동일한 이유이다.]] 신호 처리에서 **교차상관**(cross-correlation) 또는 **상호 상관 관계**는 다른 하나에 대한 하나의 변위 함수로서 두 계열의 유사도 척도이다. 이것은 슬라이딩 스칼라곱 또는 슬라이딩 내적으로도 알려져 있다. 일반적으로 더 짧고 알려진 특징을 찾기 위해 긴 신호를 검색하는 데 사용된다. 패턴 인식, 단일 입자 분석, 전자 토모그래피, 평균화, 암호 해독 및 신경생리학에 응용된다. 교차상관은 두 함수의 합성곱과 본질적으로 유사하다. 신호 자체와의 교차상관인 자기상관에서는 항상 지연이 0일 때 피크가 있으며, 그 크기는 신호 에너지이다. 확률 및 통계학에서 교차상관이라는 용어는 두 확률 벡터 \mathbf{X}와 \mathbf{Y}의 항목들 사이의 상관을 나타내며, 확률 벡터 \mathbf{X}의 상관은 \mathbf{X} 자체의 항목들 사이의 상관, 즉 \mathbf{X}의 상관 행렬을 형성하는 상관을 나타낸다. 만약 \mathbf{X}와 \mathbf{Y} 각각이 시계열에서 반복적으로 실현되는 스칼라 확률 변수라면, \mathbf{X}의 다양한 시간적 인스턴스의 상관은 \mathbf{X}의 자기상관으로 알려져 있으며, 시간 경과에 따른 \mathbf{X}와 \mathbf{Y}의 교차상관은 시간적 교차상관이다. 확률 및 통계학에서 상관의 정의는 항상 표준화 요소를 포함하여 상관이 −1과 +1 사이의 값을 갖도록 한다. 만약 X와 Y가 각각 독립 확률 변수이며 확률 밀도 함수가 f와 g라면, 차이 Y - X의 확률 밀도는 형식적으로 (신호 처리 의미에서) 교차상관 f \star g로 주어진다. 그러나 이 용어는 확률 및 통계학에서는 사용되지 않는다. 대조적으로, 합성곱 f * g ( \overline{f(-t)}와 g(t)의 교차상관과 동일)는 합 X + Y의 확률 밀도 함수를 제공한다.
# 확정적 신호의 교차상관
연속 함수 f와 g의 경우, 교차상관은 다음과 같이 정의된다:Bracewell, R. "Pentagram Notation for Cross Correlation." The Fourier Transform and Its Applications. New York: McGraw-Hill, pp. 46 and 243, 1965.Papoulis, A. The Fourier Integral and Its Applications. New York: McGraw-Hill, pp. 244–245 and 252-253, 1962.Weisstein, Eric W. "Cross-Correlation." From MathWorld--A Wolfram Web Resource. http://mathworld.wolfram.com/Cross-Correlation.html(f \star g)(\tau)\ \triangleq \int_{-\infty}^{\infty} \overline{f(t)} g(t+\tau)\,dt이는 다음과 동등하다:(f \star g)(\tau)\ \triangleq \int_{-\infty}^{\infty} \overline{f(t-\tau)} g(t)\,dt여기서 \overline{f(t)}는 f(t)의 켤레 복소수를 나타내고, \tau는 변위 또는 지연이라고 불린다. 특정 \tau에서 최대 교차상관을 갖는 고도로 상관된 f와 g의 경우, t에서의 f의 특징은 t+\tau에서 g에서 나중에 발생하므로 g는 f보다 \tau만큼 뒤처진다고 설명할 수 있다. 만약 f와 g가 모두 주기 T를 갖는 연속 주기 함수라면, -\infty에서 \infty까지의 적분은 길이 T의 임의의 구간 [t_0,t_0+T]에 대한 적분으로 대체된다:(f \star g)(\tau)\ \triangleq \int_{t_0}^{t_0+T} \overline{f(t)} g(t + \tau)\,dt이는 다음과 동등하다:(f \star g)(\tau)\ \triangleq \int_{t_0}^{t_0+T} \overline{f(t-\tau)} g(t)\,dt유사하게, 이산 함수의 경우 교차상관은 다음과 같이 정의된다:url =https://archive.org/details/digitalprocessin00rabi_0/page/147url =https://archive.org/details/theoryapplicatio00rabi/page/401(f \star g)[n]\ \triangleq \sum_{m=-\infty}^{\infty} \overline{f[m]} g[m+n]이는 다음과 동등하다:(f \star g)[n]\ \triangleq \sum_{m=-\infty}^{\infty} \overline{f[m - n]} g[m]유한 이산 함수 f,g\in\mathbb{C}^N의 경우, (원형) 교차상관은 다음과 같이 정의된다:hdl-access=free(f \star g)[n]\ \triangleq \sum_{m=0}^{N-1} \overline{f[m]} g[(m+n)_{\text{mod}~N}]이는 다음과 동등하다:(f \star g)[n]\ \triangleq \sum_{m=0}^{N-1} \overline{f[(m-n)_{\text{mod}~N}]} g[m]유한 이산 함수 f\in\mathbb{C}^N, g\in\mathbb{C}^M의 경우, 커널 교차상관은 다음과 같이 정의된다:doi-access=free(f \star g)[n]\ \triangleq \sum_{m=0}^{N-1} \overline{f[m]} K_g[(m+n)_{\text{mod}~N}]여기서 K_g = [k(g, T_0(g)), k(g, T_1(g)), \dots, k(g, T_{N-1}(g))]는 커널 함수 k(\cdot, \cdot)\colon \mathbb{C}^M \times \mathbb{C}^M \to \mathbb{R}의 벡터이고 T_i(\cdot)\colon \mathbb{C}^M \to \mathbb{C}^M는 아핀 변환이다. 특히, T_i(\cdot)는 원형 변환, 회전 변환 또는 스케일 변환 등이 될 수 있다. 커널 교차상관은 선형 공간에서 커널 공간으로 교차상관을 확장한다. 교차상관은 변환에 대해 동등하다. 커널 교차상관은 변환, 회전 및 스케일 등을 포함한 모든 아핀 변환에 대해 동등하다.
## 설명
예를 들어, x축을 따라 알 수 없는 이동만큼만 다른 두 개의 실수 값 함수 f와 g를 고려해 보자. 교차상관을 사용하여 g를 f와 동일하게 만들기 위해 x축을 따라 얼마나 이동해야 하는지 찾을 수 있다. 이 공식은 기본적으로 g 함수를 x축을 따라 미끄러뜨리면서 각 위치에서 그 곱의 적분을 계산한다. 함수가 일치할 때, (f\star g)의 값은 최대화된다. 이는 피크(양의 영역)가 정렬될 때 적분에 크게 기여하기 때문이다. 유사하게, 골(음의 영역)이 정렬될 때도 두 음수의 곱이 양수이기 때문에 적분에 양의 기여를 한다. 교차상관 계산 방식 애니메이션. 왼쪽 그래프는 함수 F에 대해 시간 변위 𝜏만큼 위상 이동된 녹색 함수 G를 보여준다. 가운데 그래프는 함수 F와 위상 이동된 G를 리사주 곡선으로 함께 나타낸다. F에 위상 이동된 G를 곱하여 적분하면 오른쪽 그래프인 𝜏의 모든 값에 대한 교차상관이 생성된다. 복소수 값 함수 f와 g의 경우, f의 켤레 복소수를 취하면 허수 부분을 갖는 정렬된 피크(또는 정렬된 골)가 적분에 양수로 기여하도록 보장한다. 계량경제학에서는 지연된 교차상관을 때때로 교차자기상관이라고 부른다.isbn=0691043019p. 74
## 속성
f와 h의 합성곱과 함수 g의 교차상관은 g와 f의 교차상관과 커널 h의 합성곱이다. : g \star \left(f * h\right) = \left(g \star f\right) * h.
# 확률 벡터의 교차상관
교차상관 행렬
## 정의
기댓값과 분산이 존재하는 확률 변수를 각각 포함하는 확률 벡터 \mathbf{X} = (X_1,\ldots,X_m)와 \mathbf{Y} = (Y_1,\ldots,Y_n)에 대해, \mathbf{X}와 \mathbf{Y}의 **교차상관 행렬**은 다음과 같이 정의된다.isbn=978-0-521-86470-1p.337\operatorname{R}_{\mathbf{X}\mathbf{Y \triangleq\ \operatorname{E}\left[\mathbf{X} \mathbf{Y}\right]그리고 차원은 m \times n이다. 구성 요소별로 작성하면:\operatorname{R}_{\mathbf{X}\mathbf{Y = \begin{bmatrix} \operatorname{E}[X_1 Y_1] & \operatorname{E}[X_1 Y_2] & \cdots & \operatorname{E}[X_1 Y_n] \\\ \\\ \operatorname{E}[X_2 Y_1] & \operatorname{E}[X_2 Y_2] & \cdots & \operatorname{E}[X_2 Y_n] \\\ \\\ \vdots & \vdots & \ddots & \vdots \\\ \\\ \operatorname{E}[X_m Y_1] & \operatorname{E}[X_m Y_2] & \cdots & \operatorname{E}[X_m Y_n] \end{bmatrix} 확률 벡터 \mathbf{X}와 \mathbf{Y}는 동일한 차원을 가질 필요는 없으며, 어느 쪽이든 스칼라 값일 수 있다. 여기서 \operatorname{E}는 기댓값 연산자이다.
## 예시
예를 들어, 만약 \mathbf{X} = \left( X_1,X_2,X_3 \right)와 \mathbf{Y} = \left( Y_1,Y_2 \right)가 확률 벡터라면, \operatorname{R}_{\mathbf{X}\mathbf{Y는 3 \times 2 행렬이며, (i,j)-번째 항목은 \operatorname{E}[X_i Y_j]이다.
## 복소 확률 벡터에 대한 정의
기댓값과 분산이 존재하는 확률 변수를 각각 포함하는 복소 확률 벡터 \mathbf{Z} = (Z_1,\ldots,Z_m)와 \mathbf{W} = (W_1,\ldots,W_n)의 경우, \mathbf{Z}와 \mathbf{W}의 교차상관 행렬은 다음과 같이 정의된다.\operatorname{R}_{\mathbf{Z}\mathbf{W \triangleq\ \operatorname{E}[\mathbf{Z} \mathbf{W}^{\rm H}]여기서 {}^{\rm H}는 에르미트 전치를 나타낸다.
# 확률 과정의 교차상관
시계열 분석 및 통계학에서 한 쌍의 확률 과정의 교차상관은 두 시간의 함수로서 서로 다른 시간에서의 과정 값들 간의 상관이다. (X_t, Y_t)를 한 쌍의 확률 과정이라고 하고, t를 임의의 시간 지점이라고 하자 ( t는 이산 시간 과정의 경우 정수일 수 있고, 연속 시간 과정의 경우 실수일 수 있다). 그러면 X_t는 시간 t에 주어진 과정 실행에 의해 생성된 값(또는 관측값)이다.
## 교차상관 함수
각 t에 대해 과정의 평균이 \mu_X(t)와 \mu_Y(t)이고 분산이 \sigma_X^2(t)와 \sigma_Y^2(t)라고 가정하자. 그러면 시간 t_1과 t_2 사이의 교차상관 정의는 다음과 같다.p.392\operatorname{R}_{XY}(t_1, t_2) \triangleq\ \operatorname{E}\left[X_{t_1} \overline{Y_{t_2\right]여기서 \operatorname{E}는 기댓값 연산자이다. 이 표현은 정의되지 않을 수도 있음에 유의하라.
## 교차공분산 함수
곱셈 전에 평균을 빼면 시간 t_1과 t_2 사이의 교차공분산이 생성된다.p.392\operatorname{K}_{XY}(t_1, t_2) \triangleq\ \operatorname{E}\left[\left(X_{t_1} - \mu_X(t_1)\right)\overline{(Y_{t_2} - \mu_Y(t_2))}\right]평균이나 분산이 존재하지 않을 수 있으므로, 이 표현이 모든 시계열 또는 과정에 대해 잘 정의되지 않는다는 점에 유의하라.
## 광의 정상 확률 과정에 대한 정의
(X_t, Y_t)가 결합 광의 정상인 한 쌍의 확률 과정을 나타낸다고 하자. 그러면 교차공분산 함수와 교차상관 함수는 다음과 같다.
### 교차상관 함수
\operatorname{R}_{XY}(\tau) \triangleq\ \operatorname{E}\left[X_t \overline{Y_{t+\tau\right] 또는 동등하게 \operatorname{R}_{XY}(\tau) = \operatorname{E}\left[X_{t-\tau} \overline{Y_{t\right]
### 교차공분산 함수
\operatorname{K}_{XY}(\tau) \triangleq\ \operatorname{E}\left[\left(X_t - \mu_X\right)\overline{\left(Y_{t+\tau} - \mu_Y\right)}\right] 또는 동등하게 \operatorname{K}_{XY}(\tau) = \operatorname{E}\left[\left(X_{t-\tau} - \mu_X\right)\overline{\left(Y_{t} - \mu_Y\right)}\right]여기서 \mu_X와 \sigma_X는 과정 (X_t)의 평균과 표준 편차이며, 정상성으로 인해 시간이 지나도 일정하다. (Y_t)도 마찬가지이다. \operatorname{E}[\ ]는 기댓값을 나타낸다. 교차공분산과 교차상관이 t에 독립적이라는 것은 (X_t, Y_t)가 결합 광의 정상이라는 요구 사항에서 전달되는 추가 정보(개별적으로 광의 정상이라는 것을 넘어)이다. 결합 광의 정상 확률 과정 쌍의 교차상관은 한 과정에서 측정된 샘플과 다른 과정에서 측정된 샘플(및 그 시간 이동)의 곱을 평균하여 추정할 수 있다. 평균에 포함된 샘플은 신호의 모든 샘플의 임의의 부분 집합이 될 수 있다 (예: 유한 시간 창 내의 샘플 또는 신호 중 하나의 서브 샘플링). 많은 수의 샘플의 경우, 평균은 참 교차상관으로 수렴한다.
## 정규화
일부 분야(예: 통계 및 시계열 분석)에서는 교차상관 함수를 정규화하여 시간 의존적인 피어슨 상관 계수를 얻는 것이 일반적이다. 그러나 다른 분야(예: 공학)에서는 일반적으로 정규화가 생략되고 "교차상관"과 "교차공분산" 용어가 상호 교환적으로 사용된다. 확률 과정의 정규화된 교차상관 정의는 다음과 같다. \rho_{XX}(t_1, t_2) = \frac{\operatorname{K}_{XX}(t_1, t_2)}{\sigma_X(t_1)\sigma_X(t_2)} = \frac{\operatorname{E}\left[\left(X_{t_1} - \mu_{t_1}\right)\overline{\left(X_{t_2} - \mu_{t_2}\right)}\right]}{\sigma_X(t_1)\sigma_X(t_2)} 만약 함수 \rho_{XX}가 잘 정의된다면, 그 값은 [-1,1] 범위 내에 있어야 하며, 1은 완벽한 상관을 나타내고 −1은 완벽한 역상관을 나타낸다. 결합 광의 정상 확률 과정의 경우, 정의는 다음과 같다. \rho_{XY}(\tau) = \frac{\operatorname{K}_{XY}(\tau)}{\sigma_X \sigma_Y} = \frac{\operatorname{E}\left[\left(X_t - \mu_X\right) \overline{\left(Y_{t+\tau} - \mu_Y\right)}\right]}{\sigma_X \sigma_Y} 정규화는 자기상관의 해석이 상관으로서 통계적 의존성의 강도에 대한 척도 없는 측정을 제공하기 때문에 중요하며, 정규화가 추정된 자기상관의 통계적 속성에 영향을 미치기 때문에 중요하다.
## 속성

### 대칭 속성
결합 광의 정상 확률 과정의 경우, 교차상관 함수는 다음 대칭 속성을 갖는다.Kun Il Park, Fundamentals of Probability and Stochastic Processes with Applications to Communications, Springer, 2018, 978-3-319-68074-3p.173\operatorname{R}_{XY}(t_1, t_2) = \overline{\operatorname{R}_{YX}(t_2, t_1)}결합 WSS 과정의 경우:\operatorname{R}_{XY}(\tau) = \overline{\operatorname{R}_{YX}(-\tau)}
# 시간 지연 분석
교차상관은 두 신호 간의 시간 지연을 결정하는 데 유용하며, 예를 들어 마이크로폰 배열을 통한 음향 신호 전파의 시간 지연을 결정하는 데 사용된다.isbn=978-0-7918-4388-8url=http://d-scholarship.pitt.edu/9773/ 두 신호 간의 교차상관을 계산한 후, 교차상관 함수의 최댓값(또는 신호가 음의 상관을 갖는 경우 최솟값)은 신호가 가장 잘 정렬되는 시점을 나타낸다. 즉, 두 신호 간의 시간 지연은 다음과 같이 교차상관의 최댓값의 인자 또는 아그 맥스에 의해 결정된다.\tau_\mathrm{delay}=\underset{t \in \mathbb{R{\operatorname{arg\,max((f \star g)(t))이미지 처리 용어
## 영-정규화 교차상관 (ZNCC)
조명 및 노출 조건으로 인해 이미지 및 템플릿의 밝기가 변할 수 있는 이미지 처리 응용 프로그램의 경우, 이미지를 먼저 정규화할 수 있다. 이는 일반적으로 각 단계에서 평균을 빼고 표준 편차로 나누어 수행된다. 즉, 템플릿 t(x,y)와 서브이미지 f(x,y)의 교차상관은 다음과 같다. \frac{1}{n\sigma_f \sigma_t} \sum_{x,y}\left(f(x,y) - \mu_f \right)\left(t(x,y) - \mu_t \right) 여기서 n은 t(x,y)와 f(x,y)의 픽셀 수이고, \mu_f는 f의 평균이고 \sigma_f는 f의 표준 편차이다. 함수해석학 용어로는 이를 두 단위 벡터의 스칼라곱으로 생각할 수 있다. 즉, 만약F(x,y) = f(x,y) - \mu_f이고T(x,y) = t(x,y) - \mu_t이라면 위 합은 다음과 같다.\left\langle\frac{F}{\|F\|},\frac{T}{\|T\|}\right\rangle여기서 \langle\cdot,\cdot\rangle는 내적이고 \|\cdot\|는 L² 노름이다. 그러면 코시-슈바르츠 부등식에 의해 ZNCC는 [-1, 1]의 범위를 갖는다. 따라서 f와 t가 실수 행렬이라면, 그들의 정규화된 교차상관은 단위 벡터 F와 T 사이의 각도의 코사인과 같으므로, F가 양의 스칼라로 곱해진 T와 같을 때에만 1이 된다. 정규화된 상관은 이미지 내에서 패턴이나 객체의 인스턴스를 찾는 데 사용되는 프로세스인 템플릿 매칭에 사용되는 방법 중 하나이다. 또한 피어슨 상관 계수의 2차원 버전이다.
## 정규화 교차상관 (NCC)
NCC는 ZNCC와 유사하며, 강도의 지역 평균값을 빼지 않는다는 점만 다르다.\frac{1}{n\sigma_f \sigma_t} \sum_{x,y}f(x,y) t(x,y)
# 비선형 시스템
비선형 시스템의 가우시안 분산을 가정하는 교차상관 함수를 사용할 때는 주의해야 한다. 특정 상황에서, 입력의 속성에 따라 비선형 동역학을 가진 시스템의 입력과 출력 간의 교차상관은 특정 비선형 효과에 대해 완전히 무시할 수 있다.isbn=978-1-118-53556-1 이 문제는 일부 2차 모멘트가 0과 같을 수 있으며, 이는 두 신호가 비선형 동역학에 의해 강력하게 관련되어 있음에도 불구하고 두 신호 사이에 "상관"(통계적 의존성 의미에서)이 거의 없다고 잘못 제안할 수 있기 때문에 발생한다.
# 더 읽어보기
*s2cid=62710397