정보 이론 및 측정 이론

이 글은 정보 이론( 정보의 전송, 처리 및 저장을 연구하는 수학 분야)이 측정 이론 (통합 및 확률 과 관련된 수학 분야)의 연관성을 보여주는 문서이다.
# 정보 이론의 측정
정보 이론의 많은 개념은 연속 사례와 이산 사례에 대해 별도의 정의와 공식을 가진다. 예를 들어 엔트로피 \Eta(X) 일반적으로 이산 확률 변수에 대해 정의되는 반면, 연속 확률 변수에 대해서는 미분 엔트로피 관련 개념이 작성되어 h(X) 가 사용된다(Cover and Thomas, 2006, 8장 참조). 이 두 개념은 모두 수학적 기대값 이지만 기대값은 연속적인 경우에는 적분으로 이산적인 경우에는 합으로 정의된다. 이러한 별도의 정의는 측정 이론 측면에서 더 밀접하게 관련될 수 있다. 이산확률변수의 경우 확률 질량 함수는 계수 측도와 관련하여 밀도 함수로 간주될 수 있다. 적분과 합을 모두 척도 공간의 적분으로 생각하면 통일된 처리가 가능하다. 연속 확률 변수의 미분 엔트로피에 대한 공식 : X 범위 포함 \mathbb{R} 확률 밀도 함수 f(x) : : h(X) = -\int_\mathbb{R} f(x) \log f(x) \,dx. 이는 일반적으로 다음과 같은 Riemann-Stiltjes 적분으로 해석될 수 있다. : h(X) = -\int_\mathbb{R} f(x) \log f(x) \,d\mu(x), 이는 \mu 르베그 측정값이다. 그렇다면, X 이산적이며 범위가 있음으로 정의되고 \Omega 유한 집합, f 에 대한 확률 질량 함수인 것을 알수 있다. 그러면 \Omega, 그리고 \nu 에 대한 계산 조치로서 우리는 \Omega를 쓸 수 있다. : \Eta(X) = -\sum_{x\in \Omega} f(x) \log f(x) = -\int_\Omega f(x) \log f(x) \,d\nu(x). 적분 표현과 일반적인 개념은 연속적인 경우에 동일하다. 여기서 유일한 차이점은 사용된 측정값이다. 두 경우 모두 확률 밀도 함수 f 적분을 취하는 측정값에 대한 확률 측정 값의 라돈-니코딤 파생값이다. P 에 의해 유도된 확률 측정값은 다음과 같다. X, 그러면 적분은 다음과 관련하여 직접 취해질 수도 있다. P : : h(X) = -\int_{\Omega} \log \frac{\mathrm d P}{\mathrm d\mu} \,dP, 기본 측정값 μ 대신에 다른 확률 측정값 Q 을 사용하면, Kullback-Leibler 발산으로 이어진다. 그렇게 되면 P 그리고 Q의 동일한 공간에 대한 확률 측정값이 된다. 그렇다면 P에 대해 절대적으로 연속적이며 Q, P \ll Q, 라돈-니코딤 유도체 \frac{\mathrm dP}{\mathrm dQ} 가 존재하며 Kullback-Leibler 발산은 완전한 일반성으로 표현될 수 있다. : D_\operatorname{KL}(P \| Q) = \int_{\operatorname{supp}P} \frac{\mathrm dP}{\mathrm dQ} \log \frac{\mathrm dP}{\mathrm dQ} \,d Q = \int_{\operatorname{supp}P} \log \frac{\mathrm dP}{\mathrm dQ} \,d P, 여기서 적분은 다음 P.의 지원을 초과한다. 음수 부호삭제 : Kullback–Leibler 발산은 Gibbs 부등식으로 인해 항상 음수가 아니다.
# "측정"으로서의 엔트로피
벤 다이어그램입니다 . 두 원에 포함된 면적은 결합 엔트로피 *H* ( *X*, *Y* )이다. 왼쪽 원(빨간색과 청록색)은 개별 엔트로피 *H* ( *X* )이고, 빨간색은 조건부 엔트로피 *H* ( *X* | *Y* )이다. 오른쪽 원(파란색과 청록색)은 *H* ( *Y* )이고 파란색은 *H* ( *Y* | *X* )이다. 청록색은 상호 정보 *I* ( *X* ; *Y* )이다.]] 세 변수 *x*, *y* 및 *z* 에 대한 정보 이론적 측정의 엔트로피를 나타낸다. *H* ( *x* )는 왼쪽 아래 원, *H* ( *y* )는 오른쪽 아래 원, *H* ( *z* )는 위쪽 원이다. 임의의 두 원의 교차점은 연관된 두 변수에 대한 상호 정보를 나타낸다(예: *I* ( *x* ; *z* )는 노란색과 회색입니다). 임의의 두 원의 합집합은 연관된 두 변수의 결합 엔트로피 이다(예: *H* ( *x*, *y* )는 녹색을 제외한 모든 것입니다). 세 변수 모두의 결합 엔트로피 *H* ( *x*, *y*, *z* )는 세 원 모두의 합집합이다. 조건부 엔트로피 인 *H* ( *x* | *y*, *z* ), *H* ( *y* | *x*, *z* ), *H* ( *z* | *x*, *y* ), 노란색, 자홍색 및 청록색의 7개 조각으로 분할된다. 는 각각 조건부 상호 정보 *I* ( *x* ; *z* | *y* ), *I* ( *y* ; *z* | *x* ) 및 *I* ( *x* ; *y* | *z* )이고, 회색은 다변량 상호 정보 *I* ( *x* ; *y* ; *z* )이다. 다변량 상호 정보는 부정적일 수 있는 유일한 정보이다.]] 무작위 변수의 정보 내용에 대한 Shannon의 기본 " 측정값 "과 집합에 대한 측정 값 사이에는 유사점이 있다. 즉, 결합 엔트로피, 조건부 엔트로피, 상호 정보는 각각 집합 합집합, 차이 집합, 교차 집합의 척도로 간주될 수 있다(Reza pp. 106~108). 추상 집합의 존재를 연관시키면 \tilde X 그리고 \tilde Y 임의의 이산 확률 변수 *X* 및 *Y* 에 대해 다음과 같이 각각 *X* 및 *Y* 가 전달하는 정보를 나타낸다. * \mu(\tilde X \cap \tilde Y) = 0 *X* 와 *Y가* 무조건 독립 일 때마다 * \tilde X = \tilde Y *X* 와 *Y* 중 하나가 다른 하나에 의해 완전히 결정되는 경우(즉, 전단사에 의해); 여기 \mu 는 이 세트에 대한 서명된 측정값이며 다음을 설정한다. : \begin{align} \Eta(X) & = \mu(\tilde X), \\\ \Eta(Y) & = \mu(\tilde Y), \\\ \Eta(X,Y) & = \mu(\tilde X \cup \tilde Y), \\\ \Eta(X\mid Y) & = \mu(\tilde X \setminus \tilde Y), \\\ \operatorname{I}(X;Y) & = \mu(\tilde X \cap \tilde Y); \end{align} 우리는 정보 내용에 대한 Shannon의 "측정"이 일반적으로 **정보 다이어그램** 에 설명된 것처럼 집합에 대한 공식 서명 측정의 모든 가정과 기본 속성을 만족한다는 것을 발견했다. 이를 통해 두 측정값의 합계를 작성할 수 있다. : \mu(A)+\mu(B)=\mu(A\cup B)+\mu(A\cap B) 그리고 베이즈 정리( Bayes' theorem)의 유사체( \mu(A)+\mu(B\setminus A)=\mu(B)+\mu(A\setminus B) )를 사용하면 두 측정값의 차이를 다음과 같이 작성할 수 있다. : \mu(A)-\mu(B)=\mu(A\setminus B)-\mu(B\setminus A) 이는 편리한 니모닉 장치가 될 수 있다. : \begin{align} \Eta(X,Y) & =\Eta(X)+\Eta(Y\mid X) & \mu(\tilde X \cup \tilde Y) & =\mu(\tilde X)+\mu(\tilde Y \setminus \tilde X) \\\ \operatorname{I}(X;Y) & =\Eta(X)-\Eta(X\mid Y) & \mu(\tilde X \cap \tilde Y) & =\mu(\tilde X)-\mu(\tilde X \setminus \tilde Y) \end{align} 여기서 실제 확률의 측정값(로그의 기대값)을 "엔트로피"라고 하며 일반적으로 문자 *H* 로 표시하는 반면, 다른 측정값은 종종 "정보" 또는 "상관"이라고 하며 일반적으로 문자 *I* 로 표시한다. 표기의 단순화를 위해 때때로 모든 측정값에 문자 *I가* 사용되기도 한다.
# 다변량 상호 정보
세 개 이상의 임의의 확률 변수와 관련된 집합에 의해 생성된 σ-대수를 처리하려면 Shannon의 기본 정보 측정 정의에 대한 특정 확장이 필요하다. (레자 페이지 참조 바람, 또한 비공식적이지만 완전한 토론을 위해서는 106–108을 참조하길 바람) 즉 \Eta(X,Y,Z,\cdots) 결합 분포의 엔트로피와 다변량 상호 정보로 명확한 방식으로 정의해야 한다. 그렇다면 \operatorname{I}(X;Y;Z;\cdots)는 다음을 설정할 수 있도록 적절한 방식으로 정의된다. : \begin{align} \Eta(X,Y,Z,\cdots) & = \mu(\tilde X \cup \tilde Y \cup \tilde Z \cup \cdots), \\\ \operatorname{I}(X;Y;Z;\cdots) & = \mu(\tilde X \cap \tilde Y \cap \tilde Z \cap \cdots); \end{align} 전체 σ-대수에 대한 (부호화된) 측정값을 정의하기 위해. 다변량 상호 정보에 대해 보편적으로 받아들여지는 단일 정의는 없지만 여기에서 집합 교차의 척도에 해당하는 정의는 Fano(1966: p. 57-59)에 의한 것이다. 여기서 정의는 재귀적이며, 기본 사례로 단일 확률 변수의 상호 정보는 엔트로피로 정의된다. \operatorname{I}(X)=\Eta(X) . 그럼 우리는 n\geq 2 설정할 수 있다. : \operatorname{I}(X_1; \cdots; X_n) = \operatorname{I}(X_1; \cdots; X_{n-1}) - \operatorname{I}(X_1; \cdots; X_{n-1}\mid X_n), 여기서 조건부 상호 정보는 다음과 같이 정의된다. : \operatorname{I}(X_1; \cdots; X_{n-1}\mid X_n) = \mathbb E_{X_n}\big(\operatorname{I}(X_1; \cdots; X_{n-1})\mid X_n\big). 재귀의 첫 번째 단계는 Shannon의 정의를 산출한다. \operatorname{I}(X_1;X_2)=\Eta(X_1)-\Eta(X_1\mid X_2). 3개 이상의 무작위 변수에 대한 다변량 상호 정보( 상호작용 정보 와 동일하지만 부호 변경에 대한)는 음수일 수도 있고 양수일 수도 있다.그 후 *X* 와 *Y를* 두 개의 독립적인 공정한 동전 던지기라고 하고 *Z* 를 배타적 논리합으로 둔다. \operatorname{I}(X;Y;Z) = - 1 이렇게 되면 세 개 이상의 확률 변수에 대해 다른 많은 변형이 가능하다. 예를 들어, \operatorname{I}(X,Y;Z) 는 *Z* 에 대한 *X* 와 *Y* 의 공동 분포에 대한 상호 정보이며 다음과 같이 해석될 수 있다. 실제로, \mu((\tilde X \cup \tilde Y) \cap \tilde Z). 이런 식으로 더 많은 복잡한 표현을 만들 수 있으며 그 의미는 유지된다. \operatorname{I}(X,Y;Z\mid W), 또는 \Eta(X,Z\mid W,Y).
# 참고자료
* 토마스 M. 커버와 조이 A. 토마스. *정보 이론의 요소*, 제2판, 2006. 뉴저지: Wiley and Sons. . * 파즐롤라 M. 레자. *정보 이론 소개* . 뉴욕: 맥그로-힐 1961. 뉴욕: 도버 1994.ISBN 0-486-68210-2 * * RW Yeung, "엔트로피, 정보 불평등 및 그룹." 추신 url=https://web.archive.org/web/20160303165717/http://user-www.ie.cuhk.edu.hk/~ITIP/online/tutorial.ps