베이즈 정리

확률론과 통계학에서 베이즈 정리(영어: Bayes’ theorem)는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다. 베이즈 확률론 해석에 따르면 베이즈 정리는 사전확률로부터 사후확률을 구할 수 있다. 베이즈 정리는 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 중요하게 이용된다. 특히, 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할 때 유용하게 사용된다. 전통적인 확률이 연역적 추론에 기반을 두고 있다면 베이즈 정리는 확률임에도 귀납적, 경험적인 추론을 사용한다. 확률공간 ( P , Pr ) {\displaystyle (P,\Pr )} 속에서 A , B ⊂ P {\displaystyle A,B\subset P} 가 가측 집합이라고 하고, Pr ( B ) > 0 {\displaystyle \Pr(B)>0} 이라고 하자. 그렇다면, 베이즈 정리에 따라 다음이 성립한다. Pr ( A | B ) = Pr ( B | A ) Pr ( A ) Pr ( B ) ∝ L ( A | B ) Pr ( A ) {\displaystyle \Pr(A|B)={\frac {\Pr(B|A)\Pr(A)}{\Pr(B)}}\propto {\mathcal {L}}(A|B)\Pr(A)} 각각의 항은 다음과 같은 의미를 갖는다. Pr ( A ) {\displaystyle \Pr(A)} 는 A의 사전 확률로, 아직 사건 B에 관한 어떠한 정보도 알지 못하는 것을 의미한다. Pr ( A | B ) {\displaystyle \Pr(A|B)} 는 B의 값이 주어진 경우에 대한 A의 사후 확률이다. Pr ( B | A ) {\displaystyle \Pr(B|A)} 는 A가 주어졌을 때 B의 조건부 확률이다. L ( A | B ) = Pr ( B | A ) {\displaystyle {\mathcal {L}}(A|B)=\Pr(B|A)} 는 B {\displaystyle B} 가 주어졌을 때 A {\displaystyle A} 의 가능도이다. Pr ( B ) {\displaystyle \Pr(B)} 는 B의 사전 확률이며, 정규화 상수의 역할을 한다. 이 값은 Pr ( B ) = ∫ A Pr ( B | A ) {\displaystyle \Pr(B)=\int _{A}\Pr(B|A)} 를 이용하여 구할 수 있다. 이때 A {\displaystyle A} 는 불확실성을 계산해야 하는 대상이며, B {\displaystyle B} 는 관측하여 값을 알아낼 수 있는 대상으로 생각한다면, A {\displaystyle A} 의 확률은 B {\displaystyle B} 가 관측된 후 P ( A ) {\displaystyle P(A)} 에서 P ( A | B ) {\displaystyle P(A|B)} 로 변화하며, 베이즈 정리는 이 때의 변화를 계산하는 방법을 제공한다. 조건부 확률 P ( A | B ) = P ( B ∩ A ) P ( B ) {\displaystyle P(A|B)={\frac {P(B\cap A)}{P(B)}}} 곱셈 공식 P(A∩B) = P(A|B)P(B) = P(B∩A) = P(B|A)P(A) A와 B가 독립시행일 경우 P(A∩B) = P(A)*P(B) 전체 확률의 법칙 P(B) = P(B∩A) = P(B∩A1) + P(B∩A2) = P(B|A1)P(A1) + P(B|A2)P(A2) 베이즈 정리 P ( A 1 | B ) = P ( B ∩ A 1 ) P ( B ) {\displaystyle P(A_{1}|B)={\frac {P(B\cap A_{1})}{P(B)}}} = P ( B | A 1 ) P ( A 1 ) P ( B ) {\displaystyle {\frac {P(B|A_{1})P(A_{1})}{P(B)}}} = P ( B | A 1 ) P ( A 1 ) P ( B | A 1 ) P ( A 1 ) + P ( B | A 2 ) P ( A 2 ) {\displaystyle {\frac {P(B|A_{1})P(A_{1})}{P(B|A_{1})P(A_{1})+P(B|A_{2})P(A_{2})}}} 토머스 베이즈의 원고에 최초로 등장하였고, 이는 리처드 프라이스가 베이즈의 사후 1763년에 〈확률론의 한 문제에 대한 에세이〉(영어: An Essay towards solving a Problem in the Doctrine of Chances)라는 제목으로 출판하였다. 이후 피에르시몽 라플라스는 같은 정리를 1774년에 재발견하였고 1812년에 수식화하였다. 베이즈 추론 베이즈 네트워크 토머스 베이즈 경험적 베이즈 방법 몬티 홀 문제 오컴의 면도날 집행자의 오류 까마귀의 역설 재귀적 베이즈 추정 베이즈 통계학 《수리통계학 입문》 1판. 1995년 3월 10일. 12쪽.  《통계수학》 1판. 세종출판사. 2003년 10월 10일. 25-26쪽.  Bayes, Thomas; 리처드 프라이스 (1763). “An Essay towards solving a Problem in the Doctrine of Chances. By the late Rev. Mr. Bayes, F. R. S. communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.” (PDF). 《Philosophical Transactions of the Royal Society of London》 (영어) 53: 370–418. doi:10.1098/rstl.1763.0053. 2011년 4월 10일에 원본 문서 (PDF)에서 보존된 문서. 2014년 4월 23일에 확인함.  Laplace, Pierre-Simon (1774). “Mémoire sur la probabilité des causes par les événements”. 《Mémoires de l'Académie royale des Sciences de Paris》 (프랑스어) 4: 621–656.  Laplace, Pierre-Simon (1785). “Mémoire sur les approximations des formules qui sont fonctions de très grands nombres”. 《Mémoires de l'Académie royale des Sciences de Paris》 (프랑스어): 423-467.  Berger, James (1985). 《Statistical decision theory and Bayesian analysis》. Springer Series in Statistics (영어) Seco판. Springer-Verlag. ISBN 0-387-96098-8.  Bessière, Pierre; Mazer, E., Ahuacatzin, J-M, Mekhnacha, K. (2013). 《Bayesian programming》 (영어). CRC Press. ISBN 9781439880326.  CS1 관리 - 여러 이름 (링크) Bernardo, José M.; Adrian F. M. Smith (1994). 《Bayesian theory》 (영어). Wiley. ISBN 0-471-49464-X.  Howson, C.; P. Urbach (2005). 《Scientific reasoning: the Bayesian approach》 (영어) 3판. Open Court Publishing Company. ISBN 978-0-8126-9578-6.  CS1 관리 - 추가 문구 (링크) Winkler, Robert L (2003). 《Introduction to Bayesian inference and decision》 (영어) 2판. Probabilistic. ISBN 0-9647938-4-9.  CS1 관리 - 추가 문구 (링크) Shiryaev, A.N. (2001). “Bayes formula”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4.  Weisstein, Eric Wolfgang. “Bayes' theorem”. 《Wolfram MathWorld》 (영어). Wolfram Research.