베이즈 확률론
역사

토머스 베이즈에 의해 시작된 베이즈 확률론은 오랜 세월 동안 잊혀졌다 다시 발견되기를 반복하였다. 그 사이 베이즈는 잊혀졌으며 이론의 이름마저 정립되지 않아 "역확률 이론" 등의 여러 이름으로 불렸다. 1950년대에 이르러 베이즈 정리가 정립된 이후에야 베이즈 확률론이라는 이름도 정착되었다.:37
토머스 베이즈는 자신의 발견을 〈우연의 원리로 가장 어려운 문제 가운데 하나를 해결하는 불완전한 해법〉이라는 논문으로 정리하여 두었으나 생전에 발표하지는 않았다. 베이즈와 평소 친분이 있던 리처드 프라이스는 베이즈 사후에 유족들의 요청으로 베이즈가 남긴 저작물을 살피다가 이 논문을 발견하였고 이것이 데이비드 흄의 논리실증주의에 대한 반박으로 쓰일 수 있음을 간파하였다. 베이스의 논문을 살펴 본 프라이스는 보다 엄밀한 논리를 사용하고 베이즈의 여러 오류를 바로 잡은 뒤 1763년 왕립학회에 베이즈의 이름으로 〈우연의 원리로 문제를 해결하는 방법에 대한 소론〉(An Essay towards solving a Problem in the Doctrine of Chances)을 발표하였다.:33-35 이 논문은 한 가지 사례에서 베르누이 시행을 통한 베타 분포를 분석하여 확률을 구하는 방법을 서술하고 있다. 그러나 베이즈의 이 논문은 그다지 큰 반향을 이끌어 내지 못하였고 베이즈의 발견은 잊혀졌다.
1749년 태어난 피에르 시몽 라플라스는 계몽주의 시대의 핵심 인물 가운데 한 명이다. 그는 뉴턴 역학과 천체 관측 값 사이의 차이를 메울 방법으로 확률 해석에 주목하였다. 뉴턴 역학에 따른 행성 위치 예측의 정확도는 그간 관찰되어 온 관측 기록에 의존하였다. 라플라스 당시 유럽에서 사용된 관측 기록은 기원전 1100년 무렵 중국 상나라의 기록부터 기원전 600년 무렵 칼데아인의 기록, 기원전 200년 무렵 고대 그리스의 기록, 기원전 100년 무렵의 고대 로마의 기록까지 다양하였는데 각 기록의 정확도가 서로 달랐기 때문에 이를 모두 동일한 수준에서 받아드릴 수는 없었다. 또한 각 기록을 바탕으로 연속적인 데이터를 작성하면 목성의 공전 주기는 점점 더 빨라지고 토성의 공전 주기는 점점 더 느려지고 있는 것처럼 보였다. 라플라스는 이러한 문제를 해결하기 위해 현재의 행성 위치에 따른 과거 행성 위치를 조건부 확률인 역확률로 계산하고자 하였다. 과거의 기록이 이 역확률 계산에 보다 부합하면 신뢰할만한 기록으로 평가할 수 있다.:47-53 라플라스는 행성들의 과거 기록 데이터를 이용하여 다음과 같은 역확률 함수  \phi (x)를 작성하여 확률분포도를 계산하였다.
라플라스는 이를 이용하여 동일한 시간대의 여러 관측 데이터의 확률 분포를 구하고 중앙값을 계산하였다. 이로서 특정 시기의 행성 위치 데이터는 확률적 신뢰도에 따라 구분될 수 있다. 라플라스 이후 베이즈 확률론은 흔히 "역확률"로 불리게 되었는데 현재 주어진 데이터를 통해 과거의 상태 또는 원인의 확률을 계산하기 때문이었다.
역확률은 조건부 확률로 계산되기 때문에 주어진 데이터를 통한 역확률의 계산에서 데이터의 확률 분포는 매우 중요한 참조 값이 된다. 예를 들어 발병율이 0.5 %인 질병의 경우 양성 판정이 나왔다 하더라도 실제 병에 걸린 확률은 약 32.3 %에 불과하다. 발병율의 확률 분포가 조건부 확률의 계산에 큰 영향을 미치기 때문이다. 가우스는 정규 분포의 개념을 확립하여 역확률 개념을 발전시켰다. 라플라스와 가우스가 발전시킨 중심 극한 정리는 주어진 데이터의 수가 충분히 크다면 해당 데이터의 확률 분포는 정규 분포를 따른다는 것을 보여 준다.
19세기 공리주의는 확률과 역확률을 달갑게 보지 않았다. 존 스튜어트 밀은 확률을 "과학으로 위장한 무지"라고 혹평하였다. 이후 베이즈 확률론을 공격한 빈도주의 확률론은 확률을 객관적으로 발생하는 사건의 빈도로 정의하고자 하였고 제임스 클러크 맥스웰은 빈도주의를 기반으로 통계역학을 정립하였다. 이후 베이즈 확률론은 오랫동안 비주류의 위치에 있었지만 인구와 산업 등의 각종 사회 현상을 다루는 분야에선 여전히 사용되었다.:90-91
19세기 말 드레퓌스 사건은 프랑스 지식인 사회에 큰 충격을 주었다. 반유대주의의 영향 속에 불충분한 증거만으로 드레퓌스에게 종신형이 선고되자 수 많은 지식인들이 그의 무죄를 주장하였고 그 속에는 수학자 앙리 푸앵카레도 있었다. 20세기 초 재심 운동이 한창이던 1906년 푸앵카레는 다음과 같은 일기를 남겼다.
몹시 화가 난다. 알프레드 드레퓌스는 첩자가 아니다. …… 나는 법원의 판결이 틀렸음을 수학적으로 증명하는 편지를 썼다.
푸엥카레는 베이즈 확률론을 이용하여 법정에서 증거로 선택된 편지를 쓴 사람이 드레퓌스일 확률이 지극히 희박하다는 것을 증명하였다. 한편 실제 첩자였던 에스테라지는 이미 발각되었지만 군부는 자신들의 실수를 덮기 위해 그를 무죄로 방면한 상태였다. 드레퓌스는 재심에서 5년 형을 선고 받았으나 곧 사면 복권되었다.
20세기 초 베이즈 확률론은 탄도학과 같은 실용적인 분야에서 여전히 사용되고 있었지만 대부분의 과학 분야에서 비주류에 머무르고 있었다. 1920년대 베이즈 확률론은 여러 분야에서 독자적으로 적용되고 있었다. 존 메이너드 케인스는 논리학을 확률론적으로 확장시키면서 선험적 확률을 도입하였다. 이는 베이즈 확률론의 주관주의적 해석에 기반한 것이었다. 1930년대 이탈리아의 브루노 데 피네티는 교환 가능성이라는 개념을 통해 사전 확률 분포를 수학적으로 설명하였다. 그러나 데 피네티 정리는 그리 큰 영향력을 발휘하지 못하여 레너드 새비지가 다시 도입할 때까지 사장되어 있었다.
헤럴드 제프리스는 1939년 《확률 이론》을 발간하여 베이즈 확률론을 다시 주류 수학계에 등장시켰다. 제프리스는 베이즈 확률론을 기하학의 피타고라스 정리에 비유하였다.
기하학에 피타고라스 정리가 있다면 확률론에는 베이즈 정리가 있다.
제프리스는 객관적인 사전 확률 결정을 위해 피셔 정보를 도입하였는데 이로서 베이즈 확률론은 보다 오차율이 적은 사전 확률의 규모를 정할 수 있게 되었다. 자료에 대한 객관적 접근 때문에 제프리스의 방식을 객관주의 베이즈 확률론이라고 한다. 제2차 세계 대전 중 나치 독일의 에니그마 암호 체계를 해독한 앨런 튜닝은 영어의 a/an 에 해당하는 독일어 ein 이 암호문에서 90 %의 분포를 보인다는 것을 암호 해독에 이용하였다. 알파벳 3개로 이루어진 암호문이라면 일단 ein으로 가정하고 에니그마의 세팅을 추측하는 시도를 하였는데 이렇게 선험적으로 가설을 추정하고 확률 분포에 따라 시행해 보는 방법은 베이즈 확률론과 같은 것이지만, 튜링이 베이즈 확률론을 알고 있었는 지는 알 수 없지만, 튜링의 방법을 이어받아 암호를 해독한 정보기관들은 20세기 중반 무렵 베이즈 확률론에 따른 암호 해독 체계를 이용하였다. 그러나, 이들의 작업은 국가 비밀이었기 때문에 외부로 알려지지 않았다.:139-191
이후 에이브러햄 왈드와 레너드 세비지에 의해 발전하게 된 베이즈 확률론은 1950년대에 이르러서야 이전에 쓰이던 "역확률" 등의 이름 대신 자신의 이름으로 "베이즈 확률론"을 얻게 되었다. 1960년대에는 18세기의 그것과 구분하기 위해 "신베이즈 확률론"이라는 명칭이 쓰였다.
객관주의적 해석에서 통계 분석은 오직 예측과 데이터 분석에 의존하며 주관적 결정이 끼어들 여지가 없다. 이에 대해 주관주의적 해석을 지지하는 통계학자들은 일반적 사례를 모두 분석할 수 있는 객관적 데이터는 확보할 수 없다고 반박한다.
1950년대 사회 보험의 설계와 같은 부분에서 사용되었으나:208-209 사회 전반에선 여전히 널리 쓰이지 않던 베이즈 확률론은 1980년대에 이르러 마르코프 연쇄 몬테카를로 방법이 개발 된 이후 획기적으로 적용 분야가 늘어나게 되었다. 여전히 빈도주의 확률 해석이 확률론 교육의 기반으로 자리잡고 있었지만 베이즈 확률론에 따른 응용 분야는 점차 확대되었다. 1989년 도입된 기브스 표집은 베이즈 확률론에 따른 확률 분포를 보다 쉽게 적용할 수 있도록 하였고 이후 수 많은 다른 표집들이 개발되는 계기가 되었다.
21세기에 들어 인공 지능의 기계 학습이 주요한 이슈로 떠오르면서 베이즈 확률론이 적용되고 있다.