Suy luận Bayes
Bằng chứng và sự thay đổi mức độ tin tưởng

Suy luận Bayes sử dụng các khía cạnh của phương pháp khoa học, trong đó có việc thu thập các bằng chứng nhất quán hoặc không nhất quán với một giả thuyết nào đó. Khi các bằng chứng tích lũy, mức độ tin tưởng vào một giả thuyết thay đổi. Khi có đủ bằng chứng, mức độ tin tưởng này thường trở nên rất cao hoặc rất thấp. Do đó, theo lý thuyết, đây có thể được coi là một cơ sở lôgic thích hợp cho việc phân biệt các giả thuyết mâu thuẫn nhau - các giả thuyết với mức độ tin tưởng cao được chấp nhận là đúng; các giả thuyết với độ tin tưởng rất thấp nên bị coi là sai và loại bỏ. Trong thực tiễn, tuy khung toán học tổng quát của suy luận Bayes là đúng đắn, nó đòi hòi việc gán các xác suất tiền nghiệm cho các giả thuyết, trong khi các xác suất này có thể là đối tượng của sự sai lệch chủ quan
Suy luận Bayes sử dụng một ước lượng bằng số về mức độ tin tưởng vào một giả thuyết trước khi quan sát được bằng chứng, và tính toán một ước lượng bằng số về mức độ tin tưởng vào giả thuyết đó sau khi đã quan sát được bằng chứng. Trong quá trình quy nạp, suy luận Bayes thường dựa vào các mức độ tin tưởng, hay là các xác suất chủ quan, và không nhất thiết khẳng định về việc cung cấp một phương pháp quy nạp khách quan. Tuy nhiên, một số nhà thống kê theo trường phái Bayes tin rằng các xác suất có thể có một giá trị khách quan, và do đó suy luận Bayes có thể cung cấp một phương pháp quy nạp khách quan. Xem phương pháp khoa học.
Định lý Bayes điều chỉnh các xác suất khi được cho bằng chứng mới theo cách sau đây:
trong đó chúng ta sẽ sủ dụng phương thức như sau
H_{0} đại diện cho một giả thuyết, gọi là một giả thuyết không (null hypothesis), giả thuyết này được suy luận trước khi có được bằng chứng mới  E.
P(H_{0}) được gọi là xác suất tiền nghiệm của  H_{0}.
P(E|H_{0}) được gọi là xác suất có điều kiện của việc quan sát thấy bằng chứng  E nếu biết rằng giả thuyết  H_{0} là đúng. Đại lượng này còn được gọi là hàm khả dĩ khi nó được biểu diễn dưới dạng một hàm của  H_{0} khi cho trước  E.
P(E) được gọi là xác suất biên của  E: xác suất của việc chứng kiến bằng chứng mới  E dưới tất cả các giả thuyết loại trừ nhau đôi một. Đại lượng này có thể được tính bằng tổng của tích tất cả các xác suất của các giả thuyết loại trừ nhau đôi một và các xác suất có điều kiện tương ứng:  \sum P(E|H_{i})P(H_{i}).
P(H_{0}|E) được gọi là xác suất hậu nghiệm của  H_{0} nếu biết  E.
Hệ số  P(E|H_{0})/P(E) đại diện cho ảnh hưởng của bằng chứng đối với mức độ tin tưởng vào giả thuyết. Nếu rất có khả năng quan sát được bằng chứng khi giả thuyết đang xét là đúng, thì hệ số này sẽ có giá trị lớn. Khi nhân xác suất tiền nghiệm của giả thuyết với hệ số này, ta được một xác suất hậu nghiệm lớn của giả thuyết khi có bằng chứng. Nhờ đó, trong suy luận Bayes, định lý Bayes đo được mức độ mà bằng chứng mới sẽ làm thay đổi sự tin tưởng vào một giả thuyết.
Các nhà thống kê Bayes lập luận rằng ngay cả khi người ta có các xác suất chủ quan tiền nghiệm rất khác nhau, bằng chứng mới từ các quan sát lặp đi lặp lại sẽ có xu hướng đưa các xác suất hậu nghiệm của họ lại gần nhau hơn. Trong khi điều này đúng đối với những người duy lý hoàn hảo với các khuynh hướng tương đồng trong việc suy xét mức độ tin tưởng, các khác biệt đủ lớn trong các khuynh hướng này có thể (và thường) gây cản trở lớn lao đối với quá trình hội tụ này.
Việc nhân xác suất tiên nghiệm  P(H_{0}) với hệ số  P(E|H_{0})/P(E) sẽ không bao giờ cho ra một xác suất lớn hơn 1. Đó là vì  P(E) không nhỏ hơn  P(E\cap H_{0}), mà đại lượng này thì bằng  P(E|H_{0})\cdot P(H_{0}) (xem xác suất hợp (joint probability)).
P(E|H_{0}), xác suất của  E khi biết  H_{0}, có thể được biểu diễn bởi một hàm của tham số thứ hai với tham số thứ nhất giữ một giá trị cho trước. Một hàm như vậy được gọi là hàm khả dĩ; đây là một hàm của  H_{0} khi cho trước  E. Một tỷ lệ giữa hai hàm khả dĩ được gọi là tỉ số khả dĩ (likelihood ratio),  \Lambda . Ví dụ,
Xác suất biên  P(E) còn có thể được biểu diễn bằng tổng của tích tất cả các xác suất đôi một loại trừ nhau với các xác suất có điều kiện tương ứng:  P(E|H_{0})P(H_{0})+P(E|{\mbox{not }}H_{0})P({\mbox{not }}H_{0}).
Do đó, ta có thể viết lại định lý Bayes như sau
Với 2 bằng chứng độc lập  E_{1} và  E_{2}, ta có thể áp dụng suy luận Bayes lặp đi lặp lại. Ta có thể dùng bằng chứng thứ nhất để tính một xác suất hậu nghiệm ban đầu, rồi dùng xác suất hậu nghiệm đó làm một xác suất tiền nghiệm để tính một xác suất hậu nghiệm thứ hai theo bằng chứng thứ hai.
Tính độc lập của bằng chứng hàm ý rằng
Định lý Bayes được sử dụng lặp đi lặp lại hàm ý rằng
Sử dụng các tỉ số khả dĩ, ta thấy rằng
Quá trình lặp này của suy luận Bayes có thể được mở rộng khi có thêm các bằng chứng độc lập khác.
Suy luận Bayes được dùng để tính các xác suất cho việc đưa ra quyết định trong tình huống không chắc chắn. Bên cạnh các xác suất, ta nên tính một hàm mất mát (loss function) nhằm mục đích phản ánh các hậu quả của việc phạm sai lầm. Các xác suất đại diện cho khả năng hoặc niềm tin về việc phạm sai lầm. Một hàm mất mát đại diện cho các hậu quả của việc phạm sai lầm.