Sự hội tụ của các biến ngẫu nhiên

 
Trong lý thuyết xác suất, có nhiều khái niệm khác nhau về sự hội tụ của các biến ngẫu nhiên. Sự hội tụ (hiểu theo nghĩa được trình bày dưới đây) của các dãy biến ngẫu nhiên về một biến ngẫu nhiên giới hạn nào đó là một khái niệm quan trọng trong lý thuyết xác suất, và trong các ứng dụng của thống kê và của quá trình ngẫu nhiên. Ví dụ, nếu trung bình của "n" biến ngẫu nhiên "Y""i", "i" = 1..., "n" độc lập và phân phối đồng đều, được cho bởi:
Thì khi "n" tiến tới vô cùng, "X""n" sẽ hội tụ "theo nghĩa xác suất" (xem dưới đây) về một trung bình chung, μ của các biến ngẫu nhiên "Y""i". Kết quả này được biết như là luật số lớn (yếu). Có nhiều dạng hội tụ khác đóng vai trò quan trọng trong các định lý, trong đó có định lý giới hạn trung tâm.
Tiếp sau đây, chúng ta giả sử rằng ("X""n") là một dãy biến ngẫu nhiên, và "X" là một biến ngẫu nhiên, tất cả đều được định nghĩa trên cùng một không gian xác suất (Ω, "F", P).
Hội tụ theo phân phối (Convergence in distribution).
Giả sử "F"1, "F"2... là một dãy các hàm phân phối tích lũy ứng với các biến ngẫu nhiên "X"1, "X"2..., và "F" là hàm phân phối ứng với biến ngẫu nhiên "X". Ta nói rằng dãy "X""n" hội tụ về "X" theo phân phối, nếu
với mọi số thực "a" mà tại đó "F" liên tục. Vì "F"(a) = Pr("X" ≤ a), nên điều này có nghĩa là xác suất để giá trị của "X" nằm trong một giới hạn định sẵn gần như là bằng với xác suất để "X""n" cũng nằm trong giới hạn này, với "n" được cho đủ lớn. Sự hội tụ theo phân phối thường được ký hiệu bằng việc thêm ký tự formula_3 phía trên mũi tên chỉ sự hội tụ:
Hội tụ theo phân phối là dạng hội tụ yếu nhất, và thường được gọi là hội tụ yếu. Một cách tổng quát thì nó không suy ra các dạng hội tụ khác. Tuy nhiên, hội tụ theo phân phối "được" suy ra từ tất cả các dạng hội tụ khác được đề cập trong bài viết này, và do đó, nó là dạng hội tụ chung nhất và có ích nhất của các biến ngẫu nhiên. Đây cũng là khái niệm hội tụ được dùng trong định lý giới hạn trung tâm và trong luật số lớn (yếu).
Một kết quả đáng lưu ý, được sử dụng kết hợp với luật số lớn và định lý giới hạn trung tâm, đó là nếu một hàm  "g": R → R  là liên tục, và nếu  "X""n"  hội tụ theo phân phối về  "X", thì  "g"("X""n")  cũng hội tụ theo phân phối về  "g"("X"). (chứng minh bằng cách dùng định lý biểu diễn Skorokhod).
Hội tụ theo xác suất (Convergence in probability).
Dãy "X""n" hội tụ về "X" theo xác suất nếu
với mọi ε &gt; 0. Hội tụ theo xác suất thật ra là sự hội tụ của xác suất.
Hội tụ theo xác suất được ký hiệu bằng cách thêm chữ 'P' vào phía trên mũi tên chỉ sự hội tụ over:
Hội tụ theo xác suất cũng là khái niệm hội tụ đề cập trong luật số lớn (yếu).
Hội tụ theo xác suất suy ra sự hội tụ theo phân phối. Để chứng minh điều này, ta cần chứng minh được bổ đề sau:
Bổ đề.
Cho "X", "Y" là các biến ngẫu nhiên, "c" là một số thực và ε &gt; 0; khi đó
Chứng minh bổ đề.
vì
Chứng minh hội tụ theo xác suất suy ra hội tụ theo phân phối.
Với mọi ε &gt; 0, từ bổ đề trên, ta có:
Vì vậy ta có
Lấy giới hạn khi formula_15, ta được:
Vì formula_17 là hàm phân phối tích lũy formula_18, theo giả thuyết là liên tục, nghĩa là
do đó, lấy giới hạn khi formula_20, ta được
Hội tụ hầu như chắc chắn (Almost sure convergence).
Ta nói rằng dãy "X""n" hội tụ hầu như chắc chắn hay hầu khắp nơi hay với xác suất 1 hay mạnh về "X" nếu:formula_22
Có nghĩa là bạn được đảm bảo rằng các giá trị của "X""n" xấp xỉ giá trị của "X", theo nghĩa (xem hầu như chắc chắn) là xác suất để "X""n" không hội tụ về "X" là bằng 0. Bằng cách dùng không gian xác suất (Ω, "F", P) và khái niệm biến ngẫu nhiên như là một hàm số từ Ω đến R, điều này tương đương với cách viết
Hội tụ hầu như chắc chắn thì suy ra hội tụ theo xác suất, và do đó cũng suy ra hội tụ theo phân phối. Nó là khái niệm hội tụ được đề cập trong luật số lớn (mạnh).
Hội tụ theo trung bình bậc "r" (Convergence in "r"th mean).
Ta nói rằng dãy "X""n" hội tụ theo trung bình bậc "r" hay trong không gian định chuẩn Lr về "X", nếu "r" ≥ 1, E|"X""n"|"r" &lt; ∞ với mọi "n", và
trong đó E chỉ giá trị kỳ vọng. Hội tụ theo trung bình bậc "r" cho ta biết rằng kì vọng bậc "r" về sự khác nhau giữa "X""n" và "X" là hội tụ về 0.
Các trường hợp đặc biệt quan trọng:
Hội tụ theo trung bình bậc "r", với "r" &gt; 0, suy ra hội tụ theo xác suất (dùng bất đẳng thức Chebyshev). Còn nếu "r" &gt; "s" ≥ 1, thì hội tụ theo trung bình bậc "r" sẽ suy ra hội tụ theo trung bình bậc "s". Do đó hội tụ theo trung bình bình phương dẫn đến hội tụ theo trung bình.
Các chiều suy ngược lại (Converse implications).
Trong một vài trường hợp đặc biệt ta có các chiều suy ra ngược lại như sau: