Độc lập thống kê

 
Độc lập thống kê của các biến xác suất hay biến cố chỉ việc giữa các biến không có quan hệ thống kê gì với nhau. Trong lý thuyết xác suất, nói rằng hai biến cố là độc lập một cách trực quan có nghĩa là việc một biến cố trong đó xảy ra không làm tăng hay giảm khả năng biến cố kia xảy ra. Ví dụ:
Tương tự, khi ta nói rằng hai biến ngẫu nhiên là độc lập, ta có ý nói rằng việc biết gì đó về giá trị của một trong hai biến ngẫu nhiên đó không cho ta thông tin nào về giá trị của biến kia. Ví dụ, con số hiện trên mặt trên con súc sắc khi gieo nó lần đầu và lần sau là độc lập
Các biến cố độc lập.
Định nghĩa chuẩn:
trong đó, "A" ∩ "B" là giao của "A" và "B", nghĩa là, nó là biến cố rằng cả hai biến cố "A" và "B" đều xảy ra.
Tổng quát hơn, một tập hợp biến cố bất kỳ—có thể gồm nhiều hơn hai biến cố—là độc lập lẫn nhau khi và chỉ khi với mọi tập con hữu hạn "A"1..., "A""n" của tập hợp trên, ta có
Đó là "quy tắc nhân" của các biến cố độc lập.
Nếu hai biến cố "A" và "B" là độc lập, thì xác suất điều kiện của "A" nếu có "B" bằng xác suất "không điều kiện" (hay xác suất "cận biên") của "A", nghĩa là,
Có ít nhất hai lý do tại sao phát biểu trên không được dùng làm định nghĩa về tính độc lập: (1) hai biến cố "A" và "B" không có vai trò đối xứng trong phát biểu đó, và (2) vấn đề nảy sinh với phát biểu này khi có liên quan đến các biến cố với xác suất bằng 0.
Khi nhớ lại rằng xác suất điều kiện P("A" | "B") được cho bởi
ta thấy rằng phát biểu trên tương đương với
đó chính là định nghĩa chuẩn được cho ở trên.
Các biến ngẫu nhiên độc lập.
Phần trên định nghĩa tính độc lập của "biến cố". Trong phần này, ta xét tính độc lập của các biến ngẫu nhiên. Nếu "X" là một biến ngẫu nhiên có giá trị thực và "a" là một số, thì "X" ≤ "a" là một biến cố, do đó, có thể nói về việc nó có độc lập với một biến cố khác hay không.
Hai biến ngẫu nhiên "X" và "Y" là độc lập khi và chỉ khi với các số "a" và "b" bất kỳ, biến cố ["X" ≤ "a"] (biến cố rằng "X" nhỏ hơn hay bằng "a") và ["Y" ≤ "b"] là các biến cố độc lập, theo định nghĩa trên. Tương tự, một tập hợp các biến ngẫu nhiên tùy ý -- có thể gồm nhiều hơn hai—là độc lập nếu với tập hợp hữu hạn bất kỳ "X"1..., "X""n" và một tập hữu hạn bất kỳ gồm các số "a"1..., "a""n", các biến cố ["X"1 ≤ "a"1]..., ["X""n" ≤ "a""n"] là các biến cố độc lập, như đã được định nghĩa ở trên.
Những người thiên về đo đạc lý thuyết có thể muốn thay thế biến cố ["X" ∈ "A"] vào vị trí biến cố ["X" ≤ "a"] trong định nghĩa trên, trong đó "A" là tập hợp Borel bất kỳ. Định nghĩa đó hoàn toàn tương đương với định nghĩa trên khi giá trị của các biến ngẫu nhiên là số thực. Nó có lợi thế ở chỗ còn áp dụng được cho các biến ngẫu nhiên giá trị phức hoặc các biến ngẫu nhiên lấy giá trị trong không gian tô pô bất kỳ.
Nếu hai biến ngẫu nhiên bất kỳ trong một tập hợp là độc lập (nhưng tập hợp đó vẫn có thể không độc lập lẫn nhau), tập hợp được gọi là độc lập đôi một.
Nếu "X" và "Y" là độc lập, thì phép toán kỳ vọng "E" có tính chất thú vị
còn đối với phương sai, ta có
do đó hiệp phương sai cov("X","Y") bằng 0.
Ngoài ra, các biến ngẫu nhiên "X" và "Y" với các hàm phân bố "F""X"("x") và "F""Y"("y"), và các mật độ xác suất "f""X"("x") và "f""Y"("y"), là độc lập khi và chỉ khi biến ngẫu nhiên kết hợp ("X","Y") có một phân bố có điều kiện phụ thuộc ("joint distribution")
hoặc tương đương, một mật độ có điều kiện phụ thuộc ("joint density")
Các biểu thức tương tự đặc trưng cho tính độc lập một cách tổng quát hơn cho nhiều hơn hai biến ngẫu nhiên.
Các biến ngẫu nhiên độc lập có điều kiện.
Về mặt trực quan, hai biến ngẫu nhiên "X" và "Y" được gọi là độc lập có điều kiện với "Z" cho trước, nếu một khi "Z" được cho trước thì giá trị của "Y" không cung cấp thêm được thông tin gì về "X". Ví dụ, hai số đo "X" và "Y" về cùng một định lượng "Z" không độc lập với nhau, nhưng chúng độc lập có điều kiện nếu cho trước "Z" (trừ khi các sai sót trong hai số đo có quan hệ với nhau theo một cách nào đó.)
Định nghĩa chính thức của độc lập có điều kiện được dựa trên khái niệm về các phân bố có điều kiện. Nếu "X", "Y", và "Z" là các biến ngẫu nhiên rời rạc, thì ta định nghĩa "X" và "Y" là độc lập có điều kiện với "Z" được cho trước nếu
với mọi "x", "y" và "z" sao cho P("Z" = "z") &gt; 0. Mặt khác, nếu các biến ngẫu nhiên là liên tục và có một hàm mật độ xác suất kết hợp "p", thì "X" và "Y" là "độc lập có điều kiện với Z cho trước" nếu
với mọi số thực "x", "y" và "z" sao cho "p""Z"("z") &gt; 0.
Nếu "X" và "Y" là độc lập có điều kiện với "Z" cho trước, thì
với "x", "y" và "z" bất kỳ với P("Z" = "z") &gt; 0. Nghĩa là, phân bố có điều kiện cho "X" với "Y" và "Z" cho trước trùng với phân bố có điều kiện của "X" mà chỉ "Z" được cho trước. Một đẳng thức tương tự cũng đúng với các hàm mật độ xác suất có điều kiện trong trường hợp liên tục.
Tính độc lập có thể được xem là một trường hợp đặc biệt của độc lập có điều kiện, do xác suất có thể được coi là một dạng xác suất có điều kiện mà không cho trước biến cố nào.