Διωνυμική κατανομή

Η διωνυμική κατανομή είναι μια διακριτή συνάρτηση κατανομής τυχαίας μεταβλητής. Περιγράφει το πλήθος των επιτυχιών σε n {\displaystyle n} ανεξάρτητες επαναλήψεις ενός τυχαίου πειράματος με δυο πιθανά αποτελέσματα (επιτυχία - αποτυχία) και πιθανότητα επιτυχίας p {\displaystyle p} . Η πιθανότητα να έχουμε x {\displaystyle x} επιτυχίες σε n {\displaystyle n} ανεξάρτητα πειράματα με πιθανότητα επιτυχίας p {\displaystyle p} κάθε φορά είναι: P ⁡ ( X = x ) = ( n x ) p x ( 1 − p ) n − x {\displaystyle \operatorname {P} (X=x)={\binom {n}{x}}p^{x}(1-p)^{n-x}} ,όπου ( n x ) = n ! x ! ( n − x ) ! {\displaystyle {\tbinom {n}{x}}={\tfrac {n!}{x!(n-x)!}}} είναι ο διωνυμικός συντελεστής.

 Θεωρούμε μια κάλπη με K {\displaystyle K} λευκές μπάλες και N − K {\displaystyle N-K} μαύρες. Η πιθανότητα να τραβήξουμε μια λευκή μπάλα είναι p = K / N {\displaystyle p=K/N} . Τραβάμε μια μια μπάλες από την κάλπη επανατοποθετώντας τις κάθε φορά πίσω στην κάλπη (δειγματοληψία με επαναφορά) μέχρι να τραβήξουμε n μπάλες. Ζητάμε την πιθανότητα οι k {\displaystyle k} από αυτές να είναι λευκές. Σύμφωνα με τον κλασικό ορισμό της πιθανότητας αυτή ορίζεται ως το πηλίκο του πλήθους των ευνοϊκών αποτελεσμάτων ως προς το πλήθος των δυνατών αποτελεσμάτων. Για κάθε λήψη έχουμε N {\displaystyle N} δυνατά αποτελέσματα. Στο σύνολο των n λήψεων τα δυνατά αποτελέσματα ειναι N n {\displaystyle N^{n}} . Ευνοϊκά αποτελέσματα είναι αυτά κατα τα οποία έχουμε k {\displaystyle k} λευκές μπάλες. Για τη λήψη μιας λευκής μπάλας έχουμε K {\displaystyle K} πιθανά αποτελέσματα και για την λήψη μιας μαύρης N − K {\displaystyle N-K} . Τα δυνατά αποτελέσματα στις n λήψεις οι k {\displaystyle k} να είναι λευκές για μια συγκεκριμένη σειρά, π.χ. να τραβήξουμε πρώτα όλες τις λευκές μπάλες και μετά τις μαύρες, είναι K k ( N − K ) n − k {\displaystyle K^{k}(N-K)^{n-k}} . Όλες οι πιθανές διατάξεις k {\displaystyle k} λευκών και n − k {\displaystyle n-k} μαύρων μπαλών είναι ( n k ) {\displaystyle \scriptstyle {\binom {n}{k}}} . Συνολικά η ζητούμενη πιθανότητα, σύμφωνα με τον παραπάνω ορισμό, είναι: P ⁡ ( X = k ) = ( n k ) K k ( N − K ) n − k N n = ( n k ) ( K N ) k ( N − K N ) n − k = ( n k ) p k ( 1 − p ) n − k . {\displaystyle {\begin{aligned}\operatorname {P} (X=k)&={\binom {n}{k}}{\frac {K^{k}(N-K)^{n-k}}{N^{n}}}\\&={\binom {n}{k}}\left({\frac {K}{N}}\right)^{k}\left({\frac {N-K}{N}}\right)^{n-k}\\&={\binom {n}{k}}p^{k}(1-p)^{n-k}.\end{aligned}}} Αν πραγματοποιήσουμε μόνο μια λήψη, τότε η τυχαία μεταβλητή που δηλώνει η μπάλα να είναι λευκή ακολουθεί την κατανομή Bernoulli. Στην γενική περίπτωση, αν X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} είναι ανεξάρτητες τυχαίες μεταβλητές με κατανομή X i ∼ B e r ( p ) {\displaystyle X_{i}\sim {\mathsf {Ber}}(p)} τότε το άθροισμά τους ∑ i = 1 n X i {\textstyle \sum _{i=1}^{n}X_{i}} ακολουθεί την B i n ( n , p ) {\displaystyle {\mathsf {Bin}}(n,p)} . Αν η δειγματοληψία γίνει χωρίς επαναφορά, η τυχαία μεταβλητή που δηλώνει τον αριθμό των λευκών μπαλών ακολουθεί την υπεργεωμετρική κατανομή. Η μέση τιμή δίνεται από τον τύπο E ⁡ [ X ] = ∑ k = 0 n ( n k ) ⋅ p k ⋅ ( 1 − p ) n − k ⋅ k = ∑ k = 1 n n ! ( k − 1 ) ! ( n − k ) ! ⋅ p k ⋅ ( 1 − p ) n − k = n ⋅ p ⋅ ∑ k = 1 n ( n − 1 ) ! ( k − 1 ) ! ( n − k ) ! ⋅ p k − 1 ⋅ ( 1 − p ) ( n − 1 ) − ( k − 1 ) = n ⋅ p ⋅ ∑ k = 0 n − 1 ( n − 1 k ) ⋅ p k ⋅ ( 1 − p ) ( n − 1 ) − k = n ⋅ p ⋅ ( p + ( 1 − p ) ) n − 1 = n ⋅ p , {\displaystyle {\begin{aligned}\operatorname {E} [X]&=\sum _{k=0}^{n}{\binom {n}{k}}\cdot p^{k}\cdot (1-p)^{n-k}\cdot k\\&=\sum _{k=1}^{n}{\frac {n!}{(k-1)!(n-k)!}}\cdot p^{k}\cdot (1-p)^{n-k}\\&=n\cdot p\cdot \sum _{k=1}^{n}{\frac {(n-1)!}{(k-1)!(n-k)!}}\cdot p^{k-1}\cdot (1-p)^{(n-1)-(k-1)}\\&=n\cdot p\cdot \sum _{k=0}^{n-1}{\binom {n-1}{k}}\cdot p^{k}\cdot (1-p)^{(n-1)-k}\\&=n\cdot p\cdot (p+(1-p))^{n-1}\\&=n\cdot p,\end{aligned}}} χρησιμοποιώντας το διωνυμικό θεώρημα για n − 1 {\displaystyle n-1} όρους. Ξεκινάμε υπολογίζοντας την τιμή E ⁡ [ X ⋅ ( X − 1 ) ] = ∑ k = 0 n ( n k ) p k ⋅ ( 1 − p ) n − k ⋅ k ⋅ ( k − 1 ) = ∑ k = 2 n n ! ( k − 2 ) ! ( n − k ) ! p k ⋅ ( 1 − p ) n − k = n ⋅ ( n − 1 ) ⋅ p 2 ⋅ ∑ k = 2 n ( n − 2 ) ! ( k − 2 ) ! ( n − k ) ! p k − 2 ⋅ ( 1 − p ) ( n − 2 ) − ( k − 2 ) = n ⋅ ( n − 1 ) ⋅ p 2 ⋅ ∑ k = 0 n − 2 n ! k ! ( n − k ) ! p k ⋅ ( 1 − p ) n − k = n ⋅ ( n − 1 ) ⋅ p 2 ⋅ ( p + 1 − p ) n − 2 = n ⋅ ( n − 1 ) ⋅ p 2 , {\displaystyle {\begin{aligned}\operatorname {E} [X\cdot (X-1)]&=\sum _{k=0}^{n}{\binom {n}{k}}p^{k}\cdot (1-p)^{n-k}\cdot k\cdot (k-1)\\&=\sum _{k=2}^{n}{\frac {n!}{(k-2)!(n-k)!}}p^{k}\cdot (1-p)^{n-k}\\&=n\cdot (n-1)\cdot p^{2}\cdot \sum _{k=2}^{n}{\frac {(n-2)!}{(k-2)!(n-k)!}}p^{k-2}\cdot (1-p)^{(n-2)-(k-2)}\\&=n\cdot (n-1)\cdot p^{2}\cdot \sum _{k=0}^{n-2}{\frac {n!}{k!(n-k)!}}p^{k}\cdot (1-p)^{n-k}\\&=n\cdot (n-1)\cdot p^{2}\cdot (p+1-p)^{n-2}\\&=n\cdot (n-1)\cdot p^{2},\end{aligned}}} χρησιμοποιώντας το διωνυμικό θεώρημα για n − 2 {\displaystyle n-2} όρους. Από τον ορισμό της διακύμανσης και χρησιμοποιώντας ότι η μέση τιμή είναι n ⋅ p {\displaystyle n\cdot p} έχουμε ότι: V ⁡ [ X ] = E ⁡ [ X ⋅ ( X − 1 ) ] + E ⁡ [ X ] − ( E ⁡ [ X ] ) 2 = n ⋅ ( n − 1 ) ⋅ p 2 + n ⋅ p − n 2 ⋅ p 2 = n ⋅ p ⋅ ( 1 − p ) . {\displaystyle \operatorname {V} [X]=\operatorname {E} [X\cdot (X-1)]+\operatorname {E} [X]-(\operatorname {E} [X])^{2}=n\cdot (n-1)\cdot p^{2}+n\cdot p-n^{2}\cdot p^{2}=n\cdot p\cdot (1-p).} Η πιθανογεννήτρια συνάρτηση δίνεται από τον τύπο: G X ( t ) = E ⁡ [ t X ] = ∑ k = 0 n ( n k ) ⋅ p k ⋅ ( 1 − p ) n − k ⋅ t k = ∑ k = 0 n ( n k ) ⋅ ( p t ) k ⋅ ( 1 − p ) n − k = ( p t + 1 − p ) n , {\displaystyle {\begin{aligned}G_{X}(t)&=\operatorname {E} [t^{X}]=\sum _{k=0}^{n}{\binom {n}{k}}\cdot p^{k}\cdot (1-p)^{n-k}\cdot t^{k}\\&=\sum _{k=0}^{n}{\binom {n}{k}}\cdot (pt)^{k}\cdot (1-p)^{n-k}\\&=(pt+1-p)^{n},\end{aligned}}} χρησιμοποιώντας το διωνυμικό θεώρημα. Ο ίδιος τύπος προκύπτει και από την έκφραση του X {\displaystyle X} ως ανεξάρτητες μεταβλητές Μπερνούλλι. Η χαρακτηριστική συνάρτηση δίνεται από τον τύπο: E ⁡ [ e t X ] = ∑ k = 0 n ( n k ) ⋅ p k ⋅ ( 1 − p ) n − k ⋅ e t k = ∑ k = 0 n ( n k ) ⋅ ( p e t ) k ⋅ ( 1 − p ) n − k = ( p e t + 1 − p ) n , {\displaystyle {\begin{aligned}\operatorname {E} [e^{tX}]&=\sum _{k=0}^{n}{\binom {n}{k}}\cdot p^{k}\cdot (1-p)^{n-k}\cdot e^{tk}\\&=\sum _{k=0}^{n}{\binom {n}{k}}\cdot (pe^{t})^{k}\cdot (1-p)^{n-k}\\&=(pe^{t}+1-p)^{n},\end{aligned}}} χρησιμοποιώντας το διωνυμικό θεώρημα. Ο ίδιος τύπος προκύπτει και από την έκφραση του X {\displaystyle X} ως ανεξάρτητες μεταβλητές Μπερνούλλι. Για μεγάλο n η διωνυμική κατανομή συγκλίνει σύμφωνα με το θεώρημα de Moivre–Laplace στην κανονική κατανομή με μέση τιμή n p {\displaystyle np} και διακύμανση n p ( 1 − p ) {\displaystyle np(1-p)} N ( n p , n p ( 1 − p ) ) {\displaystyle {\mathcal {N}}(np,\,np(1-p))} . Για n → ∞ {\displaystyle n\rightarrow \infty } και p → 0 {\displaystyle p\rightarrow 0} έτσι ώστε n p {\displaystyle np} σταθερό η διωνυμική κατανομή συγκλίνει στην κατανομή Poisson με παράμετρο λ = n p {\displaystyle \lambda =np} . lim n → ∞ P ( X = k ) = lim n → ∞ n ! k ! ( n − k ) ! ( λ n ) k ( 1 − λ n ) n − k = lim n → ∞ ( λ k k ! ) ( n ( n − 1 ) ( n − 2 ) ⋯ ( n − k + 1 ) n k ) ( 1 − λ n ) n ( 1 − λ n ) − k = λ k k ! ⋅ lim n → ∞ ( n n ⋅ n − 1 n ⋅ n − 2 n ⋯ n − k + 1 n ) ⏟ → 1 ( 1 − λ n ) n ⏟ → e − λ ( 1 − λ n ) − k ⏟ → 1 = λ k e − λ k ! {\displaystyle {\begin{aligned}\lim _{n\to \infty }P(X=k)&=\lim _{n\to \infty }{\frac {n!}{k!\,(n-k)!}}\left({\frac {\lambda }{n}}\right)^{k}\left(1-{\frac {\lambda }{n}}\right)^{n-k}\\&=\lim _{n\to \infty }\left({\frac {\lambda ^{k}}{k!}}\right)\left({\frac {n(n-1)(n-2)\cdots (n-k+1)}{n^{k}}}\right)\left(1-{\frac {\lambda }{n}}\right)^{n}\left(1-{\frac {\lambda }{n}}\right)^{-k}\\&={\frac {\lambda ^{k}}{k!}}\cdot \lim _{n\to \infty }\underbrace {\left({\frac {n}{n}}\cdot {\frac {n-1}{n}}\cdot {\frac {n-2}{n}}\cdots {\frac {n-k+1}{n}}\right)} _{\to 1}\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{n}} _{\to e^{-\lambda }}\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{-k}} _{\to 1}\\&={\frac {\lambda ^{k}\mathrm {e} ^{-\lambda }}{k!}}\end{aligned}}} Κατανομή Μπερνούλλι Πολυωνυμική κατανομή Υπεργεωμετρική κατανομή