Κατανομή Μπερνούλλι

Η κατανομή Μπερνούλλι είναι μια διακριτή συνάρτηση κατανομής τυχαίας μεταβλητής. Περιγράφει ένα τυχαίο πείραμα με δύο πιθανά αποτελέσματα (επιτυχία - αποτυχία) και πιθανότητα επιτυχίας p {\displaystyle p} . Θεωρούμε την τυχαία μεταβλητή X {\displaystyle X} που παίρνει τιμές 0 {\displaystyle 0} ή 1 {\displaystyle 1} , δηλαδή X ∈ { 0 , 1 } {\displaystyle X\in \{0,1\}} . Για X = 1 {\displaystyle X=1} έχουμε επιτυχία και για X = 0 {\displaystyle X=0} αποτυχία. Λέμε ότι η X {\displaystyle X} ακολουθεί την κατανομή Μπερνούλλι B e r ( p ) {\displaystyle {\mathsf {Ber}}(p)} για p ∈ [ 0 , 1 ] {\displaystyle p\in [0,1]} αν: P ⁡ ( X = 1 ) = p {\displaystyle \operatorname {P} (X=1)=p} και P ⁡ ( X = 0 ) = q = 1 − p {\displaystyle \operatorname {P} (X=0)=q=1-p} .Το κλασσικό παράδειγμα τυχαίας μεταβλητής που ακολουθεί την κατανομή Μπερνούλλι με p = 1 / 2 {\displaystyle p=1/2} είναι το στρίψιμο ενός νομίσματος, όπου X = 1 {\displaystyle X=1} αντιστοιχεί σε κορώνα και X = 0 {\displaystyle X=0} σε γράμματα. Η κατανομή Μπερνούλλι είναι ειδική περίπτωση της διωνυμικής κατανομής με n = 1 {\displaystyle n=1} .

 Από τον ορισμό της αναμενόμενης τιμής, έχουμε ότι E ⁡ [ X ] = p ⋅ 1 + ( 1 − p ) ⋅ 0 = p . {\displaystyle \operatorname {E} [X]=p\cdot 1+(1-p)\cdot 0=p.} Από τον ορισμό της διακύμανσης, έχουμε ότι V ⁡ [ X ] = E ⁡ [ ( X − E ⁡ [ X ] ) 2 ] = p ⋅ ( 1 − p ) 2 + ( 1 − p ) ⋅ p 2 = p ⋅ ( 1 − p ) ⋅ ( ( 1 − p ) + p ) = p ⋅ ( 1 − p ) . {\displaystyle {\begin{aligned}\operatorname {V} [X]=\operatorname {E} [(X-\operatorname {E} [X])^{2}]&=p\cdot (1-p)^{2}+(1-p)\cdot p^{2}\\&=p\cdot (1-p)\cdot ((1-p)+p)\\&=p\cdot (1-p).\end{aligned}}} Η λοξότητα μίας τυχαίας μεταβλητής ορίζεται ως: γ 1 = E ⁡ [ ( X − E ⁡ [ X ] σ ) 3 ] . {\displaystyle \gamma _{1}=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sigma }}\right)^{3}\right].} Από τον ορισμό της αναμενόμενης τιμής έχουμε ότι γ 1 = p ⋅ ( 1 − p σ ) 3 + ( 1 − p ) ⋅ ( 0 − p σ ) 3 = p ⋅ ( 1 − p p ⋅ ( 1 − p ) ) 3 − ( 1 − p ) ⋅ ( 0 − p p ⋅ ( 1 − p ) ) 3 = ( 1 − p ) 3 / 2 p 1 / 2 − p 3 / 2 ( 1 − p ) 1 / 2 = 1 − 2 p p ⋅ ( 1 − p ) , {\displaystyle {\begin{aligned}\gamma _{1}&=p\cdot \left({\frac {1-p}{\sigma }}\right)^{3}+(1-p)\cdot \left({\frac {0-p}{\sigma }}\right)^{3}\\&=p\cdot \left({\frac {1-p}{\sqrt {p\cdot (1-p)}}}\right)^{3}-(1-p)\cdot \left({\frac {0-p}{\sqrt {p\cdot (1-p)}}}\right)^{3}\\&={\frac {(1-p)^{3/2}}{p^{1/2}}}-{\frac {p^{3/2}}{(1-p)^{1/2}}}\\&={\frac {1-2p}{\sqrt {p\cdot (1-p)}}},\end{aligned}}} χρησιμοποιώντας ότι σ = p ⋅ ( 1 − p ) {\displaystyle \sigma ={\sqrt {p\cdot (1-p)}}} . Από τον ορισμό της κύρτωσης, έχουμε ότι: E ⁡ [ ( X − E ⁡ [ X ] σ ) 4 ] = p ⋅ ( 1 − p σ ) 4 + ( 1 − p ) ⋅ ( 0 − p σ ) 4 = p ⋅ ( 1 − p p ⋅ ( 1 − p ) ) 4 + ( 1 − p ) ⋅ ( 0 − p p ⋅ ( 1 − p ) ) 4 = ( 1 − p ) 2 p + p 2 1 − p = ( 1 − p ) 3 + p 3 p ⋅ ( 1 − p ) = 1 − 3 p ⋅ ( 1 − p ) p ⋅ ( 1 − p ) = 1 p ⋅ ( 1 − p ) − 3. {\displaystyle {\begin{aligned}\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sigma }}\right)^{4}\right]&=p\cdot \left({\frac {1-p}{\sigma }}\right)^{4}+(1-p)\cdot \left({\frac {0-p}{\sigma }}\right)^{4}\\&=p\cdot \left({\frac {1-p}{\sqrt {p\cdot (1-p)}}}\right)^{4}+(1-p)\cdot \left({\frac {0-p}{\sqrt {p\cdot (1-p)}}}\right)^{4}\\&={\frac {(1-p)^{2}}{p}}+{\frac {p^{2}}{1-p}}\\&={\frac {(1-p)^{3}+p^{3}}{p\cdot (1-p)}}\\&={\frac {1-3p\cdot (1-p)}{p\cdot (1-p)}}\\&={\frac {1}{p\cdot (1-p)}}-3.\end{aligned}}} Από τον ορισμό της αναμενόμενης τιμής, έχουμε ότι για κάθε k ∈ N {\displaystyle k\in \mathbb {N} } : E ⁡ [ X k ] = p ⋅ 1 k + ( 1 − p ) ⋅ 0 k = p . {\displaystyle \operatorname {E} [X^{k}]=p\cdot 1^{k}+(1-p)\cdot 0^{k}=p.} Από τον ορισμό της εντροπίας, έχουμε ότι: E ⁡ [ − log 2 ⁡ X ] = − p ⋅ log 2 ⁡ p − ( 1 − p ) log 2 ⁡ ( 1 − p ) . {\displaystyle \operatorname {E} [-\log _{2}X]=-p\cdot \log _{2}p-(1-p)\log _{2}(1-p).} Η εντροπία μεγιστοποιείται όταν τα δύο ενδεχόμενα είναι ισοπίθανα, δηλαδή όταν p = 1 / 2 {\displaystyle p=1/2} . Η πιθανογεννήτρια συνάρτηση δίνεται από τον τύπο: G X ( t ) = E ⁡ [ t X ] = p ⋅ t 1 + ( 1 − p ) ⋅ t 0 = p ⋅ t + q . {\displaystyle G_{X}(t)=\operatorname {E} [t^{X}]=p\cdot t^{1}+(1-p)\cdot t^{0}=p\cdot t+q.} Η χαρακτηριστική συνάρτηση δίνεται από τον τύπο: E ⁡ [ e t X ] = p ⋅ e t + ( 1 − p ) ⋅ e 0 = p ⋅ e t + q . {\displaystyle \operatorname {E} [e^{tX}]=p\cdot e^{t}+(1-p)\cdot e^{0}=p\cdot e^{t}+q.} Δείκτρια τυχαία μεταβλητή Διωνυμική κατανομή