# Distribuzione e densità condizionata
## Distribuzione condizionata

$X$
$(\Omega ,F,P)$
$A\in F$
$P(A)\neq 0$
$X$
$A$
    $F_{X|A}:\mathbb {R} \to [0,1]$
definita come
    $F_{X|A}=P(X\leq x|A)$
dove
    $P(X\leq x|A)=P(\{s\in \Omega \ |\ X(s)\leq x\ |\ A\})={\frac {P(\{s\in \Omega \ |\ X(s)\leq x\}\cap A)}{P(A)}}$
Nota: $F_{X|A}$ può essere vista come la funzione di distribuzione definita su $(\Omega ,F,P)$ con $P_{A}(B)=P(B|A)$.
$X$
$(\Omega ,F,P)$
$A\in F$
$P(A)\neq 0$
    $f_{X|A}:\mathbb {R} \to \mathbb {R} ^{+}$
tale che
    $F_{X|A}(x|A)=\int _{-\infty }^{x}f_{X|A}(\alpha |A)d\alpha \ \ \forall x\in \mathbb {R}$
$F_{X|A}$
$f_{X|A}$
$X$
$A$
$X$
$(\Omega ,F,P)$
    $\Omega =\bigcup _{i=1}^{n}A_{i}$
con gli $A_{i}\in F$ disgiunti a coppie. Allora, la probabilità dell'evento
    $\{s\in \Omega \ |\ X(s)\leq x\}\in \Omega$
è data da
    $P(X\leq x)=P(X\leq x|A_{1})+P(X\leq x|A_{2})+\cdots +P(X\leq x|A_{n})$
ossia
    $F_{X}(x)=F_{X|A_{1}}(x|A_{1})\cdot P(A_{1})+F_{X|A_{2}}(x|A_{2})\cdot P(A_{2})+\cdots +F_{X|A_{n}}(x|A_{n})\cdot P(A_{n})$
Se poi la variabile casuale $X$ ammette densità, allora si ha
    $f_{X}(x)=f_{X|A_{1}}(x|A_{1})\cdot P(A_{1})+f_{X|A_{2}}(x|A_{2})\cdot P(A_{2})+\cdots +f_{X|A_{n}}(x|A_{n})\cdot P(A_{n})$
$X$
$f_{X}$
$(a,b)$
$A_{i}$
$(a,b)$
    $Y=g(X)$
si ha
    ${\begin{aligned}f_{Y}(y)&=f_{Y|A_{1}}(y|A_{1})\cdot P(A_{1})+f_{Y|A_{2}}(y|A_{2})\cdot P(A_{2})+\cdots +f_{Y|A_{n}}(y|A_{n})\cdot P(A_{n})\\&=\sum _{i=1}^{n}{\frac {f_{X|A_{i}}\left(g^{-1}(y|A_{i})\cdot P(A_{i})\right)}{\left|{\frac {dg}{dx}}\left(g^{-1}(y)\right)\right|}}\end{aligned}}$
$X$
$f_{X}~U(a,b)$
$E$
$f_{E}$
    $E=X-Z=X-h(X)=g(X)$
dove
    $g(x)=\left\{{\begin{matrix}x-z_{1}&x\in (x_{1},x_{2}]\\x-z_{2}&x\in (x_{2},x_{3}]\\x-z_{3}sex\in (x_{3},x_{4}]\\x-z_{4}&x\in (x_{4},x_{5}]\end{matrix}}\right.$
In generale, per determinare la $f_{X|A}$ si deve conoscere lo spazio di probabilità $(\Omega ,F,P)$ su cui è definita la variabile casuale $X$, dal momento che bisogna calcolare la probabilità
    $P(X\leq x|A)$
con $A\in F$. Se però $A$ è espresso in funzione di $X$, per esempio
    $A=\{s\in \Omega \ |\ X(s)\in B\}{\text{ con }}B\in \mathbb {B(R)}$
allora la $f_{X|A}$ può essere calcolata a partire da $F_{X}$.
$X$
$F_{X}$
    $A=\{s\in \Omega \ |\ a<X(s)<b\}$
Allora, si ha
    $F_{X|A}(x|A)=F_{X|A}(x|a<X\leq b)=P(X\leq x|a<X\leq b)={\frac {P(X\leq x\cap a<X\leq b)}{P(a<X\leq b)}}$
Si ha
    $F_{X|A}(x\ |\ a<X\leq b)=\left\{{\begin{matrix}0&x<a\\{\frac {F_{X}(x)-F_{X}(a)}{F_{X}(b)-F_{X}(a)}}&x\in [a,b)\\1&x\geq b\end{matrix}}\right.$
Se la $F_{X}$ ammette anche densità, allora
    $f_{X|a<X\leq b}(x|a<X\leq b)={\frac {dF_{X|A}}{dx}}(x|A)=\left\{{\begin{matrix}0&x\leq a,\ x>b\\{\frac {f_{X}(x)}{F_{X}(b)-F_{X}(a)}}&x\in (a,b]\end{matrix}}\right.$
$X$
$F_{X}$
$f_{X}$
$F_{X|x>a}$
$f_{X|x>a}$

### Valore atteso condizionato ad un evento

Siano $(\Omega ,F,P)$ con $A\in F$ e con $P(A)\neq 0$. Data la variabile casuale $X$ definita su $(\Omega ,F,P)$ che ammette densità condizionata $f_{X|A}$, allora
    $E[X|A]=\int _{-\infty }^{+\infty }xf_{X|A}(x|A)dx$
Se esiste una funzione $g(\cdot )$ per cui $Y=g(X)$, con $g:\mathbb {R} \to \mathbb {R}$ funzione di Borel, allora si ha
    $E[Y|A]=\int _{-\infty }^{+\infty }g(x)f_{X|A}(x|A)dx$
$X$
$(\Omega ,F,P)$
$A\in F$
$x\in \mathbb {R} \ |P(X\leq x)\neq 0$
    $P(A|X\leq x)={\frac {P(X\leq x|A)P(A)}{P(X\leq x)}}$
$X$
$F_{X}$
$(\Omega ,F,P)$
$A\in F$
    ${\begin{aligned}P(A|x_{1}<X\leq x_{2})&={\frac {P(x_{1}<X\leq x_{2}|A)P(A)}{P(x_{1}<X\leq x_{2})}}\\&={\frac {[F_{X|A}(x_{2}|A)-F_{X|A}(x_{1}|A)]\cdot P(A)}{F_{x}(x_{1})-F_{X}(x_{2})}}\end{aligned}}$
Vediamo ora come è possibile calcolare la probabilità di un evento, condizionata ad una variabile casuale. Se si ha $X$ come variabile casuale discreta, si ha
    $P(A|X=x)={\frac {P(X=x|A)\cdot P(A)}{P(X=x)}}$
con $P(X=x)\neq 0$. Se $X$ è una variabile casuale continua, al contrario, si ha che $P(X=x)=0\ \forall x\in \mathbb {R}$; osserviamo che vale
    $\int _{B}f_{X|A}(x|A)P(A)dx=P(x\in B,A)\ \forall B\in \mathbb {B(R)}$
La probabilità di un evento $A$ condizionata a $X=x$ è definita come quella funzione
    $g_{A}:\mathbb {R} \to \mathbb {R} ^{+}$
tale per cui
    $\int _{B}g_{A}(x)f_{X}(x)=P(x\in B,A)\ \forall B\in \mathbb {B(R)}$
La grandezza $P(A|X=x)$ può essere calcolata da
    $P(A|X=x)=\left\{{\begin{matrix}{\frac {f_{X|A}P(A)}{f_{X}(x)}}&f_{X}(x)\neq 0\\0&{\text{altrimenti}}\end{matrix}}\right.$
$X$
$(\Omega ,F,P)$
$A\in F$
$f_{X}(x)$
    $P(A)=\int _{-\infty }^{+\infty }P(A|X=x)f_{X}(x)dx$
    $\int _{B}P(A|X=x)f_{X}(x)dx=P(x\in B,A)$
Se l'evento $B$ è tutto $\Omega$, allora si ha
    $P(\Omega ,A)=P(\Omega \cap A)=P(A)$
$(\Omega ,F,P)$
$a\in F$
$\sigma$
$P(A)\neq 0$
$X$
$f_{X}$
    $f_{X|A}(x|A)={\frac {P(A|X=x)f_{X}(x)}{\int _{-\infty }^{+\infty }P(A|X=x)f_{X}(x)dx}}={\frac {P(A|X=x)f_{X}(x)}{P(A)}}$

### Densità condizionata di variabile casuale, data un'altra variabile casuale

Sappiamo calcolare la probabilità
    $P(Y\in B|X=x)$
come un caso particolare di $P(A|X=x)$. In altri termini, si ha
    $P(Y\in B|X=x)=\left\{{\begin{matrix}{\frac {f_{X|Y\in B}(x|Y\in B)P(Y\in B)}{f_{X}(x)}}&\forall x|f_{X}(x)\neq 0\\0&{\text{altrimenti}}\end{matrix}}\right.$
$X$
$F_{X}$
    $F_{Y,X=x}(y|X=x)=P(Y\leq y|X=x)$
Questa è la funzione di distribuzione (se $f_{X}(x)\neq 0$) perché la funzione
    $m_{X}:F\to [0,1]$
definita da
    $m_{X}(A)=P(A|X=x)$
è una misura di probabilità se esiste la funzione di densità di probabilità $f_{Y|X}(y|x)$ tale per cui
    $F_{Y|X=x}(y|X=x)=\int _{-\infty }^{+\infty }P_{Y|X}(B|x)dB$
$f_{Y|X}$
    $f_{Y|X}=\left\{{\begin{matrix}{\frac {f_{XY}(x,y)}{f_{X}(x)}}&f_{X}(x)\neq 0\\0&{\text{altrimenti}}\end{matrix}}\right.$
Questo risultato assomiglia alla probabilità condizionata di un evento, che è
    $P(A|B)={\frac {P(B|A)P(A)}{P(B)}}={\frac {P(A,B)}{P(B)}}$
    $P(y\in C|X=x)=\int _{C}f_{Y|X}(y,x)dy\ \forall C\in \mathbb {B(R)}$
con $f_{Y|X}$ dato dalla proposizione precedente.
    $\int _{B}P(Y\in C|X=x)f_{X}(x)dx=P(Y\in C,X\in B)\ \forall B\in \mathbb {B(R)}$
Si ha
    ${\begin{aligned}\int _{B}&\left(\int _{C}f_{Y|X}(y|x)dy\right)f_{X}(x)dx\\&=\int _{B}\int _{C}f_{Y|X}f_{X}(x)dydx\\&=\int _{C}\int _{B}f_{X,Y}(x,y)dxdy=P(X\in B,Y\in C)\\&\forall B,C\in \mathbb {B(R)} \end{aligned}}$
Osservazioni:
* $f_{Y|X}(y|{\bar {x}})$ è la sezione di $f_{X,Y}(x,y)$ con il piano $x={\bar {x}}$;
* se $X$ e $Y$ sono variabili casuali indipendenti, allora si ha
       $f_{Y|X}(y|x)=f_{Y}(y)$
    Infatti, se le due variabili sono indipendenti, la conoscenza di $Y$ non è in alcun mondo influenzata dalla conoscenza di $X$.

### Valore atteso condizionato

$X$
$Y$
$f_{X,Y}(x,y)$
$Y$
$X=x$
    $E[Y|X=x]=\int _{-\infty }^{+\infty }yf_{Y|X}(y|x)dy$
Anche qui, vale il teorema del valore atteso che dice che, data una variabile casuale $Z=g(Y)$, si ha
    $E[Z|X=x]=E[g(Y)|X=x]=\int _{-\infty }^{+\infty }g(y)\cdot f_{Y|X}(y|x)dy$
* Se le variabili casuali $X$ e $Y$ sono indipendenti, allora $f_{Y|X}=f_{Y}$, da cui si ha
       $E[Y|X=x]=\int yf_{Y|X}(y|x)dy=\int yf_{Y}(y)dy=E[Y]$
* Se $Y=g(X)$, allora si ha dipendenza totale e vale
       $E[Y|X=x]=E[g(X)|X=x]=\int _{-\infty }^{+\infty }y\delta (y-g(x))dy=E[g(x)]$
    Questo è abbastanza intuitivo: se si ha dipendenza completa $Y=g(X)$, allora vale
       $f_{Y|X}(y|x)=\delta (y-g(x))$
    cioè, si ha una $\delta$ quando $y=g(x)$, non si ha alcuna incertezza sul risultato.
* $E[g(X,Y)|X=x]=E[g(x,Y)|X=x]$
    Se poi $g(x,Y)$ è separabile, cioè
       $g(x,Y)=g_{1}(x)\cdot g_{2}(Y)$
    allora si ha
    $E[g_{1}(x)\cdot g_{2}(Y)|X=x]=g_{1}(x)\cdot E[g_{2}(Y)|X=x]$
Consideriamo il solito spazio di probabilità $\{\Omega ,F,P\}$ con le variabili casuali $X,Y~f_{X,Y}$ e con un'altra variabile casuale $Z:\Omega \to \mathbb {R}$ tale che
    $Z(s)=E[Y|X=X(s)]\ \forall s\in \Omega$
La variabile casuale $Z$ ha un valore atteso condizionato; in generale, la variabile casuale $Z$ rappresenta il valore atteso condizionato
    $E\left[Y|X\right]$
    $E[Z]=E\left[E[Y|X]\right]=E[Y]$
    $E[Z]=\int _{-\infty }^{+\infty }E[Y|X=x]f_{X}(x)dx$
Applicando il teorema del valore atteso, si ha
    ${\begin{aligned}E[Z]&=\int _{-\infty }^{+\infty }\left(\int _{-\infty }^{+\infty }y\cdot f_{Y|X}(y|x)dy\right)\cdot f_{X}(x)dx\\&=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }y\cdot f_{Y|X}(y|x)dxdy\\&=\int _{-\infty }^{+\infty }y\cdot f_{Y}(y)dy=E[Y]\end{aligned}}$

## Stima con la massima probabilità a posteriori (MPP) e con la massima verosimiglianza (MV)

Dato lo spazio di probabilità $\{\Omega ,F,P\}$ con $A,{\bar {A}}\in F$ e $A\cap {\bar {A}}=\varnothing \ \ A\cup {\bar {A}}=\Omega$, si definisce la variabile casuale
    $X~f_{X}(x)=f_{X|A}(x|A)\cdot P(A)+f_{X|{\bar {A}}}(x|{\bar {A}})\cdot P({\bar {A}})$
Quello che vogliamo fare è, dato ${\bar {x}}$, capire a quale delle due popolazioni $f_{X|A}$ oppure $f_{X|{\bar {A}}}$ appartiene. Se si prende l'esempio delle molecole di gas, la funzione di densità di probabilità dell'energia è una combinazione lineare di altre funzioni di densità di probabilità; qui è la stessa cosa, si vuole calcolare la densità di uscita come mixture di altre densità.
I simboli di partenza possono essere $A$ oppure ${\bar {A}}$, il rumore è di tipo gaussiano $N(\mu ,\sigma )$ e la variabile casuale di interesse è la $X$ di uscita. Se si trasmette il segnale $A$, la funzione di densità di probabilità sarà la $f_{X|A}$; al contrario, se si trasmette ${\bar {A}}$, allora la densità sarà $f_{X|{\bar {A}}}$.
Si ha
* $A\Rightarrow f_{X|A}(x|A)=N(\mu +A,\sigma )$
* ${\bar {A}}\Rightarrow f_{X|{\bar {A}}}(x|{\bar {A}})=N(\mu +{\bar {A}},\sigma )$
$f_{X}$
$f_{X|A}$
$f_{X|{\bar {A}}}$
$P(A)$
$P({\bar {A}})$
$X$
$A$
${\bar {A}}$

#### Massima probabilità a posteriori

La massima probabilità a posteriori è definita come
    $P(A|X=x)=\left\{{\begin{matrix}>P({\bar {A}}|X=x)&A\\<P({\bar {A}}|X=x)&{\bar {A}}\end{matrix}}\right.$
Se vale $P(A|X=x)>P({\bar {A}}|X=x)$, allora decidiamo che è stato trasmesso $A$ e non ${\bar {A}}$.
Il criterio a massima probabilità a posteriori, quindi, è
    $f_{X|A}(x|A)\cdot P(A)\left({\begin{matrix}<\\>\end{matrix}}\right)f_{X|{\bar {A}}}(x|{\bar {A}})\cdot P({\bar {A}})$

#### Massima verosimiglianza

Nel caso in cui $P(A)=P({\bar {A}})$, il criterio di massima probabilità a posteriori diventa un criterio di massima verosimiglianza.
    $f_{X|A}(x|A)\cdot P(A)\left({\begin{matrix}<\\>\end{matrix}}\right)f_{X|{\bar {A}}}(x|{\bar {A}})\cdot P({\bar {A}})=f_{X|A}(x|A)\left({\begin{matrix}<\\>\end{matrix}}\right)f_{X|{\bar {A}}}(x|{\bar {A}})$
Il criterio a massima verosimiglianza è meno potente di quello a massima probabilità a posteriori, perché quest'ultimo sfrutta la conoscenza della probabilità dei simboli prima di essere trasmessi, mentre il secondo metodo si limita ad osservare il risultato finale e la funzione di densità di probabilità, considerando tutti i simboli equiprobabili. Quindi, il criterio a massima verosimiglianza è meno potente, perché sfrutta meno informazioni.
$A~U[0,1]$
$N(\mu =0,\sigma )$