# Stochastische Unabhängigkeit
## Unabhängige Ereignisse

Wir wollen zwei Ereignisse $A,B$ unabhängig nennen, wenn die bedingte Wahrscheinlichkeit $P(B|A)$ nicht von $A$ abhängt: $P(B|A)=P(B)$. Wegen der lästigen Voraussetzung $P(A)>0$ und der fehlenden Symmetrie ziehen wir die folgende Definition vor.

### Definition

Ist $P$ Wahrscheinlichkeitsverteilung auf $(\Omega ,{\mathcal {S}})$ und $A,B\subset \Omega$, dann heißen $A$ und $B$ stochastisch unabhängig, falls gilt:
    $P(A\cap B)=P(A)\cdot P(B)$

#### Bemerkungen

* Ist $P(A)=0$ und $B$ beliebig, dann sind $A,B$ unabhängig (beachte, dass $P(A\cap B)\leq P(A)$ ).
* Obige Gleichung ist im Fall $P(A)>0$ äquivalent mit $P(B|A)=P(B)$.
* Aus $A,B$ unabhängig folgt $({\bar {A}},B),(A,{\bar {B}}),({\bar {A}},{\bar {B}})$ unabhängig.

### Definition

Erweiterung der vorangegangenen Definition auf $n$ Ereignisse.
Sei $P$ eine Wahrscheinlichkeitsverteiltung auf $(\Omega ,{\mathcal {S}})$ und seien $A_{1},...,A_{n}\in {\mathcal {S}}$. Dann heißen $A_{1},...,A_{n}$ (stochastisch) unabhängig, falls für jede nichtleere Teilmenge $J:=\lbrace j_{1},...,j_{k}\rbrace \cap \lbrace 1,...,n\rbrace$ gilt
    $P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k})=P({A_{j}}_{1})\cdot ...\cdot P({A_{j}}_{k})$.

#### Bemerkung

Ein Begriff, der in der Stochastik keine Rolle spielt, ist der der paarweisen Unabhängigkeit der $A_{1},...,A_{n}$:
    $P(A_{i}\cap A_{j})=P(A_{i})\cdot P(A_{j}),i\neq j$
Daraus folgt nicht notwendigerweise die Unabhängigkeit der $A_{1},...,A_{n}$.

#### Unabhängigkeitskriterium

Folgende Eigenschaft der $A_{1},...A_{n}$ erweist sich als äquivalent zur Definition: Für jede echte, nichtleere Teilmenge $\lbrace j_{1},...,j_{k}\rbrace \subset \lbrace 1,...,n\rbrace$ mit $P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k})>0$ und für jedes $i\in \lbrace 1,...,n\rbrace \setminus \lbrace j_{1},...,j_{k}\rbrace$ gilt $P(A_{i}|{A_{j}}_{1}\cap ...\cap {A_{j}}_{k})=P(A_{i})$.

### Stochastische Unabhängigkeit (Satz)

Unabhängigkeitskriterium ist äquivalent zur stochastischen Unabhängigkeit der $A_{1},...,A_{n}$.

#### Beweis - Teil 1

Aus der Definition folgt im Fall $P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k})>0$ sofort
    $P(A_{i}|{A_{j}}_{1}\cap ...\cap {A_{j}}_{k})$
    $={\frac {P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k}\cap A_{i})}{P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k})}}=P(A_{i})$.

#### Beweis - Teil 2

Gilt umgekehrt $P(A_{i}|{A_{j}}_{1}\cap ...\cap {A_{j}}_{k})=P(A_{i})$, so liefert unter der Voraussetzung
    $P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k-1})=P(A_{i})>0$
die Produktformel
    $P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k})=P({A_{j}}_{1})\cdot P({A_{j}}_{2}|{A_{j}}_{1})\cdot P({A_{j}}_{k}|{A_{j}}_{1}\cap ...\cap {A_{j}}_{k-1})$
    $=P({A_{j}}_{1})\cdot ...\cdot P({A_{j}}_{k}),$ d.h. die Definition.
Gilt $P({A_{j}}_{1}\cap ...\cap {A_{j}}_{k-1})=P(A_{i})>0$ nicht, so zeigt man, dass beide Seiten der Defintion $\varnothing$ sind.

#### Beispiel

Weißer und schwarzer Würfel. Gegeben $A',B'\subset \lbrace 1,...,6\rbrace$. Die Grundmenge $\Omega =\lbrace 1,...,6\rbrace ^{2}$ enthält die Teilmenge $A=A'\times \lbrace 1,...,6\rbrace$ und $B=B'\times \lbrace 1,...,6\rbrace$). Die Augenzahl des ersten Würfels liegt in $A'$ ($B'$). $P$ sei die Gleichverteilung auf $\Omega$. Dann sind $A,B$ unabhängige Ereignisse.

## Produktexperimente, unabhängige Zufallsgrößen

Erweiterung des Begriffs "Unabhängigkeit" für Ereignisse auf
* Zufallsexperimente (Wahrscheinlichkeitsräume)
* Zufallsgrößen

### Rückblick

Seien $(\Omega _{1},{\mathcal {S_{1}}},P_{1})$ und $(\Omega _{2},{\mathcal {S_{2}}},P_{2})$ Wahrscheinlichkeitsräume des "Würfels" und einer "Zahl beim Roulette", $\Omega _{i}=\lbrace 1,...,6\rbrace$, $P_{i}$ Gleichverteilung auf $\Omega _{i}$, $(i=1,2)$, $(\Omega ,P)$ Wahrscheinlichkeitsraum "zweier Würfel", $\Omega =\lbrace 1,...,6\rbrace \times \{0,1,...,36\}$, $P$ Gleichverteilung auf $\Omega$. Zeigen Sie, dass
    $P(A_{1}\times A_{2})=P_{1}(A_{1})\cdot P_{2}(A_{2})$ mit $P:{\mathcal {S}}\to [0,1]$ und ${\mathcal {S}}:=\wp (\Omega _{1}\times \Omega _{2})$
für alle $A_{1}\subset \Omega _{1}$, $A_{2}\subset \Omega _{2}$.
Dies gibt Anlass zur folgenden Definition.

### Produkt der Wahrscheinlichkeitsräume (Definition)

Gegeben sind (diskrete) Wahrscheinlichkeitsräume $(\Omega _{1},{\mathcal {S_{1}}},P_{1})$ ... $(\Omega _{n},{\mathcal {S_{n}}},P_{n})$ . Der Wahrscheinlichkeitsraum $(\Omega ,{\mathcal {S}},P)$ mit $\Omega =\Omega _{1}\times ...\times \Omega _{n}$, $P$ definiert auf ${\mathcal {S}}$ mit
    $P(A_{1}\times ...\times A_{n})=P_{1}(A_{1})\cdot ...\cdot P_{n}(A_{n})$
für alle $A_{1}\in {\mathcal {S}}_{1},...,A_{n}\in {\mathcal {S}}_{n}$ heißt Produkt der Wahrscheinlichkeitsräume $(\Omega _{i},{\mathcal {S_{i}}},P_{i})$ , $i=1,...,n$. Dabei ist ${\mathcal {S}}$ die kleinste Sigmaalgebra, die alle Mengen $A_{1}\times ...\times A_{n}$ mit $A_{1}\in {\mathcal {S}}_{1},$ ... $A_{n}\in {\mathcal {S}}_{n}$ enthält.

### Satz

Sind $(\Omega _{1},{\mathcal {S}}_{1},P_{1}),...,(\Omega _{n},{\mathcal {S}}_{n},P_{n})$ Wahrscheinlichkeitsräume, dann existiert genau eine Wahrscheinlichkeitsverteilung $P$ auf $\Omega =\Omega _{1}\times ...\times \Omega _{n}$, welche mit der Definition von ${\mathcal {S}}$ die obige Definition erfüllt.

#### Beweis (1) Eindeutigkeit:

Jede diskrete Wahrscheinlichkeitsverteilung $P$ auf $(\Omega ,{\mathcal {S}})$, welche die Definition erfüllt, besitzt ein und dieselbe Wahrscheinlichkeitsfunktion $q(w),w=(w_{1},...,w_{n})\in \Omega$, nämlich
    $q(w)=P(\lbrace w\rbrace )=P(\lbrace w_{1}\rbrace \times ...\times \lbrace w_{n}\rbrace )=P_{1}(\lbrace w_{1}\rbrace )\cdot ...\cdot P(\lbrace w_{n}\rbrace )$.

#### Beweis (2.1) Existenz:

Man definiere die Abbildung $q:\Omega \to [0,1]$ gemäß der Eindeutigkeit, d.h. $q(w)=P(\lbrace w\rbrace )=P_{1}(\lbrace w_{1}\rbrace )\cdot ...\cdot P(\lbrace w_{n}\rbrace )$. $q$ ist normiert (!), also eine Wahrscheinlichkeitsfunktion auf $\Omega$, die eine Wahrscheinlichkeitsverteilung $P$ auf $\Omega$ definiert. $P$ erfüllt die Definition, denn

#### Beweis (2.2) Existenz:

    $P(A_{1}\times ...\times A_{n})=\sum _{w_{1}\in A_{1},...,w_{n}\in A_{n}}q((w_{1},...,w_{n}))$
    $=\sum _{w_{1}\in A_{1}}P_{1}(\lbrace w_{1}\rbrace )\cdot ...\cdot \sum _{w_{n}\in A_{n}}P(\lbrace w_{n}\rbrace )$
    $=P_{1}(A_{1})\cdot ...\cdot P_{n}(A_{n}).$

### Produktverteilung (Definition)

Die Wahrscheinlichkeitsverteilung $P$ auf $\Omega _{1}\times ...\times \Omega _{n}=\Omega$, welche die Definition erfüllt, heißt Produktverteiltung, genauer Produkt $P=P_{1}\times ...\times P_{n}=\otimes _{i=1}^{n}P_{i}$, der $P_{1},...,P_{n}$.

#### Bemerkungen (1)

1. Die einzelnen Faktoren $P_{1},...,P_{n}$ der Produktverteiltung $P=\otimes _{i=1}^{n}P_{i}$ (auch Randverteilungen genannt) lassen sich (wie folgt, aus $P$) zurückgewinnen:
Ist nämlich $A_{i}\in \Omega$, ($i=\lbrace 1,...,n\rbrace$), so setzt man $A=\Omega _{1}\times ...\times \Omega _{i-1}\times A_{i}\times \Omega _{i+1}\times ...\times \Omega _{n}$ und hat
    $P(A)=1\cdot ...\cdot 1\cdot P(A_{i})\cdot ...\cdot 1\cdot 1=P_{i}(A_{i})$

#### Bemerkungen (2)

2. Spezialfall:
$\Omega _{1},...,\Omega _{n}$ endlich $P=\otimes _{i=1}^{n}P_{i}$ ist genau dann die Gleichverteilung auf $\Omega =\Omega _{1}\times ...\times \Omega _{n}$, wenn jedes $P_{i},(i=1,...,n)$ Gleichverteilung auf $\Omega _{i}$ ist.
In der Tat:
    $P(\lbrace w\rbrace )={\frac {1}{|\Omega _{1}|\cdot ...\cdot |\Omega _{n}|}}$ für alle $w=(w_{1},...,w_{n})\in \Omega$
(Definition Produkt WKT-Räume) $\Uparrow$ $\Downarrow$ (obige Bemerkung 1)
    $P_{i}(\lbrace w_{i}\rbrace )={\frac {1}{|\Omega |}}$ für alle $i=1,...,n,w_{i}\in \Omega$

#### Bemerkungen (3)

3. Ist $\Omega _{1}=...=\Omega _{n},P_{1}=...=P_{n}$, so bildet $\Omega _{1}^{n},\otimes _{i=1}{n}P_{i}$ ein Modell für die n-fache unabhängige Wiederholung eines Zufallsexperimentes $\Omega _{1},P_{1}$. (sogenannte "Produktexperimente")
4. Es gibt viele Möglichkeiten, eine Wahrscheinlichkeitsverteilung $P$ auf $\Omega _{1}\times ...\times \Omega _{n}$ anders zu definieren, als durch $\otimes _{i=1}^{n}P_{i}$, so dass immer noch die obige Bemerkung 1 erfüllt ist.

#### Beispiel (1)

$\Omega _{1}=...=\Omega _{n},P_{1}=...=P_{n}$; definiere Wahrscheinlichkeitsverteilung $P$ auf $\Omega _{1}^{n}$ durch die Wahrscheinlichkeitsfunktion
    $P((w_{1},...,w_{n}))=\left\{{\begin{array}{ll}P_{1}(\lbrace w_{1}\rbrace ),&w_{1}=...=w_{n}\\0,&sonst\end{array}}\right..$
$P$ erfüllt nicht die Bemerkung 1, somit ist $P$ keine Produktwahrscheinlichkeit. In der Tat, für $w_{1}$ mit $0<P_{1}(\lbrace w_{1}\rbrace )<1$ gilt für $n$ Ergebnisse $w_{1}$
    $P(\lbrace w_{1}\rbrace \times ...\times \lbrace w_{1}\rbrace )$
    $=P(\lbrace (w_{1},...,w_{1})\rbrace )=P_{1}(\lbrace w_{1}\rbrace )\neq [P_{1}(\lbrace w_{1}\rbrace )]^{n}.$

#### Beispiel (2)

Der Wahrscheinlichkeitsraum $(\Omega _{1}^{n},P)$, $P$ wie oben beschrieben, steht für das Zufallsexperimen "$n$ identische Wiederholungen", das extreme Gegenteil von "$n$ unabhängige Wiederholungen".

### Definition

Auf dem Wahrscheinlichkeitsraum $(\Omega ,{\mathcal {S}},P)$ seien die Zufallsgrößen $X_{1},...,X_{n}$definiert, $X_{i}:\Omega \to \Omega ',i=1,...,n$. $X_{1},...,X_{n}$ heißen (stochastisch) unabhängig, falls
    $P(X_{1}^{-1}(B_{1})\cap ...\cap X_{n}^{-1}(B_{n}))=P(X_{1}^{-1}(B_{1}))\cdot ...\cdot P(X_{n}^{-1}(B_{n}))$
für alle $B_{i}\subset \Omega _{i},i=1,...,n$.

#### Bemerkungen

1. Für unabhängige $X_{1},...,X_{n}$ sind die Ereignisse $X_{1}^{-1}(B_{1}),...,X_{n}^{-1}(B_{n})$ unabhängig. In der Tat, ist $J=\lbrace j_{1},...,j_{k}\rbrace \subset \lbrace 1,...,n\rbrace$ nicht leer, dann lautet die Definition mit $B_{j}=\Omega '_{j}$ für $j\notin J$ wegen $X_{j}^{-1}(\Omega '_{j})=\Omega$:
    $P({X_{j}}_{1}^{-1}({B_{j}}_{1})\cap ...\cap {X_{j}}_{k}^{-1}({B_{j}}_{k}))=P({X_{j}}_{1}^{-1}({B_{j}}_{1}))\cdot ...\cdot P({X_{j}}_{k}^{-1}({B_{j}}_{k}))$
2. Die Definition lässt sich auch auf folgende Weisen schreiben:
* $P((X_{1},...,X_{n})\in B_{1}\times ...\times B_{n})=P(X_{1}\in B_{1})\cdot ...\cdot P(X_{n}\in B_{n})$
* $P_{(X_{1},...X_{n})}(B_{1}\times ...\times B_{n})={P_{X}}_{1}(B_{1})\cdot ...\cdot {P_{X}}_{n}(B_{n})$ jeweils für alle $B_{i}\subset \Omega '_{i},i=1,...,n$.
Die letzte Gleichung führt unter Berücksichtigung der Definition der Produktverteilung zu folgendem Satz.

### Satz

Die Zufallsgrößen $X_{1},...,X_{n},X_{i}:\Omega \to \Omega '_{i},i=1,...,n$, sind genau dann unabhängig, falls
    $P_{(X_{1},...,X_{n})}={P_{X}}_{1}\times ...\times {P_{X}}_{n}.$
(In Worten: Falls die gemeinsame Verteilung der $X_{1},...,X_{n}$ gleich dem Produkt der Randverteilungen ist.)

### Satz

Sind $X_{1},...,X_{n}$ unabhängige Zufallsvariablen und $\phi _{1},...,\phi _{n},\phi _{i}:\mathbb {R} \to \mathbb {R} ,i=1,...,n$, dann sind die Zufallsvariablen $\phi _{1}\circ X_{1},...,\phi _{n}\circ X_{n}$ ebenfalls unabhängig.

#### Beweis

Wegen $(\phi _{i}\circ X_{i})^{-1}(B_{i})=X_{i}^{-1}(\phi ^{-1}(B_{i})),B_{i}\subset \mathbb {R}$ gilt
    $P((\phi _{1}\circ X_{1})^{-1}(B_{1})\cap ...\cap (\phi _{n}\circ X_{n})^{-1}(B_{n}))$
    $=P(X_{1}^{-1}(\phi _{1}^{-1}(B_{1}))\cap ...\cap X_{n}^{-1}(\phi _{n}^{-1}(B_{n})))$
    $=P(X_{1}^{-1}(\phi _{1}^{-1}(B_{1})))\cdot ...\cdot P(X_{n}^{-1}(\phi _{n}^{-1}(B_{n})))$
    $=P((\phi _{1}\circ X_{1})^{-1})\cdot ...\cdot P((\phi _{n}\circ X_{n})^{-1}(B_{n})).$
Sind also die beiden Zufallsvariablen $X,Y$ unabhängig, dann auch die Zufallsvariablen $|X|,Y^{2}$ und auch die Zufallsvariablen $e^{X},sin(Y)$, nicht aber die Zufallsvaraiblen $X+Y,X-Y$.