# Transinformation

Transinformation oder gegenseitige Information (engl. mutual information) ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt. Die Transinformation wird auch als Synentropie bezeichnet. Im Gegensatz zur Synentropie einer Markov-Quelle erster Ordnung, welche die Redundanz einer Quelle zum Ausdruck bringt und somit minimal sein soll, stellt die Synentropie eines Kanals den mittleren Informationsgehalt dar, der vom Sender zum Empfänger gelangt und somit maximal sein soll.
Gelegentlich wird auch die Bezeichnung relative Entropie verwendet, da die Transinformation ein Spezialfall der Kullback-Leibler-Divergenz ist.
Die Transinformation steht in einem engen Zusammenhang zur Entropie und zur bedingten Entropie.

## Definition

Für zwei Zufallsvariablen $X$ und $Y$ sei $P^{(2)}$ die gemeinsame diskrete Wahrscheinlichkeitsverteilung mit den Wahrscheinlichkeiten $p(x,y)$ und den zugehörigen Randverteilungen $P$ und $Q$ mit den Wahrscheinlichkeiten $p(x)$ und $q(y)$ Dann ist die Transinformation als
    $I(X;Y)=\sum _{x}\sum _{y}p(x,y)\cdot \log _{2}\left({\frac {p(x,y)}{p(x)q(y)}}\right)$
definiert.
Die Transinformation $I(X;Y)$ kann als Erwartungswert bezüglich der gemeinsamen Verteilung von $X$ und $Y$ aufgefasst werden:
    $I(X;Y)=\mathbb {E} \left[\log _{2}\left({\frac {p(X,Y)}{p(X)q(Y)}}\right)\right].$
Dabei sind $p(X,Y)$, $p(X)$ und $q(Y)$ Zufallsvariablen und die Erwartungsbildung bezieht sich auf die gemeinsame Verteilung von $X$ und $Y$.

## Beziehung zu verschiedenen Entropie- und Informations-Maßzahlen

* Zu den Entropien
       $H(X)=-\sum _{x}p(x)\log _{2}(p(x))$
    der Zufallsvariablen $X$ (bzw. der Verteilung $P$),
       $H(Y)=-\sum _{y}q(y)\log _{2}(q(y))$
    der Zufallsvariablen $Y$ (bzw. der Verteilung $Q$) und
       $H(X,Y)=-\sum _{x}\sum _{y}p(x,y)\log _{2}\left(p(x,y)\right)$
    des Zufallsvektors $(X,Y)$ (bzw. der zweidimensionalen Verteilung $P^{(2)}$) besteht die Beziehung
       $I(X;Y)=H(X)+H(Y)-H(X,Y)\;,$
    die auch alternativ zur Definition der Transinformation verwendet werden kann.
* Die Transinformation ist die Kullback-Leibler-Divergenz $D(\cdot \|\cdot )$ der gemeinsamen Wahrscheinlichkeitsverteilung $P^{(2)}$ bezüglich der Produktverteilung $P\otimes Q$ der beiden Randverteilungen $P$ und $Q$, es gilt also
       $I(X;Y)=D(P^{(2)}\|P\otimes Q)\;.$
    Auch dieser Zusammenhang kann zur Definition der Transinformation verwendet werden.
* Mit der bedingten Entropie
       $H(X\vert Y)=-\sum _{x}\sum _{y}p(x,y)\log _{2}(p(x\vert y))=-\sum _{x}\sum _{y}p(x,y)\log _{2}\left({\frac {p(x,y)}{q(y)}}\right)$
    besteht die Beziehung
       $I(X;Y)=H(X)-H(X\vert Y)\;,$
    Mit der bedingten Entropie
       $H(Y\vert X)=-\sum _{x}\sum _{y}p(x,y)\log _{2}(p(y\vert x))=-\sum _{x}\sum _{y}p(x,y)\log _{2}\left({\frac {p(x,y)}{p(x)}}\right)$
    besteht die Beziehung
       $I(X;Y)=H(Y)-H(Y\vert X)\;,$
    Im Zusammenhang mit der Interpretation als Informationsübertragung von einer Informationsquelle (Sender) $X$ zu einer Informationssenke (Empfänger) $Y$ heißen $H(X)$ Quell-Entropie und $H(X\vert Y)$ Äquivokation, so dass "Quell-Entropie = Transinformation + Äquivokation" gilt, und heißen $H(Y)$ Empfangs-Entropie und $H(Y\vert X)$ Fehlinformation, so dass "Empfangs-Entropie = Transinformation + Fehlinformation" gilt.

## Eigenschaften und Interpretation

Verschwindet die Transinformation, so spricht man von statistischer Unabhängigkeit der beiden Zufallsgrößen. Die Transinformation wird maximal, wenn sich eine Zufallsgröße vollkommen aus der anderen berechnen lässt. Die Transinformation beruht auf der von Claude Shannon eingeführten Definition der Information mit Hilfe der Entropie (Unsicherheit, mittlerer Informationsgehalt). Nimmt die Transinformation zu, so verringert sich die Unsicherheit über eine Zufallsgröße unter der Voraussetzung, dass die andere bekannt ist. Ist die Transinformation maximal, verschwindet die Unsicherheit folglich. Wie aus der formalen Definition zu sehen ist, wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert. Dies drückt sich in der Transinformation aus.
Die Transinformation spielt beispielsweise bei der Datenübertragung eine Rolle. Mit ihr lässt sich die Kanalkapazität eines Kanals bestimmen.
Entsprechend kann auch eine Entropie H(Z) von zwei verschiedenen, wiederum voneinander abhängigen, Entropien abhängen:
In der Fachliteratur werden verschiedene Begriffe verwendet. Die Äquivokation wird auch als „Verlustentropie“ und die Fehlinformation auch als „Irrelevanz“ bezeichnet. Die Transinformation wird auch als „Transmission“ oder „mittlerer Transinformationsgehalt“ bezeichnet.