Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03654.jsonl.gz/2644

Informationsgehalt ist ein Ausdruck von C. Shannon und bezeichnet eine in seiner Kommunikationstheorie Grösse, durch welche ich Signale bewerte. Der Informationsgehalt eines Signals ist bestimmt durch den Wertebereich, den das Signal hat, und durch die Unverhersagbarkeit der jeweiligen Selektion eines bestimmten Wertes.
Beispiel:
Bei der Verkehrsampel ist der Informationsgehalt von "rot" klein, weil nur gelb und grün als Alternativen in Frage kommen. Bei der Farbe eines Autos ist der Informationsgehalt von "rot" beträchtlich grösser, weil es viele mögliche Farben gibt.
Da die Lichtampel sich an eine programmierte Regel hält (beispielsweise an die grüne Welle), kann ich die jeweilige Farbe viel besser vorhersagen, als die Autofarbe, wenn mein Nachbar ein neues Auto kauft.
Der Informationsgehalt wird quantifiziert durch die Anzahl der notwendigen Fragen in bezug auf einen bestimmten Wert eines Signals, wobei die Antworten jeweils nur ja oder nein sein können. Bei der Verkehrsampel brauche ich zwei Fragen: 1. ist sie rot - nein. 2. ist sie grün - nein. Dann ist sie gelb. Die Strategie beim Fragen ist optimal, wenn die Antwortwahrscheinlichkeiten von ja und nein gleich gross sind. Wenn ich dagegen eine Verteilung kenne, beginne ich mit der wahrscheinlichsten Frage. Ich kann den Informationsgehalt einer Ampel in diesem Sinne differenzieren, wenn ich berücksichtige, dass die einzelnen Farben nicht gleich lang vorkommen. Der Informationsgehalt von gelb ist dann grösser als jener von rot, weil sie viel öfters rot als gelb ist. Wenn ichraten muss, welche Farbe eine bestimmte Ampel zu einem bestimmten Zeitpunkt hat, tippe ich auf rot. Das heisst, rot überrascht mich am wenigsten und hat deshalb den kleinsten Informationgehalt.
Formal:
Die Anzahl der benötigten Ja/Nein-Fragen - die den Informationsgehalt nach C. Shannon besteimmen, die mindestens nötig ist, um ein einzelnes Signal x mit der Auftretenswahrscheinlichkeit p = p(x) zu kodieren, berechnet sich folgendermaßen:
I (p) = - log2(p) ; als Einheit dient das "bit"
"log steht für Logarithmus. Das "-" vor dem log bewirkt, dass hohe Wahrscheinlichkeiten kleine Werte ergeben und umgekehrt. Der Logarithmus selbst bewirkt eine Exponentialisierung der Werte, die dem natürlichen Empfinden entspricht, und die Basis 2 ist ein spezieller Fall, der zur bit-Logik der Computer passt.
Die Formel bewirkt, dass ich ein Signal mit 4 Werten halb so informativ finde, wie eines mit 8 Werten. Der log2(4) ist 2 und der log2(8) ist 4.
Hinweis:
Invers zum Informationsgehalt ist die Redundanz