Diskussion:Shannon (Einheit)

message: Im Beispiel "Informationsmenge" auf "Datenmenge" geändert. Der Link zeigte ohnehin schon auf letzteres. Die 4 Bit enthalten neben der Information ja auch Redundanz.
Sollte man in der Formel das "Bit" gross oder klein schreiben? Ich tendiere eher zu klein, habe es aber erstmal gross gelassen. --Krille 11:33, 20. Okt 2005 (CEST)
replies: text: Sollte jetzt beantwortet sein. --Supaari sag'smir! 17:46, 20. Sep 2004 (CEST)

text: Vielleicht Auto verläßt Straßenkreuzung ( rechtwinklig, 4 Abfahrtsmöglichkeiten ) = 2 sh 85.25.96.94 14:40, 11. Jan. 2008 (CET)
thread_title: Link

message: Hallo, ich habe mal diesen Artikel mit Bit (Informationstheorie) zusammengeführt. Siehe auch dortige Artikel-Geschichte. -- Pemu 02:03, 1. Dez 2005 (CET)
thread_title: Zusammenführung

message: Ich habe in dem Abschnitt "Beispiele" in dem Textausschnitt "...wobei beide Zeichen mit der Wahrscheinlichkeit von je 1/2 auftreten...) die math-Schreibweise in eine normale Fließtext-Schreibweise umgeändert. Dadurch wird der Lesefluss nicht mehr durch eine neue Zeile unterbrochen, in der lediglich ein einzelnes 1/2(math) steht und somit deutlich verbessert.
-- RanuKanu 06:04, 29. Nov. 2010 (CET)
thread_title:  1/2 in NICHT-math schreibweise 

message: --188.21.75.154 10:55, 30. Apr. 2011 (CEST)
thread_title:  Beistrichsetzung 

message: Im Beispiel steht:
:Das kann man so interpretieren, dass man auf jeden Fall mit einer 4-Bit-Kodierung auskommt, um solche Nachrichten zu übertragen (dies wird etwa durch den BCD-Code realisiert), dass dabei aber noch Redundanz vorhanden ist. Beim BCD-Code äußert sich diese Redundanz so, dass von den 16 unterschiedlichen Zeichen, die mit diesem Code dargestellt werden können, nur 10 wirklich auftreten.
Das ist eine höchst eigenwillige Interpretation. Natürlich folgt obige Aussage aus ln_2(10) < 4, aber was bitte hat das damit zu tun, dass der Informationsgehalt der Nachricht bei ln_2(10) Shannon liegt? --77.2.120.29 08:35, 20. Dez. 2011 (CET)
thread_title:  Seltsame Interpretation 

message: Ich habe jetzt keine schriftliche Quelle dafür zur Hand, aber die im Artikel formulierte Definition ist nicht ganz richtig.
Die von Shannon entwickelte Formel gibt nicht den tatsächlichen Informationsgehalt einer Nachricht wieder, sondern vielmehr die Obergrenze der Informationsdichte, die nicht überschritten, wohl aber unterschritten werden kann.
Seine Theorie beschäftigt sich mit "Kanalkapazitäten", insofern ist die Bestimmung von Obergrenzen durchaus von entscheidender Bedeutung.
Die Annahme, dass die Einheit nicht die Kapazität, sondern eine Informationsmenge wiedergibt ist allerdings wohl recht verbreitet.
Man kann sich das relativ einfach überlegen: Wenn man mit Hilfe eines Zufallsgenerators eine Zeichenfolge generiert, führt das nach der Shannonschen Formel zu einem positiven Wert. Die Wahrscheinlichkeit, dass eine solche Folge eine sinnvolle Information enthält ist aber, vorsichtig ausgedrückt, sehr klein. Der berechnete Wert gibt also wieder, welchen Informationsgehalt eine solche Folge pro Zeichen maximal transportieren könnte', aber nicht', welchen sie tatsächlich enthält. Da die Formel auch keine Angaben zur Länge einer Nachricht berücksichtigt, gibt sie auch nicht die den maximalen Informationsgehalt wieder, sondern eine maximale Informationsdichte. Der maximale Informationsgehalt ergibt sich erst wenn man die Dichte mit der Länge der Nachricht multipliziert.
Und was tatsächlich an Information enthalten ist, ist Kontext-Abhängig.
Ich erinnere mich, dass dieser Unterschied meinem Signaltheorie-Prof. im Studium sehr wichtig war und deshalb einer der wichtigen Punkte für die Prüfung. Es kam auch eine entsprechende Frage in der Prüfung dran. Allerdings habe ich nach mehreren Jahrzehnten das Vorlesungsskript natürlich nicht mehr verfügbar und werde auch keine aufwändige Recherche starten um jetzt andere Quellen ausfindig zu machen.
Hat jemand eine entsprechende Quelle zur Hand und kann das korrigieren?
--MRewald (Diskussion) 11:55, 3. Sep. 2015 (CEST)
thread_title:  Definition 

message: Wenn ich mich nicht sehr irre, wird im Abschnitt Definition fälschlicherweise die Formel für die Entropie – nicht die für den Informationsgehalt – angegeben. Ich denke korrekt wäre auch hier die Definition, die sich im Artikel zum Informationsgehalt findet. --Stefan Nagy (Diskussion) 13:46, 7. Dez. 2016 (CET)
thread_title:  Shannon als Einheit für die Entropie?