Diskussion:Entropie (Informationstheorie)

message: Dort ist die Rede von H1 die angegeben ist, später wird auf H2 verwiesen und mit H1 verglichen, H2 ist aber nicht angegeben, somit ist ein Verlgeich und Bezug darauf völlig sinnfrei.
Ich schlage mal vor, die Autoren sollten den Artikel vorher mit einschlägigen Fachbüchern (Mildenberger, Schulz,...) vergleichen. Vieles im Artikel ist schlecht, widersprüchlich bis grob falsch beschrieben.  -- 84.164.32.3 10:53, 24. Mai 2009 (CEST)
thread_title: Im Artikel, Abschnitt 'Interpretation' fehlt was

message: Folgende etwas unzusammenhängenden / unklaren Aussagen aus dem Artikel ausgelagert. Haben nur wenig mit informationstheoretischer Entropie zu tun.
=== Aus Artikel ===
Die Entropie eines idealen Münzwurfes hat definitionsgemäß die Größe 1 bit.
Wenn man einen idealen Münzwurf mehrfach wiederholt, dann addiert sich die Entropie einfach. Die Entropie eine Reihe von 20 idealen Münzwürfen berechnet sich einfach:  H =  20 * 1 bit = 20 bit .
Die Entropie eines sicheren Ereignisses ist 0 bit, die Entropie eines unmöglichen Ereignisses ist auch 0 bit, denn in beiden steckt kein Zufall.
Ein sehr einfaches Beispiel der Entropie hat Chaitin geliefert:
Chaitins Beispiel für 2 binäre Zahlen mit 20 Stellen
Geordnete Reihe: 10101010101010101010 
Zufall = 0, oder fast Null ==> Entropie = 0 oder fast Null.
Fast Null deswegen, weil nicht klar ist, ob die erste Position ausgelost wurde.
Ungeordnete Reihe: 01101100110111100010  
als Beispiel für eine Zufallsfolge ==> Entropie hoch = 20 bit.
Die zweite Reihe wurde mittels mehrfachem Münzwurf erstellt.
In ihrer Bedeutung als mittlerer Informationsgehalt einer Nachricht spiegelt sich das ebenfalls wider: Eine Nachricht über den Ausgang eines sicheres Ereignis enthält keinerlei Information, da dessen Eintreten auch so schon bekannt ist. Die Information über den Ausgang eines Münzwurfes, also eines Ereignisses mit zwei möglichen Ergebnissen, die gleich wahrscheinlich sind, hat eine Entropie von 1 bit.
===aus Artikel verschoben===
Bilder 
*Folgende Bilder stammen von Benutzer:rho und sind frei im Sinne von GNU
*http://www.madeasy.de/2/entrosum.gif
*http://www.madeasy.de/2/entrurne.gif
*http://www.madeasy.de/2/entropq.gif
*http://www.madeasy.de/2/entrohp.gif
**Paradox ?
: --Rrdd 14:17, 21. Jan 2004 (CET)
thread_title: Auslagerung

message: Bilder 
*Folgende Bilder stammen von Benutzer:rho und sind frei im Sinne von GNU
*http://www.madeasy.de/2/entrosum.gif
*http://www.madeasy.de/2/entrurne.gif
*http://www.madeasy.de/2/entropq.gif
*http://www.madeasy.de/2/entrohp.gif
**Paradox ?
: --Rrdd 14:17, 21. Jan 2004 (CET)
thread_title: aus Artikel verschoben

message: Hi allerseits,
im Einleitungssatz steht leider keine kurze Erklärung, da steht nur das das ganze unwahrscheinlich schwierig ist, aber dafür ist ne Enzyklopädie nicht da; bin leider kein sooo wahnsinniger expert um das selber korrekt in einen Satz zusammenzufassen, habs versucht, tu mir da aber schwer und WP:OMA auch. greetz vanGore 12:50, 2. Aug 2005 (CEST)
thread_title: Oma

message: Ich störe mich am dem Text für das „einfache Beispiel“ für Entropietests. Zum Einen verstehe ich die Formeln nicht. Vorzeichen fehlt. Warum wird auf dem natürliche Logarithmus bestanden? Nachher wird durch Teilen durch \ln2 der Zweierlogarithmus errechnet.
Ich würde das so formulieren:
:Einfaches Beispiel: 
:Eine Zufallsquelle gebe nur die Bytes 101010102 (dezimal 170) und 010101012 (dezimal 85) aus und zwar beide mit gleicher Wahrscheinlichkeit. Bitweise ist die Ausgabe zu je 50 % 0 bzw. 1, byteweise ist sie zu je 50 % 101010102 bzw. 010101012. Die bitweise Entropie ist
::H = -(0{,}5\cdot \log_20{,}5 + (1-0{,}5)\cdot \log_2(1-0{,}5)) = 1
:während die byteweise Entropie mit
::H = -(0{,}5\cdot \log_80{,}5 + (1-0{,}5)\cdot \log_8(1-0{,}5)) = \frac{1}{3}
:deutlich kleiner ist.
Der Achterlogarithmus für das Rechnen mit Bytes fällt hierbei so vom Himmel. Vom Gefühl her ist mir klar, warum man ihn braucht, aber mir fehlen die passenden Worte, es zu erklären. Könnt Ihr das noch besser formulieren?
-- Pemu 04:02, 1. Dez 2005 (CET)
thread_title: Einfaches Beispiel

message: Warum werden keine Abstände um die Operatoren bei der Formel „Entropie = ...“ eingefügt? -- Pemu 04:02, 1. Dez 2005 (CET)
thread_title: Beispiel: Entropiekodierung

message: Kann bitte jemand noch was zur Beseutung und Verwendung von Entropy-Berechnungen im Bereich der Kryptografie schreiben. Also zB. dass eine verschlüsselte Information keinerlei Regelmässigkeiten aufweisen sollte, um dem Angreifer keinen Angriffspunkt für Analysen zu liefern. Dankeschön. 84.182.178.145 02:42, 5. Mär 2006 (CET)
thread_title: Kryptografie

message: Wenn ich das richtig verstanden habe, ist die Entropie gleichzeitig auch der Erwartungswert des Informationsgehalts. Das sollte dann im Artikel irgendwo erwähnt werden.
Ja, das ist richtig. Sollte erwähnt werden.--Akribix 03:11, 11. Sep 2006 (CEST)
thread_title:  Erwartungswert des Informationsgehalts 

message: Den Abschnitt: Eine Information lässt sich mit jedem Alphabet mit mindestens 2 Symbolen darstellen. Weniger übersichtlich auch mit einem Symbol (Unärdarstellung). herausgenommen. Der erste Satz ist eine Wiederholung. Den zweiten Satz hat ein Witzbold hineingeschrieben. Hier meine Begründung, in Unärdarstellung mit dem Zeichen x: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. Anton 19:05, 9. Sep 2006 (CEST)
thread_title:  [[Unärsystem]] 

message: In der Definition ist die Rede von einer höchstens abzählbaren Menge Z. Dann wird die Summe von 1 bis |Z| gebildet. 
Für unendliches Z ist der Summenausdruck undefiniert. Wenn ein Limes gemeint ist, dann sollte man ihn auch explizit hinschreiben.--AlfonsGeser 09:17, 1. Jun. 2008 (CEST)
replies: text: Da du dich ja offensichtlich damit auskennst, warum schreibst du es nicht gleich in den Artikel? -- sparti 10:12, 1. Jun. 2008 (CEST)
replies: text: Du schmeichelst mir. Ich kenne weder Shannons originale Definition, noch weiß ich, ob der unendliche Fall wichtig ist. Ich kann nur anbieten, Z erst einmal auf endliche Mengen zu beschränken, damit die Definition für diesen Fall stimmt. Wir warten dann darauf, dass ein Experte vorbeikommt, der den unendlichen Fall richtig abhandelt. Ausführen?--AlfonsGeser 10:38, 1. Jun. 2008 (CEST)

text: Habe mal Shannon "Communication in the Presence of Noise" nachgelesen. Es handelt sich zwar nicht um den Originalartikel, aber vielleicht umso besser. Den allgemeinen Fall mit analogen Signalen verstehe ich selber noch nicht ganz. Den digitalen Fall habe ich mal so klar wie möglich wiedergegeben.--AlfonsGeser 17:09, 3. Jun. 2008 (CEST)
thread_title:  unendliches Alphabet? 

message: Entropie und Informationsgehalt haben unterschiedliche und klar abgegrenzte Definitionen:
Informationsgehalt: - \log_a( p_z)
Entropie: - \sum_{z\in Z} p_z \cdot \log_2 p_z
Es macht keinen Sinn, beide Artikel zu vereinen nur weil der Informationsgehalt in der Definition der Entropie als Term (mit dem Spezialfall a=2) vorkommt.
Viele Gruesse, -- Schwijker 11:47, 12. Mär. 2009 (CET)
thread_title: Überschneidung mit Informationsgehalt

message: Hallo Wikipedianer,
ich habe eine Vektorgrafik-Version eines Venn-Diagramms erstellt, das bedingte Entropie visualisiert. Es gibt davon diverse Versionen in schlechterer Qualität mit JPG-Kompression. Ich habe meine Vektorgrafik gemeinfrei veröffentlicht:
Bild auf Wikimedia Commons
-- Konrad 13:40, 29. Okt. 2010 (CEST)
thread_title:  Visualisierung bedingter Entropie als Vektorgrafik 

message: Im Artikel steht:
Der nicht existente Grenzwert \lim_{p_i\rightarrow 0} p_i \cdot \log_2 p_i wird als Null definiert.
Das ist nicht ganz korrekt da  p_i \in [0, 1] interessiert nur der Grenzwert von oben \lim_{p_i\searrow 0} p_i \cdot \log_2 p_i und dieser existiert nach der l'Hospital'schen Regel \lim_{p_i\searrow 0} p_i \cdot \log_2 p_i = \lim_{p_i\searrow 0} \frac{\log_2 p_i}{\frac 1{p_i}} = \lim_{p_i\searrow 0} \frac{\frac 1{p_i}}{-\frac 1{p_i^2}} = 0. -- TillTill 14:24, 15. Dez. 2010 (CET)
replies: text: Habs angepasst. Geek1337 23:06, 1. Aug. 2011 (CEST)
replies: text: Habs nochmal präzisiert, auch wenn der Grenzwert existiert, 0\log 0 gibts eigentlich nicht.--SnowIsWhite 00:23, 2. Aug. 2011 (CEST)
thread_title:  Ungenau 

message: Für mich ist ε ein Epsilon und kein Eta. Was hat das zu bedeuten? --Chricho ¹ 13:25, 25. Sep. 2011 (CEST)
replies: text: Sehe ich auch so. Ohne weiterfuehrende Erklaerung sollte das entfernt werden -- Hildensia (Diskussion) 17:49, 26. Jun. 2012 (CEST)
thread_title:  Eta für εντροπια? 

message: Ich verstehe nicht ganz, was in dem Abschnitt zum deutschen Alphabet gemeint ist, wenn da steht, dass vier Buchstaben eingespart werden könnten. Um die 4.08 bit optimal zu kodieren, braucht man 2^4.08=17 (aufgerundet) Zeichen, also lassen sich 9 Buchstaben einsparen. Die Herumrechnerei, um die Entropie mit der Entropie mit der Entropie pro Zeichen der ursprünglichen Kodierung zu messen, erscheint mir ein wenig unmotiviert. (nicht signierter Beitrag von Kgrill (Diskussion | Beiträge) 22:53, 29. Jan. 2014 (CET)
replies: text: Abgesehen davon, was hat das mit dem Buchstaben E zu tun? Im Einleitungssatz wird erwähnt dass dieser Buchstabe 7x häufiger als M oder O vorkommt, das wird aber im weiteren Beispiel überhaupt nicht mehr referenziert. Wozu dann diese Einleitung? --2A02:908:1B9:CA00:50FC:194:FFB6:C002 16:55, 13. Okt. 2022 (CEST)
replies: text: Ich stimme meinen Vorrednern zu. Hier besteht dringender Überarbeitungsbedarf. Es fehlen zudem Quellenangaben. Außerdem macht die zweite Definition der Redundanz wenig Sinn, wenn die Entropie H = 1 oder H = 2 ist. Dann wären die redundanten Zeichen des Alphabets mehr als 26 (N*R/H > N*2/2 = N). --2A02:8109:3140:19C0:8C6C:84C1:858D:4CC4 12:25, 9. Nov. 2022 (CET)
replies: text: die Aussage "Bei gleichmäßiger Verteilung kann bei einem Alphabet auf kein Zeichen verzichtet werden" stimmt doch so nicht. Ich kann ja schliesslich jeden Text mit bloss "0" und "1" ausdrücken. Dann wird der Text halt länger. Ausserdem macht es doch keinen Sinn die "Entropie pro Zeichen" mit der "Zahl der Zeichen im Alphabet" malzunehmen. Stattdessen sollte man das Beispiel mE wie folgt rechnen: Finde m, so dass \log_2|26-m| = H also m=26-2^{4,0629}\approx9,3, d.h., für grosse N hat eine Zeichenkette der Länge N mit gleichverteilten Zeichen aus einem Alphabet mit 17 Zeichen gleichviel Entropie wie ein String der gleichen Länge aus den 26 Buchstaben des Alphabets, die gemäß der im Deutschen üblichen Häufigkeiten auftreten. --Qcomp (Diskussion) 09:56, 11. Nov. 2022 (CET)
thread_title:  Alphabet 

message: http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf liefert 404 (konnte leider keine offizielle Alternative finden) (nicht signierter Beitrag von Jaeschke cs (Diskussion | Beiträge) 14:56, 19. Mai 2015 (CEST)
replies: text: [] scheint zu helfen, aber bitte nochmal prüfen. (Komme ich aus Zeitgründen jetzt nicht zu). --Joerg 130 (Diskussion) 16:21, 19. Mai 2015 (CEST)
replies: text: Oben von mir genanntes ist offenbar eine überarbeitete Fassung, das Original ist aber wohl unter [], jedoch offensichtlich unvollständig (nur der erste von zwei Teilen). --Joerg 130 (Diskussion) 21:06, 6. Jul. 2015 (CEST)
thread_title:  Link zum PDF defekt 

message: Die mindestens notwendige Anzahl von Bits, die zur Darstellung der Information (des Textes) notwendig sind, ergibt sich aus dem Produkt des durchschnittlichen Informationsgehalts eines Zeichens H(X) und der Anzahl N einzelner Zeichen im Informationstext (=Alphabetgröße)
ich denke, dass die Anzahl der Bits, die zur Darstellung eines Textes nötig ist, ganz sicher von der Anzahl der verwendeten Zeichen abhängt, während "Informationsgehalt eines Zeichens" und "Alphabetgröße" zweimal dasselbe ist, ich habe es umformuliert. Ra-raisch (Diskussion) 10:39, 18. Jun. 2015 (CEST)
replies: text: Du hast Recht, die bisherige Fassung ist offensichtlich falsch. Vielen Dank für den Hinweis! Jedoch sind "Informationsgehalt eines Zeichens" und "Alphabetgröße" keineswegs dasselbe, so dass Dein jetziger Vorschlag leider auch falsch ist. Ich vermute, dass die Textstelle auch gar nicht den gesamten Informationsgehalt eines Textes, sondern den Informationsgehalt/Zeichen meint. Ist aber zu lange her, dass ich damit zu tun hatte, so dass ich leider jetzt keinen Alternativvorschlag machen kann. --Joerg 130 (Diskussion) 11:05, 18. Jun. 2015 (CEST)
replies: text: nunja, dass "Alphabetgröße" reziprok zu "Informationsgehalt eines Zeichens" ist und nicht "gleich" ist schon klar, aber es ist "dasselbe" gemeint, ich wollte eben so wenig wie möglich verändern..... dann mache ich einen neuen Versuch. Insbesondere ist das Wort "verschiedener" Zeichen irreführend, da auch mehrere gleiche Zeichen genauso zählen.Ra-raisch (Diskussion) 16:14, 20. Jun. 2015 (CEST)

text: hm ja, es war etwas komplizierter, es ist optisch noch nicht optimal, aber inhaltlich dürfte es nun stimmen. Ra-raisch (Diskussion) 16:35, 20. Jun. 2015 (CEST)

text: nochmal korrigiert, das war wirklich total verwurschtelt. Ra-raisch (Diskussion) 18:14, 20. Jun. 2015 (CEST)
thread_title:  Interpretation 

message: Mir ist gerade aufgefallen, dass nicht angemeldete Benutzer eine leere Seite angezeigt bekommen. Ich habe es auf zwei Geräten probiert (im Inkognito-Modus, also  sind Probleme durch Cache und Cookies ausgeschlossen).
Kann mir das jemand bestätigen? Das sollte behoben werden! Woran kann das liegen?
--phip1611 23:43, 14. Okt. 2015 (CEST)
thread_title:  Nicht angemeldete Benutzer kriegen leere Seite ausgeliefert 

message: Der einleitende Satz es Punktes "Definition" könnte, in Hinsicht auf die Bedeutung des "Alphabets", klarer formuliert sein. Jetzige Form:
:Claude Elwood Shannon definierte die Entropie \Eta einer diskreten, gedächtnislosen Quelle (diskreten Zufallsvariable) X über einem endlichen Alphabet Z=\{z_1, z_2, \dots, z_m\} wie folgt: Zunächst ordnet man jeder Wahrscheinlichkeit p eines Ereignisses seinen Informationsgehalt I(p) = -\log_2 p zu. Dann ist die Entropie eines Zeichens definiert als der Erwartungswert des Informationsgehalts
Das Problem ist hier, dass im Zweiten Satz schon über "Zeichen" gesprochen wird, obwohl diese im ersten Satz nicht definiert wurden. Erst als ich Alphabet nachgeschlagen habe, war mir klar, dass ein Alphabet aus Zeichen besteht. Diese Information ist für das Verständnis der nachfolgenden Formeln aber so Zentral (und bis zu einem gewissen Grad dann auch weiterführend intuitiv), dass sie unbedingt in den Satz integriert werden sollte. Daher würde ich die Formulierung:
:…über einem endlichen Alphabet Z=\{z_1, z_2, \dots, z_m\}, das aus den Zeichen z_1, z_2, \dots, z_m besteht, wie folgt…
oder aber
:…über einem endlichen, aus Zeichen bestehenden  Alphabet Z=\{z_1, z_2, \dots, z_m\} wie folgt…
vorschlagen. --Michael Scheffenacker (Diskussion) 17:34, 3. Mai 2017 (CEST)
replies: text: Ich werde meinen letzten Vorschlag jetzt einarbeiten. --Michael Scheffenacker (Diskussion) 17:47, 13. Mai 2017 (CEST)
thread_title:  Einleitender Satz des Punktes "Definition"