Discussion:Entropie de Shannon

message: J'ai ajouté un peu de formalisme dans cette section, entre autres la partie qui justifie l'utilisation du logarithme.
Je me propose également de donner la preuve pour la maximisation de l'entropie lorsque les événements sont équiprobables, à savoir H(X) \le log(K). --Simard (d) 4 novembre 2008 à 06:02 (CET)
replies: text: C'est maintenant fait. --Simard (d) 4 novembre 2008 à 18:42 (CET)
thread_title: Définition formelle

message: La phrase "elle est maximale pour une distribution uniforme, c’est-à-dire quand tous les états ont la même probabilité ; "
est fausse appliquée a la formule  indiquée au dessus. 
Par exemple  pour deux états possibles
si il sont  équiprobables  on a : P(1) = P(2) = 0.5 
ce qui donne  -1 comme espérance du log2(P(i)) , donc dans ce cas l'entropie vaut  1.
Dans le cas ou  P(1) est tres supérieur à P(2), par exemple
P(1) = 0.99 et P(2) = 0.01
log2(0.99) = -0,01449957
log2(0.01) = -6,64385619
 
ce qui  fait une entropie de 3,32917788 ce qui est supérieur à 1 
:Tu as peut etre fait une faute de frappe sur ta calculette... car -(0.99*log2(0.99)+0.01*log2(0.01))=0.808 < 1 donc ok. Sylenius (d) 18 juin 2008 à 10:06 (CEST)
thread_title: Erreur

message: Pour la partie d'application à la sélection de points de vue qui a été supprimée pour restaurée, je suis pour le fait de le garder mais en parler plus brièvement. Je propose plutôt de ne garder que la 1ère formule (la plus générale) avec une ligne pour expliquer de quoi il s'agit, ceci afin de montrer des utilisations de cette formule dans quelques domaines différents. Ensuite, je ne sais pas si un article complet sur la sélection de point de vue (contenant l'explication complète, plus plein d'autres choses) intéresserait quelqu'un. Vos propositions ? Gueben 22 juillet 2006 à 15:10 (CEST)
replies: text: C'est une bonne idée, n'hésite pas :) Manproc 22 juillet 2006 à 15:23 (CEST)
replies: text:  personnellement je pense que c'est toujours un peu beaucoup, mais vu que c'est vide pour l'instant, ok ;-). Par contre je suis tout à fait pour que tu en fasses une page complète si tu as assez d'info dessus, et qu'on ne mette plus que le lien vers cette page par la suite ;-) Sylenius 22 juillet 2006 à 22:04 (CEST)
thread_title:  Partie Applications 

message: « Cette découverte fut qualifiée par Tribus de "révolution passée inaperçue" dans ce document (PDF). »
y'aurait-il moyen de préciser qui est ce personnage ? jamais entendu parler, et il ne semble pas forcément pertinent de citer un inconnu pour attester du caractère "révolutionnaire" d'une théorie. ceci dit c'est peut être moi l'ignorant, je ne demande, comme un wikipedien lambda, qu'à être convaincu...Levochik (d) 12 mai 2008 à 12:34 (CEST)
thread_title: Tribus

message: 1. Pourquoi deux introductions ? (j'appelle introduction le chapeau aussi long que la partie introduction).
2. La définition formelle devrait venir plus tôt, je dirais après l'intro et en tout cas avant les anecdotes sur l'entrevue Von Neuman/Shannon : à la lecture de l'article, on se dit qu'il n'y a que du bla bla là dedans, c'est par miracle que j'ai dépassé les anecdotes pour voir, reléguée tout à la fin de l'article, une définition plus précise.
3. L'article affirme : « Il existe de tels algorithmes dits optimaux, c'est-à-dire qui compressent le fichier en un fichier d'entropie maximale (et donc de taille minimale). » Je suis dubitatifs. Quel algorithme ? Il me semble justement que c'est un problème indécidable...à éclaircir.
4. Sans vouloir dénigrer l'entropie de Shannon, affirmer que c'est « la pierre angulaire de la théorie de l'information » me paraît un peu exagéré. Pourquoi pas un plus modeste mais déjà laudateur « une notion fondamentale de la théorie de l'information »
Levochik (d) 12 mai 2008 à 12:45 (CEST)
replies: text: j'ai essayé d'y remédier en réorganisant tout l'article...(sauf le 3 que j'ai laissé, dans le doute)Levochik (d) 12 mai 2008 à 13:21 (CEST)

text: Pour le point 3, je fais chercher des references, mais l'encodage de Huffman est generalement denommee comme une methode entropique. Il me semble que cette methode est optimale du point de vue de l'entropie. Apres, la formulation etait maladroite. Par exemple, imaginons que tu encodes un fichier wav en huffman, ca ne veut pas dire que ton fichier deviendra comme par magie plus petit qu'un mp3. Il y a entre guillemets deux niveaux de compression : la facon dont tu ecris une serie de donnees sur le disque (ou la le codage de Huffman est il me semble optimal en terme d'entropie, a verifier) et la facon dont tu reduis la taille des donnees avant de les ecrire (par exemple pour le mp3, en supprimant les frequences inaudibles pour l'oreille humaine et en reduisant la bande passante). Bref tout ca pour dire que selon moi ce n'etait pas faux mais plutot pas clair. Oliv9053 (d) 19 août 2008 à 14:51 (CEST)
thread_title:  Quelques défauts de l'article actuel 

message: La grande difficulté de ce genre d'article est de ne pas tomber dans un travers que citait une contributrice qui utilisait parfois les encyclopédies techniques : Souvent, l'article est incompréhensible pour le néophyte et triviale pour le spécialiste. Il n'aide finalement pas grand monde. Je propose deux idées pour bonifier l'article, même si le terme d'ébauche ne me semble plus adapté.
Je crois, dans le cas de cet article, qu'un préambule ne serait pas du luxe. Ce préambule devrait expliquer dans un premier temps pourquoi Shannon a découvert cette définition. Dans quelle mesure, cette définition m'aide à mieux coder un texte. Que vaut-il mieux, une petite ou une forte entropie. Des exemples seraient les bienvenus. Que se passe-t-il si je code un texte avec un code de répétition n fois ? Que m'apprend l'entropie. Si j'utilise un code parfait, comment évolue l'entropie ?
:J'ai ajouté un préambule, lequel est à retravailler. --Guillaume Simard (d) 17 novembre 2008 à 04:51 (CET)
thread_title:  Refonte de l'article 

message: Bravo, pour le travail. Je trouve en effet la version actuelle bien meilleure. Peut-on encore améliorer ? A mon avis oui !
:* Préambule
:: Je pense que la première idée est celle de la qualité d'un code au sens où il exprime un message dans un volume minimal. Si le code consiste répéter deux fois chaque lettre, il est ainsi possible d'améliorer sa qualité d'un rapport 2. Si un code, consiste à transmettre un tirage de 8 boules rouges ou blanches prises dans une urne contenant 64 fois plus de boules blanches que rouges, faut-il en moyenne un message de 8 lettres choisies dans l'ensemble {0,1}? La réponse est non. En moyenne, il faut moins de deux lettres pour transmettre le message si le code est astucieux. L'entropie de Shannon permet de calculer simplement la qualité du code au sens précédent. Elle montre en particulier une limite que l'on ne peut dépasser.
:: La deuxième idée sont les exemples issus de la vie courante où cette situation se produit. Dans un texte en français, le e est plus fréquent que le w, c'est une des raisons qui fait que l'écriture n'est pas optimale au sens de l'entropie de Shannon. Il est ainsi possible de compresser le texte sans perte d'information. Une logique similaire s'applique sur les images et les sons. L'entropie de Shannon indique qu'elle limite est atteignable. Elle n'est pas dépassable, si l'on refuse toute dégradation du message à stocker.
:: La troisième idée est la transmission. Si le système n'est pas parfait, certaines lettres sont transmises de manière erronées. Il faut ajouter une redondance adéquate pour permette de corriger les erreurs avec un taux de probabilité satisfaisant. La meilleure qualité possible n'est alors pas le code le plus concis possible, mais un code contenant l'exacte quantité de redondance pour permettre une transmission avec la probabilité de succès choisie.
:: La quatrième idée est l'analogie avec l'entropie au sens statistique, qui est utilisée en physique au sens de Boltzmann. Si le code est binaire et optimal, le message est écrit avec autant de 0 que de 1, en moyenne. De même, les séquences 00, 01, 10 et 11 sont toutes équiprobables. L'entropie est maximale si le message, considérée comme une suite aléatoire, ne suit aucune règle spécifique, la suite doit être parfaitement aléatoire.
En bref, je pense que le long passage sur le numérique et l'analogique est maintenant un peu hors sujet. Comme la grande partie des messages sont codées en numérique, le contexte de Shannon est maintenant un peu obsolète. Je pense ensuite que le cas de la transmission n'est pas le seul et qu'il est un peu plus complexe à comprendre que celui de la compression, puisqu'il suppose l'existence d'une idée supplémentaire : le bruit. Enfin, beaucoup de lecteurs ont compressé des fichiers et comprennent intuitivement ce que cela signifie, le principe du code correcteur est peut-être un peu moins naturel.
:* Exemples : 
S'ils sont bien choisis, il me semble arriver un peu tard et manquer d'application numérique. Je commencerais immédiatement après le préambule.
:: Le problème de l'urne. Comment coder le résultat d'un tirage de 8 boules prises dans un sac contenant 64 fois plus de boules blanches que rouges? Une technique consiste à associer le blanc à 0 et le rouge à 1. Un exemple de tirage est 11111111, il est correspond à un tirage composé uniquement de boule rouge et il est improbable. Il est aussi possible d'utiliser le code suivant : on envoie 0 si toutes les boules sont blanches. Si une boule est rouge, on envoie sa position sur trois chiffres, ainsi 010 signifie la présence d'une unique boule rouge en position 4. Si deux boules sont rouges, on envoie leur position sur 2 fois trois chiffres, ainsi 100001 signifie une boule rouge en position 1 et 8. Enfin, si strictement plus de deux boules sont rouges, on utilise le code précédent, 11111101 signifie uniquement des boules rouges sauf en deuxième position. On trouve maintenant une longueur moyenne du message de 1,26.
:: Un texte en français. J'expliquerais un calcul simple d'entropie. Soit un texte de 10 000 lettres dont je ne sais rien, je ne peux pas faire grand chose pour le compresser, il existe en effet 2610 000 textes possibles et je ne sais pas lesquels sont les plus probables. Si en revanche on fournit l'information : c'est un texte en français, je sais alors que le e est beaucoup plus probable que le w, la même idée que celle de l'exemple précédent permet de compresser le texte sans perte d'information. L'entropie de Shannon n'est plus maximale. Une méthode simple de compression consiste à coder les 15 caractères les plus fréquents sur 4 bits, la configuration restante indique que les 8 bits suivants correspondent au codage classique sur 8 bits. Cette astuce permet d'économiser 30% du volume et s'inspire du codage de Huffman. La limite de Shannon est néanmoins loin d'être atteinte.
:: Une image : Si l'image est une photo, la probabilité d'avoir un pixel vert dans le voisinage d'un pixel vert est bien plus forte que celle d'avoir un pixel bleu. Une image bitmap d'une photo est donc loin de l'entropie maximale. Il est donc possible de compresser sans perte d'information.
:* Partie mathématiques
Je préciserais les notations, H désigne bien l'entropie ? Quel est la signification du b en dessous ? Je sais bien que c'est la base du logarithme, mais j'imagine que les lecteurs peuvent être un peu désarçonnés. Je reprendrais l'exemple de l'urne pour calculer les entropie des deux codes présentés et montrerait (Oh miracle) que la deuxième est nettement plus grande que la première. Je montrerais aussi que l'on peut encore faire mieux (mais pas beaucoup). Le reste me semble remarquable.
Bonne continuation, après cela, je crains que mes qualités de cobayes ne s'épuisent et je risque de ne plus savoir comment bonifier l'article. Jean-Luc W (d) 19 novembre 2008 à 19:19 (CET)
replies: text: Je trouve aussi que le passage sur l'analogique est hors-sujet, sans compter que dire que le passage au numérique réduit (supprime?) le bruit est assez dangereux. Refaire le théorème du codage de source de Shannon avec les mains ne me semble pas très heureux non plus. Il faut quand même se rappeler que cet article traite de l'entropie, pas de télécommunications. Pourquoi pas une petite introduction effectivement, mais là, on rentre beaucoup trop dans les détails. A reprendre (voir l'article anglais pour une introduction claire et concise). Sylenius (d) 19 novembre 2008 à 21:57 (CET)

text: Le préambule est en effet à revoir. Outre ce qui est dit ci-dessus, il contient des inexactitudes. Il dit en effet que le moindre bruit perturbe le signal analogique, ce qui n'est pas le cas du signal numérique. Mais c'est oublier que le signal numérique procède à un arrondi du signal correspondant analogique, arrondi suffisamment faible pour ne pas pouvoir être détecté par l'utilisateur. Il va de soi que si un bruit perturbe un signal analogique de façon aussi faible, l'utilisateur ne sera pas davantage gêné. Il convient donc de supprimer l'opposition analogique/numérique et de réduire ce préambule, qui est trop long.Theon (d) 30 septembre 2012 à 12:15 (CEST)
thread_title:  Relecture 

message: Ceci (réverté aujourd'hui) était-il un simple canular, ou une piste pour un complément d'histoire ? Anne Bauval (d) 29 mars 2011 à 21:27 (CEST)
replies: text: Je ne connais pas mais une Inégalité de Locatelli-Mabon est mentionnée dans ce pdf (<-- attention lourd à charger) p. 51. --Epsilon0   ε0 24 septembre 2011 à 19:09 (CEST)
thread_title:  Locatelli-Mabon 

message: Dans la définition formelle de l'entropie, il y a des sommes pour i de 1 à n. Quel est ce n ? N'est-ce pas plutôt b, le nombre de symboles ? Wetneb (d) 24 septembre 2011 à 18:38 (CEST)
replies: text: n est le nombre de valeurs possibles prises par X. Ca n'a pas de rapport avec le choix de la base b. D'ailleurs, on prend rapidement b=2 alors que X prend plus de deux valeurs. Theon (discuter) 13 novembre 2015 à 11:32 (CET)
thread_title:  Sens du ''n'' dans la définition formelle 

message: ===Exemple de l'urne===
Il faudrait je pense bien expliquer comment on choisit les valeurs associées à chaque couleur, la note ne suffit pas : si tout ce qui nous intéresse c'est qu'il soit impossible de se tromper en déchiffrant le message, pourquoi est-ce qu'on ne réutilise pas le code 00/01/10/11 dans le deuxième cas, ou 0/10/110/111 dans le premier ? Si j'ai bien compris, c'est parce qu'on cherche le codage non ambigu qui entraine le H le plus petit. Utiliser 0/10/110/111 dans le premier cas donne H=2,5 bits, et 00/01/10/11 dans le second H=2 bits. Est-ce cela ?
Excellent article, sinon ! Comme dit plus haut, il est vraiment super pour comprendre le principe de l'entropie de Shannon. Je suis pas à proprement parler un néophyte, j'ai quelques bases, mais tout de même je suis bien content que cet article existe !
Cheers, Thouny (discuter) 24 janvier 2014 à 00:54 (CET)
replies: text: Oui, mais cette première phrase ajoute l'adverbe intuitivement ce qui signifie bien qu'elle se borne à donner une motivation à l'introduction de cette notion. La définition formelle apparaît un peu plus bas dans l'article. (À part ça, si vous êtes le Beauzamy qui donna des cours à Jussieu sur les Banach en DEA en 1977 ou à peu près, je me permets de vous saluer, ayant été un de vos étudiants. Je prie les autres wikipédiens d'excuser ce message personnel).Theon (discuter) 10 août 2014 à 19:41 (CEST)
thread_title: Exemples

message: Il faudrait je pense bien expliquer comment on choisit les valeurs associées à chaque couleur, la note ne suffit pas : si tout ce qui nous intéresse c'est qu'il soit impossible de se tromper en déchiffrant le message, pourquoi est-ce qu'on ne réutilise pas le code 00/01/10/11 dans le deuxième cas, ou 0/10/110/111 dans le premier ? Si j'ai bien compris, c'est parce qu'on cherche le codage non ambigu qui entraine le H le plus petit. Utiliser 0/10/110/111 dans le premier cas donne H=2,5 bits, et 00/01/10/11 dans le second H=2 bits. Est-ce cela ?
Excellent article, sinon ! Comme dit plus haut, il est vraiment super pour comprendre le principe de l'entropie de Shannon. Je suis pas à proprement parler un néophyte, j'ai quelques bases, mais tout de même je suis bien content que cet article existe !
Cheers, Thouny (discuter) 24 janvier 2014 à 00:54 (CET)
replies: text: Oui, mais cette première phrase ajoute l'adverbe intuitivement ce qui signifie bien qu'elle se borne à donner une motivation à l'introduction de cette notion. La définition formelle apparaît un peu plus bas dans l'article. (À part ça, si vous êtes le Beauzamy qui donna des cours à Jussieu sur les Banach en DEA en 1977 ou à peu près, je me permets de vous saluer, ayant été un de vos étudiants. Je prie les autres wikipédiens d'excuser ce message personnel).Theon (discuter) 10 août 2014 à 19:41 (CEST)
thread_title: Exemple de l'urne

message: (C'est ma première contribution sur Wikipédia, ne me tapez pas!)
Bonjour, 
J'ai lu cet article et je l'ai trouvé très bon mais, pour un novice (comme moi), ce serait super d'avoir une explication détaillée de ce qu'est l'entropie conjointe et conditionnelle; certes la formule est assez explicite mais l'avoir en toutes lettres me parait encore mieux. Quand je parle d'explication, je l'entends à la manière de la description de la première formule.
Cordialement,
Lolobosse (discuter) 4 mai 2015 à 23:24 (CEST)
thread_title:  Justifier les formules conjointes et conditionnelles 

message: La formule utilise un élément log(Pi), (Pi=une probabilité) tandis que la justification de la formule log(N), la totalité des valeurs que peut prendre la variable. Comment expliquer cela ? --86.68.188.137 (discuter) 17 octobre 2017 à 20:40 (CEST)
replies: text: Puisque Pi = Ni/N, on a log(Pi) = log(Ni)-log(N). La justification sur log(N) permet d'en déduire la formule sur log(Pi) (c'est le donc H(X) =... dans l'article). Theon (discuter) 18 octobre 2017 à 10:12 (CEST)
replies: text: Sans vouloir ergoter,  cela introduit une "entropie" dans l'équation. L'article anglophone n'utilise pas cette réécriture, dans l'exemple qu'il prend (la pièce de monnaie). C'est seulement parce que log(N) = -log(1/N) que ça marche non ? au signe près --86.68.188.28 (discuter) 18 octobre 2017 à 12:16 (CEST)
thread_title:  Justification de la Formule 

message: L'inégalité de Gibbs est démontrée pour un logarithme népérien (qui a bien la propriété d'être en dessous de y=x-1) puis reprise pour justifier la formule H(X)<= log2(n)... Alors que le logarithme en base 2 en au dessus de y=x-1 quand x est compris entre 1 et 2 (ce qui peut arriver pour certaines valeurs pi/qi).
La version anglophone utilise l'inégalité de Jensen: It can be confirmed using the Jensen inequality and then Sedrakyan's inequality that
{\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log _{b}p(X)]\leq -\log _{b}\left(\mathbb {E} [p(X)]\right)\leq \log _{b}n}{\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log _{b}p(X)]\leq -\log _{b}\left(\mathbb {E} [p(X)]\right)\leq \log _{b}n}.[10]: 29  Arnaud.wikilike (discuter) 5 novembre 2022 à 19:29 (CET)
replies: text: Correction effectuée. Theon (discuter) 6 novembre 2022 à 14:45 (CET)
thread_title:  Application de l'inégalité de Gibbs 

message: on dispose d'un nombre N de symboles de la forme $N=2^n$...
Cette phrase n'est pas  correcte du point de vue du français. On pourrait croire un instant que ce sont les symboles qui sont de la forme $2^n$! Je préférerais : on dispose d'un nombre N de symboles avec $N=2^n$.. Thorailler (discuter) 23 décembre 2023 à 23:00 (CET)
replies: text: Corrigé. Theon (discuter) 24 décembre 2023 à 10:33 (CET)
thread_title:  Petite ambiguïté