Discussion:Théorie de l'information

message: __TOC__
Non, je suis navre je ne peux pas être d accord avec la premiere phrase, la fonction premiere de l'ordinateur a été le calcul.
D'autre part l'article est cense parle de theorie de l'information, et cela n'apparait nul part, work in progress oblige certes, mais tout de meme.
Dtcube
Je me demande si il ne faut pas expliquer en quoi l'entropie est une mesure de l'information.
Je ne suis pas vraiment sûr que ce soit clair pour tout le monde.
Pour ce qui est de la théorie de l'information, il faut préciser jusqu'où on veut aller.
Gus2
27-Nov-04 Gus2 Attention je vais craquer, je vais traduire la page anglaise. En fait j'hésite. je sais pas trop.
Je pense qu'on peut expliquer en quoi l'entropie est une mesure de l'information. Sinon, la formule avec les log paraît bien mystérieuse.
Je pourrai m'en charger dans les jours qui viennent. J'ai aussi déplacé un paragraphe afin de mieux structurer (à mon avis) l'article Theon 9 déc 2004 à 13:38 (CET)

message: C'est quoi. Le lien renvoie sur rien de pertinent.--Maurege 3 mar 2005 à 15:38 (CET)
thread_title:  Paradoxe du compresseur 

message: Le « i » d'information n'a pas de raison pour être en majuscule. Il serait plus facile d'extraire l'info non présente dans Théorie de l'Information et l'ajouter à Théorie de l'information. Gene.arboit 28 octobre 2005 à 21:51 (CEST)
replies: text: Fait. Gene.arboit 8 novembre 2005 à 01:16 (CET)
thread_title:  Fusion de [[Théorie de l'information]] et [[théorie de l'Information]] 

message: La mesure de l'information repose sur un constat empirique : la quantité d'information apportée par un événement est inversement proportionnelle a la probabilité de réalisation de cet événement.
Un événement certain n'apporte aucune information et plus un événement est rare plus il apporte d'information. 
Exemple trivial : dans une gare si on apprend que le train est arrivé a l'heure (probabilité quasi certaine :) ... ca n'apporte aucune information, en revanche si le train déraille (probabilité très faible, en France :) c'est une "grosse" information !
 C'est pourquoi on prend  I = 1/p
Si on fait un tableau on voit bien que ca marche.
si p = 1 (événement certain)   I = 1      
si p = 1/2  (événement équiprobable)  I = 2
si p = 1/3  (événement moins fréquent) I = 3
(...)
si p = 1/100 (événement rare)  I = 100
si p = 0  (événement impossible)  I = infini
Bien sur en prenant I = - log 1/p on obtient le même résultat puisque la fonction log est croissante sur l'intervalle [1 .. infini]
Et dans le cas p = 1 (événement certain) alors I = log 1 = 0  (la quantité d'information est nulle) etc.
NB. Le passage au log est nécessaire pour remplir ensuite les "bonnes" conditions que l'on exige de la fonction entropie de Shannon, mais ca ne change rien a la définition de l'information puisque :
 log(1/p) = log 1 - log p = 0 - log p = - log p
Seul le signe change, ce qui explique l'entropie "negativisée" H = - Somme (pi x log pi) pour retrouver une valeur positive.
En passant je signale qu'une démonstration mathématique tres simple montre que log est la seule fonction possible remplissant toutes les conditions exigées pour définir l'entropie.
TD 8 février 2008 à 10:45 (CET)
thread_title:  Précision 

message: Je trouve hors contexte le passage dans la partie historique sur Les sciences de l'information, jusqu'à l'information psychologique. Je ne suis pas sûr à quoi cela se réfère, mais cela ne devrait pas être dans l'article sur la théorie de l'information. Peut être dans un article sur l'application (plus ou moins inspirée...) des concepts de la théorie de l'info au domaine psychologique/communication. Mais ici, ça brouille complètement le propos. Des avis ? Sylenius (d) 11 novembre 2008 à 21:19 (CET)
thread_title:  Passage pas à sa place 

message: Dans la partie Quantité d'information : cas élémentaire :
Je cite :  "...l'individu A auxquelles celui-ci doit répondre sans mentir par OUI ou NON."
Suivi de : "On demande si la boîte porte le no 1 ou 2. La réponse permet alors d'éliminer deux des boîtes et il suffit d'une dernière question pour trouver quelle est la bonne boîte parmi les deux restantes."
Ce n'est pas très clair, si A ne peut repondre que par oui ou par non, B ne peut demander que "Est ce que c'est la boite n°1 qui contient l'objet" Ca ne donnera pas d'information sur la deuxieme boite puisque il reste encore 3 boite ou l'objet peut se trouver. (on se rapproche du problème de Monty Hall)
Peut être en demandant "Entre la boite 1 et la boite 2, c'est la n°1 qui contient l'objet" ...?
--DadouBordeaux (discuter) 30 janvier 2017 à 20:44 (CET)
thread_title:  Enoncé litigieux 

message: Ce passage sous le sous-titre Information imparfaite, dénué de source, confond information avec sème, et inférence bayésienne avec psychologie, et contredit la section Limites.
Quand il s'agit d'humains, la théorie de l'information ne s'applique par : elle suppose un émetteur et un récepteur dotés du même code, qui permet de reconstituer exactement le message. Entre humains, cette situation n'existe pas. La reproduction exacte du message est une exception rare ; en ce qui concerne les opinions et les décisions, elle n'existe pas. Sperber (La contagion des idées, 1996) résume le processus. Une représentation mentale (privée) provoque l'émission d'une représentation publique (matérielle, dont la transmission par des moyens techniques est le sujet de la théorie de l'information). Le ou les récepteurs interprètent cette représentation publique en l'agglomérant à des éléments cognitifs pour consituer une nouvelle représentation privée. Quand la transmission est réussie, la représentation mentale ressemble à celle de l'émetteur, mais n'est pas identique (ce qui permet la science, par le débat et les éclaircissements requis), et, autre différence avec la théorie de l'information, le message ne contient jamais tout le code nécessaire à l'interprétation. La mémoire du récepteur et le contexte de réception jouent.
L'inférence bayesienne concerne les déductions que l'on peut tirer sur les causes, connaissant les conséquences. Il faudrait au moins deux sources qui la relient à l'énoncé, la première qui défende le raisonnement d'ensemble, et la seconde qui affirme que l'inférence bayesienne se quantifie en bits. Elle aboutit à un niveau d'« évidence » souvent  .
Je le supprime. Merci de fournir des sources, si il y en a. PolBr (discuter) 19 juillet 2021 à 21:42 (CEST)
thread_title:  Information imparfaite