Discussione:Entropia (teoria dell'informazione)

message: Grazie chi ha inserito le informazioni relative al contributo di von Neumann alla definizione del concetto di entropia, e grazie anche per il gustoso aneddoto.
Pongo pero' la domanda: è certo che von Neumann abbia contribuito alla dimostrazione del I teorema di Shannon? A me non risulta. Credo che la dimostrazione che l'autoinformazione media coincide con il minimo costo di codifica sia un risultato dovuto unicamente a Shannon. Se invece è vero il contrario, grazie per aver riempito una lacuna nelle mie conoscenze!
----
--Marco77 12:13, Mar 22, 2005 (UTC)
:Se leggi il documento che ho messo in collegamenti esterni, è autoesplicativo. Shannon ha ampliato la definizione di Von Neumann di entropia. --BW Insultami 13:34, Mar 22, 2005 (UTC)
ciao BW, ho letto il documento, e per quanto ci ho capito (visto che personalmente mi occupo di teoria dell'informazione e non di termodinamica no tantomeno di fisica quantistica) non mi pare che indichi che von Neumann abbia contribuito alla dimostrazione del I teorema di Shannon. (Anzi, questo documento dice esplicitamente che von Neumann non si è occupato di teoria dell'informazione.) Specifico: questo teorema dice che: il minimo tasso di codifica di una sorgente aleatoria stazionaria coincide con il tasso entropico della sorgente stessa, che a sua volta coincide con l'entropia di simbolo se tutti i simboli sono indipendenti.
A mio parere dunque, senza voler minimamente sminuire il contributo di von Neumann al concetto di entropia, nell'ambito della teoria dell'informazione il suo apporto non è cosi' rilevante. Modificherei l'articolo come segue: 
Si deve a Claude Shannon la dimostrazione che le due definizioni sono coincidenti. In altre parole, nel primo teorema di Shannon, o teorema di Shannon sulla codifica di sorgente, si dimostra che una sorgente casuale d'informazione non può essere rappresentata con un numero di bit inferiore alla sua entropia, cioè alla sua autoinformazione media. È interessante considerare la relazione tra entropia termodinamica ed entropia nella teoria dell'informazione Come ricordò Shannon più tardi,
    'La mia più grande ...' eccetera
--Marco77 12:54, Mar 24, 2005 (UTC)
Be', il risultato di von Neumann è prettamente statistico: egli collega la somma delle probabilità delle possibili configurazioni all'entropia di un qualunque sistema. Shannon ha semplicemente definito i bit di un'informazione nei termini espressi da von Neumann. Credo che la diatriba sia a chi dare la palma di aver introdotto entropia statistica, e von Neumann l'ha fatto in generale, Shannon l'ha applicato all'informazione. Shannon ha applicato, a quanto pare ricavandolo ex-novo, il teorema statisco sull'entropia. Volendo si può aggiungere indipendentemente da qualche parte e esplicitando l'applicazione alla teoria dell'informazione da parte di Shannon. Che ne dici? --BW Insultami 14:19, Mar 24, 2005 (UTC)
----
--marmo 22:59, 3 mag 2007 (CEST)
replies: text: I è l'autoinformazione (e l'ho esplicitato), E è l'operatore valore atteso, e non credo sia necessario esplicitare anche quello (visto che comunque si parla di media di... nel testo e poi nella formula viene scritto come sommatoria). --Francesco (All your base are belong to us) 00:31, 14 mag 2007 (CEST)
thread_title:  Von Neumann 

message: Ho spostato la sezione "Entropia e informazione" dalla voce Entropia (termodinamica) alla voce Entropia (teoria dell'informazione). Ho lasciato i link in "voce correlate". --Aushulz (msg) 02:02, 30 set 2008 (CEST)
thread_title:  "Entropia e informazione" 

message: Gentili utenti,
ho appena modificato 1  sulla pagina Entropia (teoria dell'informazione). Per cortesia controllate la mia modifica. Se avete qualche domanda o se fosse necessario far sì che il bot ignori i link o l'intera pagina, date un'occhiata a queste FAQ. Ho effettuato le seguenti modifiche:
*Aggiunta del link all'archivio https://web.archive.org/web/20050509160627/http://www.renyi.hu/~petz/7vn.pdf per http://www.renyi.hu/~petz/7vn.pdf
Fate riferimento alle FAQ per informazioni su come correggere gli errori del bot.
Saluti.—InternetArchiveBot (Segnala un errore) 20:15, 6 mag 2020 (CEST)
thread_title:  Collegamenti esterni modificati 

message: Una procedura automatica ha modificato uno o più collegamenti esterni ritenuti interrotti:
*Aggiunta del link all'archivio https://web.archive.org/web/19980131083455/http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html per http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html
*Aggiunta del link all'archivio https://web.archive.org/web/19980715013250/http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf per http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf
In caso di problemi vedere le FAQ.—InternetArchiveBot (Segnala un errore) 00:09, 6 gen 2022 (CET)
thread_title:  Collegamenti esterni interrotti