Newsgroup: it.scienza.fisica
Titolo: entropia e informazione

un generatore di numeri random VERO, ossia una sorgente di 
entropia, produce informazione ?
mi parrebbe di si, ma al contempo penserei che si tratti di 
informazione inutile, pari al rumore bianco (che non si può 
"comprimere" in modo lossless ma non serve ugualmente a nulla)
 
esiste un qualche indice qualitativo che descriva la 
"qualità" (il pregio, diciamo) dell'informazione ?
 
chiaramente sto parlando di informazione in senso non 
proprio "antropico" ma comunque da un punto di vista che 
comporti una qualche generica utilità di qualsiasi tipo (ho 
la sensazione che l'informazione totalmente random invece 
non ne abbia nessuna).
 
Esiste qualche modo, come dire "matematico", per analizzare 
dei dati e capire quanto rumore bianco e quanta informazione 
"pregiata" contengano ?
 
-- 
1) Resistere, resistere, resistere.
2) Se tutti pagano le tasse, le tasse le pagano tutti
Soviet_Mario - (aka Gatto_Vizzato)

 pregio, diciamo) dell'informazione ?
 
 
Finché non definisci l'informazione è un po' difficile anche ipotizzare 
una risposta.
 
La definizione quantitativa classica della teoria del' informazione 
associa l'informazione ad un evento che abbia probabilità p_i, come 
logaritmo dell' inverso della probabilità dell'evento ( I_i = -log(p_i) 
). Questo dà un modo *quantitativo* di valutare l'informazione. Se vuoi 
considerare più "pregiata' un'informazione maggiore direi che è una 
questione interpretativa ma non la vedo necessaria.
 
Giorgio

 "pregiata" contengano ?
 
Amo a dismisura l'articolo originale del 1948 di C. E. Shannon: A Mathematical Theory of Communication
http://www.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
 
 
 
Peraltro quando parli di un "un generatore di numeri random VERO" ti scontri con le considerazioni di Borel citate nello stupendo libro di Gregory Chaitin "META MATH! The Quest for Omega" 
https://arxiv.org/pdf/math/0404335.pdf
 
a pag 107 (119 del file pdf) concludendo che più guardi da vicino la casualità, meno la vedi.
 
 
L'idea di base è invece citata a pag. 53 (65): se una serie di numeri può essere "compressa" allora possiamo dire che segue una legge. La miglior legge è quella che comprime di più. Se non puoi comprimere la serie allora è irriducibile, casuale.
 
Quell'articolo e questo libro costituiscono, penso, la base per ogni discussione sul tema che hai proposto.
 
fp
 
 
 
 

 a pag 107 (119 del file pdf) concludendo che più guardi da vicino la casualità, meno la vedi.
....
 
Quindi una sequenza di uscite di un dado non truccato  lanciato 
onestamente sarebbe problematico considerarla casuale? Mi sembra un po' 
eccessivo, visto che in fisica quello è un esempio di fenomeno che viene 
*definito* casuale.
 
In ogni caso hai implicitamente assunto uno dei possibili significati di 
informazione ma neanche tu l'hai esplicitato.

 informazione ma neanche tu l'hai esplicitato.
 
 
Personalmente ho solo indicato due documenti che nel tempo mi hanno fatto pensare e dubitare. Come (forse) ricordi, trovo Chaitin ostico, ed in genere contrario al mio modo di pensare: appunto per questo lo prendo in forte considerazione.
 
 
Il processo indicato da Shannon per introdurre la misura dell'informazione si basa sulla probabilità "equally likely" e "influence of the statistics of the message" nel caso di un numero finito di messaggi (il metodo di misura l'hai indicato nel tuo post precedente)
 
 
Quello di Chaitin sulla possibilità di "sintetizzare" o comprimere la codifica; nel libro, sostanzialmente speculativo, entra anche un concezione della "legge" che a volte cozza con il "fare" del fisico.
 
Entrambi vengono dal mondo della tecnologia (Bell uno, IBM l'altro).
 
Il paradosso che Chaitin attribuisce a Borel è il seguente:
 
0) per "casuale" intendiamo qualcosa che non sia descrivibile da una particolare legge
1) esplicitiamo una definizione di "sequenza casuale finita", ad esempio di "1" e "0", per comodità metto 10 simboli in sequenza
2) ordiniamo la sequenza
3) consideriamo la prima sequenza che corrisponda alla nostra definizione di "casuale"
 
 
Ecco che tale sequenza "casuale" è in realtà descritta dalla legge che la indica come 'prima sequenza che corrisponda alla nostra definizione di "casuale"', quindi non è "casuale"
 
In conclusione.
 
 
E' vero, propendo per una definizione di informazione alla Shannon, tutta via parlare di informazione significa aver già risolto la definizione di:
 
caso, probabilità, legge, 
 
oltre che aver già definito l' "utilità" o il contesto di cui si parla nel post iniziale.
 
Furio

 Giorgio


Il 24/10/19 00:23, Furio Petrossi ha scritto:

ti ringrazio per gli spunti ... ma non credo di avere le 
spalle matematicamente abbastanza larghe da poter affrontare 
autonomamente le letture proposte cavandone qualcosa :(


Il 24/10/19 00:23, Furio Petrossi ha scritto:

ecco queste ultime considerazioni che hai fatto mi sembrano 
dannatamente simili ad un punto che avevo tentato di 
descrivere alla risposta a Giorgio dove distinguevo (negli 
input che arrivano dalla natura alla mente o rete neurale) 
una componente totalmente stocastica, rumore, da una 
componente con struttura matematica che ricalca le leggi 
fisiche, ritenendo che la conoscenza ci venga in realtà solo 
dal riconoscimento della seconda (chiaramente non ho idea di 
COME facciamo a riconoscerla) ... a questo punto tenterò lo 
stesso di leggere qualcosa del materiale, senza tante speranze.


 COME facciamo a riconoscerla)
 
I teorici della comunicazione la risolvono con la ridondanza, informazioni di controllo aggiunte al messaggio.
 
"nfrmzn d cntrll ggnt l mssgg" è soggetto al rumore più di "informazioni di controllo aggiunte al messaggio".
 
fp

 autonomamente le letture proposte cavandone qualcosa :(
 
Ho cercato di introdurre la definizione di Shannon in un esempio su un foglio dinamico, di cui dirò in seguito.
 
Ho quattro colori, il messaggio è un particolare colore scelto (mettiamo il "blu").
Quale sarà?
Posso fare solo domande la cui risposta sia "sì" o "no", ad esempio "è verde ovvero blu?"
 
Non posso dire che debba per forza fare quattro domande del tipo "è rosso?", "è blu?": ne bastano due: "è rosso o blu?" se la risposta è positiva, domando "è rosso?" alla risposa negativa so che è il "blu".
La misura dell'informazione è 2 bit, due domande binarie.
 
Mettiamo di avere n colori, con n pari, e che tutti i colori siano equiprobabili, allora il numero di colori e di domande binarie necessarie sono legate dalla legge:
2^(numero - massimo - di domande necessarie) = numero di colori
ovvero
Numero di domande binarie = logaritmo in base due del numero di colori.
 
 
Qualcuno preferisce vedere il logaritmo in base due della probabilità di uscita di ogni singolo colore, che in questo caso è log2(1/4)=-2 e cambiare di segno.
 
 
Ma se i colori non sono equiprobabili allora non tutte le domande avranno lo stesso peso: ogni "logaritmo" andrà pesato con la probabilità che la domanda corrispondente colga nel segno.
 
Questi "pesi", nel foglio dinamico
Entropia e informazione
https://www.geogebra.org/m/Rng5BcBF
 
possono essere cambiati.
 
Se tutti valgono 0.25 ricadiamo nel caso della equiprobabilità, ma se vale ad esempio il caso iniziale
probabilità_rosso = 1/2
probabilità_verde = 1/4
probabilità_blu = 1/8 da cui
probabilità_magenta = 1/8
 
Il numero medio di domande diminuisce e diventa 1.75 anziché 2: l'entropia è diminuita e il suo opposto, l'informazione, è aumentata.
 
 
1.75 bit = -somma_i (p_i * log2 (p_i))-[1/2 log2(1/2) + 1/4 log2(1/4) + 1/8 log2(1/8) + 1/8 log2(1/8)]= 7/4 = 1.75
 
https://www.wolframalpha.com/input/?i=-%5B1%2F2+log2%281%2F2%29+%2B+1%2F4+log2%281%2F4%29+%2B+1%2F8+log2%281%2F8%29+%2B+1%2F8+log2%281%2F8%29%5D
 
 
 
Vengono simulati degli esiti medi attraverso il pulsante "Ricalcola!"
 
Questa è la matematica necessaria, penso sia abbondantemente nelle tue spalle.
 
Furio

 
 
 


 di là della mia portata
Ti potrei fare il solito discorso di Galileo sulla matematica come
linguaggio necessario per capire l'Universo.
 
Ma stasera mi sento costruttivo :-)
Prova a leggere
http://www.sagredo.eu/candela/
 
Due files: candel39.pdf e candel40.pdf
E' roba scritta per insegnanti di scienze, quindi dovresti trovarla
accessibile.
Non c'è la risposta alle tue domande, che del resto io non ho capito.
Ma dovresti trovarci un approccio sensato all'informazione secondo
Shannon.
 
 
-- 
Elio Fabri

 dal riconoscimento della seconda 
 
I problemi che poni divergono parzialmente dagli obiettivi del forum ma, ponendo il problema del "conoscere", sono certamente pertinenti.
 
 
Per quanto riguarda il conoscere e l'apprendere sono partito da Piaget, dai concetti di assimilazione e accomodamento: la novità provoca una ristrutturazione degli schemi interpretativi riportando a un diverso equilibrio. 
 
 
E' stato naturale poi rivolgermi al costruttivismo, in particolare Maturana e Varela. Non basta un input per conoscere, perché il significato si costruisce: l'input diventa informazione solo dentro sé, attraverso i diversi schemi che continuamente si ridefiniscono (autopoiesi). Quindi non è possibile definire un Universo esterno, bensì un "Multiverso" che accoglie i diversi punti di vista.
In questo si supera la staticità di un "a priori fisiologico" nonché di un "a priori" kantiano.
 
 
Le reti neurali hanno questa capacità (parziale) di ristrutturarsi per cui sono un modello che ha fatto discutere; in Italia è stato Domenico Parisi il "profeta" del connessionismo, che si oppone all'ultimo cognitivismo che vedrebbe la mente come un processore di informazioni.
 
 
 
 
Sul discorso del rumore, ebbene la discriminazione tra rumore e segnale non è sempre possibile. Conosco persone religiose e decisamente intelligenti che dal rumore bianco registrato da una radio cercano di riconoscere messaggi provenienti dai defunti. E' il loro particolare multiverso: interpretano il mondo anche attraverso esperienze religiose (del resto il Prof. Franco Fabbro ha studiato la “Neuropsicologia dell’esperienza religiosa” secondo cui il senso del sacro fa parte degli schemi interpretativi della mente).
 
In sintesi, poni un problemone.
 
Furio

Il 24/10/19 21:22, Elio Fabri ha scritto:

danke, leggerò !


Il 24/10/19 21:22, Elio Fabri ha scritto:

uhm, ho già un dubbio "grave" a metà di pagina 5 del 
documento 39
 
li si introduce il concetto di non equiprobabilità dei 
simboli, e lo digerisco senza problemi.
 
Dopo tuttavia si usa la probabilità come CERTEZZA, ponendo 
un limite al numero totale di possibili messaggi, e questo 
non lo capisco per niente.
Come può un messaggio improbabile essere escluso dal set dei 
possibili messaggi con sicurezza ? Boh ....
 
 
anche a pag 6 ritrovo lo stesso trattamento della 
probabilità in certezza, laddove si parla di un numero con, 
IN MEDIA (quindi considerando un messaggio infinito e/o un 
numero infinito di messaggi finiti) uno zero ogni cento 
"uni", e dici che bastano 400 cifre (mentre per me sono IN 
MEDIA 400 cifre).
 
quel che non capisco è come sia possibile estrapolare dalla 
quantità di informazione media a quella del singolo 
messaggio (SE si può .... questo nel testo sinora letto non 
è esplicitato).
Da un lato ricordo molto vagamente (anni fa avevo 
studiacchiato gli Huffman trees e altre codifiche) che in 
effetti gli algoritmi di compressione "medi" potevano ben 
incontrare il cosiddetto "worst scenario" dove non solo non 
comprimevano più il messaggio, ma lo espandevano di più.
 
Sostanzialmente il mio dubbio è come si possa dedurre 
qualcosa di utile dallo scenario infinito (che è l'unico 
caso in cui la frequenza probabilistica assume un'aura di 
sicurezza) a suoi sempre più ristretti sottoinsiemi dove le 
frequenze non sono più particolarmente mandatorie (e se lo 
sono non mi è chiaro perché lo sono)
 
sottolineo che non sto invece mettendo in dubbio che un 
messaggio con forti asimmetrie di frequenza sia più 
comprimibile : mi suona ragionevolissimo. Solo che mi pare 
sempre un ragionamento "ex post" mentre la formula generica 
citata mi pareva volesse avere un carattere PREDITTIVO che 
non capisco molto.
 
***
 
Nel secondo doc (40)  a pagina 4 in alto trovo invece una 
frase che si incastra parecchio coi dubbi che avevo già 
esposto tra informazione buona e entropia "inutile", questa 
: <<...Il vero problema e` che il rumore
confonde i messaggi : e` per questo che riduce il contenuto 
d’informazione. Vediamo di capire perche ́...>>
 
che era la ragione per cui ero stato perplesso alla fonte di 
entropia pura come motore di apprendimento.
 
 
a inizio pagina 5 ho ancora un altro dubbio : come può il 
trasmittente conoscere le posizioni degli errori. E' sempre 
vero ? Mi sembra una situazione alquanto ristretta. Più in 
generale lo scenario più frequente mi sembrerebbe quello in 
cui ENTRAMBI gli attori della comunicazione non conoscano le 
posizioni.
nel qual caso si potrebbe concordare di trasmettere ogni TOT 
simboli una sequenza fissa, nota, seguita da un numero noto 
di simboli tipo "hash", una checksum che vari fortemente 
(anche se non univocamente) anche solo alterando un unico 
simbolo del messaggio. Se il ricevente ricalcola lo hash del 
messaggio e non riottiene la stessa checksum (ahimè potrebbe 
essere affetta pure essa da errore :)) allora deve chiedere 
la intera ritrasmissione.
 
***
 
vedo che in seguito, nei messaggi reali, affermi la stessa 
cosa. Bene :)
 
cmq articoli entrambi interessanti
 
____________________________________________________________
P.S. hai mai pensato all'azzardatissima idea di assegnare un 
TITOLO esplicativo agli articoli invece che un numero 
progressivo ?
 
Te lo dico perché sono stato vittima dello stesso problema 
quando caricavo i video su you tube (ad ogni file avevo 
assegnato con tutta la cura possibile un titolo che era 
praticamente un riassunto degli argomenti ... ma visto che 
facevo mass-upload il perfido YouTube mi spazzava via i 
titoli dei file e assegnava a ciascuno il nome del canale ! 
... risultato, pochi utenti, che si lamentavano 
dell'inusabilità dei contenuti e poi abbandonavano).
 
A posteriori non ho mai più potuto ricostruire le 
associazioni, dovrei riguardarmi i video (e sai che noia) e 
ritrovare i titoli originali.
 
Ma di fatto una lista numerata è inutilizzabile salvo che 
l'autore stesso ti reindirizzi, come hai fatto ora. 
Purtroppo è un gran peccato


 "pregiata" contengano ?
 
Secondo me no. Un'informazione pregiata perfettamente
compressa sarebbe indistinguibile da un rumore casuale (per
chiunque non ne conosca la codifica).
In generale, qualunque informazione e` tale solo per chi ne
conosce la codifica. Se voglio inviare un messaggio
universale, che chiunque possa capire, devo metterci
abbastanza ridondanza da consentire di intuirne la codifica,
che dev'essere semplice.
In sostanza, devo codificare nel messaggio informazioni
sicuramente gia` note al destinatario per fargli capire
com'e` fatta la codifica. Per un messaggio diretto ad alieni
potrei trarre queste informazioni da matematica, fisica,
chimica, astronomia; serve quindi, in generale, una base
comune di conoscenza. Deve trattarsi di una base
abbastanza utile da consentire di ricondurre direttamente o
indirettamente ogni informazione presente nel messaggio a
concetti noti presi da quella base. Tanto per intenderci,
con una base di pura matematica non si andrebbe tanto
lontano da poter decodificare neanche un semplice "ho fame".
 
Non credo quindi che sia definibile un criterio matematico
(cioe` un algoritmo) per determinare il contenuto di
informazione "pregiata" di un messaggio senza conoscerne la
codifica. L'algoritmo dovrebbe riuscire a decodificarlo, ma
i messaggi codificati ottimamente sarebbero in generale
indecifrabili. Per decifrare almeno quelli decifrabili,
l'algoritmo dovrebbe sfruttarne la ridondanza e usare una
base comune di conoscenza; dovrebbe quindi includere
qualcosa che esula dalla pura matematica (per rispondere
alla tua domanda).
 
Ciao
Paolo Russo

 Due files: candel39.pdf e candel40.pdf
 
Non li trovo piu!
Li trovo invece su
http://osiris.df.unipi.it/~fabri/sagredo/candela/candel39.pdf
 
http://osiris.df.unipi.it/~fabri/sagredo/candela/candel40.pdf
 
 
fo

 
http://osiris.df.unipi.it/~fabri/sagredo/candela/candel40.pdf
 
Che vuol dire che non li trovi più?
Che messaggio ricevi?
Come hai visto, altri non hanno avuto il tuo problema.
 
Aggiungo che l'url che hai dato *non deve essere usato*.
Sono anni che non ho più accesso a quel sito e non ho alcun controllo
su quello che ci si trova.
Se tenti
http://osiris.df.unipi.it/~fabri
 
o anche
http://www.df.unipi.it/~fabri
 
trovi un messaggio che ti avverte.
 
 
-- 
Elio Fabri

 comunicazione non conoscano le posizioni.
Ma certo.
Qui ho tentato (in una forma forse infelice) di trasmettere l'idea di
come la ridondanza possa permettere (con alta probabiità) la
correzione degli errori).
Visto che sai qualcosa dei codici di Huffman sai che cosa volevo in
realtà dire.
 
Voglio trasmettere un msg binario in cui ogni singolo bit, indip.
dagli altri, ha una prob. di errore pari a p.
Assumo che p sia abbastanza piccola da poter trascurare la probab. che
nel msg compaiano due errori (questo non è un limite insuperabile: ci
rende la vita più difficile, ma occorrendo si può andare oltre).
Per es. un solo errore su 7 bit.
Allora debbo solo scovare un certo insieme di msg diversi, sui 128
possibili, tali che
1) un errore non trasformi mai un msg lecito in un altro pure lecito
2) un msg illecito ricevuto mi permetta di risalire al msg lecito da
cui proviene (a causa di un singolo errore su 7 bit).
Si può dimostrare che in queste ipotesi con 7 bit ne puoi trasmettere
4 privi di errori (codice 4/7).
 
Questa codifica fallisce solo se siamo così sfortunati che invece il
gruppo di 7 bit incappa in due errori.
Quindi non abbiamo veramente azzerato la probab. di errore, ma se p
era piccola p^2 è molto più piccola, quindi ci abbiamo guadagnato, al
prezzo di ridurre a un fattore 4/7 la velocità di trasmissione.
 
A mio parere se in quella puntata avessi fatto un discorso come
questo, avrei perso praticamente tutti i lettori.
(Come ho già scritto, ho il sospetto di averli persi già con le
semplificazioni che ho fatto :-( )
 
 
-- 
Elio Fabri

 semplificazioni che ho fatto :-( )
 
purtroppo mi è venuta l'insana curiosità (insana perché 
certamente richiederebbe un armamentario matematico non 
riducibile come hai potuto fare nel pezzo) di capire come 
varierebbe l'informazione nel caso di probabilità di eventi 
condizionati ad un "passo" arbitrario (intendo condizionati 
sia a breve che medio raggio dalla storia dei bit precedenti).
 
Ci sto pensando perché nelle lingue molte persone riescono a 
usare le "collocations" per addirittura predire i vocabili 
che in certi contesti specifici stanno per arrivare, cosa 
che se forse non rafforza la decodifica, sicuramente aiuta a 
stare in pari senza accumulare. Sono contesti che aiutano la 
risincronizzazione perché riconoscibili. E siccome sono 
cluster di più vocaboli pochissimo variabili immagino che 
facciano risparmiare anche molti bit.
 
LOL per il mandatorie :)
 
cmq ... qualche volta, lo ammetto, mi dai ai nervi.
Ma oggi, quando ho letto la frase sul terrorista che non ha 
"shreddato" (te gusta shreddato ?) i files, e MAGARI AVEVA 
PURE L'E-IPASS e si riteneva un esperto informatico mentre 
sapeva usare un paio di prodotti M$
... ho avuto un parossismo di ... boh, non so descriverlo ! 
Tipo quando guardo i vecchi Guzzanti :) ;)
mi son detto:  quest'uomo is a f***ing genius.
Rido ancora adesso se penso all'aneddoto. Vera arguzia.
 
E tra l'altro uno o due anni fa, non ricordo, io l'EIPASS ho 
dovuto subirlo sulla pelle viva (online per lo meno). A 
qualcosina mi è pure riuscito a servire : a migliorare gli 
indici strutturali navigabili nei documenti. Poco altro.
 
Era così M$-oriented che, pur usando LbO di routine da un 3 
anni almeno, perché su Linux quello ci sta, alla fine ho 
fatto gli esami sulla piattaforma Office e non su LbO.
 
un altro corsaccio, comprato e pagato in anticipo, 
organizzato da una branca dalla ditta dietro ECDL, l'ho 
persino abortito : non menzionava uno che fosse uno FOSS
solo roba ingannevolmente FREEMIUM e che richiedeva 
registrazioni e che non salvava mai i dati in locale ma solo 
in cloud. Cioè sostanzialmente tu li pagavi, dopo lavoravi 
per loro per rimpolpare i loro cataloghi di materiali più o 
meno malfatti.
Per un corso orientato all'educational lo trovai quanto di 
più antietico immaginabile. Stanno sterzando con ogni forza 
verso una formazione a pagamento dove il povero ma motivato 
sia fregato a priori.


 "pregiata" contengano ?
 
E' una bella questione della quale mi ero interessato
un po' con un mio amico quando eravamo studenti.
Purtroppo siamo ingegneri elettronici, non informatici,
anche se devo dire che è sempre più difficile trovare
informatici interessati a questi aspetti.
 
Ad ogni modo la risposta generale alla tua domanda è no.
Poi esistono casi particolari.
Ad esempio, una sequenza di yottabit pseudocasuali conterrà
yottabit di informazione fino a quando non conoscerai
l'algoritmo che li ha generati. A quel punto la sequenza di
yottabit conterrà semplicemente un'informazione di poche
centinaia di bit, quelli necessari a descrivere l'algoritmo.
 
Da questa osservazione ci era venuta l'idea di porre le basi
di una teoria della relatività dell'informazione. Cioè
il contenuto di informazione di ogni oggetto non è definito
e assoluto, ma varia in funzione dell'osservatore, così come
uno stesso libro di Hawking contiene molta informazione per
uno studente di fisica mentre contiene zero informazione per
il cantante Achille Lauro.
 
Portando la teoria a estreme conseguenze, avevamo ipotizzato che
l'intero universo e la sua storia passata e futura che a
noi appaiono incomprensibili e casuali (a parte quel pochissimo
che abbiamo capito dalle osservazioni di migliaia di anni),
potessero essere descritti con "pochi" bit, quelli
che descrivevano lo stato dell'universo immediatamente precedente
il big bang.
E poi abbiamo lasciato perdere, anche pensando che il mondo
quantistico sfugge all'osservazione completa ed è imprevedibile.

 mia portata
 
Hai provato a leggerlo? È sorprendentemente accessibile.

 È sorprendentemente accessibile.
 
maybe dipende dal background di ciascuno tale percezione
