Newsgroup: it.hobby.enigmi
Titolo: La teoria dei Gini [lunghetto]

Scusate se apro l'ennesimo thread sugli ormai mitici Gino e Gina
(grazie a FraSisto per questo bel problema!), ma mi e' capitato di
dire strada facendo qualche stupidaggine e vorrei sottolinearla qua  :o)
nella speranza di qualche commento consolatorio.
Di tutta la faccenda mi e' rimasta la convinzione (indimostrata)
che 8 bit contengano tanta informazione quanta quella che
occorre per indovinare mediamente 13.60546875 bit su 16.
Gia', ma che cos'e' l'informazione? L'informa-zione e' quella
cosa che dovrebbe essere definita nella prima pagina di
qualunque manuale di informa-tica, di matematica e di...
giornalismo! Ma, sara' che sono 'gnorante (e lo sono), sara'
che ho i testi sbagliati, io 'sta definizione non la trovo, anche
se poi son tutti li' a declamare che il bit e' la sua unita' elementare.
Come faremo poi a dire che l'informazione delle sei reti tv
del Berlusca e' falsa e tendenziosa, se non sappiano neanche
che cos'e'!  :o))
E allora me la sono (re)inventata io una definizione, che suona
all'incirca cosi':
"L'informazione contenuta in un dato e' l'inverso della
probabilita' di indovinare per caso il dato stesso".
Alla fine, non so voi, questa definizione mi soddisfa, anche
filosoficamente (di una filosofia dualistico-occidentale :o)):
il Caos contrapposto all'Ordine, il Caso all'Informazione.
E me ne permette una "misura" che mi consentira' di
confrontare situazioni diverse, di rispondere a domande
del tipo: c'e' piu' informazione nel conoscere 11 bit su 16
o nel conoscerne 7 su 9? Nel DNA umano o nell'Enciclopedia
Britannica?
Limitandoci alle stringhe binarie (colonne di doppie, per
i sistemisti del Totocalcio), dalla definizione possiamo
tentare una formula. L'informazione necessaria per indovinare
n bit su m vale:
Info(n, m) = 2^m/(m!/(n!*(m-n)!))        S.E.&.O.
Proviamo a tabularne un bel po' di valori:
Info( 1, 1) = 2
Info( 1, 2) = 2
Info( 2, 2) = 4
Info( 1, 3) = 2.66666666666667
Info( 2, 3) = 2.66666666666667
Info( 3, 3) = 8
Info( 1, 4) = 4
Info( 2, 4) = 2.66666666666667
Info( 3, 4) = 4
Info( 4, 4) = 16
Info( 1, 5) = 6.4
Info( 2, 5) = 3.2
Info( 3, 5) = 3.2
Info( 4, 5) = 6.4
Info( 5, 5) = 32
Info( 1, 6) = 10.6666666666667
Info( 2, 6) = 4.26666666666667
Info( 3, 6) = 3.2
Info( 4, 6) = 4.26666666666667
Info( 5, 6) = 10.6666666666667
Info( 6, 6) = 64
Info( 1, 7) = 18.2857142857143
Info( 2, 7) = 6.09523809523809
Info( 3, 7) = 3.65714285714286
Info( 4, 7) = 3.65714285714286
Info( 5, 7) = 6.09523809523809
Info( 6, 7) = 18.2857142857143
Info( 7, 7) = 128
Info( 1, 8) = 32
Info( 2, 8) = 9.14285714285714
Info( 3, 8) = 4.57142857142857
Info( 4, 8) = 3.65714285714286
Info( 5, 8) = 4.57142857142857
Info( 6, 8) = 9.14285714285714
Info( 7, 8) = 32
Info( 8, 8) = 256
Info( 1, 9) = 56.8888888888889
Info( 2, 9) = 14.2222222222222
Info( 3, 9) = 6.0952380952381
Info( 4, 9) = 4.06349206349206
Info( 5, 9) = 4.06349206349206
Info( 6, 9) = 6.0952380952381
Info( 7, 9) = 14.2222222222222
Info( 8, 9) = 56.8888888888889
Info( 9, 9) = 512
Info( 1, 10) = 102.4
Info( 2, 10) = 22.7555555555556
Info( 3, 10) = 8.53333333333333
Info( 4, 10) = 4.87619047619048
Info( 5, 10) = 4.06349206349206
Info( 6, 10) = 4.87619047619048
Info( 7, 10) = 8.53333333333333
Info( 8, 10) = 22.7555555555556
Info( 9, 10) = 102.4
Info( 10, 10) = 1024
Info( 1, 11) = 186.181818181818
Info( 2, 11) = 37.2363636363636
Info( 3, 11) = 12.4121212121212
Info( 4, 11) = 6.20606060606061
Info( 5, 11) = 4.43290043290043
Info( 6, 11) = 4.43290043290043
Info( 7, 11) = 6.20606060606061
Info( 8, 11) = 12.4121212121212
Info( 9, 11) = 37.2363636363636
Info( 10, 11) = 186.181818181818
Info( 11, 11) = 2048
Info( 1, 12) = 341.333333333333
Info( 2, 12) = 62.0606060606061
Info( 3, 12) = 18.6181818181818
Info( 4, 12) = 8.27474747474747
Info( 5, 12) = 5.17171717171717
Info( 6, 12) = 4.43290043290043
Info( 7, 12) = 5.17171717171717
Info( 8, 12) = 8.27474747474747
Info( 9, 12) = 18.6181818181818
Info( 10, 12) = 62.0606060606061
Info( 11, 12) = 341.333333333333
Info( 12, 12) = 4096
Info( 1, 13) = 630.153846153846
Info( 2, 13) = 105.025641025641
Info( 3, 13) = 28.6433566433566
Info( 4, 13) = 11.4573426573427
Info( 5, 13) = 6.36519036519036
Info( 6, 13) = 4.77389277389277
Info( 7, 13) = 4.77389277389277
Info( 8, 13) = 6.36519036519036
Info( 9, 13) = 11.4573426573427
Info( 10, 13) = 28.6433566433566
Info( 11, 13) = 105.025641025641
Info( 12, 13) = 630.153846153846
Info( 13, 13) = 8192
Info( 1, 14) = 1170.28571428571
Info( 2, 14) = 180.043956043956
Info( 3, 14) = 45.010989010989
Info( 4, 14) = 16.3676323676324
Info( 5, 14) = 8.18381618381618
Info( 6, 14) = 5.45587745587746
Info( 7, 14) = 4.77389277389277
Info( 8, 14) = 5.45587745587746
Info( 9, 14) = 8.18381618381618
Info( 10, 14) = 16.3676323676324
Info( 11, 14) = 45.010989010989
Info( 12, 14) = 180.043956043956
Info( 13, 14) = 1170.28571428571
Info( 14, 14) = 16384
Info( 1, 15) = 2184.53333333333
Info( 2, 15) = 312.07619047619
Info( 3, 15) = 72.0175824175824
Info( 4, 15) = 24.0058608058608
Info( 5, 15) = 10.9117549117549
Info( 6, 15) = 6.54705294705295
Info( 7, 15) = 5.09215229215229
Info( 8, 15) = 5.09215229215229
Info( 9, 15) = 6.54705294705295
Info( 10, 15) = 10.9117549117549
Info( 11, 15) = 24.0058608058608
Info( 12, 15) = 72.0175824175824
Info( 13, 15) = 312.07619047619
Info( 14, 15) = 2184.53333333333
Info( 15, 15) = 32768
Info( 1, 16) = 4096
Info( 2, 16) = 546.133333333333
Info( 3, 16) = 117.028571428571
Info( 4, 16) = 36.0087912087912
Info( 5, 16) = 15.003663003663
Info( 6, 16) = 8.18381618381618
Info( 7, 16) = 5.72867132867133
Info( 8, 16) = 5.09215229215229
Info( 9, 16) = 5.72867132867133
Info( 10, 16) = 8.18381618381618
Info( 11, 16) = 15.003663003663
Info( 12, 16) = 36.0087912087912
Info( 13, 16) = 117.028571428571
Info( 14, 16) = 546.133333333333
Info( 15, 16) = 4096
Info( 16, 16) = 65536
Lo so, anche a me son sembrati sbagliati di primo acchito.
Poi bisogna pensare che questi valori non sono relativi
all'informazione necessaria per indovinare *almeno* n
su m bit, ma quella che occorre per indovinare *esattamente*
n su m bit. E tutti sanno quanto e' improbabile fare zero
al totocalcio, che per giunta e' un sistema ternario.
Se noi vogliamo calcolare la quantita' di informazione per
indovinare *mediamente* 13.605 bit su 16, abbiamo
bisogno proprio dell'informazione suddetta, non di quella
necessaria per indovinare *almeno* n su m bit, che tra
l'altro genererebbe una formula piu' complicata.
Guardando le ultime righe tabulate, vediamo che il valore
di Info(13.605+, 16) deve essere compreso tra 117 e 546,
ma sara' proprio 256? Una estrapolazione lineare fornisce
un valore diverso. Allora ho provato a far passare una
curva per i punti (12, 36), (13, 117), (14, 546) e (15, 4096).
L'ho fatto anche con fido-cad, che ho messo in fondo al
post. E' abbastanza convincente?
Certo sarebbe piu' elegante risolvere l'equazione in x:
Info(x, 16) = 256
Ma questo lo lascio fare ai matematici, se no che ci stanno a fare?  ;o))))
Buon weekend!!!  ((^__^))'
Livio
[FIDOCAD ]
LI 680 480 -35 480
LI 91 476 24 476
BE 60 476 564 441 491 469 660 69
LI 260 495 260 50
LI 340 490 340 50 1
LI 460 495 460 50
LI 660 490 660 50
LI 60 495 60 50
LI 690 455 50 455 1
LI 682 463 25 463
LI 685 425 30 425
LI 690 70 30 70
TY 345 485 20 12 0 0 1 * 13.605
TY 70 440 20 12 0 0 1 * 256
TY 75 55 20 12 0 0 0 * 4096
TY 70 405 20 12 0 0 0 * 546.133
TY -40 445 20 12 0 0 0 * 117.029
TY 65 485 20 12 0 0 0 * 12
TY 265 485 20 12 0 0 0 * 13
TY 465 485 20 12 0 0 0 * 14
TY 665 485 20 12 0 0 0 * 15
TY 45 30 20 12 0 0 0 * Info(n, 16)
TY 595 485 20 12 0 0 0 * n
TY -30 465 20 10 0 0 0 * 36.009

 al totocalcio, che per giunta e' un sistema ternario.
Con 8192 colonne (stringhe di bit per chi non gioca al
totocalcio ;-)), e anche meno..., lo faccio tutte le
settimane.
Il resto lo guardo con comodo ;-)
Ciao, Nino

Livio Zucca wrote:
 > Gia', ma che cos'e' l'informazione? L'informa-zione e' quella
 > cosa che dovrebbe essere definita nella prima pagina di
 > qualunque manuale di informa-tica, di matematica e di...
 > giornalismo! Ma, sara' che sono 'gnorante (e lo sono), sara'
 > che ho i testi sbagliati, io 'sta definizione non la trovo, anche
 > se poi son tutti li' a declamare che il bit e' la sua unita' elementare.
 > Come faremo poi a dire che l'informazione delle sei reti tv
 > del Berlusca e' falsa e tendenziosa, se non sappiano neanche
 > che cos'e'!  :o))
 >
 > E allora me la sono (re)inventata io una definizione, che suona
 > all'incirca cosi':
 >
 > "L'informazione contenuta in un dato e' l'inverso della
 > probabilita' di indovinare per caso il dato stesso".
 >
...dai miei appunti di Trasmissione Numerica...
"Pare" che secondo Shannon l'informazione (autoinformazione) sia:
I = - log P
dove log è logaritmo in base b e P è la probabilità di emissione del 
simbolo i-esimo di una sorgente (purtroppo nonposso mettere i pedici ^^)
Non so se è la definizione che cercavi, comunque è quella su cui si basa 
poi tutta la teoria dell'informazione.
Ciao,
Bl@de

 Info(x, 16) = 256
ossia
256=2^16/(16!/(x!*(16-x)!))
Mi sorge una domanda:
Ha senso parlare di fattoriale di un numero non intero?
ciao
paolo


Esiste la funzione gamma (
http://www.efunda.com/math/gamma/findgamma.cfm
),
che è una sorta di estensione del concetto di fattoriale nell'ambito reale.
Applicandola al caso di Livio, mi sembra che dia circa 283, ma potrei aver
sbagliato i conti a quest'ora.
Buona notte :-)
Giorgio

 
Viene circa x = 13.5407576
Maurizio

 sbagliato i conti a quest'ora.
Mi sembrava di ricordare che esistesse qualcosa.
Faccio una ricerca su Google e trovo la funzione Gamma,
Gamma (n+1)=n!
con un brutto integrale che non ho intenzione di calcolare.
http://digilander.libero.it/fantinma/speciali/speciali.html
Però trovo anche una formula che approssima Gamma:
Gamma(x)=sqrt(2*pi/x)*e^(x*ln(x)-1+1/(12*x^2)-1/(360*x^4)+1/(1260*x^6))
con questa provo a verificare la funzione proposta da Livio, e trovo:
Info(13.60546875;16)=283.29855
Info(13.54075;16)=255.99698
Info(13.54076;16)=256.00096
che confermano il tuo risultato e quello dato da Maurizio in un altro
post.
Mi viene un dubbio, perché qui dice che la formula è *sufficientemente
buona* per valori maggiori di 5, e noi abbiamo quel (16-n) che è
sicuramente minore.
Provo a confrontare i Gamma calcolati con i fattoriali esatti, per n da
1 a 16, e trovo i seguenti errori
E=(Gamma(n+1)-n!)/n!
n    E
1    3,55E-06
2    2,37E-07
3    3,35E-08
4    7,22E-09
5    2,05E-09
6    7,03E-10
7    2,78E-10
8    1,22E-10
9    5,87E-11
10   3,02E-11
11   1,65E-11
12   9,41E-12
13   5,61E-12
14   3,46E-12
15   2,20E-12
16   1,45E-12
Quindi mi pare che la differenza con i dati di Livio non sia dovuta solo
all'approssimazione.
ciao
paolo
P.S. Per Livio
Non ho capito quasi niente di quello che hai scritto, ma lotterò fino
alla morte perché tu possa continuare a scriverlo.
:-)))

 Info( 8, 16) = 5.09215229215229
[cut]
Ciao, Livio. Premetto che anch'io non ho capito molto bene dove vuoi andare
a parare. ;-)
Vorrei, però, fare qualche osservazione su quello che dici.
Partendo dal fatto che con 256 "informazioni" io riesco a indovinare 13.605+
bit su 16 tu concludi che Info(13.605+, 16) = 256. E questo può anche
andarmi bene. Così come mi va bene che Info(8, 8) = 256, che tradotto vuole
dire: se hai a disposizione 256 informazioni da comunicarmi, io ti indovino
8 bit su 8. E anche qui ci siamo. Ma allora perchè Info(8, 16) vale
5.09215229215229 ? Anche questo dato dovrebbe significare: se mi comunichi
5.09+ informazioni io indovino 8 bit su 16. Giusto? Ma in realtà per
indovinare 8 bit su 16 io non ho bisogno di alcuna informazione. Mediamente
li indovino senza informazione. Il valore corretto di Info(8, 16) dovrebbe
essere 0. E non dovrebbe avere molto senso scendere sotto il valore di 8 su
16, a meno di non considerare valori negativi relativi all'informazione.
Cosa dici? E così, oppure sono io che non ho capito niente... :-)
Ciao :-)
Giorgio

 Info( 14, 16) = 546.133333333333
dove ci sono 560 colonne con 13 X su 2^16 colonne (rapporto 117,..)
e 120 colonne con 14 X (rapporto 546,..).
(Il conto non torna se n=m ovvero n=0 in quanto, in questo caso,
il tuo risultato è il 100% del sistema integrale e non 1 colonna,
come dovrebbe essere).
Al posto della rotazione dei segni 0 o 1 si può anche intendere
quello che sistemisticamente si definisce correzione di errori
rispetto alla colonna base (qui ad es. costituita da tutti segni 1).
Ad es.   (13,16) significa correzione di 3 errori sulle 16 doppie.
Con lo stesso ragionamento, quello che chiami  info(13,605  ,16)= ?
(dove ? sarebbe 283 e non 256) in realtà diventa 256, perchè quelle
sono le 256 colonne su 65536 che ipoteticamente dovrebbero avere
13,605 segni 0 (se fosse possibile avere segni frazionari), ovvero
anche le 256 colonne che si discostano di circa 2,395 dai 16 punti
(hanno cioè questo numero di errori rispetto alla colonna base di
16 segni 0).
Applicando invece il tuo ragionamento, analizzando la tua tabella
salta subito all'occhio che qualcosa non quadra.
Infatti, per avere il 6 garantito su 7 doppie bastano 16 colonne
e non 18,28..; anzi  (6,125  ,7)=16
anche (14,  15)=2048 e non 2184,..    ecc.
Probabilmente, le cose potrebbero aggiustarsi se correggi il denominatore
della tua formula, tenendo conto di "tutte" le colonne vincenti, e non
solo di quelle che si discostano di (m-n)
Ciao, NIno

 5.09215229215229 ?
5,09... viene da 2^16/12870
dove 12870 sono le word che contengono
esattamente otto 1 e otto 0.
A mio avviso, questo è l'unico significato
del numero 5,09... In realtà, se facciamo
1/5,09.. otteniamo la quota di word con 8
errori (rotazione di otto 1 e otto 0 su 16 bit)
rispetto all'intero sistema di 2^16 word.
Ma potrebbe darsi che anch'io non abbia capito
quello che intende Livio...
Ciao, Nino

 Questo garantirebbe una vincita media pari a 13,60546875.
Non è nemmeno difficile impostare un foglio di calcolo che trovi il
risultato per tutte le coppie di m e k. Forse non è difficile esprimere il
tutto facendo ricorso a una sommatoria. Si tratta di sommare delle binomiali
e ricordarsi che a un certo punto la sommatoria finisce per esaurimento dei
vari casi da contemplare.
Se, dopo aver scritto tale sommatoria, qualcuno riuscisse a trasformarla in
una formula su m e k (anche approssimata) allora avremmo un modo diretto per
ottenere n. Avremmo cioè a disposizione un modo diretto per ottenere la
vincita media dati gli m bit da indovinare e i k bit di informazione a
disposizione. Chiamiamola VMedia(m, k).
Applicando a questa formula i nostri dati otterremmo ad esempio VMedia(16,
8) = 13.605+.
L'inversa di questa formula dovrebbe finalmente essere la Info(n, m) di
Livio. Es. Info(13.605+, 16) = 8 (8 è il logaritmo in base 2 di 256).
Ciao :-)
Giorgio

Cosa dici? E così, oppure sono io che non ho capito niente... :-)
Forse sbaglio, ma secondo me ci stiamo scontrando solo con
un problema terminologico.
Infatti il problema di "indovinare n bit su m" puo' essere
visto in una delle seguenti sfumature:
1. Indovinare con certezza almeno n bit su m.
2. Indovinare con certezza esattamente n bit su m.
3. Indovinare mediamente n bit su m.
che alla fine porteranno a formule diverse.
Data una sequenza S di m bit da indovinare, ci sono
comb(m, n) = m!/(n!*(m-n)!) sequenze con esattamente
n segni diversi rispetto ad S.
Quindi quando tento di indovinare S io scelgo una sequenza T
tra le 2^m possibili, che avra' una probabilita' pari a
comb(m, n) / 2^m  di essere tra quelle che mi faranno indovinare
con certezza esattamente n bit su m. Quindi la formula di Livio
(almeno nei casi con n e m interi) esprime la probabilita' di
indovinare con certezza *esattamente* n bit su m.
Invece nel caso in cui si desideri indovinare con certezza
*almeno* n bit, la formula sara' data dalla somma delle
probabilita' delle sequenze che fanno indovinare n bit,
n+1 bit ... fino a m bit, cioe':
Info(n, m) = 2^m / (comb(m,n) + comb(m,n+1) +...+ comb(m,m)) 
Riporto qui un po' di calcoli:
Info( 8, 16) = 1.672
Info( 9, 16) = 2.489
Info(10, 16) = 4.400
Info(11, 16) = 9.519
Info(12, 16) = 26.037
Info(13, 16) = 94.026
Info(14, 16) = 478.365
Info(15, 16) = 3855.059
Info(16, 16) = 65536
(che poi e' l'espressione del numero di colonne del riduttore
 ideale di 16 doppie a garanzia minima di indovinare 8,9,...,16
 segni.)
La formula che ho scritto forse risponde al tuo dubbio: se prendi
il caso Info(8,16) avrai per arrotondamento che ti servono 2
informazioni per indovinare con certezza almeno 8 bit su 16.
Ad esempio puoi sapere quale tra queste due proposizioni e' vera:
1. Ci sono piu' bit messi a 0
2. Ci sono piu' bit messi a 1
che equivale a dire che un ridotto che ti garantisce 8 punti e':
0000000000000000
1111111111111111
Sulla formula legata al caso "indovinare mediamente n bit su m"
non mi sono ancora fatto un'opinione :-)  Anzi, direi che quel
"mediamente" e' piuttosto insidioso come termine. Voi come lo
definireste?
Un saluto a tutti,
                    Antonio

 poi tutta la teoria dell'informazione.
Dopo un weekend lontano dal PC, ricominciamo da qui.
Non so se vergognarmi profondamente per non aver ricordato
quella relazione (ho remoti trascorsi di trasmissionista) o se
rallegrarmi di aver tirato fuori una equazione comunque valida.
Sono contento di vedere la probabilita' a denominatore e
null'altro che relazioni ad essa l'*informazione*. Che poi ci sia
il log di mezzo, poco importa in questo contesto in cui, piu'
che estrarre valori assoluti, universalmente riconoscibili,
vogliamo trovare *cose* che abbiano lo stesso contenuto di
informazione.
D'ora in poi (se ci sara' un poi' :o)) usero' "I" per indicare
questa informazione e "Info" per indicare quella definita
inizialmente. Diremo quindi:
I(8, 8) = 8 [bit]  in buon accordo con il resto del mondo :o)
... e anche banalmente: se conosco 8 bit su otto ho una
informazione di 8 bit! [Mr. de Lapalisse]
E continuero' a scrivere per comodita':
Info(8, 8) = 256
che sottolinea il fatto filosofico che, se ho una probabilita'
di 1 su 256 di indovinare un byte, allora mi occorre un'Info
di 256 per indovinarlo, ovvero se faccio un sistema e voglio
indovinarlo *di certo*, mi occorrono 256 colonne.
Fin qua spero che non ci piova. Il resto e' recherche.  :o))
Ciao!!!  ((^__^))'
Livio

 :-)))
Tu si' che sei liberale!  ;o))
Ciao!!!  ((^__^))'
Livio
"Bin Laden puo' andare in video e io no???"
[Daniele Luttazzi (a teatro)]

 essere 0...
5.09+ e' l'informazione che mi occorre per indovianre *esattamente*
8 bit su 16, infatti la probabilita' di farlo e' circa 1 su 5.
Ma andiamo sul ramo di iant, forse li' c'e' una chiave.
Ciao!!!  ((^__^))'
Livio

 solo di quelle che si discostano di (m-n)
Si', secondo me diciamo le stesse cose, con linguaggi diversi.
Le uniche discrepanze sono giusto quelle che derivano dal
considerare "solo" le colonne che si discostano di (m-n).
Ma andiamo a vedere il ramo di iant...
Ciao!!!  ((^__^))'
Livio

 ...
Ecco, secondo me qui c'e' la chiave del mistero. (Il mistero,
o paradosso, sta nel fatto che stavamo calcolando un
"rendimento" maggiore di 1 degli algoritmi che permettevano
di indovinare 13.605 bit su 16 da una informazione di 8 su 8).
Avevo subito premesso che un conto e' indovinare *almeno*
n bit su m e un altro conto e' indovinare *esattamente* n bit
su m. Poi, pero', ho commesso la leggerezza di considerare
che indovinare *mediamente* n bit su m avesse la stessa
probabilita' di indovinare "tante volte" *esattamente* n bit su m.
La cosa NON e' vera, ma la differenza in termini numerici
deve essere piccola (ma non trascurabile) cosicche' ho
perseverato nell'errore.
Infatti indovinare *mediamente* n bit su m sara' uguale a
indovinare *mediamente* ed *esattamente* n bit su m,
ma non solo: anche indovinare *mediamente* ed *esattamente*
(n+1) bit su m AND (n-1) bit su m, (n+2) AND (n-2), etc...
Poiche' per i valori che abbiamo trattato noi, i vari n+ e n-
all'incirca si compensano, l'errore e' stato piccolo (ma non
trascurabile).
Se cioe' chiamo  InfoM(x, 16)  l'informazione che mi
serve per vincere *mediamente* x bit su 16, per trovare il
massimo teorico del problema dei Gini dovro' risolvere in x
l'equazione:
Info(8, 8) = InfoM(x, 16) = 256
dove  InfoM(n, m)  sara' data da una formula molto piu'
complicata di quella che ho dato nel post d'inizio, ma forse
non poi cosi' difficile da ottenere. Che pero' non e' quella
che da' Giorgio per ricavare i fatidici 13.605+, perche' li' si
presuppone di aver trovato il sistema ideale che e' proprio
cio' che dobbiamo/vogliamo dimostrare: e' *ideale* e quindi
non si puo' fare di piu', non ci sara' nessun salto mortale
a farci ottenere di piu', inutile tentare, nessun algoritmo puo'
inventarsi informazione che non sia gia' nelle premesse.
E non finisce qui!!!  ((^__^))'
Livio

 definireste?
E' assolutamente insidioso!
(a cui seguono alcuni pensierini ad alta voce che non portano da
nessuna parte...)  :o(
Supponiamo che vi chieda:
"Qual e' la probabilita' di ottenere *mediamente" la vincita
casuale di 10 bit su 16?"
La risposta e' "zero", ovviamente. E sarebbe zero per
qualunque vincita media diversa da 8, per la quale, come
giustamente dice Giorgio, vale 1.
Infatti l'informazione per ottenere una vincita media di 8
bit su 16 e' nulla, log(1/1) = 0  (!), mentre quel *mediamente*
sottintende che faro' un gran numero di esperimenti in cui
la vincita media, tendendo ad 8, non potra' mai essere 10.
Ma allora che cosa stiamo cercando?
Il Gino riceve dalla Gina 8 bit di informazione e vince
mediamente 13.605 bit su 16. Questo e' un fatto.
Se calcoliamo qual e' la probabilita' di fare almeno 13 su 16,
otteniamo:
P = (560+120+16+1)/2^16 = 0.010635+
quindi:
Info(almeno 13, 16) = 1/P = 94.026+
I(almeno 13, 16) = log_2(1/P) < 7 bit
mentre, per curiosita':
Info(almeno 14, 16) = 478.365-
I(almeno 14, 16) < 9 bit
In assenza di informazione:
I(media 8, 16) = 0
Info(media 8, 16) = 1
istogramma Vmedia:
 0:
 1:
 2:X
 3:XXX
 4:XXXXXXXXX
 5:XXXXXXXXXXXXXXXXXXXXXX
 6:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
 7:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
 8:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
 9:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
10:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
11:XXXXXXXXXXXXXXXXXXXXXX
12:XXXXXXXXX
13:XXX
14:X
15:
16:
Info(almeno 8, 16) = 1.671+
Info(almeno 9, 16) = 2.488+
Info(almeno 10, 16) = 4.400+
Info(almeno 11, 16) = 9.518+
Info(almeno 12, 16) = 26.037+
Info(almeno 13, 16) = 94.025+
Info(almeno 14, 16) = 478.364+
Info(almeno 15, 16) = 3855.058+
Info(almeno 16, 16) = Info(media 16, 16) = Info(16, 16) = 65536
Mi sembra che la domanda: "Quanta informazione mi serve per
indovinare mediamente 10 bit su 16?" abbia un senso. Ha un senso
quel *mediamente*: se ripeto tante volte l'esperimento usando
quell'informazione, mediamente dovro' ottenere 10.
Ma se, per ricavare questa quantita' di informazione, mi faccio la
domanda: "Qual e' la probabilita', senza informazioni, di indovinare
mediamente 10 bit su 16?" o la domanda non ha senso o la
probabilita' vale zero. Eppure probabilita' ed informazione
dovrebbero essere collegate da una relazione di reciprocita'.
Bah!!!  ((^__^))'
Livio

 Livio. Es. Info(13.605+, 16) = 8 (8 è il logaritmo in base 2 di 256).
Oggi. guidando, pensavo di aver avuto l'illuminazione sulla strada
di Damasco... pardon: Beinasco. Mentalmente mi sono calcolato che,
se ciascun bit avesse la probabilita' dell'85% di essere indovinato,
la vincita media su un word sarebbe esattamente di 13.6 (!)
Ora, mi son detto, vado in ufficio e scopro, tramite i log_2, che per
portare la vincita media su un bit dal 50% all'85% mi occorrera' 1/2 bit
di informazione.
Ma non c'e' verso di far tornare i conti!?!   ç@##@   :o(
Ciao!!!  ((^__^))'
Livio

probabilita' vale zero.
La domanda ha senso. L'apparente paradosso sta nel fatto che tu
pensi alla probabilita' della sequenza casuale focalizzando
l'attenzione sul singolo lancio e poi pero' estendi questa
valutazione a piu' lanci. Provo a spiegarmi.
Se tu operi con la procedura che ho descritto sopra, scegliendo
ogni volta una sequenza casuale e confrontandola con tutto
l'integrale, lo fai un gran numero di volte, e alla fine calcoli
la media allora "mediamente (1)" ottieni risultato 8, e cioe'
probabilita' media di fare 10 pari a zero.
Se invece fai una cosa diversa: scegli una sequenza a caso e
scommetti su quella *per un singolo lancio*, otterrai un
qualche risultato.  (Della serie: la sagra dell'ovvio :-)
Se vuoi valutare a priori la tua probabilita' che quel risultato
sia 10, allora devi vedere sull'insieme delle sequenze integrali
quali risultati potrai ottenere e contare quelli che ti danno 10:
16 1
15 16
14 120
13 560
12 1820
11 4368
10 8008
 9 11440
 8 12870
 7 11440
 6 8008
 5 4368
 4 1820
 3 560
 2 120
 1 16
 0 1
e cioe' "mediamente (2)" hai 8008/65536 = 0,122+  di fare 10
con quella sequenza. Il termine "mediamente (1)" e' diverso
dal termine "mediamente (2)"!
Se tu adesso ripeti all'infinito queste prove casuali, allora
ti riporti alle condizioni del teorema del limite centrale
che dice che una sequenza infinita di tentativi casuali
ti riporteranno al valore medio piu' probabile sul singolo
tentativo. Paradosso risolto?   :-)
Spero di non aver scritto troppe stupidaggini...
A presto,
         Antonio