Newsgroup: it.istruzione.universita.ingegneria
Titolo: Teoria dell'informazione

Leggo:
Immaginiamo che la sorgente possa scegliere di inviare uno tra due messaggi
possibili in modo indipendente (cioè in modo che la scelta di un messaggio
non implichi anche la scelta dell'altro) e che il primo messaggio sia
composto da una sola parola, mentre il secondo sia il testo completo della
Bibbia. Per la definizione di "informazione", ognuno dei due messaggi
alternativi vale una sola unità di informazione (per convenzione, un bit),
indipendentemente dal numero di simboli da cui è composto il messaggio
effettivamente scelto e indipendentemente dal significato del messaggio.
Questo è un punto importante. A rigore, il numero di simboli potrebbe essere
un valore intero positivo finito qualsiasi per entrambi i messaggi, poiché
ciò dipende del tutto dalle convenzioni di codifica utilizzate.
Quindi o il messaggio è T (per testa) o testa o "il risultato è testa" o "il
risultato el alncio dell e monetine è testa" o una immagine cohe raffigura
una testa, la quantità di informazione è sempre 1 bit, poichè solo due sono
le possibili scelte (testa o croce).
Fin qui tutto pacifico....
Più avanti, a proposito della ridondanza leggo:
"nella lingua scritta tedesca, ad es., il numero dei caratteri necessari è
inferiore a quelli utilizzati e frasi mutilate possono essere capite anche
con riduzione dei simboli del 50%"
E fin qui, tutto pacifico.....stiamo solo parlando di codifica e non più di
informazione. Quindi posso codificare la mia informazione come voglio, col
numero di simboli che voglio, con la ridondanza che voglio, ma se la scelta
del messaggio è stata tra due possibilità, allora ecco che la informazione è
sempre 1 bit.
Più avanti però leggo una cosa che non comprendo. Per misurare la ridondanza
della lingua tedesca, si fa così:
ln 26 = 5.3 bit (26 sono le lettere dell'alfabeto tedesco). I bit necessari
sarebbero pero solo 1.5: la differenza misura in bit la ridondanza.
La cosa che non mi è chiara è come mai venga applicata la formula sopra
scritta (che misura l'informazione) per calcolra la ridondanza che ha a che
fare con la codifica.
Se si dice che l'informazione T o C, prescindendo da quanti simboli utilizzi
la sua codifica, è sempre 1 bit, come si fa ad applicare la formula della
quantità di informazione alla questione della ridondanza???
A me scrivere:
ln 26 = 5.3 bit
equivale a dire che ci sono 26 possibilità di scelta equiprobabili. Sarebbe
come dire che la mia informazione non verte più sulla scelta tra testa e
croce, ma sui simboli id codifica da utilizzare per comunicare ogni lettera
della parola testa o della parola croce.
Mi aiutate a capire questo problema?
Grazie

 sarebbero pero solo 1.5: la differenza misura in bit la ridondanza.
Per prima cosa non capisco come ln(26) possa produrre come risultato
5.3bit...qualora fosse un logaritmo in base 2 porterebbe circa 4.7bit,
qualora fosse un logaritmo naturale il risultato è circa 3.26nat.
Indipendentemente da questo, quando si scelgono 26 simboli la soluzione a
massima entropia è quella che prevede simboli equibrobabili. Quindi rispetto
alla soluzione a massima entropia una sorgente di tedesco presenta una
ridondanza pari a log2(26) - H(X), dove con H(X) si intende l'entropia della
sorgente di tedesco, perché si usano comunque 26 simboli, ma sono
"sottosfruttati".
kl31n