Newsgroup: it.scienza.informatica
Titolo: Informazione mutua

Una domanda semplice di teoria dell'informazione:
l'informazione mutua č definita come I(X;Y) = H(X) - H(X|Y)
Se X e Y non sono semplici variabili aleatorie, ma sono definiti su
insiemi di
variabili aleatorie (cioč, X č contenuto in {X1,X2, ....,Xn}, Y č
contenuto in {Y1,Y2, ....,Yn}, con Xi e Yi v.a.), come posso calcolare
l'informazione mutua?
Grazie.

 l'informazione mutua?
- Se si trattasse dell'uguaglianza insiemistica potresti usare una delle
  proprieta' dell'informazione mutua:
	I(X;Y)=H(X)+H(Y)-H(X,Y)
- Nel caso di relazione di inclusione stretta dovresti costruire un
  modello informazionale di sorgente per X e per Y, su queste poi costruire
  un modello informazionale di canale... e' piuttosto laborioso pero'.

...

Potresti darmi qualche informazione in piů su quest'ultimo caso 
(anche delle indicazioni su dove trovare il materiale adatto mi sarebbero
utili)?
Grazie

 Grazie
Per costruire il modello informazionale di sorgente di un qualsiasi
sistema X devi verificare che tale sistema soddisfi due proprieta':
- deve essere capace di generare messaggi (di lunghezza 1 o superiore)
- non deve esistere il limite superiore della lunghezza di un qualsiasi 
  messaggio generato da X (ovvero X deve essere capace di generare un
  messaggio di lunghezza potenzialmente infinita)
Se il sistema X soddisfa queste proprieta', il modello informazionale
di sorgente consiste nel determinare:
- alfabeto della sorgente
- ordine della memoria
- distribuzione di probabilita' (eventualmente condizionata dallo stato)
Dovrai ripetere il discorso anche per il sistema Y.
Se tutto va bene, otterrai che il sistema X e' rappresentabile con il
modello informazionale di una sorgente con memoria (di ordine k_X) mentre
il sistema Y e' rappresentabile con un modello informazionale di sorgente
con memoria (di ordine k_Y).
Possiamo affermare che X sia la sorgente di input e Y quella di output
di un canale C se tutto il sistema X + C + Y e' rappresentabile con il
modello informazionale di canale.
Per costruire il modello informazionale di canale di un qualsiasi
sistema X + C + Y devi verificare che tale sistema soddisfi tre proprieta':
- C deve essere capace di trasmettere messaggi
- deve valere il principio di continuita' (per ogni messaggio in input
  a C, deve esserci un messaggio in output da C, e viceversa)
- non deve esistere il limite superiore della lunghezza di un qualsiasi 
  messaggio che puo' essere trasmesso da X
Se il sistema X + C + Y soddisfa queste proprieta', il modello informazionale
di canale consiste nel determinare:
- alfabeti di input e output del canale
- distribuzione di probabilita' (eventualmente condizionata dallo stato)
  della sorgente di input
- ordine della memoria del canale
- matrice(ci) di canale (eventualmente condizionate dagli stati)
A questo punto sei in grando di calcolare l'informazione mutua per 
qualsiasi sottoinsieme di X e Y

 Per costruire il modello informazionale
[cut]
Sapresti dirmi di quale settore dell'informatica questo argomento?
All'università generalmente in quale esame si studia?
Grazie
--
Noixe

 All'università generalmente in quale esame si studia?
ricade nell'ambito della Teoria dell'Informazione

riferimenti bibliografici?
grazie,
unit

 riferimenti bibliografici?
Quello che ho esposto e' un modello che mi e' stato proposto
dal prof. a lezione. I libri di testo adottati al corso di 
Teoria dell'Informazione tralasciavano questo aspetto,
e il prof. ha colmato questa lacuna con delle sue dispense.