Informationsteori

Informationsteori är läran om hur överföring av information kan ske mest effektivt. 

Den så kallade statistiska informationsteorin grundlades i mitten av 1900-talet av Claude Shannon som en del av en kommunikationsteori han utvecklade, där det informationsteoretiska begreppet entropi har en central roll. I hans teori är informationsmått ett mått på den ökade bestämningsgrad man erhåller då en mängd möjliga alternativ reduceras till en mindre mängd alternativ. Denna mäts som logaritmen av kvoten mellan antalet alternativ före och efter reduktionen.

Detta informationsmått används bland annat inom kommunikationsteori för att beräkna en kanals kapacitet att överföra information och inom kodningsteori för att beräkna redundans och graden av möjlig datakomprimering.

Exempel på områden där teorin har fått stor betydelse är telekommunikation, datateknik, rymdteknik och biologi. I de flesta fall handlar det om att sända ett komplett meddelande från en sändare till en mottagare.

Det diskreta fallet 

Det mest kända konceptet är den så kallade entropin inom informationsteorin:

Denna entropi kan beräknas för vilken som helst diskret fördelningsfunktion sådan att summan av alla  = 1.  blir maximal och lika med logaritmen för antalet  när alla  är lika stora. Inom fysiken tolkas entropi också som oordning. 

H kan också tolkas som ett medelvärde av information ugående från axiomet att när en händelse inträffar med sannolikheten  så fås information = -log( ). Denna information saknar mental mening och handlar enbart om sannolikheter. 

Shannon härledde formeln utifrån axiom som på ett naturligt sätt kan tolkas som information. När vi singlar slant så kan vi få två olika meddelanden vardera med sannolikheten 0.5 och som kan betecknas '0' respektive '1'. Åslund kallar detta ett schema med två lika sannolika händelser. När vi singlar slanten två gånger får vi dubbelt så långa meddelanden - '00', '01', '10' och '11' (ett schema med 4 lika sannolika händelser) - vardera med sannolikheten 0.25.

Det kontinuerliga fallet 

vid övergången från ett diskret schema till en kontinuerlig frekvensfunktion, f(x), kan informationsentropin skrivas

Ett problem här är att log(dx) gör H obestämd och beroende av det oändligt lilla dx. Ett sätt att kringgå problemet är att definiera H så att H blir lika med logaritmen för volymen av ett godtyckligt område, som täcks av en likformig frekvensfunktion, f(x), över området. Detta är i analogi med logaritmen av antalet möjliga lika sannolika händelser i ett diskret schema. Då gäller 

Den volym som täcks av en normal frekvensfunktion med momentmatris M är proportionell mot koncentrationsellipsoidens volym och lika med kvadratrot{  determinant(M) }.

Generellt utgör erhållen information en skillnad i Entropi före och efter händelsen som gett information:

Ömsesidig information 

Baserad på Claude Shannons entropibegrepp har en teori för ömsesidig information utvecklats. Två händelser X and Y ger varandra ömsesidig information I(X, Y) enligt:

där

Se även 
 Redundans
 Datakonvertering
 Komplexitet

Referenser 

 Brooks, D. R. & Wiley, E. O. Evolution as Entropy, Towards a unified theory of Biology. The University of Chicago Press, 1986.
 Shannon, C.E. A Mathematical Theory of Communication, Bell Syst. Techn. J., Vol. 27, pp 379-423, (Part I), 1948.
 Åslund, N. The fundamental theorems of information theory (Swedish). Nordisk Matematisk Tidskrift, Band 9, Oslo 1961.

Datavetenskap