Elkarrekiko informazio

Elkarrekiko informazioa bi zorizko aldagaik partekatzen duten informazio kantitatearen neurria da informazio teorian. Beste modu batera esanda, zorizko aldagai bat aztertuz beste aldagaiari buruz lortzen den informazio kantitatea da. Bi aldagaien arteko mendekotasuna neurtzen du. Horrek guztiak entropiaren kontzeptua du oinarrian.

Definizioa 

Formalki,  eta  zorizko aldagai diskretuen elkarrekiko informazioa horrela defini daiteke:

non   eta  aldagaien baterako probabilitate funtzioa den eta  eta   eta  aldagaien bazterreko probabilitateen (marjinalen) funtzioak, hurrenez hurren.
Aldagaiak jarraiak badira, batukaria integral mugatu batez ordezkatzen da:

non   eta  aldagaien baterako dentsitate funtzioa den eta  eta   eta  aldagaien bazterreko dentsitate funtzioak (marjinalak), hurrenez hurren.

Logaritmo funtzioa 2 oinarrian erabiltzen bada, elkarrekiko informazioa bitetan neurtuko da.

Kontzeptu intuitiboa 

Intuitiboki,  elkarrekiko informazioak  eta  aldagaiek partekatzen duten informazioa neurtzen du; zehazki, aldagai bati buruzko informazioa izateak beste aldagaiaren ziurgabetasuna (entropia) zenbat txikitzen duen neurtzen du.

Aldagaiak independenteak badira, bat ezagutzeak ez du besteari buruzko informaziorik emango eta ondorioz, haien arteko elkarrekiko informazioa zero da. Beste muturrean, bi aldagaiak berdinak badira, informazio guztia partekatzen dute eta beraz, bata ezagutuz gero bestea ere ezaguna bihurtzen da. Hori dela eta, haien  elkarrekiko informazioa haietako baten (ren edo ren) ziurgabetasuna (entropia) izango da; bi aldagaiak berdinak badira, entropia bera dute, noski.

Hortaz, elkarrekiko informazioak mendekotasuna neurtzen du zentzu honetan:  da baldin eta soilik baldin  eta  zorizko aldagaiak independenteak badira. Izan ere,  eta  independenteak direnean,  betetzen da, eta ondorioz:

Propietateak 

 Ez-negatibotasuna. 
 Simetria.

Entropiarekin duen erlazioa 

Elkarrekiko informazioa horrela ere adieraz daiteke:

non  eta  bazter-entropiak (edo entropia marjinalak) diren,  eta  baldintzazko entropiak diren eta  baterako entropia den. Venn-en diagramaren bidez ikus daiteke kontzeptu horien eta multzoen arteko bilduraren, ebakiduraren eta diferentziaren arteko parekotasuna.

Komunikazio-kanal baten testuinguruan adibidez, irteerako  seinalea sarrerako ren bertsio zaratatsua dela interpretatuz gero, irudian azaltzen da kontzeptu horien interpretazioa zein izango litzatekeen.

 denez,  erlaziotik  ondorioztatzen da.

ren definiziotik abiatuz, ondoren zehazten diren urratsei jarraituz lortzen da  erlazioa:

Atalaren hasieran aipatutako gainerako identitateen frogak ere antzeko moduan egiten dira.

 erlazioa modu intuitiboan horrela interpreta daiteke:  entropiak  aldagaiaren ziurgabetasuna neurtzen badu, orduan  baldintzazko entropiak  ezagutu ondoren oraindik  aldagaiari buruz geratzen den ziurgabetasuna neurtzen du. Hortaz, berdintzaren eskuin aldeko kenketa horrela interpreta daiteke:  ezagutzeak eragindako -ren ziurgabetasunaren murrizketa. Ideia hori bat dator  elkarrekiko informazioaren esanahi intuitiboarekin: aldagai bat ezagutzeak beste aldagaiari buruz ematen duen informazioa (murrizten duen ziurgabetasuna).

Bi aldagaiak berdinak diren kasuan,  denez,  betetzen da. Hortaz,  baiezta daiteke, hau da, aldagai batek bere buruari buruz ematen duen informazioa gutxienez beste edozein aldagaik ematen duena adinakoa da.

Aldakuntzak

Baldintzazko elkarrekiko informazioa 

Batzuetan beharrezkoa gertatzen da bi zorizko aldagairen elkarrekiko informazioa kalkulatzea, hirugarren aldagai baten baldintzapean.

Sinplifikatuz, zera lortzen da:

,  eta  zorizko aldagai diskretuen baterako banaketak izanik, bi aldagairen arteko elkarrekiko informazioa hirugarren aldagai bati baldintzatzeak hura handitu ala txikitu dezake, baina beti beteko da:

Elkarrekiko informazio haztatua 

Elkarrekiko informazioaren formulazio tradizionalean,

 bikotearen bidez adierazitako gertakaria dagokion  probabilitatearen bidez haztatzen da. Horrek esan nahi du, gertakariak haien artean baliokideak direla, gertatzeko duten probabilitatean izan ezik. Baina zenbait aplikaziotan gertakari guztiek ez dute garrantzia maila bera.

Hori kontuan hartu ahal izateko,  pisuak erabiltzen dira:

 funtzioa  probabilitateari biderkatuz, gertakarien probabilitate batzuek beste batzuei baino garrantzi handiagoa izatea lortzen da.

Aplikazioak 

Elkarrekiko informazioa maximizatzea helburu duten aplikazio asko aurki daitezke. Funtsean mendekotasuna txikitzea da helburua, hau da, baldintzazko entropia txikitzea. Hona hemen batzuk:

 Web bilatzaileetan, esaldien eta testuinguruaren arteko elkarrekiko informazioa erabiltzen da kontzeptuak (multzo semantikoak) aurkitzeko.

 Biokimikan, ARN eta ADN sekuentziak ikertzeko eta sekuentzien arteko erlazioak aurkitzeko.

 Ikasketa automatikoan, aldagaien aukeraketarako atazan erabiltzen da, esanguratsuak diren aldagaiak edota erredundanteak direnak aurkitzeko, irudi baten ezaugarri garrantzitsuenak zein diren erabakitzeko, etab.

 Kosmologian, inguruneak galaxietan sortzen duen eragina aztertzeko.

 Medikuntzan, irudien tratamenduan.

Ikus, gainera 
 Entropia (informazio-teoria)
 Baldintzazko entropia

Erreferentziak

Kanpo estekak 

Informatika teorikoa