Informasjonsendring

I statistikk og sannsynsteori er informasjonsendring (òg kalla Kullback–Leibler divergens, informasjonsdivergens eller relativ entropi) eit ikkje-symmetrisk mål på forskjellen mellom to sannsynsfordelingar P og Q. Informasjonsendring gir forventinga av kor mange ekstra bits du treng for å kode utval frå P når du nyttar ein kode frå Q, heller enn ein kode frå P. Vanlegvis skal P representere den «sanne» datafordelinga, observasjonar, eller ei presist utrekna teoretisk fordeling. Q skal vanlegvis representere teorien, modellen, skildringa eller tilnærminga mot P.

 Definisjon 

Der sannsynsfordelingane P og Q kjem frå ein diskret tilfeldig variabel
definerer vi informasjonsendring av Q frå P som

Der utvala P og Q kjem frå ein kontinuerleg tilfeldig variabel må me ha integral i staden for sum:

kor p og q gir sannsynstettleiken til P og Q. 

Logaritmane her har grunntal 2 om du måler informasjon i bit, grunntal e viss du måler i naturlege einingar. Dei fleste formlane held uavhengig av grunntal.