Entropia e informacionit

Në teorinë e informacionit, **entropia** e një ndryshoreje të rastit është niveli mesatar i "informacionit", "befasisë" ose "pasigurisë" i natyrshëm për rezultatet e mundshme të ndryshores. Jepet një ndryshore e rastit diskrete X, e cila merr vlera në bashkësinë \mathcal{X} dhe shpërndahet sipas p\colon \mathcal{X}\to[0, 1] :\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x) = \mathbb{E}[-\log p(X)] ,ku \Sigma tregon shumën mbi vlerat e mundshme të ndryshores. Zgjedhja e bazës për \log, logaritmi, ndryshon për zbatime të ndryshme. Baza 2 jep njësinë e biteve (ose " shannons "), ndërsa baza *e* jep "njësi natyrore" nat, dhe baza 10 jep njësi "dits", "bans" ose " hartleys ". Një përkufizim i njëvlershëm i entropisë është vlera e pritur e vetë-informimit të një ndryshoreje. 
parapamje|300x300px| Dy bite entropie: Në rastin e dy hedhjeve të ndershme të monedhave, entropia e informacionit në bit është logaritmi bazë-2 i numrit të rezultateve të mundshme; me dy monedha ka katër rezultate të mundshme dhe dy pjesë entropie. Në përgjithësi, entropia e informacionit është sasia mesatare e informacionit të përcjellë nga një ngjarje, kur merren parasysh të gjitha rezultatet e mundshme.
Koncepti i entropisë së informacionit u prezantua nga Claude Shannon në punimin e tij të vitit 1948 " A Mathematical Teory of Communication ",   dhe referohet gjithashtu si **entropia Shannon** .

Entropia në teorinë e informacionit është drejtpërdrejt analoge me entropinë në termodinamikën statistikore . Analogjia rezulton kur vlerat e ndryshores së rastësishme përcaktojnë energjitë e mikrogjendjeve, kështu që formula e Gibbs-it për entropinë është zyrtarisht identike me formulën e Shannon-it. Entropia ka lidhje me fusha të tjera të matematikës si kombinatorika dhe mësimi makinerik . Përkufizimi mund të rrjedhë nga një grup aksiomash që vërtetojnë se entropia duhet të jetë një masë se sa informative është rezultati mesatar i një ndryshoreje. Për një ndryshore të rastit të vazhdueshme, entropia diferenciale është analoge me entropinë.

## E ç'është entropia e informacionit? 
I emëruar sipas teoremës Η të Boltzmann-it, Shannon përcaktoi entropinë H (gërma e madhe greke eta ) të një ndryshoreje diskrete tërastit. X, e cila merr vlera në alfabet \mathcal{X} dhe shpërndahet sipas p: \mathcal{X} \to [0, 1] sikurse p(x) := \mathbb{P}[X = x] :\Eta(X) = \mathbb{E}[\operatorname{I}(X)] = \mathbb{E}[-\log p(X)].Këtu \mathbb{E} është operatori i pritjes matematike, dhe I është përmbajtja e informacionit të X   \operatorname{I}(X) është në vetvete një ndryshore e rastit.

Entropia mund të shkruhet shprehimisht si:\Eta(X) = -\sum_{x \in \mathcal{X}} p(x)\log_b p(x) ,Mund të përcaktohet gjithashtu entropia e kushtëzuar e dy ndryshoreve X dhe Y duke marrë vlera nga bashkësitë \mathcal{X} dhe \mathcal{Y} përkatësisht, si:   \Eta(X|Y)=-\sum_{x,y \in \mathcal{X} \times \mathcal{Y}} p_{X,Y}(x,y)\log\frac{p_{X,Y}(x,y)}{p_Y(y)} ,ku p_{X,Y}(x,y) := \mathbb{P}[X=x,Y=y] dhe p_Y(y) = \mathbb{P}[Y = y] . Kjo madhësi duhet të kuptohet si rastësia e mbetur në ndryshoren e rastit X duke pasur parasysh ndryshoren e rastit Y .

## Shembull 
[djathtas|parapamje|200x200px| Entropia \operatorname{H}(X) (dmth surpriza e [Pritja matematike|pritshme ) e një rrotullimi të monedhës, e matur në bit, e grafikuar kundrejt paragjykimit të monedhës \operatorname{Pr}(X=1), ku X = 1 përfaqëson një rezultat të kokave.  Këtu, entropia është më së shumti 1 bit dhe për të komunikuar rezultatin e një rrokullisjeje monedhe (2 vlera të mundshme) do të kërkojë një mesatare prej më së shumti 1 bit (saktësisht 1 bit për një monedhë të drejtë). Rezultati i një die të drejtë (6 vlera të mundshme) do të kishte regjistrin e entropisë 2 6 bit.]]
Merrni parasysh hedhjen e një monedhe me probabilitete të njohura, jo domosdoshmërisht të ndershme, për të dalë kokë ose pil; ky mund të modelohet si një proces Bernoulli .

Entropia e rezultatit të panjohur të hedhjes tjetër të monedhës maksimizohet nëse monedha është e ndershme (d.m.th., nëse koka dhe pili kanë të dyja probabilitet të barabartë 1/2). Kjo është situata e pasigurisë maksimale pasi është më e vështirë të parashikohet rezultati i hedhjes së radhës; rezultati i çdo hedhjeje të monedhës jep një pjesë të plotë të informacionit. Kjo është për shkak se\begin{align}
\Eta(X) &= -\sum_{i=1}^n {p(x_i) \log_b p(x_i)} 
\\ &= -\sum_{i=1}^2 {\frac{1}{2}\log_2{\frac{1}{2}}} 
\\ &= -\sum_{i=1}^2 {\frac{1}{2} \cdot (-1)} = 1
\end{align}Megjithatë, nëse e dimë se monedha nuk është e drejtë, por del lart ose bisht me probabilitete p dhe q, ku p ≠ q, atëherë ka më pak pasiguri. Sa herë që hidhet, njëra anë ka më shumë gjasa të dalë lart se tjetra. Pasiguria e reduktuar matet në një entropi më të ulët: mesatarisht çdo hedhje e monedhës jep më pak se një pjesë të plotë të informacionit. Për shembull, nëse p = 0.7, atëherë\begin{align}
\Eta(X) &= - p \log_2 (p) - q \log_2 (q)
\\ &= - 0.7 \log_2 (0.7) - 0.3 \log_2 (0.3) 
\\ &\approx - 0.7 \cdot (-0.515) - 0.3 \cdot (-1.737) 
\\ &= 0.8816