Informazioaren teorian **baldintzazko entropia**k zera neurtzen du: {\displaystyle X} zorizko aldagaiaren balioa ezaguna izanik, {\displaystyle Y} zorizko aldagaia deskribatzeko behar den informazio kantitatea. Entropia kontzeptuaren hedapen bat da.

Definizioa
----------

{\displaystyle X} zorizko aldagai diskretuak {\displaystyle x} balioa hartzearen baldintzapean {\displaystyle Y} zorizko aldagai diskretuaren entropia {\displaystyle \mathrm {H} (Y|X=x)} notazioaz adierazten da.

{\displaystyle Y} aldagaiaren probabilitate-funtzioa {\displaystyle p\_{Y}{(y)}} izanik, haren entropia (ez baldintzazkoa) horrela definitzen da: {\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}, hau da, informazio-kantitatearen itxaropen matematikoa. Kalkuluak eginez, zera lortzen da:

{\displaystyle \mathrm {H} (Y)=\sum \_{i=1}^{n}{\mathrm {Pr} (Y=y\_{i})\,\mathrm {I} (y\_{i})}=-\sum \_{i=1}^{n}{p\_{Y}(y\_{i})\log \_{2}{p\_{Y}(y\_{i})}},}

{\displaystyle \operatorname {I} (y\_{i})} izanik {\displaystyle Y} aldagaiak {\displaystyle y\_{i}} balioa hartzeak ematen duen informazio kantitatea.

Antzeko moduan, baina baldintzazko itxaropen matematikoa erabiliz, defini daiteke {\displaystyle X} zorizko aldagai diskretuak {\displaystyle x} balioa hartzearen baldintzapean {\displaystyle Y} zorizko aldagai diskretuak duen entropia:

{\displaystyle \mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum \_{i=1}^{n}{\Pr(Y=y\_{i}|X=x)\log \_{2}{\Pr(Y=y\_{i}|X=x)}}.}

{\displaystyle X} aldagaiaren {\displaystyle x} balio posible guztietarako {\displaystyle \mathrm {H} (Y|X=x)} balioen batez besteko haztatua kalkulatuz lortzen da {\displaystyle \mathrm {H} (Y|X)} baldintzazko entropia.

{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum \_{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum \_{x\in {\mathcal {X}}}p(x)\sum \_{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum \_{x\in {\mathcal {X}}}\sum \_{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\\end{aligned}}}
*Konbenioa:* {\displaystyle 0\log 0} eta {\displaystyle 0\log c/0} espresioen emaitza zero dela onartzen da, {\displaystyle c>0} izanik.

Propietateak
------------

* Oro har, {\displaystyle \mathrm {H} (Y|X)\leq \mathrm {H} (Y)} betetzen da. {\displaystyle X} eta {\displaystyle Y} aldagaiak elkarrekiko independenteak badira, {\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)} betetzen da.

* {\displaystyle X} eta {\displaystyle Y} aldagaiak elkarren mendekoak badira, {\displaystyle \mathrm {H} (Y|X)=0} betetzen da, hau da, baldintzazko entropia zero izango da, {\displaystyle X} aldagaiaren balioa ezagutzearen ondorioz {\displaystyle Y} aldagaia erabat zehaztuta geratzen bada.

* Aurreko propietatetik ondoriozta daiteke {\displaystyle H(X|X)=0} betetzen dela.

* Bayesen teoremaren arabera, zera betetzen da: {\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}

* {\displaystyle \operatorname {I} (X;Y)\leq \mathrm {H} (X)} betetzen da, {\displaystyle \operatorname {I} (X;Y)} izanik {\displaystyle X} eta {\displaystyle Y} aldagaien elkarrekiko informazioa.

Ikus, gainera
-------------

* Entropia (informazio-teoria)
* Elkarrekiko informazio
* Informazio kantitate

Kanpo estekak
-------------

|  |  |
| --- | --- |
| Autoritate kontrola | 
* **Wikimedia proiektuak**
* Wd Datuak: Q813908

 |

* Wd Datuak: Q813908