Baldintzazko entropia

Informazioaren teorian baldintzazko entropiak zera neurtzen du:  zorizko aldagaiaren balioa ezaguna izanik,  zorizko aldagaia deskribatzeko behar den informazio kantitatea. Entropia kontzeptuaren hedapen bat da.

Definizioa 

 zorizko aldagai diskretuak  balioa hartzearen baldintzapean  zorizko aldagai diskretuaren entropia  notazioaz adierazten da.

 aldagaiaren probabilitate-funtzioa  izanik, haren entropia (ez baldintzazkoa) horrela definitzen da: , hau da, informazio-kantitatearen itxaropen matematikoa. Kalkuluak eginez, zera lortzen da:

 izanik  aldagaiak  balioa hartzeak ematen duen informazio kantitatea.

Antzeko moduan, baina baldintzazko itxaropen matematikoa erabiliz, defini daiteke  zorizko aldagai diskretuak  balioa hartzearen baldintzapean  zorizko aldagai diskretuak duen entropia:

 aldagaiaren  balio posible guztietarako  balioen batez besteko haztatua kalkulatuz lortzen da  baldintzazko entropia.

Konbenioa:  eta  espresioen emaitza zero dela onartzen da,  izanik.

Propietateak 

 Oro har,  betetzen da.  eta  aldagaiak elkarrekiko independenteak badira,  betetzen da.

  eta  aldagaiak elkarren mendekoak badira,  betetzen da, hau da, baldintzazko entropia zero izango da,  aldagaiaren balioa ezagutzearen ondorioz  aldagaia erabat zehaztuta geratzen bada.

 Aurreko propietatetik ondoriozta daiteke  betetzen dela.

 Bayesen teoremaren arabera, zera betetzen da: 

  betetzen da,  izanik  eta  aldagaien elkarrekiko informazioa.

Ikus, gainera 
 Entropia (informazio-teoria)
 Elkarrekiko informazio
 Informazio kantitate

Kanpo estekak 

Informazioaren teoria