Gibbsa neegalaĵo

En informa teorio, gibbsa neegalaĵo estas propozicio pri la matematika entropio de diskreta probablodistribuo. Kelkaj la aliaj baroj, pri la entropio de probablodistribuoj estas derivita de gibbsa neegalaĵo, inkluzivante la neegalaĵon de Fano.

Estu



diskreta probablodistribuo. Tiam por ĉiu la alia diskreta probablodistribuo

jena neegalaĵo veras

kun egaleco se kaj nur se

por ĉiuj i.

La diferenco inter la du kvantoj estas la negativo de la diverĝenco de Kullback-Leibler aŭ relativa entropio, tiel la neegalaĵo povas ankaŭ esti skribita kiel

Pruvo

Pro tio ko

sufiĉas al pruvi la frazon uzante la naturan logaritmon (ln). Por la natura logaritmo veras

por ĉiuj x kun egaleco se kaj nur se x=1.

Estu I signifi la aro de ĉiuj i por kiu pi estas ne nulo. Tiam

Do

kaj tiam bagatele

pro ke la dekstra flanko ne kreskas, sed la maldekstra flanko povas kreski aŭ povas resti la sama.

Por egaleco necesas:

  por ĉiuj  tiel ke la proksimuma kalkulado  estas akurata.
  tiel ke egaleco daŭras al teni inter la antaŭlasta kaj la _ultimate_ linioj de la pruvo.

Ĉi tio povas okazi se kaj nur se

por ĉiuj m=1,...,n.

La rezulto povas alternative esti pruvita per neegalaĵo de Jensen aŭ logaritma suma neegalaĵo.

Korolario

La entropio de P estas barita per:

La pruvo estas bagatela - simple meti  por ĉiuj i.

 Vidu ankaŭ 

Informa entropio
Neegalaĵo de Fano

Kategorio:Informa teorio
Kategorio:Teorio de kodigo
Kategorio:Neegalaĵoj