Entropi gwybodaeth

Mewn damcaniaeth gwybodaeth, mesur o'r ansicrwydd a gysylltir â hapnewidyn yw entropi gwybodaeth.

Gellir dehongli'r entropi hwn fel yr hyd neges cyfartalog lleiaf posib (mewn didau) sy'n cyfleu allbwn yr hapnewidyn. Cynrychiola hyn derfan mathemategol ar y cywasgiad di-golled gorau posib o ddata: lleiafswm y nifer o ddidau a ellir eu danfon i gyfathrebu neges ydyw. Yn gyfwerth, gellir ei ystyried yn fesur o'r wybodaeth gyfartalog mae'r derbynnydd yn ei golli wrth beidio gwybod gwerth yr hapnewidyn.

Cyflwynwyd y cysyniad gan Claude E. Shannon yn ei bapur "A Mathematical Theory of Communication" a gyhoeddwyd ym 1948.

 Diffiniad 

yw entropi gwybodaeth hapnewidyn arwahanol X a all gymryd y gwerthoedd {x1...xn} 
lle mai

I(X) yw cynnwys gwybodaeth X, sydd yn hapnewidyn ei hun; a
p(xi) = P(X=xi) yw ffwythiant dwysedd tebygolrwydd X.

[gellir ymestyn y diffiniad hwm i hapnewidynnau di-dor]

 Entropi a cynnwys gwybodaeth 

gw. Theorem codio ffynhonnell Shannon

 Cywasgu data 
Mae entropi yn arffinio perfformiad cywasgiad di-golled o ddata, ac fe ellir cyflawni'r cywasgiad gorau posib trwy ddefnyddio'r set nodweddiadol (neu'n ymarferol, codio Huffman, Lempel-Ziv neu codio rhifyddol.

 Cyfyngiadau ar y dehongliad o entropi fel cynnwys gwybodaeth 
Er fod entropi yn cael ei ddehongli'n aml fel mesur o gynnwys gwybodaeth ffynhonnell ddata, nid yw'r cynnwys gwybodaeth hwn yn absolìwt: mae'n dibynnu'n llwyr ar y model tebygoliaethol. Mae entropi o 0 gan ffynhonnell sy'n cynhyrchu un symbol yn unig, ond mae'r diffiniad o symbol yn dibynnu ar yr wyddor dan sylw. Ystyriwch ffynhonnell sy'n cynhyrchu'r dilyniant ABABABABAB... Os tybiwn fod llythrennau unigol yn annibynnol, mae cyfradd entropi o un did i bob llythyren. Ond os tybiwn mae deugraffiau yw'r symbolau yn y model, yna 0 yw'r cyfradd entropi. Fodd bynnag, os defnyddiwn blociau mawr, yna fe allem gael amcymgyfrifiad annaturiol o isel o'r gyfradd entropi.

 Dolenni allanol 

  http://planetmath.org/?op=getobj&from=objects&id=968
  Disgrifiad o entropi gwybodaeth o "Tools for Thought" gan Howard Rheingold 

Categori:Damcaniaeth gwybodaeth