Jabarkan Ngukur éntropi informasi dari Informasi dalam bahasa sunda

Tetempoan yén informasi téh hiji warta mimiti datang saprak dipedarna hiji makalah tulisan Claude Shannon dina taun 1948 anu gedé pangaruhna, nyaéta "A Mathematical Theory of Communication." Makalah ieu nyadiakeun pondasi tiori informasi sarta ngahargaan kecap 'informasi' lain ngan saukur ku harti téhnis tapi ogé ku ukuran nu jelas. Upamana lamun parangkat nu ngirim sacara sarua bisa ngirimkeun salah sahiji tina sakumpulan nu eusina  warta, mangka ukuran "informasi nu dihasilkeun sawaktu hiji warta dipilih tina kumpulan éta" téh nyaéta logaritma basis dua tina . (Ukuran ieu disebutna informasi-diri). Dina makalah ieu, Shannon neruskeun:

Cara komplémentér atawa cara heubeul pikeun ngukur informasi disadiakeun ku tiori informasi algoritmik. Sacara singget, tiori ieu ngukur eusi informasi tina daptar simbol-simbol dumasar kana sakumaha bisa diprédiksina maranéhanana, atawa sakumaha gampang ngadaptarkeun ngaliwatan hiji program: eusi informasi tina hiji runtuyan nyaéta jumlah bit program pangpondokna nu ngitungna. Runtuyan di handap bakal mibanda ukuran informasi algoritmik nu leutik, lantaran polana gampang dikira-kira, sarta lantaran pola ieu téh silihsambung, ukuranana moal robah. Informasi Shannon bakal méré ukuran informasi nu sarua pikeun unggal simbol, lantaran maranéhanana acak sacara statistik, sarta unggal simbol anyar bakal ngaronjatkeun hasil ngukurna.