Teori matematikal komunikasi

Entropi adalah konsep keacakan, di mana terdapat suatu keadaan yang tidak dapat dipastikan kemungkinannya. Entropi timbul jika prediktabilitas / kemungkinan rendah dan informasi yang ada tinggi Informasi adalah sebuah ukuran ketidak pastian, atau entropi, dalam sebuah situasi. Semakin besar ketidakpastian, semakin besar informasi yang tersedia dalam proses komunikasi. Ketika sebuah situasi atau keadaan secara lengkap dapat dipastikan kemungkinannya atau dapat diprediksikan highly predictable, maka informasi tidak ada sama sekali. Kondisi inilah yang disebut dengan negentropy.