As informationstheoretische Vaständnis vom Begriff Entropie gähd af Claude E. Shannon zruck und existiat seit etwa 1948. In dem Joar hod da Shannon a fundamentale Orbat A Mathematical Theory of Communication vaeffentlicht und hod damit de moderne Informationstheorie prägt.