Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C.