資訊理論係由美國電機工程師克勞迪山農（Claude E. Shannon）喺 1948 年諗出嚟，嗰陣時山農喺度研究訊號處理，跟手出咗佢篇著名論文《通訊嘅數學理論》，喺篇文當中提出咗呢個理論；