Claude Shannon
ترتبط نظرية المعلومات بكمية المعلومات. تم تطوير هذا بواسطة كلود شانون لإيجاد حدود أساسية لعمليات معالجة الإشارات مثل ضغط البيانات وتخزين البيانات ونقلها بشكل موثوق. نظرية الترميز هي دراسة خصائص الأكواد (أنظمة لتحويل المعلومات من نموذج إلى آخر) وملاءمتها لتطبيق معين. تُستخدم الرموز لضغط البيانات، والتشفير، واكتشاف الأخطاء وتصحيحها، وكذلك في الآونة الأخيرة أيضًا لترميز الشبكة. تتم دراسة الرموز لغرض تصميم طرق فعالة وموثوقة لنقل البيانات.