Claude Shannon
يعتمد تبادل المعلومات على تعريف المعلومات باستخدام الإنتروبيا (عدم اليقين، متوسط محتوى المعلومات) الذي قدمه كلود شانون. إذا زادت المعلومات المنقولة، يقل الشك بشأن المتغير العشوائي، بشرط أن يكون الآخر معروفًا. إذا كانت المعلومات المنقولة بحدها الأقصى، يختفي عدم اليقين. كما يتبين من التعريف الرسمي، يتم تقليل عدم اليقين لمتغير عشوائي عن طريق معرفة متغير آخر. يتم التعبير عن هذا في المعلومات المنقولة.