اعتلاج (نظرية المعلومات)
المقدمة

الفكرة الأساسية لنظرية المعلومات هي أن «القيمة المعلوماتية» للرسالة التي يتم توصيلها تعتمد على درجة مفاجأة محتوى الرسالة. إذا كان الحدث محتملاً للغاية، فليس من المستغرب (و غير مهم بشكل عام) عندما يحدث هذا الحدث كما هو متوقع؛ وبالتالي فإن إرسال مثل هذه الرسالة يحمل القليل من المعلومات الجديدة. ومع ذلك، إذا كان من غير المحتمل حدوث حدث، فمن المفيد جدًا معرفة أن الحدث قد وقع أو سيحدث. على سبيل المثال، معرفة أن بعض الأرقام المحددة لن تكون الرقم الفائز في اليانصيب تقدم معلومات قليلة جدًا، لأن أي رقم محدد تم اختياره لن يكسب بالتأكيد. ومع ذلك، معرفة أن عدد معين سيفوز اليانصيب لها قيمة عالية لأنه يتصل مع نتيجة لحدث احتمال ضعيف جدا.
محتوى المعلومات (يسمى أيضًا المفاجأة) للحدث  E هي دالة متزايدة للتبادلية للاحتمال  p(E) الحدث، على وجه التحديد  I(E)=-\log _{2}(p(E))=\log _{2}(1/p(E)) . يقيس الانتروبيا الكمية المتوقعة (أي المتوسطة) من المعلومات المنقولة عن طريق تحديد نتيجة تجربة عشوائية. هذا يعني أن رمي النرد له إنتروبيا أعلى من رمي عملة معدنية لأن كل نتيجة لرمي النرد لها احتمال أقل (حول  p=1/6) من كل نتيجة رمي عملة ( p=1/2).
الإنتروبيا هي مقياس لعدم القدرة على التنبؤ بالحالة، أو ما يعادلها من متوسط محتوى المعلومات . للحصول على فهم بديهي لهذه المصطلحات، فكر في مثال استطلاع سياسي. عادةً، تحدث مثل هذه الاستطلاعات لأن نتيجة الاستطلاع غير معروفة بالفعل. وبعبارة أخرى، فإن نتائج الاستطلاع غير متوقعة نسبيًا، كما أن إجراء الاستطلاع وتعلم النتائج يعطي بعض المعلومات الجديدة؛ هذه مجرد طرق مختلفة لقول أن الإنتروبيا الأولية لنتائج الاستطلاع كبيرة. الآن، ضع في اعتبارك حالة إجراء نفس الاستطلاع مرة أخرى بعد وقت قصير من الاستطلاع الأول. بما أن نتيجة الاستطلاع الأول معروفة بالفعل، يمكن توقع نتائج الاستطلاع الثاني بشكل جيد ويجب ألا تحتوي النتائج على معلومات جديدة كثيرة؛ في هذه الحالة، يكون الانتروبيا الأولية لنتائج الاستطلاع الثانية صغيرة بالنسبة إلى النتيجة الأولى.
تأمل في مثال رمي العملة. إذا كان احتمال الرأس هو نفسه احتمال ذيول، فإن الإنتروبيا في رمي العملة عالية كما يمكن أن تكون لمحاكمة ذات نتيجتين. لا توجد طريقة للتنبؤ بنتائج رمي العملة في وقت مبكر: إذا كان على المرء أن يختار، فلا يوجد متوسط ميزة يمكن اكتسابها من خلال التنبؤ بأن الرمي سيخرج رؤوسًا أو ذيول، حيث سيكون أي توقع صحيحًا مع الاحتمال  1/2 . مثل رمي العملة هذا لديه جزء من الانتروبيا حيث أن هناك نتيجتين محتملتين تحدثان باحتمالية متساوية، وتعلم النتيجة الفعلية تحتوي على جزء واحد من المعلومات. على النقيض من ذلك، فإن رمي العملة باستخدام عملة لها رأسان ولا ذيول لا يوجد أي إنتروبيا حيث أن العملة ستظهر دائمًا رؤوس، ويمكن توقع النتيجة بشكل مثالي. بالمقابل، فإن حدثًا ثنائيًا بنتائج قابلة للتوازن له إنتروبيا شانون  \log _{2}2=1 قليلا. وبالمثل، يحتوي النظام الثلاثي trit واحد بقيم متساوية  \log _{2}3 (حوالي 1.58496) بت من المعلومات لأنه يمكن أن يحتوي على واحدة من ثلاث قيم.
النص الإنجليزي، الذي يعامل كسلسلة من الأحرف، لديه إنتروبيا منخفض إلى حد ما، أي يمكن التنبؤ به إلى حد ما. إذا لم نكن نعرف بالضبط ما الذي سيأتي بعد ذلك، فيمكننا أن نكون على يقين إلى حد ما، على سبيل المثال، "e" ستكون أكثر شيوعًا بكثير من "z"، وأن المجموعة "qu" ستكون أكثر شيوعًا من أي شيء آخر بالاشتراك مع "q"، وأن النسخة "th" ستكون أكثر شيوعًا من "z" أو "q" أو "qu". بعد الحروف القليلة الأولى، يمكن للمرء في كثير من الأحيان أن يخمن بقية الكلمة. يحتوي النص الإنجليزي على ما بين 0.6 و 1.3 بت من الإنتروبيا لكل حرف في الرسالة.
إذا كان نظام الضغط بدون خسارة - حيث يمكنك دائمًا استرداد الرسالة الأصلية بالكامل عن طريق إزالة الضغط - عندئذٍ تحتوي الرسالة المضغوطة على نفس كمية المعلومات مثل الأصل، ولكن يتم توصيلها بأحرف أقل. لديها المزيد من المعلومات (إنتروبيا أعلى) لكل حرف. تحتوي الرسالة المضغوطة على تكرار أقل. تنص نظرية شاندون لترميز المصدر على أن نظام الضغط بدون خسارة لا يمكنه ضغط الرسائل، في المتوسط، للحصول على أكثر من بت واحد من المعلومات لكل بت من الرسالة، ولكن يمكن تحقيق أي قيمة أقل من بت واحد من المعلومات لكل بت من الرسالة عن طريق استخدام مخطط مناسب للترميز. إن إنتروبية الرسالة لكل بت مضروبة في طول تلك الرسالة هو مقياس لمقدار المعلومات الإجمالية التي تحتوي عليها الرسالة.
إذا كان على المرء أن يرسل تسلسلات تشتمل على الأحرف الأربعة "A" و "B" و "C" و "D"، فقد تكون الرسالة المرسلة "ABADDCAB". تعطي نظرية المعلومات طريقة لحساب أصغر كمية ممكنة من المعلومات التي ستنقل ذلك. إذا كانت جميع الأحرف الأربعة متساوية (25٪)، فلا يمكن للمرء أن يقوم بأفضل (عبر قناة ثنائية) من أن يكون له ترميز 2 بت (عبر قناة ثنائية) كل حرف: "A" قد يرمز إلى "00"، "B" كـ "01" و "C" كـ "10" و "D" كـ "11". في حالة حدوث "A" باحتمال 70٪، و "B" بنسبة 26٪، و "C" و "D" بنسبة 2٪ لكل منهما، يمكن للمرء تعيين رموز طول متغيرة، بحيث استقبال "1" يقول لنا أن ننظر في بت آخر ما لم يتم بالفعل استقبال بت 2 من المتسلسلة 1s. في هذه الحالة، يتم ترميز "A" كـ "0" (بت واحد) و "B" كـ "10" و "C" و "D" كـ "110" و "111". من السهل ملاحظة أن 70٪ من الوقت يحتاج إلى إرسال بت واحد فقط، و 26٪ من الوقت بتين، و 4٪ فقط من الوقت 3 بتات. في المتوسط، يلزم أقل من 2 بت لأن الإنتروبيا أقل (بسبب الانتشار الواسع لـ "A" متبوعًا بـ "B" - معًا 96٪ من الأحرف). حساب مجموع الاحتمالية الموزنة للوغاريتم الخاص بالاحتمالات المقاسة والمأخوذة لهذا التأثير.
تفترض نظرية شانون أيضًا أنه لا يوجد نظام ضغط بدون خسارة المخطط يمكن أن يقصر جميع الرسائل. إذا كانت بعض الرسائل أقصر، فيجب أن تظهر رسالة واحدة على الأقل لفترة أطول بسبب مبدأ ثقب برج الحمام. في الاستخدام العملي، هذه ليست مشكلة بشكل عام، لأن المرء عادة ما يهتم فقط بضغط أنواع معينة من الرسائل، مثل مستند باللغة الإنجليزية، على عكس نص لطلاسم أو صور رقمية بدلاً من الضجيج، وهو غير مهم إذا كانت خوارزمية الضغط تجعل بعض التسلسلات غير المتوقعة أو غير المثيرة للاهتمام أكبر.