نظرية شانون هارتلي
التطور التاريخي > نظرية ترميز القناة الصاخبة والقدرة

التطوير الذي عمل عليه كلود شانون أعطى لنظرية المعلومات أثناء الحرب العالمية الثانية الخطوة الكبيرة التالية في فهم كم المعلومات التي يمكن إيصالها بشكل موثوق عن طريق القنوات الصاخبة. بناءً على منطق هارتلي، تكشف نظرية شانون طريقة لتشفير القنوات الصاخبة (1948) أقصى كفاءة ممكنة لطرق تصحيح الأخطاء مقابل مستويات تداخل الضوضاء وضياع البيانات. يُظهر إثبات النظرية أن رمز تصحيح الخطأ الذي تم إنشاؤه عشوائيًا هو أساسا يعتبر أفضل كود ممكن ؛ هذه النظرية تم إقرارها عن طريق إعطاء إحصائيات مثل هذه الرموز العشوائية.
إن نظرية شانون توضخ لنا كيفية حساب سعة القناة من خلال وصف دقيق للقناة وأحصائياتها، ويظهر ذلك في حالة وجود قناة صاخبة بسعة C والمعلومات المنقولة بمعدل خط  R ، ثم إذا
هنالك تقنية تشفيرية تمكن على عدم وجود إحتمالية الخطأ مستقبلاً وأن وجد فإنه سيكون خطأ بسيط وصغير. هذا يعني أنه من الناحية النظرية، ويعني ذلك أنه بالإمكان نقل المعلومات تقريبًا بدون أخطاء حتى حد تقريبًا  C بت في الثانية.
العكس من ذلك مهم أيضا. إذا
الخطأ يحتمل أن يزداد في المستقبل دون تقييد مع زيادة في المعدل. لذلك من المحال نقل أي معلومات تتجاوز سعة القناة وأن كانت هذه المعلومات تفيدنا. النظرية لا تناظر في الموقف النادر الذي تتساوى فيه السعة والمعدل.
نظرية شانون-هارتلي تساعد في تبيان سعة هذه القناة لقناة الوقت المستمر ذات عرض نطاق معروف ومحدد يخضع لضوضاء غاوسي. نتيجة هارتلي مع نظرية سعة القناة لشانون إرتباطاتا في شكل مكافئ ويعملان على تحديد M في صيغة معدلة تقيس خط هارتلي من حيث نسبة الإشارة إلى الضوضاء، ولكن لإقرار الموثوقية يجب أن يُشفر تصحيح الخطأ بدلاً من الحصول على مستويات نبض يمكن تمييزها بشكل موثوق .
إذا كان هناك شيء مثل القناة التناظرية الخاوية من الضوضاء، يمكن للمرء وباستطاعاته إرسال كميات غير مشروطة من البيانات الخاوية من الأخطاء والشوائب عبرها لكل وحدة زمنية (ملاحظة: ليس باستطاعة القناة التناظرية المعنية بالنطاق الترددي اللانهائي نقل الكميات من البيانات الخالية من الأخطاء، بدون قوة إشارة غير محدودة). ولكن مع ذلك، تتماثل القنوات الحقيقية لقيود تصدرها كل من النطاق الترددي المحدود والضوضاء غير الصفرية.
النطاق والضوضاء يؤثران على معدل الكميات المرسلة للمعلومات التي تأتي من خلال قناة تناظرية. طبعا القيود الخاصة بالنطاق الترددي لا تستلزم وحدها حد أقصى لمعدل المعلومات الأقصى لأنه من الممكن أن تأخذ الإشارة عددًا ليس قليلاً وليس معروفاً من مستويات الجهد المتفاوتة على كل نبضة رمز، مع تخصيص معنى مختلف أو تسلسل بت لكل مستوى متفاوت . مع مراعاة كل القيود المفروضة على الضوضاء المشوشة وعرض النطاق، ولا ننسى أنه يوجد حاجز لكمية المعلومات التي يمكن نقلها بإشارة من قوة محدودة، حتى مع استخدام تقنيات تشفير متعددة المستويات مختلفة.
القناة التي تدرسها نظرية شانون-هارتلي، يتم فيها الجمع بين الضوضاء والإشارة من خلال الجمع. والذي يعني بأن المستقبل يقيس الإشارة التي تساوي مجموع الإشارات التي تشفر المعلومات المطلوبة ومتغير عشوائي مستمر يمثل الضوضاء. هذه الإضافة تؤدي إلى عدم الإقتناع بقيمة الإشارة الأصلية. إذا كان لدى المستقبل القليل من المعلومات حول العملية العشوائية التي تولد الضوضاء، فيمكن من خلال المبدأ استرجاع المعلومات في الإشارة الأصلية عن طريق النظر في الحالات الممكنة لعملية الضوضاء. في حالة نظرية شانون-هارتلي، يُفترض أن الضوضاء نتيج عن عملية غاوسية ذات تباين معروف. نظرًا لأن تباين عملية غاوسية يكافئها قوةً، بالأحرى الإعتباد على تسمية هذا التباين بقدرة الضوضاء.
هذه القناة تدعى قناة الضوضاء الغوسية البيضاء المضافة، لأن الضوضاء الغوسية تضاف إلى الإشارة ؛ تعني كلمة «أبيض» كميات مناسبة من الضوضاء على معظم أو جميع الترددات التي ضمن عرض النطاقي الترددي للقناة. بإستطاعتك أن تنشأ هذه الضوضاء من المصادر العشوائية للطاقة وأيضًا من الأخطاء التشفيرية والقياسية عند المرسل والمستقبل على التوالي. بأخذ في عين الإعتبار لأن مجاميع المتغيرات العشوائية الغاوسية المستقلة هي نفسها متغيرات عشوائية غاوسية، فإن هذا يبسط التحليل بشكل مناسب، إذا افترض المرء أن مصادر الخطأ هذه هي أيضًا غاوسية ومستقلة.