قضیه کدگذاری منبع شانون

قضیه کدگذاری منبع شانون  (و یا قضیه کدگذاری بدون نویز) در نظریه اطلاعات، محدودیت حداکثر فشرده سازی داده‌ها و معنای عملیاتی آنتروپی شانون را مشخص می‌کند.

قضیه کدگذاری منبع شانون نشان می‌دهد که نمیتوان داده‌ها چنان فشرده کرد که بدون آن که اطلاعات از دست برود ،کد ریت (متوسط تعداد بیت در هر نماد) کمتر از آنتروپی شانون منبع شود.

قضیه کدگذاری منبع برای کدهای نماد ، یک حد بالایی و پایین را در حداقل طول انتظار ممکن از codewords به عنوان تابعی از آنتروپی کلمه ورودی (که به عنوان یک متغیر تصادفی مشاهده می شود) و از اندازه الفبای هدف قرار می دهد.

اظهارات 
کدگذاری منبع یک نگاشت از (دنباله) نمادها از یک منبع اطلاعات به دنباله‌ای از نمادها (معمولاً بیت) است به طوری که که منبع نمادها را بتوان دقیقاً از بیت‌های دودویی به دست آورد (کدینگ lossless)

قضیه کدگذاری منبع 

در نظریه اطلاعات از منبع برنامه‌نویسی قضیه (شانون در سال 1948) غیررسمی آمده است که (مککی 2003). 81, پوشش:فصل 5):Nمتغیرهای تصادفی هر کدام را با آنتروپی می توان به بیش از  بیت با اغماض خطر از دست دادن اطلاعات فشرده کرد زمانی که ; اما اگر آنها فشرده به کمتر از  بیت شود تقریباً مسلم است که اطلاعات از دست خواهد رفت.

منابع 

فشرده‌سازی داده‌ها
قراردادهای لایه نمایش
قضیه‌های ریاضی در علوم نظری رایانه
نظریه اطلاعات
نظریه کدگذاری