قضیه کدگذاری منبع شانون

قضیه کدگذاری منبع شانون  (و یا قضیه کدگذاری بدون نویز) در نظریه اطلاعات، محدودیت حداکثر فشرده سازی داده‌ها و معنای عملیاتی آنتروپی شانون را مشخص می‌کند.

قضیه کدگذاری منبع شانون نشان می‌دهد که نمیتوان داده‌ها چنان فشرده کرد که بدون آن که اطلاعات از دست برود ،کد ریت (متوسط تعداد بیت در هر نماد) کمتر از آنتروپی شانون منبع شود.

قضیه کدگذاری منبع برای کدهای نماد ، یک حد بالایی و پایین را در حداقل طول انتظار ممکن از codewords به عنوان تابعی از آنتروپی کلمه ورودی (که به عنوان یک متغیر تصادفی مشاهده می شود) و از اندازه الفبای هدف قرار می دهد.

 اظهارات 
کدگذاری منبع یک نگاشت از (دنباله) نمادها از یک منبع اطلاعات به دنباله‌ای از نمادها (معمولاً بیت) است به طوری که که منبع نمادها را بتوان دقیقاً از بیت‌های دودویی به دست آورد (کدینگ lossless)

 قضیه کدگذاری منبع 

در نظریه اطلاعات از منبع برنامه‌نویسی قضیه (شانون در سال 1948)C.E. Shannon, "A Mathematical Theory of Communication ", Bell System Technical Journal, vol. 27, pp.  379–423, 623-656, July, October, 1948 غیررسمی آمده است که (مککی 2003). 81,David J. C. MacKay. پوشش:فصل 5Cover, Thomas M. (2006). ):Nمتغیرهای تصادفی هر کدام را با آنتروپی می توان به بیش از  بیت با اغماض خطر از دست دادن اطلاعات فشرده کرد زمانی که ; اما اگر آنها فشرده به کمتر از  بیت شود تقریباً مسلم است که اطلاعات از دست خواهد رفت.

 منابع 

رده:فشرده‌سازی داده‌ها
رده:قراردادهای لایه نمایش
رده:قضیه‌های ریاضی در علوم نظری رایانه
رده:نظریه اطلاعات
رده:نظریه کدگذاری