موضوع مقاله: نظریه اطلاعات | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # نظریه اطلاعات | مقدمه: این نظریه، مدلی ریاضی از شرایط و عوامل مؤثر در پردازش و انتقال اطلاعات (داده‌ها) به‌دست می‌دهد. | ## بخش 1: نظریه اطلاعات | تمرکز این نظریه بر محدودیت‌های بنیادین ارسال و پردازش اطلاعات است، و کمتر به چگونگی عملکرد و پیاده‌سازی روش‌های انتقال و پردازش اطلاعات می‌پردازد. اگر چه نظریه اطلاعات بر رشته‌های دیگر مانند روان‌شناسی و فلسفه اثر گذاشته، اثرش به علت مشکل تبدیل مفهوم آماری اطلاعات به مفهوم معنایی دانش و محتوا، بیشتر القای احساسی مفهوم اطلاعات بوده‌ است.SAYRE, KENNETH M. تاریخچه اختراع تلگراف و پس از آن تلفن، توجه به مفهوم اطلاعات و انتقال آن را افزایش داد. او دریافت که خطوط انتقالی که زیرِ زمین کشیده شده‌اند مشکلات بیشتری از خطوط انتقال هوایی (روی تیر) دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. پس از اختراع تلفن از سوی الکساندر گراهام بل در ۱۸۷۵ و گسترش آن، برخی به بررسی مشکلات انتقال اطلاعات پرداختند. بیشتر این تحقیقات از تبدیل فوریه استفاده می‌گرد، اما تمرکز آن‌ها بیشتر روی جنبه عملی و مهندسی موضوع بود. نخستین بار در ۱۹۲۴، هری نایکوئیست در مقاله‌اش، «عوامل خاصی که بر سرعت تلگراف اثر می‌گذارند»، به نظریه اطلاعات پرداخت. یکی از نکات اصلی مقاله شانون این بود که بررسی سیگنال‌های مخابراتی را باید از بررسی اطلاعاتی که دربردارند جدا کرد، در حالی که پیش از او چنین نبود. مثلاً نقل شده‌ است که ویکتور هوگو در نامه‌ای به ناشرش، فقط «؟» نوشته بود، و در پاسخ نامه‌ای دریافت کرد که فقط «!» در آن بود. | ## بخش 2: نظریه اطلاعات | این دو نماد برای هر دو طرف معنی داشتند، هرچند از دید ناظری که معنی آن‌ها را نمی‌دانست، مبهم بودند. مثال دیگر، جمله‌ای طولانی است که به زبان فارسی نوشته شده‌ است، ولی برای انگلیسی‌زبانی که فارسی نمی‌داند مفهومی ندارد. بدین‌سان شانون پیشنهاد کرد که مسئله ارسال سیگنال را از ارسال اطلاعات آن جدا کرده، و برای دومی مدلی ریاضی پیش نهاد. شانون در آن زمان در آزمایشگاه‌های بل کار می‌کرد و در تلاش برای طراحی خطوط تلفن با ضریب اطمینان بالا بود. پیش از شانون، عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و بیشترین تعداد مکالمات تلفنی که می‌توان روی خطوط تلفن منتقل کرد، نامشخص بود. شانون پس از تعریف ریاضی کانال مخابراتی، ظرفیتی به آن نسبت داد که بیان‌گر بیشترین اندازۀ اطلاعاتی است که می‌توان روی کانال مخابره کرد. فرمول ظرفیت کانال شانون نه تنها برای کانال‌های بینویز، بلکه برای کانال‌های نویزدار هم قابل استفاده بود. او فرمولی پیش نهاد که اثر پهنای باند کانال، و نسبت توان سیگنال به توان نویز (نسبت سیگنال به نویز) را در ظرفیت کانال نشان می‌داد. مفهوم اطلاعات و راه‌های اندازه‌گیری آن مفهوم اطلاعات که شانون پیش نهاد، از دید آمار و احتمال بوده و با مفاهیم روزمره اطلاعات مانند دانش یا استفاده‌های روزمره از آن در زبان طبیعی مانند بازیابی اطلاعات، تحلیل اطلاعات، چهارراه اطلاعات و ... | ## بخش 3: نظریه اطلاعات | اگر چه نظریه اطلاعات بر رشته‌های دیگر مانند روان‌شناسی و فلسفه هم اثر گذاشته، اثرش به دلیل مشکل تبدیل مفهوم آماری اطلاعات به مفهوم معنایی دانش و محتوا، بیشتر القای احساسی اطلاعات بوده‌ است. قضایای شانون شانون در کارهایش، ارسال اطلاعات در یک کانال مخابراتی را پایه‌ای بررسی کرد و برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات مدل ریاضی پیش نهاد. او ارسال اطلاعات از فرستنده (منبع) به گیرنده (مقصد) را به کمک احتمالات بررسی کرد. دو نتیجهٔ مهم، معروف به قضیه‌های شانون، این‌ها هستند: کم‌ترین نرخ فشرده‌کردن اطلاعات یک منبع تصادفی، برابر با آنتروپی آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی یک منبع اطلاعات را با نرخی کمتر از آنتروپی آن منبع ارسال کرد. بیش‌ترین نرخ ارسال اطلاعات روی یک کانال مخابراتی، طوری‌که در مقصد بتوان اطلاعات را با احتمال خطای در حد قابل قبول کم بازیافت، ثابت و وابسته به مشخصات کانال است و ظرفیت کانال نام دارد. مهم‌ترین کمیت‌های مربوط به اطلاعات عبارتند از آنتروپی، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است. آنتروپی نشان می‌دهد که اطلاعات خروجی یک منبع اطلاعات تا چه اندازه می‌تواند فشرده شود؛ در حالی که اطلاعات متقابل، نرخ انتقال اطلاعات در یک کانال مخابراتی را تعیین می‌کند. دیگر واحدها شامل نَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند. | ## جمع‌بندی | مفهوم آنتروپی در طول دهه‌های گذشته دستخوش تغییرات شده و به کاربردهای مهمی در دیگر شاخه های علوم از جمله فشرده‌سازی داده‌ها، علوم اعصاب ، مهندسی مخابرات و کدگذاری کانال انجامیده است.