آنتروپی تفاضلی
دیفرانسیل آنتروپی (همچنین به عنوان مستمر آنتروپی) یک مفهوم در نظریه اطلاعات که شروع به تلاش شانون به گسترش ایده (Shannon) آنتروپی اندازه‌گیری دمای هلندی، بین نژادهای مختلف از یک متغیر تصادفی به‌طور مداوم احتمال توزیع است. متأسفانه شانون نمی مشتق این فرمول و نه فقط فرض آن را درست مستمر آنالوگ آنتروپی گسسته است. واقعی نسخه مداوم آنتروپی گسسته است و محدود کردن تراکم نقاط گسسته (LDDP). دیفرانسیل آنتروپی (در اینجا توضیح داده شده‌است) مواجه می‌شوند که معمولاً در ادبیات، اما از آن است که محدود مورد LDDP و یکی که از دست می‌دهد و اساسی آن ارتباط با گسسته آنتروپی.
اجازه "X" یک متغیر تصادفی با یک چگالی احتمال تابع "f" که پشتیبانی یک مجموعه formula_1. این "دیفرانسیل آنتروپی" "h"("X") یا "ثانیه"("f") تعریف شده‌است به عنوان برای توزیع‌های احتمالی است که نمی‌باید صریح و روشن تابع چگالی بیان اما باید صریح و روشن quantile تابع بیان "Q"("p") "h"("Q") را می‌توان تعریف شده در شرایط مشتق از "Q"("p") یعنی quantile تابع چگالی "Q"'("p") به عنوان به عنوان با آن گسسته آنالوگ واحد دیفرانسیل آنتروپی بستگی به پایه لگاریتم است که معمولاً ۲ (برای مثال واحدهای بیت). دیدن لگاریتمی واحد برای لگاریتم گرفته در پایگاه‌های مختلف. مربوط به مفاهیم مشترک بین مشروط دیفرانسیل آنتروپی و آنتروپی نسبی تعریف شده در یک مد مشابه. بر خلاف گسسته آنالوگ دیفرانسیل آنتروپی یک افست که بستگی به واحد مورد استفاده برای اندازه‌گیری "X". به عنوان مثال دیفرانسیل آنتروپی یک مقدار اندازه‌گیری میلی‌متر خواهد بود و ورود به سیستم(۱۰۰۰) بیش از همان مقدار اندازه‌گیری در متر؛ بعد مقدار باید دیفرانسیل آنتروپی از ورود به سیستم(۱۰۰۰) بیش از همان مقدار توسط ۱۰۰۰ تقسیم می‌شود.
یکی باید مراقبت در تلاش برای اعمال خواص آنتروپی گسسته به دیفرانسیل آنتروپی پس از چگالی احتمال توابع را می‌توان بزرگتر از ۱ است. به عنوان مثال ,(۰٬۱/۲) "منفی" دیفرانسیل آنتروپی بنابراین دیفرانسیل آنتروپی می‌کند به اشتراک گذاری تمام خواص آنتروپی گسسته است.
توجه داشته باشید که پیوسته متقابل اطلاعات "من"("X";"Y") تمایز حفظ آن اهمیت اساسی به عنوان یک اندازه‌گیری از اطلاعات گسسته از آن است که در واقع حد گسسته متقابل اطلاعات از "پارتیشن"های "X" و "Y" به عنوان این پارتیشن تبدیل ظریف و ظریف است؛ بنابراین از آن است که ناوردا تحت غیر خطی homeomorphisms (پیوسته و منحصر به فرد invertible نقشه) مادر از جمله خطی تحولات "X" و "Y"و هنوز هم نشان دهنده مقدار گسسته اطلاعاتی که منتقل می‌شود بیش از یک کانال است که اذعان می‌کند یک فضای مداوم از ارزش‌ها.
به صورت مستقیم آنالوگ آنتروپی گسسته تمدید مستمر فضای ببینید محدود کردن تراکم نقاط گسستهاست.
اما دیفرانسیل آنتروپی ندارد دیگر خواص مطلوب: اصلاح دیفرانسیل آنتروپی که آدرس این اشکالاتی است که اطلاعات نسبی آنتروپی, همچنین شناخته شده به عنوان Kullback–Leibler واگراییکه شامل یک یکسان اندازه‌گیری فاکتور (نگاه کنید به محدود کردن تراکم نقاط گسسته).
با یک توزیع نرمال دیفرانسیل آنتروپی حداکثر برای یک داده شدند. به دنبال اثبات این است که یک Gaussian متغیر است و بزرگترین آنتروپی در میان تمام متغیرهای تصادفی برابر واریانس یا معادل آن است که حداکثر آنتروپی توزیع تحت محدودیت میانگین و واریانس است گاوسی.
اجازه دهید "g"("x") یک Gaussian PDF با میانگین μ و واریانس σ و "f"("x") خودسرانه PDF با همان واریانس است. پس از دیفرانسیل آنتروپی ترجمه ناوردا ما می‌توانیم فرض کنیم که "f"("x") به همین معنی از μ به عنوان "g"("x").
در نظر Kullback–Leibler واگرایی بین این دو توزیع در حال حاضر توجه داشته باشید که چرا که نتیجه بستگی ندارد "f"("x") دیگر از طریق واریانس. ترکیب این دو نتیجه بازده با برابری هنگامی که "g"("x") = "f"("x") پس از خواص Kullback–Leibler واگرایی.
این نتیجه نیز ممکن است نشان داده شود با استفاده از variational حساب دیفرانسیل و انتگرال. یک تابع لاگرانژی با دو لاگرانژ ممکن است به عنوان تعریف شده: که در آن "g(x)" است که برخی از عملکرد با میانگین μ. زمانی که آنتروپی "g(x)" است که در حداکثر و محدودیت معادلات که شامل وضعیت عادی formula_13 و نیاز واریانس ثابت formula_14 هر دو راضی و سپس یک تنوع کوچک δ"g"("x") "g(x)" تولید خواهد شد تنوع δ"L" در مورد "L" که به صفر برابر است با: پس از این باید نگه دارید برای هر کوچک و δ"g"("x") این واژه در داخل پرانتز باید صفر و برای حل "g(x)" بازده: با استفاده از محدودیت معادلات به حل برای λ و λ بازده توزیع نرمال:
اجازه "X" یک توزیع نمایی متغیر تصادفی با پارامتر λ است که با چگالی احتمال تابع آن دیفرانسیل آنتروپی است و سپس
در اینجا formula_19 استفاده شد و به جای formula_20 آن را صریح و روشن است که لگاریتم گرفته شده به پایه "e"به ساده محاسبه است.
در جدول زیر formula_21 است گاما تابع‌های formula_22 است digamma تابع‌های formula_23 این تابع بتا و گاما توسط اویلر ثابتاست.
(بسیاری از دیفرانسیل آنتروپی هستند.
همان‌طور که در بالا توضیح داده دیفرانسیل آنتروپی می‌کند به اشتراک گذاری تمام خواص آنتروپی گسسته است. برای مثال دیفرانسیل آنتروپی می‌تواند منفی نیز آن است که ناوردا تحت مستمر هماهنگ تحولات است. ادوین تامپسون Jaynes نشان داد در این واقعیت است که بیان بالا درست نیست حد بیان به صورت یک مجموعه متناهی از احتمالات است.
اصلاح دیفرانسیل آنتروپی می‌افزاید: یکسان اندازه‌گیری عامل برای اصلاح این (نگاه کنید به محدود کردن تراکم نقاط گسسته). اگر "m(x)" است که بیشتر محدود به یک چگالی احتمال در نتیجه مفهوم است که به نام آنتروپی نسبی در نظریه اطلاعات: تعریف دیفرانسیل آنتروپی بالا را می‌توان به دست آمده توسط پارتیشن‌بندی طیف وسیعی از "X" به سطل از ظهر "ثانیه" با نمونه همراه نقاط "ih" در داخل مخازن به صورت "X" ریمان و انتگرال. این را می‌دهد تدریجی نسخه از "X"تعریف شده توسط "X" = "ih" اگر "ih" ≤ "X" ≤ ("i"+1)"ثانیه". سپس آنتروپی از "X" است دوره اول در سمت راست تخمین دیفرانسیل آنتروپی در حالی که دوره دوم حدود −log("h"). توجه داشته باشید که این روش نشان می‌دهد که آنتروپی در گسسته حس مداوم از یک متغیر تصادفی باید ∞.