مدل تمایزی کیست؟ توضیح بده.
مدل‌های متمایز یا مدل‌های شرطی دسته‌ای از مدل‌های لجستیکی هستند که برای طبقه‌بندی یا رگرسیون استفاده می‌شوند. آنها مرزهای تصمیم را از طریق داده های مشاهده شده، مانند پاس/شکست، برد/باخت، زنده/مرده یا سالم/بیمار از هم تشخیص می دهند.مدل‌های متمایز عادی شامل رگرسیون لجستیک (LR)، میدان‌ تصادفی شرطی (CRFs) (نشان شده بر روی یک گراف غیر جهت‌دار)، درخت‌ تصمیم‌گیری و بسیاری مدل های دیگر هستند. رویکردهای مدل سازنده معمولی شامل طبقه‌بندی‌کننده‌های ساده بیز ، مدل‌های مخلوط گاوسی ، رمزگذارهای خودکار متغیر ، شبکه‌های متخاصم مولد و غیره است.تعریف.بر خلاف مدل سازی مولد که احتمال مشترک formula_1 را مطالعه می کند ، مدل سازی افتراقی formula_2 را بررسی می کند یا متغیر مشاهده نشده (هدف) formula_3 به برچسب کلاس formula_4 وابسته به متغیرهای مشاهده شده (نمونه های آموزشی) نگاشت می کند. به عنوان مثال، در تشخیص اشیا ، formula_3 احتمالاً بردار پیکسل های خام (یا ویژگی های استخراج شده از پیکسل های خام تصویر) است. در یک چارچوب احتمالی، این کار با مدل‌سازی توزیع احتمال شرطی formula_2 انجام می‌شود، که می تواند برای پیش بینی formula_4 از جانب formula_3 استفاده شود. توجه داشته باشید که هنوز بین مدل شرطی و مدل تمایزی تفاوت وجود دارد، اگرچه اغلب آنها به سادگی به عنوان مدل تمایزی طبقه بندی می شوند.مدل تمایز محض در مقابل مدل مشروط.یک "مدل شرطی،" توزیع احتمال شرطی را مدل می‌کند، در حالی که هدف مدل تمایزی سنتی، بهینه‌سازی در نگاشت ورودی در اطراف مشابه‌ترین نمونه‌های آموزش‌دیده است. رویکردهای مدل‌سازی تمایزی معمولی.رویکرد زیر بر این فرض پایبند است که مجموعه داده های آموزشی formula_9 به عنوان ورودی به آن داده شده است، به طوریکه formula_10 خروجی مربوط به ورودی formula_11 است . طبقه بندی خطی.ما قصد داریم از تابع formula_12 استفاده کنیم تا آنچه از رفتار مجموعه داده های آموزشی با روش طبقه بندی کننده خطی مشاهده کردیم را شبیه سازی کنیم. با استفاده از بردار ویژگی مشترک formula_13 ، تابع تصمیم به صورت زیر است:طبق تفسیر میمیشویچ، فرمول formula_15 ، که همچنین همانند formula_16 است، امتیاز سازگاری ورودی formula_3 را با خروجی بالقوه formula_4 را محاسبه می کند. سپس formula_19 کلاس با بالاترین امتیاز را تعیین می کند.رگرسیون لجستیک (LR).همین طور که تابع هزینه 0-1 به طور معمول در تئوری تصمیم استفاده می شود، توزیع احتمال شرطی formula_20 ، جایی که formula_21 یک بردار پارامتر برای بهینه سازی داده های آموزشی است ، می تواند برای مدل رگرسیون لجستیک به صورت زیر در نظر گرفته شود:معادله بالا رگرسیون لجستیک را به ما نشان می دهد. توجه داشته باشید که یک تفاوت عمده بین مدل ها، روش آنها برای معرفی احتمال پسین است. احتمال پسین از مدل پارامتریک استنباط می شود. سپس می توانیم پارامتر را با معادله زیر به حداکثر برسانیم:همچنین می تواند با معادله log-loss زیر جایگزین شود:از آنجایی که log-loss قابل تمایز است، می توان از روش مبتنی بر گرادیان برای بهینه سازی مدل استفاده کرد. رسیدن به بهینه جهانی حتمی است زیرا تابع هدف محدب است. گرادیان احتمال log به صورت زیر نشان داده می شود:جایی که formula_27 امید ریاضی formula_28 است.روش فوق محاسبات کارآمدی را برای تعداد نسبی کوچک طبقه بندی فراهم می کند.تضاد با مدل سازنده.تضاد در رویکردها.فرض کنیم مسئله ما formula_29 برچسب کلاس با formula_30 متغییر ویژگی دارد. formula_31 این متغییر ها مجموعه آموزش هستند.یک مدل سازنده احتمال مشترک formula_1 را می گیرد ، بطوریکه formula_3 ورودی و formula_4 برچسب است و ممکن ترین برچسب شناخته شده formula_35 را برای متغیر ناشناخته formula_36 با استفاده از قضیه بیز پیش بینی می کند.مدل‌های تمایزی، بر خلاف مدل‌های مولد ، اجازه تولید نمونه‌ها را از توزیع مشترک متغیرهای مشاهده شده و هدف نمی‌دهند. با این حال، برای کارهایی مانند طبقه‌بندی و رگرسیون که نیازی به توزیع مشترک ندارند، مدل‌های تمایزی می‌توانند عملکرد بهتری داشته باشند (تا حدی به این دلیل که متغیرهای کمتری برای محاسبه دارند). از سوی دیگر، مدل‌های مولد معمولاً در بیان وابستگی‌ها در تسک پیچیده یادگیری نسبت به مدل‌های تمایز منعطف‌تر هستند. علاوه بر این، بیشتر مدل‌های تماییزی ذاتاً تحت نظارت هستند و نمی‌توانند به راحتی از یادگیری بدون نظارت پشتیبانی کنند. جزئیات خاص برنامه در نهایت مناسب بودن انتخاب یک مدل تماییزی در مقابل مولد را مشخص می کند.مدل های تماییزی و مدل های مولد نیز در معرفی احتمال پسین متفاوت هستند. برای حفظ کمترین هزینه مورد انتظار، باید طبقه‌بندی نادرست را به حداقل رساند. در مدل تماییزی، احتمالات پسین، formula_37 ، از یک مدل پارامتری استنباط می شود که در آن پارامترها از داده های آموزشی بدست می آیند. نقاط تخمین پارامترها از بیشینه سازی احتمال یا محاسبه توزیع بر روی پارامترها به دست می آید. از سوی دیگر، با توجه به اینکه مدل های مولد بر احتمال مشترک تمرکز می کنند، احتمال پسین کلاس formula_38 در قضیه بیز در نظر گرفته شده است که بصورت زیر تعریف می شود:مزایا و معایب در کاربرد.در آزمایش‌های تکراری، رگرسیون لجستیک و نایو بیز برای مدل‌های مختلف در نوع طبقه‌بندی باینری اعمال می‌شوند، یادگیری تماییزی منجر به خطاهای مجانبی کمتر می‌شود، در حالی که یک مولد منجر به خطاهای مجانبی بالاتر سریع‌تر می‌شود. با این حال، در کار مشترک اولوسوی و بیشاپ، "مقایسه تکنیک‌های مولد و متمایز برای تشخیص و طبقه‌بندی اشیاء" ، بیان می‌کنند که گزاره فوق تنها زمانی درست است که مدل برای داده‌ها مناسب باشد (یعنی توزیع داده‌ها به درستی توسط مدل تولیدی مدل‌سازی شده باشد. ).مزایا.مزایای مهم استفاده از مدل سازی متمایز عبارتند از:در مقایسه با مزایای استفاده از مدل سازی مولد:بهینه سازی در برنامه ها.از آنجایی که هم مزایا و هم معایب دو روش مدل‌سازی گفته شد، ترکیب هر دو رپش در عمل مدل‌سازی خوبی خواهد بود. به عنوان مثال، در مقاله ماراس "A Joint Discriminative Generative Model for Model Deformable Construction and Classification" او و همکارانش ترکیبی از دو مدل سازی را در طبقه بندی چهره مدل ها اعمال می کنند و دقت بالاتری نسبت به روش سنتی دریافت می کنند.به طور مشابه، کلم ترکیب دو مدل‌ را برای طبقه‌بندی پیکسل‌ها در مقاله خود "ترکیب روش‌های مولد و متمایز برای طبقه‌بندی پیکسل با یادگیری چند شرطی" مطرح کرد.در طول فرآیند استخراج ویژگی‌های متمایز قبل از خوشه‌بندی، تحلیل مؤلفه اصلی (PCA)، اگرچه معمولاً مورد استفاده قرار می‌گیرد، یک رویکرد لزوماً تمایز نیست. در مقابل، LDA تمایزی است. تجزیه و تحلیل تفکیک خطی (LDA)، یک روش کارآمد برای از بین بردن نقطه ضعفی که در بالا اشاره کردیم ارائه می دهد. همانطور که می دانیم، مدل تمایزی قبل از طبقه بندی نیاز به ترکیبی از وظایف فرعی متعدد دارد و LDA با کاهش ابعاد راه حل مناسبی را برای این مشکل ارائه می دهد.انواع.نمونه هایی از مدل های متمایز عبارتند از: