موضوع مقاله: آنالیز افتراقی خطی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # آنالیز افتراقی خطی | مقدمه: آنالیز تشخیصی خطی و تشخیص خطی فیشر روش‌های آماری هستند که از جمله در یادگیری ماشین و بازشناخت الگو برای پیدا کردن ترکیب خطی خصوصیاتی که به بهترین صورت دو یا چند کلاس از اشیا را از هم جدا می‌کند، استفاده می‌شوند. | ## بخش 1: آنالیز افتراقی خطی | آنالیز تشخیصی خطی بسیار به تحلیل واریانس و تحلیل رگرسیونی نزدیک است؛ در هر سهٔ این روش‌های آماری متغیر وابسته به صورت یک ترکیب خطی از متغیرهای دیگر مدل‌سازی می‌شود. آنالیز تشخیصی خطی همچنین با تحلیل مؤلفه‌های اصلی و تحلیل عاملی هم شباهت دارد؛ هر دوی این روش‌های آماری برای ترکیب خطی متغیرها به شکلی که داده را به بهترین نحو توضیح بدهد به کار می‌روند یک کاربرد عمده‌ی هر دوی این روش‌ها، کاستن تعداد بعدهای داده است. با این حال این روش‌ها تفاوت عمده‌ای با هم دارند: در آنالیز افتراقی خطی، تفاوت کلاس‌ها مدل‌سازی می‌شود در حالی که در تحلیل مؤلفه‌های اصلی تفاوت کلاس‌ها نادیده گرفته می‌شود. LDA ارتباط نزدیکی با تحلیل واریانس و تحلیل رگرسیون دارد که سعی دارند یک متغیر مستقل را به عنوان ترکیبی خطی از ویژگی‌های دیگر بیان کنند. چرا که هر دو متد به دنبال ترکیبی خطی از متغیرهایی هستند که به بهترین نحو داده‌ها را توصیف می‌کنند. LDA برای دو کلاس مجموعه‌ای از مشاهدات را به نام برای هر نمونه از یک شی یا پدیده با کلاس شناخته شده y در نظر بگیرید. مسئله دسته‌بندی پیدا کردن یک پیش‌بینی‌کننده (predictor) برای هر کلاس از همان توزیع (نه لزوماً از مجموعه آموزش) داده شده از مجموعه مشاهده x است.. LDA با این فرض که تابع چگالی احتمال شرطی و هر دو، توزیع نرمال با پارامترهای میانگین و کوواریانس و هستند. در این مورد، اصطلاحات گوناگون باطل می‌شوند و معیار تصمیم آستانه ضرب نقطه ای زیر خواهد بود: برای آستانه معین ثابتی به نام c، در حالی که: بدین معنی است که معیار یک ورودی که در یک کلاس y جای دارد، تابعی ناب از ترکیب خطی مشاهدات شناخته شده‌است. دیدن این نتیجه از نظر هندسی اغلب مفید است: معیار یک ورودی که در یک کلاس y جای دارد تابعی ناب از پروجکشن فضای چند بعدی نقطه بر روی بردار است (بنابراین، تنها جهت آن را در نظر می‌گیریم). به بیانی دیگر، مشاهده به کلاس y تعلق دارد اگر متناظرش در یک طرف معین از ابر صفحه عمود بر واقع شده باشد. | ## بخش 2: آنالیز افتراقی خطی | LDA استاندارد برای k کلاس CDA آنالیز افتراقی استاندارد محورهای مختصاتی (K-1 مختصات استاندارد، K تعداد کلاس‌ها را نشان می‌دهد) را که به بهترین شکل دسته‌ها را از هم مجزا می‌کند، پیدا خواهد کرد. این توابع خطی ناهمبسته هستند و k-1 فضا را از طریق ابر n بعدی از داده‌ها که به بهترین شکل k گروه را از هم مجزا می‌کند. رویکرد متفاوتی برای تعریف یک افتراق‌دهنده به کار می‌گیرد و بعضی فرضیات LDA مانند کلاس‌های دارای توزیع نرمال یا کوواریانس برابر کلاس را ندارد، واژه‌های افتراق خطی فیشر و LDA معمولاً به جای یکدیگر به کار می‌روند. افتراق‌دهنده فیشر بین این دو توزیع را به صورت نسبت واریانس بین دو کلاس به واریانس درون دو کلاس تعریف کرد: به عبارت دیگر این مقدار، مقیاسی از نسبت سیگنال به نویز برای برچسب گذاری کلاس است. می‌توان نشان داد که حداکثر جداسازی زمانی اتفاق می‌افتد که: وقتی که فرضیات LDA ارضا شد، معادله بالا معادل با LDA خواهد بود. به عنوان یک مثال، در یک مسئله دوبعدی، خطی که دو گروه را به بهترین شکل تقسیم می‌کند عمودمنصف است. پس آستانه‌ای که به بهترین وجه داده را جداسازی می‌کند از تحلیل توزیع یک‌بعدی انتخاب می‌شود. به هر حال، اگر تصاویر نقاط از هر دو کلاس تقریباً یک توزیع را نشان دهد، ابرصفحه وسط تصاویر دو مرکز یک انتخاب مناسب خواهد بود. در این مورد پارامتر c در شرط آستانه صریحاً به صورت زیر خواهد بود: LDA چند کلاسه وقتی که بیش از یک کلاس وجود داشته باشد، همان معادلات و روابطی که در تکنیک افتراقی فیشر به کار می‌روند را می‌توان برای پیدا کردن آن زیرفضایی به کار برد که به‌نظر می‌رسد می‌تواند تمام دامنه‌ی تغییرپذیری داده‌ها در کلاس‌های گوناگون را نشان دهد. پس تغییرپذیری بین کلاس‌ها ممکن است با استفاده از نمونه کوواریانس میانگین‌های کلاس تعریف شود: در حالی که میانگین، میانگین، کلاس‌ها است. جداسازی کلاس در یک جهت در این مورد با عبارت زیر داده خواهد شد: معنی اش این است که وقتی یک بردار ویژه از باشد جداسازی، معادل با مقدار ویژه متناظرش خواهد بود. | ## بخش 3: آنالیز افتراقی خطی | اگر قطری باشد، تغییرپذیری بین ابعاد (features) در زیرفضای گسترش یافته با بردارهای ویژه متناظر با c-1 امین مقدار ویژه بزرگ‌تر (به این علت که سلسله از c-1 در اکثر است). بردارهای ویژه متناظر با مقادیر ویژه کوچک‌تر برای انتخاب داده‌های آموزش حساس‌تر است، و اغلب لازم است تا مرتب‌سازی توصیف شده در بخش بعد را به کار برد. برای مثال، کلاس‌ها را می‌توان پارتیشن‌بندی کرد و آنالیز افتراقی فیشر استاندارد یا LDA را برای دسته‌بندی هر پارتیشن به کار برد. یک مثال رایج از این رویکرد "یکی در برابر بقیه" است، وقتی که نقاط از یک کلاس در یک گروه قرار می‌گیرند، و هر چیز دیگر در دیگری، سپس LDA اعمال می‌شود. روش رایج دیگری دسته‌بندی جفتی است، جایی که یک دسته‌بند جدید برای هر جفت از کلاس‌ها ایجاد می‌شود (در مجموع C-1 دسته بندی‌کننده داده می‌شود)، با ترکیب دسته‌بندی کننده‌های منفرد برای تولید یک دسته‌بندی‌کننده نهایی. اگرچه برآورد کوواریانس بعضی مواقع بهینه در نظر گرفته شده‌است، به این معنی نیست که افتراق به‌دست آمده با جایگزینی این مقادیر همیشه بهینه باشد، حتی اگر فرض توزیع نرمال کلاس‌ها درست باشد. پیچیدگی دیگر در اعمال LDA و افتراق‌دهنده‌ی فیشر به داده‌های واقعی وقتی که تعداد مشاهدات هر نمونه از تعداد نمونه‌ها کم‌تر باشد روی می‌دهد. به هر حال، پایداری بهتر عددی با پرتو اندازی (پروجکشن) مسئله بر زیرفضای گسترش یافته با ممکن است به‌دست آید.Yu, H.; Yang, J. این کار، مبنای آنالیز افتراقی منظم‌سازی شده یا آنالیز افتراقی انقباضی را فراهم می‌کند. LDA قابل تعمیم به آنالیز افتراقی چند دسته‌ایی نیز است، وقتی که c یک متغیر رتبه‌ای با N حالت ممکن به جای دو حالت باشد. به‌طور مشابه، اگر چگالی‌های شرطی کلاس با یک کوواریانس مشترک نرمال باشد، آماره بسنده برای مقادیری از N تصویر (پروجکشن) است، که زیرفضایی است که با N میانگین گسترش یافته‌است، با affine projected که به وسیله ماتریس کوواریانس معکوس. | ## جمع‌بندی | این پروجکشن‌ها در حل یک مسئله مقدار ویژه تعمیم یافته یافت می‌شوند، جایی که صورت ماتریس کوواریانسی است که با درنظرگرفتن میانگین‌ها به عنوان نمونه‌ها تشکیل شده‌است، و مخرج ماتریس کوواریانس مشترک است.