تجزیه و تحلیل اجزای همسایگی کیست؟ توضیح بده.
تجزیه و تحلیل اجزای همسایگی.تجزیه و تحلیل اجزای همسایگی یک روش یادگیری تحت نظارت برای طبقه بندی چند متغیره داده ها در کلاس های مختلف بر اساس یک معیار فاصله ی داده شده بر روی داده ها است. از نظر عملکردی ، این روش هدفی مشابه با الگوریتم کی-نزدیک‌ترین همسایه (KNN) را ارائه می کند ، و به طور مستقیم از یک مفهوم مرتبط به نام همسایگان نزدیک تصادفی استفاده می کند.تعریف.تجزیه و تحلیل اجزای همسایگی "یادگیری" یک معیار فاصله با یافتن یک تبدیل خطی از داده‌های ورودی را هدف قرار می دهد به گونه ای که عملکرد طبقه بندی leave-one-out (LOO) متوسط در فضای تبدیل شده حداکثر شود. بینش کلیدی الگوربتم این است که یک ماتریس formula_1 مربوط به تبدیل را می توان با تعریف یک تابع هدف قابل تفکیک برای formula_1 بتوان پیدا کرد ، به دنبال آن ، از یک حل کننده تکراری مانند روش گرادیان مزدوج استفاده می شود. یکی از مزایای این الگوریتم این است که تعداد کلاس های formula_3 را میتوان به عنوان یک تابع از formula_1 تعیین کرد ، تا یک ثابت اسکالر. بنابراین، این استفاده از الگوریتم به موضوع انتخاب مدل می پردازد.توضیح.به منظور تعریف formula_1 ، ما یک تابع هدف را تعریف می کنیم که دقت طبقه بندی را در فضای تبدیل شده توصیف می کند ، و سعی می کنیم formula_6 را طوری تعیین کنیم که این تابع هدف حداکثر شود.formula_7طبقه بندی ترک یکی از نمونه ها (LLO)پیش‌بینی برچسب کلاس یک نقطه داده با اجماع آن را با کی-نزدیکترین همسایه با متریک فاصله معین نظر بگیرید. این به عنوان طبقه بندی "ترک یک نمونه" شناخته می شود. با این حال ، مجموعه ای از نزدیکترین همسایگان formula_8 پس از گذراندن تمام نقاط از یک تبدیل خطی می تواند به طور کامل متفاوت باشد. به طور خاص ، یک مجموعه از همسایه ها برای یک نقطه می تواند در پاسخ به تغییرات صاف در عناصر formula_1 محتمل تغییرات گسسته شود ، دلالت دارد بر اینکه هر تابع هدف formula_10 بر اساس همسایه های یک نقطه "تکه ای-ثابت" ، و از این رو قابل "تمایز" نیست.حل.ما می توانیم این مشکل را با استفاده از رویکردی الهام گرفته از گرادیان کاهشی تصادفی حل کنیم.به جای در نظر گرفتن کی-نزدیکترین همسایه در هر نقطه تبدیل شده در طبقه بندی-LOO ، ما کل مجموعه داده تبدیل شده را به عنوان "نزدیکترین همسایه تصادفی" در نظر خواهیم گرفت. ما اینها را با استفاده از یک تابع بیشینه هموار از مجذور فاصله اقلیدسی میان یک طبقه بندی-LOO و هر نقطه دیگر در فضای تبدیل شده تعریف می کنیم:formula_11احتمال طبقه بندی صحیح نقطه داده formula_12 ، احتمال طبقه بندی نقاط هر یک از همسایگان آن با همان کلاس formula_8 است:formula_14 که در آن formula_15 احتمال طبقه بندی همسایه formula_16 از نقطه formula_12 است.این بار با استفاده از کل مجموعه داده به عنوان نزدیکترین همسایه های تصادفی تابع هدف را با استفاده از طبقه بندی LOO تعریف کنید:formula_18توجه داشته باشید که تحت تصادفی نزدیکترین همسایگان ، کلاس اجماع برای یک نقطه formula_12 مقدار مورد انتظار کلاس یک نقطه در حد تعداد نامتناهی نمونه است که از توزیع بر روی همسایگان آن گرفته شده است: formula_20 i.e.: formula_21بنابراین کلاس پیش‌ بینی‌ شده یک ترکیب آفین از کلاس‌ های هر نقطه دیگر است که با تابع بیشینه هموار برای هر formula_22 نقطه وزن می‌شود که formula_23 اکنون کل مجموعه داده تبدیل شده است.این انتخاب تابع هدف ترجیح داده می شود زیرا با توجه به formula_1 قابل تمایز است (مشخص کن formula_25):formula_26formula_27بدست آوردن گرادیان برای formula_1 به این معنی است که می توان آن را با یک حل کننده تکراری مانند نزول گرادیان مزدوج پیدا کرد. توجه داشته باشید که در عمل، بیشتر درونی‌ترین اصطلاحات گرادیان به دلیل کاهش سریع سهم نقاط دوردست از نقطه مورد نظر ، به سهم‌های ناچیز ارزیابی می‌شوند. این به این معنی است که مجموع داخلی گرادیان را می توان کوتاه کرد و در نتیجه زمان های محاسباتی معقولی حتی برای مجموعه داده های بزرگ ایجاد می شود.فرمول جایگزین."به حداکثر رساندن formula_10 ، معادل به حداقل رساندن مقدار formula_30 است ، فاصله بین توزیع کلاس پیش‌ بینی‌ شده و توزیع کلاس واقعی (یعنی: جایی که formula_31 ناشی از formula_1 ، همه برابر با یک هستند). یک جایگزین طبیعی واگرایی کولبک-لایبلر است که تابع هدف و گرادیان زیر را شامل می شود:" (گلدبرگر 2005)formula_33formula_34در عمل، بهینه سازی ازformula_1 با استفاده از این تابع ، تمایل دارد نتایج عملکردی مشابه با نسخه اصلی ارائه دهد.تاریخچه و پیشینه.تجزیه و تحلیل اجزای همسایگی توسط جیکوب گلدبرگر، سم رویس، روسلان سالاخودینوف و جف هینتون در بخش علوم کامپیوتر دانشگاه تورنتو در سال 2004 توسعه یافت.