یادگیری ماشین در معماری
الگوریتم‌های یادگیری ماشین > Support vector machines (SVM)

ماشین های بردار پشتیبانی (SVMs) مجموعه ای از روش های یادگیری تحت نظارت هستند که برای طبقه بندی ، رگرسیون و تشخیص موارد خارج از محدوده استفاده می شوند.
مزایای دستگاه های بردار پشتیبانی عبارتند از:
·       در فضاهای با ابعاد بالا موثر است.
·       هنوز در مواردی که تعداد ابعاد بیشتر از تعداد نمونه ها باشد موثر است.
·       از زیر مجموعه ای از نقاط آموزش در تابع تصمیم گیری (به نام وکتورهای پشتیبانی) استفاده می کند ، بنابراین حافظه نیز کارآمد است.
·       همه کاره: توابع مختلف هسته را می توان برای تابع تصمیم گیری مشخص کرد. هسته های مشترک ارائه شده است ، اما همچنین ممکن است هسته های سفارشی را مشخص کنید. .
الگوریتم KNN:
الگوریتم k-nearest neighbors ، که با نام‌های KNN یا k-NN نیز شناخته می‌شود ، یک طبقه بندی کننده یادگیری غیر پارامتری و تحت نظارت است که از نزدیکی برای طبقه بندی یا پیش بینی در مورد گروه بندی یک نقطه داده فردی استفاده می کند. اما معمولاً به عنوان یک الگوریتم طبقه‌بندی استفاده می‌شود و بر اساس فرضیه که نقاط مشابه می‌توانند در نزدیکی یکدیگر یافت شوند، کار می‌کند. برای مسائل طبقه‌بندی، یک برچسب کلاس‌دار براساس رای گیری اکثریت اختصاص داده می‌شود؛ به عبارت دیگر، برچسبی که بیشترین نمایندگی را دارد در اطراف یک نقطه داده داده شده استفاده می‌شود. در حالی که این به طور فنی "رای‌گیری اکثریت (plurality voting)" نامیده می‌شود، اصطلاح "رای گیری اکثریت (majority vote)" در ادبیات بیشتر استفاده می‌شود. تفاوت بین این اصطلاح‌ها این است که "majority voting" به طور فنی نیازمند اکثریت بیشتر از 50٪ است، که اصولاً زمانی کار می‌کند که تنها دو دسته وجود دارد. وقتی چندین کلاس وجود دارد - به عنوان مثال چهار دسته، نیازی به 50٪ رای برای انجام نتیجه‌گیری در مورد یک کلاس نیست؛ می‌تواند یک برچسب کلاس را با رای بیشتر از 25٪ اختصاص داد.
دیاگرام KNN
مسائل رگرسیون از یک مفهوم مشابه به مسئله طبقه‌بندی استفاده می‌کنند، اما در این حالت، میانگین k نزدیک‌ترین همسایه برای پیش‌بینی در مورد یک طبقه گرفته می‌شود. تفاوت اصلی اینجاست که طبقه‌بندی برای مقادیر گسسته استفاده می‌شود، در حالی که رگرسیون با مقادیر پیوسته استفاده می‌شود. با این حال، قبل از اینکه یک طبقه‌بندی انجام شود، باید فاصله تعریف شود. فاصله اقلیدسی بیشتر استفاده می‌شود. همچنین ارزش دانستن این است که الگوریتم KNN نیز جزو خانواده مدل‌های "یادگیری تنبل (lazy learning)" است، به این معنی که تنها یک مجموعه داده آموزشی را ذخیره می‌کند به جای اینکه یک مرحله آموزشی را طی کند. این همچنین به این معنی است که تمام محاسبات زمانی انجام می‌شود که یک طبقه‌بندی یا پیش‌بینی انجام می‌شود. از آنجا که به طور قابل توجهی بر روی حافظه برای ذخیره تمام داده‌های آموزشی خود وابسته است، نیز به عنوان یک روش یادگیری مبتنی بر نمونه یا مبتنی بر حافظه شناخته می‌شود. Evelyn Fix و Joseph Hodges با ایده‌های اولیه در مورد مدل KNN در این مقاله سال 1951 بحث کردند، در حالی که Thomas Cover در تحقیقات خود در مورد مفهوم آن در مقاله خود "طبقه‌بندی الگوی همسایه نزدیک (Nearest Neighbor Pattern Classification )"، آن را گسترش داد. این الگوریتم هنوز هم یکی از اولین الگوریتم‌هایی است که یک فرد در علم داده به دلیل سادگی و دقت بالا آن را یاد می‌گیرد. با این حال، هر چقدر مجموعه داده بزرگتر می‌شود، KNN به طور نسبی ناکارآمدتر می‌شود و عملکرد کلی مدل را به خطر می‌اندازد. این الگوریتم معمولاً برای سیستم‌های پیشنهاد دادن ساده، شناسایی الگو، استخراج داده، پیش‌بینی بازارهای مالی و ... استفاده می‌شود.