پرسپترون

پرسپترون یک الگوریتم یادگیری ماشین است که در دسته یادگیری با نظارت قرار می‌گیرد. الگوریتم پرسپترون یک الگوریتم دسته‌بندی دودویی (نوعی از دسته‌بندی که می‌تواند با توجه به بردار ورودی تصمیم بگیرد که این ورودی متعلق به یک کلاس هست یا خیر) است. این الگوریتم یک دسته‌بند خطی است، به‌این معنا که پیش‌بینی‌هایش را باتوجه به ترکیب خطی وزن دار ورودی الگوریتم انجام می‌دهد. هم‌چنین این الگوریتم به دلیل اینکه ورودی‌هایش را به صورت تک تک در زمان بررسی می‌کند، یک الگوریتم برخط می‌باشد. الگوریتم پرسپترون در سال ۱۹۵۷ در لابراتوار کرنل آرونوتیکال به وسیله فرانک روزنبلت ابداع شد. درواقع این الگوریتم جزء اولین شبکه‌های عصبی مصنوعی است که به‌کار گرفته شده‌است.
تاریخچه
الگوریتم پرسپترون در سال ۱۹۵۷ در لابراتوار کرنل آرونوتیکال توسط فرانک روزنبلت
با سرمایه‌گذاری دفتر تحقیقات دریانوردی ایالات متحده
ابداع شد. پرسپترون بیشتر به عنوان یک دستگاه مد نظر بوده‌است تا یک برنامه؛ و با این‌که اولین پیاده‌سازی آن به صورت یک نرم‌افزار برای
آی بی‌ام ۷۰۴ بود؛ پس از آن به صورت سخت‌افزار اختصاصی "پرسپترون مارک ۱" پیاده‌سازی شد. این دستگاه برای تشخیص تصویر طراحی شده بود: مجموعه‌ای از ۴۰۰
حسگر نور، که به صورت تصادفی به "نورون"‌ها متصل شده‌اند. وزن‌ها در پتانسیومترها کدگذاری شده بودند، و بروزرسانی وزن‌ها در طول یادگیری با موتورهای الکتریکی صورت می‌گرفت.
تعریف
پرسپترون یک نوع دسته‌بند دودودیی است که ورودی خود (یک بردار متشکل اعداد حقیقی) را به مقدار خروجی (یک اسکالر با مقادیر باینری) که به صورت زیر حساب می‌شود، متناظر می‌کند:
f(x) = \begin{cases1 - \text{if w \cdot x + b> 0\\0 - \text{otherwise\end{cases
پرسپترون
یک بردار از وزن‌هایی با مقادیر حقیقی است و ضرب داخلی بردار وزن و بردار ورودی است، که در آن تعداد ورودی‌های پرسپترون است. در رابطه بالا نشان‌دهنده بایاس است که وظیفه آن جابجا کردن مرز تصمیم‌گیری از مبدا است و مقدار آن به ورودی‌ها بستگی ندارد.
در مسئله دسته‌بندی دودودیی مقدار برای دسته‌بندی بین دو کلاس و استفاده می‌شود. اگر عددی منفی باشد، جمع وزن‌دار ورودی‌ها باید عدد مثبتی بزرگتر از باشد تا خروجی پرسپترون شود. به عبارت دیگر دسته‌بند پرسپترون مانند یک ابرصفحه است که فضای بعدی را به دو قسمت تقسیم می‌کتد، در این صورت نشان‌دهنده بردار عمود برصفحه و نشان‌دهنده عرض از مبدا صفحه جداکننده است. به ازای نقاط داده شده به همراه برچسب آن‌ها
الگوریتم پرسپترون مقادیر و را به گونه‌ای می‌یابد که تمام نمونه‌ها توسط تابع به‌درستی برچسب گذاری شوند یعنی
اگر داده‌های مثبت و منفی قابلیت جداشدن توسط یک ابرصفحه را نداشته باشند الگوریتم پرسپترون متوقف نمی‌شود اما اگر داده‌ها خطی تفکیک‌پذیر باشند الگوریتم پرسپترون در تعداد متناهی مرحله پایان می‌یابد. معروف‌ترین تابعی که الگوریتم پرسپترون قادر به یادگیری آن نیست؛ تابع یا مانع الجمع است.
در زمینه شبکه‌های عصبی مصنوعی پرسپترون یک نوع نورون مصنوعی است که تابع فعالیت آن تابع پله‌ای هویساید می‌باشد.
الگوریتم یادگیری
نحوه کار الگوریتم پرسپترون
الگوریتم پرسپترون یک الگوریتم تکرار شونده است، به این صورت که در ابتدا بردار وزن و بایاس به نحوی مقداردهی می‌شوند و سپس در هر مرحله، الگوریتم با توجه به نقاطی که درست دسته‌بندی نشده‌اند مقادیر وزن و بایاس را تغییر می‌دهد تا این نقاط به درستی دسته‌بندی شوند. اگر نقاط داده‌شده به صورت خطی تفکیک‌پذیر نباشند الگوریتم پرسپترون پایان نمی‌یابد اما در صورتی که نقاط خطی تفکیک‌پذیر باشند الگوریتم در تعداد متناهی مرحله پایان می‌یابد.
تعریف مسئله
متغیرهای زیر را تعریف می‌کنیم:
داده‌های آموزشی به صورت
است که و بردار ورودی تغییریافته‌است (برای سادگی الگوریتم را عضو مجموعه در نظرگرفته‌ایم، که نشان‌دهنده نمونه‌های مثبت و نشان‌دهنده نمونه‌های منفی است).
و نشان‌دهنده بردار ورودی و مقدار خروجی مدنظر برای امین نمونه آموزشی است. نشان‌دهنده امین مولفه بردار است. برای اینکه پارامترهای بایاس و بردار وزن را به صورت یک بردار واحد در نظر بگیریم بردارهای ورودی و بردار وزن را به‌گونه‌ای تغییر می‌دهیم که
و در این‌صورت
تابع پرسپترون را نیز به صورت زیر تغییر می‌دهیم
f(x) = \begin{cases1 - \text{if w \cdot x> 0\\-1 - \text{otherwise\end{cases
هدف پیدا کردن بردار وزن به‌گونه‌ای است که برای نقاط داده‌شده داشته باشیم
مراحل الگوریتم
الگوریتم در هر مرحله باتوجه به نقاطی که اشتباه دسته‌بندی شده‌اند بردار وزن را تغییر می‌دهد تا نقاط بیشتری را به درستی دسته‌بندی کند. الگوریتم در هرمرحله بردار وزن جدیدی را به‌دست می‌آورد. در ابتدا بردار وزن را برابر با صفر قرار می‌دهیم. بردار وزن را در مرحله‌ام با نشان می‌دهیم. اگر الگوریتم پس از مرحله متوقف‌شود (تمام نقاط به درستی دسته‌بندی شوند)، بردار وزن مورد نظر است. شبه‌کد الگوریتم پرسپترون در زیر نوشته‌شده‌است.
اگر می‌توان گفت که تابع پرسپترون با بردار وزن ورودی را به اشتباه دسته‌بندی می‌کند. در این صورت بردار وزن به گونه‌ای تغییر می‌کند خطای کمتری روی مرتکب شود و آن را به درستی دسته‌بندی کند. الگوریتم هنگامی پایان می‌یابد که برای تمامی نقاط داشته باشیم
و در این‌صورت خواهیم داشت
بنابراین بردار وزن موردنظر است.
همگرایی الگوریتم
اثبات