فرایادگیری (علوم کامپیوتر)
فرا یادگیری زیرشاخه‌ای از یادگیری ماشین است که در آن الگوریتم‌های یادگیری خودکار بر فرادادهها برای انجام آزمایش‌های یادگیری ماشین اعمال می‌شوند. از سال ۲۰۱۷ به بعد این اصطلاح تفسیر استانداردی پیدا نکرده‌است، اما هدف اصلی فرایادگیری به صورت زیر بیان شده‌است: درک اینکه چگونه یادگیری خودکار می‌تواند در حل مشکلات یادگیری انعطاف‌پذیر شود تا منجر به بهبود عملکرد الگوریتم‌های یادگیری موجود یا یادگیری (استنتاج) خودِ الگوریتم یادگیری شود؛ بنابراین، یادگیری برای یادگیری اصطلاح جایگزینی برای فرایادگیری است.
انعطاف‌پذیری مهم است زیرا هر الگوریتم یادگیری بر مجموعه‌ای از فرضیات در مورد داده‌ها، یا به عبارتی سوگیری استقرایی داده‌ها، استوار است. این بدان معنی است که یادگیری فقط درصورتی به درستی انجام می‌شود که سوگیری با مسئله یادگیری مورد نظر مطابقت داشته باشد. یک الگوریتم یادگیری ممکن است در یک حوزه عملکرد بسیار خوبی داشته باشد، اما در حوزه بعدی چنین نباشد. این امر محدودیت‌های شدیدی را در استفاده از تکنیک‌های یادگیری ماشین یا داده کاوی تحمیل می‌کند، زیرا رابطه بین مسئله یادگیری (اغلب نوعی پایگاه داده) و مؤثر بودن الگوریتم‌های یادگیری متفاوت هنوز پیدا نشده‌است.
با استفاده از انواع مختلف فراداده، مانند خصوصیات مسئله یادگیری، خصوصیات الگوریتم (مانند معیارهای عملکرد)، یا الگوهایی که قبلاً از داده‌ها کشف شده‌است، می‌توان الگوریتم‌های یادگیری مختلف را آموخت، انتخاب کرد، تغییر داد، یا ترکیب کرد تا به‌طور مؤثر یک مسئله یادگیری داده شده را حل کرد. انتقادهای وارد شده بر رویکردهای مبتنی بر فرا یادگیری شباهت‌های زیادی به انتقادهای وارد شده بر رویکردهای مبتنی بر الگوریتم‌های فراابتکاری، به عنوان مسئله‌ای حدوداً مرتبط، دارند. یک تشبیه خوب برای فرا یادگیری، و همچنین منبع الهام بخش کارهای اولیه (1987) و کارهای یوشوا بنگیو و دیگران (۱۹۹۱)، بیان می‌کند که تکامل ژنتیکی فرایند یادگیری که در ژن‌ها رمزگذاری شده و در مغز هر فرد اجرا می‌شود را یادمی‌گیرد. در یک سیستم فرا یادگیر سلسله مراتبی پایان باز که از برنامه‌نویسی ژنتیکی استفاده می‌شود، روش‌های تکاملی بهتر می‌توانند توسط فرا تکامل آموخته شوند، که خود می‌تواند با فرا فرا تکامل و غیره بهبود یابد.
تعریف پیشنهادی برای یک سیستم فرا یادگیر سه الزام را با هم ترکیب می‌کند:
"سوگیری" به فرضیاتی اشاره دارد که بر انتخاب فرضیه‌های توضیحی تأثیر می‌گذارند و نه مفهوم سوگیری که در مطرح شده‌است. فرا یادگیری به دو جنبه سوگیری یادگیری مربوط می‌شود.
سه رویکرد مشترک وجود دارد: ۱) استفاده از شبکه‌های (مداری) با حافظه داخلی یا خارجی (مبتنی بر مدل). ۲) یادگیری متریک‌های مؤثر فاصله (مبتنی بر متریک‌ها)؛ ۳) بهینه‌سازی صریح پارامترهای مدل برای یادگیری سریع (مبتنی بر بهینه‌سازی).
فرا یادگیری مبتنی بر مدل پارامترهای خود را با چند مرحله آموزش به سرعت به روز رسانی می‌کنند، که از طریق معماری داخلی آن قابل دستیابی است یا توسط یک مدل فرا آموزنده دیگر قابل کنترل است.
این مدل که به نام MANN مخفف Memory-Augmented Neural Networks شناخته می‌شود، اطلاعات جدید را سریع رمزگذاری می‌کند و بنابراین پس از تنها چند نمونه با وظایف جدید سازگار شود. در نتیجه برای فرا یادگیری مناسب است.
فرا شبکه‌ها (MetaNet) دانش فرا سطح را برای همه کارها فرا می‌گیرند و سوگیری‌های استقراییشان را از طریق پارامترسازی سریع برای تعمیم سریع تغییر می‌دهند.
ایده اصلی در فرا یادگیری مبتنی بر متریک مشابه الگوریتم‌های نزدیکترین همسایگان است که وزن آن توسط یک تابع هسته تولید می‌شود. در این روش، هدف یادگیری یک متریک یا تابع فاصله بر روی اشیا است. مفهوم معیار خوب به مسئله وابسته است. این مفهوم باید روابط بین ورودی‌ها را در فضای کار نشان دهد و حل مسئله را تسهیل کند.
شبکه عصبی سیامی از دو شبکه دوقلو تشکیل شده‌است که خروجی آنها به‌صورت مشترک آموزش داده می‌شود. در بالا یک تابع برای یادگیری رابطه بین زوج‌های نمونه داده ورودی وجود دارد. این دو شبکه یکسان هستند، یعنی مقادیر وزن و پارامترهای شبکه یکسانی دارند.
شبکه‌های انطباق شبکه‌ای را یادمی‌گیرند که یک مجموعه کوچک پشتیبانی برچسب خورده و یک نمونه بدون برچسب را به برچسبش نگاشت می‌کنند و نیاز به تنظیم دوباره برای سازگاری با انواع جدید کلاس برطرف می‌کند.
شبکه ارتباط (Relation Network (RN از آغاز به صورت انتها به انتها آموزش داده می‌شود. در طول فرا یادگیری، شبکه یادمی‌گیرد که یک معیار فاصله عمیق را یاد بگیرد تا بتواند تعداد کمی از تصاویر درون اپیزودها را مقایسه کند، که هر یک برای شبیه‌سازی ویژگی‌های مجموعه‌داده‌های محدود (few-shot) طراحی شده‌اند.
شبکه‌های نمونه اولیه یک فضای متریک را یادمی‌گیرند که در آن طبقه‌بندی داده‌ها با محاسبه فواصل تا نمونه‌های اولیه هر کلاس قابل انجام است. در مقایسه با رویکردهای اخیر برای یادگیری با مجموعه‌داده‌های محدود (چند شات)، شبکه‌های نمونه اولیه سوگیری استقرایی ساده‌تری را نشان می‌دهند که در این رژیم داده‌های محدود مفید واقع می‌شود و منجر به رسیدن به نتایج رضایت بخشی می‌شود.
هدف الگوریتم‌های فرا یادگیری مبتنی بر بهینه‌سازی این است که الگوریتم بهینه‌سازی را به گونه‌ای تنظیم کنند که مدل در یادگیری با استفاده از چند مثال مهارت کسب کند.
فرایادگیرهای مبتنی بر LSTM به یادگیری صورت دقیق الگوریتم بهینه‌سازی استفاده شده در آموزش یک طبقه‌بند شبکه عصبی یادگیرنده دیگر در رژیم چند شات به می‌پردازند. پارامتری سازی این روش به شبکه فرایادگیر این امکان را می‌دهد که علاوه‌بر یادگرفتن به روزرسانی‌های مناسب پارامترها برای سناریوی خاصی که در آن تعداد مشخصی از به روزرسانی‌ها انجام می‌شود، یک مقدار اولیه عمومی را از شبکه یادگیرنده (طبقه‌بند) نیز بیاموزد که امکان همگرایی سریع آموزش را فراهم می‌کند.
MAML، مخفف Model-Agnostic Meta-Learning، یک الگوریتم بهینه‌سازی نسبتاً کلی است که با هر مدلی که از طریق شیب نزولی یادمی‌گیرد سازگار است.
خزنده یک الگوریتم بهینه‌سازی فرا یادگیری بسیار ساده است که با فرض اینکه هر دو به فرا بهینه‌سازی از طریق گرادیان نزولی متکی هستند و هر دو مدل اگنوستیک هستند عمل می‌کند.
برخی از رویکردهایی که به عنوان مواردی از فرا یادگیری مشاهده شده‌اند: