فرا پارامتر در یادگیری ماشینی

در یادگیری ماشینی، فرا پارامتر پارامتری است که مقدار آن برای کنترل فرایند یادگیری استفاده می‌شود. در مقابل، مقادیر سایر پارامترها (معمولاً وزن گره‌ها) از طریق آموزش به دست می‌آیند.

فرا پارامترها را می‌توان به عنوان فرا پارامترهای مدل طبقه‌بندی کرد، که نمی‌توان آنها را در حین اتصال ماشین به مجموعه آموزشی استنباط کرد زیرا به انتخاب مدل یا فرا پارامترهای الگوریتم اشاره دارد. فرا پارامترها در اصل تأثیری بر عملکرد مدل ندارند بلکه باعث افزایش سرعت و کیفیت فرایند یادگیری می‌شود. نمونه‌ای از فرا پارامتر مدل، توپولوژی و اندازه یک شبکه عصبی است. سرعت یادگیری و اندازه دسته‌ای و همچنین اندازه کوچک دسته ای (اندازه دسته ای می‌تواند به همه نمونه داده‌ها اشاره داشته باشد و اندازه کوچک دسته ای به مجموعه نمونه کوچکتری اشاره دارد) نمونه‌هایی از فرا پارامترهای الگوریتم هستند.

مدل‌های مختلف الگوریتم‌های آموزش به فرا پارامترهای متفاوتی نیاز دارند، برخی از الگوریتم‌های ساده (مانند حداقل مربعات معمولی در مدل رگرسیون) نیازی به هیچ فرا پارامتری ندارند. با توجه به این فرا پارامترها، الگوریتم آموزشی از داده‌های پارامترها یادمی‌گیرد. برای مثال، LASSO الگوریتمی است که یک فرا پارامتر منظم‌سازی را به حداقل مربعات معمولی رگرسیون اضافه می‌کند، که باید قبل از تخمین پارامترها از طریق الگوریتم آموزشی تنظیم شود.

منابع 

مدل انتخاب
یادگیری ماشینی