موضوع مقاله: منظم‌سازی (ریاضیات) | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # منظم‌سازی (ریاضیات) | مقدمه: در :ریاضیات، :آمار :ریاضیات مالی، :علوم رایانه، به‌ویژه در یادگیری ماشین و مسائل معکوس، همگن‌سازی فرایندی است که باعث تغییر پاسخ نهایی به سمت «ساده‌تر» می‌شود. | ## بخش 1: منظم‌سازی (ریاضیات) | این روش معمولاً برای به‌دست آوردن پاسخ مسائل بدرفتار یا جلوگیری از :بیش‌برازش به‌کار می‌رود. اگر چه فرایند منظم‌سازی را می‌توان به چندین روش تقسیم کرد، اما تقسیم‌بندی زیر به خصوص مفید است: منظم‌سازی صریح، نوعی منظم‌سازی است که در آن یک عبارت به طور صریح به مسئله بهینه‌سازی اضافه می‌شود. عبارت منظم‌سازی یا جریمه، هزینه‌ای را برای تابع بهینه‌سازی تحمیل می‌کند تا بهینه‌سازی فقط به یک پاسخ منحصر به فرد برسد. به عنوان مثال، این شامل مواردی مانند توقف زودهنگام، استفاده از تابع هزینه قوی و رد کردن داده‌های پرت است. منظم‌سازی ضمنی در واقع در روش‌های یادگیری ماشین مدرن، از جمله نزول تصادفی گرادیان برای آموزش شبکه‌های عصبی عمیق و روش‌های مجموعه (مانند جنگل‌های تصادفی و درختان گرادیان افزایشی)، به طور کلی وجود دارد. با تعادل بین هر دو هدف، انتخاب می‌شود که بیشتر به داده‌ها عادت کند یا تعمیم‌پذیری را اعمال کند (به منظور جلوگیری از بیش‌برازش). در عمل، معمولاً ابتدا یک منظم‌سازی خاص را امتحان می‌کنیم، سپس چگونگی توزیع چگالی احتمال مربوط به آن منظم‌سازی را بررسی می‌کنیم تا انتخاب خود را توجیه کنیم. در یادگیری ماشین، عبارت داده مربوط به داده‌های آموزش است و منظم‌سازی به انتخاب مدل و یا تغییرات در الگوریتم مربوط می‌شود. همیشه هدف کاهش خطای تعمیم، یعنی امتیاز خطای مدل آموزش دیده روی مجموعه ارزیابی و نه داده‌های آموزش است. یکی از قدیمی‌ترین کاربردهای منظم‌سازی، منظم‌سازی تیخونوف است که مربوط به روش کم‌ترین مربعات است. دسته‌بندی یادگیری استنتاجی دسته‌کننده (از یک مجموعه داده محدود) همیشه یک مسئله نامعین است، زیرا تلاش می‌کند تا با تنها بررسی نمونه‌ها، یک تابعی را در مورد هر x مشخص کند. مفاهیم محاسباتی مورد استفاده شامل محدودیت هایی برای همواری (ریاضیات) و محدودیت‌هایی برای فضای برداری نرم‌دار (فضای برداری نرم‌دار) هستند. توجیه نظری برای استفاده از روش های منظم سازی (بخشی از یادگیری ماشین است که برای جلوگیری از بیش‌برازش استفاده می‌شود) این است که سعی می‌کند اصل اوکام (Occam's razor) را در راه حل اعمال کند (همانطور که در شکل بالا نشان داده شده است، تابع سبز، یعنی تابع ساده، ممکن است ترجیح داده شود). از دیدگاه بیزین، بسیاری از تکنیک های منظم سازی با اعمال توزیع ها پیشین خاصی بر روی پارامترهای مدل، مطابقت دارند. منظم‌سازی می‌تواند به چندین هدف خدمت کند، از جمله یادگیری مدل‌های ساده‌تر، تحریک کردن مدل‌ها برای بودن پراکنده و معرفی ساختار گروهی در مسئله یادگیری. در چند سال اخیر، روش های منظم سازی غیر خطی شامل منظم سازی تفاضل کلی، محبوب شده اند. کلی‌سازی منظم سازی می‌تواند به عنوان یک تکنیک برای بهبود قابلیت کلی‌سازی مدل یادگیری تحریک شود. هدف این مسئله یادگیری، پیدا کردن یک تابع است که با بیشترین دقت از همه ورودی‌ها و برچسب‌ها پیش‌بینی را انجام دهد. خطای مورد انتظار یک تابع f(n)، میانگین اختلاف بین پیش‌بینی شده توسط تابع f(n) و برچسب واقعی از تمام ورودی‌ها است. معمولاً در مسائل یادگیری، تنها زیرمجموعه‌ای از داده‌های ورودی و برچسب‌ها با نویزی اندک در دسترس است. به همین دلیل، خطای مورد انتظار قابل اندازه‌گیری نیست و بهترین جایگزین موجود، خطای تجربی بر روی N نمونه موجود است. در صورت عدم وجود محدودیتی برای پیچیدگی فضای توابع (به شکل رسانه‌های هیلبرت با هسته افزایشی) در دسترس، یک مدل یادگیری خواهیم داشت که هیچ خطایی در خطای تجربی کنونی ندارد. اگر اندازه‌گیری‌ها با نویزی انجام شده باشند، این مدل ممکن است از :بیش‌برازش رنج ببرد و خطای مورد انتظار ضعیفی داشته باشد. | ## بخش 2: منظم‌سازی (ریاضیات) | رویه‌گذاری یک جریمه برای پوشش مناطق خاصی از فضای توابع مورد استفاده در ساخت مدل به کار می‌گیرد، که می‌تواند تعمیم‌پذیری را بهبود بخشد. منظم‌سازی تیخونوف این تکنیک‌ها به نام اندری نیکلایویچ تیخونوف نامگذاری شده‌اند که منظم سازی را برای :معادله انتگرالی به کار گرفت و در بسیاری از زمینه‌های دیگر مشارکت‌های مهمی داشت. هنگام یادگیری تابع خطی f، که توسط بردار ناشناخته‌ی w به شکل f(x)=w*x مشخص می‌شود، می‌توان به عبارت تلفات (Loss) نرم L2 :فضای برداری w را اضافه کرد تا به راه‌حل‌هایی با نرم کوچک‌تر تمایل داشت. یکی از رایج‌ترین شکل‌های این نوع منظم‌سازی، رگرسیون ریدج (:رگرسیون ریج) یا تنظیم (منظم‌سازی) تیخونوف (:رگرسیون ریج) است. این روش به شکل زیر معرفی می‌شود: در مورد یک تابع کلی، نرم آن در فضای هیلبرت بازتولیدی نواحی آن به شکل زیر است: یادگیری می‌تواند با کمک گرادیان کاهشی پیشرفت کند. به شکل ماتریسی، w بهینه، آن دسته از بردارهایی است که نسبت به آن‌ها، گرادیان تابع هزینه نسبت به w برابر صفر است. توقف زودهنگام توقف زودهنگام به عنوان یک نوع منظم‌سازی به معنای کنترل پیچیدگی مدل در طول زمان می‌تواند تلقی شود. با توجه به این‌که فرآیند آموزش، مانند گرادیان کاهشی، با افزایش تعداد بارهای آموزشی، تابعی همیشه پیچیده‌تر را یاد می‌گیرد، در نتیجه، با استفاده از توقف زودهنگام، پیچیدگی مدل در طول زمان کنترل شده و تعمیم‌پذیری بهبود می‌یابد. در واقع، با نظارت بر عملکرد مدل در طول زمان، و متوقف کردن آموزش آن هنگامی که دیده می‌شود که عملکرد آن بر روی ست مجموعه اعتبارسنجی بهبود نمی‌یابد، کنترل پیچیدگی مدل حفظ می‌شود و این می‌تواند به بهبود عملکرد مدل در پیش‌بینی داده‌های جدید کمک کند. توقف زودهنگام با استفاده از یک مجموعه داده برای آموزش، یک مجموعه داده آماری مستقل برای اعتبارسنجی و یک مجموعه داده دیگر برای آزمون پیاده‌سازی می‌شود. در این روش، مدل تا زمانی که عملکرد آن بر روی مجموعه اعتبارسنجی بهبود نیابد، آموزش می‌بیند و سپس بر روی مجموعه آزمون اعمال می‌شود. انگیزه نظری در حداقل مربعات در نظر گرفتن تقریب محدود سری نومان برای یک ماتریس برگشت‌پذیر A که اگر یک مقدار γ بیش‌تر از صفر به کار رود تا اطمینان حاصل شود که نرم کمتر از یک است، می‌توان از این روش برای تقریب حل تحلیلی مربع‌ها کمینه غیرمنظم استفاده کرد. حل دقیق مسئله یادگیری مربع ها کمینه غیرمنظم، خطای تجربی را به حداقل می‌رساند اما ممکن است شکست خورده باشد. با محدود کردن T، پارامتر آزاد و تنها در الگوریتم بالا، مسئله به صورت منظم شده و این می‌تواند باعث بهبود عملکرد تعمیمی آن شود. الگوریتم فوق معادل با محدود کردن تعداد تکرارهای نزول گرادیان برای خطای تجربی است. منظم‌سازی‌های کم‌پیوستگی فرض کنید یک دیکشنری با بعد p به نام phi{j} داده شده است به گونه‌ای که یک تابع در فضای تابع می‌تواند به صورت زیر بیان شود. عمال محدودیت اندکیت بر روی w می‌تواند منجر به مدل‌های ساده تر و قابل تفسیرتر شود. یک مثال، طراحی یک آزمون پیش‌بینی ساده برای یک بیماری به منظور کاهش هزینه انجام آزمایش‌های پزشکی و در عین حال بالا بردن قدرت پیش‌بینی است. یک محدودیت معقولانه‌ی اندکی بودن تنکی، :نرم (ریاضیات) L0 ,||w||0 است که به عنوان تعداد عناصر غیر صفر در وی تعریف می‌شود. حل یک مسئله یادگیری با محدودیت تنکی L0، با این حال، به عنوان :ان‌پی سخت ثابت شده است. نرم L1 (همچنین مربوط به نرم ها) می‌تواند برای تقریب بهینه نرم L0 با استفاده از شکست محدب (convex) استفاده شود. یک مثال ساده در شکل ارائه شده است وقتی فضای راه‌حل‌های ممکن بر روی یک خط 45 درجه قرار دارد. این مشکل‌ها را می‌توان در برخی از برنامه‌ها داشت و با ترکیب محدودیت L1 با محدودیت L2 در محدودیت شبکه کره‌ای Overcoming Elastic Net، که به صورت زیر استفاده می‌شود، رفع می‌شود: معمولاً محدودیت شبکه کره‌ای ":متعادل‌سازی کشسان" یک اثر گروه‌بندی دارد، به طوری که ویژگی‌های ورودی همبسته با وزن‌های مساوی تخصیص داده می‌شوند. | ## بخش 3: منظم‌سازی (ریاضیات) | محدودیت شبکه کره‌ای "Elastic Net" به طور معمول در عمل استفاده می‌شود و در بسیاری از کتابخانه‌های یادگیری ماشین پیاده‌سازی شده است. روش‌های Proximal با اینکه نرم L1 به مسئله NP-hard منجر نمی شود، اما به دلیل وجود گوشه در x = 0 مشتق دارایی برای آن به‌صورت دقیق تعریف نمی باشد، اما چون نرم L1 به صورت محدب است، روش های زیرگروهی که بر اساس زیر مشتق کار می کنند می توانند برای حل مسائل یادگیری محدود شده با نرم L1 استفاده شوند. برای یک مسئله به صورت min F(w)+R(w) که در آن F تابع خمیده، پیوسته، قابل تفرق و گرادیان لیپ‌شیتس پایدار دارد (مانند تابع هزینه کم‌ترین مربع‌ها) و R کمینه، پیوسته و مجاز است، روش proximal برای حل مسئله به شرح زیر است. پراکندگی گروهی بدون همپوشانی گروه‌هایی از ویژگی‌ها می‌توانند توسط یک محدودیتِ پراکندگی منظم شوند، که می‌تواند برای بیان دانش اولیه‌ای خاص در یک مسئله بهینه‌سازی مفید باشد. به عبارت دیگر، محدودیتِ پراکندگی می‌تواند به عنوان یک روش در بهینه‌سازی استفاده شود تا دانش قبلی ما را در مورد ویژگی‌هایی که باید باشند، به بافت مسئله بهینه‌سازی اضافه کند. در مورد یک مدل خطی با گروه‌های شناخته شده و بدون اشتراک، می‌توان یک محدودیتِ پراکندگی تعریف کرد. این می‌تواند به عنوان تحریک‌کننده‌ی یک محدودکننده در مورد نرم L2 برای اعضای هر گروه و سپس نرم L1 برای گروه‌ها دیده شود. به این ترتیب، با اعمال این روش، می‌توانیم ضرایب را به صورت مجموعه‌ای از گروه‌های نامزد بهینه‌سازی کنیم و از این طریق به یک راه‌حل پایدار و بهینه برای مسئله بهینه‌سازی برای داده‌های بزرگ دست پیدا کنیم. پراکندگی گروهی با همپوشانی الگوریتمی که برای حل مسئله اختلاف گروه‌ها بدون اشتراک توصیف شده است، در برخی موارد قابل اعمال به مواردی است که گروه‌ها با یکدیگر اشتراک دارند. با این حال، این کار ممکن است منجر به تولید برخی از گروه‌ها با همه عناصرِ صفر و برخی دیگر با برخی عناصر غیر صفر و برخی دیگر صفر شود. به عبارت دیگر، این روش ممکن است نتایج نامطلوبی را در مورد اشتراک گروه‌ها ارائه دهد. در صورتی که می‌خواهید ساختار گروهی را حفظ کنید، می‌توانید یک محدودیت جدید تعریف کنید. مسائل یادگیری با این محدودیت نیز می‌توانند با استفاده از روش proximal حل شوند، با این حال، پیچیدگی وجود دارد. منظم‌ساز برای یادگیری نیمه نظارتی وقتی جمع آوری برچسب‌ها از ورودی‌های نمونه گرفته شده، هزینه بیشتری دارد، یادگیری نیمه‌نظارتی می‌تواند مفید باشد. منظم‌سازها (تنظیم‌کننده‌ها) برای هدایت الگوریتم‌های یادگیری به یادگیری مدل‌هایی که ساختار نمونه‌های آموزش بدون نظارت را رعایت می‌کنند طراحی شده‌اند. منظم‌ساز برای یادگیری چند کاره در روش یادگیری چند وظیفه‌ای، T مسئله به صورت همزمان در نظر گرفته می‌شوند که هرکدام به نحوی با یکدیگر مرتبط هستند. هدف این است که T تابع را به‌صورت همزمان یاد بگیریم و قوت پیش‌بینی آن‌ها را از روابط موجود بین وظایف، بهره‌مند سازیم. منظم‌سازی محدود به میانگین این منظم ساز، تابع‌های یادگیری برای هر وظیفه را محدود به شباهت با میانگین کلی توابع در تمام وظایف نگه می‌دارد. این روش برای بیان اطلاعات پیشینی استفاده می‌شود که هر وظیفه انتظار دارد با سایر وظایف به اشتراک گذاشته شود. یک مثال این مسئله، پیش‌بینی سطح آهن خون در طول روز در زمان‌های مختلف است، که هر وظیفه، یک فرد را نمایش می‌دهد. منظم‌سازی با میانگین محدود خوشه‌ای این منظم‌سازی شباهتی به مورد قبل،‌ یعنی منظم‌سازی محدود به میانگین دارد، اما به‌جای اعمال شباهت بین وظایف در یک خوشه (cluster)، شباهت بین وظایف در همان خوشه را اعمال می‌کند. شباهت مبتنی بر نمودار به طور کلی، شباهت بین وظایف را می‌توان با یک تابع تعریف کرد. سایر کاربردهای منظم سازی در آمار و یادگیری ماشین روش های یادگیری با استفاده از :عامل بیز، از :توزیع پیشین استفاده می کنند که به طور معمول احتمال کمتری را به مدل های پیچیده تر اختصاص می دهد. | ## جمع‌بندی | روش های شناخته شده انتخاب مدل شامل :معیار اطلاعاتی آکائیکه (AIC)، طول حداقل توصیف (MDL) و :معیار اطلاع بیزی-شوارتز (BIC) هستند.