نرمال سازی(ریاضیات)

در ریاضیات، آمار، مالی، علوم کامپیوتر، به‌ویژه در یادگیری ماشین و مسائل معکوس، نرمال‌سازی فرایندی است که باعث تغییر پاسخ نهایی به سمت "ساده‌تر" می‌شود. این روش معمولاً برای به‌دست آوردن پاسخ مسائل بی‌قید و شرط یا جلوگیری از بیش‌برازش به‌کار می‌رود.

اگر چه فرایند نرمال‌سازی را می‌توان به چندین روش تقسیم کرد، اما تقسیم بندی زیر به خصوص مفید است:

 نرمال‌سازی صریح، نوعی نرمال‌سازی است که در آن یک عبارت به طور صریح به مسئله بهینه‌سازی اضافه می‌شود. این عبارات می‌توانند شامل پیشینه‌ها، جرائم و یا محدودیت‌ها باشند. نرمال‌سازی صریح معمولاً در مسائل بهینه‌سازی بدون قید و شرط به‌کار می‌رود. عبارت نرمال‌سازی یا جریمه، هزینه‌ای را برای تابع بهینه‌سازی تحمیل می‌کند تا بهینه‌سازی فقط به یک پاسخ منحصر به فرد برسد.
 نرمال‌سازی ضمنی شامل هر نوع نرمال‌سازی دیگری است. به عنوان مثال، این شامل مواردی مانند توقف زودهنگام، استفاده از تابع هزینه قوی و رد کردن داده‌های پرت است. نرمال‌سازی ضمنی در واقع در روش‌های یادگیری ماشین مدرن، از جمله نزول تصادفی گرادیان برای آموزش شبکه‌های عصبی عمیق و روش‌های مجموعه (مانند جنگل‌های تصادفی و درختان گرادیان افزایشی)، به طور کلی وجود دارد.

در نرمال‌سازی صریح، مستقل از مسئله یا مدل، همیشه یک عبارت داده وجود دارد که مربوط به احتمال داده‌های اندازه‌گیری شده است و یک عبارت نرمال‌سازی که مربوط به پیشینه مورد نظر است.با ترکیب هر دو روش با استفاده از آمار بیزین، می‌توان پسین را محاسبه کرد که منابع اطلاعاتی هر دو را شامل می‌شود و در نتیجه فرایند برآورد را استحکام می‌بخشد. با تعادل بین هر دو هدف، انتخاب می‌شود که بیشتر به داده‌ها عادت کند یا تعمیم‌پذیری را اعمال کند (برای جلوگیری از بیش‌برازش).یک شاخه تحقیقات کامل در حال پرداختن به تمام نوع نرمال‌سازی وجود دارد. در عمل، معمولاً ابتدا یک نرمال‌سازی خاص را امتحان می‌کنیم، سپس چگونگی توزیع چگالی احتمال مربوط به آن نرمال‌سازی را بررسی می‌کنیم تا انتخاب خود را توجیه کنیم. همچنین، می‌توان از الهام گرفته شده از منطق عمومی یا شهود فیزیکی استفاده کرد.

در یادگیری ماشین، عبارت داده مربوط به داده‌های آموزش است و نرمال‌سازی به انتخاب مدل و یا تغییرات در الگوریتم مربوط می‌شود. همیشه هدف کاهش خطای تعمیم، یعنی امتیاز خطای مدل آموزش دیده روی مجموعه ارزیابی و نه داده‌های آموزش است.

یکی از قدیمی‌ترین کاربردهای نرمال‌سازی، نرمال‌سازی تیخونوف است که مربوط به روش کمترین مربعات است.

دسته بندی
یادگیری استنتاجی دسته‌کننده (از یک مجموعه داده محدود) همیشه یک مسئله نامعین است، زیرا تلاش می‌کند تا با تنها بررسی نمونه‌ها، یک تابعی را در مورد هر x مشخص کند.

یک عبارت نرمال سازی، به تابع خطای یک مدل یادگیری ماشین اضافه می‌شود. 

مفاهیم محاسباتی مورد استفاده شامل محدودیت هایی برای صاف بودن و محدودیت هایی برای نرم فضای برداری ( vector space norm)هستند.

توجیه نظری برای استفاده از روش های نرمال سازی (بخشی از یادگیری ماشین است که برای جلوگیری از overfitting استفاده می‌شود) این است که سعی می‌کند اصل اوکام (Occam's razor) را در راه حل اعمال کند (همانطور که در شکل بالا نشان داده شده است، تابع سبز، یعنی تابع ساده، ممکن است ترجیح داده شود). از دیدگاه بیزین، بسیاری از تکنیک های نرمال سازی با اعمال توزیع ها پیشین خاصی بر روی پارامترهای مدل، مطابقت دارند.

نرمال سازی می‌تواند به چندین هدف خدمت کند، از جمله یادگیری مدل‌های ساده‌تر، تحریک کردن مدل‌ها برای بودن پراکنده و معرفی ساختار گروهی در مسئله یادگیری.

این ایده در بسیاری از حوزه های علمی بروز پیدا کرده است. یک شکل ساده از نرمال سازی که به معادلات انتگرالی (Regularization Tikhonov) اعمال می‌شود، در واقع یک تعادل بین جور درآوردن داده ها و کاهش نرم حل است. در چند سال اخیر، روش های نرمال سازی غیر خطی شامل نرمال سازی تفاضل کلی، محبوب شده اند.

کلی‌سازی

نرمال سازی می‌تواند به عنوان یک تکنیک برای بهبود قابلیت کلی‌سازی مدل یادگیری تحریک شود.

هدف این مسئله یادگیری، پیدا کردن یک تابع است که با بیشترین دقت از همه ورودی‌ها و برچسب‌ها پیش‌بینی را انجام دهد. خطای موردانتظار یک تابع f(n)، میانگین اختلاف بین پیش‌بینی شده توسط تابع f(n) و برچسب واقعی از تمام ورودی‌ها است. این میانگین در طول فضای ورودی توزیع شده است و می‌توان آن را به صورت زیر نوشت.

معمولاً در مسائل یادگیری، تنها زیرمجموعه‌ای از داده‌های ورودی و برچسب‌ها با نویزی اندک در دسترس است. به همین دلیل، خطای موردانتظار قابل اندازه‌گیری نیست و بهترین جایگزین موجود، خطای تجربی بر روی N نمونه موجود است.

در صورت عدم وجود محدودیتی برای پیچیدگی فضای توابع (به شکل رسانه‌های هیلبرت با هسته افزایشی) در دسترس، یک مدل یادگیری خواهیم داشت که هیچ خطایی در خطای تجربی کنونی ندارد. اگر اندازه‌گیری‌ها با نویزی انجام شده باشند، این مدل ممکن است از بیش‌برازش رنج ببرد و خطای موردانتظار ضعیفی داشته باشد. رویه‌گذاری یک جریمه برای پوشش مناطق خاصی از فضای توابع مورد استفاده در ساخت مدل به کار می‌گیرد، که می‌تواند تعمیم‌پذیری را بهبود بخشد.

نرمال سازی تیخونوف
این تکنیک‌ها به نام اندری نیکلایویچ تیخونوف نامگذاری شده‌اند که نرمال سازی را برای معادلات انتگرالی به کار گرفت و در بسیاری از زمینه‌های دیگر مشارکت‌های مهمی داشت.

هنگام یادگیری تابع خطی f، که توسط بردار ناشناخته‌ی w به شکل f(x)=w*x مشخص می‌شود، می‌توان به عبارت تلفات (Loss) نرم L2 بردار w را اضافه کرد تا به راه‌حل‌هایی با نرم کوچک‌تر تمایل داشت. یکی از رایج‌ترین شکل‌های این نوع نرمال سازی، رگرسیون ریدج (Ridge Regression) یا رگولاریزاسیون تیخونف (Tikhonov Regularization) است. این روش به شکل زیر معرفی می‌شود:

در مورد یک تابع کلی، نرم آن در فضای هیلبرت بازتولیدی نواحی آن به شکل زیر است:

یادگیری می‌تواند با کمک نزول گرادیان پیشرفت کند.

کمترین مربع ها رگولاریزه‌شده تیخونف (Tikhonov-regularized least squares)

مسئلهٔ یادگیری با تابع هزینه‌ی کمترین مربعات و نرمال سازی تیخونف، به صورت تحلیلی قابل حل است. به شکل ماتریسی، w بهینه، آن دسته از بردارهایی است که نسبت به آن‌ها، گرادیان تابع هزینه نسبت به w برابر صفر است.

توقف زودهنگام
توقف زودهنگام به عنوان یک نوع نرمال سازی به معنای کنترل پیچیدگی مدل در طول زمان می تواند تلقی شود. با توجه به اینکه فرایند آموزش، مانند gradient descent، با افزایش تعداد بارهای آموزشی، تابعی همیشه پیچیده‌تر را یاد می‌گیرد، در نتیجه، با استفاده از توقف زودهنگام، پیچیدگی مدل در طول زمان کنترل شده و تعمیم‌پذیری بهبود می‌یابد. در واقع، با نظارت بر عملکرد مدل در طول زمان، و متوقف کردن آموزش آن هنگامی که دیده می‌شود که عملکرد آن بر روی ست مجموعه اعتبارسنجی بهبود نمی‌یابد، کنترل پیچیدگی مدل حفظ می‌شود و این می‌تواند به بهبود عملکرد مدل در پیش‌بینی داده‌های جدید کمک کند.

توقف زودهنگام با استفاده از یک مجموعه داده برای آموزش، یک مجموعه داده آماری مستقل برای اعتبارسنجی و یک مجموعه داده دیگر برای آزمون پیاده‌سازی می‌شود. در این روش، مدل تا زمانی که عملکرد آن بر روی مجموعه اعتبارسنجی بهبود نیابد، آموزش می‌بیند و سپس بر روی مجموعه آزمون اعمال می‌شود.

انگیزه نظری در مربع ها کمینه

در نظر گرفتن تقریب محدود سری نومان برای یک ماتریس برگشت‌پذیر A که

اگر یک مقدار γ بیشتر از صفر به کار رود تا اطمینان حاصل شود که نرم کمتر از یک است، می‌توان از این روش برای تقریب حل تحلیلی مربع ها کمینه غیرمنظم استفاده کرد.

حل دقیق مسئله یادگیری مربع ها کمینه غیرمنظم، خطای تجربی را به حداقل می‌رساند اما ممکن است شکست خورده باشد. با محدود کردن T، پارامتر آزاد و تنها در الگوریتم بالا، مسئله به صورت منظم شده و این می‌تواند باعث بهبود عملکرد تعمیمی آن شود.

الگوریتم فوق معادل با محدود کردن تعداد تکرارهای نزول گرادیان برای خطای تجربی است.

نرمال سازی های کم‌پیوستگی
فرض کنید یک دیکشنری با بعد p به نام phi{j} داده شده است به گونه‌ای که یک تابع در فضای تابع می‌تواند به صورت زیر بیان شود.

عمال محدودیت اندکیت بر روی w می‌تواند منجر به مدل‌های ساده تر و قابل تفسیرتر شود. این در بسیاری از کاربردهای واقعی مانند زیست شناسی محاسباتی، مفید است. یک مثال، طراحی یک آزمون پیش‌بینی ساده برای یک بیماری به منظور کاهش هزینه انجام آزمایش ها پزشکی و در عین حال بالا بردن قدرت پیش‌بینی است.

یک محدودیت معقولانه ی اندکی بودن تنکی، نرم L0 ,||w||0 است که به عنوان تعداد عناصر غیر صفر در وی تعریف می شود. حل یک مسئله یادگیری با محدودیت تنکی L0، با این حال، به عنوان NP-hard ثابت شده است.

نرم L1 (همچنین مربوط به نرم ها) می تواند برای تقریب بهینه نرم L0 با استفاده از شکست کانوکس استفاده شود. می توان نشان داد که نرم L1 تنکی را ایجاد می کند. در مورد کمترین مربع ها، این مسئله در آمار و احتمال ها به عنوان LASSO و در پردازش سیگنال به عنوان Basis pursuit شناخته می شود.

محدودیت L1 گاهاً ممکن است باعث تولید راه حل های غیر منحصر به فرد شود. یک مثال ساده در شکل ارائه شده است وقتی فضای راه حل های ممکن بر روی یک خط 45 درجه قرار دارد. این مشکل ها را می توان در برخی از برنامه ها داشت و با ترکیب محدودیت L1 با محدودیت L2 در محدودیت شبکه کره ای Overcoming Elastic Net، که به صورت زیر استفاده می شود، رفع می شود:

معمولاً محدودیت شبکه کره ای "Elastic Net" یک اثر گروه بندی دارد، به طوری که ویژگی های ورودی همبسته با وزن های مساوی تخصیص داده می شوند.

محدودیت شبکه کره ای "Elastic Net" به طور معمول در عمل استفاده می شود و در بسیاری از کتابخانه های یادگیری ماشین پیاده سازی شده است.

روش های Proximal

با اینکه نرم L1 به مسئله NP-hard منجر نمی شود، اما به دلیل وجود گوشه در x = 0 مشتق دارایی برای آن بصورت دقیق تعریف نمی باشد، اما چون نرم L1 به صورت محدب است، روش های زیرگروهی که بر اساس زیر مشتق کار می کنند می توانند برای حل مسائل یادگیری محدود شده با نرم L1 استفاده شوند. با این حال، با استفاده از روش های Proximal می توان به سرعت همگرایی بیشتری دست یافت.

برای یک مسئله به صورت min F(w)+R(w) که در آن F تابع خمیده، پیوسته، قابل تفرق و گرادیان لیپشیتز پایدار دارد (مانند تابع هزینه کمترین مربع ها) و R کمینه، پیوسته و مجاز است، روش proximal برای حل مسئله به شرح زیر است. ابتدا اپراتور proximal را تعریف می‌کنیم.

پراکندگی گروهی بدون همپوشانی

گروه‌هایی از ویژگی‌ها می‌توانند توسط یک محدودیتِ پراکندگی منظم شوند، که می‌تواند برای بیان دانش اولیه‌ای خاص در یک مسئله بهینه‌سازی مفید باشد. به عبارت دیگر، محدودیتِ پراکندگی می‌تواند به عنوان یک روش در بهینه‌سازی استفاده شود تا دانش قبلی ما را در مورد ویژگی‌هایی که باید باشند، به بافت مسئله بهینه‌سازی اضافه کند.

در مورد یک مدل خطی با گروه‌های شناخته شده و بدون اشتراک، می‌توان یک محدودیتِ پراکندگی تعریف کرد. 

این می‌تواند به عنوان تحریک‌کننده‌ی یک محدودکننده در مورد نرم L2 برای اعضای هر گروه و سپس نرم L1 برای گروه‌ها دیده شود. این مسئله با استفاده از روش proximal قابل حل است، جایی که اپراتور proximal یک تابع فشاردهی بلوکی از نوع soft-thresholding است. به این ترتیب، با اعمال این روش، می‌توانیم ضرایب را به صورت مجموعه‌ای از گروه‌های نامزد بهینه‌سازی کنیم و از این طریق به یک راه‌حل پایدار و بهینه برای مسئله بهینه‌سازی برای داده‌های بزرگ دست پیدا کنیم.

پراکندگی گروهی با همپوشانی

الگوریتمی که برای حل مسئله اختلاف گروه‌ها بدون اشتراک توصیف شده است، در برخی موارد قابل اعمال به مواردی است که گروه‌ها با یکدیگر اشتراک دارند. با این حال، این کار ممکن است منجر به تولید برخی از گروه‌ها با همه عناصرِ صفر و برخی دیگر با برخی عناصر غیر صفر و برخی دیگر صفر شود. به عبارت دیگر، این روش ممکن است نتایج نامطلوبی را در مورد اشتراک گروه‌ها ارائه دهد.

در صورتی که می‌خواهید ساختار گروهی را حفظ کنید، می‌توانید یک محدودیت جدید تعریف کنید.

برای هر (wg ، wg(bar به گونه‌ای تعریف می‌شود که محدودیت wg(bar) برای گروه g برابر با wg است و تمامی عناصر دیگر {\bar {w}}_g صفر است. محدودیتی که اعمال می‌شود، به دنبال یافتن تجزیه بهینهِ w به بخش‌های مختلف است. این می‌تواند به عنوان تکثیر همه عناصری که در چندین گروه وجود دارند، دیده شود. مسائل یادگیری با این محدودیت نیز می‌توانند با استفاده از روش proximal حل شوند ، با این حال، پیچیدگی وجود دارد. اپراتور proximal به صورت بسته به صورت دقیق محاسبه نمی‌شود، اما می‌توان آن را توسط یک روش تکراری به خوبی حل کرد و باعث ایجاد یک تکرار داخلی در طول تکرار proximal می‌شود.

نرمال ساز برای یادگیری نیمه نظارتی
وقتی جمع آوری برچسب‌ها از ورودی‌های نمونه گرفته شده، هزینه بیشتری دارد، یادگیری نیمه‌نظارتی می‌تواند مفید باشد. رگولاریزرها برای هدایت الگوریتم‌های یادگیری به یادگیری مدل‌هایی که ساختار نمونه‌های آموزش بدون نظارت را رعایت می‌کنند طراحی شده‌اند. اگر ماتریس وزن همسان W داده شده باشد، می‌توان یک نرمال ساز تعریف کرد.

نرمال ساز برای یادگیری چند کاره
در روش یادگیری چند وظیفه‌ای، T مسئله به صورت همزمان در نظر گرفته می‌شوند که هرکدام به نحوی با یکدیگر مرتبط هستند. هدف این است که T تابع را به‌صورت همزمان یاد بگیریم و قوت پیش‌بینی آنها را از روابط موجود بین وظایف، بهره‌مند سازیم. این برابر است با یادگیری ماتریس W:T*D.

تنظیم کننده پراکنده روی ستون ها

این رگولاریزر، یک نرم L2 برای هر ستون و یک نرم L1 برای تمامی ستون‌ها تعریف می‌کند. این مسأله با استفاده از روش‌های پروکسیمال قابل حل است.

منظم سازی محدود به میانگین

این نرمال ساز، تابع‌های یادگیری برای هر وظیفه را محدود به شباهت با میانگین کلی توابع در تمام وظایف نگه می‌دارد. این روش برای بیان اطلاعات پیشینی استفاده می‌شود که هر وظیفه انتظار دارد با سایر وظایف به اشتراک گذاشته‌شود. یک مثال این مسأله، پیش‌بینی سطح آهن خون در طول روز در زمان‌های مختلف است، که هر وظیفه، یک فرد را نمایش می‌دهد.

منظم‌سازی با میانگین محدود خوشه‌ای

این نرمال سازی شباهتی به رگولاریزر محدودیت میانگین دارد، اما به‌جای اعمال شباهت بین وظایف در یک خوشه (cluster)، شباهت بین وظایف در همان خوشه را اعمال می‌کند. این روش قادر است به اطلاعات پیشین پیچیده‌تری دسترسی پیدا کند. این تکنیک برای پیش‌بینی پیشنهادهای نتفلیکس به‌کار گرفته شده‌است.  هر خوشه، گروهی از افراد با سلیقه مشابه است.

شباهت مبتنی بر نمودار

بطور کلی، شباهت بین وظایف را می‌توان با یک تابع تعریف کرد. نرمال ساز مدل را تشویق می‌کند تا برای وظایف مشابه، توابع مشابهی یاد بگیرد.

سایر کاربردهای نرمال سازی در آمار و یادگیری ماشین
روش های یادگیری با استفاده از بیزین، از احتمال پیشینی استفاده می کنند که به طور معمول احتمال کمتری را به مدل های پیچیده تر اختصاص می دهد. روش های شناخته شده انتخاب مدل شامل معیار طلاعات آکایکه (AIC)، طول حداقل توصیف (MDL) و معیار اطلاعات بیزین (BIC) هستند. روش های جایگزین برای کنترل overfitting که شامل نرمال سازی نیستند، شامل cross-validation هستند.
مسائل‌های معکوس
آنالیز ریاضی