دیدگاه‌های تنظیم در ماشین‌های بردارپشتیبانی

**دیدگاه‌های** منظم‌سازی در ماشین‌های بردار پشتیبان راهی برای تفسیر ماشین‌های بردار پشتیبان (SVM) در زمینه سایر الگوریتم‌های یادگیری ماشینی مبتنی بر منظم‌سازی ارائه می‌کنند. الگوریتم‌های ماشین‌بردارپشتیبان داده‌های باینری را با هدف برازش داده‌های مجموعه آموزشی به گونه‌ای دسته‌بندی می‌کنند که میانگین تابع هزینه هینج و نرم L2 وزن‌های آموخته‌شده را به حداقل برساند. این استراتژی از بیش‌برازش از طریق منظم‌سازی تیخونوف و در مفهوم نرمL2 جلوگیری می‌کند و همچنین با به حداقل رساندن انحراف و واریانس تخمین‌گر ما از وزن‌ها مطابقت دارد. برآوردگرهایی با میانگین مجذور خطای کمتر، زمانی که داده‌های دیده نشده داده می‌شوند، بهتر پیش‌بینی می‌کنند یا بهتر تعمیم می‌دهند.

به‌طور خاص، الگوریتم‌های تنظیم تیخونوف یک مرز تصمیم‌گیری تولید می‌کنند که میانگین خطای مجموعه آموزشی را به حداقل می‌رساند و مرز تصمیم‌گیری را محدود می‌کند که بیش از حد پیچیده نباشد یا بیش برازش روی داده‌های تمرین نداشته باشدو اینکار را از طریق یک

وزن‌ها تنظیم کند. خطاهای آموزش و مجموعه تست را می‌توان بدون انحراف و به روشی منصفانه با استفاده از صحت، دقت، Auc-Roc، دقت و بازیابی و سایر معیارها اندازه‌گیری کرد.

دیدگاه‌های منظم‌سازی در ماشین‌های بردار پشتیبان، ماشین‌بردارپشتیبان را به عنوان یک مورد خاص از منظم‌سازی تیخونوف، به‌ویژه منظم‌سازی تیخونوف با از تابع هزینه هینج برای یک تابع هزینه، تفسیر می‌کند. این یک چارچوب نظری برای تجزیه و تحلیل الگوریتم‌های ماشین‌بردارپشتیبان و مقایسه آن‌ها با الگوریتم‌های دیگر با اهداف مشابه فراهم می‌کند: تعمیم بدون بیش برازش. ماشین‌بردارپشتیبان اولین بار در سال ۱۹۹۵ توسط کورینا کورتس و ولادیمیر واپنیک پیشنهاد شد و به صورت هندسی به عنوان روشی برای یافتن ابرصفحه‌ها که می‌تواند داده‌های چند بعدی را به دو دسته تقسیم کند، ارائه شد. این تفسیر هندسی سنتی ازماشین‌بردارپشتیبان شهود مفیدی را در مورد نحوه کار ماشین‌بردارپشتیبان ارائه می‌دهد، اما ارتباط با سایر تکنیک‌های یادگیری ماشینی برای جلوگیری از تطبیق بیش از حد، مانند منظم سازی، توقف اولیه، پراکندگی و استنتاج بیزی دشوار است. با این حال، هنگامی که کشف شد که ماشین‌بردارپشتیبان نیز یک مورد خاص از منظم‌سازی تیخونوف است، دیدگاه‌های منظم‌سازی در ماشین‌بردارپشتیبان تئوری لازم را برای تطبیق ماشین‌بردارپشتیبان در کلاس وسیع‌تری از الگوریتم‌ها ارائه کرد. این امکان مقایسه دقیق بین ماشین‌بردارپشتیبان و سایر اشکال منظم سازی تیخونوف را فراهم کرده‌است، و دلیل نظری را برای اینکه چرا استفاده از تابع هزینه ماشین‌بردارپشتیبان، یعنی از تابع هزینه هینج، سودمند است، را فراهم کرده‌است.

در چارچوب تئوری یادگیری آماری، الگوریتم یک استراتژی برای انتخاب یک تابع است f \colon \mathbf X \to \mathbf Y  یک مجموعه آموزشی داده شده‌است S = \{(x_1, y_1), \ldots, (x_n, y_n)\} از ورودی‌ها x_i و برچسب‌های آنها y_i (برچسب‌ها معمولاً هستند \pm1). استراتژی‌های تنظیم با انتخاب تابعی که متناسب با داده‌ها است، اما خیلی پیچیده نیست، از بیش برازش جلوگیری می‌کند. به‌طور مشخص:

: f = \underset{f\in\mathcal{H}} \operatorname{argmin}\left\{\frac 1 n \sum_{i=1}^n V(y_i, f(x_i)) + \lambda\|f\|^2_\mathcal{H}\right\},

جایی که \mathcal{H} یک فضای فرضی از توابع است، V \colon \mathbf Y \times \mathbf Y \to \mathbb R تابع هزینه است، \|\cdot\|_\mathcal H یک نرم در فضای فرضی توابع است، و \lambda \in \mathbb R پارامتر منظم سازی است.

چه زمانی \mathcal{H} یک هسته بازتولید فضای هیلبرت است، یک تابع هسته وجود دارد K \colon \mathbf X \times \mathbf X \to \mathbb R که می‌تواند به صورت یک نوشته شود n \times n ماتریس مثبت - معین متقارن \mathbf K . توسط قضیه معرفی کننده،

: f(x_i) = \sum_{j=1}^n c_j \mathbf K_{ij}, \text{ and } \|f\|^2_{\mathcal H} = \langle f, f\rangle_\mathcal H = \sum_{i=1}^n \sum_{j=1}^n c_i c_jK(x_i, x_j) = c^T \mathbf K c.

## خواص ویژه تابع هزینه هینج
جایگزین=Hinge and misclassification loss functions|توابع از دست دادن لولا و طبقه‌بندی اشتباه

ساده‌ترین و شهودی‌ترین تابع هزینه برای دسته‌بندی، هزینه-طبقه‌بندی-اشتباه یا هزینه ۰–۱ است که اگر ۰ است f(x_i) = y_i و ۱ اگر f(x_i) \neq y_i ، یعنی تابع پله‌ای هویساید روی -y_if(x_i) . با این حال، این تابع هزینه محدب نیست، در نتیجه پیدا کردن مینیمم مسئله منظم‌سازی از نظر محاسباتی بسیار دشوار است؛ بنابراین، ما به دنبال جایگزین‌های محدب برای هزینه ۰–۱ هستیم. هزینه هینج، V\big(y_i, f(x_i)\big) = \big(1 - yf(x)\big)_+ ، جایی که (s)_+ = \max(s, 0) ، چنین محدبی را فراهم می‌کند. در واقع، هزینه هینج، بهترین کران محدب بالایی به تابع هزینه-طبقه‌بندی-اشتباه ۰–۱ است، و با داده‌های بی‌نهایت، راه‌حل بهینه بیز را برمی‌گرداند:

: f_b(x) = \begin{cases}
 1, & p(1\mid x) > p(-1\mid x), \\
 -1, & p(1\mid x) 
: بندانگشتی|تابع پله ای

مسئله تنظیم تیخونوف را می‌توان نشان داد که با فرمول مرسوم ماشین‌بردارپشتیبان وبیان آن با تابع هزینه هینج معادل است. تابع هزینه هینج در آن به صورت زیر است.

: V\big(y_i, f(x_i)\big) = \big(1 - yf(x)\big)_+,

جایی که (s)_+ = \max(s, 0) ، مسئله تنظیم می‌شود.

: f = \underset{f\in\mathcal{H}} \operatorname{argmin} \left\{\frac 1 n \sum_{i=1}^n \big(1 - yf(x)\big)_+ + \lambda\|f\|^2_\mathcal{H}\right\}.

ضرب در 1/(2\lambda) نتیجه می‌دهد:

: f = \underset{f\in\mathcal{H}} \operatorname{argmin} \left\{C\sum_{i=1}^n \big(1 - yf(x)\big)_+ + \frac{1}{2}\|f\|^2_\mathcal{H}\right\}

با C = 1/(2\lambda n) ، که معادل مسئله کمینه سازی استاندارد ماشین‌بردارپشتیبانی است.

## یادداشت‌ها و مراجع

* 
* 

رده:آنالیز ریاضی
رده:یادگیری ماشین
رده:ماشین‌های بردار پشتیبانی