دیدگاه‌های تنظیم در ماشین‌های بردارپشتیبانی

دیدگاه‌های منظم‌سازی در ماشین‌های بردار پشتیبان راهی برای تفسیر ماشین‌های بردار پشتیبان (SVM) در زمینه سایر الگوریتم‌های یادگیری ماشینی مبتنی بر منظم‌سازی ارائه می‌کنند. الگوریتم‌های ماشین‌بردارپشتیبان داده‌های باینری را با هدف برازش داده‌های مجموعه آموزشی به گونه‌ای دسته‌بندی می‌کنند که میانگین تابع هزینه هینج و نرم L2 وزن‌های آموخته‌شده را به حداقل برساند. این استراتژی از بیش‌برازش از طریق منظم‌سازی تیخونوف و در مفهوم نرمL2 جلوگیری می‌کند و همچنین با به حداقل رساندن انحراف و واریانس تخمین‌گر ما از وزن‌ها مطابقت دارد. برآوردگرهایی با میانگین مجذور خطای کمتر، زمانی که داده‌های دیده نشده داده می‌شوند، بهتر پیش‌بینی می‌کنند یا بهتر تعمیم می‌دهند.
به‌طور خاص، الگوریتم‌های تنظیم تیخونوف یک مرز تصمیم‌گیری تولید می‌کنند که میانگین خطای مجموعه آموزشی را به حداقل می‌رساند و مرز تصمیم‌گیری را محدود می‌کند که بیش از حد پیچیده نباشد یا بیش برازش روی داده‌های تمرین نداشته باشدو اینکار را از طریق یک
وزن‌ها تنظیم کند. خطاهای آموزش و مجموعه تست را می‌توان بدون انحراف و به روشی منصفانه با استفاده از صحت، دقت، Auc-Roc، دقت و بازیابی و سایر معیارها اندازه‌گیری کرد.
دیدگاه‌های منظم‌سازی در ماشین‌های بردار پشتیبان، ماشین‌بردارپشتیبان را به عنوان یک مورد خاص از منظم‌سازی تیخونوف، به‌ویژه منظم‌سازی تیخونوف با از تابع هزینه هینج برای یک تابع هزینه، تفسیر می‌کند. این یک چارچوب نظری برای تجزیه و تحلیل الگوریتم‌های ماشین‌بردارپشتیبان و مقایسه آن‌ها با الگوریتم‌های دیگر با اهداف مشابه فراهم می‌کند: تعمیم بدون بیش برازش. ماشین‌بردارپشتیبان اولین بار در سال ۱۹۹۵ توسط کورینا کورتس و ولادیمیر واپنیک پیشنهاد شد و به صورت هندسی به عنوان روشی برای یافتن ابرصفحه‌ها که می‌تواند داده‌های چند بعدی را به دو دسته تقسیم کند، ارائه شد. این تفسیر هندسی سنتی ازماشین‌بردارپشتیبان شهود مفیدی را در مورد نحوه کار ماشین‌بردارپشتیبان ارائه می‌دهد، اما ارتباط با سایر تکنیک‌های یادگیری ماشینی برای جلوگیری از تطبیق بیش از حد، مانند منظم سازی، توقف اولیه، پراکندگی و استنتاج بیزی دشوار است. با این حال، هنگامی که کشف شد که ماشین‌بردارپشتیبان نیز یک مورد خاص از منظم‌سازی تیخونوف است، دیدگاه‌های منظم‌سازی در ماشین‌بردارپشتیبان تئوری لازم را برای تطبیق ماشین‌بردارپشتیبان در کلاس وسیع‌تری از الگوریتم‌ها ارائه کرد. این امکان مقایسه دقیق بین ماشین‌بردارپشتیبان و سایر اشکال منظم سازی تیخونوف را فراهم کرده‌است، و دلیل نظری را برای اینکه چرا استفاده از تابع هزینه ماشین‌بردارپشتیبان، یعنی از تابع هزینه هینج، سودمند است، را فراهم کرده‌است.
در چارچوب تئوری یادگیری آماری، الگوریتم یک استراتژی برای انتخاب یک تابع است  f\colon \mathbf {X} \to \mathbf {Y}  یک مجموعه آموزشی داده شده‌است  S=\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\} از ورودی‌ها  x_{i} و برچسب‌های آنها  y_{i} (برچسب‌ها معمولاً هستند  \pm 1). استراتژی‌های تنظیم با انتخاب تابعی که متناسب با داده‌ها است، اما خیلی پیچیده نیست، از بیش برازش جلوگیری می‌کند. به‌طور مشخص:
جایی که  {\mathcal {H}} یک فضای فرضی از توابع است،  V\colon \mathbf {Y} \times \mathbf {Y} \to \mathbb {R}  تابع هزینه است،  \|\cdot \|_{\mathcal {H}} یک نرم در فضای فرضی توابع است، و  \lambda \in \mathbb {R}  پارامتر منظم سازی است.
چه زمانی  {\mathcal {H}} یک هسته بازتولید فضای هیلبرت است، یک تابع هسته وجود دارد  K\colon \mathbf {X} \times \mathbf {X} \to \mathbb {R}  که می‌تواند به صورت یک نوشته شود  n\times n ماتریس مثبت - معین متقارن  \mathbf {K}  . توسط قضیه معرفی کننده،