| یادگیری ماشین وداده‌کاوی |
| --- |
|  |
| موضوع‌ها
* طبقه‌بندی آماری
* خوشه‌بندی
* تحلیل رگرسیون
* روش تشخیص ناهنجاری
* یادگیری قانون وابستگی
* یادگیری تقویتی
* پیش بینی ساختاریافته
* مهندسی ویژگی
* یادگیری ویژگی
* یادگیری ماشین برخط
* یادگیری نیمه‌نظارتی
* یادگیری بی‌نظارت
* Learning to rank
* Grammar induction

 |
| یادگیری با نظارت(**طبقه‌بندی آماری** •  **تحلیل رگرسیون**)
* یادگیری درخت تصمیم
* Ensembles (Bagging, بوستینگ، جنگل تصادفی)
* *k*-NN
* رگرسیون خطی
* دسته‌بندی کننده بیز ساده
* شبکه‌های عصبی مصنوعی
* رگرسیون لجستیک
* پرسپترون
* Relevance vector machine (RVM)
* ماشین بردار پشتیبانی

 |
| خوشه‌بندی
* کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی
* خوشه‌بندی سلسله‌مراتبی
* خوشه‌بندی کی-میانگین
* الگوریتم امید ریاضی–بیشینه کردن
* DBSCAN
* OPTICS
* انتقال میانگین

 |
| کاهش ابعاد
* تحلیل عاملی
* CCA
* تحلیل مؤلفه‌های مستقل
* آنالیز افتراقی خطی
* فاکتورگیری نامنفی ماتریس
* تحلیل مؤلفه‌های اصلی
* t-SNE

 |
| پیش‌بینی ساختاریافته
* مدل‌های گرافیکی (شبکه‌های بیزی، میدان تصادفی شرطی، مدل پنهان مارکف)

 |
| روش تشخیص ناهنجاری
* الگوریتم کی-نزدیکترین همسایه
* فاکتور پرتی محلی

 |
| شبکه عصبی مصنوعی
* خودرمزگذار
* یادگیری عمیق
* پرسپترون چندلایه
* RNN
* ماشین بولتزمن محدود شده
* ترانسفورمر بینایی
* SOM
* شبکه عصبی پیچشی

 |
| یادگیری تقویتی
* کیو-یادگیری
* SARSA
* یادگیری تفاوت زمانی

 |
| نظریه
* Bias-variance dilemma
* نظریه یادگیری محاسباتی
* Empirical risk minimization
* Occam learning
* یادگیری احتمالا تقریبا صحیح
* Statistical learning
* VC theory

 |
| حوزه‌های یادگیری ماشین
* NIPS
* ICML
* ML
* JMLR
* ArXiv:cs.LG

 |
| * ن
* ب
* و
 |

**تغییر مقیاس ویژگی** روشی است که برای نرمال کردن(normalize) محدوده متغیرهای مستقل یا ویژگی های داده‌ها استفاده می شود. در پردازش داده ، به نرمال سازی داده نیز معروف است و عموماً در مرحله پیش پردازش داده‌ها انجام می شود.

انگیزه
------

از آنجایی که دامنه مقادیر داده‌های خام پراکنده است، در برخی از الگوریتم‌های یادگیری ماشین-مانند خوشه بندی-، توابع هدف بدون نرمال سازی به درستی کار نمی کنند. به عنوان مثال، بسیاری از طبقه بندی کننده‌ها فاصله بین دو نقطه را با فاصله اقلیدسی محاسبه می کنند. اگر یکی از ویژگی‌ها دارای طیف وسیعی از مقادیر باشد، فاصله توسط این ویژگی خاص کنترل می شود. بنابراین، محدوده همه ویژگی‌ها باید به گونه‌ای نرمال شود که هر ویژگی تقریباً متناسب با فاصله نهایی در طبقه بندی کشارکت کند.

دلیل دیگری که چرا تغییر مقیاس ویژگی اعمال می شود این است که کاهش گرادیان(Gradient descent) با نغییر مقیاس ویژگی بسیار سریعتر از بدون آن همگرا می شود. 

همچنین اگر منظم سازی(regularization) به عنوان بخشی از تابع ضرر استفاده شود استفاده از **نغییر مقیاس ویژگی** مهم است. (به طوری که ضرایب به‌طور مناسب تغییر کنند.)

روش ها
------

### تغییر مقیاس (نرمال سازی min-max )

تغییر مقیاس ساده ترین روش است و شامل تغییر مقیاس دامنه ویژگی‌ها برای مقیاس بندی محدوده در [0، 1] یا [-1، 1] است. انتخاب محدوده هدف به ماهیت داده ها بستگی دارد. فرمول کلی برای تغییر مقیاس به [0، 1] به صورت زیر ارائه می شود: 

{\displaystyle x'={\frac {x-{\text{min}}(x)}{{\text{max}}(x)-{\text{min}}(x)}}}
که x مقدار اصلی است، {\displaystyle x'} مقدار نرمال شده است. برای مثال، فرض کنید که داده‌های وزن دانش‌آموزان را داریم، و وزن دانش‌آموزان به [80 کیلوگرم، 120 کیلوگرم] می‌رسد. برای تغییر مقیاس این داده‌ها، ابتدا از وزن هر دانش آموز 80 کم می کنیم و نتیجه را بر 40 (تفاوت بین حداکثر و حداقل وزن) تقسیم می کنیم.

برای تغییر مقیاس یک محدوده بین یک مجموعه دلخواه از مقادیر [a, b]، فرمول به صورت زیر می شود:

{\displaystyle x'=a+{\frac {(x-{\text{min}}(x))(b-a)}{{\text{max}}(x)-{\text{min}}(x)}}}
که {\displaystyle a,b} مقادیر کمینه و بیشینه هستند.

### نرمال سازی میانگین

{\displaystyle x'={\frac {x-{\bar {x}}}{{\text{max}}(x)-{\text{min}}(x)}}}
که x یک مقدار اصلی است، {\displaystyle x'} مقدار نرمال شده است، {\displaystyle {\bar {x}}={\text{average}}(x)} میانگین آن بردار ویژگی است. شکل دیگری از نرمال سازی میانگین وجود دارد که بر انحراف معیار تقسیم می شود که به آن استانداردسازی نیز می گویند.

### استانداردسازی (نرمال سازی Z-score)

در یادگیری ماشینی، ما می‌توانیم انواع مختلفی از داده‌ها را مدیریت کنیم، به‌عنوان مثال سیگنال‌های صوتی و مقادیر پیکسل برای داده‌های تصویر، و این داده‌ها می‌تواند شامل چند بعد باشد. استانداردسازی ویژگی باعث می شود که مقادیر هر ویژگی در داده‌ها دارای میانگین صفر(zero-mean) (هنگام تفریق میانگین در عدد) و واریانس واحد باشد. این روش به‌طور گسترده برای نرمال سازی در بسیاری از الگوریتم های یادگیری ماشین (مانند ماشین‌های بردار پشتیبان ، رگرسیون لجستیک و شبکه های عصبی مصنوعی ) استفاده می شود. [] روش کلی محاسبه، تعیین میانگین توزیع و انحراف استاندارد برای هر ویژگی است. سپس میانگین را از هر ویژگی کم می کنیم و مقادیر (میانگین قبلاً کم شده) هر ویژگی را بر انحراف معیار آن تقسیم می کنیم.

{\displaystyle x'={\frac {x-{\bar {x}}}{\sigma }}}
که x بردار ویژگی اصلی است، {\displaystyle {\bar {x}}={\text{average}}(x)} میانگین آن بردار ویژگی است و \sigma  انحراف معیار آن است.

### تغییر مقیاس به طول واحد

گزینه دیگری که به‌طور گسترده در یادگیری ماشینی استفاده می شود، تغییر مقیاس اجزای یک بردار ویژگی است به طوری که بردار دارای طول یک باشد. این معمولاً به معنای تقسیم هر جزء بر طول اقلیدسی بردار است:

{\displaystyle x'={\frac {x}{\left\|{x}\right\|}}}
در برخی کاربردها (مثلاً ویژگی های هیستوگرام) استفاده از نرم L 1 (یعنی هندسه تاکسی ) بردار ویژگی می تواند عملی تر باشد. این امر به ویژه در صورتی مهم است که در مراحل یادگیری زیر از متریک اسکالر به عنوان اندازه‌گیری فاصله استفاده شود. توجه داشته باشید که این فقط برای {\displaystyle x\neq \mathbf {0} } صدق میکند.

کاربرد
------

در گرادیان کاهشی تصادفی (Stochastic gradient descent) ، مقیاس بندی ویژگی گاهی اوقات می تواند سرعت همگرایی الگوریتم را بهبود بخشد.  در ماشین‌های بردار پشتیبان(SVM)،  می‌تواند زمان یافتن بردارهای پشتیبان را کاهش دهد. توجه داشته باشید که نغییر مقیاس ویژگی، نتیجه SVM را تغییر می دهد.[].

همچنین ببینید
-------------

* عادی سازی (آمار)
* نمره استاندارد

منابع
-----

Ioffe, Sergey; Christian Szegedy (2015). "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift". arXiv:1502.03167 [cs.LG].

"Min Max normalization". ml-concepts.com.

Grus, Joel (2015). Data Science from Scratch. Sebastopol, CA: O'Reilly. pp. 99, 100. ISBN 978-1-491-90142-7.

"Gradient Descent, the Learning Rate, and the importance of Feature Scaling".

Juszczak, P.; D. M. J. Tax; R. P. W. Dui (2002). "Feature scaling in support vector data descriptions". Proc. 8th Annu. Conf. Adv. School Comput. Imaging: 25–30. CiteSeerX 10.1.1.100.2524.

خواندن بیشتر
------------

[[رده:یادگیری ماشین]]

1. ↑  Ioffe. "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift". arXiv:1502.03167.
2. ↑  "Min Max normalization". *ml-concepts.com*. Archived from the original on 5 April 2023. Retrieved 4 February 2023.
3. ↑  "Gradient Descent, the Learning Rate, and the importance of Feature Scaling".
4. ↑  Juszczak, P.; D. M. J. Tax; R. P. W. Dui (2002). "Feature scaling in support vector data descriptions". *Proc. 8th Annu. Conf. Adv. School Comput. Imaging*: 25–30. CiteSeerX 10.1.1.100.2524.