| یادگیری ماشین وداده‌کاوی |
| --- |
|  |
| موضوع‌ها
* طبقه‌بندی آماری
* خوشه‌بندی
* تحلیل رگرسیون
* روش تشخیص ناهنجاری
* یادگیری قانون وابستگی
* یادگیری تقویتی
* پیش بینی ساختاریافته
* مهندسی ویژگی
* یادگیری ویژگی
* یادگیری ماشین برخط
* یادگیری نیمه‌نظارتی
* یادگیری بی‌نظارت
* Learning to rank
* Grammar induction

 |
| یادگیری با نظارت(**طبقه‌بندی آماری** •  **تحلیل رگرسیون**)
* یادگیری درخت تصمیم
* Ensembles (Bagging, بوستینگ، جنگل تصادفی)
* *k*-NN
* رگرسیون خطی
* دسته‌بندی کننده بیز ساده
* شبکه‌های عصبی مصنوعی
* رگرسیون لجستیک
* پرسپترون
* Relevance vector machine (RVM)
* ماشین بردار پشتیبانی

 |
| خوشه‌بندی
* کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی
* خوشه‌بندی سلسله‌مراتبی
* خوشه‌بندی کی-میانگین
* الگوریتم امید ریاضی–بیشینه کردن
* DBSCAN
* OPTICS
* انتقال میانگین

 |
| کاهش ابعاد
* تحلیل عاملی
* CCA
* تحلیل مؤلفه‌های مستقل
* آنالیز افتراقی خطی
* فاکتورگیری نامنفی ماتریس
* تحلیل مؤلفه‌های اصلی
* t-SNE

 |
| پیش‌بینی ساختاریافته
* مدل‌های گرافیکی (شبکه‌های بیزی، میدان تصادفی شرطی، مدل پنهان مارکف)

 |
| روش تشخیص ناهنجاری
* الگوریتم کی-نزدیکترین همسایه
* فاکتور پرتی محلی

 |
| شبکه عصبی مصنوعی
* خودرمزگذار
* یادگیری عمیق
* پرسپترون چندلایه
* RNN
* ماشین بولتزمن محدود شده
* ترانسفورمر بینایی
* SOM
* شبکه عصبی پیچشی

 |
| یادگیری تقویتی
* کیو-یادگیری
* SARSA
* یادگیری تفاوت زمانی

 |
| نظریه
* Bias-variance dilemma
* نظریه یادگیری محاسباتی
* Empirical risk minimization
* Occam learning
* یادگیری احتمالا تقریبا صحیح
* Statistical learning
* VC theory

 |
| حوزه‌های یادگیری ماشین
* NIPS
* ICML
* ML
* JMLR
* ArXiv:cs.LG

 |
| * ن
* ب
* و
 |

ساختار کلی یک شبکه باور عمیق
**شبکه باور عمیق** نوعی شبکه عصبی مصنوعی است که از روش سازنده استفاده می‌کند. این شبکه عصبی مصنوعی شامل یک لایه از متغیرهای دیده شده و چندین لایه شامل متغیرهای دیده نشده (مخفی) است که بین عناصر دو لایه می‌تواند اتصالاتی وجود داشته باشد.

شبکه باور عمیق یه عنوان راه‌حلی معرفی شد تا بتواند مشکلاتی را که قبل از آن در شبکه‌های عصبی وجود داشتند (مانند مدت زمان زیاد یادگیری، رسیدن به کمینه‌های محلی به دلیل انتخاب نامناسب متغیرها، و نیاز به داده زیاد برای یادگیری)، حل کند.

شبکه باور عمیق شامل لایه‌های ورودی و خروجی به همراه چندین لایه مخفی در بین آن‌ها می‌باشد. در لایه‌های متوالی ماشین بولتزمن محدود شده به کار رفته‌است که باعث می‌شود شبکه به صورت لایه به لایه و با سرعت بالایی آموزش ببیند. ماشین بولتزمن محدود شده دارای دو لایه از نورون‌ها می‌باشد که لایه اول ورودی شامل متغیرهای دیده شده‌است و لایه دوم شامل متغیرهای مخفی است. نورون‌ها بین این دو لایه به یکدیگر متصل شده‌اند اما درون یک لایه هیچ اتصالی وجود ندارد.

شبکه باور عمیق می‌تواند به صورت خودران ابعاد داده ورودی را کاهش دهد یا اینکه با استفاده از یادگیری با نظارت عملیاتی مانند طبقه‌بندی انجام دهد. پیاده‌سازی‌های مختلفی از این شبکه تا به حال انجام شده‌است که هر کدام کاربرد متفاوتی دارد. به‌طور مثال این شبکه در نوار مغزی کاربرد زیادی داشته‌است.

آموزش شبکه
----------

آموزش یک شبکه باور عمیق در دو مرحله اجرا می‌شود. در مرحله اول همه ماشین‌های بولتزمن محدود شده به صورت لایه به لایه بدون نظارت آموزش داده می‌شوند. در مرحله دوم با استفاده از الگوریتم پس‌انتشار مقدار وزن‌های شبکه به روزرسانی می‌شود.

برای آموزش یک ماشین بولتزمن محدود شده تابع هزینه به این صورت استفاده می‌شود
{\displaystyle p(v)={\frac {1}{Z}}\sum \_{h}e^{-E(v,h)}}
که در آن {\displaystyle Z} تابعی برای نرمال‌سازی است و {\displaystyle E(v,h)} تابع انرژی مربوط به دو لایه دیده شده و مخفی است. با محاسبه گرادیان این تابع به صورت {\displaystyle {\frac {\partial \log(p(v))}{\partial w\_{ij}}}} حاصل به شکل {\displaystyle \langle v\_{i}h\_{j}\rangle \_{\text{data}}-\langle v\_{i}h\_{j}\rangle \_{\text{model}}} ساده می‌شود که در آن {\displaystyle \langle \cdots \rangle \_{p}} نشان دهنده میانگین نسبت به توزیع احتمال {\displaystyle p} است. البته عبارت {\displaystyle \langle v\_{i}h\_{j}\rangle \_{\text{model}}} با استفاده از روش‌های نمونه‌گیری در هر مرحله تخمین زده می‌شود.

در هر مرحله ابتدا لایه دیده شده به صورت یک بردار مقداردهی اولیه می‌شود، سپس لایه مخفی با دانستن مقادیر دیده شده مقداردهی می‌شود، سپس لایه دیده شده با دانستن مقادیر مخفی مقداردهی می‌شود، سپس لایه مخفی دوباره با دانستن مقادیر دیده شده مقداردهی می‌شود. در آخر با محاسبه گرادیان طبق عبارات بالا وزن‌ها به روزرسانی می‌شوند.

جستارهای وابسته
---------------

* شبکه عصبی مصنوعی
* ماشین بولتزمن محدود شده

منابع
-----

1. ↑  Hinton G (2009). "Deep belief networks". *Scholarpedia*. **4** (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
2. ↑  Movahedi F, Coyle JL, Sejdic E (May 2018). "Deep Belief Networks for Electroencephalography: A Review of Recent Contributions and Future Outlooks". *IEEE Journal of Biomedical and Health Informatics* (به انگلیسی). **22** (3): 642–652. doi:10.1109/jbhi.2017.2727218. PMC 5967386. PMID 28715343.