آدابوست
اثبات و فهم ریاضی آدابوست

عمل تقویت کردن را می‌توان به صورت حداقل کردن یک تابع هزینه محدب روی یک مجموعه محدب از توابع در نظر گرفت. به‌طور خاص تابعی که حداقل می‌شود نمایی است:
E=\sum _{i=1}^{N}{\mbox{exp}}({-y_{i}\times f_{m}(x_{i})})
و ما به‌دنبال تابعی به شکل زیر هستیم:
f_{m}(x)={\frac {1}{2}}\sum _{t=1}^{m}\alpha _{t}h_{t}(x)\,\!
مجهولِ تابع هزینه  E،  f_{m}(\cdot ) است که خود به  \alpha _{1},\cdots ,\alpha _{m},h_{1},\cdots ,\alpha _{m} بستگی دارد. در نتیجه بهینه‌سازی تابع هزینه در نهایت باید نسبت به  \alpha _{1},\cdots ,\alpha _{m},h_{1},\cdots ,h_{m} صورت بگیرد.
حال برای راحتتر شدن کار فرض می‌کنیم که مقادیر  \alpha _{1},\cdots ,\alpha _{m-1},h_{1},\cdots ,h_{m-1} ثابت هستند و هدف ما پیدا کردن   \alpha _{m} و  h_{m} است. با این اوصاف تابع  Eرا می‌توان به شکل پایین نوشت:
E=\sum _{i=1}^{N}{\mbox{exp}}\left({-y_{i}\times \left(f_{m-1}(x_{i})+{\frac {1}{2}}\alpha _{m}h_{m}(x_{i})\right)}\right)=\sum _{i=1}^{N}{\mbox{exp}}\left({-y_{i}\times f_{m-1}(x_{i})}\right){\mbox{exp}}\left({-{\frac {1}{2}}y_{i}\times \alpha _{m}h_{m}(x_{i})}\right)
اگر  {\mbox{exp}}({-y_{i}\times f_{m-1}(x_{i})}) را با  w_{i}^{(m)} نمایش دهیم، تابع هزینه ما به شکل پایین تغییر شکل خواهد داد:
E=\sum _{i=1}^{N}w_{i}^{(m)}e^{-{\frac {1}{2}}y_{i}\times \alpha _{m}h_{m}(x_{i})}
اگر مجموعه تمام داده‌هایی که توسط  h_{m}(\cdot ) به درستی پیش‌بینی می‌شوند را با  \mathrm {T} _{m} و مجموعه تمام داده‌هایی که توسط  h_{m}(\cdot ) نادرست پیش‌بینی می‌شوند را با  M_{m} نمایش دهیم. تابع هزینه به شکل پایین تغییر خواهد کرد:
{\begin{aligned}E&={\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right)\sum _{i\in \mathrm {T} _{m}}w_{i}^{(m)}+{\mbox{exp}}\left({\frac {\alpha _{m}}{2}}\right)\sum _{i\in M_{m}}w_{i}^{(m)}\\&=\left({\mbox{exp}}\left({\frac {\alpha _{m}}{2}}\right)-{\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right)\right)\sum _{i=1}^{N}w_{i}^{(m)}I\left(h_{m}(x_{i})\neq y_{i}\right)+{\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right)\sum _{i=1}^{N}w_{i}^{(m)}\end{aligned}}
حال اگر   E را نسبت به  h_{m} بهینه کنیم، از آنجا که {\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right)\sum _{i=1}^{N}w_{i}^{(m)} و  \left({\mbox{exp}}\left({\frac {\alpha _{m}}{2}}\right)-{\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right)\right) نسبت به  h_{m} ثابت هستند، فقط باید  \sum _{i=1}^{N}w_{i}^{(m)}I\left(h_{m}(x_{i})\neq y_{i}\right) را نسبت به  h_{m} کمینه کنیم؛ یعنی  h_{m}={\underset {h\in {\mathcal {H}}}{\operatorname {argmin} }}\;\sum _{i=1}^{N}w_{i}^{(m)}I(h(x_{i})\neq y_{i})
بعد از پیدا کردن  h_{m} باید  \alpha _{m} را پیدا کنیم اگر  {\frac {\sum _{i=1}^{N}w_{i}^{(m)}I(h(x_{i})\neq y_{i})}{\sum _{i=1}^{N}w_{i}^{(m)}}} را  \epsilon _{m} بنامیم تابع هزینه ما تبدیل می‌شود به  \left(\left({\mbox{exp}}\left({\frac {\alpha _{m}}{2}}\right)-{\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right)\right)\epsilon _{m}+{\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right)\right)\sum _{i=1}^{N}w_{i}^{(m)}که اگر از آن نسبت به  \alpha _{m} مشتق بگیریم و جواب را در نقطه صفر به‌دست بیاوریم به این جواب می‌رسیم:  \alpha _{m}={\frac {1}{2}}{\textrm {ln}}{\frac {1-\epsilon _{m}}{\epsilon _{m}}}.
حال که  \alpha _{m} و  h_{m} را پیدا کردیم باید ببینیم که  w_{i}^{(m+1)} به چه شکل نسبت به  w_{i}^{(m)} بروز می‌شود.  w_{i}^{(m+1)} همان  {\mbox{exp}}\left({-y_{i}\times f_{m}(x_{i})}\right) است یعنی
{\begin{aligned}w_{i}^{(m+1)}&={\mbox{exp}}\left({-y_{i}\times f_{m}(x_{i})}\right)\\&={\mbox{exp}}\left({-y_{i}\times \left(f_{m-1}(x_{i})+{\frac {1}{2}}\alpha _{m}h_{m}(x_{i})\right)}\right)\\&={\mbox{exp}}\left({-y_{i}f_{m-1}(x_{i})}\right){\mbox{exp}}\left({-{\frac {1}{2}}y_{i}\alpha _{m}h_{m}(x_{i})}\right)\\&=w_{i}^{(m)}{\mbox{exp}}\left({-{\frac {1}{2}}y_{i}\alpha _{m}h_{m}(x_{i})}\right)\end{aligned}}
پس ارتباط  w_{i}^{(m+1)} با  w_{i}^{(m)} به این شکل خواهد بود:
w_{i}^{(m+1)}=w_{i}^{(m)}{\mbox{exp}}\left({-{\frac {1}{2}}y_{i}\alpha _{m}h_{m}(x_{i})}\right)
از آنجا که  y_{i}h_{m}(x_{i})=1-2I(h(x_{i})\neq y_{i}) به‌روز کردن  w_{i}^{(m+1)} به این شکل تغییر خواهد کرد:
w_{i}^{(m+1)}=w_{i}^{(m)}{\mbox{exp}}\left({-{\frac {\alpha _{m}}{2}}}\right){\mbox{exp}}\left({\alpha _{m}I\left(h_{m}(x_{i})\neq y_{i}\right)}\right)
اگر تمام  w_{i}^{(m+1)}‌ها را در یک مقدار ثابتی ضرب کنیم تأثیری در جواب نهایی  \epsilon _{m+1} و   \alpha _{m+1} و   h_{m+1} نخواهد داشت. ازین رو همیشه می‌توان مقدار آن‌ها را نرمال‌سازی کرد. با نرمال‌سازی  w_{i}^{(m+1)} به معادله بازگشتی پایین می‌رسیم، در این معادله  Z_{m}=\sum _{i}w_{i}^{(m)} :
w_{i}^{(m+1)}={\frac {w_{i}^{(m)}{\mbox{exp}}\left({\alpha _{m}I\left(h_{m}(x_{i})\neq y_{i}\right)}\right)}{Z_{m}}}
w_{i}^{(m+1)} همان  D_{m+1}(i)است، و از آنجا که  {\frac {1}{2}}در جواب  sign(f_{m}(x)) تأثیری ندارد، می‌توان آن را حذف کرد. حال اگر  m را همان  T بگیریم به الگوریتم آدابوست خواهیم رسید.