یادگیری انتقال

انتقال یادگیری (TL) یک موضوع تحقیقاتی در یادگیری ماشین (ML) است که بر روی ذخیره دانش به دست آمده در هنگام حل یک مسئله و استفاده از آن در یک مسئله متفاوت ولی مرتبط متمرکز است.  به عنوان مثال ، دانش به دست آمده در هنگام یادگیری شناخت ماشین می تواند هنگام تلاش برای شناسایی کامیون ها به کار رود.از دیدگاه عملی، استفاده دوباره یا انتقال اطلاعات از وظایف قبلاً یاد گرفته شده برای یادگیری وظایف جدید این توانایی را دارد که به طور قابل توجهی کارایی نمونه یک عامل یادگیری تقویت کننده را بهبود ببخشد. 

 تاریخچه 
در سال 1976 استوو بوزینوفسکی(Stevo Bozinovski) و آنته فولگوسی( Ante Fulgosi) مقاله ای را منتشر کردند که صریحاً به یادگیری انتقال در آموزش شبکه های عصبی می پردازد.

در سال 1997 ، لورین پرت(Lorien Pratt) و سباستین ترون ( Sebastian Thrun) یک نسخه ویژه از یادگیری ماشین را که به انتقال یادگیری اختصاص یافته بود ،تولید کردند  و تا سال 1998 ، این رشته شامل یادگیری چند کاره بود ، Caruana, R., "Multitask Learning", pp. 95-134 in  همراه با تجزیه و تحلیل رسمی تر از مبانی نظری آن. پایه ها Baxter, J., "Theoretical Models of Learning to Learn", pp. 71-95  یادگیری برای یاد گرفتن(Learning to Learn) ،  ویرایش شده توسط Thrun و Pratt ، مروری بر این موضوع در سال 1998 است.

اندرو ان‌جی در آموزش NIPS 2016 خود گفت که TL پس از یادگیری نظارت شده برای برجسته کردن اهمیت TL ، عامل بعدی موفقیت تجاری ML خواهد بود.Nuts and bolts of building AI applications using Deep Learning, slides

 تعریف 
 تعریف یادگیری انتقالی از نظر حوزه ها و وظایف ارائه شده است. یک دامنه  شامل: یک فضای ویژگی  و یک توزیع احتمال حاشیه ای  ، به طوری که . با توجه به یک دامنه خاص ،  ، یک کار از دو جز تشکیل شده است: فضای برچسب  و یک عملکرد پیش بینی عینی  . تابع  برای پیش بینی برچسب مربوط استفاده می شود  از یک نمونه جدید  . این وظیفه ، مشخص شده توسط  ، از داده های آموزشی متشکل از جفت آموخته می شود  ، به طوری که که  و  .  50x50پیکسل Material was copied from this source, which is available under a Creative Commons Attribution 4.0 International License.

با توجه به دامنه منبع  و کار یادگیری  ، یک دامنه هدف  و یادگیری کار  ، به طوری که  ، یا  ، یادگیری انتقال با هدف کمک به بهبود یادگیری عملکرد پیش بینی تابع  که در  با استفاده از دانش در  و  است .  50x50پیکسل Material was copied from this source, which is available under a Creative Commons Attribution 4.0 International License.

 برنامه های کاربردی 

الگوریتم ها برای یادگیری انتقال در شبکه های منطقی مارکوف(Markov logic networks)  و شبکه های بیزی (Bayesian networks)در دسترس هستند.  یادگیری انتقال نیز در کشف زیر نوع سرطان ، Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada.  استفاده از ساختمان ،   بازی عمومی ، Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer ." IJCAI. 2007. طبقه بندی متن ،   تشخیص رقم ،  تصویربرداری پزشکی و فیلتر کردن هرزنامه(spam) اعمال شده است. . 

در سال 2020 کشف شد که، با توجه به طبیعت جسمی مشابه خود، یادگیری انتقال بین سیگنال های الکترومایوگرافی (EMG) از ماهیچه ها به هنگام طبقه بندی رفتار امواج مغزی (EEG) ممکن است. همچنین اشاره شد که این رابطه برعکس عمل می کند ، نشان می دهد که می توان از EEG برای طبقه بندی EMG علاوه بر این استفاده کرد.  این آزمایش‌ها نشان داد که دقت شبکه های عصبی و شبکه های عصبی کانولوشن  با یادگیری انتقال هم در دوره اول (قبل از هرگونه یادگیری ، یعنی در مقایسه با توزیع وزن تصادفی استاندارد) و هم در مجانب (انتهای فرایند یادگیری). یعنی الگوریتم ها با قرار گرفتن در دامنه دیگری بهبود می یابند. علاوه بر این ، کاربر نهایی یک مدل از پیش آموزش دیده می تواند ساختار لایه های کاملاً متصل را برای دستیابی به عملکرد برتر تغییر دهد. Kabir, H. M., Abdar, M., Jalali, S. M. J., Khosravi, A., Atiya, A. F., Nahavandi, S., & Srinivasan, D. (2020). Spinalnet: Deep neural network with gradual input. arXiv preprint arXiv:2007.03347.

 جستارهای وابسته 
 کراس اوور (الگوریتم ژنتیک)
 سازگاری دامنه
 بازی عمومی
 یادگیری چند کاره
 بهینه سازی چند وظیفه ای
 منابع