یادگیری فعال (یادگیری ماشینی)

یادگیری فعال یک مورد خاص از ماشین یادگیری است که در آن یک الگوریتم یادگیری می تواند به طور تعاملی از کاربر (یا منبع اطلاعاتی دیگر)سوال کند تا نقاط داده های جدید را با خروجی های مورد نظر علامت گذاری کند.    در ادبیات آماری، بعضی اوقات به آن طراحی آزمایشی مطلوب هم می گویند.  همچنین منبع اطلاعات، معلم یا دانشمند نامیده می شود.

موقعیت های وجود دارد که داده های برچسب گذاری نشده فراوان هستند اما برچسب گذاری به صورت دستی گران است.در همچین مواقعی،الگوریتم یادگیری میتواند به طور فعال از کاربر یا معلم برای برچسب ها سوال کند.این نوع از یادگیری تحت نظارت را یادگیری فعال مینامند.از انجایی که یادگیرنده مثال ها را انتخاب میکند،تعداد مثال ها برای یادگیری یک مفهوم گاهی اوقات میتواند بسیار کمتر از تعداد مورد نیاز در حالت معمولی یادگیری تحت نظارت باشد.با این رویکرد،این خطر وجود دارد که الگوریتم توسط مثال های غیراطلاعاتی اسیب ببیند. پیشرفت‌های اخیر به یادگیری فعال چند برچسبی،  یادگیری فعال ترکیبی و یادگیری فعال در زمینه تک‌گذری (آنلاین)، ترکیب کردن مفاهیم زمینه ماشین یادگیری  (مانند تضاد و بی خبری) با سیاست‌های یادگیری تطبیقی و افزایشی در زمینه یادگیری ماشین آنلاین اختصاص داده شده .

تعاریف 
فرض کنید که مجموعه از داده های مورد بررسی باشد.برای مثال،در یک مشکل مهندسی پروتئین،  شامل همه پروتئین هایی میشود که برای یک فعالیت خاص و جالب شناخته میشوند و همچنین همه پروتئین های اضافه ای که ممکن است بخوایم زمانی برای ان فعالیت ازمایش کنیم.

در هر بار تکرار،  ،  به سه زیر مجموعه شکسته و  تقسیم می شود

  : نقاط داده ای که برچسب مشخص است.
  : نقاط داده ای که برچسب نامشخص است .
  : زیر مجموعه ای از  که برای برچسب گذاری انتخاب شده است.

اکثر تحقیقات کنونی در زمینه یادگیری فعال شامل بهترین روش برای انتخاب نقطه داده برای  است.

سناریوها 

 ترکیب پرس و جو عضویت : اینجا جایی است که یادگیرنده نمونه های خود را از یک توزیع طبیعی اساسی تولید می کند. به عنوان مثال، اگر مجموعه داده تصاویری از انسان ها و حیوانات باشد، یادگیرنده می تواند یک تصویر بریده شده از یک پا را برای معلم ارسال کند و میتواند سوال کند که این متعلق به حیوان یا انسان است این مفید است مخصوصا اگر مجموعه داده کوچک باشد. 
 نمونه‌گیری مبتنی بر استخر : در این روش، نمونه‌هایی از کل مجموعه داده‌ها گرفته می‌شوند و یک نتیجه مطمعن را تعیین میکنند، که این سنجش میزان فهم یادگیرنده از داده‌ها است. سپس سیستم نمونه هایی را که کمترین اطمینان را دارند انتخاب می کند و از معلم برای برچسب ها سؤال می کند.
 نمونه‌گیری انتخابی مبتنی بر جریان : در اینجا، هر نقطه داده برچسب گذاری نشده یک‌بار توسط دستگاه ارزیابی می‌شود که اطلاعات هر نمونه را در برابر پارامترهای پرس و جو آن بررسی می‌کند. یادگیرنده برای خودش تصمیم می گیرد که برای هر نقطه داده یک برچسب اختصاص دهد یا از معلم پرس و جو کند.

راهبرد های پرس و جو 
 نمونه گیری عدم قطعیت: در این چارچوب، یک یادگیرنده فعال مواردی که کمترین اطمینان از نحوه برچسب گذاری آن‌ها وجود دارد را پرس و جو می کند. این رویکرد اغلب برای مدل های یادگیری احتمالی سر‌راست است. به عنوان مثال، هنگام استفاده از  یک مدل احتمالی برای طبقه بندی دودویی، نمونه گیری عدم قطعیت به سادگی نمونه‌ای که احتمال پسین مثبت بودن آن به 0.5 نزدیک ترین است را پرس و جو می کند. برای مسائل با سه یا چند کلاس، یک نوع نمونه گیری عدم قطعیت عمومی تر ممکن است نمونه‌ای را که پیش بینی آن کمترین اطمینان را دارد پرس و جو کند:

که در آن ، یا برچسب کلاسی که بزرگترین احتمال پسین تحت مدل  را دارد.

 پرس و جو توسط کمیته: رویکرد  شامل حفظ یک کمیته  از مدل هایی که همگی بر روی مجموعه داده‌های برچسب گذاری شده تا این لحظه آموزش دیده‌اند، اما فرضیه های رقابتی را بیان می‌کنند. سپس به هر عضو کمیته اجازه داده می شود تا به برچسب گذاری کاندید های پرس و جو رأی دهد. پرس و جوی با بیشترین اطلاعات نمونه ای در نظر گرفته می شود که بیشتر درباره آن اختلاف نظر وجود دارد.
فرض اساسی در پشت چارچوب ، به حداقل رساندن فضای نسخه است، که مجموعه فرضیه هایی است که با داده های آموزشی فعلی  سازگار هستند.
برای پیاده سازی یک الگوریتم انتخاب ، باید:
 قادر به ایجاد کمیته ای از مدل هایی باشیم که مناطق مختلف از فضای نسخه را نشان می‌دهد.
 معیاری برای سنجش میزان اختلاف نظر در بین اعضای کمیته وجود داشته باشد.
برای سنجش میزان اختلاف نظر در بین اعضای کمیته چند رویکرد پیشنهاد شده است. یک مورد آنتروپی رأی است:

که در آن  در بازه تمام برچسب‌گذاری‌های ممکن قرار دارد و  تعداد رای‌ها است که یک برچسب از پیش بینی های اعضای کمیته دریافت می کند، و  اندازه کمیته است.

تغییر مدل مورد انتظار: این چارچوب‌های یادگیری فعال، از یک رویکرد تصمیم‌گیری-تئوری استفاده می‌کند و نمونه‌ای را انتخاب می‌کند که بیشترین تغییر را در مدل فعلی ایجاد کند اگر ما برچسب آن را می دانستیم. یک مثال استراتژی پرس و جو در این چارچوب, رویکرد  «طول گرادیان مورد انتظار»  برای کلاس‌های مدل احتمالی متمایز‌ کننده است. استراتژی  را می توان برای هر مسئله یادگیری که در آن جا از آموزش مبتنی بر گرادیان استفاده می شود اعمال کرد. از آنجایی که مدل های احتمالی متمایز کننده معمولاً با استفاده از بهینه سازی مبتنی بر گرادیان آموزش داده می شوند، "تغییر" اعمال شده بر روی مدل را می توان با طول گرادیان آموزشی اندازه گیری کرد. به عبارت دیگر، یادگیرنده باید پرس و جو کند نمونه  که اگر به برچسب گذاری اضافه شود، منجر به گرادیان آموزش جدیدی با بیشترین اندازه می شود. فرض کنید  گرادیان برای تابع هدف   باشد با پارامترهای مدل . حال  را گرادیان جدید حاصل از افزودن داده آموزشی به  در نظر بگیرید. از آنجایی که الگوریتم پرس و جو از قبل برچسب واقعی  را نمی شناسد، ما باید درعوض طول را به عنوان امید ریاضی از برچسب گذاری های ممکن محاسبه کنیم:

که در آن  نرم اقلیدسی هر بردار گرادیان حاصل است. توجه داشته باشید که در زمان پرس و جو،  باید نزدیک به صفر باشد زیرا  در دور قبلی آموزش همگرا شده است. بنابراین، می توانیم  را تقریب کنیم برای کارایی محاسباتی، زیرا نمونه های آموزشی معمولا مستقل فرض می شود.

منابع

یادگیری ماشینی
مدل‌های احتمالات