payamvha/North_RAG huggingface dataset:
نظارت ضعیف شاخه‌ای از یادگیری ماشین است که در آن منابع نویز دار، محدود یا با دقت پایین برای ایجاد سیگنال‌های نظارتی مربوط به برچسب زدن روی حجم انبوهی از دادهٔ آموزش درون یک محیط یادگیری نظارت‌شده اعمال می‌شود. این روش هزینه‌های احتمالی‌ای که لیبل زدن به صورت دستی ایجاد می‌کند مانند زمان‌بر بودن را از بین می‌برد. به جای این روش برچسب‌های ضعیف و درک آن که آن‌ها ناقصند اما می‌توانند یک مدل قوی بسازند به‌کارگرفته می‌شوند. به خصوص در پردازش زبان‌های طبیعی که در آن ما الگوهای بسیاری خاص برای داده‌ها داریم که باعث
ما الگوهای بسیاری خاص برای داده‌ها داریم که باعث می‌شود یک مدل از پیش آموزش دیده با الگوهای خاص به خوبی عمل نکند، در این مورد نظارت ضعیف به بهبود عملکرد مدل در مورد الگوها کمک می‌کند. سطوح نشانه گذاری داده‌ها. در کل سطوح نشانه گذاری داده‌ها را می‌توان به ۳ گروه تقسیم کرد: داده‌های نشانه‌گذاری شده با کیفیت بالا. در این بخش داده‌ها با کیفیت خوبی نشانه‌گذاری شده‌اند و این نشانه‌گذاری‌ها قابل اعتماد هستند. با توجه به اندازهٔ مجموعه داده‌ها در این گروه می‌توان از رویکردهای مختلف استفاده کرد؛ مثلاً اگر اندازهٔ
از رویکردهای مختلف استفاده کرد؛ مثلاً اگر اندازهٔ مجموعه داده بزرگ باشد می‌توان از رویکرد یادگیری بانظارت و اگر اندازه مجموعه داده کوچک باشد می‌توان از رویکرد یادگیری انتقالی یا یادگیری نیمه نظارتی استفاده کرد. داده‌های نشانه‌گذاری شده با کیفیت پایین. در این بخش با تکنیک‌های مختلف مثل روش‌های برچسب‌گذاری ضعیف، روش‌های اکتشافی الگو یابی، برچسب‌گذاری خوشه ای و استفاده از مدل‌های از قبل آموزش دیده به عنوان یک پیش‌بینی کننده نویز دار، کیفیت نشانه‌گذاری را بالا می‌بریم و سپس از روش‌های ذکر شده استفاده می‌کنیم.
می‌بریم و سپس از روش‌های ذکر شده استفاده می‌کنیم. داده‌های بدون نشانه‌گذاری. در این بخش می‌توان از روش‌های خوشه‌بندی استفاده کرد. مسئلهٔ دادهٔ آموزش برچسبدار. مدل‌های یادگیری ماشین و تکنیک‌های آن به صورت روبه‌افزایشی قابل‌دسترسی توسط محققان و توسعه‌دهندگان است. کاربرد این مدل‌ها در دنیای واقعی اما، بستگی به دسترسی به دادهٔ آموزش با کیفیت بالا دارد. این نیاز به دادهٔ آموزش برچسبدار یک مانع بزرگی برای کار کردن مدل‌های یادگیری ماشین در دنیای واقعی مانند داخل یک سازمان یا صنعت است. این گلوگاه در راه‌های مختلفی
سازمان یا صنعت است. این گلوگاه در راه‌های مختلفی خود را بروز می‌دهد. به‌طور مثال: تعداد ناکافی دادهٔ برچسب‌دار. هنگامی که تکنیک‌های یادگیری ماشین در کاربردی جدید شروع به کار می‌کنند، معمولاً دادهٔ آموزش به اندازهٔ کافی برای اعمال فرایندهای مرسوم نیست. هرچند بعضی صنایع این مزیت را دارند که مقدار کافی دادهٔ آموزش آماده دارند. جمع‌آوری دادهٔ آموزش نیاز به گذشت زمان بسیار زیاد و هزینهٔ بالا شود؛ بنابراین آنهایی که چنین نیستند ممکن است با مشکل جدی روبه‌رو شوند. کمبود متخصص‌های موضوع برای برچسب زدن داده. هنگامی
کمبود متخصص‌های موضوع برای برچسب زدن داده. هنگامی که train کردن داده نیازمند تخصصی دقیق و مرتبط با ویژگی‌های داده‌ها است. به‌طور مثال حوزه‌های زیست‌پزشکی یا مسائل امنیتی. زمان ناکافی برای برچسب زدن و آماده‌کردن. بیشتر زمان پیاده‌سازی یادگیری ماشین روی آماده کردن مجموعه داده صرف می‌شود. هنگامی که یک بخش صنعتی یا یک مطالعهٔ میدانی با مشکلاتی روبه‌رو می‌شود که به‌طور ذاتی مدام در حال دگرگونی‌اند، ممکن است جمع‌آوری و آماده‌کردن سریع دادهٔ کافی امکان‌پذیر نباشد. به‌طور مثال این موضوع در مسائل مرتبط با امنیت
به‌طور مثال این موضوع در مسائل مرتبط با امنیت سایبری واضح‌تر دیده می‌شود. انواع برچسب ضعیف. برچسب‌های ضعیف برای کاهش هزینه و افزایش کارایی تلاش‌های انسانی‌ای که روی فرایند دستی برچسب زدن داده صرف می‌شود که در سه گروه کلی قرار می‌گیرند: خارج از این سه محیط محدودیت‌هایی که یادگیری نظارتی ضعیف ممکن است پیش رو داشته باشد با اطلاعات انسانی به عنوان priorها اقدام به رفع آن‌ها می‌کنند. یادگیری نیمه‌نظارت‌شده. یادگیری نیمه‌نظارت‌شده نوع خاصی از نظارت ضعیف است که بخشی کوچکی از دادهٔ برچسبدار را با مقدار زیادی دادهٔ
کوچکی از دادهٔ برچسبدار را با مقدار زیادی دادهٔ بدون برچسب هنگام آموزش ترکیب می‌کند. این روش میان یادگیری بدون نظارت (با داده‌های کاملاً بدون برچسب) و یادگیری نظارت‌شده (داده‌های کاملاً برچسبدار) قرار می‌گیرد. داده‌های بدون برچسب هنگامی که در ترکیب با حجم کمی دادهٔ برچسبدار قرار می‌گیرد می‌تواند بهبود قابل‌توجهی در دقت یادگیری به همراه داشته‌باشد. در اختیار داشتن دادهٔ برچسبدار برای یک مسئلهٔ یادگیری عموماً نیاز به یک عامل انسانی بامهارت یا یک تجربهٔ فیزیکی دارد. هزینهٔ همراه فرایند برچسب زدن کل داده همراه
دارد. هزینهٔ همراه فرایند برچسب زدن کل داده همراه پرهزینه و در عمل دور از دسترس است. از طرفی در اختیار گرفتن دادهٔ بدون برچسب هزینه‌ای ندارد؛ بنابراین یادگیری نیمه‌نظارتی یک موضوع مورد توجه در یادگیری ماشین است و به عنوان مدلی از یادگیری انسانی نیز مورد توجه است. مجموعه‌ای از formula_1 متغیرهای تصادفی مستقل با توزیع یکسان با برچسب‌های متناظر formula_2 و formula_3 نمونهٔ بدون برچسب را درنظر بگیرید. یادگیری نیمه نظارتی این دو بخش را ادغام کرده که این روش کارایی بهتری از به کارگیری جداگانهٔ زیرمجموعه‌های
کارایی بهتری از به کارگیری جداگانهٔ زیرمجموعه‌های برچسبدار یا بدون برچسب به صورت جدا دارد. روش‌های به دست آوردن داده‌های برچسب‌گذاری شدهٔ بیشتر. روش‌های سنتی. در این روش از کارشناسان خبره می‌خواهیم که داده‌های بیشتری را برچسب‌گذاری کنند یادگیری فعال. هدف اصلی رویکرد یادگیری فعال، ارائه نقاط داده‌ای است که برای مدل بسیار ارزشمند هستند یا می‌توان گفت که نقاط داده جدیدی را انتخاب می‌کنیم که برای برچسب گذاری لازم است. به عنوان مثال، ما در تجزیه و تحلیل احساسات، احساسات عصبانی داریم که نزدیک به مرزهای تصمیم مدل
احساسات عصبانی داریم که نزدیک به مرزهای تصمیم مدل است و در این مورد، از مجمعه خبرگان می‌خواهیم که فقط جملات شامل احساسات را برچسب‌گذاری کنند. یا فقط می‌توانیم برای این نقاط داده به سمت نظارت ضعیف‌تر برویم تا یادگیری فعال بتواند با نظارت ضعیف تکمیل شود. یادگیری نیمه‌نظارت شده. هدف اصلی در پشت این رویکرد استفاده از مجموعه داده‌های برچسب‌گذاری‌شده کوچک با مجموعه داده‌های بدون برچسب بزرگ در سطح بالا با فرض معیارهای همواری و فاصله کم داده‌های بدون برچسب است. یادگیری انتقالی. یادگیری انتقالی رویکردی است که در آن
انتقالی. یادگیری انتقالی رویکردی است که در آن از یک مدل از پیش آموزش دیده برای یادگیری از داده‌های موجود استفاده می‌شود. با استفاده از دانش به‌دست‌آمده از آموزش در مجموعه‌های داده مختلف، اگر شباهت‌هایی بین مجموعه داده‌های آموزش‌دیده قبلی و مجموعه داده هدف وجود داشته باشد، مدل از پیش آموزش‌دیده شده را می‌توان در یک مجموعه داده جدید اعمال کرد. این فرایند امکان استفاده کارآمد از دانش قبلی را فراهم می‌کند و تطبیق مدل‌ها با مجموعه داده‌های جدید را تسهیل می‌کند. انواع ورودی‌ها در نظارت ضعیف. اکتشافی مبتنی بر
انواع ورودی‌ها در نظارت ضعیف. اکتشافی مبتنی بر الگو. در این ورودی کارشناسان خبره الگوها را شناسایی و به عنوان ورودی کمکی قرار می‌دهند نظارت از راه دور. نظارت از راه دور تکنیکی است که از نقاط داده‌ای استفاده می‌کند که با یک پایگاه دانش خارجی همسو می‌شوند تا برچسب‌ها را تولید کنند. نظارت از راه دور به جای تکیه صرف بر برچسب‌گذاری دستی، از روش‌های اکتشافی برای تخصیص خودکار برچسب‌ها بر اساس همسویی داده‌ها با دانش خارجی استفاده می‌کند. طبقه‌بندی‌کننده‌های ضعیف. طبقه‌بندی‌کننده‌های ضعیف با استفاده از
ضعیف. طبقه‌بندی‌کننده‌های ضعیف با استفاده از طبقه‌بندی‌کننده‌هایی که ممکن است برای کار خاص مناسب نباشند، در نظارت ضعیف نقش دارند. در عوض، این طبقه‌بندی‌کننده‌ها به مجموعه داده‌های متفاوتی اعمال می‌شوند و مجموعه‌های داده‌ای را ایجاد می‌کنند که نویز دار و مغرضانه هستند. سپس این مجموعه داده‌ها به عنوان مجموعه آموزشی برای فرایند یادگیری استفاده می‌شود. در حالی که طبقه‌بندی‌کننده‌ها ممکن است به‌صورت جداگانه دقت مطلوبی را ارائه ندهند، مشارکت جمعی آنها به مدل‌های آموزشی برای مدیریت سناریوهای مختلف و بهبود عملکرد
آموزشی برای مدیریت سناریوهای مختلف و بهبود عملکرد کلی کمک می‌کند. با ترکیب طبقه‌بندی‌کننده‌های ضعیف، نظارت ضعیف از منابع مختلف داده برای بهبود فرایند یادگیری استفاده می‌کند. مولدهای تابع برچسب‌گذاری. مولدهای تابع برچسب‌گذاری ابزارهایی در سیستم‌های نظارت ضعیف مانند Snorkel هستند که امکان ایجاد چندین عملکرد را با استفاده از کد فراهم می‌کنند. این توابع با تخصیص خودکار برچسب‌ها به داده‌ها، نقش مهمی در فرایند نظارت ضعیف بازی می‌کنند. با استفاده از کد قابل برنامه‌ریزی، مولدهای تابع برچسب‌گذاری مقیاس‌پذیری و
مولدهای تابع برچسب‌گذاری مقیاس‌پذیری و مدیریت‌پذیری را ارائه می‌دهند و امکان مدیریت کارآمد مجموعه‌های داده بزرگ را فراهم می‌کنند. این ابزارها کاربران را قادر می‌سازد تا عملکردهای برچسب گذاری را بر اساس الزامات خاص تعریف و سفارشی کنند و به انعطاف‌پذیری و اثربخشی رویکردهای نظارت ضعیف کمک می‌کنند.
در تئوری احتمالات و یادگیری ماشین ، مسئله راهزن چند دست مسئله‌ای است که در آن مجموعه محدود ثابتی از منابع باید بین گزینه‌های رقیب تخصیص داده شود. انتخاب‌ها به گونه‌ای که سود مورد انتظار آنها را به حداکثر برساند، زمانی که ویژگی‌های هر انتخاب در زمان تخصیص فقط تا حدی شناخته شده است و ممکن است با گذشت زمان یا با تخصیص منابع به آن انتخاب، بهتر شناخته شود. &lt;/ref&gt; این یک مسئله کلاسیک یادگیری تقویتی است که مسئله معاوضه اکتشاف – بهره برداری را توصیف می‌زند. این نام از تصور یک قمارباز در ردیف دستگاه‌های بازی
نام از تصور یک قمارباز در ردیف دستگاه‌های بازی گرفته شده است، که باید تصمیم بگیرد که با کدام دستگاه‌ها بازی کند، هر دستگاه را چند مرتبه بازی کند و به چه ترتیبی بازی کند، و آیا با دستگاه فعلی ادامه دهد یا دستگاه دیگری را امتحان کند. مسئله راهزن چند دست در دسته‌بندی برنامه‌ریزی تصادفی قرار می‌گیرد. در این مسئله، هر دستگاه یک پاداش تصادفی را از یک توزیع احتمال خاص برای آن دستگاه ارائه می‌کند، که این توزیع از قبل مشخص نیست. هدف قمارباز به حداکثر رساندن مجموع پاداش‌های به‌ دست‌ آمده از طریق دنباله‌ای از کشیدن
به‌ دست‌ آمده از طریق دنباله‌ای از کشیدن اهرم‌ها است. معاوضه اساسی‌ای که قمارباز در هر آزمایشی با آن روبرو می‌شود، بین «استثمار» از دستگاهی است که بالاترین بازدهی مورد انتظار را دارد و «اکتشاف» برای به دست آوردن اطلاعات بیشتر در مورد بازدهی مورد انتظار دستگاه‌های دیگر است. مبادله بین اکتشاف و بهره‌برداری در یادگیری ماشین بررسی شده است. در عمل، راهزن چند دست برای مدل‌سازی مسائلی مانند مدیریت پروژه‌های تحقیقاتی در یک سازمان بزرگ، مانند یک بنیاد علمی یا یک شرکت داروسازی، استفاده شده‌ است. در نسخه‌های اولیه
داروسازی، استفاده شده‌ است. در نسخه‌های اولیه مسئله، قمارباز بدون هیچ دانش اولیه در مورد دستگاه‌ها شروع می‌کند. هربرت رابینز در سال 1952، با درک اهمیت مسئله، استراتژی‌های انتخاب جمعیت همگرا را در "برخی از جنبه‌های طراحی متوالی آزمایش‌ها" ساخت. یک قضیه، شاخص گیتینز ، که برای اولین بار توسط جان سی منتشر شد، یک سیاست بهینه برای به حداکثر رساندن پاداش مورد انتظار ارائه می‌دهد. انگیزه تجربی. مسئله راهزن چند دست، عاملی را مدل می‌کند که به طور همزمان تلاش می‌کند دانش جدیدی («اکتشاف») به دست آورد و تصمیمات خود را
جدیدی («اکتشاف») به دست آورد و تصمیمات خود را بر اساس دانش موجود («استثمار») بهینه کند. عامل تلاش می‌کند تا این دو وظیفه رقابتی را متعادل کند تا ارزش کلی آنها را در بازه زمانی در نظر گرفته شده به حداکثر برساند. کاربردهای عملی زیادی از مسئله راهزن وجود دارد، به عنوان نمونه: در این مثال‌های عملی، مسئله مستلزم رسیدن به حداکثر پاداش بر اساس دانشی است که قبلاً به دست آورده‌ایم و تلاش برای اقدامات جدید برای افزایش بیشتر دانش است. این به عنوان "معاوضه بهره برداری در مقابل اکتشاف" در یادگیری ماشینی شناخته می‌شود.
در مقابل اکتشاف" در یادگیری ماشینی شناخته می‌شود. این مدل برای کنترل تخصیص پویای منابع به پروژه‌های مختلف استفاده شده است و به این سؤال پاسخ می‌دهد که با توجه به عدم اطمینان در مورد دشواری و بازدهی هر گزینه، روی کدام پروژه کار شود. این مسئله در ابتدا توسط دانشمندان متفقین در جنگ جهانی دوم مورد توجه قرار گرفت، اما به قدری غیرقابل حل بود که به گفته پیتر ویتل ، پیشنهاد شد که این مسئله در بین آلمانی‌ها رها شود تا دانشمندان آلمانی نیز بتوانند وقت خود را برای آن تلف کنند. نسخه‌ای از مسئله که اکنون معمولاً مورد
تلف کنند. نسخه‌ای از مسئله که اکنون معمولاً مورد بررسی قرار می‌گیرد توسط هربرت رابینز در سال 1952 فرموله شده است. مدل راهزن چند دستی. راهزن چند دستی (کوتاه: MAB) را می‌توان به عنوان مجموعه ای از توزیع‌های واقعی دید. formula_1 ، هر توزیع با پاداش‌های ارائه شده توسط یکی از formula_2 اهرم مرتبط است. اگر formula_3 مقادیر میانگین مرتبط با این توزیع‌های پاداش باشد، قمارباز به طور مکرر در هر دور یک اهرم بازی می‌کند و پاداش مربوطه را مشاهده می‌کند. هدف این است که مجموع پاداش‌های جمع آوری شده را به حداکثر برساند.
مجموع پاداش‌های جمع آوری شده را به حداکثر برساند. افق formula_4 تعداد دورهایی است که باید انجام شود. مسئله راهزن به طور رسمی معادل فرآیند تصمیم گیری مارکوف یک حالته است. پشیمانی formula_5 بعد از formula_6 دور به عنوان تفاوت مورد انتظار بین مجموع پاداش مرتبط با یک استراتژی بهینه و مجموع پاداش‌های جمع آوری شده تعریف می‌شود: formula_7 ، جایی که formula_8 حداکثر میانگین پاداش است، formula_9 ، و formula_10 پاداش در دور "t" است. "استراتژی صفر پشیمانی استراتژی" است که میانگین پشیمانی آن در هر راند formula_11 وقتی
که میانگین پشیمانی آن در هر راند formula_11 وقتی تعداد دورهای بازی شده به بی نهایت میل می‌کند با احتمال 1 به صفر میل می‌کند. به طور شهودی، استراتژی‌های بدون پشیمانی تضمین می‌شوند که اگر راندهای کافی بازی شوند، به یک استراتژی بهینه (الزاماً منحصربه‌فرد) همگرا می‌شوند. تغییرات. یک فرمول متداول، "راهزن چند دست دودویی یا راهزن" "چند دست برنولی است" که یک جایزه با احتمال formula_12 صادر می‌کند و در غیر این صورت پاداش صفر است. فرمول دیگری از راهزن چند دشت دارای هر اهرم نشان دهنده یک ماشین مارکوف مستقل است. هر
هر اهرم نشان دهنده یک ماشین مارکوف مستقل است. هر بار که دستگاه خاصی بازی می‌شود، وضعیت آن دستگاه به دستگاه جدیدی می‌رود که بر اساس احتمالات تکامل حالت مارکوف انتخاب می‌شود. بسته به وضعیت فعلی دستگاه یک پاداش وجود دارد. در یک تعمیم به نام "مسئله راهزن بی‌قرار"، حالت‌های دستگاه‌های بازی نشده نیز می تواند در طول زمان تکامل یابد. همچنین در مورد سیستم‌هایی که تعداد انتخاب‌ها (در مورد اینکه کدام دستگاه بازی شود) در طول زمان افزایش می‌یابد، بحث شده است. محققان علوم کامپیوتر راهزنان چند دست را تحت بدترین مفروضات
کامپیوتر راهزنان چند دست را تحت بدترین مفروضات (worst-case) مورد مطالعه قرار داده‌اند و الگوریتم‌هایی را برای به حداقل رساندن پشیمانی در زمانی متناهی و نامتناهی برای بازدهی اهرم‌های تصادفی &lt;ref name="doi10.1023/A:1013689704352"&gt;&lt;/ref&gt; و غیر تصادفی به دست آورده‌اند. استراتژی‌های راهزن. یک پیشرفت بزرگ، ایجاد استراتژی‌ها یا سیاست‌های انتخاب بهینه جمعیت (که دارای حداکثر نرخ هم‌گرایی یکنواخت با جمعیت با بالاترین میانگین هستند) در کار شرح داده شده در زیر است. راه حل‌های بهینه. در مقاله "قوانین تخصیص
زیر است. راه حل‌های بهینه. در مقاله "قوانین تخصیص تطبیقی کارآمد مجانبی"، لای و رابینز (به دنبال مقالات رابینز و همکارانش که به رابینز در سال 1952 بازمی‌گردند) سیاست‌های انتخاب جمعیت همگرا را ارائه کردند که سریع‌ترین نرخ همگرایی را (به جمعیت با بالاترین میانگین) برای حالتی که توزیع پاداش جمعیت خانواده نمایی یک پارامتری است، دارد. سپس در کاتهاکیس و رابینز ساده‌سازی خط‌مشی و اثبات اصلی برای مورد جمعیت‌های عادی با واریانس‌های شناخته شده ارائه شد. پیشرفت قابل توجه بعدی توسط Burnetas و Katehakis در مقاله
قابل توجه بعدی توسط Burnetas و Katehakis در مقاله "سیاست‌های تطبیقی بهینه برای مسائل تخصیص متوالی"، به دست آمد، جایی که سیاست‌های مبتنی بر شاخص با حداکثر نرخ همگرایی یکنواخت، تحت شرایط عمومی تر که شامل مواردی است که در آن توزیع‌ها وجود دارد، ساخته شد. نتایج هر جمعیت به بردار پارامترهای ناشناخته بستگی دارد. Burnetas و Katehakis همچنین یک راه حل صریح برای مورد مهمی ارائه کردند که در آن توزیع نتایج از توزیع‌های گسسته و تک‌متغیره دلخواه (یعنی ناپارامتریک) پیروی می‌کند. بعداً در «سیاست‌های تطبیقی بهینه برای
می‌کند. بعداً در «سیاست‌های تطبیقی بهینه برای فرآیندهای تصمیم مارکوف» بورنتاس و کاتهاکیس مدل بسیار بزرگ‌تری از فرآیندهای تصمیم‌گیری مارکوف را تحت اطلاعات محدود مطالعه کردند، جایی که قانون گذار و/یا پاداش‌ یک دوره ممکن است به پارامترهای ناشناخته بستگی داشته باشد. در این کار، نویسندگان یک فرم صریح برای یک کلاس از سیاست‌های تطبیقی با ویژگی‌های نرخ همگرایی حداکثری یکنواخت برای کل پاداش افق محدود مورد انتظار تحت مفروضات کافی فضاهای کنش حالت محدود و کاهش‌ناپذیری قانون گذار ارائه کردند. یکی از ویژگی‌های اصلی این
قانون گذار ارائه کردند. یکی از ویژگی‌های اصلی این سیاست‌ها این است که انتخاب اقدامات، در هر حالت و دوره زمانی، بر اساس شاخص‌هایی است که تورم‌های سمت راست معادلات میانگین تخمینی بهینه پاداش هستند. این تورم‌ها اخیراً در کار تواری و بارتلت، اورتنر فیلیپی، کاپی، و گاریویه و هوندا و تاکمورا، رویکرد خوش‌بینانه نامیده می‌شوند. برای راهزنان چند دست برنولی، پیلارسکی و همکاران روش‌های محاسباتی استخراج راه‌حل‌های کاملاً بهینه (نه فقط مجانبی) را با استفاده از برنامه‌نویسی پویا در مقاله "سیاست بهینه برای راهزنان
پویا در مقاله "سیاست بهینه برای راهزنان برنولی: محاسبات و الگوریتم" مطالعه کردند. این کار از طریق طرح‌های نمایه‌سازی، جداول جستجو و سایر تکنیک‌ها، راه‌حل‌های بهینه عملاً قابل اجرا را برای راهزنان برنولی ارائه کرد، مشروط بر اینکه افق‌های زمانی و تعداد اهرم‌ها بیش از حد بزرگ نشوند. پیلارسکی و همکاران بعداً این کار را در "پاداش تاخیری راهزنان برنولی: سیاست بهینه و متاالگوریتم پیش بینی کننده PARDI" گسترش داد تا روشی برای تعیین خط مشی بهینه راهزنان برنولی ایجاد کند، زمانی که پاداش ممکن است بلافاصله پس از یک
کند، زمانی که پاداش ممکن است بلافاصله پس از یک تصمیم آشکار نشود و ممکن است به تاخیر بیفتد. این روش بر محاسبه مقادیر مورد انتظار نتایج پاداش که هنوز آشکار نشده اند و به‌روزرسانی توزیع احتمالات پسین هنگام آشکار شدن پاداش‌ها متکی است. می‌توان راه حل‌های بهینه برای راهزن چند دست برای استخراج ارزش انتخاب‌های حیوانات استفاده کرد. فعالیت نورون‌ها در آمیگدال و جسم مخطط شکمی مقادیر به دست آمده از این سیاست‌ها را رمزگذاری می‌کند و می‌تواند برای رمزگشایی زمانی که حیوانات انتخاب‌های اکتشافی در مقابل استثماری انجام
انتخاب‌های اکتشافی در مقابل استثماری انجام دهند استفاده شود. علاوه بر این، سیاست‌های بهینه رفتار انتخاب حیوانات را بهتر از استراتژی‌های جایگزین پیش‌بینی می‌کنند (که در زیر توضیح داده شده است). این نشان می‌دهد که راه‌حل‌های بهینه برای مسئله راهزن چند دست از نظر بیولوژیکی قابل قبول هستند. راه حل‌های تقریبی. راهبردهای زیادی وجود دارند که راه حل تقریبی برای مسئله راهزن ارائه می‌دهند و می‌توان آنها را در چهار گروه کلی که در زیر شرح داده شده است قرار داد: استراتژی‌های نیمه یکنواخت. استراتژی‌های نیمه یکنواخت
نیمه یکنواخت. استراتژی‌های نیمه یکنواخت اولین (و ساده‌ترین) استراتژی‌هایی بودند که برای حل تقریبی مسئله راهزن کشف شدند. همه آن استراتژی‌ها رفتار حریصانه‌ای دارند که در آن "بهترین" اهرم (بر اساس مشاهدات قبلی) همیشه کشیده می‌شود، مگر زمانی که یک اقدام تصادفی (یکنواخت) انجام شود. استراتژی‌های تطبیق احتمال. استراتژی‌های تطبیق احتمال این ایده را منعکس می‌کند که تعداد کشیدن‌ها برای یک اهرم معین باید "با" احتمال واقعی آن برای بهینه بودن اهرم مطابقت داشته باشد. استراتژی‌های تطبیق احتمال نیز به‌عنوان نمونه‌گیری
استراتژی‌های تطبیق احتمال نیز به‌عنوان نمونه‌گیری تامپسون یا راهزنان بیزی شناخته می‌شوند، و اگر بتوانید از توزیع پسین برای مقدار میانگین هر جایگزین نمونه برداری کنید، به‌طور شگفت‌آوری آسان می‌شوند. استراتژی‌های قیمت گذاری. استراتژی‌های قیمت گذاری "قیمتی" را برای هر اهرم تعیین می‌کنند. به عنوان مثال، همانطور که با الگوریتم POKER نشان داده شده است، قیمت می‌تواند مجموع پاداش مورد انتظار به اضافه تخمینی از پاداش‌های اضافی آینده باشد که از طریق دانش اضافی به دست می‌آید. اهرم بالاترین قیمت همیشه کشیده می‌شود.
می‌آید. اهرم بالاترین قیمت همیشه کشیده می‌شود. راهزن زمینه‌ای. یک تعمیم مفید از راهزن چند دست، راهزن چند دست زمینه‌ای است. در هر تکرار، یک عامل هنوز باید بین اهرم‌ها انتخاب کند، اما همچنین یک بردار ویژگی d بعدی را می‌بیند، بردار زمینه ای که می‌تواند همراه با پاداش اهرم‌های بازی شده در گذشته برای انتخاب اهرم بازی استفاده کند. با گذشت زمان، هدف یادگیرنده جمع‌آوری اطلاعات کافی در مورد چگونگی ارتباط بردارهای زمینه و پاداش‌ها با یکدیگر است، به طوری که بتواند بهترین اهرم بعدی را با نگاه کردن به بردارهای ویژگی
اهرم بعدی را با نگاه کردن به بردارهای ویژگی پیش‌بینی کند. راه حل‌های تقریبی برای راهزن زمینه‌ای. استراتژی‌های زیادی وجود دارند که راه‌حلی تقریبی برای مسئله راهزن زمینه‌ای ارائه می‌دهند و می‌توان آن‌ها را در دو دسته کلی به تفصیل در زیر قرار داد. راهزن زمینه‌ای محدود. در عمل، معمولاً هزینه ای مرتبط با منابع مصرف شده توسط هر اقدام وجود دارد و هزینه کل توسط بودجه در بسیاری از کاربردها مانند جمع سپاری و آزمایش‌های بالینی محدود می‌شود. راهزن زمینه‌ای محدود (CCB) چنین مدلی است که هم محدودیت‌های زمانی و هم بودجه
چنین مدلی است که هم محدودیت‌های زمانی و هم بودجه را در یک محیط راهزن چند دست در نظر می‌گیرد. A. Badanidiyuru و همکاران. ابتدا راهزن‌های زمینه‌ای را با محدودیت‌های بودجه مورد مطالعه قرار داد، که به آنها راهزن‌های زمینه‌ای منبع نیز می‌گویند و نشان داد که formula_21 پشیمانی دست یافتنی است با این حال، کار آنها بر روی مجموعه محدودی از سیاست‌ها متمرکز است و الگوریتم از نظر محاسباتی ناکارآمد است. یک الگوریتم ساده با پشیمانی لگاریتمی در موارد زیر پیشنهاد شده است:
جام بین قاره‌ای ۱۹۹۶ سی و پنجمین دوره از جام بین قاره‌ای فوتبال بود که بین باشگاه یوونتوس، قهرمان لیگ قهرمانان اروپا ۹۶–۱۹۹۵، و باشگاه ریور پلاته، قهرمان جام لیبرتادورس ۱۹۹۶ برگزار شد.
کلاهبرداری کارت اعتباری (به انگلیسی: Credit card fraud) اصطلاحی به معنای کلاهبرداری از طریق کارت‌های اعتباری است. مجرم بدین وسیله می‌تواند از طریق کارت اعتباری شخص دیگری کالا بخرد یا پول او را به حساب خود واریز کند. کلاهبرداری کارت اعتباری می‌تواند به صورت معتبر و مجاز‌ به معنای انتقال پول به حساب مجرم با اختیار و آگاهی صاحب کارت و هم به صورت غیر مجاز، به معنای انتقال پول توسط شخص ثالث بدون اجازه و آگاهی دارنده‌ی کارت، باشد. در سال ۲۰۱۸ مبلغ کلی کلاهبرداری به صورت غیر مجاز در کشور انگلستان برابر ۸۴۴٫۸
به صورت غیر مجاز در کشور انگلستان برابر ۸۴۴٫۸ میلیون پوند بوده است در حالی که بانک‌ها و کمپانی‌های صادر کننده کارت از کلاهبرداری حدود ۱٫۶۶ میلیارد پوند جلوگیری کرده‌اند. این به معنای جلوگیری از formula_1 کلاهبرداری‌های کارت اعتباری است. زمانی کلاهبرداری رخ می‌دهد که مجرم بتواند به اطلاعات کارت اعتباری اشخاص دسترسی پیدا بکند و با استفاده از این اطلاعات پول از حساب دارنده‌ی‌ کارت برداشت کرده یا اکانت جدیدی با هویت جعلی بسازد. این دسترسی با روش‌هایی نظیر ماهیگیری (به انگلیسی: phishing) یا اسکیمینگ (به
ماهیگیری (به انگلیسی: phishing) یا اسکیمینگ (به انگلیسی: Skimming) یا به اشتراک گذاری اطلاعات توسط دارنده‌ی حساب، بدست می‌آید. این نوع کلاهبرداری توسط هوش مصنوعی و یادگیری ماشین قابل تشخیص و جلوگیری است. تشخیص کلاهبرداری کارت اعتباری. تشخیص کلاهبرداری کارت اعتباری توسط هوش مصنوعی. بدلیل پیچیدگی بالای‌ محاسباتی و دشواری زیاد تشخیص این نوع کلاهبرداری، از هوش مصنوعی استفاده می‌شود. رایج‌ترین روش‌های مورد استفاده در تشخیص کلاهبرداری‌های کارت اعتباری، شبکه‌های عصبی (به انگلیسی:‌ Neural network)، درخت تصمیم (به
(به انگلیسی:‌ Neural network)، درخت تصمیم (به انگلیسی: Decision tree)، ماشین بردار پشتیبانی(به انگلیسی: Support vector machine) و الگوریتم‌های فراابتکاری (به انگلیسی: Meta heuristics) هستند. روش‌های متفاوتی می‌توان برای تشخیص تراکنش‌های مشکوک به کار برد به عنوان مثال یکی از روش‌های بی‌درنگ ابتدا با استفاده از نقشه‌های خود سازمان دهنده (به انگلیسی: Self-organizing maps) بعد داده‌ها را کاهش می‌دهد و سپس با استفاده از یک الگوریتم پیش‌بینی‌کننده، تراکنش‌های غیر طبیعی را تعیین می‌کند. الگوریتم‌های هوش مصنوعی و
طبیعی را تعیین می‌کند. الگوریتم‌های هوش مصنوعی و یادگیری ماشین دارای خطا در پیشبینی هستند به همین علت از الگوریتم‌هایی مانند GASS و MBO برای بهبود نتیجه‌ی سیستم‌ نهایی کمک می‌گیرند. یادگیری ماشین. یادگیری ماشین زیر مجموعه‌ای از هوش مصنوعی است و از آن برای تشخیص تراکنش‌های غیر عادی به طوری که بیش‌برازش (به انگلیسی: Overfitting) رخ ندهد، استفاده می‌شود. بیش‌برازش به معنای یادگیری بیش از حد به روی داده‌های آموزش است (به عنوان مثال یادگیری بر اساس ویژگی‌های کم اهمیت داده‌ها) به طوری که اگر تراکنش‌ جدیدی خارج
اهمیت داده‌ها) به طوری که اگر تراکنش‌ جدیدی خارج از داده‌های آموزشی به مدل داده شود نتیجه‌ی اشتباه خواهد داد و ممکن است تراکنش عادی را غیرعادی و تراکنش غیرعادی را عادی پیش‌بینی بکند. بردار‌های ماشین پشتیبانی یکی از روش‌های پر استفاده در یادگیری ماشین برای مسئله‌ی طبقه‌بندی (به انگلیسی: Classification) است و برای تشخیص تراکنش‌های غیرعادی استفاده می‌شود. بردار‌های ماشین پشتیبانی. در بردار‌های ماشین پشتیبانی هر یک از داده‌ها یک برچسب برای تعیین طبقه‌ی خود دارند که در طبقه‌بند دودویی، این طبقه‌ها به مثبت و
که در طبقه‌بند دودویی، این طبقه‌ها به مثبت و منفی تبدیل می شوند. در نظر بگیرید تراکنش‌های غیرعادی برچسب مثبت formula_2 و تراکنش‌های غیر عادی برچسب منفی formula_3 دارند. هدف پیدا کردن خطی است که از هر دو کلاس مثبت و منفی فاصله دارد. این خط مبنای تصمیم‌گیری برای تعیین برچسب داده‌ها خواهد بود.
شبکه باور عمیق نوعی شبکه عصبی مصنوعی است که از روش سازنده استفاده می‌کند. این شبکه عصبی مصنوعی شامل یک لایه از متغیرهای دیده شده و چندین لایه شامل متغیرهای دیده نشده (مخفی) است که بین عناصر دو لایه می‌تواند اتصالاتی وجود داشته باشد. شبکه باور عمیق یه عنوان راه‌حلی معرفی شد تا بتواند مشکلاتی را که قبل از آن در شبکه‌های عصبی وجود داشتند (مانند مدت زمان زیاد یادگیری، رسیدن به کمینه‌های محلی به دلیل انتخاب نامناسب متغیرها، و نیاز به داده زیاد برای یادگیری)، حل کند. شبکه باور عمیق شامل لایه‌های ورودی و خروجی به
شبکه باور عمیق شامل لایه‌های ورودی و خروجی به همراه چندین لایه مخفی در بین آن‌ها می‌باشد. در لایه‌های متوالی ماشین بولتزمن محدود شده به کار رفته‌است که باعث می‌شود شبکه به صورت لایه به لایه و با سرعت بالایی آموزش ببیند. ماشین بولتزمن محدود شده دارای دو لایه از نورون‌ها می‌باشد که لایه اول ورودی شامل متغیرهای دیده شده‌است و لایه دوم شامل متغیرهای مخفی است. نورون‌ها بین این دو لایه به یکدیگر متصل شده‌اند اما درون یک لایه هیچ اتصالی وجود ندارد. شبکه باور عمیق می‌تواند به صورت خودران ابعاد داده ورودی را کاهش