多臂赌博机 在概率论和机器学习中多臂赌博机问题英語multiarmed bandit problem有时称为K或N臂赌博机问题英語Kor Narmed bandit problem是一个必须在竞争替代之间分配一组固定的有限资源的问题当每个选择的属性在分配时仅部分已知时以最大化其预期收益的方式进行选择并且随着时间的推移或通过向该选择分配资源可能会更好地被理解这是一个经典的强化学习问题体现了探索利用权衡困境这个名字来源于想象一个赌徒坐在一排赌博机或称角子机老虎机前有时被称为单臂賭博機他必须决定玩哪台机器每台机器玩多少次以及玩的顺序并且是否继续使用当前机器或尝试不同的机器多臂赌博机问题也属于随机调度的广义范畴 在该问题中每台机器根据该机器特定的概率分布提供随机奖励该奖励是先验未知的赌徒的目标是最大化通过一系列杠杆拉动所获得的奖励总和赌徒在每次试验中面临的关键权衡是在利用具有最高预期收益的机器和探索以获得有关其他机器的预期收益的更多信息之间机器学习也面临着探索和利用之间的权衡在实践中多臂赌博机已用于对诸如管理大型组织如科学基金会或制药公司中的研究项目等问题进行建模在问题的早期版本中赌徒一开始对机器一无所知 赫伯特罗宾斯于年认识到该问题的重要性在实验序贯设计的某些方面中构建了收敛种群选择策略约翰C吉廷斯首次发表的吉廷斯指数定理给出了最大化预期折扣奖励的最优策略