На Варварских воротах при Петре I был помещён список Боголюбской иконы Божией Матери, впоследствии перед воротами была сооружена часовня Боголюбской иконы Божией Матери. С Варварскими воротами тесно связано начало Чумного бунта 1770—1771 годов. Во время эпидемии «моровой язвы» среди москвичей распространился слух, что Боголюбская икона Божией Матери исцелила многих людей во Владимире. Перед Варварскими воротами начали собираться толпы людей, икона была снята, рядом с ней совершались молебны, и каждый желающий мог приложиться к ней. Опасаясь распространения от этого болезни, московский архиепископ Амвросий велел прекратить молебны и убрать икону. Суеверная толпа не позволила это сделать; в гневе на архипастыря бросилась она в Кремль, в его резиденцию в Чудовом монастыре. Он, однако, успел удалиться в Донской монастырь, но и там был вскоре настигнут и убит. После этого толпа принялась громить карантинные заставы и дома знати. Властям пришлось применить силу, и в течение трёх дней бунт был подавлен.