С момента строительства Каменного моста по нему ежегодно проходили крестные ходы в Донской монастырь из Успенского собора в честь победы над ханом Казы-Гиреем. В 1696 году на Всехсвятской улице перед мостом возвели первые в Москве деревянные Триумфальные ворота для торжественной встречи Петра I и войска из Азовского похода. Ворота были украшены цветами, изображениями из античной истории и литературы, картинами на тему взятия Азова. Рядом с Триумфальной аркой поставили фигуры Геркулеса и Марса, на перилах лежали персидские ковры. Триумфальные ворота на мосту возводились также в 1774 году в честь победы Петра Румянцева-Задунайского под Кагулом и заключения Кючук-Кайнарджийского мира.