К Успенскому собору были приписаны располагавшаяся в здании тюрьмы Никифоровская церковь и часовня на городской Базарной площади (теперь — Советской площади), построенная рыльским мещанским обществом в 1892 году в память избавления от опасности царской семьи при крушении Императорского поезда года. Ежегодно в этой часовне 16 (29) октября совершалось всенощное бдение, а 17 (30) октября проводился крестный ход от Успенского собора до часовни, в которой затем служили молебен.