Па здушэньні нацыянальна-вызвольнага паўстаньня ў 1864 годзе ўлады Расейскай імпэрыі зачынілі касьцёл. Пазьней помнік паступова прыходзіў у заняпад. У 1906 годзе касьцёл вярнулі каталікам.