Po licznych zamknięciach świątyń katolickich przez władze carskie, w 1910 r. (już po ukazie tolerancyjnym z 1905 r.) odnowiono duszpasterstwo w pozostałych kaplicach na terenie miejscowości: Prosiłkowicze, Czerepy (d. filia), Zaucie, Użmiony, Kotowicze, Rużmonty. Kościół nie ucierpiał podczas I wojny światowej. W dwudziestoleciu międzywojennym parafia należała do dekanatu głębockiego w archidiecezji wileńskiej. W 1938 r. kościół ponownie przejęli franciszkanie, ale rok później, po agresji Armii Czerwonej na Polskę, ich praca duszpasterska została przerwana, a ks. Walerian Michno aresztowany przez NKWD i wywieziony. Z początkiem lipca 1941 r., kiedy wojska niemieckie doszły nad Dźwinę i przechodził tędy front, spłonęła plebania, dzwonnica i dach kościoła. Po zakończeniu II wojny światowej katolicy mieszkający w mieście chcieli odbudować świątynię, ale nie pozwoliły na to władze komunistyczne. W 1958 r. żołnierze Armii Czerwonej wysadzili kościół w powietrze razem z grobami, które znajdowały się w podziemiach. Według miejscowych uczyniono tak, aby nie drażnić wodza rewolucji Włodzimierza Lenina, którego pomnik znajdował się niedaleko kościoła. Ocalały jedynie trzy ściany budynku, wschodnia, frontowa ściana została zburzona. W następnych latach w kościele znajdowało się miejskie wysypisko śmieci i strzelnica milicji.