Świątynię na miejscu drewnianego kościoła wybudowali w 1773 r. franciszkanie konwentualni w stylu barokowym. Murowany budynek ma 35 m długości, 16 m szerokości oraz ściany o grubości 1,5 m. W 1818 r. wybudowano również murowany klasztor. Po upadku powstania listopadowego, w 1831 r. (wg innych źródeł w 1833 r.) kościół został zamknięty, a zakonnicy zmuszeni do opuszczenia miasta. Z powodu trudności w przebudowie świątyni na prawosławną, w 1839 r. przekazano ją katolickiej diecezji mińskiej. W 1851 r. została konsekrowana przez biskupa wileńskiego Wacława Żylińskiego. Kościół znacznie ucierpiał podczas pożaru w 1882 r., jednak w następnym roku został odbudowany dzięki ks. Piotrowi Walickiemu i przez niego poświęcony. Kościół nie ucierpiał podczas I wojny światowej. W 1938 r. kościół ponownie przejęli franciszkanie, ale rok później, po agresji Armii Czerwonej na Polskę, ich praca duszpasterska została przerwana, a ks. Walerian Michno aresztowany przez NKWD i wywieziony. Z początkiem lipca 1941 r., kiedy wojska niemieckie doszły nad Dźwinę i przechodził tędy front, spłonęła plebania, dzwonnica, dach kościoła oraz wyposażenie jego wnętrza. Niemcy zabrali dzwony, a ruiny dzwonnicy i klasztoru mieszkańcy rozebrali z przeznaczeniem na materiał budowlany. Kościół ucierpiał również podczas pożaru miasta w czerwcu 1944 r. w wyniku ostrzału przez Armię Czerwoną.