Budynek został częściowo zniszczony w 1656 podczas najazdu moskiewskiego. Zespół kościoła i klasztoru wyremontowano i rozbudowano w latach 1679–1686. Prace częściowo sfinansował wojewoda wileński Michał Pac, który po uzyskaniu zgody na budowę na gruntach klasztoru drewnianego pałacu zobowiązał się zbudować domek loretański przy kościele. W 1680 roku zbudowano nowy ołtarz główny. W 1685 roku powstała obecnie istniejąca parawanowa fasada. Po 1753 roku dokonano przebudowy dwóch górnych pięter wieży w stylu wileńskiego baroku. W latach 1780–1790 wybudowano przed fasadą czworoboczną kruchtę. W 1794 roku konwent grodzieński przekazał na potrzeby obrony Rzeczypospolitej 26,4 kg srebra.