В середине XVI века к зданию была пристроена колокольня. Во время Русско-польская войны, в 1655 году, храм был поврежден и восстановлен только к 1680 году. В 1750 году виленский епископ Михал Ян Зенкевич позволил обосноваться при костёл Святой Гертруде рохитам — монахам Братства Святого Роха. Монахи к костёлу пристроили деревянный монастырь, мужской и женский госпитали. В 1782 году начались годы забвения, когда в монастыре жило только 5 монахов Братства Святого Роха. В 1785—1794 годах монахи вместо старых деревянных алтарей соорудили три новых, амвон, хоры на двух колоннах, украсили храм гипсовыми статуями и лепниной.