После войны (1654—1667 гг.), костёл с коллегиумом пребывали в упадке пока Богуслав Унеховский, писарь земский Новогрудский и маршалок Литовского трибунала с женой Барбарой из рода Дунинов взялись за финансирование постройки нового каменного костёла. Сначала они дали деньги на кирпичи и заготовление материалов, потом поспособствовали закладке углового камня. Освятил закладку углового камня в костёле Виленский епископ Константин Бжостовский 26 июля 1687 года, костёл был назван храмом Непорочного Зачатия Пресвятой Девы Марии и Св. Барбары. В 1691 году установили две ризницы, далее перенесли из старого костёла икону Богородицы и гробы иезуитов, после чего старый костёл разобрали, так как он мешал строительству нового. В 1697 году законченны стены обеих ризниц. Левая стена костёла была достроена до крыши, в то время как правая была закончена только в 1699 году. В 1700 году умер спонсор проекта Богуслав Унеховский.