Войны с Россией, Швецией нанесли сильный урон замку, но богатые наследники за несколько десятилетий XVIII века обновили дворец. В 1784 году канцлер Великого княжества Литовского уже принимал в нём прибывшего на Гродненский сейм короля Станислава Августа Понятовского. Однако в 1786 году по иронии судьбы монументальный дворцовый ансамбль был переоборудован под суконную фабрику. Александр Сапега под влиянием факта раздела Речи Посполитой отдал дворец в аренду еврейскому предпринимателю Пинасу.