При реконструкции в конце XVIII века дворец здание обрело черты классицизма. Во время восстания 1794 года здесь скрывался противник Конституции 3 мая и сторонник России последний гетман Великого княжества Литовского Шимон Мартин Коссаковский. Повстанцы нашли Коссаковского на чердаке и на следующий день повесили на Ратушной площади.