После разрушений во время шведского потопа, дворец был восстановлен в 1668 году для епископа Анджея Тжебицкого. К середине XVIII века дворец находился в плачевном состоянии, в 1760—1762 годах полностью перестроен по инициативе епископа Каетана Солтыка, по видимому по проекту Якуба Фонтаны. Дворец приобрёл поздне—барокковые черты. Относиться к мало-распространённому в Варшаве типу уличного дворца — построенного по линии застройки улицы. После перестройки дворец имел один, но очень высокий этаж, в котором располагалась приёмная зала. Именно в этом состоянии был запечатлён Каналетто в картине изображающей улицу Мёдову, написанной в 1775 году.