Während des Schwedeneinfalls im Jahr 1656 wurde der Palast zerstört und unter Bischof Andrzej Trzebicki wiederaufgebaut. Bereits von 1760 bis 1762 wurde er – vermutlich nach einem Entwurf von Giacomo Fontana – auf Bestellung von Bischof Kajetan Sołtyk grundlegend im spätbarocken Stil mit einem prächtigen Giebel umgebaut. Das Aussehen des Palastes nach dem Umbau ist auf einem 1775 entstandenen Bild von Bernardo Bellotto überliefert. Auch auf der Bordüre des Warschauer Stadtplans von Pierre Ricaud de Tirregaille von 1762 findet sich eine Abbildung der Frontansicht des Palastes nach dem Umbau.