Während des Einfalls der Schweden in Polen in der Mitte des 17. Jahrhunderts wurde der Palast zerstört. Nach Entwürfen von Józef Fontana wurde er in den Jahren 1666 bis 1673 im Auftrag von Primas Michał Prażmowski wiederaufgebaut. Eine Restaurierung und Erweiterung erfolgte auf Veranlassung von Primas Michał Radziejowski – vermutlich nach einem Entwurf von Tylman van Gameren – in den Jahren 1690/91.