Palasset ble senere overlatt til forskjellige adelsmenn. I begynnelsen av 1600-tallet ble det anlagt et hageanlegg. Palasset ble sterkt skadet i en storm i 1703.