El palacio entró en decadencia en 1564.