Después de sus años más gloriosos, en 1664 empezó a caer en decadencia hasta el siglo XX, en un momento en que incluso las piedras del castillo fueron saqueadas por los constructores locales.