El edificio entró en decadencia cuando, en el último tercio del siglo XV, esta poderosa familia impulsó la construcción de un nuevo castillo en sus inmediaciones, que sirviera de residencia palaciega.