Después de varias ventas, la propiedad pasó a la marquesa de Mejorada y de la Braña, quien mandó construir, en el año 1697, las cuatro torres angulares que esquinan el cuerpo principal del castillo.