A partir del siglo XVIII comenzó a deteriorarse el castillo, que había quedado en manos de un alcaide, y el lugar de Los Campillos quedó despoblado.