Durante los siglos XV y XVI, Vejer estuvo dominada por los Guzmanes y, ya en la Edad Moderna, el pueblo se enfrentó, con Juan Relinque a la cabeza, a los Duques de Medina Sidonia por el control de las tierras comunales, las denominadas "Hazas de la Suerte".