Posteriormente, Juan II de Castilla donó Vejer y Barbate a Alonso Pérez de Guzmán, primer duque de Medina-Sidonia, casa a la que se le concedió también el señorío de las almadrabas de la comarca.