En 1518 pasa el Señorío al Marqués de Tarifa, Señor de Alcalá de los Gazules.