Con Teresa de Guzmán, hija del I Duque de Medina-Sidonia y IV Señora de Ayamonte, el señorío pasó definitivamente a una rama menor de la Casa de Medina-Sidonia, conocida con el tiempo como Casa de Ayamonte.