Con Teresa de Guzmán, hija del I Duque de Medina Sidonia y IV Señora de Ayamonte, el señorío pasó definitivamente a una rama menor de la Casa de Medina Sidonia, conocida con el tiempo como Casa de Ayamonte.