Fadrique Álvarez de Toledo fue el segundo hijo de Fernando Álvarez de Toledo y Pimentel, III duque de Alba de Tormes, llamado el Gran Duque de Alba, y de María Enríquez de Toledo y Guzmán o María Enríquez Álvarez de Toledo; heredó el ducado de Alba de Tormes a la muerte de su padre.