Era hijo de Fadrique Álvarez de Toledo y Enríquez, II duque de Alba de Tormes, y de Isabel de Zúñiga y Pimentel.