Era hijo de García Álvarez de Toledo y Carrillo de Toledo, I duque de Alba de Tormes, y de María Enríquez de Quiñones.