Era hijo de García Álvarez de Toledo y Zúñiga, heredero de Fadrique Álvarez de Toledo y Enríquez de Quiñones, II duque de Alba de Tormes, y de Beatriz Pimentel y Pacheco, hija de Rodrigo Alonso Pimentel, IV conde-I duque de Benavente y de su esposa, María Pacheco.