Se casó en 1480 con Isabel de Zúñiga y Pimentel (1470-1520), condesa de Sevilla, hija de Álvaro de Zúñiga y Guzmán, I duque de Béjar, y su segunda esposa Leonor Pimentel y Zúñiga, de cuyo matrimonio nacieron cinco hijos, de los cuales García, el primogénito llamado a sucederle en la línea dinástica, premurió a su padre y los títulos y estados fueron heredados por Fernando Álvarez de Toledo y Pimentel, III duque de Alba, nieto de Fadrique.