Fadrique était, par sa famille, un proche des Rois catholiques : son père García Álvarez de Toledo (1er duc d'Albe) avait combattu aux côtés de la reine Isabelle au cours de la Guerre de Succession de Castille, et sa mère, María Enríquez de Quiñones y Cossines, était apparentée à Juana Enríquez y Fernandez de Cordoba, mère de Ferdinand II d'Aragon.