Su hermano mayor fue Francisco de Valverde y Álvarez de Toledo, que sirvió en las guerras de Nápoles a las órdenes de Gonzalo Fernández de Córdoba «el Gran Capitán», y posteriormente acompañó a Francisco Pizarro en la conquista del Perú, quedando allí establecido dando origen a una de las familias más importantes e influyentes en la historia de Perú.