Nacido en la villa de Oropesa (actual provincia de Toledo) fue hijo de Francisco de Valverde y Pizarro, noble natural de Trujillo y pariente de Francisco Pizarro, y de Ana Álvarez de Toledo, hermana de Fernando Álvarez de Toledo y Zúñiga I conde de Oropesa, al ser hija de Fernando Álvarez de Toledo y Herrera, IV señor de Oropesa, y Leonor de Zuñiga y Lara, quien era hija de Alvaro de Zuñiga y Guzman 1er duque de Bejar y Arevalo y Leonor Manrique de Lara y Castilla, y ella es nieta de Fadrique, duque de Benavente, (hijo del rey Enrique II de Castilla), y Leonor de Castilla, estos son nietos del rey Alfonso XI de Castilla.