Anteriormente y durante su estancia en Cuzco, Silvestre conoció al inca Garcilaso de la Vega y debieron de cambiar impresiones sobre la participación de Silvestre en la expedición de Hernando de Soto a La Florida.