Al morir su padre en 1661, viajó a Lima siendo un niño, para vivir con su tío materno Tomás Berjón de Caviedes, fue un gobernador de Huancavelica.