Gregorio fue criado en la hacienda de Andalgalá, cuando su primo Juan José de La Madrid, hijo de ese matrimonio, contrajo matrimonio el 27 de diciembre de 1800 con Catalina Aráoz, hermana del después general Bernabé Aráoz.