Su padre, Juan Manuel de Lavardén, era un abogado nacido en Charcas, jurisconsulto asesor de los virreyes Pedro de Ceballos y Juan José de Vértiz, además de ser uno de los responsables de la expulsión de los jesuitas.