Su esposa se vio afectada por la tuberculosis, enfermedad de la que falleció el 9 de mayo de 1821, seguida por su hijo Juan Pablo, en diciembre de aquel año, siendo el primero de nueve de sus hijos que vio morir en vida.