En 1802 se casó con Feliciana Zuviría, con la cual tuvo una hija que se llegaría a ser la famosa escritora Juana Manuela Gorriti, que se casaría con el futuro presidente de Bolivia, Manuel Isidoro Belzu.