Vargas había contraído primeras nupcias en 1799 con María Ignacia París Ricaurte, con quien tuvo por hijos a las que serían luego primeras damas de la nación, Teresa y Dolores Vargas París quien se caso con Rafael Urdaneta, y a José Ignacio Vargas París, reconocido militar.