Con su esposa Frémont llegaría a tener cinco hijos, tres niños y dos niñas; de ellos dos, una niña y un niño, morirían siendo apenas bebes, y los tres restantes (dos varones y una niña) vivirían lo suficiente para sobrevivir a sus padres.