Tras este conflicto, contrajo matrimonio con Julia Boggs Dent en 1848, unión de la que nacieron cuatro hijos.