Durante su permanencia en Fort Monroe, se casa con Mary Anna Custis Lee (1808–1873), pariente de Martha Washington, con quien tiene siete hijos: tres niños y cuatro niñas: George Washington Custis, William H.