Se casó con Abby Aldrich y tuvieron seis hijos, Abby, John D.