Se casó dos veces, primero con Lucretia Hunt en 1850 y después con Carrie D.