Fue soltero hasta sus 46 años (marzo de 1845) cuando se casó con Julia Ann Haight, la viuda de William Van Orden y madre de cinco hijos.