En 1814 contrajo matrimonio con Ruth Gibbs, una de las mujeres más ricas del país y pionera del movimiento feminista en Estados Unidos.