Su padre, John Ingersoll, era un predicador proabolicionista congregacionalista, que a causa de sus radicales puntos de vista su familia fue forzada a mudarse frecuentemente.