Hijo del escritor Jacob Abbott (1803–1879), dejó de ejercer leyes paara estudiar teología y fue ordenado en 1860.