Su padre, Andrews Norton (1786 - 1853) fue teólogo unitariano, y profesor de literatura sagrada en la Universidad de Harvard.