James asistió a la escuela de Sophia Dana, que se casaría con el trascendentalista George Ripley, y, más tarde estudió en otra escuela particularmente dura, donde tuvo como condiscípulo a Richard Henry Dana.