En 1840, estando en una de sus escuelas, llamada Locust Grove School en Southold (Nueva York), se dice que fue víctima de una turba luego de que el pastor Ralph Smith de la Iglesia Presbiteriana lo acusara de cometer sodomía con alguno de sus estudiantes.