Fue amigo de una actriz neoyorquina llamada Ellen Grey en la primavera de 1862, pero no se sabe con precisión si fue también algo de carácter sexual.