Mantuvo una relación romántica con Mary Rozet Smith, que describió como matrimonio.