Fisk hadde giftet seg med Lucy Moore i 1854. Han var da 19 år, hun 15 år. Lucy var et foreldreløst barn oppvokst hos en onkel fra Springfield i Massachusetts. Hun så mellom fingrene med Fisks mange affærer og bodde sammen med en venninne, noe som kunne tolkes i retning av at hun var lesbisk. De forble nærtstående hverandre, og Fisk besøkte henne i Boston med noen ukers mellomrom og tilbrakte somre og ferier med henne.