તે વ્યાપકપણે અફવા આવી હતી કે જેફરસન સેલી હેમિંગ્સ સાથે લાંબા સમયથી પ્રણય ધરાવે છે, જે ગુલામ જેફરસનની સ્વૈચ્છિક પત્નીની અડધી બહેન હતી.