સેલીની માતા બેટ્સી અથવા બેટીને કાળા ગુલામ સ્ત્રીની પુત્રી અને એક શ્વેત વહાણ કપ્તાન હોવાનું કહેવાય છે; બેટ્સીના બાળકોને તેના માલિક, જોહ્ન વાઈલ્સ દ્વારા જન્મ આપ્યો હતો, જે સેલીને જેફરસનની પત્નીની સાવકી બહેન બનાવે છે.