સેલીની માતા, બેટ્સી (અથવા બેટી), પોતે સફેદ વહાણના કપ્તાન અને કાળા ગુલામ સ્ત્રીની પુત્રી હતી, તેથી સેલી પાસે ફક્ત એક કાળા દાદા હતા.