તેમની માતા, લ્યુસી મરે, એક ભૂતપૂર્વ ગુલામ અને એક વાહિયાત સ્ત્રી હતી, ચાર થી નવ બાળકોની માતા (સ્રોતો, તેમના જીવનકાળ દરમિયાન માર્ગારેટ મુરે વોશિંગ્ટન દ્વારા મંજૂર થયેલા લોકો પણ અલગ અલગ નંબર ધરાવે છે).