તેના પિતા, રોબર્ટ, જેમ્સ ફોર્ટન (1766-1842) ના પુત્ર હતા, તે એક ઉદ્યોગપતિ અને એન્ટિસ્લેવરી કાર્યકર હતા, જે ફિલાડેલ્ફિયાના મફત કાળા સમુદાયમાં આગેવાન હતા, અને તેમની પત્ની, જેને ચાર્લોટ નામ આપવામાં આવ્યું હતું, તેને ગણિતના રેકોર્ડ તરીકે ઓળખવામાં આવે છે "મુલ્તટો.