Til tross for at han stod for forbudet mot internasjonal slavehandel, eide Jefferson om lag 600 svarte slaver gjennom sitt voksne liv og hadde minst seks barn med en av sine slaver, Sally Hemings, som var halvsøster til hans kone, Martha.