Личните книжа на Джеферсън показват, че той е притежавал 187 души роби, някои от които наследени след смъртта на съпругата му. Джеферсън признава неморалността на робовладелчеството, но като нещо, което покварява робовладелеца. Много от робите му са използвани като обезпечение по натрупаните от него дългове. Двойствеността му по този въпрос може да бъде видяна в първия вариант на Декларацията за независимостта. В него той заклеймява Британската корона за политиката ѝ на подкрепа на вноса на роби в колониите, като казва, че по този начин: