Sa correspondance contient des arguments racistes selon nos critères actuels : selon Jefferson, les Afro-Américains étaient inférieurs aux Blancs. En 1791, Benjamin Banneker, un mathématicien et inventeur noir affranchi, envoya à Jefferson un exemplaire de son "Almanach", afin de le convaincre sur les capacités intellectuelles des Noirs. Jefferson a été choqué par la révolte des esclaves de Saint-Domingue en 1790-1791 : il suggéra de transporter les Noirs libres au Sierra Leone, en Afrique. À cette époque, il était convaincu que les Noirs ne pouvaient s’assimiler et constate que la question de l’esclavage menace l'unité du nouveau pays.