בשנות נשיאותו היה שקט בנוגע לנושא העבדות, כיוון שהוויכוח בקונגרס פילג בין הצפון והדרום. ההתקפות על בעלי העבדים הלבנים במהלך מרד העבדים בהאיטי איששו את חששותיו בנוגע למלחמת גזעים, והוא לא קידם את שחרור העבדים. לאחר ניסיונות להביא לשחרור העבדים, כתב ב-1805 מכתב שבו טען שוויתר על רעיון ביטול העבדות לעת עתה.