તેમણે તેમના સમગ્ર જીવન દરમિયાન ગુલામો માલિકી છે એક તેમના ગુલામો, પોલ જેનિંગ્સ, એક કિશોર વયે જ્યારે વ્હાઈટ હાઉસમાં એક મેડિસનના નોકરોમાં રહેતો હતો.