Джэферсан ажаніўся з Мартай Вайлес Скелтан, у гэтым шлюбе яны мелі шэсць дзяцей, але толькі дзве дачкі выжылі да дарослага жыцця. Ён валодаў некалькімі плантацыі і меў шмат рабоў. Большасць гісторыкаў лічаць, што пасля смерці жонкі ў 1782 годзе, ён меў адносіны са сваёй рабыняй Салі Хемінгс і быў бацькам, прынамсі, некаторых яе дзяцей. Джэферсан памёр у сваім доме ў Шарлотсвілі, штат Вірджынія, 4 лiпеня ў пяцідзясятую гадавіну прыняцця Дэкларацыі незалежнасці.