જેફર્સન વર્જિનિયામાં ઉછર્યા હતા અને તેમના પિતાના મિત્ર, વિલિયમ રેન્ડોલ્ફના અનાથ બાળકો સાથે ઊભા થયા હતા.