Clayton ble født inn i en innflytelsesrik kvekerfamilie i Dagsboro i Delaware, hvor han blant annet ble nevø av guvernøren Joshua Clayton og fetter av politikeren Thomas Clayton. Han studerte siden ved Yale University, hvor han ble uteksaminert i 1815. Etter å ha studert rettsvitenskap ved Litchfield Law School innledet han i 1819 sin karriere som praktiserende advokat i Dover i Delaware. I 1822 giftet han seg med Sally Ann Fisher, som var datter av tidligere guvernør George Truitt, og fikk to sønner sammen med henne. Sally Ann døde for øvrig like etter den siste fødselen, og overlot dermed foreldreansvaret til Clayton alene.