Han var sønn av trykkeren William Bradford, og ble født i Philadelphia. Han startet sin utdanning ved Academy of Philadelphia, og studerte deretter ved Princeton University, hvor han gikk ut i 1772. Ved Princeton University ble han kjent med en yngre student, James Madison, som han utviklet et livslangt vennskap med. Da han vendte tilbake til Philadelphia leste han jus hos Edward Shippen. Hans framgang skulle imidlertid bli forsinket av den amerikanske uavhengighetskrigen, hvor han vervet seg spom frivillig som menig i 1776.