Sammen med James Madison, er han kalt «Father of the Bill of Rights». Han regnes som en av de "Founding Fathers" i USA. Selv om han var slaveeier selv, mente han at slaveri var motbydelig på grunn av en rekke årsaker. Han ønsket å forby videre import av slaver fra Afrika og hindre at slaveri spredde seg til flere amerikanske delstater.