Merkittävimmän panoksensa Yhdysvaltain historiaan Sherman antoi vuoden 1787 perustuslaillisessa konventissa. Kun perustuslain valmistelu juuttui suurten ja pienien osavaltioiden väliseen erimielisyyteen siitä, tulisiko osavaltioilla olla kongressissa yhtä suuri edustus vai väkilukujen mukainen painotus, hän ehdotti kompromissia, jossa kaksikamarinen kongressi perustuisi osin kumpaankin järjestelmään. Tämä ”suurena kompromissina” tai Connecticutin kompromissina tunnettu ratkaisu mahdollisti jumiutuneiden neuvottelujen viemisen ratkaisuun ja siten perustuslain säätämisen. Sherman myös puolusti perustuslain ratifiointia Connecticutissa.