В 1783 году вместе с Ричардом Лоу он занимается пересмотром законов Коннектикута. В 1787 году, после окончания войны, Шерман вошёл в конвент по выработке конституции от штата Коннектикут (Филадельфийский конвент). Шерман предложил так называемый «Коннектикутский компромисс», призванный обеспечить справедливое представительство штатов в законодательных органах. По его идее, в Палате представителей штаты должны были быть представлены пропорционально населению, а в Сенат должно было входить по два представителя от каждого штата.