Sherman kuului Connecticutin edustajana sekä ensimmäiseen että toiseen mannermaakongressiin koko niiden toiminnan ajan 1774–1781. Vuonna 1776 hän oli jäsenenä komiteassa, joka laati luonnoksen Yhdysvaltain itsenäisyysjulistukseksi. Hän auttoi myös konfederaatioartiklojen valmistelussa. Sherman oli vielä konfederaation kongressin jäsenenä 1783–1784, minkä jälkeen hänet valittiin New Havenin pormestariksi.