1760至1761年间，代表新米尔福镇出任康涅狄格州众议院议员。1766年，他被选入康涅狄格州议会的参议院中任职，直至1785年。1762年，谢尔曼被任命为地方执法官，1765年出任民诉法院法官，1766年至1789年就任康涅狄格高级法院法官。在美国独立战争开始之初，他还曾被任命为康涅狄格军队执事官，这份经历在他被1774年选入大陆会议中发挥了重要作用。他还被任命为耶鲁大学的财务官，并被授予荣誉文学硕士学位。他曾担任宗教学教授多年，与当时最着名的几位神学家保持着常年的通信往来。