入康涅狄格州议会的参议院中任职，直至1785年。1762年，谢尔曼被任命为地方执法官，1765年出任民诉法院法官，1766年至1789年就任康涅狄格高级法院法官。在美国独立战争开始之初，他还曾被任命为康涅狄格军队执事官，这份经历在他被1774年选入大陆会议中发挥了重要作用。他还被任命为耶鲁大学的财务官，并被授予荣誉文学硕士学位。他曾担任宗教学教授多年，与当时最着名的几位神学家保持着常年的通信往来。
制宪会议.在1787年制宪会议期间，被召集进行《邦联条例》的修订工作的谢尔曼和奥