1790年，他和被任命，对混乱又陈旧的康涅狄格州的法令进行大规模的修改工作，并最终取得了巨大成功。1784年，谢尔曼被选为纽黑文市市长，担任此职位直至逝世。他成为唯一同时签署美国四项最重要法案文件的建国元勋。这四份文件分别是：《》、《独立宣言》、《邦联条例》及《美国宪法》。而缺席签署《大陆盟约》的罗伯特·莫里斯，是同时签署另外三份重大法案文件的除谢尔曼外的唯一一人。
逝世及墓址.在被诊断为伤寒症的两个月后，1793年7月23日，谢尔曼于睡梦中死去。费城的《美国公报》在1793年