除此之外，还设立参议院（上院）。在下院，每一个州的议员按照人口进行分配。而上院则采取无论每州大小，均分配两名参议员。此外，他和詹姆斯威尔逊共同提议“五分之三妥协议案”（即每个奴隶将按五分之三个自由人计算）。该提案对之前弗吉尼亚州代表提出的弗吉尼亚方案和新泽西州代表提出的新泽西方案进行妥协调解，并在之后令多数代表达成了共识，是最终宪法得以成功制订所做出的最重要的一个妥协。值得一提的是，谢尔曼同样由于反对纸币的个人立场及编写美国宪法第一条第十款而被人纪念。
晚年.在签署了美国宪法后