盛顿和亚历山大·汉密尔顿。这些影响力，以及父亲的作为及他此前的领导组织经验，驱使着这位年轻的老兵返回政治生涯。1786年，新罕布什尔立法机关任命他担任大陆会议的代表，同年他被选为安纳波利斯会议的代表。1786年，马萨诸塞州西部的骚乱，使得他计划改变邦联条例的现状，并在次年担任制宪会议代表。尽管他和另一个代表约翰·兰顿抵达费城时，制宪会议已经召开，他们仍然立即参加到辩论中，并帮助各方妥协形成最终的美国宪法。1789年，美国国会成立，他担任了四期的参议院议员。与此同时，他的兄弟约翰·吉尔曼已经担任新罕布