至1786年间出任新罕布什尔州检察官，并参与该州的宪法制订。他在1785年参选新罕布什尔州州长落败（该职位当时仍称「总统」），但随即获选为新罕布什尔州下议院议长。沙利文随后在1786年的州长选举获胜，促使新罕布什尔州支持美国制宪会议通过联邦主义倾向的《美国宪法》。虽然沙利文在会议中途的1788年州长选举连任失败，但他仍参与了后来的制宪及修正案事宜。1789年，沙利文在州长选举再次获胜，成为第五任新罕布什尔州州长，但他的健康已经开始恶化，故此没有在1790年寻求连任。华盛顿就任美国总统后在1789年任命沙