中途的1788年州长选举连任失败，但他仍参与了后来的制宪及修正案事宜。1789年，沙利文在州长选举再次获胜，成为第五任新罕布什尔州州长，但他的健康已经开始恶化，故此没有在1790年寻求连任。华盛顿就任美国总统后在1789年任命沙利文为新罕布什尔州美国联邦法官，但沙利文在1792年后便因生病而未再上庭。1795年1月23日沙利文在家乡病逝。