新的、更有权的、中央的、但依然平衡的政府。他们一起写了《联邦党人文集》，这个文集中共有85篇说服公民接受美国宪法的文章。杰伊写了其中五篇。
首席大法官.1789年乔治·华盛顿委任杰伊为最高法院首席法官。杰伊和其他大法官在奇泽姆诉乔治亚州案中判决各州不享有主权豁免，州政府必须服从联邦政府。对这个决定不满的人后来推动美国宪法第第十一条修正案推翻联邦最高法院的判决，防止某州的公民在联邦法院起诉另一个州。1794年杰伊作为特使前往英国来商议避免战争的新条约。这个条约后来被称为杰伊条约。