Jay non partecipò alla Convenzione di Filadelfia ma si unì ad Hamilton e Madison in un aggressivo dibattito in favore della creazione di un nuovo sistema di governo, più potente, centralizzato e bilanciato. Scrivendo con lo pseudonimo condiviso di "Publius" chiarirono questa visione della Convenzione in ottantacinque articoli per convincere la cittadinanza a ratificare la proposta Costituzione degli Stati Uniti. Jay scrisse il secondo, il terzo, il quarto, il cinquantesimo e il sessantaquattresimo articolo. Tranne l'ultimo, tutti gli altri articoli riguardavano il pericolo derivante dalle forze ed influenze straniere.