Vuonna 1787 Jay kirjoitti salanimellä "Publius" kolme niin kutsutuista "Federalist Papers" -artikkeleista, joissa Jay, Alexander Hamilton ja James Madison perustelivat Yhdysvaltain perustuslain luomisen tärkeyttä. Perustuslaki hyväksyttiin myöhemmin samana vuonna. Vaikka Jay ei osallistunut perustuslailliseen konventtiin Philadelphiassa, hänellä oli merkittävä rooli sen suunnittelussa ja ratifioimiessa. Vuonna 1789 presidentti George Washington nimitti Jayn Yhdysvaltain korkeimman oikeuden ensimmäiseksi puheenjohtajaksi. Vuonna 1794 Washington lähetti Jayn Lontooseen neuvottelemaan brittijoukkojen vetäytymisestä ja solmimaan paremmat kauppasuhteet Britannian kanssa. Jay onnistui ensimmäisessä tavoitteessaan, mutta kauppasopimusta kritisoitiin, ja Washington joutui panemaan arvovaltansa peliin, ennen kuin kongressi ratifioi sopimuksen.