Jay vetäytyi mannermaakongressista vuonna 1776 eikä osallistunut Yhdysvaltain itsenäisyysjulistuksen allekirjoitukseen. Sen sijaan hän osallistui ahkerasti New Yorkin osavaltion hallituksen luomiseen. Hän osallistui 1777 New Yorkin perustuslain säätäneeseen konventtiin ja myöhemmin myös allekirjoitti osavaltion perustuslain. Perustuslain hyväksymisen jälkeen Jay nimitettiin New Yorkin korkeimman oikeuden ensimmäiseksi puheenjohtajaksi. Seuraavana vuonna hänet valittiin uudelleen toiseen mannermaakongressiin, jossa hänet valittiin kongressin presidentiksi.