Jay lähti politiikkaan samoihin aikoihin, kun Yhdysvaltojen suhteet emämaa Britanniaan alkoivat heikentyä, ja hän osallistui useisiin Yhdysvaltain itsenäisyyttä ajaneisiin poliittisiin tapaamisiin. Hänet valittiin syyskuussa 1774 kokoontuneeseen ensimmäiseen mannermaakongressiin, jossa hän oli 28-vuotiaana toiseksi nuorin edustaja. Jay oli mukana kirjoittamassa "Address to the People of Great Britain" () -nimistä adressia, jossa kritisoitiin Yhdysvaltain silloisen emämaan Britannian hallintoa. Adressia on pidetty yhtenä syynä sille, miksei Jay yrityksistään huolimatta saanut korjattua Iso-Britannian ja Yhdysvaltain välejä. Vaikka Jay halusi tehdä selvän eron Iso-Britannian hallintoa kannattaneisiin lojalisteihin, hän vastusti radikaaleja toimenpiteitä itsenäisyyden saavuttamiseksi. Niinpä Jay ehdotti toisessa mannermaakongressissa Olive Branch Petition (”oliivipuun oksa -anomus”) -nimistä vetoomusta, jonka tarkoituksena oli estää Yhdysvaltain ja Britannian välisen sodan syttyminen.