Zelf bezocht Jay niet de Constitutional Convention, maar hij schreef samen met Hamilton en Madison onder het pseudoniem "Publius" mee aan de Federalist Papers. Dit is een serie van 85 artikelen die pleitte voor opgestelde grondwet. Later zouden de Papers een van de belangrijkste bronnen worden die de interpretatie en intenties van de Amerikaanse Grondwet uitlegden. Zelf schreef Jay vijf artikelen.