Jay sinh ra trong một gia đình thương gia giàu có và có họ hàng với các quan chức chính phủ gốc từ Pháp và Hà Lan tại New York. Ông trở thành một luật sư và gia nhập Ủy ban Liên lạc New York - một tổ chức sự chống lại các chính sách của Anh trong khoảng thời gian trước cuộc Chiến tranh Cách mạng Mỹ. Jay được đề cử để tham dự Đệ Nhị Quốc hội Lục địa và được nhận chức Chủ tịch Quốc hội Lục địa. Từ năm 1779 đến năm 1782, Jay trở thành Đại sứ Hoa Kỳ tại Tây Ban Nha, và ông đã cố gắng thuyết phục quốc gia này viện trợ cho đất nước Hoa Kỳ còn non trẻ sau cuộc cách mạng. Đồng thời, Jay còn là người đứng ra đàm phán Hiệp định Paris nhằm khiến Anh công nhận Hoa Kỳ là một quốc gia độc lập. Sau cuộc cách mạng, Jay đảm nhận chức Quốc vụ khanh Hoa Kỳ (tiền thân chức Bộ trưởng Ngoại giao) giúp giải quyết các vấn đề ngoại giao của chính phủ sinh ra trong thời gian Các Điều khoản Hợp Bang còn hiện hành. Đồng thời, ông còn là người đầu tiên đảm nhận Quyền Bộ trưởng Ngoại giao khi chức vụ này mới được thành lập.