杰伊赢得了1802年的州长选举，他还是辞职了。他退出政界回到他在纽约州威斯特彻斯特郡的庄园上。今天他的故居和部分他的庄园是一个博物馆。1829年5月15日杰伊逝世于他的庄园上，他被葬在他儿子的庄园上，此地今天也是一个博物馆。纽约州有一个小城、印第安纳州有一个郡以杰伊命名。纽约市立大学的刑事司法学院也以杰伊命名。