John Jay satt i embedet frem til 4. mars 1789, da USAs grunnlov trådte i kraft.