Etter sin periode som utenriksminister trakk Frelinghuysen seg tilbake fra det offentlige og pensjonerte seg. Han døde den 20. mai 1885 i Newark i New Jersey, tre måneder etter at han trakk seg tilbake.