Han tjenestegjorde som utenriksminister ut hele perioden til president Pierce, og gikk av sammen med resten av kabinettet i begynnelsen av mars 1857. Marcy døde bare noen måneder senere den 4. juli 1857 i Ballston Spa i New York, i en alder av 70 år. Mount Marcy i Adirondack-fjella ble oppkalt etter han.