Urodził się 12 grudnia 1786 w Southbridge. Uczęszczał do publicznych szkół oraz akademii w Leicesterze i Woodstocku. Ukończył studia na Uniwersytecie Browna, następnie został nauczycielem, studiował nauki prawne i został przyjęty do palestry. Prowadził prywatną praktykę prawniczą w Troy i brał udział w wojnie z Wielką Brytanią. Pracował m.in. jako stanowy rewident księgowy, a także sędzia Sądu Najwyższego Nowego Jorku. W 1831 roku został wybrany do Senatu z ramienia jacksonistów, jednakże po dwóch latach zrezygnował z mandatu. Został wówczas wybrany gubernatorem Nowego Jorku i pełnił tę funkcję przez sześc lat. W 1845 roku James Polk zaproponował mu objęcie stanowiska sekretarza wojny. Po zakończeniu kadencji prezydenckiej, Marcy powrócił do praktykowania prawa. W 1853 roku Franklin Pierce złożył mu ofertę posady sekretarza stanu. Funkcję tę pełnił do końca kadencji. Zmarł 4 lipca 1857 roku na terenie hrabstwa Saratoga.