Som en av få nordstatsfolk i en administrasjon dominert av sørlige interesser fant Spencer det vanskelig å få igjennom sine syn, noe som førte til at han avgikk fra embetet i mai 1844. Spencer returnerte til Albany hvor han døde den 18. mai 1855.