I 1816 ble han valgt til representantenes hus fra det demokratisk-republikanske partiet, hvor han satt fra 1817 til 1819. I stedet for å søke renominasjon i 1818 ble Spencer kandidat til USAs senat, men tapte denne plassen til fordel for Rufus King. Fra 1820 til 1822 satt han i en komité som rapporterte ugunstig om forretningene til Second Bank of the United States, før han ble medlem av New York Assembly fra 1820 til 1822. Fra 1824 til 1828 var han medlem av New York Senate.