Spencer var sønn av Ambrose Spencer, som var medlem av representantenes hus. Han ble uteksaminert ved Union College i 1806 og arbeidet som sekretær til guvernør Daniel D. Tompkins i 1807, før han fortsatte med å studere rettsvitenskap i Albany til han ble godkjent advokat i 1809. Han innledet deretter sin karriere som advokat i Canandaigua i New York. Under den britisk-amerikanske krigen i 1812 tjenestegjorde han som advokat i Judge Advocate General's Corps, før han i 1814 ble utnevnt til av Canandaigua.