Etter oppløsningen av 1833 hadde Whigregjeringen vært langsomt døende, og ble ytterligere svekket av Althorp ble forfremmet til Overhuset etter farens død i 1834. Den nye Lord Spencer forlot bekymringene av offentlig tjeneste og returnerte til livet på landet med ulegert glede. Heretter ble landbruk, ikke politikk, var hans fremste interesse. Han var den første presidenten i Royal Agricultural Society (grunnlagt 1838), og en betydelig storfeoppdretter. Han ble ofte oppfordret av sine politiske venner til å komme til deres hjelp, dog sjelden avbrøt han de fredelig gledene som han elsket. Han døde uten barn på Wiseton den 1. oktober 1845, og ble etterfulgt av sin bror Frederick (d. 1857).