アメリカ合衆国最高裁判所長官
財務長官退任後、スペンサーはアメリカ合衆国最高裁判所長官に推薦されたが、上院によりスペンサーの就任は拒否された。その後1855年、スペンサーはニューヨーク州オールバニで死去した。スペンサーの遺体は同市内のオールバニ田園墓地に埋葬された。