I oktober 1841 ble Spencer utnevnt til krigsminister av president John Tyler, et embete han hadde til mars 1843. Fire dager etter at han forlot krigsministerembetet ble han utnevnt til finansminister av John Tyler etter at forgjengeren, Walter Forward, hadde trukket seg. Som finansminister fikk Spencer kom stadig i politiske konflikter med kongressen, noe som gjorde at president Tyler nominerte han til meddommer i De forente staters høyesterett i to omganger. Den første gangen var i januar 1844 for å erstatte Smith Thompson, mens den andre gangen var i juni for å erstatte Henry Baldwin, men begge disse nomineringene ble nedstemt av senatet.