Nel 1663 entrò in una commissione che regolava gli appelli al re, con un salario di 200 sterline, e l'anno seguente fece parte del comitato per la legge sulle società segrete; venne anche considerato come Master of the Horse della regina, ma su insistenza del duca di York gli venne preferito Ralph Montagu. Nel 1669 figura tra i componenti della Corte e l'anno successivo formò una società per impiantare coltivazioni di zucchero alle Barbados. Negli anni seguenti svolse incarichi minori, soprattutto di livello locale; nel corso degli anni '70 e '80 del XVII secolo si accese il dibattito sul cosiddetto Exclusion Bill, cioè la legge che avrebbe dovuto impedire al fratello cattolico di Carlo II, Giacomo, duca di York, di ereditare il trono. Robert Spencer si schierò con il partito di Corte, contrario alla legge, attirandosi così l'astio dell'ex cognato lord Ashley, ora conte di Shaftesbury, capo del partito favorevole alla legge, che lo chiamò “doppiamente vile”, nonostante Spencer fosse andato a trovarlo più volte nella Torre di Londra dove era imprigionato. Dopo il 1674 abbandonò la commissione sulle tasse e nel 1679 non si ricandidò più ai Comuni, lo stesso anno tentò di farsi eleggere cancelliere dell'Università di Oxford, ma venne sconfitto dal duca di Ormonde. Quando il duca di York divenne re Giacomo II, per ricompensarlo dell'appoggio offertogli, lo elevò al rango di visconte Teviot, nella Parìa di Scozia, nel 1685, e per i due anni seguenti lord Teviot sedette nella commissione per l'esecuzione nell'ufficio del Sigillo Privato, posto che abbandonò dopo la Gloriosa Rivoluzione, confermando la sua fedeltà agli Stuart.