V roce 1682 se musel vzdálit od dvora kvůli příliš důvěrnému vztahu s princeznou Annou a ztratil některé své funkce, ale po nástupu Jakuba II. opět zaujal přední pozice a podporoval královu katolickou politiku. V letech 1685-1688 byl lordem nejvyšším komořím, obdržel také řadu čestných postů ve správě hrabství York, Northumberland, a Durham. Po slavné revoluci se sice podřídil nové vládě Viléma Oranžského, ale ztratil své vlivné postavení a byl i vyloučen z Tajné rady. Až v roce 1694 byl znovu jmenován členem Tajné rady a získal titul markýze z Normanby. K vysokým úřadům se dostal znovu až po nástupu královny Anny, což pramenilo z jejich blízkého vztahu v minulosti. V letech 1702-1705 byl lordem strážcem tajné pečeti a jako jeden z hlavních aktérů jednání o anglicko-skotské unii získal v roce 1703 titul vévody z Buckinghamu a Normanby. Kvůli sňatku s nemanželskou dcerou Jakuba II. musel v roce 1705 opět rezignovat na své postavení, ale v závěru vlády královny Anny jako stoupenec toryů znovu zastával vysoké funkce. Byl lordem nejvyšším hofmistrem (1710-1711) a prezidentem Tajné rady (1711-1714), mimoto získal post lorda místodržitele v hrabství Middlesex (1711-1714). Po smrti královny Anny byl členem regentské rady, ale po nástupu Jiřího I. musel jako přední tory odejít do ústraní.