Alla Battaglia di Dettingen (1743) comandò una brigata con successo, ma subito dopo rassegnò le dimissioni in polemica con gli Hannover, secondo Walpole per rientrare nei favori della nonna. Tuttavia quando nel 1745 scoppiò la rivolta giacobita dichiarò il proprio appoggio al governo. Nel 1749 infine entrò nel governo come Lord Steward e nel Consiglio privato. Nel 1755 divenne anche Lord del sigillo privato e nello stesso periodo si allontanò da John Carteret per avvicinarsi a Henry Fox, tentando anche di riconciliare quest'ultimo con il suo storico rivale William Pitt il Vecchio, entrambi a capo delle due principali correnti del partito Whig.