Spolu s jinými oponenty premiéra Walpola byl z Irska odvolán v červnu 1730 a dalších dvanáct let strávil v opozici (na postu irského místokrále jej nahradil vévoda z Dorsetu). Až po Walpolově pádu se znovu zařadil mezi přední osobnosti britské domácí a zahraniční politiky v době probíhající války o rakouské dědictví. Zatímco Walpole na počátku války omezil podporu Marie Terezie na finanční dotace, Carteret jako nově jmenovaný ministr zahraničí ("Secretary of State for the Northern Department") (1742–1744) prosadil přímou britskou vojenskou účast a Jiřího II. doprovázel v bitvě u Dettingenu (1743). Po matce zdědil titul hrabat Granville (1744) a v roce 1749 obdržel Podvazkový řád. Mezitím v roce 1746 učinil Jiří II. pokus jmenovat jej předsedou vlády, což ale ztroskotalo na nedostatečné podpoře v parlamentu a silné pozici bratrů Pelhamů (vévoda z Newcastle a Henry Pelham). Carteret byl nominálně premiérem pouhých 48 hodin. Později se stal prezidentem Tajné rady (1751–1763), v této funkci měl spíše jen poradní hlas, skutečný vliv na politické záležitosti ale ztratil. Ve Sněmovně lordů a ve vládě se nadále věnoval zahraniční politice a patřil k odpůrcům sedmileté války. Měl podíl na mírových jednáních v závěru sedmileté války, ještě před jejím koncem zemřel a byl pohřben ve Westminsterském opatství. Uvolněný post prezidenta Tajné rady převzal vévoda z Bedfordu.