Pocházel z nemanželského potomstva Karla II. a jeho milenky Louisy de Keroual, vévodkyně z Portsmouthu, byl jediným synem 1. vévody z Richmondu. V letech 1719–1720 absolvoval kavalírskou cestu po Evropě, pobýval ve Francii, Nizozemí, Itálii a v Rakousku. Po návratu do Anglie sloužil v armádě a již v roce 1722 byl kapitánem. V letech 1722–1723 byl krátce poslancem Dolní sněmovny, po otci pak zdědil titul vévody a vstoupil do Sněmovny lordů (1723), od roku 1724 byl plukovníkem a královským pobočníkem. V roce 1726 obdržel Podvazkový řád, zároveň byl lordem komořím Jiřího I. a Jiřího II. a při korunovaci Jiřího II. v roce 1727 zastával čestnou funkci "Lord High Constable." V letech 1735–1750 byl nejvyšším štolbou království, od roku 1735 zároveň členem Tajné rady. V letech 1735–1736 byl starostou v Chichesteru. Po babičce Louise de Keroual zdědil v roce 1734 francouzský titul vévody d'Aubigny (nárok na tento titul byl formálně potvrzen Ludvíkem XV. až v roce 1776 jeho synovi). Souběžně postupoval v armádní hierarchii, byl povýšen na brigádního generála (1739), na počátku války o rakouské dědictví získal hodnost generálmajora (1742) a po boku Jiřího II. se zúčastnil bitvy u Dettingenu. V roce 1745 jako velitel azsahoval proti jakobitskému povstání ve Skotsku a téhož roku dosáhl v rychlém sledu hodností generálporučíka a generála. Po skončení válek o rakouské dědictví byl vyslancem ve Francii (1748–1749), na tomto postu jej následoval jeho švagr William Keppel, 2. hrabě z Albemarle.