Pocházel ze starobylého francouzského rodu usazeného v Anglii (rodina užívala též příjmení d'Arcy). Narodil se jako syn ministra obchodu 3. hraběte z Holdernessu a jeho manželky Fredericy Schomberg (1688–1751), dcery 3. vévody Schomberga. Rodové tituly zdědil po otci v roce 1722, studoval ve Westminsteru a v Cambridge. Po dosažení zletilosti vstoupil do Sněmovny lordů (1739), vzápětí se začal uplatňovat v čestných funkcích u dvora, od roku 1740 byl lordem komořím Jiřího II. a v letech 1740–1778 zastával post lorda místodržitele v hrabství York. Krále doprovázel na cestách do zahraničí a v roce 1743 byl po jeho boku přítomen bitvě u Dettingenu. Za války o rakouské dědictví se prosadil jako diplomat, v letech 1744–1746 byl vyslancem v Benátské republice a v letech 1749–1751 v Haagu. V roce 1751 byl jmenován členem Tajné rady a v letech 1751-1754 zastával funkci ministra vnitra (respektive "Secretary of State for the Southern Department"), poté byl ministrem zahraničí (respektive "Secretary of State for the Northern Department", 1754–1761). Mezitím po matce zdědil portugalský titul hraběte z Mértoly (1751), v letech 1752 a 1755 byl v době nepřítomnosti Jiřího II. v Británii členem místodržitelského sboru. V roce 1757 znovu krátce spravoval zároveň s ministerstvem zahraničí i ministerstvo vnitra namísto Williama Pitta, který tehdy odstoupil pro nesouhlas s personální politikou ve vládě.