Pocházel ze šlechtického rodu Phippsů, který zdědil část majetku vymřelého rodu Sheffieldů, patřil také k nemanželskému potomstvu Jakuba II., byl jeho prapravnukem. Narodil se jako třetí syn Constantina Phippse, 1. barona Mulgrave (1722–1775), po matce byl spřízněn s rodem Herveyů. Studoval v Etonu a krátce práva, v roce 1775 vstoupil do armády a zúčastnil se války v severní Americe, bojoval také v Karibiku. Rychle postupoval v hodnostech a již v roce 1790 byl plukovníkem. Mezitím se stal členem Dolní sněmovny (1784–1794), kde podporoval politiku W. Pitta mladšího a stal se i jeho přítelem. V parlamentu často vystupoval k vojenským tématům a proslul jako obhájce zájmů armády, v letech 1784–1791 byl komisařem kontrolního úřadu Východoindické společnosti. Po starším bratrovi zdědil v roce 1792 irský titul barona a v roce 1794 získal titul barona s platností pro celou Británii, s tímto titulem v roce 1794 přešel do Sněmovny lordů. Mezitím v roce 1793 velel anglické armádě u Toulonu a v roce 1794 byl povýšen na generálmajora. V roce 1799 byl velitelem pomocné vojenské mise k rakouské armádě a po pádu Pittovy vlády získal hodnost generálporučíka (1801). Pitta podporoval i v době jeho opozice a v druhé Pittově vládě se stal členem kabinetu. Nejprve byl lordem kancléřem vévodství lancasterského (1804–1805), od roku 1804 byl zároveň členem Tajné rady. Po zdravotní indispozici lorda Harrowbyho převzal úřad ministra zahraničí (1805–1806). V této funkci pomáhal zformovat tzv. třetí protifrancouzskou koalici, která skončila Napoleonovým vítězstvím u Slavkova. Po nástupu whigů přešel do opozice, ale brzy se do vlády vrátil. V letech 1807–1810 byl prvním lordem admirality a v letech 1810–1818 generálním polním zbrojmistrem. Po roce 1810 byl jeho vliv na politiku již podružný, v roce 1812 byl ale povýšen na hraběte z Mulgrave, z kurtoazních důvodů získal v roce 1809 hodnost generála, i když aktivně v armádě již nepůsobil.