Avec la mort de Pitt et la formation du Ministère de tous les talents en 1806, Mulgrave, ainsi que d'autres partisans de Pitt, passe à l'opposition. Quand les « "Pittites" » retrouvent le pouvoir, en 1807, Mulgrave exerce diverses fonctions majeures, d'abord comme Premier Lord de l'amirauté (1807–1810), puis comme Maître-général de l'artillerie (1810–1819) et finalement comme Ministre sans portefeuille (1819–1820). Il est également Lord Lieutenant de l'East Riding du Yorkshire de 1807 à 1824 et vice-amiral du Yorkshire de 1809 à 1831. Comme Premier Lord, il est grandement impliqué dans l'organisation de l'expédition réussie contre Copenhague en 1807 et du désastre de Walcheren en 1809, qui lui vaut de vives critiques de la part de l'opposition libérale. Après son entrée au bureau de l'Artillerie, Mulgrave devient moins actif politiquement. Il est fait comte de Mulgrave en 1812, titre auquel succède son fils, Constantine Phipps (1er marquis de Normanby), qui sera plus tard élevé à la dignité marquis de Normanby.