Phipps unterstützte Pitt auch nach seinem Rücktritt vom Amt des Premierministers 1801 und erhielt als Gegenleistung für seine Loyalität das Amt des Chancellor of the Duchy of Lancaster (1804 bis 1805) in Pitts zweiter Regierung. Von 1805 bis 1806 war er britischer Außenminister; er half Pitt bei der Formierung der dritten Koalition gegen Napoleon I.