En noviembre de 1795 tuvo su primera designación como subsecretario de Relaciones Exteriores, cargo donde mostró su fuerte antipatía hacia la Revolución Francesa apoyando las posiciones de Pitt aunque esto le valiera disputas con Lord Grenville, su superior en el ministerio.