Gummer est Secrétaire parlementaire privé du ministre de l'Agriculture dans le gouvernement d'Edward Heath, avant d'être nommé vice-président du Parti conservateur - poste qu'il occupe jusqu'à la chute du gouvernement en 1974. Après son retour à la Chambre lors des élections de 1979, il occupe divers postes au gouvernement et est président du Parti conservateur de 1983 à 1985 - un poste qu'il occupait au moment de l'Attentat de Brighton lors de la conférence du Parti conservateur en 1984. Il rejoint le Cabinet en 1989 en tant que ministre de l'Agriculture, des Pêcheries et de l'Alimentation, avant de devenir secrétaire d'État à l'Environnement auprès de John Major en 1993 .