Les résultats du référendum de 1975, donnant une majorité de deux contre un en faveur du maintien comme membre de la CEE, ont diminué l'influence de Shore ainsi que des autres «ministres dissidents». Son inclination à soutenir une économie autarcique empêche sa nomination comme chancelier de l'Échiquier, mais Shore est nommé au secrétaire d'État à l'environnement par le nouveau premier ministre James Callaghan en 1976. Cette décision est une promotion mais l'implique dans une controverse politique considérable. Il appelle les autorités locales à réduire les dépenses et le gaspillage, et critique les syndicats représentant le personnel des autorités locales pour leur incapacité à soutenir la modernisation. Shore lance également une campagne pour revitaliser les centres-villes britanniques.