Han ble medlem av Labours skyggeregjering i 1984, og i 1992 ble han ansvarlig for sosialsaker i den. I 1995 ble han innpisker for Labour, og da Tony Blair dannet regjering i 1997, ble han ansvarlig minister for Skottland. Fra denne posisjonen kunne han realisere Skottlandsloven, populært kalt John Smiths ufullførte prosjekt. Da denne var godkjent, kunne Skottland for første gang på 300 år igjen etablere Skottlands parlament.