Etter at Harold Wilson trakk seg som statsminister og partileder i 1976, stemte Hattersley for James Callaghan som stilte som kandidat om å bli Wilsons etterfølger mot den mer venstreorienterte Michael Foot. Han ble deretter statsråd i den nye Callaghan-regjeringen, en posisjon han hadde til valgnederlaget i 1979. Året etter, i 1980, trakk Callaghan seg som partileder. Hattersleys tidligere sjef, Denis Healey stilte som kandidat som ny partileder mot Michael Foot, men tapte. På dette tidspunktet hadde venstresida i partiet styrket seg kraftig. Healey vant så vidt valget om å bli nestleder og ble allerede året etter på nytt utfordret fra samme mann, Tony Benn, etter at reglene for valg av ledelse hadde blitt endret. Healey vant valget med liten margin. Styrkingen av venstresida bidro til at deler av partiets høyrefløy forlot Labour og dannet et nytt sosialdemokratisk parti. Selv om Hattersley selv tilhørte Labours høyrefløy, så hadde han liten sans for dette og fortsatte sin karriere i partiet.