Den 18. august 1955 ble han ansatt som manager for Sheffield United FC bare to dager før sesongstart. Det første året som sjef ble ikke vellykket og Sheffield United rykket ned. Resten av hans tid i Sheffield-klubben ble tilbragt på andre nivå, og i desember 1958 ønsket Mercer å gå til en klubb på øverste nivå. Han sa opp i Sheffield United for å ta over jobben som manager for Aston Villa FC. Det gikk ikke bedre der, og det ble nedrykk i hans første sesong. I 1961 vant Aston Villa den første utgaven av Den engelske ligacupen. Men i 1964 fikk han hjerteinfarkt, og fikk sparken av Aston Villa-styret kort etter.