På senhøsten 1946 ble han kjøpt opp av Arsenal FC for 9 000 pund og debuterte for sin nye klubb den 30. november. Ikke lenge etter ble han valgt til klubbens nye lagkaptein, og hjalp til med å endre Arsenal fra et bunnlag til ligamesterskap i 1947-48. I 1950 vant Arsenal FA-cupen med Mercer som kaptein, og samme år ble han kåret til Football Writers' Association Footballer of the Year.