Mortimer spendeerde hoofdzakelijk zijn carrière bij clubs uit de Engelse regio West Midlands. Hij begon te voetballen bij Coventry City, waar hij doorstroomde uit de jeugd. Van 1969 tot 1975 speelde Mortimer in het eerste elftal van de "Sky Blues". Vanaf 1975 speelde hij voor Aston Villa. Hij zou tot en met 1985 in bijna 400 officiële wedstrijden het shirt van Aston Villa dragen. Hét moment van glorie was de winst van de Europacup I met Aston Villa – in 1982 – in de finale tegen Bayern München, dat over spelers beschikte als Klaus Augenthaler en Karl-Heinz Rummenigge. Samen met Gordon Cowans was hij de sleutelfiguur in het elftal van trainer Tony Barton.