Rimmer var Villas førstekeeper de neste seks åra. I Aston Villa vant Rimmer ligagull i 1981 og enda en europacupmedalje i 1982, selv om finalen ble en trist affære for 34-åringen. Han ble skadd etter bare ni minutter og måtte erstattes av Nigel Spinks. Villa vant finalen 1–0 mot Bayern München, noe som betydde at han ble den andre spilleren til å vinne Europacupen med to forskjellige klubber (etter Saul Malatrasi som vant med Internazionale i 1965 og AC Milan i 1969).