Um ano depois que o técnico do Tottenham, Terry Neill, assumiu o comando do Arsenal, ele contratou Pat Jennings de seu antigo clube e Rimmer foi vendido para o Aston Villa, depois de ter disputado 146 partidas pelo Arsenal. No Villa, Rimmer foi o goleiro titular nas seis temporadas seguintes, ganhando a Primeira Divisão em 1981. No ano seguinte, Villa chegou à final da Copa da Europa, mas Rimmer se machucou após apenas nove minutos e teve de ser substituído por Nigel Spink. Os Villans venceram o Bayern de Munique por 1 a 0, o que significa que Rimmer se tornou o segundo jogador, depois de Saul Malatrasi, a ser campeão da Europa em dois clubes.