Первый дивизион Футбольной лиги
В «Арсенале» Риммер был «первым номером» на протяжении трёх сезонов. Однако после перехода в лондонский клуб Пата Дженнингса Риммер был продан в бирмингемскую «Астон Виллу». В «Вилле» Риммер провёл следующие шесть сезонов, выиграв с клубом Первый дивизион Футбольной лиги в сезоне 1980/81, а также Кубка европейских чемпионов в 1982 году. Риммер стал первым игроком в истории, получившим медали победителя Кубка европейских чемпионов за два разных клуба («Манчестер Юнайтед» и «Астон Виллу»).