רימר איבד את מקומו בהרכב והועבר לאסטון וילה, לאחר שפט ג'נינגס הצטרף לארסנל על פי בקשתו של המאמן החדש טרי ניל. בסך הכל הוא השתתף ב-146 משחקים במדי ארסנל. הוא היה השוער הבכיר של אסטון וילה במשך שש עונות, וזכה באליפות ובמגן הצדקה ב-1981. בעונה שלאחר מכן העפיל המועדון לגמר גביע אירופה לאלופות, אך רימר נפצע כבר בדקה התשיעית והוחלף על ידי נייג'ל ספינק הצעיר. המשחק הסתיים בניצחון 1 - 0 על באיירן מינכן, ורימר היה לכדורגלן האנגלי הראשון שזוכה בגביע אירופה עם שני מועדונים שונים, למרות העובדה שהוא השתתף בתשע דקות בשני המשחקים. באותה עונה זכה עם אסטון וילה גם בסופר קאפ האירופי.