Han begynte som skolegutt i Manchester United i 1963 og ble profesjonell to år seinere. Til tross for at han var i United i 11 år, ni år som profesjonell, spilte han bare 46 kamper for klubben . Han debuterte først i april 1968 i en kamp mot Fulham. Alex Stepney var Uniteds førstevalg som keeper og Rimmer fikk sjelden muligheten til å spille annet enn da Stepney var skada. Rimmer satt på benken da United vant Europacupen i 1968.