Etter et låneopphold i Swansea City i 1973, ble han i februar 1974 kjøpt av Arsenal som erstatning for Bob Wilson som la opp noen måneder seinere. Det var mens han var i Arsenal at han spilte sin eneste landskamp for . Da Arsenal i 1977 kjøpte Pat Jennings, ble Rimmer solgt videre til Aston Villa.