Rimmer ingressou no Manchester United ainda estudante em 1963, tornando-se profissional dois anos depois. Ele passou onze anos em Old Trafford, principalmente como substituto de Alex Stepney, incluindo estar no banco na final da Taça dos Campeões de 1968. Rimmer jogou apenas 46 vezes pelo United e em outubro de 1973 foi emprestado ao Swansea City. O Arsenal o contratou do United em fevereiro de 1974, como um substituto de longa data de Bob Wilson.