Джимми родился в Саутпорте, Ланкашир. В 1963 году перешёл в молодёжную академию «Манчестер Юнайтед», а два года спустя стал профессиональным футболистом. В основной состав он попадал редко, проигрывая конкуренцию первому номеру «Юнайтед» Алексу Степни. Свой первый официальный матч за «Манчестер Юнайтед» Риммер провёл 15 апреля 1968 года во встрече с «Фулхэмом» на «Олд Траффорд». Спустя месяц он был на скамейке запасных в финале Кубка европейских чемпионов, в котором «Юнайтед» победил «Бенфику». В 1973 году Риммер отправился в аренду в клуб «Суонси Сити». В феврале 1974 года перешёл в «Арсенал».