I lekene i Paris deltok Rimmer først på 1500 meter, der han kom på åttendeplass. Dagen etter vant Rimmer 4000 meter hinder, idet han slo lagkameraten Charles Bennett med en og en halv meter. Sammen med Bennett, Alfred Tysoe, Sydney Robinson og Stanley Rowley, vant Rimmer ytterligere en olympisk tittel på 5000 meter for lag.