Han signerte ungdomskontrakt med Swindon Town i 1961 da han var 15 år og debuterte på førstelaget i en alder av 17 år i en kamp i tredjedivisjon mot Southend United. Han var en hyppig målskårer fra sin posisjon som venstreving for klubben, og skåret over 20 mål i cup og serie fire år på rad fra 1965/1966- til 1968/1969-sesongene. Han er en legende i klubben etter han skåret to mål på overtid på Wembley i finalen i ligacupen mot Arsenal. Det stod 1-1 ved full tid og Rogers skåret i det 104. og 119 minutt, og dermed sikret Swindon Towns hittil eneste større trofé.