Etter å ha flyttet til Luton i en alder av 14 år, så kom Rioch med på det lokale laget Luton Town og fikk proffkontrakt i september 1964. Han debuterte på førstelaget senere samme måned og i ligaen i desember samme år, i hjemmetapet mot Southend United. Han brukte et par år på a etablere seg og ble et fast medlem på Lutonlaget som vant fjerde divisjon i 1968, Rioch lagde 24 mål. Han flyttet til Aston Villa, for £ 100.000, som da var rekord for et andredivisjonslag. Han var med på tapet, 2-0, for Tottenham Hotspur i Ligacupfinalen i 1970.