Als Jugendlicher bereits im Snooker erfolgreich, entdeckte Spencer nach mehreren Jahren Abstinenz den Snookersport wieder für sich. Schnell war er einer der führenden britischen Amateure, bis er Ende der 1960er-Jahre unter anderem zusammen mit Ray Reardon Profispieler wurde. Spencer, Reardon und Alex Higgins prägten den Sport in den folgenden Jahren und machten ihn wieder populär. Spencer wurde 1969 und 1971 Weltmeister. Später gewann er das Masters 1975 und die Weltmeisterschaft 1977. Für eine Saison belegte er auch den zweiten Platz der Rangliste. Danach blieben aber Erfolge bei wichtigen Turnieren aus.