Als Jugendlicher bereits im Snooker erfolgreich, entdeckte Spencer nach mehreren Jahren Abstinenz den Snookersport wieder für sich. Schnell war er einer der führenden britischen Amateure, bis er Ende der 1960er-Jahre unter anderem zusammen mit Ray Reardon Profispieler wurde. Spencer, Reardon und Alex Higgins prägten den Sport in den folgenden Jahren und machten ihn wieder populär. Spencer wurde 1969 und 1971 Weltmeister, konnte aber vor allem bei kleineren Turnieren wie dem Pot Black Erfolge feiern. Bei einem Autounfall 1974 wurde sein Queue zerstört, was seine Spielweise beeinflusste, bei der die Spielballkontrolle mit dem Queue ein wichtiger Bestandteil war. Deshalb verschlechterten sich für einige Zeit seine Ergebnisse. Mit einem neuen Queue kam er aber zu alter Form zurück und gewann das Masters 1975 und die Weltmeisterschaft 1977. Für eine Saison belegte er auch den zweiten Platz der Rangliste. Danach blieben aber Erfolge bei wichtigen Turnieren aus.