Greenhoff startet som lærling i Leeds United i juni 1961. I 1963 fikk han sin debut på førstelaget (da i andredivisjon), den sesongen rykket de opp til førstedivisjon (øverste nivå). Greenhoff ble profesjonell i 1964. I august 1968 gikk han fra Leeds United til Birmingham City (andre divisjon) for 70 000 britiske pund, men bare et år senere forlot han Birmingham til fordel for førstedivisjon og Stoke City. Overgangssummen var på 100 000 pund. Mens han var i Stoke vant han Ligacupen i 1972. Totalt fikk han 274 ligakamper for Stoke, og han skåret 76 mål.