Jones var med i The Small Faces fra 1965 til bandet ble oppløst i 1969. Da Steve Marriott gav seg, var han med på å starte The Faces sammen med de gjenværende medlemmene fra The Small Faces samt Rod Stewart og Ron Wood fra The Jeff Beck Group. Da Stewart fikk stor suksess som soloartist mens Wood begynte å spille med The Rolling Stones, ble imidlertid The Faces oppløst i 1976. To år senere døde trommeslageren i The Who, Keith Moon, og Jones tok over. Han spilte med The Who frem til 1985.