Clarke begynte å spille gitar som ung, og hans største inspirasjon var gitaristene Eric Clapton og Jimi Hendrix. Som 15-åring hadde han allerede rukket å spille i mange lokale amatørband, og i 1973 ble han for første gang medlem av et profesjonelt band, Curtis Knights band Zeus. I 1976 ble han medlem av Motörhead, som han igjen forlot i 1982. Hans opphold i Motörhead sammen med Lemmy Kilmister og Philthy Taylor har blitt kjent som den klassiske Motörhead-bestningen, som ga ut fem album sammen.