Levene var et av de tidligste medlemmene i The Clash. Han rakk aldri å spille inn noen plater med The Clash ettersom han ble avskjediget grunnet manglende oppmøte på bandets øvinger, men han skrev sangen «What's My Name» som var med på debutalbumet, og som The Clash også spilte live gjennom hele bandets levetid. Han spilte også i The Flowers of Romance som forøvrig ble oppløst etter kort tid grunnet trommisen Sid Vicious' «overgang» til The Sex Pistols der han spilte bass. Etter at The Sex Pistols ble oppløst grunnla han bandet Public Image Ltd sammen med Johnny Rotten, i dette bandet spilte han også en del synthesizer.