Gruppa er oppkalt etter den engelske revolusjonære hæren til Oliver Cromwell. I 1983 ble singelen «Bittersweet» gitt ut, noe som ga gruppa platekontrakt med det lille plateselskapet . Deres første utgivelse der var singelen «Great expectations», en låt som i likhet med mange av deres senere utgivelser er politisk ladet. Det første albumet ble gitt ut i 1984, et album som i hovedsak var et punkalbum, opprørsk og enkelt i sin fremføring. Låta «The Price», som var en del av albumet, ga gruppa svært gode plasseringer på indie-listene, og plateselskaet EMI signerte gruppa.