Som tenåring ble Dury interessert i Teddy boy-kulturen og begynte å høre på noen av de mest kompromissløse rockerne på sin tid, som Eddie Cochran og ikke minst Gene Vincent. Dette, blandet med handikappet, gjorde ham til et yndet mobbeoffer blant de eldre elevene etter at han i 1954 hadde begynt på en skole for funksjonsfriske. I 1959 ble han tatt opp på kunstskole, og i 1964 ble han tatt opp på prestisjefylte Royal College of Art. Etter endt utdanning jobbet han en periode som lærer på deltid, men etter at han i 1971 grunnla pubrock-bandet Kilburn & the High Roads sammen med studiekamerater sa han opp for å satse på musikken på heltid.