Kilburn & the High Roads, også kjent som The Kilburns, var fremfor alt Durys eget prosjekt. Han var vokalist og den ubestridte lederen i bandet, og bandmedlemmene ble hyppig skiftet ut etter Durys forgodtbefinnende. I 1972 flyttet bandet til London, der de spilte på ulike puber og der konsertene deres fikk ry på seg for å være svært utagerende. Flere av de ledende personlighetene i punk- og new wave-bevegelsen, som Johnny Rotten, Lene Lovich og Madness var blant dem som lot seg inspirere av Kilburns, Madness har endog omtalt seg selv som et tributeband for Kilburns.