I en alder av syv år ble Dury rammet av polio, noe som skulle merke ham for livet. Han tilbrakte to år på sykehus før han ble sendt på en skole for barn med funksjonsnedsettelse. Sykdommen gjorde permanent skade ved at muskelvevet i venstre arm og bein ble underutviklet. Blant annet var han livet ut avhengig av skinne og stokk og måtte ha hjelp til mange dagligdagse aktiviteter.