Dury var gift med kunstneren Betty Dury, født Rathmell, mellom 1967 og 1985, og sammen fikk de barna Jemina og Baxter Dury. Han giftet seg med Sophy Dury, født Tilson, i 1999 og var gift til sin død. Med henne fikk han barna Bill og Albert Dury. Han hadde også et langvarig samboerforhold med Denise Roudette.