Bragg har vært gift tre ganger, først med Marie-Elisabeth Roche i 1961, i 1971 begikk Roche selvmord. Bragg og Roche fikk en datter, Marie-Elsa Bragg, som i dag er prest. Braggs andre ekteskap var med Cate Haste fra 1973 til 2018. Haste, som døde i 2021, var i likhet med Bragg også TV-produsent og forfatter, de fikk to barn sammen. I 2019 giftet hans seg med den 16 år yngre filmassistenten Gabriel Clare-Hunt.