Barratt-Due var gift med Else Barratt-Due (født Holst, 1925–2006), og sammen hadde de fem barn, blant dem pianisten Cecilie Barratt-Due (født 1950), dramaturgen og instruktøren Else Barratt-Due (født 1954) og fiolinisten Stephan Barratt-Due jr. (født 1956).