Han var far til biskop i Det evangelisk-lutherske stift i Norge Thor Henrik With, og bror til juristen og KrF-politikeren Odd With (1921–2006), som var fylkesmann i Nordland etter tre perioder som stortingsrepresentant.