Han var far til Odd Anders With (tidligere kommunalråd i Trondheim, KrF-nestleder og statssekretær), far til tidligere nestleder i PST, Trond Egil With, og farfar til Aleksander With, som vant sangkonkurransen Idol i 2006 og nr 3 i Stjernekamp i 2023. Odd With var bror til biskop i Bjørgvin Thor With (1918–1997).