Odd Anders With er sønn av Marie With (f. Thilesen) og stortingsrepresentant og fylkesmann Odd With (1921–2006), og far til musiker Aleksander Denstad With.